JP2019537380A - 電子装置及びその制御方法 - Google Patents

電子装置及びその制御方法 Download PDF

Info

Publication number
JP2019537380A
JP2019537380A JP2019528683A JP2019528683A JP2019537380A JP 2019537380 A JP2019537380 A JP 2019537380A JP 2019528683 A JP2019528683 A JP 2019528683A JP 2019528683 A JP2019528683 A JP 2019528683A JP 2019537380 A JP2019537380 A JP 2019537380A
Authority
JP
Japan
Prior art keywords
audio
sound image
electronic device
audio component
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019528683A
Other languages
English (en)
Inventor
サン−モ ソン，
サン−モ ソン，
ヒョン−ジュ ジョン，
ヒョン−ジュ ジョン，
ビョン−ソブ ゴ，
ビョン−ソブ ゴ，
アナント バイジャル，
アナント バイジャル，
ヒョン−シク ジョン，
ヒョン−シク ジョン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2019537380A publication Critical patent/JP2019537380A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/09—Electronic reduction of distortion of stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

電子装置は、少なくとも２つのチャンネルを有するオーディオ入力を処理してオーディオ出力を生成するオーディオ処理部と、オーディオ入力を互いに異なる音像を有する第１オーディオ成分及び第２オーディオ成分に分離し、前記オーディオ出力が臨場感を有するように第２オーディオ成分の音像を所定の位置に変更して、音像が維持される第１オーディオ成分と、音像が変更された第２オーディオ成分と、を用いてオーディオ出力を生成するようにオーディオ処理部を制御する制御部と、を備える。【選択図】 図３

Description

本発明は、電子装置及びその制御方法に関し、特に、より広い音像のオーディオ（ａｕｄｉｏ）をオーディオ歪み無しで提供できる電子装置及びその制御方法に関する。
ＴＶ、オーディオ装置などのような電子装置は、放送やマルチメディアコンテンツのオーディオを出力する。
電子装置のオーディオ出力は、多様に具現され得るが、オーディオ入力信号を出力するためのステレオスピーカーなどによって具現される場合が多い。
しかし、一般家庭向けＴＶの場合、左右のスピーカーチャンネルの間隔がＴＶの大きさや画面の幅に制限されるため、標準ステレオ聴取環境に比べて狭い聴取角度で再生される。
したがって、前方のステレオ音像が非常に狭く形成され、ステレオオーディオ信号であるにも拘わらず、モノサウンドのように聞こえる問題があった。
このような問題点を解決するために、受信されたマルチチャンネルのオーディオに頭部伝達関数（ｈｅａｄ ｒｅｌａｔｅｄ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ；以下‘ＨＲＴＦ’と記す。）を用いて音像を広めるステレオ向上システムが、特許文献１に開示されている。
従来技術によれば、２チャンネルステレオ音源のうち、音像が中央に位置するものにもＨＲＴＦが適用され、余計な音色歪みが発生する。
また、従来技術の場合、仮想のスピーカーを２チャンネルに制限し、自然な臨場感の再現には限界があった。
そのうえ、従来技術では、周波数帯域によって複数のスピーカーが左右に配列される場合、発生する経路差を考慮しないという問題があった。
米国特許第７，８０１，３１７号明細書
そこで、本発明は上記従来のオーディオ装置などのような電子装置における問題点に鑑みてなされたものであって、本発明の目的は、より広い音像のオーディオを歪み無しで提供する電子装置及びその制御方法を提供することにある。
本発明の一態様によれば、少なくとも２つのチャンネルを有するオーディオ入力（ａｕｄｉｏ）を処理してオーディオ出力を生成するオーディオ処理部と、前記オーディオ入力を、互いに異なる音像（ｓｏｕｎｄ ｉｍａｇｅ）を有する第１オーディオ成分及び第２オーディオ成分に分離し、前記オーディオ出力が臨場感を有するように、前記第２オーディオ成分の音像を所定の位置に変更して、前記音像が維持される前記第１オーディオ成分と、前記音像が変更された前記第２オーディオ成分と、を用いて前記オーディオ出力を生成する前記オーディオ処理部を制御する制御部と、を有する電子装置が提供される。
これによって、広い音像のオーディオが歪み無しで提供される。
前記第１オーディオ成分の音像は中央であり、前記第２オーディオ成分の前記音像は、前記中央以外の背景に位置し得る。
これによって、音像が中央である第１オーディオ成分に対して、音像を変更するための処理を省略することによって、オーディオ出力の歪みが改善される。
前記制御部は、前記第２オーディオ成分を複数個に分離するように前記オーディオ処理部を制御し得る。
これによって、より広い音像のオーディオが提供される。
前記電子装置は前記生成されたオーディオ出力を出力するスピーカーをさらに有し得る。
これによって、生成したオーディオが出力される。
前記制御部は、スピーカーの位置に基づいて前記第２オーディオ成分の前記音像を前記所定の位置に変更するように前記オーディオ処理部を制御し得る。
これによって、オーディオが実際に出力される位置を考慮して音像の変更がより正確に行われる。
前記制御部は、前記音像が前記所定の位置に変更された前記第２オーディオ成分に対して、前記スピーカーから出力される前記オーディオ出力のクロストークをキャンセルするための処理を実行するよう前記オーディオ処理部を制御し得る。
これによって、オーディオ出力の各チャンネル間の干渉が改善される。
複数個のスピーカーが、前記オーディオ入力の周波数帯域に基づいて、互いに所定の距離で離隔するように配置され、前記制御部は、前記所定の距離及び前記各スピーカーが配置された位置に基づいて前記第２オーディオ成分の前記音像を所定の位置に変更するように前記オーディオ処理部を制御し得る。
これによって、複数のスピーカーの位置をそれぞれ考慮してより正確にオーディオの音像を変更する。
本発明の一態様によれば、少なくとも２つのチャンネルを有するオーディオ入力を処理してオーディオ出力を生成する段階と、前記オーディオ入力を、互いに異なる音像を有する第１オーディオ成分及び第２オーディオ成分に分離する段階と、前記第２オーディオ成分の音像を所定の位置に変更する段階と、前記第１オーディオ成分及び前記音像が所定の位置に変更された前記第２オーディオ成分を用いて、前記オーディオ出力を生成する段階と、を有する電子装置の制御方法が提供される。
これによって、広い音像のオーディオが歪み無しで提供される。
前記第１オーディオ成分の音像は中央であり、前記第２オーディオ成分の前記音像は前記中央以外の背景に位置し得る。
これによって、音像が中央である第１オーディオ成分に対して、音像を変更するための処理を省略することによって、オーディオ出力の歪みが改善される。
前記分離する段階は、前記第２オーディオ成分を複数個に分離する段階を含み得る。
これによって、より広い音像のオーディオが提供される。
前記生成されたオーディオ出力をスピーカーから出力する段階をさらに有し得る。
これによって、生成されたオーディオが出力される。
前記音像を所定の位置に変更する段階は、前記スピーカーの位置に基づいて前記第２オーディオ成分の前記音像を前記所定の位置に変更する段階を含み得る。
これによって、オーディオが実際に出力される位置を考慮して音像の変更がより正確に行われる。
前記音像が前記所定の位置に変更された前記第２オーディオ成分に対して、前記スピーカーから出力される前記オーディオ出力のクロストークをキャンセルするための処理を実行する段階をさらに有し得る。
これによって、オーディオ出力の各チャンネル間の干渉が改善される。
前記音像を所定の位置に変更する段階は、前記オーディオ入力の周波数帯域に基づいて、複数個のスピーカーを互いに所定の距離で離隔するように配置する段階と、前記所定の距離及び前記各スピーカーが配置された位置に基づいて前記第２オーディオ成分の前記音像を所定の位置に変更する段階と、を含み得る。
これによって、複数のスピーカーの位置をそれぞれ考慮してより正確にオーディオの音像を変更する。
本発明によれば、より広い音像のオーディオが歪み無しで提供される。
しかも、複数のスピーカーの各位置を獲得することによって、サウンドの音像をより正確に変更することが可能である。
本発明の一実施形態に係る電子装置を示す図である。 本発明の一実施形態に係る電子装置の概略構成を示すブロック図である。 本発明の一実施形態に係るオーディオ処理部の概略構成を示すブロック図である。 本発明の一実施形態に係る信号分離部の概略構成を示すブロック図である。 本発明の一実施形態に係るバイノーラル合成部の概略構成を示すブロック図である。 本発明の一実施形態によって仮想スピーカーによって広くなった音像を示す図である。 本発明の一実施形態に係るクロストークキャンセル部の概略構成を示すブロック図である。 本発明の他の実施形態に係る第２オーディオ成分を複数個に分離する信号分離部の概略構成を示すブロック図である。 本発明の他の実施形態に係る複数個に分離された第２オーディオ成分に対応するバイノーラル合成部の概略構成を示すブロック図である。 本発明の他の実施形態によって複数個に分離された仮想スピーカーを示す図である。 本発明の他の実施形態によって横方向に互いに離隔された複数のスピーカーが設けられた電子装置の例を示す図である。 本発明の他の実施形態によって複数のスピーカーに対応するように設けられるオーディオ処理部の概略構成を示すブロック図である。 本発明の一実施形態に係る制御フローチャートである。 本発明の一実施形態によるオーディオ出力の歪み現象改善を示す図である。 本発明の一実施形態によるテスト信号がサイドからセンターにパンされた時のオーディオ出力の歪み現象改善を示す図である。 本発明の他の実施形態に係る電子装置の概略構成を示すブロック図である。 本発明の一実施形態に係る電子装置の動作を示す図である。 本発明の一実施形態による図１７で決定された音源の角度と仮想スピーカーの個数が調節される例を示す図である。 本発明の他の実施形態に係る電子装置の概略構成を示すブロック図である。
以下、添付の図面を参照して本発明に係る実施形態に関して詳しく説明する。
以下の実施形態の説明では添付の図面に記載された事項を参照するが、各図面に提示された同一の参照番号又は符号は実質的に同一の機能を行う構成要素を表す。
もし、実施形態において第１構成要素、第２構成要素などのように序数を含む用語があると、このような用語は、様々な構成要素を説明するためのもので、一つの構成要素を他の構成要素と区別するために使用するが、これらの用語に構成要素の意味が限定されない。
実施形態で使用する用語は当該実施形態を説明するために適用されるもので、本発明の思想を限定するものではない。
以下、実施形態によって説明される本発明の思想は、コンテンツのオーディオを出力する電子装置に適用することができる。
本発明が適用される電子装置の具現例示として、オーディオの出力と共にコンテンツの映像を表示するディスプレイ装置を取り上げて説明するが、本発明がこれに限定されるものではなく、オーディオ装置、Ａ／Ｖ装置などの、オーディオを出力できる他の様々な電子装置にも適用可能である。
図１は、本発明の一実施形態に係る電子装置を示す図である。
電子装置１は、オーディオを含むコンテンツをユーザに提供する。
図１に示すように、本発明の一実施形態に係る電子装置１は、一つの実施形態として、ＴＶのようなディスプレイ装置とすることができる。
本発明の他の実施形態として、電子装置１は、タブレット、モバイルフォン、マルチメディア再生機、電子額縁、デジタル広告板、ＬＦＤ、セットトップボックス、ＭＰ３プレイヤー、ＤＶＤプレイヤー、ＢＤプレイヤー、ラジオ装置、Ａ／Ｖレシーバー、スピーカー装置、車両用オーディオ装置など、オーディオを出力可能なる様々な電子装置とすることができる。
電子装置１は、外部から受信されるコンテンツ信号を処理してコンテンツを提供する。
コンテンツ信号は、放送局から伝送される放送信号、ネットワークを通じて伝送されるデータパケット信号、又は電子装置１に接続されたマルチメディア機器から伝送される信号であってよい。
または、コンテンツは、電子装置１に保存されたデータから生成されてもよい。
コンテンツは、音声（サウンド（ｓｏｕｎｄ）、あるいはオーディオ、以下では音声（サウンド）とする）（１００、１０１）を含む。
更なる実施形態として、コンテンツは、音声（サウンド）（１００、１０１）の他に映像或いはその他情報をさらに含むことができる。
電子装置１は、電子装置１に設けられたオーディオ出力部（図２の符号２０３参照）に接続されたスピーカーから音声（サウンド）（１００、１０１）を出力する。
他の実施形態として、電子装置１はオーディオ出力部２０３を通じて接続されたヘッドセットから音声（サウンド）（１００、１０１）を出力することができる。
本発明の一実施形態に係る電子装置１は、オーディオ出力部２０３又はスピーカーから出力される音声（サウンド）（１００、１０１）をより臨場感があるように再現するために音像を変更する。
音像は、電子装置１から出力される音声（サウンド）（１００、１０１）が仮想で結ばれる位置を意味する。
音像の変更のために所定の位置で測定した測定値と電子装置１のスピーカーに基づいて算出されたＨＲＴＦを利用する。
電子装置１は音声（サウンド）（１００、１０１）の音像を歪み無しで所望の位置に変更するために、入力されたオーディオ信号から異なる音像を有する第１オーディオ成分と第２オーディオ成分を分離する。
第１オーディオ成分は、音像が中央であり、第２オーディオ成分は、音像が中央以外の背景であってよい。
第１オーディオ成分は、音像が中央にあることから、ＨＲＴＦを適用する場合、不要な歪みが発生しうる。
電子装置１は、臨場感を生かすために、オーディオ入力から分離された第２オーディオ成分の音像を変更し、音像が変更された第２オーディオ成分と音像が維持される第１オーディオ成分とを合成してオーディオ出力を生成する。
以下では、本発明の一実施形態に係る電子装置１のより具体的な構成について説明する。
図２は、本発明の一実施形態に係る電子装置の概略構成を示すブロック図である。
電子装置１は、信号処理部２０２及び制御部２０５を備える。
電子装置１は、信号受信部２００、入力受信部２０７、ディスプレイ部２０６、オーディオ出力部２０３、記憶部２０９、及び通信部の内の少なくとも一つをさらに備えることができる。
図２に示す本発明の一実施形態による電子装置１の構成は一例に過ぎず、本発明の一実施形態による電子装置１は、図２に示す構成以外の構成によって具現することもできる。
すなわち、本発明の一実施形態による電子装置１は、図２に示す構成以外の構成を追加したり、或いは図２に示す構成のいずれかを排除して具現してもよい。
信号受信部２００は、外部から映像信号及びオーディオ信号を含むコンテンツ信号を受信する。
コンテンツ信号は、伝送ストリームの形態で受信することができる。
一実施形態として、信号受信部２００は、複数のチャンネルのうち、ユーザによって選択されたいずれか一つのチャンネルの放送信号をコンテンツ信号として受信することができる。
信号受信部２００は、セットトップボックス、ＤＶＤプレイヤー、ＰＣなどのような映像処理機器、スマートフォンのようなモバイル機器、又はインターネットを通じてサーバーから映像信号を受信することができる。
信号受信部２００が受信するオーディオ信号としては、左チャンネル及び右チャンネルを有するステレオ信号、複数のチャンネルを有するマルチチャンネルオーディオ信号を含むことができる。
ディスプレイ部２０６は、信号処理部２０２で処理される映像信号に基づいて、映像を表示する。
ディスプレイ部２０６の具現方式は、限定されず、例えば、液晶（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ）、プラズマ（ｐｌａｓｍａ）、発光ダイオード（ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、面伝導電子銃（ｓｕｒｆａｃｅ−ｃｏｎｄｕｃｔｉｏｎ ｅｌｅｃｔｒｏｎ−ｅｍｉｔｔｅｒ）、炭素ナノチューブ（ｃａｒｂｏｎ ｎａｎｏ−ｔｕｂｅ）、ナノクリスタル（ｎａｎｏ−ｃｒｙｓｔａｌ）などの様々なディスプレイ方式によって具現することができる。
ディスプレイ部２０６は、液晶方式の場合に、液晶ディスプレイパネル、液晶ディスプレイパネルに光を供給するバックライトユニット、及び液晶ディスプレイパネルを駆動させるパネル駆動基板などを備える。
ディスプレイ部２０６は、バックライトユニットなしに、自発光素子であるＯＬＥＤパネルによって具現することもできる。
信号処理部２０２は、信号受信部２００から受信されるコンテンツ信号を処理して、映像及び音声（サウンド）をディスプレイ部２０６及びオーディオ出力部２０３から出力する。
信号処理部２０２は、映像処理を行う映像処理部２０４と音声処理を行うオーディオ処理部２０１とを備える。
映像処理部２０４は、信号受信部２００で受信する伝送ストリームから抽出される映像信号に対して映像処理プロセスを行い、該プロセスが行われた映像信号をディスプレイ部２０６に出力してディスプレイ部２０６に映像を表示させる。
映像処理部２０４が行う映像処理プロセスは、例えば、入力される伝送ストリームを映像信号、オーディオ信号、付加データの各下位ストリームに区分するデマルチプレクシング（ｄｅｍｕｌｔｉｐｌｅｘｉｎｇ）、インターレース（ｉｎｔｅｒｌａｃｅ）方式の映像信号をプログレッシブ（ｐｒｏｇｒｅｓｓｉｖｅ）方式に変換するデインターレーシング（ｄｅ−ｉｎｔｅｒｌａｃｉｎｇ）、映像信号の解像度を変更するスケーリング（ｓｃａｌｉｎｇ）、映像画質改善のためのノイズ減少（ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ）、ディテール強化（ｄｅｔａｉｌ ｅｎｈａｎｃｅｍｅｎｔ）、フレームリフレッシュレート（ｆｒａｍｅ ｒｅｆｒｅｓｈ ｒａｔｅ）変換などを含み得る。
オーディオ処理部２０１は、オーディオ信号に対して様々なプロセスを行う。
信号受信部２００に伝送ストリームが受信されると、オーディオ処理部２０１は、伝送ストリームから抽出されるオーディオ信号にオーディオプロセスを適用し、オーディオプロセスが行われたオーディオ信号をオーディオ出力部２０３から出力してユーザに音声（サウンド）を提供する。
本発明の一実施形態として、オーディオ処理部２０１は、オーディオ入力を、音像が中央である第１オーディオ成分と、音像が中央以外の背景である第２オーディオ成分とに分離する。
オーディオ処理部２０１は、第２オーディオ成分の音像を変更し、クロストークをキャンセルした後、第１オーディオ成分と合成してオーディオ出力を生成してオーディオ出力部２０３に伝達する。
オーディオ処理部２０１の詳細な構成及び動作については後述する。
オーディオ出力部２０３は、オーディオ処理部２０１から提供される音声（サウンド）を出力する。
オーディオ出力部２０３は、例えば、可聴周波数である２０Ｈｚ〜２０ＫＨｚ帯域の音声（サウンド）を出力するように設けられる。
オーディオ出力部２０３は、処理可能なオーディオチャンネル及び出力周波数を考慮してディスプレイ部２０６の様々な位置に設置することができ、例えば、オーディオ出力部２０３は、ディスプレイ部２０６の左右の隅に設置することができる。
オーディオ出力部２０３は、出力するオーディオの周波数帯域によってサブウーファー（ｓｕｂ−ｗｏｏｆｅｒ）、ミッドウーファー（ｍｉｄ−ｗｏｏｆｅｒ）、ミッドレンジ（ｍｉｄ−ｒａｎｇｅ）スピーカー、ツイーター（ｔｗｅｅｔｅｒ）スピーカーの内の少なくとも一つを含むことができる。
入力受信部２０７は、ユーザ入力を受信して制御部２０５に伝達する。
入力受信部２０７は、ユーザ入力の方式によって様々な形態とすることができ、例えば、電子装置１の外側に設置されたメニューボタン、リモートコントローラから受信されるユーザ入力のリモコン信号を受信するリモコン信号受信部、ディスプレイ部２０６に設けられてユーザのタッチ入力を受信するタッチ入力受信部、ユーザのジェスチャー入力を感知するカメラ、ユーザの音声入力を認識するマイク、外部装置と通信して外部装置からユーザ入力を受信する通信部などによって具現することができる。
記憶部２０９は、電子装置１の様々なデータを保存するように構成される。
記憶部２０９は、電子装置１に供給される電源が遮断されてもデータが保持され、変動事項を反映できるように上書き可能な不揮発性メモリ（ｗｒｉｔａｂｌｅ ＲＯＭ）とすることができる。
すなわち、記憶部２０９は、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ＥＰＲＯＭ又はＥＥＰＲＯＭのいずれか一つとすることができる。
記憶部２０９は、電子装置１の読出し又は書込み速度が不揮発性メモリに比べて速いＤＲＡＭ又はＳＲＡＭのような揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）をさらに具備してもよい。
通信部は、外部装置と通信するように構成される。
通信部は、電子装置１の具現方式などによって様々な方式で具現される。
例えば、通信部は、有線通信のための接続部を有し、接続部は、ＨＤＭＩ（登録商標）（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（登録商標）−ＣＥＣ（ｃｏｎｓｕｍｅｒ ｅｌｅｃｔｒｏｎｉｃｓ ｃｏｎｔｒｏｌ）、ＵＳＢ、コンポーネント（ｃｏｍｐｏｎｅｎｔ）などの規格に基づく信号／データを送／受信することができ、これらのそれぞれの規格に対応する少なくとも一つのコネクター又は端子を有する。
通信部は、有線ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）を通じて複数のサーバーと有線通信を行うこともできる。
通信部は、有線接続のためのコネクター又は端子を有する接続部の他にも、電子装置１の設計方式によって様々な構成を有することができる。
様々な構成の例示としては、外部装置と無線通信を行うためにＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）信号を送受信するＲＦ回路を含むことができ、Ｗｉ−ｆｉ、ブルトゥース（登録商標）、ジグビー（Ｚｉｇｂｅｅ（登録商標））、ＵＷＭ（Ｕｌｔｒａ−Ｗｉｄｅ Ｂａｎｄ）、Ｗｉｒｅｌｅｓｓ ＵＳＢ、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）の内の一つ以上の通信を行うように構成することができる。
制御部２０５は、電子装置１の諸般構成が動作するための制御を行う。
制御部２０５は、このような制御動作を実行可能にする制御プログラムと、制御プログラムが設置される不揮発性のメモリ、設置された制御プログラムの少なくとも一部がロードされる揮発性のメモリ、及びロードされた制御プログラムを実行する少なくとも一つのマイクロプロセッサ或いはＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を備え得る。
制御プログラムは、ＢＩＯＳ、デバイスドライバ、オペレーティングシステム（ＯＳ）、ファームウェア、プラットホーム、及びアプリケーションプログラムの内の少なくとも一つの形態で具現されるプログラムを含み得る。
一つの実施形態として、アプリケーションプログラムは、電子装置１の製造に当たって、電子装置１にあらかじめインストール又は保存されてもよく、或いは将来の使用時に、外部からアプリケーションプログラムのデータを受信し、受信されたデータに基づいて電子装置１にインストールされてもよい。
アプリケーションプログラムのデータは、例えば、アプリケーションプログラムマーケットのような外部サーバーから電子装置１にダウンロードされてもよい。
制御部２０５は、一つの実施形態として、オーディオ入力のうち、音像が中央以外の背景に位置する第２オーディオ成分の音像を変更し、音像が変更された第２オーディオ成分と第１オーディオ成分とを合成してオーディオ出力を生成するようにオーディオ処理部２０１を制御する。
制御部２０５は、音像が変更された第２オーディオ成分に対して、スピーカーから出力されるオーディオ出力のクロストークをキャンセルするための処理を行うようにオーディオ処理部２０１を制御する。
他の実施形態として、制御部２０５は、通信部を通じて外部装置にオーディオ出力を伝達する場合、外部装置がヘッドセットか外部スピーカーかに基づいて、クロストークをキャンセルすることを選択的にスキップしてもよい。
以下、図面を参照して、本発明に係るオーディオ処理部２０１の詳細な構成及び機能について説明する。
図３は、本発明の一実施形態に係るオーディオ処理部の概略構成を示すブロック図である。
オーディオ処理部２０１は、オーディオ入力にオーディオプロセスを処理することによって、音像が変更され、且つクロストークがキャンセルされたオーディオ出力を生成する。
そのために、オーディオ処理部２０１は、信号分離部３００、バイノーラル合成部３０１、クロストークキャンセル部３０３、及びミックス部３０５を備える。
図４は、本発明の一実施形態に係る信号分離部の概略構成を示すブロック図である。
信号分離部３００は、オーディオ入力から第１オーディオ成分「Ｃｅｎｔｅｒ」と２チャンネルの第２オーディオ成分「Ａｍｂ Ｌ」、「Ａｍｂ Ｒ」を分離する。
音像が中央に位置している第１オーディオ成分「Ｃｅｎｔｅｒ」は、例えば、映画やドラマのようなコンテンツにおいてオーディオのうち、俳優の台詞やナレーションのようなオーディオ成分であり得る。
音像が中央以外の背景に位置している第２オーディオ成分「Ａｍｂ Ｌ」、「Ａｍｂ Ｒ」は、背景音楽、周辺環境音のようなオーディオ成分であり得る。
音像が中央に位置している場合、音像を変更したり、クロストークをキャンセルする必要がないので、オーディオ処理部２０１は、音像が中央に位置している第１オーディオ成分「Ｃｅｎｔｅｒ」をオーディオ入力から分離し、以降、プロセスをバイパスさせる。
信号分離部３００は、ドメイン変換部４００、相関係数算出部４０１、中心成分抽出部４０３、及び減算部４０５を備える。
ドメイン変換部４００は、第１チャンネル及び第２チャンネルを有するオーディオ信号を受信してドメイン（ｄｏｍａｉｎ）を変換する。
ドメイン変換部４００は、高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＦＦＴ）などのアルゴリズムを用いてステレオ信号のドメインを周波数ドメインに変換する。
相関係数算出部４０１は、ドメイン変換部４００によって周波数ドメインに変換されたオーディオ信号を用いて相関係数を算出する。
相関係数算出部４０１は、オーディオ信号に含まれた２チャンネル間の一貫性（ｃｏｈｅｒｅｎｃｅ）を示す第１係数、及び２チャンネル間の類似性（ｓｉｍｉｌａｒｉｔｙ）を示す第２係数を求め、第１係数及び第２係数を用いて相関係数を求める。
相関係数算出部４０１は、算出された相関係数を中心成分抽出部４０３に送る。
中心成分抽出部４０３は、相関係数及びオーディオ信号を用いてオーディオ信号から第１オーディオ成分「Ｃｅｎｔｅｒ」を抽出する。
中心成分抽出部４０３は、オーディオ信号の算術平均（ａｒｉｔｈｍｅｔｉｃ ｍｅａｎ）を求め、ここに相関係数をかけて第１オーディオ成分「Ｃｅｎｔｅｒ」を生成する。
減算部４０５は、オーディオ信号と第１オーディオ成分「Ｃｅｎｔｅｒ」との差を求める。
減算部４０５は、左側成分を有する第１オーディオチャンネル（ＣＨ１）から第１オーディオ成分「Ｃｅｎｔｅｒ」を引いて左背景オーディオ信号「Ａｍｂ Ｌ」を求め、右側成分を有する第２オーディオチャンネル（ＣＨ２）から第１オーディオ成分「Ｃｅｎｔｅｒ」を引いて右背景オーディオ信号「Ａｍｂ Ｒ」を生成する。
図及び上述の説明ではオーディオ信号が２チャンネルの信号である場合だけを説明しているが、本発明の思想がこれに限定されるものではなく、入力信号が５．１チャンネル又はそれ以上のマルチチャンネルオーディオ信号である場合にも本発明を適用することができる。
オーディオ入力が、第１オーディオ成分「Ｃｅｎｔｅｒ」と第２オーディオ成分「Ａｍｂ Ｌ」、「Ａｍｂ Ｒ」とに分離して入力される場合、信号分離部３００は受信したオーディオ入力に信号分離を行わず、第１オーディオ成分「ｃｅｎｔｅｒ」以外の第２オーディオ成分「Ａｍｂ Ｌ」、「Ａｍｂ Ｒ」をバイノーラル合成部３０１及びクロストークキャンセル部３０３に伝達する。
オーディオ入力が、左、右、中央チャンネルを含む場合、前方音像を自然に生成するために、中央チャンネルに第１オーディオ成分の一部と第２オーディオ成分の一部が含まれることがある。
この場合、中央チャンネル及び左／右チャンネルを含むチャンネルを信号分離部３００に入力し、第１オーディオ成分「ｃｅｎｔｅｒ」と第２オーディオ成分「Ａｍｂ Ｌ」、「Ａｍｂ Ｒ」とに分離することができる。
図５は、本発明の一実施形態に係る１対のステレオチャンネルを含む第２オーディオ成分「Ａｍｂ Ｌ」、「Ａｍｂ Ｒ」にバイノーラル合成を行うバイノーラル合成部の概略構成を示すブロック図である。
バイノーラル合成部３０１は、信号分離部３００で分離された、又は既に分離して入力された第１オーディオ成分「Ｃｅｎｔｅｒ」及び第２オーディオ成分「Ａｍｂ Ｌ」、「Ａｍｂ 」Ｒのうち、第２オーディオ成分「Ａｍｂ Ｌ」、「Ａｍｂ Ｒ」を受信して、仮想のスピーカー位置に音像を変更するためのオーディオ処理を行う。
バイノーラル合成部３０１は、ＨＲＴＦ伝達関数５００と、ＨＲＴＦが適用されたオーディオ成分を合成する合成部５０１を備える。
音源と鼓膜間の音響伝達関数（ａｃｏｕｓｔｉｃ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）を“ＨＲＴＦ（ｈｅａｄ ｒｅｌａｔｅｄ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）”という。
このようなＨＲＴＦは、両耳間の時間差と両耳間のレベル差、耳殻の形状を含めて、声が伝達されてきた空間の特性を示す情報が含まれている。
特に、ＨＲＴＦは、上と下の音像定位に決定的な影響を及ぼす耳殻に関する情報を含み、その耳殻に対するモデリングは容易ではないため、測定によって得られ得る。
ＨＲＴＦ情報は、“ＭＩＴ Ｍｅｄｉａ Ｌａｂ”で測定したＫＥＭＡＲ（Ｋｎｏｗｌｅｓ Ｅｌｅｃｔｒｏｎｉｃｓ Ｍａｎｎｅｑｕｉｎ ｆｏｒ Ａｃｏｕｓｔｉｃ Ｒｅｓｅａｒｃｈ）ダミーヘッドに対するデータを用いることができる。
ＨＲＴＦの測定方法は、正弦波加振方法、白色雑音（ホワイトノイズ）加振方法、そしてＭＬＳ（ｍａｘｉｍｕｍ ｌｅｎｇｔｈ ｓｅｑｕｅｎｃｅ）を用いた衝撃応答測定方法などがある。
正弦波加振方法は、自由音場状態で（例えば、無響室中で）測定位置の音圧が一定に維持されるようにスピーカー正弦波入力信号を制御した後、頭形ダミーを設置し、記録された信号でスピーカーを加振する時に耳でのオーディオ応答を記録する方法でＨＲＴＦを測定する。
白色雑音加振方法は、雑音発生器を用いて発生させた白色雑音に対するオーディオ応答を測定して周波数応答関数を求める方法でＨＲＴＦを測定する。
ＭＬＳを用いた方法は、ＭＬＳ信号を発生させ、発生したＭＬＳ信号をラウドスピーカーの入力端に入力して加振し、入力信号と頭形ダミーのオーディオ応答との相互相関関数を測定して衝撃応答関数（ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ ｆｕｎｃｔｉｏｎ）を求める方法でＨＲＴＦを測定する。
したがって、このような特性をモデリングして再生すると、実際にスピーカーの位置がその位置になくても、聴取者にとってはあたかも意図した特定位置で再生されるかのように感じることができる。
２チャンネルＨＲＴＦの場合、例えば、３０°の間隔で左右に離れた標準ステレオスピーカーから測定された測定値と、電子装置１に設けられたスピーカーの位置に基づいて算出されたＨＲＴＦ伝達関数５００を活用するが、これに限定されない。
バイノーラル合成部３０１は、オーディオ入力から分離された第２オーディオ成分「Ａｍｂ Ｌ」、「Ａｍｂ Ｒ」に、“ＨＬＬ”、“ＨＬＲ”、“ＨＲＬ”、“ＨＲＲ”の伝達関数５００をコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）させる。
バイノーラル合成部３０１は、各チャンネルの第２オーディオ成分にＨＲＴＦ伝達関数５００を適用する。
より具体的には、バイノーラル合成部３０１は、第２オーディオ成分「Ａｍｂ Ｌ」、「Ａｍｂ Ｒ」の内、左側背景オーディオ「Ａｍｂ Ｌ」に“ＨＬＬ”及び“ＨＲＬ”を適用し、右側背景オーディオ「Ａｍｂ Ｒ」に“ＨＲＲ”及び“ＨＬＲ”を適用する。
続いて、合成部５０１で、“ＨＬＬ”及び“ＨＬＲ”が適用されたオーディオを合成して左側バイノーラル合成されたオーディオ成分（ＢＬ）を生成し、“ＨＲＲ”及び“ＨＲＬ”が適用されたオーディオを合成して右側バイノーラル合成されたオーディオ成分（ＢＲ）を生成する。
これによって、ユーザは、仮想の音源があたかも実際スピーカーと異なる所に位置しているかのように感じることができる。
各伝達関数５００が適用されたオーディオは、合成部５０１で合成されて出力される。
図６には、本発明の一実施形態によって第２オーディオ成分にＨＲＴＦフィルターを適用するバイノーラル合成処理によって形成された仮想スピーカーと聴取者との関係を示す。
ＨＲＴＦ伝達関数５００の適用により、聴取者は、仮想スピーカー（６００、６０１）がそれぞれ３０°の間隔で離れた所から音声（サウンド）を聴取するように感じる。
図７は、本発明の一実施形態に係るクロストークキャンセル部の概略構成を示すブロック図である。
クロストークキャンセル部３０３は、バイノーラル合成部３０１から出力されたバイノーラル合成されたオーディオ成分（ＢＬ、ＢＲ）に、オーディオ出力から発生し得るクロストークをキャンセルするための処理を行う。
クロストークとは、あるチャンネルの音声（サウンド）（例えば、Ｌ）が聴取者の同一方向の耳（左側）に伝達される場合に他側の音声（サウンド）（Ｒ）と混合されて聴取を妨害することであり、クロストークキャンセル部３０３は、バイノーラル合成されたオーディオ成分（ＢＬ、ＢＲ）にクロストーク係数７００を適用してクロストークをキャンセルする。
クロストーク係数７００は、ＨＲＴＦ伝達関数５００の逆行列を用いて決定することができる。
左側（又は、右側）スピーカーからで出力される１チャンネルの音声（サウンド）は、聴取者の右耳（又は、左耳）に聞こえなくなる。
クロストークキャンセルが行われた第２オーディオ成分（ＣＬ、ＣＲ）は、ミックス部３０５に伝達される。
ミックス部３０５は、クロストークキャンセルの完了した第２オーディオ成分（ＣＬ、ＣＲ）と第１オーディオ成分とを合成してオーディオ出力（ｙＬ、ｙＲ）を生成する。
他の実施形態によれば、電子装置１がオーディオ出力信号を通信部を通じて、ヘッドセットなどのクロストークが発生しない外部オーディオ出力装置に伝達する場合、制御部２０５はクロストークキャンセル処理を省略し、音像が変更された第２オーディオ成分と音像が維持された第１オーディオ成分とを合成してオーディオ出力を生成する。
以上、信号分離部３００において、分離された第２オーディオ成分が左背景オーディオ「Ａｍｂ Ｌ」と右背景オーディオ「Ａｍｂ Ｒ」の２つに分離される場合だけを説明した。
しかし、本発明の思想はこれに限定されない。
本発明の他の実施形態に係る信号分離部３００は、より自然なオーディオの再現のために、第２オーディオ成分をさらに細分化して分離したり、さらに細分化された第２オーディオ成分を含むオーディオ入力を外部から入力してもよい。
以下、図面を参照して具体的に説明する。
図８は、本発明の他実施形態に係る第２オーディオ成分を複数個に分離する信号分離部の概略構成を示すブロック図である。
信号分離部３００は、オーディオ入力から、左／右パンニング角度（ｐａｎｎｉｎｇ ａｎｇｌｅ）によって３個以上の複数個の信号に分離するために、パンニングインデクス（ｐａｎｎｉｎｇ ｉｎｄｅｘ）抽出部８００と、第１及び第２背景オーディオ分離部（８０１、８０３）をさらに備える。
第２オーディオ成分が複数個に細分化して入力された場合、信号分離部３００は第２オーディオ成分を細分化する動作を行わないか、第２オーディオ成分をさらに細分化してもよい。
パンニングインデクス抽出部８００は、相関係数算出部４０１で算出された相関係数からパンニングインデクスを抽出する。
より具体的には、パンニングインデクス抽出部８００は、受信したオーディオ入力（Ｌ、Ｒ）の各チャンネル間比率に基づいて、オーディオの音源がパンされた（ｐａｎｎｅｄ）程度を算出し、算出された程度に基づいてパンニングインデクスを抽出し得る。
他の実施形態によれば、放送信号など、信号受信部２００から受信されるコンテンツ信号が、オーディオのパンニングインデクス情報を含んでいてもよい。
第１及び第２背景オーディオ分離部（８０１、８０３）は、抽出されたパンニングインデクスを用いてパンニング程度によって第２オーディオ成分をより細分化して分離する。
分離される複数の左背景オーディオ「ＡｍｂＬ１〜ＡｍｂＬＮ」と、複数の右背景オーディオ「ＡｍｂＲ１〜ＡｍｂＲＮ」のそれぞれは、抽出されたパンニングインデクスに対応するレベルを有する。
図９は、２Ｎ個のチャンネルにＨＲＴＦ伝達関数９００を適用するためのバイノーラル合成部３０１の詳細構成を示すブロック図である。
バイノーラル合成部３０１は、信号分離部３００でより多い位置で測定されたＨＲＴＦを用いて伝達関数９００を設計して、複数個に分離された第２オーディオ成分「ＡｍｂＬ１〜ＡｍｂＬＮ」、「ＡｍｂＲ１〜ＡｍｂＲＮ」に適用する。
例えば、中心を基準に最も近くに集まっている仮想スピーカーに対する伝達関数は、「Ｈ１」と定義し、最も遠く離れている仮想スピーカーに対する伝達関数は「ＨＮ」と定義する。
合成部（９０１、９０３）は、伝達関数９００を通過した各オーディオ成分を合成して左バイノーラル合成音声（サウンド）（ＢＬ）と右バイノーラル合成音声（サウンド）（ＢＲ）を生成する。
図１０は、本発明の他の実施形態による複数個に分離された第２オーディオ成分に複数のＨＲＴＦ伝達関数を適用するバイノーラル合成処理によって形成された複数個の仮想スピーカー（１０００、１００１、１００３）と聴取者との関係を示す図である。
電子装置１は、より多い数の仮想スピーカー（１０００、１００１、１００３）からより自然な音声（サウンド）を再現できるようになる。
図１１は、本発明の他の実施形態に係る電子装置の例を示す図であり、図１２は、複数のスピーカーに対応するように設けられるオーディオ処理部の概略構成を示すブロック図である。
オーディオ出力部２０３は、出力するオーディオの周波数帯域によって複数の周波数帯域に対応する複数のスピーカー（１１００、１１０１、１１０３）を有し得る。
複数のスピーカー（１１００、１１０１、１１０３）が、上下に（例えば、垂直方向に）配列される場合、オーディオ出力の経路差が大きく発生せず、スピーカー別にＨＲＴＦに大差はない。
しかし、電子装置１の空間上の制約などから各スピーカー（１１００、１１０１、１１０３）が左右に（例えば、水平方向に）配置される場合には、各スピーカー（１１００、１１０１、１１０３）からユーザに達するオーディオ出力の経路差が発生する。
これを解消するために本発明の他の実施形態に係るオーディオ処理部２０１は、周波数帯域別に第１オーディオ成分と第２オーディオ成分を分離する信号分離部３００、周波数帯域別に分離された第２オーディオ成分にバイノーラル合成及びクロストークキャンセルを行うための複数のバイノーラル合成部（３０１ａ〜３０１ｃ）及び複数のクロストークキャンセル部（３０３ａ〜３０３ｃ）、複数のミックス部（３０５ａ〜３０５ｃ）を備える。
複数のバイノーラル合成部（３０１ａ〜３０１ｃ）及び複数のクロストークキャンセル部（３０３ａ〜３０３ｃ）は、それぞれ、複数のスピーカー（１１００、１１０１、１１０３）間の離隔された距離、各スピーカー（１１００、１１０１、１１０３）が配置された位置、少なくとも一つの位置で測定されたＨＲＴＦ係数及びクロストークフィルター係数、をオーディオ入力から分離された第２オーディオ成分に適用する。
図１３は、本発明の一実施形態に係る制御フローチャートである。
まず、工程Ｓ１３００で、制御部２０５は、オーディオ入力を処理してオーディオ出力を生成するようにオーディオ処理部２０１を制御する。
続いて、工程Ｓ１３０１で、制御部２０５は、オーディオ入力を第１オーディオ成分及び第２オーディオ成分に分離するようにオーディオ処理部２０１を制御する。
その後、制御部２０５は、第２オーディオ成分の音像を所定の位置に変更するようにオーディオ処理部２０１を制御する（工程Ｓ１３０２）。
最後に、制御部２０５は、第１オーディオ成分及び音像が変更された第２オーディオ成分を用いてオーディオ出力を生成するようにオーディオ処理部２０１を制御する（工程Ｓ１３０３）。
図１４は、本発明の一実施形態によるオーディオ出力の歪み現象改善を示す図である。
電子装置１は、オーディオ出力の歪み現象を感知するためにテスト信号を生成し、オーディオ処理を行って出力することができる。
電子装置１は、外部からテスト信号を受け取ってもよい。
テスト信号は、少なくとも２つのチャンネルを有するオーディオ入力を含む。
オーディオ処理部２０１は、受信したテスト信号を処理してオーディオ出力部２０３に提供する。
オーディオ出力部２０３は、左右スピーカー（１４００、１４０１）から音声（サウンド）を出力する。
ユーザの耳又は人体型ダミーに位置する感知部１４０３で、オーディオ出力の歪みの有無を感知することができる。
第１オーディオ成分「ｃｅｎｔｅｒ」は、音像が中央にあるため、バイノーラル合成及びクロストークキャンセリングが適用される場合、歪みが発生する。
符号１４０５は、オーディオ成分の分離無しでオーディオ入力にバイノーラル合成及びクロストークキャンセリングを適用した状態で感知されたオーディオ出力の周波数特性である。
第１オーディオ成分「Ｃｅｎｔｅｒ」にバイノーラル合成及びクロストークキャンセリングが適用され、オーディオ出力成分の特定周波数で歪み１４１１が発生する。
符号１４０７は、オーディオ入力から第１オーディオ成分「Ｃｅｎｔｅｒ」と第２オーディオ成分「Ａｍｂ Ｌ」、「Ａｍｂ Ｒ」を分離し、分離された第２オーディオ成分「Ａｍｂ Ｌ」、「Ａｍｂ Ｒ」にのみバイノーラル合成及びクロストークキャンセリングが適用された状態で感知されたオーディオ出力の周波数特性である。
第１オーディオ成分「Ｃｅｎｔｅｒ」が分離されてバイノーラル合成及びクロストークキャンセリングが適用されなかったため、オーディオ出力成分の特定周波数において歪みが改善される（符号１４１３）。
図１５は、本発明の一実施形態によるテスト信号がサイドからセンターにパンされる（ｐａｎｎｅｄ）時、オーディオ出力の歪み現象改善を示す図である。
電子装置１はオーディオ出力の歪み現象を感知するためにテスト信号を生成し、オーディオ処理を行って出力することができる。
電子装置１は、外部からテスト信号を受け取ってもよい。
テスト信号は、少なくとも２つのチャンネルを有するオーディオ入力を含む。
オーディオ処理部２０１は、受信したテスト信号を処理してオーディオ出力部２０３に提供する。
オーディオ出力部２０３は、左右スピーカー（１５００、１５０１）からオーディオを出力する。
ユーザの耳又は人体型ダミーに位置する感知部１５０３で、オーディオ出力歪みの有無を感知することが可能となる。
テスト信号１５０５は、左右チャンネルを有する相関白色雑音（Ｃｏｒｒｅｌａｔｅｄ ｗｈｉｔｅ ｎｏｉｓｅ）であってもよい。
テスト信号１５０５は、時間の経過につれて左チャンネル１５１１（Ｌ）と右チャンネル１５１３（Ｒ）のレベルが調節され、左側にパンされた状態からセンターに順次パンされる。
最終的には、左チャンネル１５１１と右チャンネル１５１３で同じレベルの信号が再生されてセンターに音像が定位される。
第１オーディオ成分「Ｃｅｎｔｅｒ」は、音像が中央にあることから、バイノーラル合成及びクロストークキャンセリングが適用されると歪みが発生する。
符号１５０７は、オーディオ成分の分離無しでオーディオ入力にバイノーラル合成及びクロストークキャンセリングを適用した状態で感知されたオーディオ出力の周波数特性である。
テスト信号がセンターにパンされていくにつれて、バイノーラル合成及びクロストークキャンセリングが適用された第１オーディオ成分「Ｃｅｎｔｅｒ」が、オーディオ出力において、より高い比率を有するようになる。
テスト信号がセンターに近接する時、オーディオ出力成分の特定周波数において歪み１５１５が発生する。
符号１５０９は、オーディオ入力から第１オーディオ成分「Ｃｅｎｔｅｒ」と第２オーディオ成分「Ａｍｂ Ｌ」、「Ａｍｂ Ｒ」を分離し、分離された第２オーディオ成分「Ａｍｂ Ｌ」、「Ａｍｂ Ｒ」にのみバイノーラル合成及びクロストークキャンセリングが適用された状態で感知されたオーディオ出力の周波数特性である。
第１オーディオ成分「Ｃｅｎｔｅｒ」が分離され、バイノーラル合成及びクロストークキャンセリングが適用されなかったため、テスト信号がセンターにパンされても特定周波数において歪みが改善される（符号１５１７）。
図１６は、本発明の他の実施形態に係る電子装置の概略構成を示すブロック図である。
他の実施形態に係る電子装置１から出力されるオーディオ出力は、スピーカー１７の他、ヘッドセット１６から出力されてもよい。
オーディオ出力がヘッドセット１６から出力される場合、一側のチャンネルのオーディオ（Ｌ）と他側のオーディオ（Ｒ）とが干渉することがなく、聴取者の聴取を妨害することがないので、クロストークキャンセリングを行う必要がない。
制御部２０５は、オーディオ出力がヘッドセット１６から出力されるか、或いはスピーカー１７から出力されるかによって、クロストークキャンセル部１６００がバイノーラル合成された第２オーディオ成分（ＢＬ、ＢＲ）にクロストークキャンセリングを選択的に行うように制御する。
クロストークキャンセル部１６００は、制御部２０５の制御に応じて、クロストークキャンセリングが行われた第２オーディオ成分（ＣＬ、ＣＲ）又はクロストークキャンセリングが行われていない第２オーディオ成分（ＢＬ、ＢＲ）をミックス部１６０１に出力する。
ミックス部１６０１は、クロストークキャンセリングが行われた第２オーディオ成分（ＣＬ、ＣＲ）又はクロストークキャンセリングが行われていない第２オーディオ成分（ＢＬ、ＢＲ）に第１オーディオ成分「Ｃｅｎｔｅｒ」を混合して、ヘッドセット１６に提供するヘッドセットオーディオ出力（ＨＬ、ＨＲ）を生成するか、又はスピーカー１７に提供されるスピーカーオーディオ出力（ＳＬ、ＳＲ）を生成して出力する。
図１７は、本発明の一実施形態に係る電子装置の動作を示す図である。
電子装置１は、音源のパンされた程度などによって仮想スピーカーの個数と音源の角度を調節することができる。
例えば、電子装置１は、オーディオ入力が、臨場感（ｐｒｅｓｅｎｃｅ）が重視されるオーケストラ、スタジアムなどに関係する場合や、音源の角度が様々であって広い音像が要求される場合、仮想スピーカーの個数を増加させる。
逆に、オーディオ入力が、俳優の台詞などのように音像が中央に位置して第１オーディオ成分「Ｃｅｎｔｅｒ」の比重が高い場合、仮想スピーカーの個数を減少させる。
符号１７００は、オーディオ入力の音源のパンされた角度によって仮想スピーカーの個数が決定され、ユーザに案内する例を示す。
他の例として、電子装置１は、ユーザの選択によって仮想スピーカーの個数と音源の角度を決定してもよい。
符号１７０１は、ユーザが仮想スピーカーの個数と音源の角度を決定するための項目を含むユーザインターフェース（ＵＩ）の例を示す。
図１８は、本発明の一実施形態による図１７で決定された音源の角度と仮想スピーカーの個数が調節される例を示す図である。
符号１８００は、決定された音源の角度によって仮想スピーカーの位置が調節される例を示す。
仮想スピーカーは、バイノーラル合成部３０１でＨＲＴＦ関数の適用によって生成され、複数のＨＲＴＦフィルターのうち、決定された音源の角度に対応するＨＲＴＦフィルターをオーディオ入力に適用することによって仮想スピーカーの位置を調節することができる。
符号１８０１は、仮想スピーカーの個数が調節される例を示す。
仮想スピーカーの個数を調節するために、信号分離部３００は、決定された個数に対応するように第２オーディオ成分「ＡｍｂＬ１〜ＡｍｂＬＮ」、「ＡｍｂＲ１〜ＡｍｂＲＮ」を分離する。
次に、バイノーラル合成部３０１が、分離された第２オーディオ成分「ＡｍｂＬ１〜ＡｍｂＬＮ」、「ＡｍｂＲ１〜ＡｍｂＲＮ」に、決定された音源の角度に対応するＨＲＴＦフィルターを適用することによって、仮想スピーカーの個数が調節される。
図１９は、本発明の他の実施形態に係る電子装置の概略構成を示すブロック図である。
前述したように、オーディオ入力は、左チャンネルと右チャンネルの２チャンネルを有し得る。
オーディオ入力が２チャンネルである場合、第１信号分離部１９００で第１オーディオ成分「Ｃｅｎｔｅｒ」と第２オーディオ成分「Ａｍｂ Ｌ」、「Ａｍｂ Ｒ」とに分離される。
オーディオ入力は、左チャンネル、右チャンネル、中央チャンネルを含む３つ以上のチャンネルを有することができる。
オーディオ入力が３つ以上のチャンネルを有する場合にも、中央チャンネルが第２オーディオ成分「Ａｍｂ Ｌ」、「Ａｍｂ Ｒ」の一部を含むと、オーディオ入力は第２信号分離部１９０１で分離される。
例えば、オーディオ入力が３チャンネルである場合、左チャンネルと中央チャンネルとの相関係数を算出し、右チャンネルと中央チャンネルとの相関係数を算出した後、これら相関係数を用いて、音像が中央に位置する第１オーディオ成分「Ｃｅｎｔｅｒ」と音像が周辺に位置する第２オーディオ成分「Ａｍｂ Ｌ」、「Ａｍｂ Ｒ」とに分離する。
オーディオの分離は、オーディオ入力が３チャンネル以上の場合にも適用することができる。
第２オーディオ成分「Ａｍｂ Ｌ」、「Ａｍｂ Ｒ」は、バイノーラル合成部１９０３及びクロストークキャンセル部１９０５を経てミックス部１９０７で第１オーディオ成分「Ｃｅｎｔｅｒ」と合成されて出力される。
以上説明したように、本発明の実施形態によれば、音像が大きい音を音声の歪みなく提供するので、自然な臨場感で音を再生することができる。
以上、好適な実施形態を挙げて本発明に関して詳しく説明したが、本発明はそれらに限定されるものではなく、特許請求の範囲内で様々に実施可能である。
１ 電子装置
１００、１０１ 音声（サウンド）
２００ 信号受信部
２０１ オーディオ処理部
２０２ 信号処理部
２０３ オーディオ出力部
２０４ 映像処理部
２０５ 制御部
２０６ ディスプレイ部
２０７ 入力受信部
２０９ 記憶部
３００ 信号分離部
３０１、３０１（ａ〜ｃ） バイノーラル合成部
３０３、３０３（ａ〜ｃ） クロストークキャンセル部
３０５、３０５（ａ〜ｃ） ミックス部
４００ ドメイン変換部
４０１ 相関係数算出部
４０３ 中心成分抽出部
４０５ 減算部
５００ ＨＲＴＦ伝達関数
５０１ 合成部
７００ クロストーク係数
８００ パンニングインデクス抽出部
８０１、８０３ （第１、第２）背景オーディオ分離部
９００ ＨＲＴＦ伝達関数
９０１、９０３ 合成部
１０００、１００１、１００３ 仮想スピーカー

Claims (15)

  1. 電子装置であって、
    少なくとも２つのチャンネルを有するオーディオ入力（ａｕｄｉｏ）を処理してオーディオ出力を生成するオーディオ処理部と、
    前記オーディオ入力を、互いに異なる音像（ｓｏｕｎｄ ｉｍａｇｅ）を有する第１オーディオ成分及び第２オーディオ成分に分離し、前記オーディオ出力が臨場感を有するように、前記第２オーディオ成分の音像を所定の位置に変更して、前記音像が維持される前記第１オーディオ成分と、前記音像が変更された前記第２オーディオ成分と、を用いて前記オーディオ出力を生成する前記オーディオ処理部を制御する制御部と、を有することを特徴とする電子装置。
  2. 前記第１オーディオ成分の音像は中央であり、
    前記第２オーディオ成分の前記音像は、前記中央以外の背景に位置することを特徴とする請求項１に記載の電子装置。
  3. 前記制御部は、前記第２オーディオ成分を複数個に分離するように前記オーディオ処理部を制御することを特徴とする請求項１に記載の電子装置。
  4. 前記生成されたオーディオ出力を出力するスピーカーをさらに有することを特徴とする請求項１に記載の電子装置。
  5. 前記制御部は、前記スピーカーの位置に基づいて前記第２オーディオ成分の音像を前記所定の位置に変更するように前記オーディオ処理部を制御することを特徴とする請求項４に記載の電子装置。
  6. 前記制御部は、前記音像が前記所定の位置に変更された前記第２オーディオ成分に対して、前記スピーカーから出力される前記オーディオ出力のクロストークをキャンセルするための処理を実行するよう前記オーディオ処理部を制御することを特徴とする請求項４に記載の電子装置。
  7. 複数個のスピーカーが、前記オーディオ入力の周波数帯域に基づいて、互いに所定の距離で離隔するように配置され、
    前記制御部は、前記所定の距離及び前記各スピーカーが配置された位置に基づいて前記第２オーディオ成分の前記音像を所定の位置に変更するように前記オーディオ処理部を制御することを特徴とする請求項１に記載の電子装置。
  8. 電子装置の制御方法であって、
    少なくとも２つのチャンネルを有するオーディオ入力を処理してオーディオ出力を生成する段階と、
    前記オーディオ入力を、互いに異なる音像を有する第１オーディオ成分及び第２オーディオ成分に分離する段階と、
    前記第２オーディオ成分の音像を所定の位置に変更する段階と、
    前記第１オーディオ成分及び前記音像が所定の位置に変更された前記第２オーディオ成分を用いて、前記オーディオ出力を生成する段階と、を有することを特徴とする電子装置の制御方法。
  9. 前記第１オーディオ成分の音像は中央であり、
    前記第２オーディオ成分の前記音像は、前記中央以外の背景に位置することを特徴とする請求項８に記載の電子装置の制御方法。
  10. 前記分離する段階は、前記第２オーディオ成分を複数個に分離する段階を含むことを特徴とする請求項８に記載の電子装置の制御方法。
  11. 前記生成されたオーディオ出力をスピーカーから出力する段階をさらに有することを特徴とする請求項８に記載の電子装置の制御方法。
  12. 前記音像を所定の位置に変更する段階は、前記スピーカーの位置に基づいて前記第２オーディオ成分の前記音像を前記所定の位置に変更する段階を含むことを特徴とする請求項１１に記載の電子装置の制御方法。
  13. 前記音像が前記所定の位置に変更された前記第２オーディオ成分に対して、前記スピーカーから出力される前記オーディオ出力のクロストークをキャンセルするための処理を実行する段階をさらに有することを特徴とする請求項１１に記載の電子装置の制御方法。
  14. 前記音像を所定の位置に変更する段階は、前記オーディオ入力の周波数帯域に基づいて、複数個のスピーカーを互いに所定の距離で離隔するように配置する段階と、
    前記所定の距離及び前記各スピーカーが配置された位置に基づいて前記第２オーディオ成分の前記音像を所定の位置に変更する段階と、を含むことを特徴とする請求項１１に記載の電子装置の制御方法。
  15. コンピュータプログラム製品であって、
    コンピュータプログラムが格納されたコンピュータ読取り可能な媒体を備え、
    コンピューティング装置により前記コンピュータプログラムが実行されると、請求項８に記載の電子装置の制御方法を実行することを特徴とするコンピュータプログラム製品。
JP2019528683A 2016-11-29 2017-10-17 電子装置及びその制御方法 Pending JP2019537380A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2016-0160693 2016-11-29
KR1020160160693A KR102580502B1 (ko) 2016-11-29 2016-11-29 전자장치 및 그 제어방법
PCT/KR2017/011429 WO2018101600A1 (en) 2016-11-29 2017-10-17 Electronic apparatus and control method thereof

Publications (1)

Publication Number Publication Date
JP2019537380A true JP2019537380A (ja) 2019-12-19

Family

ID=62190609

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019528683A Pending JP2019537380A (ja) 2016-11-29 2017-10-17 電子装置及びその制御方法

Country Status (6)

Country Link
US (1) US20180152787A1 (ja)
EP (1) EP3494712A4 (ja)
JP (1) JP2019537380A (ja)
KR (1) KR102580502B1 (ja)
CN (1) CN109983785B (ja)
WO (1) WO2018101600A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7323544B2 (ja) 2018-03-22 2023-08-08 ブームクラウド ３６０ インコーポレイテッド スピーカ用のマルチチャネルサブバンド空間処理

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10771896B2 (en) * 2017-04-14 2020-09-08 Hewlett-Packard Development Company, L.P. Crosstalk cancellation for speaker-based spatial rendering
GB2579348A (en) * 2018-11-16 2020-06-24 Nokia Technologies Oy Audio processing
GB2584630A (en) * 2019-05-29 2020-12-16 Nokia Technologies Oy Audio processing
WO2023035218A1 (en) * 2021-09-10 2023-03-16 Harman International Industries, Incorporated Multi-channel audio processing method, system and stereo apparatus

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002330500A (ja) * 2001-04-27 2002-11-15 Pioneer Electronic Corp 自動音場補正装置及びそのためのコンピュータプログラム
JP2004007039A (ja) * 2002-05-30 2004-01-08 Canon Inc マルチスピーカを有するテレビシステム
KR100677119B1 (ko) 2004-06-04 2007-02-02 삼성전자주식회사 와이드 스테레오 재생 방법 및 그 장치
KR100641454B1 (ko) * 2005-07-13 2006-11-01 엘지전자 주식회사 오디오 시스템의 크로스토크 제거 장치
EP2154911A1 (en) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a spatial output multi-channel audio signal
KR20100062773A (ko) * 2008-12-02 2010-06-10 한국전자통신연구원 오디오 컨텐츠 재생 장치
JP5964311B2 (ja) * 2010-10-20 2016-08-03 ディーティーエス・エルエルシーＤｔｓ Ｌｌｃ ステレオイメージ拡張システム
KR20140128564A (ko) * 2013-04-27 2014-11-06 인텔렉추얼디스커버리 주식회사 음상 정위를 위한 오디오 시스템 및 방법
CN105917674B (zh) * 2013-10-30 2019-11-22 华为技术有限公司 用于处理音频信号的方法和移动装置
US10063984B2 (en) * 2014-09-30 2018-08-28 Apple Inc. Method for creating a virtual acoustic stereo system with an undistorted acoustic center

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7323544B2 (ja) 2018-03-22 2023-08-08 ブームクラウド ３６０ インコーポレイテッド スピーカ用のマルチチャネルサブバンド空間処理

Also Published As

Publication number Publication date
EP3494712A1 (en) 2019-06-12
EP3494712A4 (en) 2019-06-12
WO2018101600A1 (en) 2018-06-07
CN109983785B (zh) 2021-10-29
KR20180060793A (ko) 2018-06-07
US20180152787A1 (en) 2018-05-31
KR102580502B1 (ko) 2023-09-21
CN109983785A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
JP2019537380A (ja) 電子装置及びその制御方法
EP2891335B1 (en) Reflected and direct rendering of upmixed content to individually addressable drivers
CN107454511B (zh) 用于使声音从观看屏幕或显示表面反射的扬声器
KR102393798B1 (ko) 오디오 신호 처리 방법 및 장치
US9609418B2 (en) Signal processing circuit
US9967693B1 (en) Advanced binaural sound imaging
KR101673232B1 (ko) 수직 방향 가상 채널을 생성하는 장치 및 그 방법
US8867749B2 (en) Acoustic spatial projector
US9769585B1 (en) Positioning surround sound for virtual acoustic presence
US20190166419A1 (en) Apparatus and method for outputting audio signal, and display apparatus using the same
CN111095191B (zh) 显示装置及其控制方法
CN113424556B (zh) 声音再现/模拟系统和用于模拟声音再现的方法
JP2009260458A (ja) 音響再生装置、および、これを含む映像音声視聴システム
WO2019047712A1 (zh) 一种音频播放方法和装置、及终端
US11102604B2 (en) Apparatus, method, computer program or system for use in rendering audio
CN115777203A (zh) 信息处理装置、输出控制方法和程序
KR20140090469A (ko) 영상표시장치의 동작 방법
KR20210009189A (ko) 디스플레이 장치 및 그 제어 방법
JP2024502732A (ja) バイノーラル信号の後処理
KR101488936B1 (ko) 프론트 채널 사운드가 발생되는 미들 레이어 위치 조정 장치 및 그 방법
KR101461968B1 (ko) 홈시어터 시스템의 사운드 셋팅 장치 및 방법
US11546715B2 (en) Systems and methods for generating video-adapted surround-sound
EP4369739A2 (en) Adaptive sound scene rotation
EP4383757A1 (en) Adaptive loudspeaker and listener positioning compensation
JP2013176170A (ja) 再生装置および再生方法