JP2017521024A - 音声信号の最適化方法及びその装置、プログラム、及び記録媒体 - Google Patents

音声信号の最適化方法及びその装置、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP2017521024A
JP2017521024A JP2017516025A JP2017516025A JP2017521024A JP 2017521024 A JP2017521024 A JP 2017521024A JP 2017516025 A JP2017516025 A JP 2017516025A JP 2017516025 A JP2017516025 A JP 2017516025A JP 2017521024 A JP2017521024 A JP 2017521024A
Authority
JP
Japan
Prior art keywords
sound source
audio signal
terminal
predetermined sound
signal emitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017516025A
Other languages
English (en)
Other versions
JP6314286B2 (ja
Inventor
チアフ イエン
チアフ イエン
ナンナン ワン
ナンナン ワン
ポン ジャン
ポン ジャン
リュウジュン ジャン
リュウジュン ジャン
Original Assignee
シャオミ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャオミ・インコーポレイテッド filed Critical シャオミ・インコーポレイテッド
Publication of JP2017521024A publication Critical patent/JP2017521024A/ja
Application granted granted Critical
Publication of JP6314286B2 publication Critical patent/JP6314286B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/007—Monitoring arrangements; Testing arrangements for public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/007—Electronic adaptation of audio signals to reverberation of the listening space for PA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Stereophonic System (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本発明は、音声信号の最適化方法及びその装置、プログラム、及び記録媒体に関し、音声信号処理の技術分野に属する。前記方法は、少なくとも二つの音声収集ユニットを有する端末に用いられ、前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源に対して位置決めを行うステップと、位置決めされた各音源から所定音源を選別するステップと、位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するステップと、前記所定音源の発した音声信号に対し、音量を最適化するステップとを含む。本発明は、音声信号を収集する時、周囲の音源を選別し、且つ選別された音源から発した音声信号を最適化することにより、端末の音声信号に対する収集効果を向上させる。【選択図】図１

Description

本願は、音声信号処理の技術分野に関し、特に音声信号の最適化方法及びその装置に関する。
通信・電子技術の絶間ない発展に伴い、スマートホン、タブレットＰＣ、電子書籍リーダー及びＩＣレコーダー等の、音声通話又は録音機能を支える端末は、人々にとって生活に欠かせない道具となり、日常生活に多大な利便性をもたらしている。
このような端末の一つの応用方式として、複数のユーザが録音機能を支える同一端末を利用して会議中の録音を行い、又は複数のユーザが音声通話を支える同一端末を利用してその他の遠隔ユーザと電話会議を行うことが考えられる。端末は録音した音声信号を記憶し、又はそれを音声通話を行う遠隔ユーザに送信する。
本発明は音声信号の最適化方法及びその装置を提供する。その技術案は下記の通りである。
第１の局面によれば、
少なくとも二つの音声収集ユニットを有する端末に用いられる音声信号の最適化方法であり、
前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源を位置決めするステップと、
位置決めで確定された各音源から所定音源を選別するステップと、
位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するステップと、
前記所定音源の発した音声信号に対し、音量を最適化するステップと
を含む音声信号の最適化方法を提供する。
前記所定音源の発した音声信号に対し、音量を最適化するステップは、
前記所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び前記第１強度閾値以下の第２強度閾値と比較するステップと、
前記所定音源が発した音声信号の強度が前記第１強度閾値より大きい場合、前記所定音源が発した音声信号の強度を前記第１強度閾値まで低下させるステップと、
前記所定音源が発した音声信号の強度が前記第２強度閾値より小さい場合、前記所定音源が発した音声信号の強度を前記第２強度閾値まで増加させるステップと
を含んでもよい。
前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源に対し位置決めを行うステップは、
一つの音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差を取得するステップと、
前記音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、前記端末に対する前記音源の空間位置を決定するステップと、
を含んでもよい。
位置決めされた各音源から所定音源を選別するステップは、
前記各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づき、前記各音源から前記所定音源を選別するステップを含んでもよい。
前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するステップの前には、
前記端末中の姿勢センサにより、前記端末の姿勢を取得するステップと、
前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うステップとをさらに含み、
前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するステップは、
利得補償を行った後の音声信号の中から前記所定音源の発した音声信号を決定するステップを含んでもよい。
前記端末の姿勢には端末における正面と水平面の間の夾角が含まれ、
前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うステップは、
前記端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定するステップと、
前記補償数値に基づき、前記端末が収集した音声信号に対して利得補償を行うステップと
を含んでもよい。
第２の局面によれば、
少なくとも二つの音声収集ユニットを有する端末に用いられ、
前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源に対し位置決めを行うための位置決めモジュールと、
位置決めされた各音源から所定音源を選別するための選別モジュールと、
位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するための音声信号決定モジュールと、
前記所定音源の発した音声信号に対し、音量を最適化するための最適化モジュールと
を含む音声信号の最適化装置を提供する。
前記最適化モジュールは、
前記所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び前記第１強度閾値以下の第２強度閾値と比較するための比較サブモジュールと、
前記所定音源が発した音声信号の強度が前記第１強度閾値より大きい場合、前記所定音源が発した音声信号の強度を前記第１強度閾値まで低下させるための低下サブモジュールと、
前記所定音源が発した音声信号の強度が前記第２強度閾値より小さい場合、前記所定音源が発した音声信号の強度を前記第２強度閾値まで増加させるための増加サブモジュールと
を含んでもよい。
前記位置決めモジュールは、
一つの音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差を取得するための取得サブモジュールと、
前記音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、前記端末に対する前記音源の空間位置を決定するための位置決めサブモジュールと
を含んでもよい。
前記選別モジュールは、
前記各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づき、前記各音源から前記所定音源を選別するための選別モジュールであってもよい。
前記音声信号の最適化装置は、
前記音声信号決定モジュールが、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定する前に、前記端末中の姿勢センサにより、前記端末の姿勢を取得するための姿勢取得モジュールと、
前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うための補償モジュールと、をさらに含み、
前記音声信号決定モジュールは、利得補償を行った後の音声信号の中から前記所定音源の発した音声信号を決定してもよい。
前記補償モジュールは、
前記端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定するための数値確定サブモジュールと、
前記補償数値に基づき、前記端末が収集した音声信号に対して利得補償を行うための補償サブモジュールとを含み、
前記端末の姿勢には、前記端末における正面と水平面の間の夾角が含まれてもよい。
第３の局面によれば、
少なくとも二つの音声収集ユニットを有する端末に用いられ、
前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源について位置決めを行い、位置決めされた各音源から所定音源を選別して、位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定して、前記所定音源の発した音声信号に対し、音量を最適化するように設置されたプロッセサと、
プロッセサの実行可能なインストラクションを記憶するためのメモリと
を含む音声信号の最適化方法装置を提供する。
本発明の実施例係る技術案によれば、以下のような有益な効果が得られる。
少なくとも二つの音声収集ユニットにより、端末の周辺の音源に対して位置決めを行い、位置決めで確定された各音源から所定音源を選別して、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源の発した音声信号を決定し、当該所定音源の発した音声信号に対し音量を最適化し、端末が音声信号を収集する時、周囲の音源を選別して、且つ選別された音源の発した音声信号を最適化することにより、端末の音声信号に対する収集効果を向上させる。
以上の一般的な説明と以下のような細部的な説明は、例示的なものであって、本発明に対する限定として理解してはいけない。
以下の図面は、明細書に組み込まれて本願明細書の一部分となり、本願発明に合致する実施例を示し、且つ明細書とともに、本発明の原理を説明するために用いられる。
図１は、例示的な一実施例により示される音声信号の最適化方法のフローチャートである。 図２は、例示的な他の一実施例により示される音声信号の最適化方法のフローチャートである。 図３は、例示的な他の一実施例により示される位置決め方法のフローチャートである。 図４は、例示的な他の一実施例により示される利得補償方法のフローチャートである。 図５は、例示的な一実施例により示される音声信号の最適化装置のブロック図である。 図６は、例示的な他の一実施例により示される音声信号の最適化装置のブロック図である。 図７は、例示的な一実施例により示される装置のブロック図である。
以下、図面を参照して、例示的な実施例について詳細に説明し、その例示的な実施例を図面に示すことにする。以下の図面に関する説明において、別途の説明がない限り、異なる図面中の同一の符号は、同一又は類似する要素を示すこととする。以下の例示的実施例において説明する複数の実施形態は、本発明に係る全ての実施形態を代表するわけではない。逆に、それらは、添付の特許請求の範囲に記載される本発明の一部の態様を示す装置及び方法の例に過ぎない。
図１は例示的な一実施例により示される音声信号の最適化方法のフローチャートである。当該音声信号の最適化方法は、少なくとも二つの音声収集ユニットを有する端末に利用できる。当該端末はスマートホン、タブレットＰＣ、電子書籍リーダー及びスマートレコーダー等の、音声通話又は録音機能を支えるスマート端末であってもよい。図１に示すように、当該音声信号の最適化方法は以下のステップを含んでもよい。
ステップ１０２において、少なくとも二つの音声収集ユニットにより端末の周辺の音源に対し位置決めを行う。
ステップ１０４において、位置決めされた各音源から所定音源を選別する。
ステップ１０６において、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源が発した音声信号を決定する。
ステップ１０８において、当該所定音源が発した音声信号に対して、音量を最適化する。
収集された当該所定音源の発した音声信号に対し、音量を最適化するステップは、
当該所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び当該第１強度閾値以下の第２強度閾値と比較するステップと、
当該所定音源が発した音声信号の強度が当該第１強度閾値より大きい場合、当該所定音源が発した音声信号の強度を当該第１強度閾値まで低下させるステップと、
当該所定音源が発した音声信号の強度が当該第２強度閾値より小さい場合、当該所定音源が発した音声信号の強度を当該第２強度閾値まで増加させるステップと
を含んでもよい。
当該少なくとも二つの音声収集ユニットにより、当該端末の周辺の音源に対し位置決めを行うステップは、
一つの音源から発した音声信号が当該少なくとも二つの音声収集ユニットに達した時間差と位相差を取得するステップと、
当該音源から発した音声信号が当該少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、当該端末に対する当該音源の空間位置を決定するステップと
を含んでもよい。
位置決めされた各音源から所定音源を選別するステップは、
当該各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づき、当該各音源から所定音源を選別するステップを含んでもよい。
端末が収集した音声信号から所定音源の発した音声信号を決定するステップの前には、
当該端末中の姿勢センサにより、当該端末の姿勢を取得するステップと、
当該端末の姿勢に基づき、当該端末が収集した音声信号に対して利得補償を行うステップとをさらに含み、
端末が収集した音声信号から所定音源の発した音声信号を決定するステップは、利得補償を行った後の音声信号の中から当該所定音源の発した音声信号を決定するステップを含んでもよい。
当該端末の姿勢には当該端末における正面と水平面の間の夾角が含まれ、当該端末の姿勢に基づき、当該端末が収集した音声信号に対して利得補償を行うステップは、
当該端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定するステップと、
当該補償数値に基づき、当該端末が収集した音声信号に対して利得補償を行うステップと
を含んでもよい。
要するに、本発明の実施例において提供された音声信号の最適化方法によれば、少なくとも二つの音声収集ユニットにより、端末の周辺の音源に対して位置決めを行い、位置決めされた各音源から所定音源を選別して、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源の発した音声信号を決定し、当該所定音源の発した音声信号に対して、音量を最適化し、端末が音声信号を収集する時、周囲の音源を選別して、且つ選別された音源の発した音声信号を最適化することにより、端末の音声信号に対する収集効果を向上させる。
図２は例示的な他の一つの実施例により示される音声信号の最適化方法のフローチャートである。当該音声信号の最適化方法は、少なくとも二つの音声収集ユニットを有する端末に利用でき、当該端末は、スマートホン、タブレットＰＣ、電子書籍リーダー及びスマートレコーダー等の、音声通話又は録音機能を支えるスマート端末であってもよい。図２に示すように、当該音声信号の最適化方法は以下のステップを含んでもよい。
ステップ２０２において、少なくとも二つの音声収集ユニットにより端末の周辺の音源に対し位置決めを行う。
図３に示す位置決め方法のフローチャートのように、前述のように当該少なくとも二つの音声収集ユニットにより、当該端末の周辺の音源に対して位置決めを行うステップは、以下のようになってもよい。
ステップ２０２ａにおいて、一つの音源から発した音声信号が当該少なくとも二つの音声収集ユニットに達した時間差と位相差を取得する。
ここで、端末に含まれた少なくとも二つの音声収集ユニットは一つの音声収集ユニットアレイを構成し、音源から当該音声収集ユニットアレイ中の各音声収集ユニットまでの距離と方向は異なっているため、当該音源から発した音が各音声収集ユニットに伝達される時間と位相も異なっている。端末は当該音声収集ユニットアレイ中の各音声収集ユニットが収集した同一つの音源から発した音の時間差と位相差を取得できる。
ステップ２０２ｂにおいて、当該音源から発した音声信号が当該少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、当該端末に対する当該音源の空間位置を決定する。
端末はビームフォーミング技術を利用して音源の位置を特定でき、例えば、端末は当該音源から発した音声信号が当該少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、遅延和法又は固有値分解等のアルゴリズムで音源の端末に対する位置を識別できる。
端末は、ビームフォーミング技術を利用して、固定の音源の空間位置を正確に決定できるだけではなく、移動中の音源を追跡して、移動中の音源から発する信号に対して持続的に最適化処理を行うこともできる。
ステップ２０４において、当該各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づいて、当該各音源から所定音源を選別する。
端末は通話又は録音状態において、通常、ユーザが話している時に発した音声信号だけが有効な音声信号であり、その他の音声信号の多くは騒音である。本発明の実施例により示された技術案によれば、端末は各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づいて、各音源からユーザである可能性が最も高い音源を選別して、その後、選別したユーザである可能性が最も高い音源だけに対し最適化を行う。
例えば、端末は音声信号の異なる強度について異なる重みを設定でき、且つ音声信号の異なる持続時間についても異なる重みを設定できる。端末が一つの音源から発した音声信号を受信した後、その音声の強度に対応する重みと、持続時間に対応する重みをそれぞれ決定して重み付けを行い、且つ各音源に対して対応する重みに従ってランキングをつけ、重みが最も高い所定音源を決定する。
音声信号の異なる強度について異なる重みを設定する場合、人の話す音声に最も近い音声の強度に対して比較的高い重みを設定してもよい。人の話す音声の強度との差値が大きければ大きいほど、それに応じて設定される重みが低い。例えば、普段、人が話す正常な音声強度は約４０デシベルであるため、４０デシベルに対して最も高い重みを設定でき、音声強度が４０デシベルから離れれば離れるほど、その重みが低い。
同様に、音声信号の持続時間について異なる重みを設定する場合、人の話すことに最も近い時の音声信号の持続時間について、比較的高い重みを設定してもよい。人が話す時の音声信号の持続時間との差値が大きければ大きいほど、それに応じて設定される重みが低い。例えば、人が話す時、一言の正常な持続時間が２ｓだとする場合、２ｓの持続時間に対して最も高い重みを設定でき、持続時間が２ｓとの差が大きければ大きいほど、その重みが低い。
録音又は通話するとき、一般的に、同時に一人又は二人のユーザだけが話していて、過多な音源に対して不必要な最適化処理を行うことを避け、最適化の過程の複雑さを低下するために、同時に選別する所定音源の数を設定できる。例えば、多くても同一時間に３つの所定音源を選別して、その後、当該同一時間に多くても３つの音源から発した音声信号だけに対して、最適化を行う。
ステップ２０６において、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源が発した音声信号を決定する。
端末は受信した音声信号を処理する時、所定音源の空間位置に基づき、当該所定音源が発した音声信号だけについて処理を行ってもよい。
ステップ２０８において、所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び当該第１強度閾値以下の第２強度閾値と比較する。
ステップ２１０において、当該所定音源が発した音声信号の強度が当該第１強度閾値より大きい場合、当該所定音源が発した音声信号の強度を当該第１強度閾値まで低下させる。
ステップ２１２において、当該所定音源が発した音声信号の強度が当該第２強度閾値より小さい場合、当該所定音源が発した音声信号の強度を当該第２強度閾値まで増加させる。
当該所定音源が発した音声信号の強度が当該第１強度閾値以上で、且つ当該第２強度閾値以下である場合、所定音源が発した音声信号の強度に対して処理しなくてもよい。
端末は人が普通に話す時の音声信号強度により、第１強度閾値と第２強度閾値を設定でき、所定音源の音声信号強度が比較的大きい場合、当該所定音源の音声信号の強度を低下し、所定音源の音声信号強度が比較的小さい場合、当該所定音源の音声信号の強度を増加し、所定音源の音声信号強度が適度である場合、所定音源の音声信号の強度に対して処理しない。ユーザである可能性のある所定音源が発した音声信号の強度を、高すぎなく、低すぎなくさせるように、所定の範囲内に保持させることにより、録音又は通話の効果を最適化する。
例えば、ユーザＡとユーザＢが、スマートホンで遠隔会議を行うか、又は携帯電話で会議録音を行う場合を例とする。スマートホンを制御して録音状態又は通話状態に進入する場合、スマートホンを会議録音モードに切り替え、この時、スマートホンが少なくとも二つのマイクにより周囲の音声を収集して、且つ各音源の位置を決定する。ユーザＡ又はユーザＢが発言する時、スマートホンが話者を所定音源として選別し、且つ、当該話者が話す時に発した音声信号を最適化する。当該話者が話す時に発した音声信号強度が３０デシベルより小さい場合、当該話者が話す時に発した音声信号の強度を３０デシベルに増加し、当該話者が話す時に発した音声信号強度が５０デシベルより大きい場合、当該話者が話す時に発した音声信号強度を５０デシベルまで低下し、３０デシベル乃至５０デシベルまでの音声信号に対しては如何なる処理もしない。これにより、スマートホンと距離が異なる各ユーザの、録音、又は遠隔端末により聴取された話の音量が、全て適度の範囲内にあるように確保でき、録音効果又は電話会議時の通話効果を確保できる。
要するに、本発明の実施例において提供された音声信号の最適化方法によれば、少なくとも二つの音声収集ユニットにより端末の周辺の音源に対し位置決めを行い、位置決めされた各音源から所定音源を選別して、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源が発した音声信号を決定し、且つ当該所定音源が発した音声信号の強度を予め設定された二つの強度閾値の間にあるように調整して、端末が収集した所定音源から発した音声信号の強度を適切な範囲内にあるように調整することで、端末の録音又は通話時の音声信号に対する収集効果を向上させる。
その他の選択可能な実施例として、上述の図２に示す実施例のステップ２０６を実行する前に、図４に示す利得補償方法のフローチャートにおけるステップ２０５ａ〜ステップ２０５ｃをさらに実行してもよい。
ステップ２０５ａにおいて、当該端末中の姿勢センサにより、当該端末における正面と水平面の間の夾角を含む当該端末の姿勢を取得する。
通常の場合、録音又は電話会議を行う時、端末はテーブルの上に正面を上にして水平に放置されるが、端末の姿勢が水平になっていない場合もある。例えば、端末が本又はその他の物体の上にかけられる場合、その正面は水平状態ではなく、この時、端末の正面と水平面の間は一定の夾角を呈し、端末が収集した音声信号は、理想的な状態における音声信号と一定を偏差が存在し、端末の正面が水平状態にある場合に収集した音声信号と比べて小さくなる。
これに対して、端末が収集した音声信号から所定音源が発した音声信号を決定する前、且つ最適化処理を行う前に、まず、現下の姿勢により収集した音声信号に対して若干の補償を行ってもよい。
ステップ２０５ｂにおいて、当該端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定する。
端末における正面と水平面の間の夾角が大きいほど大きければ、端末が収集した音声信号は理想的な状態（即ち、端末の正面が水平状態にある）での音声信号との偏差が大きい。従って、端末は端末における正面と水平面の間の夾角に基づいて、予めにアルゴリズムを設定することで補償数値を算出し、又は予めに記憶された対応関係に基づき補償数値を照会できる。
ステップ２０５ｃにおいて、当該補償数値に基づき、当該端末が収集した音声信号に対して利得補償を行う。
端末は補償数値を決定した後、収集したすべての音声信号に対して利得補償を行う。
ここで、端末は該端末が収集した音声信号から当該所定音源が発した音声信号を決定した場合、利得補償した後の音声信号の中から、当該所定音源が発した音声信号を確定できる。
要するに、本発明の実施例において提供された方法によれば、収集した音声信号から所定音源の音声信号を決定し、且つ最適化を行う前に、端末の姿勢を取得して、端末の姿勢に基づいて端末が収集した音声信号に対して利得補償を行うことにより、端末は録音又は通話する時、音声信号に対する収集効果をさらに向上できる。
以下は、本発明に係る装置の実施例であり、本発明に係る方法の実施例を実行するために用いられる。本発明に係る装置の実施例により開示されてない細部的な内容に関しては、本発明に係る方法の実施例を参考することにする。
図５は、例示的な一実施例により示される音声信号の最適化装置のブロック図である。当該音声信号の最適化装置は、少なくとも二つの音声収集ユニットを有する端末に利用でき、当該端末はスマートホン、タブレットＰＣ、電子書籍リーダー及びスマートレコーダー等の、音声通話又は録音機能を支えるスマート端末であってもよく、図１乃至図４までのいずれかに示す方法を実行する。図５に示すように、当該音声信号の最適化装置は、位置決めモジュール５０１、選別モジュール５０２、音声信号決定モジュール５０３及び最適化モジュール５０４を含むが、これらに限定されない。
前記位置決めモジュール５０１は、前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源に対して位置決めするために用いられるように構成される。
前記選別モジュール５０２は、位置決めされた各音源から所定音源を選別するために用いられるように構成される。
前記音声信号決定モジュール５０３は、位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するために用いられるように構成される。
前記最適化モジュール５０４は、前記所定音源の発した音声信号に対し、音量を最適化するために用いられるように構成される。
要するに、本発明の実施例において提供された音声信号の最適化装置によれば、少なくとも二つの音声収集ユニットにより端末の周辺の音源に対し位置決めを行い、位置決めされた各音源から所定音源を選別して、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源が発した音声信号を決定し、当該所定音源が発した音声信号に対して、音量を最適化して、端末が音声信号を収集する時、周囲の音源について選別を行い、且つ、選別した音源から発した音声信号に対して最適化を行うことにより、端末が音声信号に対する収集効果を向上させる。
図６は例示的な一実施例により示される音声信号の最適化装置的ブロック図である。当該音声信号の最適化装置は少なくとも二つの音声収集ユニットを有する端末に利用でき、当該端末がスマートホン、タブレットＰＣ、電子書籍リーダー及びスマートレコーダー等の、音声通話又は録音機能を支えるスマート端末であってもよく、図１〜図４のいずれかに示す方法を実行する。図６に示すように、当該音声信号の最適化装置は、位置決めモジュール５０１、選別モジュール５０２、音声信号決定モジュール５０３及び最適化モジュール５０４を含むが、これらに限定されない。
前記位置決めモジュール５０１は、前記少なくとも二つの音声収集ユニットにより前記端末の周辺の音源に対して位置決めを行うために用いられるように構成される。
前記選別モジュール５０２は、位置決めされた各音源から所定音源を選別するために用いられるように構成される。
前記音声信号決定モジュール５０３は、位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するために用いられるように構成される。
前記最適化モジュール５０４は、前記所定音源の発した音声信号に対し、音量を最適化するために用いられるように構成される。
前記最適化モジュール５０４は、比較サブモジュール５０４ａ、低下サブモジュール５０４ｂ及び増加サブモジュール５０４ｃを含んでもよい。
前記比較サブモジュール５０４ａは、前記所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び前記第１強度閾値以下の第２強度閾値と比較するために用いられるように構成される。
前記低下サブモジュール５０４ｂは、前記所定音源の発した音声信号の強度が前記第１強度閾値より大きい場合、前記所定音源の発した音声信号の強度を前記第１強度閾値まで低下させるために用いられるように構成される。
前記増加サブモジュール５０４ｃは、前記所定音源の発した音声信号の強度が前記第２強度閾値より小さい場合、前記所定音源の発した音声信号の強度を前記第２強度閾値まで増加させるために用いられるように構成される。
前記位置決めモジュール５０１は、取得サブモジュール５０１ａ及び位置決めサブモジュール５０１ｂを含んでもよい。
前記取得サブモジュール５０１ａは、一つの音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差を取得するために用いられるように構成される。
前記位置決めサブモジュール５０１ｂは、前記音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、前記端末に対する前記音源の空間位置を決定するために用いられるように構成される。
又はいずれか一方の連続性に基づき、前記各音源から前記所定音源を選別するために用いられるように設置されてもよい。
前記装置は、姿勢取得モジュール５０５と補償モジュール５０６をさらに含んでもよい。
前記姿勢取得モジュール５０５は、前記音声信号決定モジュール５０３が前記端末が収集した音声信号から前記所定音源の発した音声信号を決定する前に、前記端末中の姿勢センサにより、前記端末の姿勢を取得するために用いられるように構成される。
前記補償モジュール５０６は、前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うために用いられるように構成される。
前記音声信号決定モジュール５０３は、利得補償を行った後の音声信号の中から前記所定音源の発した音声信号を決定するために用いられるように構成される。
前記補償モジュール５０６は、数値確定サブモジュール５０６ａ及び補償サブモジュール５０６ｂを含んでもよい。
前記数値確定サブモジュール５０６ａは、前記端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定するために用いられる。
前記補償サブモジュール５０６ｂは、前記補償数値に基づき、前記端末が収集した音声信号に対して利得補償を行うために用いられるように構成される。
ここで、前記端末の姿勢は、前記端末における正面と水平面の間の夾角を含む。
要するに、本発明の実施例において提供された音声信号の最適化装置によれば、少なくとも二つの音声収集ユニットにより端末の周辺の音源に対し位置決めを行い、位置決めされた各音源から所定音源を選別して、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源が発した音声信号を決定し、且つ当該所定音源が発した音声信号の強度を予め設定した二つの強度閾値の間に調整し、端末が収集した所定音源の発した音声信号の強度を適切な範囲内に調整することにより、端末が録音又は通話する時、音声信号に対する収集効果を向上させる。
このほか、本発明の実施例において提供された装置は、収集した音声信号から所定音源の音声信号を決定して且つ最適化する前、端末の姿勢を取得し、端末の姿勢に基づき端末が収集した音声信号に対して利得補償を行うことにより、端末が録音又は通話する時、音声信号に対する収集効果をさらに向上させる。
図７は例示的な一つの実施例により示される装置７００のブロック図である。なお、当該装置には少なくとも二つの音声収集ユニットを含む。例えば、装置７００は移動電話、コンピュータ、デジタル放送端末、送受信機器、ルータ機器、ゲームコンソール、タブレット型デバイス、医療機器、健身機器、ＰＤＡ等であってもよい。
図７に示すように、装置７００は処理アセンブリ７０２、メモリ７０４、電源アセンブリ７０６、マルチメディアアセンブリ７０８、オーディオアセンブリ７１０、入力／出力（Ｉ／Ｏ）インターフェース７１２、センサアセンブリ７１４、及び通信アセンブリ７１６から選ばれた一種又は複数種のアセンブリを含んでもよい。
処理アセンブリ７０２は、通常、装置７００の操作全体を制御し、例えば、表示、電話呼出し、データ通信、カメラ操作と記録操作に関連する操作を制御する。処理アセンブリ７０２は、上述の方法におけるステップの全部又は一部を完成するように、一個又は複数個のプロッセサ７１８を含んでインストラクションを実行してもよい。このほか、処理アセンブリ７０２は、アセンブリ７０２とその他のアセンブリ間のインタラクションを処理するために、一個又は複数個のモジュールを含んでもよい。例えば、処理アセンブリ７０２は、マルチメディアアセンブリ７０８と処理アセンブリ７０２間のインタラクションに便宜を与えるために、マルチメディアモジュールを含んでもよい。
メモリ７０４は、各種類のデータを記憶して装置７００における操作を支えるように配置される。これらのデータの例示として、装置７００において操作されるいかなるアプリケーションプログラム或は方法に関わるインストラクション、連絡先データ、電話帳データ、メッセージ、画像、ビデオ等が挙げられる。メモリ７０４は揮発性或は非揮発性記憶機器又はそれらの組合せで実現でき、例えば、静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去書込み可能な読出し専用メモリ（ＥＥＰＲＯＭ）、電気的プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、書込み可能読出し専用メモリ（ＰＲＯＭ）、読出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、ディスク或は光ディスクが挙げられる。メモリ７０４には、一個或は複数個のモジュールをさらに搭載してあり、当該一個或は複数個のモジュールが、上述の図１〜図４のいずれかに示した方法におけるステップの全部或は一部を完成するために、当該一個或は複数個のプロッセサ７１８により実行されるように配置される。
電源アセンブリ７０６は、装置７００の各種類のアセンブリに電力を提供する。電源アセンブリ７０６は、電源管理システム、一個或は複数個の電源、及び装置７００のために電力の生成、管理と配分に関わるその他のアセンブリを含んでもよい。
マルチメディアアセンブリ７０８は、前記装置７００とユーザの間にあり、出力インターフェースを一つ提供するスクリーンを含む。実施例には、スクリーンは液晶表示器（ＬＣＤ）とタッチパネル（ＴＰ）を含んでもよい。スクリーンにはタッチパネルを含む場合、スクリーンがタッチパネルとして実現されてもよく、ユーザからの入力信号を受信する。タッチパネルは、タッチ、滑り及びタッチパネルの上にある手振りを感知するために、一個或は複数個のタッチセンサを含む。前記タッチセンサは、タッチ或は滑りの動作の境界を感知できるほか、前記タッチ或は滑りの操作に関わる持続時間と圧力も検出できる。実施例には、マルチメディアアセンブリ７０８がフロントカメラ及びリアカメラ又はいずれか一方を一つ含んでもよい。装置７００は操作モードにある時、例えば、撮影モード或はビデオモードにある時、フロントカメラ及びリアカメラ又はいずれか一方が外部のマルチメディアデータを受信できる。フロントカメラとリアカメラ毎は、固定した一つのレンズ光学系であってもよく、或は焦点距離と焦点距離可変の機能を有してもよい。
オーディオアセンブリ７１０は、オーディオ信号を出力及び入力又はいずれか一方をするように配置される。例えば、オーディオアセンブリ７１０は、一つのマイク（ＭＩＣ）を含有し、装置７００が操作モード（例えば、呼出しモード、記録モードと音声識別モード）にある場合、マイクが外部のオーディオ信号を受信するように配置される。受信されたオーディオ信号が、さらにメモリ７０４に記憶してもよく、或は通信アセンブリ７１６により送信されてもよい。実施例には、オーディオアセンブリ７１０は、オーディオ信号を出力することに用いられる一つの拡声器をさらに含んでもよい。
Ｉ／Ｏインターフェース７１２は、処理アセンブリ７０２と外部インタフェースモジュールの間にインターフェースを提供し、上述の外部インタフェースモジュールがキーボード、クリックホイール、ボタン等であってもよい。前述のボタンは、ホームボタン、音量ボタン、起動ボタン及び施錠ボタンを含むが、これらに限定されない。
センサアセンブリ７１４は、一個或は複数個のセンサを含み、装置７００のために各方面の状態の評価を提供する。例えば、センサアセンブリ７１４は、装置７００のオン・オフ状態を検出し、装置７００の表示器とキーパッドのようなアセンブリに対する位置を特定でき、センサアセンブリ７１４が、装置７００或は装置７００における一つのアセンブリの位置の変動、ユーザと装置７００との接触が存在するか否か、装置７００の方位或は加速・減速、及び装置７００の温度の変化も検出できる。センサアセンブリ７１４は、いかなる物理的接触もされていない場合、付近の物体の存在を検出するように構成される近接センサを含んでもよい。センサアセンブリ７１４は、光センサをさらに含んでもよく、例えば、イメージングアプリケーションに利用されるＣＭＯＳ或はＣＣＤイメージセンサが挙げられる。実施例には、当該センサアセンブリ７１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ或は温度センサをさらに含んでもよい。
通信アセンブリ７１６は、装置７００とその他の機器の間に行う有線或は無線方式の通信に対して便宜を与えるように配置される。装置７００は、通信規格を基準とする無線ネットワークに接続でき、無線ネットワークとして、例えば、ＷｉＦｉ（登録商標）、２Ｇ或は３Ｇ、又はそれらの組み合わせが挙げられる。例示的な一つの実施例には、通信アセンブリ７１６は、放送チャネルを通じて、外部の放送管理システムからの放送信号、或は放送に関連する情報を受信する。例示的な一つの実施例には、前記通信アセンブリ７１６は、近距離通信を促進する近距離無線通信（ＮＦＣ）モジュールをさらに含む。ＮＦＣモジュールは、例えば、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域幅（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術とその他の技術により実現できる。
例示的な実施例には、装置７００は、一個或は複数個の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロッセサ（ＤＳＰ）、デジタル信号処理機器（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントロール、マイクロコントロール、マイクロプロッセサ或はその他の電子素子により実現されることができ、上述の方法を実行するために用いられる。
例示的な実施例には、インストラクションを記憶した非一時的コンピュータ可読記憶媒体をさらに提供しており、例えば、インストラクションを記憶したメモリ７０４が挙げられ、上述のインストラクションが装置７００のプロッセサ７１８により実行されて、上述の方法を完成する。例えば、前記非一時的コンピュータ可読記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ（登録商標）、テープ、フロッピイディスク（登録商標）と光データ記憶メディア等であってもよい。
上述の実施例に係る装置において、各モジュールにより実行される操作の具体的な方法については、既に、当該方法の実施例において詳細に説明されているため、ここでは、その詳細な説明を省略するようにする。
本発明は、以上の記載および図面により示される正確な構造に限られることはなく、その範囲を逸脱しない限り様々な修正や変更が可能であることと、理解すべきである。本発明の範囲は、添付する特許請求の範囲のみにより限定される。
本願は、出願番号がＣＮ２０１５１０２２６８４４．２であり、出願日が２０１５年５月６日である中国特許出願に基づき優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。
本願は、音声信号処理の技術分野に関し、特に音声信号の最適化方法及びその装置、プログラム、及び記録媒体に関する。
通信・電子技術の絶間ない発展に伴い、スマートホン、タブレットＰＣ、電子書籍リーダー及びＩＣレコーダー等の、音声通話又は録音機能を支える端末は、人々にとって生活に欠かせない道具となり、日常生活に多大な利便性をもたらしている。
このような端末の一つの応用方式として、複数のユーザが録音機能を支える同一端末を利用して会議中の録音を行い、又は複数のユーザが音声通話を支える同一端末を利用してその他の遠隔ユーザと電話会議を行うことが考えられる。端末は録音した音声信号を記憶し、又はそれを音声通話を行う遠隔ユーザに送信する。
本発明は音声信号の最適化方法及びその装置、プログラム、及び記録媒体を提供する。その技術案は下記の通りである。
第１の局面によれば、
少なくとも二つの音声収集ユニットを有する端末に用いられる音声信号の最適化方法であり、
前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源を位置決めするステップと、
位置決めで確定された各音源から所定音源を選別するステップと、
位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するステップと、
前記所定音源の発した音声信号に対し、音量を最適化するステップと
を含む音声信号の最適化方法を提供する。
前記所定音源の発した音声信号に対し、音量を最適化するステップは、
前記所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び前記第１強度閾値以下の第２強度閾値と比較するステップと、
前記所定音源が発した音声信号の強度が前記第１強度閾値より大きい場合、前記所定音源が発した音声信号の強度を前記第１強度閾値まで低下させるステップと、
前記所定音源が発した音声信号の強度が前記第２強度閾値より小さい場合、前記所定音源が発した音声信号の強度を前記第２強度閾値まで増加させるステップと
を含んでもよい。
前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源に対し位置決めを行うステップは、
一つの音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差を取得するステップと、
前記音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、前記端末に対する前記音源の空間位置を決定するステップと、
を含んでもよい。
位置決めされた各音源から所定音源を選別するステップは、
前記各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づき、前記各音源から前記所定音源を選別するステップを含んでもよい。
前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するステップの前には、
前記端末中の姿勢センサにより、前記端末の姿勢を取得するステップと、
前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うステップとをさらに含み、
前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するステップは、
利得補償を行った後の音声信号の中から前記所定音源の発した音声信号を決定するステップを含んでもよい。
前記端末の姿勢には端末における正面と水平面の間の夾角が含まれ、
前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うステップは、
前記端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定するステップと、
前記補償数値に基づき、前記端末が収集した音声信号に対して利得補償を行うステップと
を含んでもよい。
第２の局面によれば、
少なくとも二つの音声収集ユニットを有する端末に用いられ、
前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源に対し位置決めを行うための位置決めモジュールと、
位置決めされた各音源から所定音源を選別するための選別モジュールと、
位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するための音声信号決定モジュールと、
前記所定音源の発した音声信号に対し、音量を最適化するための最適化モジュールと
を含む音声信号の最適化装置を提供する。
前記最適化モジュールは、
前記所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び前記第１強度閾値以下の第２強度閾値と比較するための比較サブモジュールと、
前記所定音源が発した音声信号の強度が前記第１強度閾値より大きい場合、前記所定音源が発した音声信号の強度を前記第１強度閾値まで低下させるための低下サブモジュールと、
前記所定音源が発した音声信号の強度が前記第２強度閾値より小さい場合、前記所定音源が発した音声信号の強度を前記第２強度閾値まで増加させるための増加サブモジュールと
を含んでもよい。
前記位置決めモジュールは、
一つの音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差を取得するための取得サブモジュールと、
前記音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、前記端末に対する前記音源の空間位置を決定するための位置決めサブモジュールと
を含んでもよい。
前記選別モジュールは、
前記各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づき、前記各音源から前記所定音源を選別するための選別モジュールであってもよい。
前記音声信号の最適化装置は、
前記音声信号決定モジュールが、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定する前に、前記端末中の姿勢センサにより、前記端末の姿勢を取得するための姿勢取得モジュールと、
前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うための補償モジュールと、をさらに含み、
前記音声信号決定モジュールは、利得補償を行った後の音声信号の中から前記所定音源の発した音声信号を決定してもよい。
前記補償モジュールは、
前記端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定するための数値確定サブモジュールと、
前記補償数値に基づき、前記端末が収集した音声信号に対して利得補償を行うための補償サブモジュールとを含み、
前記端末の姿勢には、前記端末における正面と水平面の間の夾角が含まれてもよい。
第３の局面によれば、
少なくとも二つの音声収集ユニットを有する端末に用いられ、
前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源について位置決めを行い、位置決めされた各音源から所定音源を選別して、位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定して、前記所定音源の発した音声信号に対し、音量を最適化するように設置されたプロッセサと、
プロッセサの実行可能なインストラクションを記憶するためのメモリと
を含む音声信号の最適化装置を提供する。
第４の局面によれば、
プロセッサにより実行されることにより、本発明の第１の局面による音声信号の最適化方法を実現するプログラムを提供する。
第５の局面によれば、
本発明の第４の局面によるプログラムが記録される記録媒体を提供する。
本発明の実施例係る技術案によれば、以下のような有益な効果が得られる。
少なくとも二つの音声収集ユニットにより、端末の周辺の音源に対して位置決めを行い、位置決めで確定された各音源から所定音源を選別して、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源の発した音声信号を決定し、当該所定音源の発した音声信号に対し音量を最適化し、端末が音声信号を収集する時、周囲の音源を選別して、且つ選別された音源の発した音声信号を最適化することにより、端末の音声信号に対する収集効果を向上させる。
以上の一般的な説明と以下のような細部的な説明は、例示的なものであって、本発明に対する限定として理解してはいけない。
以下の図面は、明細書に組み込まれて本願明細書の一部分となり、本願発明に合致する実施例を示し、且つ明細書とともに、本発明の原理を説明するために用いられる。
図１は、例示的な一実施例により示される音声信号の最適化方法のフローチャートである。 図２は、例示的な他の一実施例により示される音声信号の最適化方法のフローチャートである。 図３は、例示的な他の一実施例により示される位置決め方法のフローチャートである。 図４は、例示的な他の一実施例により示される利得補償方法のフローチャートである。 図５は、例示的な一実施例により示される音声信号の最適化装置のブロック図である。 図６は、例示的な他の一実施例により示される音声信号の最適化装置のブロック図である。 図７は、例示的な一実施例により示される装置のブロック図である。
以下、図面を参照して、例示的な実施例について詳細に説明し、その例示的な実施例を図面に示すことにする。以下の図面に関する説明において、別途の説明がない限り、異なる図面中の同一の符号は、同一又は類似する要素を示すこととする。以下の例示的実施例において説明する複数の実施形態は、本発明に係る全ての実施形態を代表するわけではない。逆に、それらは、添付の特許請求の範囲に記載される本発明の一部の態様を示す装置及び方法の例に過ぎない。
図１は例示的な一実施例により示される音声信号の最適化方法のフローチャートである。当該音声信号の最適化方法は、少なくとも二つの音声収集ユニットを有する端末に利用できる。当該端末はスマートホン、タブレットＰＣ、電子書籍リーダー及びスマートレコーダー等の、音声通話又は録音機能を支えるスマート端末であってもよい。図１に示すように、当該音声信号の最適化方法は以下のステップを含んでもよい。
ステップ１０２において、少なくとも二つの音声収集ユニットにより端末の周辺の音源に対し位置決めを行う。
ステップ１０４において、位置決めされた各音源から所定音源を選別する。
ステップ１０６において、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源が発した音声信号を決定する。
ステップ１０８において、当該所定音源が発した音声信号に対して、音量を最適化する。
収集された当該所定音源の発した音声信号に対し、音量を最適化するステップは、
当該所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び当該第１強度閾値以下の第２強度閾値と比較するステップと、
当該所定音源が発した音声信号の強度が当該第１強度閾値より大きい場合、当該所定音源が発した音声信号の強度を当該第１強度閾値まで低下させるステップと、
当該所定音源が発した音声信号の強度が当該第２強度閾値より小さい場合、当該所定音源が発した音声信号の強度を当該第２強度閾値まで増加させるステップと
を含んでもよい。
当該少なくとも二つの音声収集ユニットにより、当該端末の周辺の音源に対し位置決めを行うステップは、
一つの音源から発した音声信号が当該少なくとも二つの音声収集ユニットに達した時間差と位相差を取得するステップと、
当該音源から発した音声信号が当該少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、当該端末に対する当該音源の空間位置を決定するステップと
を含んでもよい。
位置決めされた各音源から所定音源を選別するステップは、
当該各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づき、当該各音源から所定音源を選別するステップを含んでもよい。
端末が収集した音声信号から所定音源の発した音声信号を決定するステップの前には、
当該端末中の姿勢センサにより、当該端末の姿勢を取得するステップと、
当該端末の姿勢に基づき、当該端末が収集した音声信号に対して利得補償を行うステップとをさらに含み、
端末が収集した音声信号から所定音源の発した音声信号を決定するステップは、利得補償を行った後の音声信号の中から当該所定音源の発した音声信号を決定するステップを含んでもよい。
当該端末の姿勢には当該端末における正面と水平面の間の夾角が含まれ、当該端末の姿勢に基づき、当該端末が収集した音声信号に対して利得補償を行うステップは、
当該端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定するステップと、
当該補償数値に基づき、当該端末が収集した音声信号に対して利得補償を行うステップと
を含んでもよい。
要するに、本発明の実施例において提供された音声信号の最適化方法によれば、少なくとも二つの音声収集ユニットにより、端末の周辺の音源に対して位置決めを行い、位置決めされた各音源から所定音源を選別して、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源の発した音声信号を決定し、当該所定音源の発した音声信号に対して、音量を最適化し、端末が音声信号を収集する時、周囲の音源を選別して、且つ選別された音源の発した音声信号を最適化することにより、端末の音声信号に対する収集効果を向上させる。
図２は例示的な他の一つの実施例により示される音声信号の最適化方法のフローチャートである。当該音声信号の最適化方法は、少なくとも二つの音声収集ユニットを有する端末に利用でき、当該端末は、スマートホン、タブレットＰＣ、電子書籍リーダー及びスマートレコーダー等の、音声通話又は録音機能を支えるスマート端末であってもよい。図２に示すように、当該音声信号の最適化方法は以下のステップを含んでもよい。
ステップ２０２において、少なくとも二つの音声収集ユニットにより端末の周辺の音源に対し位置決めを行う。
図３に示す位置決め方法のフローチャートのように、前述のように当該少なくとも二つの音声収集ユニットにより、当該端末の周辺の音源に対して位置決めを行うステップは、以下のようになってもよい。
ステップ２０２ａにおいて、一つの音源から発した音声信号が当該少なくとも二つの音声収集ユニットに達した時間差と位相差を取得する。
ここで、端末に含まれた少なくとも二つの音声収集ユニットは一つの音声収集ユニットアレイを構成し、音源から当該音声収集ユニットアレイ中の各音声収集ユニットまでの距離と方向は異なっているため、当該音源から発した音が各音声収集ユニットに伝達される時間と位相も異なっている。端末は当該音声収集ユニットアレイ中の各音声収集ユニットが収集した同一つの音源から発した音の時間差と位相差を取得できる。
ステップ２０２ｂにおいて、当該音源から発した音声信号が当該少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、当該端末に対する当該音源の空間位置を決定する。
端末はビームフォーミング技術を利用して音源の位置を特定でき、例えば、端末は当該音源から発した音声信号が当該少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、遅延和法又は固有値分解等のアルゴリズムで音源の端末に対する位置を識別できる。
端末は、ビームフォーミング技術を利用して、固定の音源の空間位置を正確に決定できるだけではなく、移動中の音源を追跡して、移動中の音源から発する信号に対して持続的に最適化処理を行うこともできる。
ステップ２０４において、当該各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づいて、当該各音源から所定音源を選別する。
端末は通話又は録音状態において、通常、ユーザが話している時に発した音声信号だけが有効な音声信号であり、その他の音声信号の多くは騒音である。本発明の実施例により示された技術案によれば、端末は各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づいて、各音源からユーザである可能性が最も高い音源を選別して、その後、選別したユーザである可能性が最も高い音源だけに対し最適化を行う。
例えば、端末は音声信号の異なる強度について異なる重みを設定でき、且つ音声信号の異なる持続時間についても異なる重みを設定できる。端末が一つの音源から発した音声信号を受信した後、その音声の強度に対応する重みと、持続時間に対応する重みをそれぞれ決定して重み付けを行い、且つ各音源に対して対応する重みに従ってランキングをつけ、重みが最も高い所定音源を決定する。
音声信号の異なる強度について異なる重みを設定する場合、人の話す音声に最も近い音声の強度に対して比較的高い重みを設定してもよい。人の話す音声の強度との差値が大きければ大きいほど、それに応じて設定される重みが低い。例えば、普段、人が話す正常な音声強度は約４０デシベルであるため、４０デシベルに対して最も高い重みを設定でき、音声強度が４０デシベルから離れれば離れるほど、その重みが低い。
同様に、音声信号の持続時間について異なる重みを設定する場合、人の話すことに最も近い時の音声信号の持続時間について、比較的高い重みを設定してもよい。人が話す時の音声信号の持続時間との差値が大きければ大きいほど、それに応じて設定される重みが低い。例えば、人が話す時、一言の正常な持続時間が２ｓだとする場合、２ｓの持続時間に対して最も高い重みを設定でき、持続時間が２ｓとの差が大きければ大きいほど、その重みが低い。
録音又は通話するとき、一般的に、同時に一人又は二人のユーザだけが話していて、過多な音源に対して不必要な最適化処理を行うことを避け、最適化の過程の複雑さを低下するために、同時に選別する所定音源の数を設定できる。例えば、多くても同一時間に３つの所定音源を選別して、その後、当該同一時間に多くても３つの音源から発した音声信号だけに対して、最適化を行う。
ステップ２０６において、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源が発した音声信号を決定する。
端末は受信した音声信号を処理する時、所定音源の空間位置に基づき、当該所定音源が発した音声信号だけについて処理を行ってもよい。
ステップ２０８において、所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び当該第１強度閾値以下の第２強度閾値と比較する。
ステップ２１０において、当該所定音源が発した音声信号の強度が当該第１強度閾値より大きい場合、当該所定音源が発した音声信号の強度を当該第１強度閾値まで低下させる。
ステップ２１２において、当該所定音源が発した音声信号の強度が当該第２強度閾値より小さい場合、当該所定音源が発した音声信号の強度を当該第２強度閾値まで増加させる。
当該所定音源が発した音声信号の強度が当該第１強度閾値以上で、且つ当該第２強度閾値以下である場合、所定音源が発した音声信号の強度に対して処理しなくてもよい。
端末は人が普通に話す時の音声信号強度により、第１強度閾値と第２強度閾値を設定でき、所定音源の音声信号強度が比較的大きい場合、当該所定音源の音声信号の強度を低下し、所定音源の音声信号強度が比較的小さい場合、当該所定音源の音声信号の強度を増加し、所定音源の音声信号強度が適度である場合、所定音源の音声信号の強度に対して処理しない。ユーザである可能性のある所定音源が発した音声信号の強度を、高すぎなく、低すぎなくさせるように、所定の範囲内に保持させることにより、録音又は通話の効果を最適化する。
例えば、ユーザＡとユーザＢが、スマートホンで遠隔会議を行うか、又は携帯電話で会議録音を行う場合を例とする。スマートホンを制御して録音状態又は通話状態に進入する場合、スマートホンを会議録音モードに切り替え、この時、スマートホンが少なくとも二つのマイクにより周囲の音声を収集して、且つ各音源の位置を決定する。ユーザＡ又はユーザＢが発言する時、スマートホンが話者を所定音源として選別し、且つ、当該話者が話す時に発した音声信号を最適化する。当該話者が話す時に発した音声信号強度が３０デシベルより小さい場合、当該話者が話す時に発した音声信号の強度を３０デシベルに増加し、当該話者が話す時に発した音声信号強度が５０デシベルより大きい場合、当該話者が話す時に発した音声信号強度を５０デシベルまで低下し、３０デシベル乃至５０デシベルまでの音声信号に対しては如何なる処理もしない。これにより、スマートホンと距離が異なる各ユーザの、録音、又は遠隔端末により聴取された話の音量が、全て適度の範囲内にあるように確保でき、録音効果又は電話会議時の通話効果を確保できる。
要するに、本発明の実施例において提供された音声信号の最適化方法によれば、少なくとも二つの音声収集ユニットにより端末の周辺の音源に対し位置決めを行い、位置決めされた各音源から所定音源を選別して、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源が発した音声信号を決定し、且つ当該所定音源が発した音声信号の強度を予め設定された二つの強度閾値の間にあるように調整して、端末が収集した所定音源から発した音声信号の強度を適切な範囲内にあるように調整することで、端末の録音又は通話時の音声信号に対する収集効果を向上させる。
その他の選択可能な実施例として、上述の図２に示す実施例のステップ２０６を実行する前に、図４に示す利得補償方法のフローチャートにおけるステップ２０５ａ〜ステップ２０５ｃをさらに実行してもよい。
ステップ２０５ａにおいて、当該端末中の姿勢センサにより、当該端末における正面と水平面の間の夾角を含む当該端末の姿勢を取得する。
通常の場合、録音又は電話会議を行う時、端末はテーブルの上に正面を上にして水平に放置されるが、端末の姿勢が水平になっていない場合もある。例えば、端末が本又はその他の物体の上にかけられる場合、その正面は水平状態ではなく、この時、端末の正面と水平面の間は一定の夾角を呈し、端末が収集した音声信号は、理想的な状態における音声信号と一定を偏差が存在し、端末の正面が水平状態にある場合に収集した音声信号と比べて小さくなる。
これに対して、端末が収集した音声信号から所定音源が発した音声信号を決定する前、且つ最適化処理を行う前に、まず、現下の姿勢により収集した音声信号に対して若干の補償を行ってもよい。
ステップ２０５ｂにおいて、当該端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定する。
端末における正面と水平面の間の夾角が大きいほど大きければ、端末が収集した音声信号は理想的な状態（即ち、端末の正面が水平状態にある）での音声信号との偏差が大きい。従って、端末は端末における正面と水平面の間の夾角に基づいて、予めにアルゴリズムを設定することで補償数値を算出し、又は予めに記憶された対応関係に基づき補償数値を照会できる。
ステップ２０５ｃにおいて、当該補償数値に基づき、当該端末が収集した音声信号に対して利得補償を行う。
端末は補償数値を決定した後、収集したすべての音声信号に対して利得補償を行う。
ここで、端末は該端末が収集した音声信号から当該所定音源が発した音声信号を決定した場合、利得補償した後の音声信号の中から、当該所定音源が発した音声信号を確定できる。
要するに、本発明の実施例において提供された方法によれば、収集した音声信号から所定音源の音声信号を決定し、且つ最適化を行う前に、端末の姿勢を取得して、端末の姿勢に基づいて端末が収集した音声信号に対して利得補償を行うことにより、端末は録音又は通話する時、音声信号に対する収集効果をさらに向上できる。
以下は、本発明に係る装置の実施例であり、本発明に係る方法の実施例を実行するために用いられる。本発明に係る装置の実施例により開示されてない細部的な内容に関しては、本発明に係る方法の実施例を参考することにする。
図５は、例示的な一実施例により示される音声信号の最適化装置のブロック図である。当該音声信号の最適化装置は、少なくとも二つの音声収集ユニットを有する端末に利用でき、当該端末はスマートホン、タブレットＰＣ、電子書籍リーダー及びスマートレコーダー等の、音声通話又は録音機能を支えるスマート端末であってもよく、図１乃至図４までのいずれかに示す方法を実行する。図５に示すように、当該音声信号の最適化装置は、位置決めモジュール５０１、選別モジュール５０２、音声信号決定モジュール５０３及び最適化モジュール５０４を含むが、これらに限定されない。
前記位置決めモジュール５０１は、前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源に対して位置決めするために用いられるように構成される。
前記選別モジュール５０２は、位置決めされた各音源から所定音源を選別するために用いられるように構成される。
前記音声信号決定モジュール５０３は、位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するために用いられるように構成される。
前記最適化モジュール５０４は、前記所定音源の発した音声信号に対し、音量を最適化するために用いられるように構成される。
要するに、本発明の実施例において提供された音声信号の最適化装置によれば、少なくとも二つの音声収集ユニットにより端末の周辺の音源に対し位置決めを行い、位置決めされた各音源から所定音源を選別して、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源が発した音声信号を決定し、当該所定音源が発した音声信号に対して、音量を最適化して、端末が音声信号を収集する時、周囲の音源について選別を行い、且つ、選別した音源から発した音声信号に対して最適化を行うことにより、端末が音声信号に対する収集効果を向上させる。
図６は例示的な一実施例により示される音声信号の最適化装置的ブロック図である。当該音声信号の最適化装置は少なくとも二つの音声収集ユニットを有する端末に利用でき、当該端末がスマートホン、タブレットＰＣ、電子書籍リーダー及びスマートレコーダー等の、音声通話又は録音機能を支えるスマート端末であってもよく、図１〜図４のいずれかに示す方法を実行する。図６に示すように、当該音声信号の最適化装置は、位置決めモジュール５０１、選別モジュール５０２、音声信号決定モジュール５０３及び最適化モジュール５０４を含むが、これらに限定されない。
前記位置決めモジュール５０１は、前記少なくとも二つの音声収集ユニットにより前記端末の周辺の音源に対して位置決めを行うために用いられるように構成される。
前記選別モジュール５０２は、位置決めされた各音源から所定音源を選別するために用いられるように構成される。
前記音声信号決定モジュール５０３は、位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するために用いられるように構成される。
前記最適化モジュール５０４は、前記所定音源の発した音声信号に対し、音量を最適化するために用いられるように構成される。
前記最適化モジュール５０４は、比較サブモジュール５０４ａ、低下サブモジュール５０４ｂ及び増加サブモジュール５０４ｃを含んでもよい。
前記比較サブモジュール５０４ａは、前記所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び前記第１強度閾値以下の第２強度閾値と比較するために用いられるように構成される。
前記低下サブモジュール５０４ｂは、前記所定音源の発した音声信号の強度が前記第１強度閾値より大きい場合、前記所定音源の発した音声信号の強度を前記第１強度閾値まで低下させるために用いられるように構成される。
前記増加サブモジュール５０４ｃは、前記所定音源の発した音声信号の強度が前記第２強度閾値より小さい場合、前記所定音源の発した音声信号の強度を前記第２強度閾値まで増加させるために用いられるように構成される。
前記位置決めモジュール５０１は、取得サブモジュール５０１ａ及び位置決めサブモジュール５０１ｂを含んでもよい。
前記取得サブモジュール５０１ａは、一つの音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差を取得するために用いられるように構成される。
前記位置決めサブモジュール５０１ｂは、前記音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、前記端末に対する前記音源の空間位置を決定するために用いられるように構成される。
前記選別モジュール５０２は、前記各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づき、前記各音源から前記所定音源を選別するために用いられるように設置されてもよい。
前記装置は、姿勢取得モジュール５０５と補償モジュール５０６をさらに含んでもよい。
前記姿勢取得モジュール５０５は、前記音声信号決定モジュール５０３が前記端末が収集した音声信号から前記所定音源の発した音声信号を決定する前に、前記端末中の姿勢センサにより、前記端末の姿勢を取得するために用いられるように構成される。
前記補償モジュール５０６は、前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うために用いられるように構成される。
前記音声信号決定モジュール５０３は、利得補償を行った後の音声信号の中から前記所定音源の発した音声信号を決定するために用いられるように構成される。
前記補償モジュール５０６は、数値確定サブモジュール５０６ａ及び補償サブモジュール５０６ｂを含んでもよい。
前記数値確定サブモジュール５０６ａは、前記端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定するために用いられる。
前記補償サブモジュール５０６ｂは、前記補償数値に基づき、前記端末が収集した音声信号に対して利得補償を行うために用いられるように構成される。
ここで、前記端末の姿勢は、前記端末における正面と水平面の間の夾角を含む。
要するに、本発明の実施例において提供された音声信号の最適化装置によれば、少なくとも二つの音声収集ユニットにより端末の周辺の音源に対し位置決めを行い、位置決めされた各音源から所定音源を選別して、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源が発した音声信号を決定し、且つ当該所定音源が発した音声信号の強度を予め設定した二つの強度閾値の間に調整し、端末が収集した所定音源の発した音声信号の強度を適切な範囲内に調整することにより、端末が録音又は通話する時、音声信号に対する収集効果を向上させる。
このほか、本発明の実施例において提供された装置は、収集した音声信号から所定音源の音声信号を決定して且つ最適化する前、端末の姿勢を取得し、端末の姿勢に基づき端末が収集した音声信号に対して利得補償を行うことにより、端末が録音又は通話する時、音声信号に対する収集効果をさらに向上させる。
図７は例示的な一つの実施例により示される装置７００のブロック図である。なお、当該装置には少なくとも二つの音声収集ユニットを含む。例えば、装置７００は移動電話、コンピュータ、デジタル放送端末、送受信機器、ルータ機器、ゲームコンソール、タブレット型デバイス、医療機器、健身機器、ＰＤＡ等であってもよい。
図７に示すように、装置７００は処理アセンブリ７０２、メモリ７０４、電源アセンブリ７０６、マルチメディアアセンブリ７０８、オーディオアセンブリ７１０、入力／出力（Ｉ／Ｏ）インターフェース７１２、センサアセンブリ７１４、及び通信アセンブリ７１６から選ばれた一種又は複数種のアセンブリを含んでもよい。
処理アセンブリ７０２は、通常、装置７００の操作全体を制御し、例えば、表示、電話呼出し、データ通信、カメラ操作と記録操作に関連する操作を制御する。処理アセンブリ７０２は、上述の方法におけるステップの全部又は一部を完成するように、一個又は複数個のプロッセサ７１８を含んでインストラクションを実行してもよい。このほか、処理アセンブリ７０２は、アセンブリ７０２とその他のアセンブリ間のインタラクションを処理するために、一個又は複数個のモジュールを含んでもよい。例えば、処理アセンブリ７０２は、マルチメディアアセンブリ７０８と処理アセンブリ７０２間のインタラクションに便宜を与えるために、マルチメディアモジュールを含んでもよい。
メモリ７０４は、各種類のデータを記憶して装置７００における操作を支えるように配置される。これらのデータの例示として、装置７００において操作されるいかなるアプリケーションプログラム或は方法に関わるインストラクション、連絡先データ、電話帳データ、メッセージ、画像、ビデオ等が挙げられる。メモリ７０４は揮発性或は非揮発性記憶機器又はそれらの組合せで実現でき、例えば、静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去書込み可能な読出し専用メモリ（ＥＥＰＲＯＭ）、電気的プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、書込み可能読出し専用メモリ（ＰＲＯＭ）、読出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、ディスク或は光ディスクが挙げられる。メモリ７０４には、一個或は複数個のモジュールをさらに搭載してあり、当該一個或は複数個のモジュールが、上述の図１〜図４のいずれかに示した方法におけるステップの全部或は一部を完成するために、当該一個或は複数個のプロッセサ７１８により実行されるように配置される。
電源アセンブリ７０６は、装置７００の各種類のアセンブリに電力を提供する。電源アセンブリ７０６は、電源管理システム、一個或は複数個の電源、及び装置７００のために電力の生成、管理と配分に関わるその他のアセンブリを含んでもよい。
マルチメディアアセンブリ７０８は、前記装置７００とユーザの間にあり、出力インターフェースを一つ提供するスクリーンを含む。実施例には、スクリーンは液晶表示器（ＬＣＤ）とタッチパネル（ＴＰ）を含んでもよい。スクリーンにはタッチパネルを含む場合、スクリーンがタッチパネルとして実現されてもよく、ユーザからの入力信号を受信する。タッチパネルは、タッチ、滑り及びタッチパネルの上にある手振りを感知するために、一個或は複数個のタッチセンサを含む。前記タッチセンサは、タッチ或は滑りの動作の境界を感知できるほか、前記タッチ或は滑りの操作に関わる持続時間と圧力も検出できる。実施例には、マルチメディアアセンブリ７０８がフロントカメラ及びはリアカメラ又はいずれか一方を一つ含んでもよい。装置７００は操作モードにある時、例えば、撮影モード或はビデオモードにある時、フロントカメラ及びリアカメラ又はいずれか一方が外部のマルチメディアデータを受信できる。フロントカメラとリアカメラ毎は、固定した一つのレンズ光学系であってもよく、或は焦点距離と焦点距離可変の機能を有してもよい。
オーディオアセンブリ７１０は、オーディオ信号を出力及び入力又はいずれか一方をするように配置される。例えば、オーディオアセンブリ７１０は、一つのマイク（ＭＩＣ）を含有し、装置７００が操作モード（例えば、呼出しモード、記録モードと音声識別モード）にある場合、マイクが外部のオーディオ信号を受信するように配置される。受信されたオーディオ信号が、さらにメモリ７０４に記憶してもよく、或は通信アセンブリ７１６により送信されてもよい。実施例には、オーディオアセンブリ７１０は、オーディオ信号を出力することに用いられる一つの拡声器をさらに含んでもよい。
Ｉ／Ｏインターフェース７１２は、処理アセンブリ７０２と外部インタフェースモジュールの間にインターフェースを提供し、上述の外部インタフェースモジュールがキーボード、クリックホイール、ボタン等であってもよい。前述のボタンは、ホームボタン、音量ボタン、起動ボタン及び施錠ボタンを含むが、これらに限定されない。
センサアセンブリ７１４は、一個或は複数個のセンサを含み、装置７００のために各方面の状態の評価を提供する。例えば、センサアセンブリ７１４は、装置７００のオン・オフ状態を検出し、装置７００の表示器とキーパッドのようなアセンブリに対する位置を特定でき、センサアセンブリ７１４が、装置７００或は装置７００における一つのアセンブリの位置の変動、ユーザと装置７００との接触が存在するか否か、装置７００の方位或は加速・減速、及び装置７００の温度の変化も検出できる。センサアセンブリ７１４は、いかなる物理的接触もされていない場合、付近の物体の存在を検出するように構成される近接センサを含んでもよい。センサアセンブリ７１４は、光センサをさらに含んでもよく、例えば、イメージングアプリケーションに利用されるＣＭＯＳ或はＣＣＤイメージセンサが挙げられる。実施例には、当該センサアセンブリ７１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ或は温度センサをさらに含んでもよい。
通信アセンブリ７１６は、装置７００とその他の機器の間に行う有線或は無線方式の通信に対して便宜を与えるように配置される。装置７００は、通信規格を基準とする無線ネットワークに接続でき、無線ネットワークとして、例えば、ＷｉＦｉ（登録商標）、２Ｇ或は３Ｇ、又はそれらの組み合わせが挙げられる。例示的な一つの実施例には、通信アセンブリ７１６は、放送チャネルを通じて、外部の放送管理システムからの放送信号、或は放送に関連する情報を受信する。例示的な一つの実施例には、前記通信アセンブリ７１６は、近距離通信を促進する近距離無線通信（ＮＦＣ）モジュールをさらに含む。ＮＦＣモジュールは、例えば、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域幅（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術とその他の技術により実現できる。
例示的な実施例には、装置７００は、一個或は複数個の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロッセサ（ＤＳＰ）、デジタル信号処理機器（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントロール、マイクロコントロール、マイクロプロッセサ或はその他の電子素子により実現されることができ、上述の方法を実行するために用いられる。
例示的な実施例には、インストラクションを記憶した非一時的コンピュータ可読記憶媒体をさらに提供しており、例えば、インストラクションを記憶したメモリ７０４が挙げられ、上述のインストラクションが装置７００のプロッセサ７１８により実行されて、上述の方法を完成する。例えば、前記非一時的コンピュータ可読記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ（登録商標）、テープ、フロッピイディスク（登録商標）と光データ記憶メディア等であってもよい。
上述の実施例に係る装置において、各モジュールにより実行される操作の具体的な方法については、既に、当該方法の実施例において詳細に説明されているため、ここでは、その詳細な説明を省略するようにする。
本発明は、以上の記載および図面により示される正確な構造に限られることはなく、その範囲を逸脱しない限り様々な修正や変更が可能であることと、理解すべきである。本発明の範囲は、添付する特許請求の範囲のみにより限定される。
本願は、出願番号がＣＮ２０１５１０２２６８４４．２であり、出願日が２０１５年５月６日である中国特許出願に基づき優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。

Claims (13)

  1. 少なくとも二つの音声収集ユニットを有する端末に用いられ、
    前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源に対し位置決めを行うステップと、
    位置決めされた各音源から所定音源を選別するステップと、
    位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するステップと、
    前記所定音源の発した音声信号に対し、音量を最適化するステップと
    を含むことを特徴とする音声信号の最適化方法。
  2. 前記所定音源の発した音声信号に対し、音量を最適化するステップは、
    前記所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び前記第１強度閾値以下の第２強度閾値と比較するステップと、
    前記所定音源が発した音声信号の強度が前記第１強度閾値より大きい場合、前記所定音源が発した音声信号の強度を前記第１強度閾値まで低下させるステップと、
    前記所定音源が発した音声信号の強度が前記第２強度閾値より小さい場合、前記所定音源が発した音声信号の強度を前記第２強度閾値まで増加させるステップと
    を含むことを特徴とする請求項１に記載の音声信号の最適化方法。
  3. 前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源に対し位置決めを行うステップは、
    一つの音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差を取得するステップと、
    前記音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、前記端末に対する前記音源の空間位置を決定するステップと
    を含むことを特徴とする請求項１に記載の音声信号の最適化方法。
  4. 位置決めされた各音源から所定音源を選別するステップは、
    前記各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づき、前記各音源から前記所定音源を選別するステップを含むことを特徴とする請求項１に記載の音声信号の最適化方法。
  5. 前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するステップの前に、
    前記端末中の姿勢センサにより、前記端末の姿勢を取得するステップと、
    前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うステップと、をさらに含み、
    前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するステップは、
    利得補償を行った後の音声信号の中から前記所定音源の発した音声信号を決定するステップを含むことを特徴とする請求項１に記載の音声信号の最適化方法。
  6. 前記端末の姿勢には前記端末における正面と水平面の間の夾角が含まれ、
    前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うステップは、
    前記端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定するステップと、
    前記補償数値に基づき、前記端末が収集した音声信号に対して利得補償を行うステップと
    を含むことを特徴とする請求項５に記載の音声信号の最適化方法。
  7. 少なくとも二つの音声収集ユニットを有する端末に用いられ、
    前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源に対し位置決めを行うための位置決めモジュールと、
    位置決めされた各音源から所定音源を選別するための選別モジュールと、
    位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するための音声信号決定モジュールと、
    前記所定音源の発した音声信号に対し、音量を最適化するための最適化モジュールと
    を含むことを特徴とする音声信号の最適化装置。
  8. 前記最適化モジュールは、
    前記所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び前記第１強度閾値以下の第２強度閾値と比較するための比較サブモジュールと、
    前記所定音源が発した音声信号の強度が前記第１強度閾値より大きい場合、前記所定音源が発した音声信号の強度を前記第１強度閾値まで低下させるための低下サブモジュールと、
    前記所定音源が発した音声信号の強度が前記第２強度閾値より小さい場合、前記所定音源が発した音声信号の強度を前記第２強度閾値まで増加させるための増加サブモジュールと
    を含むことを特徴とする請求項７に記載の音声信号の最適化装置。
  9. 前記位置決めモジュールは、
    一つの音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差を取得するための取得サブモジュールと、
    前記音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、前記端末に対する前記音源の空間位置を決定するための位置決めサブモジュールと
    を含むことを特徴とする請求項７に記載の音声信号の最適化装置。
  10. 前記選別モジュールは、
    前記各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づき、前記各音源から前記所定音源を選別することを特徴とする請求項７に記載の音声信号の最適化装置。
  11. 前記音声信号の最適化装置は、
    前記音声信号決定モジュールが、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定する前に、前記端末中の姿勢センサにより、前記端末の姿勢を取得するための姿勢取得モジュールと、
    前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うための補償モジュールと、をさらに含み、
    前記音声信号決定モジュールは、利得補償を行った後の音声信号の中から前記所定音源の発した音声信号を決定する
    ことを特徴とする請求項７に記載の音声信号の最適化装置。
  12. 前記補償モジュールは、
    前記端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定するための数値確定サブモジュールと、
    前記補償数値に基づき、前記端末が収集した音声信号に対して利得補償を行うための補償サブモジュールと、を含み、
    前記端末の姿勢には、前記端末における正面と水平面の間の夾角が含まれることを特徴とする請求項１１に記載の音声信号の最適化装置。
  13. 少なくとも二つの音声収集ユニットを有する端末に用いられ、
    前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源について位置決めを行い、位置決めされた各音源から所定音源を選別して、位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定して、前記所定音源の発した音声信号に対し、音量を最適化するように構成されたプロッセサと、
    前記プロッセサの実行可能なインストラクションを記憶するためのメモリと
    を含むことを特徴とする音声信号の最適化方法装置。
JP2017516025A 2015-05-06 2015-09-22 音声信号の最適化方法及びその装置、プログラム、及び記録媒体 Active JP6314286B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510226844.2A CN106205628B (zh) 2015-05-06 2015-05-06 声音信号优化方法及装置
CN201510226844.2 2015-05-06
PCT/CN2015/090275 WO2016176951A1 (zh) 2015-05-06 2015-09-22 声音信号优化方法及装置

Publications (2)

Publication Number Publication Date
JP2017521024A true JP2017521024A (ja) 2017-07-27
JP6314286B2 JP6314286B2 (ja) 2018-04-18

Family

ID=55952949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017516025A Active JP6314286B2 (ja) 2015-05-06 2015-09-22 音声信号の最適化方法及びその装置、プログラム、及び記録媒体

Country Status (9)

Country Link
US (1) US10499156B2 (ja)
EP (1) EP3091753B1 (ja)
JP (1) JP6314286B2 (ja)
KR (1) KR20160142217A (ja)
CN (1) CN106205628B (ja)
BR (1) BR112015031855A2 (ja)
MX (1) MX361588B (ja)
RU (1) RU2628473C2 (ja)
WO (1) WO2016176951A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791039B (zh) * 2016-11-30 2019-11-15 努比亚技术有限公司 一种移动终端定位装置及方法
KR20180091319A (ko) * 2017-02-06 2018-08-16 삼성에스디에스 주식회사 사운드 공유 장치 및 방법
US10602296B2 (en) 2017-06-09 2020-03-24 Nokia Technologies Oy Audio object adjustment for phase compensation in 6 degrees of freedom audio
CN107846645B (zh) * 2017-11-02 2019-09-06 长沙东玛克信息科技有限公司 一种基于环境噪声及人体定位音响控制调节方法
CN108461084A (zh) * 2018-03-01 2018-08-28 广东美的制冷设备有限公司 语音识别系统控制方法、控制装置及计算机可读存储介质
CN108648758B (zh) * 2018-03-12 2020-09-01 北京云知声信息技术有限公司 医疗场景中分离无效语音的方法及系统
CN108538320B (zh) * 2018-03-30 2020-09-11 Oppo广东移动通信有限公司 录音控制方法和装置、可读存储介质、终端
CN108766457B (zh) 2018-05-30 2020-09-18 北京小米移动软件有限公司 音频信号处理方法、装置、电子设备及存储介质
CN111385649B (zh) * 2018-12-28 2022-01-04 深圳Tcl新技术有限公司 一种电视声音传输控制方法、装置、智能电视及存储介质
CN109658758A (zh) * 2019-02-18 2019-04-19 西安科技大学 一种计算机会计教学仿真系统
CN110719545B (zh) * 2019-09-12 2022-11-08 连尚（新昌）网络科技有限公司 音频播放设备及用于播放音频的方法
CN110691300B (zh) * 2019-09-12 2022-07-19 连尚（新昌）网络科技有限公司 音频播放设备及用于提供信息的方法
CN110602595A (zh) * 2019-10-16 2019-12-20 南京沁恒微电子股份有限公司 一种分体式蓝牙耳机及其定位方法
CN112185353A (zh) * 2020-09-09 2021-01-05 北京小米松果电子有限公司 音频信号的处理方法、装置、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63262576A (ja) * 1987-04-20 1988-10-28 Sony Corp マイクロホン装置
JP2008048342A (ja) * 2006-08-21 2008-02-28 Yamaha Corp 収音装置
JP2010206298A (ja) * 2009-02-27 2010-09-16 Sony Corp 録音装置、録音方法、音声信号補正回路及びプログラム
JP2011066805A (ja) * 2009-09-18 2011-03-31 Oki Electric Industry Co Ltd 収音装置および収音方法
JP2011091658A (ja) * 2009-10-23 2011-05-06 Jvc Kenwood Holdings Inc ポータブル録音装置、録音自動調整方法、及びプログラム

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US288864A (en) * 1883-11-20 Grate
US13075A (en) * 1855-06-19 Horatio allen
US4864627A (en) * 1986-11-07 1989-09-05 Dugan Daniel W Microphone mixer with gain limiting and proportional limiting
US6001131A (en) * 1995-02-24 1999-12-14 Nynex Science & Technology, Inc. Automatic target noise cancellation for speech enhancement
JPH0946400A (ja) 1995-07-27 1997-02-14 Nec Corp 音声出力レベルの自動調整機能を備えた音声入出 力装置
JPH09252333A (ja) * 1996-03-15 1997-09-22 Kyocera Corp 音声会議装置
CN1386371A (zh) * 2000-08-01 2002-12-18 皇家菲利浦电子有限公司 使设备对准声源
US6594368B2 (en) * 2001-02-21 2003-07-15 Digisonix, Llc DVE system with dynamic range processing
JP2008512888A (ja) * 2004-09-07 2008-04-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 改善した雑音抑圧を有する電話装置
RU2312405C2 (ru) * 2005-09-13 2007-12-10 Михаил Николаевич Гусев Способ осуществления машинной оценки качества звуковых сигналов
US8135148B2 (en) * 2006-04-26 2012-03-13 Microsemi Semiconductor Corp. Automatic gain control for mobile microphone
JP4747949B2 (ja) * 2006-05-25 2011-08-17 ヤマハ株式会社 音声会議装置
KR100883652B1 (ko) * 2006-08-03 2009-02-18 삼성전자주식회사 음성 구간 검출 방법 및 장치, 및 이를 이용한 음성 인식시스템
JP4854533B2 (ja) * 2007-01-30 2012-01-18 富士通株式会社 音響判定方法、音響判定装置及びコンピュータプログラム
US7742746B2 (en) * 2007-04-30 2010-06-22 Qualcomm Incorporated Automatic volume and dynamic range adjustment for mobile audio devices
DE102007048973B4 (de) * 2007-10-12 2010-11-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals mit einer Sprachsignalverarbeitung
EP2144231A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme with common preprocessing
KR101499785B1 (ko) 2008-10-23 2015-03-09 삼성전자주식회사 모바일 디바이스를 위한 오디오 처리 장치 및 그 방법
CN101510426B (zh) * 2009-03-23 2013-03-27 北京中星微电子有限公司 一种噪声消除方法及系统
US9094645B2 (en) * 2009-07-17 2015-07-28 Lg Electronics Inc. Method for processing sound source in terminal and terminal using the same
KR101166612B1 (ko) 2009-08-19 2012-07-18 엘지전자 주식회사 단말기에서의 음원 처리 방법 및 이를 적용한 단말기
JP5246120B2 (ja) 2009-09-29 2013-07-24 沖電気工業株式会社 収音装置、利得制御方法、およびプログラム
EP2339574B1 (en) * 2009-11-20 2013-03-13 Nxp B.V. Speech detector
JP5407848B2 (ja) * 2009-12-25 2014-02-05 富士通株式会社 マイクロホンの指向性制御装置
US8502837B2 (en) * 2010-03-04 2013-08-06 Research In Motion Limited System and method for activating components on an electronic device using orientation data
CH703440B1 (it) * 2010-07-12 2014-06-30 Supsi Scuola Universitaria Professionale Della Svizzera Italiana Icimsi Sistema per il trattamento delle acque reflue.
US8711736B2 (en) 2010-09-16 2014-04-29 Apple Inc. Audio processing in a multi-participant conference
US9031256B2 (en) * 2010-10-25 2015-05-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
US20120148075A1 (en) 2010-12-08 2012-06-14 Creative Technology Ltd Method for optimizing reproduction of audio signals from an apparatus for audio reproduction
CN102164328B (zh) * 2010-12-29 2013-12-11 中国科学院声学研究所 一种用于家庭环境的基于传声器阵列的音频输入系统
US8525868B2 (en) 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
US8989360B2 (en) * 2011-03-04 2015-03-24 Mitel Networks Corporation Host mode for an audio conference phone
US9549251B2 (en) 2011-03-25 2017-01-17 Invensense, Inc. Distributed automatic level control for a microphone array
GB2491173A (en) 2011-05-26 2012-11-28 Skype Setting gain applied to an audio signal based on direction of arrival (DOA) information
US8588434B1 (en) * 2011-06-27 2013-11-19 Google Inc. Controlling microphones and speakers of a computing device
KR20130061935A (ko) * 2011-12-02 2013-06-12 삼성전자주식회사 고도 정보 기반의 사용자 기능 제어 방법 및 이를 지원하는 단말기
JP2013168878A (ja) * 2012-02-16 2013-08-29 Olympus Imaging Corp 録音機器
CN103390410A (zh) * 2012-05-10 2013-11-13 宏碁股份有限公司 远程电话会议系统及方法
US20130332156A1 (en) * 2012-06-11 2013-12-12 Apple Inc. Sensor Fusion to Improve Speech/Audio Processing in a Mobile Device
TWI578755B (zh) * 2012-07-06 2017-04-11 鴻海精密工業股份有限公司 遠端多方會議音量調整系統及方法
JP5930900B2 (ja) * 2012-07-24 2016-06-08 日東電工株式会社 導電性フィルムロールの製造方法
US9001672B2 (en) * 2012-07-27 2015-04-07 Alcatel Lucent System, method and apparatus conforming path cost criteria across multiple ABRs
US9294859B2 (en) * 2013-03-12 2016-03-22 Google Technology Holdings LLC Apparatus with adaptive audio adjustment based on surface proximity, surface type and motion
KR102127640B1 (ko) * 2013-03-28 2020-06-30 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
US9225815B2 (en) * 2013-07-23 2015-12-29 Google Technology Holdings LLC Method and device for loudness level determination
GB2520305A (en) * 2013-11-15 2015-05-20 Nokia Corp Handling overlapping audio recordings
WO2015117919A1 (en) * 2014-02-04 2015-08-13 Tp Vision Holding B.V. Handheld device with microphone
CN103873977B (zh) * 2014-03-19 2018-12-07 惠州Tcl移动通信有限公司 基于多麦克风阵列波束成形的录音系统及其实现方法
CN104053107B (zh) * 2014-06-06 2018-06-05 重庆大学 一种用于噪声环境下声源分离和定位方法
US10366703B2 (en) * 2014-10-01 2019-07-30 Samsung Electronics Co., Ltd. Method and apparatus for processing audio signal including shock noise

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63262576A (ja) * 1987-04-20 1988-10-28 Sony Corp マイクロホン装置
JP2008048342A (ja) * 2006-08-21 2008-02-28 Yamaha Corp 収音装置
JP2010206298A (ja) * 2009-02-27 2010-09-16 Sony Corp 録音装置、録音方法、音声信号補正回路及びプログラム
JP2011066805A (ja) * 2009-09-18 2011-03-31 Oki Electric Industry Co Ltd 収音装置および収音方法
JP2011091658A (ja) * 2009-10-23 2011-05-06 Jvc Kenwood Holdings Inc ポータブル録音装置、録音自動調整方法、及びプログラム

Also Published As

Publication number Publication date
EP3091753B1 (en) 2020-01-08
WO2016176951A1 (zh) 2016-11-10
KR20160142217A (ko) 2016-12-12
RU2628473C2 (ru) 2017-08-17
MX361588B (es) 2018-12-11
US10499156B2 (en) 2019-12-03
RU2015155321A (ru) 2017-06-29
CN106205628A (zh) 2016-12-07
JP6314286B2 (ja) 2018-04-18
EP3091753A1 (en) 2016-11-09
US20160330548A1 (en) 2016-11-10
MX2015017147A (es) 2017-04-06
CN106205628B (zh) 2018-11-02
BR112015031855A2 (pt) 2017-07-25

Similar Documents

Publication Publication Date Title
JP6314286B2 (ja) 音声信号の最適化方法及びその装置、プログラム、及び記録媒体
EP3163748B1 (en) Method, device and terminal for adjusting volume
US20170125035A1 (en) Controlling smart device by voice
CN107493500B (zh) 多媒体资源播放方法及装置
CN106454644B (zh) 音频播放方法及装置
CN109360549B (zh) 一种数据处理方法、穿戴设备和用于数据处理的装置
EP3024211B1 (en) Method and device for announcing voice call
CN104991754A (zh) 录音方法及装置
US11596018B2 (en) Region configuration method and device
CN106303806B (zh) 音响系统的音量平衡控制方法及装置
CN105451056B (zh) 音视频同步方法及装置
CN106888327B (zh) 语音播放方法及装置
CN112150778A (zh) 环境音处理方法及相关装置
CN108600503B (zh) 语音通话的控制方法及装置
WO2021244058A1 (zh) 一种处理执行方法、装置和可读介质
CN111510846B (zh) 音场调节方法、装置及存储介质
CN108206884B (zh) 终端、终端发射通信信号的调整方法和电子设备
CN106210247A (zh) 终端控制方法及装置
CN111698593B (zh) 主动降噪方法及装置、终端
CN112770248A (zh) 音箱控制方法、装置及存储介质
US11388281B2 (en) Adaptive method and apparatus for intelligent terminal, and terminal
CN111736798A (zh) 音量调节方法、音量调节装置及计算机可读存储介质
CN112118502B (zh) 耳机控制方法、装置、设备及存储介质
EP4322548A1 (en) Earphone controlling method and apparatus, and storage medium
CN104519394B (zh) 节目播放方法及装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170926

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180215

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180326

R150 Certificate of patent or registration of utility model

Ref document number: 6314286

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250