JP2009033470A - 音声取得装置、音声出力装置、雑音除去システム、及び、プログラム - Google Patents

音声取得装置、音声出力装置、雑音除去システム、及び、プログラム Download PDF

Info

Publication number
JP2009033470A
JP2009033470A JP2007195219A JP2007195219A JP2009033470A JP 2009033470 A JP2009033470 A JP 2009033470A JP 2007195219 A JP2007195219 A JP 2007195219A JP 2007195219 A JP2007195219 A JP 2007195219A JP 2009033470 A JP2009033470 A JP 2009033470A
Authority
JP
Japan
Prior art keywords
audio
sound
voice
signal
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007195219A
Other languages
English (en)
Other versions
JP4431836B2 (ja
Inventor
Atsushi Koike
敦 小池
Masato Togami
真人 戸上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Hitachi Mobile Communications Co Ltd
Original Assignee
Casio Hitachi Mobile Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Hitachi Mobile Communications Co Ltd filed Critical Casio Hitachi Mobile Communications Co Ltd
Priority to JP2007195219A priority Critical patent/JP4431836B2/ja
Priority to KR1020080065823A priority patent/KR101017384B1/ko
Priority to US12/179,776 priority patent/US8165641B2/en
Priority to EP08013437.2A priority patent/EP2019544A3/en
Priority to CN2008101443336A priority patent/CN101355600B/zh
Publication of JP2009033470A publication Critical patent/JP2009033470A/ja
Application granted granted Critical
Publication of JP4431836B2 publication Critical patent/JP4431836B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】マイクで取得した音声に外部の音声出力装置が放音した音声が含まれる場合でも、マイクで取得した音声からその音声を好適に除去する。
【解決手段】音声取得装置1は、音声出力通知の要求をブロードキャスト配信し、ネットワーク内の音声出力装置に要求する。要求に応じて、音声出力装置が音声出力動作を開始することを通知すると、音声取得装置1は、出力音声データの転送の要求をブロードキャスト配信する。音声出力装置は、その求めに応じて、自らがスピーカで出力する音声に対応する出力音声データを音声取得装置1に転送する。音声取得装置1は、転送された出力音声データを使用して、マイクで取得した音声データから雑音成分を除去する。
【選択図】図4

Description

本発明は、音声取得装置、音声出力装置、雑音除去システム、コンピュータを音声取得装置及び音声出力装置として機能させるプログラムに関する。
スピーカ及びマイクを備えた装置にて、スピーカから音声を出力しながらマイクで音声を取得する場合、スピーカによる出力音声が回り込み、マイクにより集音されてしまう。マイクで集音した音声に含まれるスピーカの出力音声を「音響エコー」といい、マイクで取得した音声の品質低下やハウリングの原因になる。
音響エコーを除去するための従来技術としてエコーキャンセラがあり、電話端末等に広く使用されている。エコーキャンセラは、スピーカの出力音声を参照信号として参照し、その参照信号に基づいて推定した音響エコーをマイクの取得音声から除去する。
特許文献1は、エコーキャンセラの一例を開示する。このエコーキャンセラは、スピーカに出力される入力音(スピーカ出力音)を参照信号として取り込み、疑似エコーを生成し、マイク入力音声から減算することで、音響エコーを除去する(例えば、特許文献1 段落0007)。
このエコーキャンセラは、さらに、自動車のワイパー音等の特定雑音の音声データを予め録音しておき、特定雑音の発生を検出した時に、予め録音済の音声データを参照して取得音声から特定の音を除去する。
特開2003−124849号公報
特許文献1に開示されているエコーキャンセラは、自装置が備えるスピーカへの入力信号を参照信号として取得することができる。しかし、音声出力装置と音声取得装置とが通信ネットワークを介して接続されて構成されたシステム等では、音声取得装置と音声取得装置とは、それぞれ、独立した装置であるため、音声取得装置は、音声出力装置から正確な参照信号を得ることができない。このため、仮に、音声出力装置から音声取得装置に参照信号を送信するとしても、通信ネットワークの状態により、その伝送特性が大きく変化し、参照信号を正確に取得するのが困難である。
また、特許文献1に開示されている特定雑音の除去技術では、外部機器のスピーカのように任意の音声が出力される場合に対応できない。
本発明は、上記問題点に鑑みてなされたものであり、取得した音声から、外部機器の出力音声により発生する音響エコーを適切に除去することを目的とする。
また、本発明は、スピーカに供給される音声信号を直接取得できない場合でも、取得した音声の信号とマイクの取得信号とを同期させて、雑音を好適に除去することを目的とする。
上記課題を解決するために、本発明に係る音声取得装置は、音声を集音し、その音声を第1の音声信号に変換する音声取得手段と、外部の音声出力装置に、該音声出力装置が放音する音声の第2の音声信号を送信することを、通信ネットワークを介して、要求する音声信号要求手段と、前記音声信号要求手段の要求に応じて前記外部の音声出力装置が送信した第2の音声信号を、通信ネットワークを介して、受信する外部信号受信手段と、前記音声取得手段からの第1の音声信号と、前記外部信号受信手段で受信した第2の音声信号とを、同期化する同期化手段と、前記同期化手段で同期化された前記第1の音声信号と前記第2の音声信号とに基づいて、該第1の音声信号に含まれる該第2の音声信号を除去し、除去後の信号を出力する雑音除去手段と、を備えることを特徴とする。
上記課題を解決するために、本発明に係る音声出力装置は、音声信号を音声に変換する音声変換手段と、前記音声変換手段で変換した音声を放音する放音手段と、前記放音手段で放音する音声を集音する可能性のある外部の音声取得装置からの要求に応じ、前記放音手段で放音する音声の音声信号を、通信ネットワークを介して、該音声取得装置に送信する外部信号送信手段と、を備えることを特徴とする。
また、本発明の音声取得装置と音声出力装置とから構成される雑音除去システムを提供する。更に、コンピュータに対して本発明の主要機能を実行させるためのプログラムを提供する。
本発明の音声取得装置によれば、マイクで取得した音声の信号と、外部の音声出力装置が放音した音声の信号とを同期させる。同期後、その音声出力装置が放音した音声の信号に基づいて、マイクで取得した音声の信号から、音声出力装置が放音した音声に起因する雑音成分を除去する。これにより、マイクで取得した音声に外部の音声出力装置が放音した音声が含まれている場合でも、マイクで取得した音声から外部の音声出力装置が放音した音声を好適に除去できる。
(実施形態1)
以下、本発明の実施形態1に係る雑音除去システムを説明する。本実施形態に係る雑音除去システムNSは、図1に示すように、音声取得装置1、第1音声出力装置2、第2音声出力装置3、ネットワーク4、を備える。ネットワーク4は、例えば、LAN(Local Area Network)から構成される。各装置は、ネットワーク4を介して、有線又は無線により相互に通信可能である。なお、音声取得装置及び音声出力装置の数は任意である。
音声取得装置1は、音声取得機能を有し、例えば、ビデオカメラ、ボイスレコーダ、携帯電話やTV電話機等の電話端末、音声認識機能を有する機器、等である。音声出力装置2、3は、音声出力機能を有し、例えば、オーディオプレーヤ、テレビ、警告音等を出力可能な洗濯機、等である。
音声取得装置1は、図2に示すように、制御部11、音声取得部12、通信部13、操作部14、表示部15、音声出力部16、記憶部17、放送受信部18、バス19、等の回路構成を有する。
制御部11は、CPU(Central Processing Unit)等を備え、音声取得装置1全体を制御する。
また、制御部11は、時間同期部111、適応フィルタ部112、加算部113、を備える。時間同期部111は、複数の音声信号の時刻を一致させ、各信号を同期させる。適応フィルタ部112は、音声信号に適応フィルタを適用し、適応フィルタのフィルタ係数を決定する。加算部113は、ある信号から他の信号を減算する。
音声取得部12は、マイクやAD(Analogue to Digital)変換回路等を備え、マイクで取得した音声データにAD変換を施し、ディジタル音声データ(以下、「取得音声データ」という。)に変換する。
通信部13は、ネットワーク4を介して他装置に接続するためのインターフェースである。通信部13は、ネットワーク4内の他装置にメッセージをブロードキャスト配信する。
操作部14は、キーボード等を備え、ユーザに操作され、データや指示を入力し、制御部11に与える。表示部15は、例えば、ドットマトリクスタイプのLCD(液晶表示)パネルとドライバ回路等から構成され、任意のデータを表示する。
音声出力部16は、スピーカ、DA(Digital to Analogue)変換回路等を備え、DA変換回路で復調した音声データ、例えば、各種の報知音、放送受信部18で受信したコンテンツのオーディオサウンド、等を出力する。
記憶部17は、各種のデータを記憶する。記憶部17には、制御部11の動作用プログラムや音声取得装置1の情報が記憶される。音声取得装置1の情報は、音声取得装置1を他装置から識別するための「取得装置ID」、等である。
放送受信部18は、テレビ放送やラジオ放送、ネットワーク4内でブロードキャスト配信又はマルチキャスト配信されるコンテンツ、等を受信する。バス19は、各部間で相互にデータを伝送する。
第1音声出力装置2と第2音声出力装置3とは、図3に示すように、実質的に同一の構成を有する。即ち、第1音声出力装置2は、制御部21、通信部22、操作部23、音声出力部24、記憶部25、放送受信部26、バス27、を備える。同様に、第2音声出力装置3は、制御部31、通信部32、操作部33、音声出力部34、記憶部35、放送受信部36、バス37、を備える。
以下、理解を容易にするため、第1音声出力装置2を例に、各部を説明する。制御部21は、第1音声出力装置2全体を制御する。通信部22は、ネットワーク4を介して他装置と通信し、任意のデータを送受信する。例えば、音声出力部24から出力される音声に対応するディジタルの音声データをネットワーク4内に存在する他の装置に転送する。
操作部23は、ユーザからの操作を受け付け、操作信号を制御部21に入力する。操作部23は、ユーザが放送受信部26で受信したコンテンツを視聴する場合、そのコンテンツを再生するために使用される。
音声出力部24は、スピーカ等を備え、各種の音声を出力する。例えば、再生中のコンテンツの音声データ、音声出力装置2の動作状態をユーザ報知するための各種の報知音、等を出力する。
また、音声出力部24は、DA(Digital to Analogue)変換回路を備え、ディジタル音声データにDA変換を施し、アナログ音声データ(以下、「出力音声データ」という)に変換する。この出力音声データは、音声取得装置1が、音声取得部12で取得した音声から、音声出力部24が放音した音声に起因する雑音を除去するときの参照信号となる。
記憶部25は、各種のデータを記憶する。例えば、制御部21の動作用プログラム、通信部22で受信したデータ、第1音声出力装置2を他装置から識別するための「出力装置ID」、等を記憶する。
放送受信部26は、テレビ放送やラジオ放送、又は、インターネットやLAN(Local Area Network)内でブロードキャスト配信及びマルチキャスト配信されたコンテンツ、を受信する。バス27は、各部間で相互にデータを伝送する。
次に、上記構成を有する音声取得装置1、第1音声出力装置2、第2音声出力装置3、の動作について説明する。なお、音声取得装置1の音声取得動作は通常の音声取得装置と同一である。また、第1音声出力装置2及び第2音声出力装置3の音声出力動作は通常の音声出力装置と同一である。以下では、本実施形態で特徴的な雑音除去の動作について説明する。
先ず、実施形態1にて音声取得装置1が出力音声データを取得する(以下、「音声取得」という)ときの処理を説明する。この例では、音声取得の開始時点で、第1音声出力装置2では音声を出力中であり、第2音声出力装置3では音声を未出力である。
図4に示すように、音声取得装置1は、音声取得処理を開始すると(ステップS11)、ネットワーク4内に存在する他装置に「音声出力通知要求メッセージ」をブロードキャスト配信する(ステップS12)。
「音声出力通知要求メッセージ」は、各音声出力装置が音声出力を開始するときに、その旨を音声取得装置1に通知するよう要求するメッセージである。「音声出力通知要求メッセージ」は、音声出力の通知を要求した音声取得装置1を示す「取得装置ID」を含む。「取得装置ID」は、例えば、音声取得装置1に割り当てられたIPアドレスである。
「音声出力通知要求メッセージ」を受信した音声出力装置は、受信時に、音声を出力中で、かつ、他装置に出力音声データを転送可能であれば、その送信元(音声取得装置1)に「音声出力通知メッセージ」を送信する(ステップS13)。このとき、音声出力装置は、「取得装置ID」を参照し、「音声出力通知要求メッセージ」の送信元を判別する。
「音声出力通知メッセージ」は、音声出力装置が音声出力を開始することを示すメッセージで、その通知元を示す「出力装置ID」を含む。「音声出力通知メッセージ」を受信した音声取得装置1は、「出力装置ID」から通知元を判別し、その通知元(音声出力装置2)に「出力音声転送要求メッセージ」を送信する(ステップS14)。
「出力音声転送要求メッセージ」は、出力音声データの転送を要求するメッセージで、「取得装置ID」の他、「音声符号化リスト」、「QoS(Quality of Service)要求情報」、を含んでいる。
「音声符号化リスト」は、音声取得装置1が処理可能な音声符号化方式や各音声符号化方式の設定内容を示す。音声取得装置1は、「音声符号化リスト」が示すいずれかの音声符号化方式に従って、出力音声データを復号化する。また、「音声符号化リスト」は、誤り訂正方式や暗号化方式に関する情報を含む。
「QoS要求情報」は、音声出力装置が出力音声データを転送するときに、音声取得装置1が要求する通信の品質(例えば、許容伝送遅延時間、許容誤り率、等)を示す。
「出力音声転送要求メッセージ」を受信した音声出力装置は、「取得装置ID」からメッセージの送信元を特定し、その送信元に「出力音声転送応答メッセージ」を送信する(ステップS15)。
「出力音声転送応答メッセージ」は、「出力装置ID」の他、「転送可否情報」、「音声符号化情報」、「QoS情報」、「雑音除去用情報」、を含む。なお、メッセージの受信側(音声取得装置1)は、「音声符号化情報」と「QoS情報」を保持する。
「転送可否情報」は、音声出力装置による出力音声データの転送の可否(「可能」又は「不可能」)を示す。音声出力装置は、「音声符号化リスト」が示す音声符号化方式に対応していない場合や「QoS要求情報」が示す通信品質にて出力音声データを送信できない場合、「転送可否情報」を「不可能」に設定する。それ以外の場合、転送可否情報を「可能」に設定する。
「音声符号化情報」は、音声データの符号化に関する情報で、例えば、出力音声データを符号化するときの音声符号化方式や各音声符号化方式の設定情報を示す。「QoS情報」は、出力音声データを転送するときに保証される通信の品質(例えば、保証伝送遅延時間、保証誤り率、等)を示す。
「雑音除去用情報」は、音声取得装置が「取得音声データ」から雑音成分を除去するときに使用する情報で、例えば、音声出力装置が出力可能な音声データの周波数範囲、音声出力装置の設置場所、等を示す。この周波数範囲に係る情報は、例えば、音声取得装置が雑音除去の対象とする音声の周波数範囲を定めるために使用される。
設置場所に係る情報は、例えば、音声出力装置の音声出力部24から放音された音声が、音声取得装置1の音声取得部12に入力されるまでに要する時間を求めるために使用される。また、例えば、その場所に位置する音声出力装置からの音声信号出力に起因するエコーが、取得音声データの劣化に与える影響の大小を判別するために使用される。
出力音声転送応答メッセージの送信後、音声出力装置は、音声取得装置1に出力音声データを転送するために、出力音声データに音声符号化を施す。制御部21は、例えば、AAC(Advanced Audio Coding)、MPEG(Moving Picture Experts Group)−1 Audio、などの音声符号化方式を使用する。
音声出力装置が出力音声データの符号化を開始するタイミングは、その出力音声データが定義する音声を音声出力部24に放音させるために、制御部21が、音声出力部24に出力音声データを入力するタイミングと同一である。音声取得装置1が雑音成分を除去するとき、音声出力部24が音声を放音したタイミングと、出力音声データを転送されたタイミングとを、精度よく同期させるためである。
音声出力装置は、音声取得装置1に出力音声データを転送する。(ステップS16)。なお、受信側は、出力音声データを記憶部17に保持する。
さらに、音声取得装置1は、受信した出力音声データを使用して、「取得音声データ」から雑音成分を除去する(ステップS17)。この処理では、図5に示すように、先ず、音声取得部12で取得しAD変換した「取得音声データ」の時間と、受信した「出力音声データ」の時間とを同期させる(ステップS171)。
なお、図6に示すように、「取得音声データ」はエコー信号Eを含んでいる。エコー信号Eは、音声出力装置が出力した音声信号がエコー経路EPを介して音声取得装置1に到達したものである。
図5に示すステップS171にて、時間同期部111は、出力音声転送応答メッセージの受信後に保持した「音声符号化情報」と「QoS情報」とを参照し、音声出力装置が各出力音声データを送信してから、各出力音声データを音声取得装置1が受信するまでに要する各転送時間を求める。
この「QoS情報」には、保証伝送遅延時間を示す情報が含まれている。出力音声データの伝送が遅延したときの遅延時間の最大値を表す。そのため、本実施形態では、制御部11は、この保証伝送遅延時間をもって、出力音声データの転送時間とみなしている。各出力音声データに付与されたパケットのヘッダ情報から出力音声データの送信時刻と受信時刻とを特定可能な場合、受信時刻と送信時刻との差から転送時間を求めてもよい。
また、制御部11は、「音声符号化情報」が示す音声符号化方式に従ったときにデータの符号化処理に要する時間を求める。例えば、音声符号化方式が、所定時間(例えば、32ミリ秒)、音声データを蓄積し、蓄えたデータを符号化する方式であれば、この所定時間を符号化に要する時間とみなすことが可能である。さらに、制御部11は、求めた時間を、「QoS情報」を使用して求めた転送時間に加算する。
続いて、時間同期部111は、求めた内で転送時間が最も遅い出力音声データに、取得音声データ及び全ての出力音声データを同期させる(以下、「時間同期」という)。時間同期のために、時刻を遅延させる必要がある取得音声データ及び出力音声データは、一時的に記憶部17に記憶される。
次に、制御部11は、時間同期部111が時間同期させた出力音声データを使用して、時間同期された取得音声データから雑音を除去する(ステップS172)。雑音を除去する手法は、任意である。例えば、時間同期を行った出力音声データを参照信号として、既知のエコーキャンセラ処理を施し、雑音を除去する。以下、このようなエコーキャンセラ処理について説明する。
図6に示すように、適応フィルタ部112は、時間同期部111による時間同期後の参照信号Rs(時間同期後の出力音声データ)と、適応フィルタh’と、を畳み込む。この畳込により、適応フィルタ部112は、エコー信号Eと推定された推定エコー信号E’を生成する。
なお、第1音声出力装置2の音声出力部24が放音した音声は回り込んで、音声取得装置1の音声取得部12に集音される。そのため、音声出力部24が放音を開始したタイミングから、音声取得部12が集音するタイミングが遅延する。
適応フィルタ部112が有する適応フィルタh’(伝達関数)は、このタイミングの遅延(空間の伝達遅延特性)の影響を含んだ関数である。そのため、推定エコー信号E’は、エコー経路EPを回り込むことにより遅延した出力音声データとして求まる。
さらに、「出力音声転送応答メッセージ」に含まれる「雑音除去用情報」を参照して、音声出力装置の設置場所を特定し、音声出力部24と音声取得部12との間の距離を求めるようにしてもよい。求めた距離を使用することにより、適応フィルタh’による空間の伝達遅延特性の精度を向上できる。
また、適応フィルタ部112は、サンプリングする毎に、エコー経路EPの推定インパルス応答のフィルタ係数(タップ係数)を決定する。決定したフィルタ係数は、記憶部12で保持する。
このフィルタ係数を決定するアルゴリズムは、任意である。例えば、適応フィルタをFIR(Finite Impulse Response)フィルタで構成するのであれば、NLMS(Normalized Least Mean Square)アルゴリズムを使用すればよい。
なお、適応フィルタ部112は、フィルタ係数を決定する毎に、適応フィルタh’の伝達特性が未知の伝達関数h(出力音声データがエコー経路EPを伝達することにより歪む特性)に次第に近づくよう学習する。この学習する速度は、ステップサイズを変更することで制御可能である。
加算部113は、エコー信号Eを含んだ取得音声データから、適応フィルタ部112が生成した推定エコー信号E’を減じ、取得音声データから音響エコーを除去する。このとき、例えば、ユーザが携帯電話1を使用して通話中であれば、制御部11は、エコー除去後の取得音声データを、通信部13を介して通話先に送信する。
次に、実施形態1にて音声取得装置1が出力音声データの取得を終了するときの処理を説明する。図7に示すように、第1音声出力装置2による出力音声データの転送中(ステップS21)、音声取得装置1は、ネットワーク4内の全装置に「音声出力通知解除メッセージ」をブロードキャスト配信する(ステップS22)。
音声出力通知解除メッセージは、出力音声データの転送を解除するよう音声出力装置に指示するメッセージで、「取得装置ID」を含んでいる。
「音声出力通知解除メッセージ」を受信した各音声出力装置は、受信時にそのメッセージの送信元に出力音声データを転送していれば、その転送を終了する(ステップS23)。このとき、音声出力装置は、「取得装置ID」から送信元(音声取得装置1)を判別する。
なお、以下では、音声取得装置が音声出力の通知を要求してから、その通知解除を指示するまでの期間を「音声出力通知要求期間」という。ネットワーク4内に複数の音声取得装置が存在する場合、各音声取得装置は個々に設定された「音声出力通知要求期間」に従って動作する。
各音声出力装置は、各音声取得装置から「音声出力通知要求メッセージ」及び「音声出力通知解除メッセージ」を受け取ることで、各音声取得装置の「音声出力通知要求期間」を識別する。
次に、実施形態1にて第1音声出力装置2が音声出力を開始するときの処理について説明する。第1音声出力装置2は、音声出力を開始するときに、ネットワーク4内の各音声取得装置からの音声出力通知の要求の有無を判別する。無ければ、直ちに音声出力を開始する。
一方、図8に示すように、音声取得装置1が音声出力通知を要求中で有れば(ステップS31)、第1音声出力装置2は、音声出力通知メッセージを音声取得装置1に送信する(ステップS32)。この音声出力通知メッセージは、図4を参照して説明したものと実質的に同一である。送信後、第1音声出力装置2は、音声出力部24を介して音声出力を開始する(ステップS33)。
音声取得装置1では、「音声出力通知メッセージ」を受信すると、その送信元(第1音声出力装置2)に「出力音声転送要求メッセージ」を送信する(ステップS34)。このとき、音声取得装置1は「出力装置ID」から送信元を判別する。
「出力音声転送要求メッセージ」の受信側(第1音声出力装置2)は、その送信側の要求に応答して「出力音声転送応答メッセージ」を送信する(ステップS35)。このとき、「音声符号化リスト」が示す音声符号化方式に従って音声データを処理可能、且つ、「QoS要求情報」が示す通信品質を保証した状態で出力音声データを送信可能なら、「転送可否情報」を「可能」に設定する。
「転送可否情報」を「可能」に設定して「出力音声転送要求メッセージ」を送信した場合、以後、第1音声出力装置2は出力音声データを音声取得装置1に転送する(ステップS36)。
次に、実施形態1にて第1音声出力装置2が音声出力を終了する処理について説明する。ネットワーク4内に音声出力通知を要求している音声取得装置がない場合、第1音声出力装置2は、音声出力停止メッセージを送信することなく、音声出力を終了する。
一方、図9に示すように、音声出力の停止を開始する時点で、音声取得装置1の「音声出力通知要求期間」中(ステップS41)であれば、第1音声出力装置2の制御部21は、音声出力部24の音声出力動作を終了させる(ステップS42)。
続いて、音声取得装置1への出力音声データの転送を停止する(ステップS43)。このとき、第1音声出力装置2は、音声取得装置1に出力音声データの送信を停止したことを通知するため、「音声出力停止メッセージ」を音声取得装置1に送信する。
そのメッセージを受信した音声取得装置1は、メッセージ内の「出力装置ID」から送信元の音声出力装置を特定する。さらに、その音声出力装置から転送される出力音声データを使用した雑音除去処理を停止する(ステップS44)。
(実施形態2)
前述の実施形態1では、音声出力装置は、ネットワーク4内に存在する全ての音声取得装置の「音声出力通知要求期間」を識別し、その「音声出力通知要求期間」中に出力音声データを転送する。
音声出力装置における処理をより簡略化するには、各音声取得装置の「音声出力通知要求期間」中か否かに関わらず、出力音声データを送信すればよい。以下、このような処理を行う実施形態2について説明する。
実施形態2のシステム構成については、図1で示した実施形態1のシステム構成と同一である。また、音声取得装置1、音声出力装置2〜3の構成も、図2及び3で示した例と同一である。
ネットワーク4内に複数の音声出力装置が存在する場合、各音声出力装置は個々に設定された「音声出力期間」に従って動作する。ここで、「音声出力期間」とは、音声出力装置による「音声出力通知メッセージ」のブロードキャスト配信開始から、その音声出力装置が「音声出力停止メッセージ」をブロードキャスト配信するまでの期間、を指す。
実施形態2にて、音声取得装置は、各音声出力装置から個々にブロードキャスト配信された「音声出力通知メッセージ」及び「音声出力停止通知メッセージ」より、各音声出力装置の「音声出力期間」を収集し、各音声出力装置に設定されている「音声出力期間」を判別する。
以下、実施形態2にて第1音声出力装置2が音声を出力するときの処理を説明する。図10に示すように、第1音声出力装置2は、ネットワーク4内で「音声出力通知メッセージ」をブロードキャスト配信する(ステップS51)。この音声出力通知メッセージは、実施形態1で説明したものと実質的に同一である。
配信後、第1音声出力装置2の制御部21は、音声出力部24に指示し、音声出力を開始させる(ステップS52)。
ステップS51の処理時点で、音声取得装置1が音声取得処理中ならば、図4で示したステップS14〜S16と実質的に同一の処理を行い、音声取得装置1からの求めに応じて出力音声データの転送を開始する。なお、実施形態2においても、音声取得装置1が取得音声データから雑音成分を除去する処理は、図5で示した例と実質的に同一である。
また、タイマによりステップS51の処理の終了からの所定時間の経過を検出し、その経過時にステップS52の処理を実行してもよい。この場合、前述したステップS14〜S16の処理が、ステップS52の前段に行われる可能性が高まる。そのため、音声取得装置1での、取得音声データから第1音声出力装置2の音声出力に起因する音響エコーの除去がより好適に行われる。
次に、実施形態2にて、第1音声出力装置2が音声出力を停止する処理を説明する。前提として、音声取得装置1は、第1音声出力装置2から出力音声データを取得中であるものとする。
図11に示すように、第1音声出力装置2は、音声出力部24に指示し、音声出力を停止させる(ステップS61)。続いて、音声取得装置1への出力音声データの転送を停止する(ステップS62)。さらに、ネットワーク4内で、「音声出力停止メッセージ」をブロードキャスト配信する(ステップS63)。この音声出力停止メッセージは、図9で示したものと実質的に同一である。
次に、実施形態2にて音声取得装置1が音声取得を開始する処理を説明する。なお、この例では、音声取得の開始時点で、第1音声出力装置2では音声を出力中で、第2音声出力装置3では音声を未出力である。
図12に示すように、音声取得装置1は、第1音声出力装置2による音声出力期間中(ステップS71)に音声取得処理を開始すると、音声出力中の全部又は一部の音声出力装置に「出力音声転送要求メッセージ」を送信する(ステップS72)。今回の説明例では、第1音声出力装置2に出力音声転送要求メッセージが送信される。
第1音声出力装置2は、ステップS72の処理による音声取得装置1からの求めに応じて、出力音声転送応答メッセージを送信する(ステップS73)。この出力音声転送応答メッセージは、図4のステップS15に示したものと実質的に同一である。音声符号化方式に対応可能かつ通信品質を保証可能ならば、そのメッセージ中の「転送可否情報」を「可能」に設定して送信する。
「転送可否情報」を「可能」に設定したメッセージの送信後、第1音声出力装置2は、音声取得装置1に出力音声データを転送する(ステップS74)。
なお、ステップS72の前段で、図4のステップS12で示した音声出力通知要求メッセージをブロードキャスト配信してもよい。これにより、音声取得装置1は、第1音声出力装置2がブロードキャスト配信した音声出力通知メッセージを未受信であっても、音声出力通知要求メッセージに対する応答から第1音声出力装置2が音声出力中であることを識別可能となる。
次に、実施形態2にて音声取得装置1が音声取得処理を終了するときの処理を説明する。なお、図13に示すように、音声取得終了の開始時点で、第1音声出力装置2では出力音声データを音声取得装置1に転送中(ステップS81)であり、第2音声出力装置3では音声を未出力である。
音声取得装置1は、自己に出力音声データを転送している全音声出力装置宛に「転送停止要求メッセージ」を送信する(ステップS82)。この説明例では、第1音声出力装置2が送信先となる。
「出力音声転送停止要求メッセージ」は、現時点で音声出力中かつ出力音声データを転送中の音声出力装置に、その転送処理の停止を要求するメッセージである。このメッセージは、その送信元を示す「取得装置ID」を含む。
転送停止要求メッセージを受信した音声出力装置は、そのメッセージ内の「取得装置ID」から特定した送信元宛ての出力音声データの転送を停止する(ステップS83)。この例では、第1音声出力装置2から音声取得装置1宛の出力音声データの転送が停止される。
(実施形態3)
前述の実施形態1及び実施形態2では、音声取得装置1は、音声出力装置から転送された出力音声データを使用して、雑音を除去する。しかし、音声取得装置が、音声出力装置から受信する方法以外の方法で出力音声データを取得可能な場合、それにより取得した出力音声データを使用して雑音成分の除去を行うことができる。
例えば、音声出力装置と音声取得装置1とが、テレビ放送やラジオ放送の同一の番組、LAN等のネットワークを介しブロードキャスト又はマルチキャスト配信される同一のコンテンツ、を受信可能であるとする。音声出力装置にてこれらの番組若しくはコンテンツの音声を出力する場合、音声取得装置は、それと同一の番組若しくはコンテンツを自ら受信し、その音声データにより雑音除去処理すればよい。以下、このような処理を行う実施形態3について説明する。
実施形態3のシステムの基本構成は、図1で示した構成と同一である。また、音声取得装置、音声出力装置の各基本構成も、図2及び図3で示した例と同一である。
実施形態3の処理は、前述した実施形態1の処理と基本的に同一である。以下、実施形態3に特徴的な点を中心に、その処理を説明する。
実施形態3にて音声取得装置1が音声を取得する場合、図4のステップS13にて音声出力装置が送信する「音声出力通知メッセージ」は、「音源ID」の項目を更に含んでいる。
「音源ID」は、音声出力装置が出力する出力音声データの発生源を識別するための情報である。「音源ID」は、例えば、テレビ番組のチャネルやラジオ番組の周波数、マルチキャスト配信されるコンテンツを受信するためのIPアドレス(マルチキャストアドレス)、再生する音声データを有する番組又はコンテンツを特定する作品特定情報、である。
なお、出力音声データの発生源を特定するための情報として、音声出力装置と音声取得装置との間で共通の情報を保持できなければ、「音源ID」は「なし」に設定される。
また、実施形態3では、音声取得装置1が音声取得を開始する処理が、実施形態1と異なる。音声取得の開始以前、第1音声出力装置2では音声を出力中であり、第2音声出力装置3では音声を未出力である。
図14に示すように、音声取得装置1は、「音声出力通知要求メッセージ」をブロードキャスト配信し(ステップS91)、それの受信時に音声出力中の音声出力装置から「音声出力通知メッセージ」を受信する(ステップS92)。なお、この例では、出力音声データを転送不可能な音声出力装置でも、受信時に音声出力中ならば音声出力通知メッセージを送信する。このメッセージは、前述の通り「音源ID」を含む。
続いて、音声取得装置1は、受信した全ての音声出力通知メッセージごとに以下の処理を行う。先ず、「音源ID」が示す音源が発生する音声データの放送受信部18等による取得可否を判別する(ステップS93)。なお、「音源ID」が「なし」を示す場合には、取得不可能と判別する。
取得不可能の場合(ステップS93;No)、図4を参照して実施形態1で説明した例と同様に、出力音声データの転送を要求し(ステップS94)、その要求に対する出力音声転送応答メッセージを受信する(ステップS95)。さらに、第1音声出力装置2から受け取った出力音声データを使用して、雑音除去処理を行う(ステップS96)。
一方、「音源ID」が示す音源が発生する音声データ(即ち、音声出力装置が出力する音声データ)を自ら取得可能であれば(ステップS93;Yes)、音声取得装置1は、放送受信部18等により音声データを取得し、その音声データを使用して雑音除去処理を行う(ステップS97)。
ステップS97の処理は、実施形態1で説明した雑音除去処理と実質的に同一である。ただし、実施形態3では、図5で示したステップS171において、時間同期部111が時間同期するデータが異なる。時間同期部111は、出力音声データに代えて、放送受信部18等を介して取得した音声データに時間同期する処理を施す。
なお、雑音成分が除去される対象の「取得音声データ」と放送受信部18等を介して取得した音声データとの時間差には、「音源ID」で識別される各音源に対応して予め設定された値を使用する。この値を、ユーザ編集可能としてもよい。
また、実施形態3では、図5で示したステップS172の処理が異なる。適応フィルタ部112は、時間同期後の放送受信部18等で取得した音声データを、図6で示した「時間同期後の参照信号Rs」として参照する。さらに、この参照信号Rsと適応フィルタh’とを畳み込み、推定エコー信号E’を生成する。
加算部113は、その推定エコー信号E’を取得音声データから減じて、エコーを除去する。以上で、音声取得装置1が自ら取得した音声データを使用して、「取得音声データ」から音響エコーを除去する処理が終了する。
以上説明したように、実施形態1によれば、音声取得装置1は、音声出力装置からその音声出力装置が放音した音声の出力音声データを送信するよう要求し、音声出力装置から出力音声データを受信する。次に、その出力音声データを音声出力装置が送信してから音声取得部12で受信するまでに要する転送時間を求める。続いて、求めた転送時間に基づいて、音声取得部12で取得した音声の音声データと出力音声データとを同期させる。同期後、同期された出力音声データに、空間の伝達遅延の影響を推定した補正を施す。そして、空間の伝達遅延を補正した出力音声データに基づいて、音声取得部12で取得した音声の音声データに含まれる出力音声データを除去する。
これにより、音声出力装置の音声出力部が出力する音声により発生する音響エコーを好適に除去可能となる。例えば、ユーザがテレビの視聴中に携帯電話1でTV電話をした場合、TV電話の通話先への送信音声からテレビ出力音声を除去する。また、ユーザがオーディオプレーヤによる音楽鑑賞中、音声認識装置に音声を入力する場合、入力音声からオーディオプレーヤの出力音声を除去し、音声認識率を高められる。
実施形態1によれば、音声取得部12は、アナログ音声信号をディジタル音声信号に変換する。これにより、アナログ音声信号のままフィルタリング処理するよりも、音声信号を多様な手法で処理することが可能となる。例えば、任意の型の周波数応答曲線を有するフィルタや任意の通過帯域幅を有するフィルタにより、音声信号のフィルタリングができる。
実施形態1によれば、時間同期部111による時間同期後、任意の手法により、音声取得部12で取得した音声の音声データから、音声出力装置が放音した音声の音声データ(出力音声データ)に起因する雑音成分を除去できる。このため、既知のエコーキャンセラ処理を適用することにより、音声出力装置が放音した音声に起因する音響エコーを除去できる。
実施形態1によれば、音声取得装置1は、「音声符号化情報」から音声符号化方式を特定する。特定後、音声取得装置1は、音声出力装置がその音声符号化方式に従って出力音声データを符号化するのに要した時間を求め、転送時間に加算する。なお、音声出力装置では、出力音声データを符号化するタイミングと、音声出力部24に出力音声データを入力するタイミングとが同一である。これにより、音声取得部12の取得音声と出力音声データとの時間同期を、精度よく行うことができる。
実施形態1によれば、音声取得装置1は、音声出力装置から受信した「出力音声転送応答メッセージ」に含まれる「QoS情報」を参照し、保証伝送遅延時間を特定する。この保証伝送遅延時間は、出力音声データの伝送が遅延したときの遅延時間の最大値を表すから、この時間を音声出力装置が出力音声データを転送してから音声取得装置1が受信するまでの転送時間とみなす。
これにより、通信ネットワークを介して出力音声データを受信することによる遅延の影響をある程度補償して、精度よく時間同期できる。
実施形態1によれば、音声取得装置1は、「音声出力通知要求メッセージ」を各音声出力装置に送信する。メッセージを受信した音声出力装置は、音声の放音を開始する前に、その開始を示す「音声出力通知メッセージ」を音声取得装置1に送信する。
これにより、音声取得装置1は、音声出力装置が放音を開始することを識別でき、さらに、識別したことに応答して、出力音声データの送信を音声出力装置に要求できる。このため、音声出力装置が放音するタイミングとほぼ同じタイミングで、出力音声データの受信を開始でき、雑音成分の除去を開始できる。
実施形態1によれば、音声取得装置が音声取得処理を実行していない場合、音声出力装置は出力音声データを転送しない。これにより、ネットワーク4における不要な通信トラヒックの発生を抑制できる。
実施形態2によれば、音声出力装置は、音声取得装置1の「音声出力通知要求期間」中か否かに関わらず、音声出力動作を開始する。これにより、音声出力装置での処理が簡略化できると共に、音声出力装置の実装が容易になる。
実施形態3によれば、音声取得装置が、除去対象とする音声データを音声出力装置から受信することなく自ら取得し、取得した音声データを使用して雑音成分を除去する。これにより、音声出力装置及び音声取得装置にて構成を簡略化でき、ネットワークの負荷も低減できる。
さらに、実施形態3によれば、音声取得装置1は、音声出力装置が放音する音声データを、自ら取得可能か否かを判別する。可能なら、その音声データを、自己が備える放送受信部18などにより音声出力装置以外の外部装置から取得し、時間同期する。また、自ら取得不可能であれば、音声出力装置からその音声データを取得し、時間同期する。
これにより、音声取得装置1が出力音声データを自ら取得可能なときに音声出力装置は出力音声データの転送が不要となり、音声出力装置の処理負荷を低減できる。
以下、本発明の変形例及び応用例について説明する。音声取得装置1が、音声出力装置のスイープ信号等に基づき、各音声出力装置から音声取得装置に到達する音の各伝達特性(例えば、伝達関数)を算出するよう構成してもよい。加算部113は、その伝達特性に基づいて、取得音声データからエコーを除去する。これにより、音声取得装置における音響エコー除去性能を更に向上させることができる。
ネットワーク4は、各装置間の距離が所定値以下である各装置のみで構成してもよい。この所定値を、例えば、空間を伝達する音声信号のレベルが所定のレベル以下に減衰する距離に選択する。このとき、音声出力装置が出力した音声であっても、その音声による音響エコーの除去処理が省略される。これにより、エコー除去処理を効率的に実行できる。
なお、各装置間の距離は、各装置の設置場所のGPS位置情報、等をネットワーク4内の各装置で共有してもよい。また、同一の構内(室内)に存在する装置のみでネットワーク4を構成してもよい。
また、ネットワーク4内の全装置が、DLNA(Digital Living Network Alliance)等のPC、家電機器を相互接続するための規格に従って通信してもよい。また、各装置は、他装置が、出力音声通知の要求及び応答などが可能か否かを識別できるように構成されてもよい。
第1音声出力装置2による音声出力の開始時が「音声出力通知要求期間」中でない場合、直ちに音声出力を開始せず、その開始前に「音声出力通知メッセージ」をブロードキャスト配信してもよい。これにより、第1音声出力装置2から以前送信した音声出力通知要求メッセージを音声取得装置1が受信していない場合でも、音声取得装置に音声出力の開始を通知可能となる。
また、音声出力の開始時が「音声出力通知要求期間」中であっても、第1音声出力装置2は、音声取得装置1のみに音声出力の開始を通知する(図8のステップS32の処理)に代えて、音声出力通知メッセージをブロードキャスト配信するようにしてもよい。
図8にて、音声出力装置が、音声出力(ステップS32)を、出力音声データの転送(ステップS35)と同じタイミングで開始するよう構成してもよい。これにより、音声出力装置が、音声出力の開始時点から出力音声データの転送開始時点までに出力した音声による音響エコーも除去可能となる。
実施形態1において、音声取得装置1による音声出力通知の要求中、第1音声出力装置2が音声出力動作を一時的に停止するのであれば、図9のステップS43の処理を行わずともよい。例えば、ユーザ操作により音声出力のミュートが指示された場合、ユーザ操作により音声出力の一時停止が指示された場合、である。このことは、実施形態2における図11のステップS62の処理について同様に当てはまる。
このとき、第1音声出力装置2は、無音の出力音声データを音声取得装置1に転送すればよい。また、出力音声データの転送を停止したときでも、音声出力停止メッセージを音声取得装置1に送信しないようにすればよい。実施形態2では、出力音声データの転送停止後、音声出力停止メッセージをブロードキャスト配信しないようにすればよい。
その他、本発明の概念は、専用のコンピュータシステムに限らず、例えば、音声取得機能を備える、携帯電話機、PDA、電子カメラ、等の任意の音声取得装置に適用可能である。即ち、コンピュータを音声取得装置1として機能・動作させるためのコンピュータプログラムを作成し、配布し、貸与し、これをコンピュータにインストールして、音声取得装置1として、これを使用、譲渡、貸与などしてもよい。このことは、音声取得機能を備える電子機器を、音声出力装置として機能・動作させる場合にも、同様に当てはまる。
本発明の実施形態におけるシステム構成の一例を示す図である。 音声取得装置の構成の一例を示すブロック図である。 音声出力装置の構成の一例を示すブロック図である。 実施形態1に係る音声取得装置にて、音声取得を開始するときの処理を示す図である。 音声取得装置にて、音声出力装置から受け取った出力音声データを使用して、音声取得部で取得した音声から雑音を除去する処理を示す図である。 出力音声データを参照信号として、取得音声データから音声出力装置が出力した音声による音響エコーを除去するときの音声データの流れを示す図である。 実施形態1に係る音声取得装置にて、音声取得を終了するときの処理を示す図である。 「音声出力通知要求期間」中、音声出力装置にて音声出力を開始するときの処理を示す図である。 「音声出力通知要求期間」中、音声出力装置にて音声出力を停止するときの処理を示す図である。 実施形態2に係る音声出力装置にて、音声出力を開始するときの処理を示す図である。 実施形態2に係る音声出力装置にて、音声出力を停止するときの処理を示す図である。 実施形態2に係る音声取得装置にて、音声取得を開始するときの処理を示す図である。 実施形態2に係る音声取得装置にて、音声取得を終了するときの処理を示す図である。 実施形態3に係る音声取得装置にて、音声取得を開始するときの処理を示すフローチャートである。
符号の説明
1…音声取得装置、2…第1音声出力装置、3…第2音声出力装置、4…ネットワーク、11…制御部、111…時間同期部、112…適応フィルタ部、113…加算部、12…音声取得部、13…通信部、14…操作部、15…表示部、16…音声出力部、17…記憶部、18…放送受信部、19…バス、21,31…制御部、22,32…通信部、23,33…操作部、24,34…音声出力部、25,35…記憶部、26,36…放送受信部、27,37…バス

Claims (16)

  1. 音声を集音し、その音声を第1の音声信号に変換する音声取得手段と、
    外部の音声出力装置に、該音声出力装置が放音する音声の第2の音声信号を送信することを、通信ネットワークを介して、要求する音声信号要求手段と、
    前記音声信号要求手段の要求に応じて前記外部の音声出力装置が送信した第2の音声信号を、通信ネットワークを介して、受信する外部信号受信手段と、
    前記音声取得手段からの第1の音声信号と、前記外部信号受信手段で受信した第2の音声信号とを、同期化する同期化手段と、
    前記同期化手段で同期化された前記第1の音声信号と前記第2の音声信号とに基づいて、該第1の音声信号に含まれる該第2の音声信号を除去し、除去後の信号を出力する雑音除去手段と、
    を備えることを特徴とする音声取得装置。
  2. 前記同期化手段は、
    前記外部の音声出力装置が送信した第2の音声信号が通信ネットワークを介して送信されることに起因する伝送遅延時間を求める伝送遅延演算手段、を備え、
    前記伝送遅延演算手段で求めた伝送遅延時間に基づいて前記第1の音声信号と前記第2の音声信号とを遅延させた後に、前記第1の音声信号と前記第2の音声信号とを同期化し、
    前記雑音除去手段は、
    前記外部の音声出力装置が放音した音声が空間を伝達することに起因する伝達遅延時間を推定する伝達遅延推定手段、を備え、
    前記伝達遅延推定手段で推定した伝達遅延時間に基づいて前記同期化手段で同期化された第2の音声信号を遅延させた後に、前記遅延させた第2の音声信号と前記同期化手段で同期化された第1の音声信号とに基づいて、該第1の音声信号に含まれる該第2の音声信号を除去し、除去後の信号を出力する、ことを特徴とする請求項1に記載の音声取得装置。
  3. 前記伝送遅延演算手段が求める伝送遅延時間は、前記外部の音声出力装置が第2の音声信号を送信するための処理を開始してから、該第2の音声信号を受信した前記外部信号受信手段が前記同期化手段に出力するための処理が完了するまでの間における時間である、ことを特徴とする請求項2に記載の音声取得装置。
  4. 前記伝送遅延演算手段は、
    前記外部の音声出力装置から、該音声出力装置が第2の音声信号を送信するときに使用した符号化方式を示す符号化情報、を取得する手段と、
    前記符号化情報が示す符号化方式に従って前記音声出力装置が前記第2の音声信号を符号化した時間と、該符号化方式に従って前記音声取得装置が該第2の音声信号を復号した時間と、の少なくとも1つを求めることにより、前記伝送遅延時間を算出する手段と、を備える、ことを特徴とする請求項3に記載の音声取得装置。
  5. 前記伝送遅延演算手段は、
    前記外部の音声出力装置が第2の音声信号を送信するときに該音声出力装置が保証できる通信の遅延時間を示す通信保証情報を、該音声出力装置から取得する手段と、
    前記通信保証情報が示す遅延時間に基づいて、前記伝送遅延時間を算出する手段と、を備える、ことを特徴とする請求項3又は4に記載の音声取得装置。
  6. 前記伝達遅延推定手段は、前記音声出力装置が音声を放音してから前記音声取得手段がその音声を集音するまでの伝達遅延時間を推定する、ことを特徴とする請求項2に記載の音声取得装置。
  7. 前記音声取得手段は、
    音声をアナログ音声信号に変換し、そのアナログ音声信号を出力するマイクと、
    前記マイクが出力したアナログ音声信号をディジタル音声信号に変換し、そのディジタル音声信号を前記第1の音声信号として出力する変換手段と、を備える、ことを特徴とする請求項1乃至6のいずれか1項に記載の音声取得装置。
  8. 前記雑音除去手段は、前記外部信号受信手段で受信した第2の音声信号に基づいて、前記変換手段で変換したディジタル音声信号から、前記外部の音声出力装置が出力した音声に起因する音響エコーを除去し、出力するエコー除去手段、を備える、ことを特徴とする請求項7に記載の音声取得装置。
  9. 前記同期化手段は、
    前記外部の音声出力装置が放音した音声の第2の音声信号を、該音声出力装置と異なる外部装置から受信する第2の外部信号受信手段、を備え、
    前記第2の外部信号受信手段で受信した第2の音声信号と、前記音声取得手段からの第1の音声信号とを、同期化する、ことを特徴とする請求項1乃至8のいずれか1項に記載の音声取得装置。
  10. 前記同期化手段は、
    前記第2の外部信号受信手段により、前記外部の音声出力装置と異なる外部装置から、該外部の音声出力装置が放音した音声の第2の音声信号を受信可能か否か判別する判別手段、を備え、
    前記判別手段で受信可能であると判別したときに、前記第2の外部信号受信手段で受信した第2の音声信号と、前記音声取得手段からの第1の音声信号とを同期化し、
    前記判別手段で受信不可能であると判別したときに、前記外部信号受信手段により前記外部の音声取得装置から第2の音声信号を受信し、該受信した第2の音声信号と、前記音声取得手段からの第1の音声信号とを同期化する、ことを特徴とする請求項9に記載の音声取得装置。
  11. 前記音声信号要求手段は、
    前記外部の音声出力装置が音声の放音を開始する前に、放音を開始することを示す放音開始信号を、該音声出力装置に送信することを要求する通知要求手段、を備え、
    前記通知要求手段の要求に応じて前記外部の音声出力装置が送信した放音開始信号を受け取ったことに応答して、前記第2の音声信号の送信を該音声出力装置に要求する、ことを特徴とする請求項1乃至10のいずれか1項に記載の音声取得装置。
  12. 音声信号を音声に変換する音声変換手段と、
    前記音声変換手段で変換した音声を放音する放音手段と、
    前記放音手段で放音する音声を集音する可能性のある外部の音声取得装置からの要求に応じ、前記放音手段で放音する音声の音声信号を、通信ネットワークを介して、該音声取得装置に送信する外部信号送信手段と、
    を備えることを特徴とする音声出力装置。
  13. 前記外部信号送信手段は、
    前記外部の音声取得装置からの要求に応じて、前記放音手段による音声の放音を開始することを示す放音開始信号を、該音声出力装置に送信する通知手段、を備え、
    前記通知手段により前記放音開始信号を送信した後に、前記第2の音声信号を該音声出力装置に要求する、ことを特徴とする請求項12に記載の音声出力装置。
  14. 音声を集音し、その音声を第1の音声信号に変換する音声取得手段と、外部の音声出力装置に、該音声出力装置が放音する音声の第2の音声信号を送信することを、通信ネットワークを介して、要求する音声信号要求手段と、前記音声信号要求手段の要求に応じて前記外部の音声出力装置が送信した第2の音声信号を、通信ネットワークを介して、受信する外部信号受信手段と、前記音声取得手段からの第1の音声信号と、前記外部信号受信手段で受信した第2の音声信号とを、同期化する同期化手段と、前記同期化手段で同期化された前記第1の音声信号と前記第2の音声信号とに基づいて、該第1の音声信号に含まれる該第2の音声信号を除去し、除去後の信号を出力する雑音除去手段と、
    を備える音声取得装置と、
    音声信号を音声に変換する音声変換手段と、前記音声変換手段で変換した音声を放音する放音手段と、前記放音手段で放音する音声を集音する可能性のある前記外部の音声取得装置からの要求に応じ、前記放音手段で放音する音声の第2の音声信号を、通信ネットワークを介して、該音声取得装置に送信する外部信号送信手段と、
    を備える音声出力装置と、
    から構成されることを特徴とする雑音除去システム。
  15. コンピュータに、
    音声取得部で集音した音声を第1の音声信号に変換させ、
    外部の音声出力装置に、該音声出力装置が放音する音声の第2の音声信号を送信することを、通信ネットワークを介して要求させ、
    前記要求に応じて前記外部の音声出力装置が送信した第2の音声信号を、通信ネットワークを介して、受信させ、
    前記音声取得手段からの第1の音声信号と、前記外部信号受信手段で受信した第2の音声信号とを、同期化させ、
    前記同期化された前記第1の音声信号と前記第2の音声信号とに基づいて、該第1の音声信号に含まれる該第2の音声信号を除去し、除去後の信号を出力させる、
    ための処理を実行させるプログラム。
  16. コンピュータに、
    音声信号を音声に変換させ、
    前記変換させた音声を音声出力部で放音させ、
    前記音声出力部で放音する音声を集音する可能性のある外部の音声取得装置からの要求に応じ、前記音声出力部で放音する音声の音声信号を、通信ネットワークを介して、該音声取得装置に送信させる、
    ための処理を実行させるプログラム。
JP2007195219A 2007-07-26 2007-07-26 音声取得装置、雑音除去システム、及び、プログラム Expired - Fee Related JP4431836B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2007195219A JP4431836B2 (ja) 2007-07-26 2007-07-26 音声取得装置、雑音除去システム、及び、プログラム
KR1020080065823A KR101017384B1 (ko) 2007-07-26 2008-07-08 잡음제거시스템, 음성취득장치, 음성출력장치 및프로그램을 기록한 컴퓨터 판독 가능한 기록매체
US12/179,776 US8165641B2 (en) 2007-07-26 2008-07-25 Noise suppression system, sound acquisition apparatus, sound output apparatus, and computer-readable medium
EP08013437.2A EP2019544A3 (en) 2007-07-26 2008-07-25 Noise suppression system, sound acquisition apparatus, sound output apparatus and computer-readable medium
CN2008101443336A CN101355600B (zh) 2007-07-26 2008-07-25 杂音去除系统、声音获取装置、声音输出装置及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007195219A JP4431836B2 (ja) 2007-07-26 2007-07-26 音声取得装置、雑音除去システム、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2009033470A true JP2009033470A (ja) 2009-02-12
JP4431836B2 JP4431836B2 (ja) 2010-03-17

Family

ID=39831599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007195219A Expired - Fee Related JP4431836B2 (ja) 2007-07-26 2007-07-26 音声取得装置、雑音除去システム、及び、プログラム

Country Status (5)

Country Link
US (1) US8165641B2 (ja)
EP (1) EP2019544A3 (ja)
JP (1) JP4431836B2 (ja)
KR (1) KR101017384B1 (ja)
CN (1) CN101355600B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013197773A (ja) * 2012-03-19 2013-09-30 Fujitsu Ltd 通信装置、信号処理プログラム、信号処理方法および通信システム
JP2015152619A (ja) * 2014-02-10 2015-08-24 ソニー株式会社 オーディオ機器、音声処理方法、音声処理プログラム、音声出力方法および音声出力プログラム
JP2016513816A (ja) * 2013-03-06 2016-05-16 クゥアルコム・インコーポレイテッドQualcomm Incorporated コンテンツベースのノイズ抑制
JP2017123648A (ja) * 2016-12-20 2017-07-13 ソニー株式会社 オーディオ機器
KR20190039777A (ko) * 2016-08-16 2019-04-15 구글 엘엘씨 제스처로 활성화되는 원격 제어기

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101538383B1 (ko) * 2010-01-22 2015-07-21 엘지전자 주식회사 세탁기
TW201233178A (en) * 2011-01-28 2012-08-01 Hon Hai Prec Ind Co Ltd Apparatus and method for dialing VOIP on TV screen
JP5695447B2 (ja) * 2011-03-01 2015-04-08 株式会社東芝 テレビジョン装置及び遠隔操作装置
US9373338B1 (en) * 2012-06-25 2016-06-21 Amazon Technologies, Inc. Acoustic echo cancellation processing based on feedback from speech recognizer
CN102779525B (zh) * 2012-07-23 2014-12-03 华为终端有限公司 降噪方法及终端
KR101462055B1 (ko) * 2012-09-04 2014-11-17 에스케이 텔레콤주식회사 다중 홈 미디어 컨텐츠 공유를 수행하는 dlna 디바이스 및 그 방법
JP6314088B2 (ja) 2012-11-15 2018-04-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報提供方法及び情報提供装置
CN103888630A (zh) * 2012-12-20 2014-06-25 杜比实验室特许公司 用于控制声学回声消除的方法和音频处理装置
CN104836927B (zh) * 2015-02-10 2017-09-15 数据通信科学技术研究所 一种语音同步方法和终端
US9640061B1 (en) * 2015-12-31 2017-05-02 Google Inc. Remote alarm hushing with acoustic presence verification
CN106792349A (zh) * 2016-12-15 2017-05-31 北京塞宾科技有限公司 一种三通道全息声场录音设备
CN106792367A (zh) * 2016-12-15 2017-05-31 北京塞宾科技有限公司 一种全息声场录音设备
JP6677662B2 (ja) * 2017-02-14 2020-04-08 株式会社東芝 音響処理装置、音響処理方法およびプログラム
CN107240405B (zh) * 2017-06-14 2021-04-30 深圳市冠旭电子股份有限公司 一种音箱及告警方法
TWI656789B (zh) * 2017-12-29 2019-04-11 瑞軒科技股份有限公司 影音控制系統
CN109920437B (zh) * 2019-04-26 2021-03-09 北京小米智能科技有限公司 干扰去除的方法及装置
US20220303682A1 (en) * 2019-06-11 2022-09-22 Telefonaktiebolaget Lm Ericsson (Publ) Method, ue and network node for handling synchronization of sound

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1148884C (zh) * 1999-12-28 2004-05-05 文化传信科技(澳门)有限公司 一种处理声音讯号的方法
JP4530587B2 (ja) * 2001-07-30 2010-08-25 株式会社リコー 放送受信装置
JP2003124849A (ja) 2001-10-17 2003-04-25 Fujitsu Ltd エコーキャンセラ及びその方法
JP2004080143A (ja) 2002-08-12 2004-03-11 Canon Inc 通信装置及びその管理方法、テレビ電話システム
US7230955B1 (en) * 2002-12-27 2007-06-12 At & T Corp. System and method for improved use of voice activity detection
JP2005084253A (ja) * 2003-09-05 2005-03-31 Matsushita Electric Ind Co Ltd 音響処理装置、方法、プログラム及び記憶媒体
KR100560750B1 (ko) * 2003-12-04 2006-03-13 삼성전자주식회사 홈네트워크의 음성 인식 시스템
JP4247994B2 (ja) 2004-12-27 2009-04-02 株式会社カシオ日立モバイルコミュニケーションズ 移動通信端末、基地局およびレジストレーション制御方法
KR100617109B1 (ko) * 2004-12-29 2006-08-31 엘지전자 주식회사 통신 단말기용 잡음 제거 장치
JP4465661B2 (ja) 2005-03-01 2010-05-19 株式会社カシオ日立モバイルコミュニケーションズ 移動通信端末及び通信制御方法
JP4086200B2 (ja) 2005-05-27 2008-05-14 株式会社カシオ日立モバイルコミュニケーションズ 無線通信端末
JP2006340321A (ja) 2005-06-06 2006-12-14 Canon Inc ネットワークシステム及びネットワークシステムにおける通信方法
EP1964295A2 (en) * 2005-09-19 2008-09-03 Nxp B.V. Method of synchronizing the playback of an audio broadcast on a plurality of network output devices

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013197773A (ja) * 2012-03-19 2013-09-30 Fujitsu Ltd 通信装置、信号処理プログラム、信号処理方法および通信システム
JP2016513816A (ja) * 2013-03-06 2016-05-16 クゥアルコム・インコーポレイテッドQualcomm Incorporated コンテンツベースのノイズ抑制
JP2015152619A (ja) * 2014-02-10 2015-08-24 ソニー株式会社 オーディオ機器、音声処理方法、音声処理プログラム、音声出力方法および音声出力プログラム
KR20190039777A (ko) * 2016-08-16 2019-04-15 구글 엘엘씨 제스처로 활성화되는 원격 제어기
JP2019528526A (ja) * 2016-08-16 2019-10-10 グーグル エルエルシー ジェスチャによりアクティブ化されるリモートコントロール
KR102258710B1 (ko) 2016-08-16 2021-06-01 구글 엘엘씨 제스처로 활성화되는 원격 제어기
JP2017123648A (ja) * 2016-12-20 2017-07-13 ソニー株式会社 オーディオ機器

Also Published As

Publication number Publication date
CN101355600A (zh) 2009-01-28
KR101017384B1 (ko) 2011-02-28
US8165641B2 (en) 2012-04-24
EP2019544A3 (en) 2016-03-23
JP4431836B2 (ja) 2010-03-17
CN101355600B (zh) 2012-09-26
KR20090012069A (ko) 2009-02-02
EP2019544A2 (en) 2009-01-28
US20090030654A1 (en) 2009-01-29

Similar Documents

Publication Publication Date Title
JP4431836B2 (ja) 音声取得装置、雑音除去システム、及び、プログラム
JP5175948B2 (ja) 映像表示装置、ノイズ除去方法および映像表示システム
JP5877351B2 (ja) 通信装置および通信方法
US8264521B2 (en) Media detection and packet distribution in a multipoint conference
US10032475B2 (en) Enhancing an audio recording
US20080225750A1 (en) Method of transmitting data in a communication system
US9538318B2 (en) Apparatus and method for playing music
CN106937009B (zh) 一种级联回声抵消系统及其控制方法及装置
CN102571147A (zh) 声音处理设备、方法和程序
JP2015152619A5 (ja)
US20130266149A1 (en) Communication system and method having echo-cancelling mechanism
US20070129037A1 (en) Mute processing apparatus and method
TWI790718B (zh) 會議終端及用於會議的回音消除方法
JP2007274623A (ja) 放送受信装置及び放送受信方法
EP1878225A1 (en) Mobile station assisted scheduling of recording of media content
JP5470407B2 (ja) 通信制御装置及びプログラム
JP5752550B2 (ja) サービス提供システム、端末装置、および、制御プログラム
JP2007329630A (ja) エコー品質測定装置、システム、方法およびプログラム
JP2009124386A (ja) 音声信号処理装置、音声信号処理方法
KR101627824B1 (ko) 전화 음질 향상 서비스 시스템 및 전화 음질 향상 서비스 방법
CN115798495A (zh) 会议终端及用于会议的回声消除方法
JP2012217006A (ja) 試験方法および電話端末装置
JP2006295477A (ja) 通信装置
JP2009159159A (ja) 通信端末装置
KR20150078640A (ko) 소음 제거 장치 및 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090609

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091207

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140108

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140108

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees