JP2004240359A

JP2004240359A - 話者照合装置

Info

Publication number: JP2004240359A
Application number: JP2003032034A
Authority: JP
Inventors: Takehiko Isaka; 岳彦井阪; Kimio Miseki; 公生三関
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-02-10
Filing date: 2003-02-10
Publication date: 2004-08-26
Anticipated expiration: 2023-02-10
Also published as: EP1445760A1; EP1445760B1; JP3727927B2; CN1245705C; US20040156510A1; DE60313427D1; CN1521730A

Abstract

【課題】簡易な構成でありながら盗聴録音された音声により詐称されるおそれを低減することを可能とする。
【解決手段】話者登録や話者照合を行うとき、音源部５が妨害音情報を出力し、スピーカ８より妨害音を放出する。マイクロホン１で入力された音声から、マイクロホン１へと回り込んだ妨害音に相当する成分を減算器３およびエコーキャンセラ９により抑圧する。話者照合部４は、妨害音に相当する成分が抑圧された後の音声を用いて話者登録や話者照合を行う。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、話者が発する音声に基づいて当該話者を登録された話者と照合する話者照合装置に関する。
【０００２】
【従来の技術】
この種の技術としては、事前に登録されている音声信号と新たに入力された音声信号とを照合することが知られている（特許文献１を参照）。
【０００３】
また、現在日時等を示した特殊なスペクトルの音声帯域信号を用いて盗聴による不正がなされることを防止する技術が知られている（特許文献２を参照）。
【０００４】
【特許文献１】
特開２０００−５９５０１
【０００５】
【特許文献２】
特開平１０−１０７７９０号公報
【０００６】
【発明が解決しようとする課題】
特許文献１に開示された技術によると、正規の話者が発した音声が何らかの方法により録音されると、その録音された音声を用いて他人に詐称される恐れがあった。
【０００７】
特許文献２に開示された技術によると、現在日時等の情報を含んでいて、しかも不正に解読され得ないようにスクランブル処理した複雑な音声帯域信号を生成することが必要となる。また、このような音声帯域信号に基づいて、盗聴された音声信号が悪用されているか否かを判断するための複雑な処理が必要となる。このため、この技術を利用する装置は構成が非常に複雑になってしまう。
【０００８】
本発明はこのような事情を考慮してなされたものであり、その目的とするところは、簡易な構成でありながら盗聴録音された音声により詐称されるおそれを低減することが可能な話者照合装置を提供することにある。
【０００９】
【課題を解決するための手段】
以上の目的を達成するために本発明は、マイクロホンと、放出する音声が前記マイクロホンへと回り込むように配置されたスピーカと、前記スピーカから放出されて前記マイクロホンへと回り込んだ音声に相当する成分を前記マイクロホンの出力信号から抑圧する抑圧手段と、記録モードのとき、前記抑圧手段の出力信号を記録する記録手段と、照合モードのとき、前記抑圧手段の出力信号と前記記録手段に記録された信号とを照合する照合手段と、前記記録モードおよび前記照合モードのとき、前記スピーカへ妨害音信号を供給する供給手段とを備えた。
【００１０】
このような手段を講じたことにより、記録モードおよび照合モードのときには、スピーカへ妨害音信号が供給され、スピーカから妨害音が放出される。この妨害音は、話者が発した音声とともにマイクロホンにより入力されるが、このようにマイクロホンに回り込んだ妨害音に相当する成分は抑圧手段により抑圧される。抑圧手段の出力信号が記録や照合のために使用される。従って、話者照合は妨害音に影響されずに行うことができるが、話者の音声を盗聴録音されるときには妨害音も一緒に録音させることができる。
【００１１】
前記目的を達成するために別の本発明は、音声通信端末から通信回線を介して送信されてきた信号を受信する受信手段と、記録モードのとき、前記受信手段により受信された信号を記録する記録手段と、照合モードのとき、前記受信手段により受信された信号と前記記録手段に記録された信号とを照合する照合手段と、前記記録モードおよび前記照合モードのとき、妨害音信号を前記通信回線を介して前記音声通信端末へ送信する送信手段とを備えた。
【００１２】
このような手段を講じたことにより、記録モードおよび照合モードのときには、妨害音信号が通信回線を介して音声通信端末へ供給され、この音声通信端末にて妨害音が受話音として放出される。この妨害音は、話者が発した音声とともに送話音として音声通信端末に入力される。音声通信端末の送話音は、回り込んだ妨害音に相当する成分が音声通信端末の機能により抑圧された上で、通信回線を介して送られてくる。そしてこのように通信回線を介して送られてきた音声通信端末の送話音が記録や照合のために使用される。従って、話者照合は妨害音に影響されずに行うことができるが、話者の音声を盗聴録音されるときには妨害音も一緒に録音させることができる。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明のいくつかの実施形態につき説明する。
【００１４】
（第１の実施形態）
図１は第１の実施形態に係る話者照合装置の構成を示すブロック図である。図１に示すように第１の実施形態に係る話者照合装置は、マイクロホン１、Ａ／Ｄ変換器２、減算器３、話者照合部４、音源部５、加算器６、Ｄ／Ａ変換器７、スピーカ８、エコーキャンセラ（ＥＣ）９および制御部１０を含む。
【００１５】
マイクロホン１は、話者が発する音声などのような周囲の音声に対応する音声信号を出力する。Ａ／Ｄ変換器２は、マイクロホン１から出力される音声信号をディジタル化する。Ａ／Ｄ変換器２から出力される音声信号は減算器３に入力される。
【００１６】
減算器３へは、エコーキャンセラ９から出力される抑圧信号も入力される。減算器３は、Ａ／Ｄ変換器２から出力される音声信号から上記抑圧信号を減算する。
【００１７】
話者照合部４は、登録モードと照合モードとを有する。話者照合部４は登録モードにおいては、減算器３から出力される音声信号から個人性を表わす特徴量を抽出して記録する。話者照合部４は照合モードにおいては、減算器３から出力される音声信号から個人性を表わす特徴量を抽出し、この抽出した特徴量と既に記録してある特徴量とに基づいて話者照合を行う。話者照合の詳細な技術については、例えば古井、「ディジタル音声処理」（第９章話者認識、１９８５、東海大学出版会）に記載されているものが利用できる。
【００１８】
音源部５は、妨害音情報を出力する。この妨害音情報は、加算器６へ入力される。加算器６へは、音声信号が入力される。この音声信号は、例えば通信回線を介して到来する。あるいは、この話者照合装置に内蔵または外付けされた図示しない音源から出力される。加算器６は、入力される音声信号と妨害音情報とを加算する。
【００１９】
Ｄ／Ａ変換器７は、加算器６から出力される音声信号をアナログ化する。スピーカ８は、Ｄ／Ａ変換器７から出力される音声信号に応じて音声を放出する。スピーカ８は、放出する音声がマイクロホン１へ回り込むように配置される。
【００２０】
エコーキャンセラ９は、減算器３から出力される音声信号と加算器６から出力される音声信号とに基づいて、スピーカ８からマイクロホン１への音響結合特性を学習する。エコーキャンセラ９は、上記音響結合特性に基づいて定まる係数を加算器６から出力される音声信号に畳込むことで上記抑圧信号を生成する。
【００２１】
制御部１０は、例えばコンピュータを備える。制御部１０は、話者照合部４、音源部５およびエコーキャンセラ９の動作を制御する。
【００２２】
次に以上のように構成された話者照合装置の動作につき説明する。
図２は制御部１０の処理手順を示すフローチャートである。
話者登録または話者照合の開始指示が例えば入力部（図示せず）で入力されたことに応じて、制御部１０は図２に示す処理を開始する。そして制御部１０はまずステップＳＴ１において、音源部５を起動する。そうすると音源部５は、妨害音情報の出力を開始する。この妨害音情報は、加算器６で他の音声信号に重畳された上で、Ｄ／Ａ変換器７によりアナログ化され、スピーカ８へ入力される。この結果、妨害音が付加されてスピーカ８から放出されるようになる。
【００２３】
スピーカ８が放出する妨害音の内容は任意であって良い。ただし妨害音は、マイクロホン１へと確実に回り込む程度のレベルでスピーカ８から連続的に放出されることが望ましい。例えば、音楽などを妨害音として用いても良い。妨害音が、録音・解析され、特定されることを避けるために、さらに音源部５は、出力する妨害音を所定のタイミング毎に変更することが望ましい。上記のタイミングは、制御部１０により起動される毎や、一定時間毎などが考えられる。
【００２４】
続いて制御部１０はステップＳＴ２において、話者照合部４を起動する。このとき、話者登録を行う必要があるのであれば、話者照合部４を記録モードに設定する。話者照合を行う必要があるのであれば、話者照合部４を照合モードに設定する。
【００２５】
この後に、話者が登録または照合のための言葉をマイクロホン１に向かって発声する。このとき、スピーカ８から放出された妨害音がマイクロホン１に回り込むから、マイクロホン１から出力される音声信号には妨害音に相当する成分が含まれる。マイクロホン１から出力される音声信号は、Ａ／Ｄ変換器２にてアナログ信号からディジタル信号に変換された上で減算器３へ入力される。そして減算器３およびエコーキャンセラ９の働きにより、Ａ／Ｄ変換器２から出力される音声信号からは妨害音の成分が抑圧される。
【００２６】
話者照合部４は、起動され、かつ記録モードに設定された場合、減算器３から出力される音声信号から個人性を表わす特徴量を抽出して記録する。これにより、話者の音声が話者照合部４に登録される。この登録される音声は、上述のように妨害音が抑圧されたものである。
【００２７】
話者照合部４は、起動され、かつ照合モードに設定された場合、減算器３から出力される音声信号から個人性を表わす特徴量を抽出して、既に記録してある特徴量と比較することで、現在の話者を登録している話者と照合する。
【００２８】
さて制御部１０は、話者照合部４を起動したならばステップＳＴ３において、上述のような話者登録または話者照合が完了するのを待ち受ける。そして話者登録または話者照合が完了したならば、制御部１０はステップＳＴ４において、話者照合部４を停止させる。続いて制御部１０はステップＳＴ５において、音源部５を停止させる。
【００２９】
ところでこの話者照合装置は携帯電話端末などに搭載することも可能である。そしてこの場合には、エコーキャンセラ９としては携帯電話端末が元から備えているものを流用することが可能である。ただし携帯電話端末などでは、エコーキャンセラを有効とするか否かをユーザが自由に設定できるようになっていることがある。そしてエコーキャンセラが無効とされていると、音声照合装置としての動作を正常に行うことができなくなってしまう。そこでこのような場合には、話者登録時および話者照合時には、制御部１０がエコーキャンセラ９を強制的に起動させるようにする。
【００３０】
以上のように第１の実施形態によれば、話者登録および話者照合のために話者が発声する際には、スピーカ８から妨害音が放出される。このため、話者の近傍に居る第三者が話者が発した音声を盗聴録音すると、妨害音が話者の声とともに録音される。これに対して話者照合部４では、妨害音が抑圧された後の音声が登録される。話者照合時に上述のように盗聴録音した音声をマイクロホン１へと入力すると、減算器３ではそのときに新たにスピーカ８から放出される妨害音が抑圧されるだけで、音声とともに録音されている妨害音は抑圧されない。この結果、減算器３の出力信号から抽出した特徴量は話者照合部４に記録されている特徴量とは一致しなくなる。
【００３１】
また、エコーキャンセラ９を用いて妨害音を抑圧するので、妨害音は特殊な音声である必要はない。また話者照合は音声の比較のみで行うことが可能で、容易な処理で実現できる。
【００３２】
また、妨害音として連続音を使用することで、話者の音声と妨害音とを区別することをより困難とすることができる。この結果、盗聴録音した音声から話者の発声を抽出することは困難であり、そのような不正行為を防止することが可能である。
【００３３】
また、妨害音の内容を所定のタイミング毎に変更することで、繰り返しの盗聴録音により音声信号が蓄積されても、妨害音を特定することが困難となる。この結果、盗聴録音した音声から話者の発声を抽出することは困難であり、そのような不正行為を防止することが可能である。
【００３４】
（第２の実施形態）
図３は第２の実施形態に係る話者照合装置の構成を示すブロック図である。図３において図１と同一部分には同一符号を付し、その詳細な説明は省略する。
図３に示すように第２の実施形態に係る話者照合装置は、マイクロホン１、Ａ／Ｄ変換器２、減算器３、話者照合部４、音源部５、加算器６、Ｄ／Ａ変換器７、スピーカ８、エコーキャンセラ（ＥＣ）９、レベル差測定部１１および制御部１２を含む。すなわち第２の実施形態の話者照合装置は、第１の実施形態の話者照合装置における制御部１０に代えて制御部１２を備えるとともに、新たにレベル差測定部１１を備える。
【００３５】
レベル差測定部１１は、マイクロホン１から出力される音声信号とスピーカ８へ入力される音声信号とのレベル差を測定する。レベル差測定部１１は、測定値を制御部１２に通知する。レベル差測定部１１が測定するレベル差はＡ／Ｄ変換器２の出力信号と加算器６の出力信号とのレベル差であっても良い。
【００３６】
制御部１２は、例えばコンピュータを備える。制御部１２は、話者照合部４、音源部５およびエコーキャンセラ９の動作を制御する。制御部１２は、この制御に当ってレベル差測定部１１から通知される測定値を考慮する。
【００３７】
次に以上のように構成された話者照合装置の動作につき説明する。
図４は制御部１２の処理手順を示すフローチャートである。なお、図２と同一の処理を行うステップには同一符号を付し、その詳細な説明は省略する。
第２の実施形態では、マイクロホン１から出力される音声信号とスピーカ８へ入力される音声信号とのレベル差をレベル差測定部１１が常時測定する。制御部１２は、話者登録または話者照合が完了するのを待ち受ける際に、上記測定値が所定の閾値以上となっていないか否かをステップＳＴ１１にて監視する。そして、上記測定値が所定の閾値以上となったならば、制御部１２は話者登録または話者照合が完了していなくても処理をステップＳＴ４に移行する。第２の実施形態の話者照合装置におけるこれ以外の動作は、第１の実施形態の話者照合装置の動作と同様である。
【００３８】
かくして第２の実施形態によれば、第１の実施形態と同様な効果を達成できる。これに加えて第２の実施形態によれば、マイクロホン１から出力される音声信号とスピーカ８へ入力される音声信号とのレベル差が異常に大きくなった場合には、話者登録や話者照合が強制的に中止される。つまり、何らかの障害により音声信号がスピーカ８へと入力されなくなり、妨害音を放出できない状況では話者登録や話者照合は行われない。この結果、上記の状況において話者の音声が盗聴録音されてしまうことを防止することができる。
【００３９】
（第３の実施形態）
図５は第３の実施形態に係る話者照合装置の構成を示すブロック図である。図５において図１と同一部分には同一符号を付し、その詳細な説明は省略する。
図５に示すように第３の実施形態に係る話者照合装置は、マイクロホン１、Ａ／Ｄ変換器２、減算器３、話者照合部４、音源部５、加算器６、Ｄ／Ａ変換器７、スピーカ８、エコーキャンセラ（ＥＣ）９および制御部１３を含む。すなわち第３の実施形態の話者照合装置は、第１の実施形態の話者照合装置における制御部１０に代えて制御部１３を備える。
【００４０】
制御部１３は、例えばコンピュータを備える。制御部１３は、話者照合部４、音源部５およびエコーキャンセラ９の動作を制御する。制御部１３は、この制御に当ってエコーキャンセラ９から出力される抑圧信号を考慮する。
【００４１】
次に以上のように構成された話者照合装置の動作につき説明する。
図６は制御部１３の処理手順を示すフローチャートである。なお、図２と同一の処理を行うステップには同一符号を付し、その詳細な説明は省略する。
第３の実施形態にて制御部１３は、話者登録または話者照合が完了するのを待ち受ける際に、減算器３での減算による打ち消し量が所定の閾値以下となっていないか否かをステップＳＴ２１にて監視する。制御部１３は上記の打ち消し量を、エコーキャンセラ９から出力される抑圧信号に基づいて判断する。そして、上記打ち消し量が所定の閾値以下となったならば、制御部１３は話者登録または話者照合が完了していなくても処理をステップＳＴ４に移行する。第３の実施形態の話者照合装置におけるこれ以外の動作は、第１の実施形態の話者照合装置の動作と同様である。
【００４２】
なお、上記打ち消し量は加算器６と減算器３の出力信号のレベル差としても同等である。
【００４３】
かくして第３の実施形態によれば、第１の実施形態と同様な効果を達成できる。これに加えて第３の実施形態によれば、上記の打ち消し量が異常に小さくなった場合には、話者登録や話者照合が強制的に中止される。つまり、何らかの障害によりスピーカ８から放出された妨害音がマイクロホン１へと十分に回り込まない状況では話者登録や話者照合は行われない。この結果、上記の状況において話者の音声が盗聴録音されてしまうことを防止することができる。
【００４４】
（第４の実施形態）
図７は第４の実施形態に係る話者照合装置の構成を示すブロック図である。図７において図１と同一部分には同一符号を付し、その詳細な説明は省略する。
図７において、第４の実施形態に係る話者照合装置は符号１００を付して示す。この話者照合装置１００は、通信回線２００を介して接続された音声通信端末３００における話者の照合を行う。なお通信回線２００は、専用の回線であっても良いし、公衆通信網で提供される回線であっても良い。
【００４５】
図７に示すように話者照合装置１００は、話者照合部４、音源部５、加算器６、制御部１０および通信部１４を含む。
通信部１４は、通信回線２００を介して音声通信端末３００と通信する。
【００４６】
音声通信端末３００は、マイクロホン２１、Ａ／Ｄ変換器２２、減算器２３、通信部２４、Ｄ／Ａ変換器２５、スピーカ２６、エコーキャンセラ（ＥＣ）２７および制御部２８を含む。
【００４７】
マイクロホン２１、Ａ／Ｄ変換器２２、減算器２３、Ｄ／Ａ変換器２５、スピーカ２６およびエコーキャンセラ（ＥＣ）２７は、第１の実施形態におけるマイクロホン１、Ａ／Ｄ変換器２、減算器３、Ｄ／Ａ変換器７、スピーカ８およびエコーキャンセラ９とそれぞれ同様な動作を行う。
【００４８】
通信部２４は、通信回線２００を介して話者照合装置１００と通信する。
通信部１４，２４には、音声信号を符号化・復号化する符号化・復号化部が備わっていても良い。
制御部２８は、エコーキャンセラ２７の動作を制御する。
【００４９】
以上のように話者照合装置１００は、音声通信端末３００のスピーカ２６にて受話音声として放出されるように、妨害音を加算器６にて音声信号に加算した後、通信部１４より通信回線２００へ送出する。また、スピーカ２６からマイクロホン２１への回り込みを抑圧された上で音声通信端末３００から通信回線２００へ送出された音声信号を通信部１４により受信する。この通信部１４により受信された音声信号を用いて話者照合部４で話者登録や話者照合を行う。すなわち、第１の実施形態の話者照合装置で行っていた動作のうち、妨害音の放出、話者の音声および上記妨害音の入力、ならびに妨害音の抑圧は音声通信端末３００に行わせる。
【００５０】
かくして第４の実施形態によれば、第１の実施形態と同様な効果を達成できる。これに加えて第４の実施形態によれば、遠隔地にいる話者の照合を行うことが可能である。従って、銀行などがホームバンキングサービスを提供する場合などに、サービスセンタ側から利用者の照合を行うことが可能となる。
【００５１】
なお、本発明は前記の各実施形態に限定されるものではない。例えば第２および第３の実施形態では、話者登録または話者照合を強制的に中止した場合には、その旨を例えば表示器に表示したり、音声を流すなどして話者または装置運用者に通知することが望ましい。このようにすれば、話者や装置運用者はすぐに異常を認識することができる。この結果、話者が発声をすぐに止めることができる。また装置運用者が、話者照合装置の修理などの必要な処置を速やかに講じることが可能となる。
【００５２】
第２および第３の実施形態では、話者登録または話者照合を強制的に中止した場合には、例えば指紋照合装置やオペレータによる認証などのような他の個人認証手段に自動的に切替えるようにしても良い。
【００５３】
第２および第３の実施形態では、話者登録または話者照合を強制的に中止する条件は、例えばオペレータにより中止指示がなされた場合とするなど任意に変更が可能である。
【００５４】
第４の実施形態では、第２および第３の実施形態のように妨害音の出力状況を監視し、異常時には話者登録または話者照合を強制的に中止するようにしても良い。
【００５５】
このほか、本発明の要旨を逸脱しない範囲で種々の変形実施が可能である。
【００５６】
【発明の効果】
本発明によれば、音声の記録や照合を行う際には、話者の音声を入力するマイクロホンの近傍にて妨害音を放出した上で、記録や照合には、マイクロホンの出力信号から妨害音の成分を抑圧した信号を使用することとしたので、簡易な構成でありながら盗聴録音された音声により詐称されるおそれを低減することが可能となる。
【図面の簡単な説明】
【図１】第１の実施形態に係る話者照合装置の構成を示すブロック図。
【図２】図１中の制御部１０の処理手順を示すフローチャート。
【図３】第２の実施形態に係る話者照合装置の構成を示すブロック図。
【図４】図２中の制御部１２の処理手順を示すフローチャート。
【図５】第３の実施形態に係る話者照合装置の構成を示すブロック図。
【図６】図５中の制御部１３の処理手順を示すフローチャート。
【図７】第４の実施形態に係る話者照合装置の構成を示すブロック図。
【符号の説明】
１…マイクロホン、２…Ａ／Ｄ変換器、３…減算器、４…話者照合部、５…音源部、６…加算器、７…Ｄ／Ａ変換器、８…スピーカ、９…エコーキャンセラ、１０，１２，１３…制御部、１１…レベル差測定部、１４…通信部、１００…話者照合装置、２００…通信回線、３００…音声通信端末。

Claims

マイクロホンと、
放出する音声が前記マイクロホンへと回り込むように配置されたスピーカと、
前記スピーカから放出されて前記マイクロホンへと回り込んだ音声に相当する成分を前記マイクロホンの出力信号から抑圧する抑圧手段と、
記録モードのとき、前記抑圧手段の出力信号を記録する記録手段と、
照合モードのとき、前記抑圧手段の出力信号と前記記録手段に記録された信号とを照合する照合手段と、
前記記録モードおよび前記照合モードのとき、前記スピーカへ妨害音信号を供給する供給手段とを具備したことを特徴とする話者照合装置。
前記供給手段は、前記スピーカより連続的に音声を出力させる信号を前記妨害音信号として前記スピーカへ供給することを特徴とする請求項１に記載の話者照合装置。
前記供給手段は、前記妨害音信号として出力する信号を変化させることを特徴とする請求項１に記載の話者照合装置。
前記スピーカからの音声放出状況が所定の停止条件を満たしている場合には前記記録手段および前記照合手段の動作を停止させる停止手段をさらに具備したことを特徴とする請求項１に記載の話者照合装置。
前記停止手段は、前記スピーカへ入力される信号と前記マイクロホンから出力される信号とのレベル差が所定値以上である場合に前記記録手段および前記照合手段の動作を停止させることを特徴とする請求項４に記載の話者照合装置。
前記停止手段は、前記抑圧手段による抑圧量が一定量以下である場合に前記記録手段および前記照合手段の動作を停止させることを特徴とする請求項４に記載の話者照合装置。
音声通信端末から通信回線を介して送信されてきた信号を受信する受信手段と、
記録モードのとき、前記受信手段により受信された信号を記録する記録手段と、
照合モードのとき、前記受信手段により受信された信号と前記記録手段に記録された信号とを照合する照合手段と、
前記記録モードおよび前記照合モードのとき、妨害音信号を前記通信回線を介して前記音声通信端末へ送信する送信手段とを具備したことを特徴とする話者照合装置。
前記送信手段は、前記スピーカより連続的に音声を出力させる信号を前記妨害音信号として送信することを特徴とする請求項７に記載の話者照合装置。
前記送信手段は、前記妨害音信号として送信する信号を変化させることを特徴とする請求項７に記載の話者照合装置。
前記音声通信端末での受話音声の出力状況に関して所定の停止条件が成立している場合には前記記録手段および前記照合手段の動作を停止させる停止手段をさらに具備したことを特徴とする請求項７に記載の話者照合装置。