JP2007241130A - 声紋認識を利用するシステムと装置 - Google Patents

Abstract

【課題】テレビの出演者を声紋で特定するシステムを提供する。
【解決手段】１または複数の検索対象の声紋データが格納された声紋データ記憶部１５と、不特定な人物の音声データが入力するごとに前記音声データから声紋データを作成する声紋データ作成部１３と、声紋データ作成部１３が作成した声紋データを声紋データ記憶部１５に格納された１または複数の検索対象の声紋データと順次照合して一致する声紋データを検出する声紋データ解析部１４と、声紋データ解析部１４が一致する声紋データを検出したことを契機として予め指定された動作を実行する制御部１６〜１８，２０とを備えている。多数の人間の中から特定の人物を声紋によって探し出すことができ、また、探し出したことを契機に、所定の動作を実行することができる。
【選択図】図１

Description

本発明は、声紋を利用して人物を特定するシステムと、その装置に関し、特に、テレビの出演者やテレビ会議の参加者などを声紋で特定するようにしたものである。

音声のスペクトルを表す声紋は、同じ言葉を発音しても個人個人で異なるため、指紋などと同様に、生体認証手段の一つとして利用することが可能であり、近年、本人確認を声紋で行うシステムが種々開発されている。

例えば、下記特許文献１には、オンライン学習に際し、声紋で本人確認を行う受講者識別システムが開示されている。このシステムでは、オンライン学習提供側のサーバに事前に受講者の声紋が登録され、受講者は、受講の際、端末から受講者ＩＤを入力し、次いで、サーバの指示に従ってキーワードまたはフリーキーワードを音声で入力する。サーバは、受講者ＩＤに対応付けて登録されている声紋と、入力された音声の声紋とを照合し、本人確認を行う。

また、下記特許文献２には、顧客に電話を掛けて通信販売案内情報などを知らせるアウトバウンド（電話発信）システムにおいて、顧客の声紋データを予め格納し、電話に出た相手の音声の声紋と照合することにより、その相手が所望の顧客であるか否かを判定する方式が開示されている。

このように、現在の声紋認識技術では、あらかじめ登録された言葉を用いる場合だけでなく、全く自由に喋った言葉で個人を特定することも可能である。

これらのシステムでは、照合時点で、声紋照合の対象者が受講者ＩＤや電話番号で特定されており、かつ、照合すべき音声データの入力タイミングも定まっている。そして、声紋照合は、受講者ＩＤや電話番号で特定された人物を確認するための手段として用いられている。

こうした従来のシステムでは、多数の人間の中から特定の人物を探し出すために声紋を利用する、と言う考え方は無い。大勢の中から個々の人物を特定する場合には、従来、他の手段が採られている。

例えば、テレビを視聴するユーザは、多数のテレビ出演者の中から好みの出演者が出演するテレビ番組を見つけ出したい、と言う要求を有しているが、こうした場合に、従来のシステム（例えば下記特許文献３に記載された放送番組送受信システム）では、配信された番組表（出演者名が記載されている）を用いて自動検索が行われる。この放送番組送受信システムでは、さらに、検索された出演者の出る番組が、受信装置により自動録画される。

また、テレビ会議システムでは、会議参加者の中で誰が発言者であるかを特定できるようにしたいと、言う要求があるが、こうした場合に、従来のシステム（例えば下記特許文献４に記載された会議制御方式）では、各マイクから入力される会議参加者の音声レベルによって各参加者の発言の有無が識別され、会議参加者の各端末に、発言中の参加者を区別する表示が行われる。

また、テレビ会議用端末では、耳や言葉の不自由な利用者でも着信や発信者の識別が可能な装置が開発されている(下記特許文献５)。発信する利用者は、自己の端末に予め名前を入力して記憶させる。この端末から発呼が行われると、発信者の名前と電話番号とが相手側に送信され、受信側端末のランプが点灯して、画面に発信者の名前と電話番号とが文字で表示される。
特開２００４−１７７６６３号公報 特開２００１−１３６２８６号公報 特開２００２−１９９３０３号公報 特開平６−６２４００号公報 特開２００１−８１８３号公報

しかし、番組表の情報から好みの出演者を検索する場合には、番組表データに含まれていない出演者は検索することができない。また、番組表に出ている場合でも、その出演者が番組中の何時の時点で登場するのかは分からない。

また、テレビ会議の発言者を音声レベルで識別する方式は、参加者全員に対して個別にマイクを配置することが可能な環境でなければ実現できない。

また、発信者名を表示する特許文献５の方式では、発信者名の通知が着信時にのみ行われるため、会議中の発言者の識別には利用できない。

本発明は、こうした事情を考慮して創案したものであり、テレビの出演者やテレビ会議の参加者等を声紋で特定するシステムと、そのシステムを構成する装置とを提供することを目的としている。

本発明の声紋認識利用システムは、１または複数の検索対象の声紋データが格納された声紋データ記憶部と、不特定な人物の音声データが入力されるごとに前記音声データから声紋データを作成する声紋データ作成部と、声紋データ作成部が作成した声紋データを声紋データ記憶部に格納された１または複数の検索対象の声紋データと順次照合して一致する声紋データを検出する声紋データ解析部と、声紋データ解析部が一致する声紋データを検出したことを契機として予め指定された動作を実行する制御部とを備えている。

このシステムでは、入力音声から次々と声紋データが作成され、予め登録された声紋データと順次照合され、一致する声紋データが検出される。

また、本発明の声紋認識利用システムでは、声紋データ作成部が、テレビ放送の受信音声から番組出演者の声紋データを作成し、声紋データ解析部が、前記声紋データを声紋データ記憶部に格納された人物の声紋データと照合する。

このシステムでは、好みのタレントの声紋データを声紋データ記憶部に格納しておけば、そのタレントがテレビに出演したときに、テレビ放送の音声データから自動的に検出される。

また、本発明の声紋認識利用システムでは、声紋データ記憶部に、事前に放送されたテレビ放送の受信音声から声紋データ作成部が作成した特定の番組出演者の声紋データが格納され、あるいは、マイク等の入力装置やネットワークを通じて取得した特定の人物の声紋データが格納される。

また、本発明の声紋認識利用システムでは、声紋データ解析部による声紋データの一致の検出を契機として、制御部が、テレビ放送の番組を録画したり、音声表示の音量を変えたり、表示器の表示形態を変えたりする。

また、本発明の声紋認識利用システムでは、声紋データ作成部が、テレビ会議の受信音声から会議参加者の声紋データを作成し、声紋データ解析部が、前記声紋データを声紋データ記憶部に事前に格納された会議参加者の声紋データと照合する。

このシステムでは、発言中の参加者の声紋が作成され、事前に格納された会議参加者の声紋データと照合されて発言者が特定される。

また、本発明の声紋認識利用システムでは、さらに、発言内容を識別する音声認識部を備え、声紋データ記憶部に、テレビ会議参加者の自己紹介の音声から声紋データ作成部が作成したテレビ会議参加者の声紋データと、同音声から音声認識部が識別した当該テレビ会議参加者の特定情報とが格納される。また、声紋データ記憶部に、テレビ会議参加者の自己紹介の音声から声紋データ作成部が作成したテレビ会議参加者の声紋データと、音声から音声認識部が識別した当該テレビ会議参加者の特定情報に加え、キーボードやカメラ等の入力装置により入力された会議参加者の特定情報とが格納される。

また、本発明の声紋認識利用システムでは、声紋データ解析部による声紋データの一致の検出を契機として、制御部が、特定の参加者の発言を録音したり、発言者の特定情報を出力装置に表示したりする。

また、本発明の声紋認識利用システムでは、声紋データ解析部により特定された発言者と、音声認識部により識別された発言内容とからテレビ会議の議事録が作成される。

また、本発明の声紋認識利用システムでは、前記声紋データ記憶部、声紋データ作成部、声紋データ解析部、及び、制御部が端末装置に配置される。

または、声紋データ記憶部、声紋データ作成部、及び、声紋データ解析部がサーバに配置され、制御部が端末装置に配置され、端末装置は、入力した音声データをサーバに送信し、サーバから声紋データ解析部の検出結果を受信する。

あるいは、声紋データ作成部、及び、声紋データ解析部がサーバに配置され、声紋データ記憶部、及び、制御部が端末装置に配置され、端末装置は、声紋データ記憶部に格納された検索対象の声紋データ、及び、入力した音声データをサーバに送信し、サーバから声紋データ解析部の検出結果を受信する。

本発明の端末装置は、１または複数の検索対象の声紋データが格納された声紋データ記憶部と、不特定な人物の音声データが入力するごとに前記音声データから声紋データを作成する声紋データ作成部と、声紋データ作成部が作成した声紋データを声紋データ記憶部に格納された１または複数の検索対象の声紋データと順次照合して一致する声紋データを検出する声紋データ解析部と、声紋データ解析部が一致する声紋データを検出したことを契機として予め指定された動作を実行する制御部とを備えている。また、本発明の端末装置は、不特定な人物の音声データが入力するごとに前記音声データをサーバに送信し、サーバ上の予め指定した声紋との照合結果をサーバから受信し、予め指定された動作を実行する制御部とを備えている。また、本発明の端末装置は、声紋データ作成部が作成した声紋データを格納する声紋データ記憶部と、不特定な人物の音声データが入力するごとに前記音声データをサーバに送信し、前記記憶部より事前に送信した１または複数の声紋データとの照合結果をサーバから受信し、予め指定された動作を実行する制御部とを備えている。

この端末装置は、多数の人間の中から特定の人物を声紋によって探し出す処理を単独で行うことができる。

本発明のサーバは、１または複数の声紋データが格納された声紋データ記憶部を備えている。また、本発明のサーバは、１または複数の検索対象の声紋データが格納された声紋データ記憶部と、端末装置より送られた音声データから声紋データを作成する声紋データ作成部と、声紋データ作成部が作成した声紋データを声紋データ記憶部に格納された１または複数の検索対象の声紋データと順次照合し、一致する声紋データを検出すると一致情報を前記端末装置に伝える声紋データ解析部とを備えている。

または、本発明のサーバは、端末装置より送られた音声データから声紋データを作成する声紋データ作成部と、声紋データ作成部が作成した声紋データを、端末装置より事前に送られた１または複数の検索対象の声紋データと順次照合し、一致する声紋データを検出すると一致情報を端末装置に伝える声紋データ解析部とを備えている。
これらのサーバは、端末装置とともに分散型の声紋認識利用システムを構成する。

本発明の声紋認識利用システム及び装置は、多数の人間の中から特定の人物を声紋によって探し出すことができ、また、探し出したことを契機に、所定の動作を実行することができる。

（第１の実施形態）
図１は、本発明の第１の実施形態における端末装置の構成を示し、図２のフロー図は、その動作を示している。

図１の端末装置１０は、テレビ放送の視聴が可能な携帯端末または固定端末であり、テレビ受信機１１と、音声以外の音を除去する雑音除去フィルタ１２と、声紋データ作成部１３と、声紋データ解析部１４と、声紋データベース（声紋データ記憶部）１５と、音声出力制御部１６と、録画／録音制御部１７と、ＬＥＤ点灯制御部１８と、ユーザが指示を入力する入力部１９と、ユーザの指示に基づいて各部を制御する制御部２０とを具備している。また、図示を省略しているが、音声や画像を表示する表示部や、外部サーバまたはデジタルテレビ網４０と通信を行う通信部を備えている。

テレビ受信機１１は、テレビ放送を受信し、その映像や音声が表示部に表示される。

雑音除去フィルタ１２は、テレビ受信機１１で受信された音声データから、音声以外の雑音を除去する。

声紋データ作成部１３は、雑音除去フィルタ１２から出力された音声データの周波数を分析し、周波数成分の時間的変化を求めて声紋データを作成する。

声紋データベース１５には、声紋データ作成部１３が作成した声紋データや、外部サーバまたはデジタルテレビ網４０の声紋データベース４１にアクセスして取得した声紋データが格納される。

声紋データ解析部１４は、声紋データベース１５から読み出した声紋データと、声紋データ作成部１３が受信音声データから作成した声紋データとを比較して一致するか否かを識別し、一致を検出した場合に制御部２０に通知する。

音声出力制御部１６は、制御部２０の指示に基づいて、表示する音声の音量を制御する。

録画／録音制御部１７は、制御部２０の指示に基づいて、テレビ受信機１１が受信した映像及び音声を録画・録音する。

ＬＥＤ点灯制御部１８は、制御部２０の指示に基づいて、端末１０に設けられた表示器としてのＬＥＤ（不図示）の点灯を制御する（表示器の表示形態の制御）。ＬＥＤは、テレビ受信機１１の図示せぬ表示部、または他の装置の画面等と同様、発言者の特定情報を表示する出力装置を構成する。

入力部１９は、ボタンやキー、ＧＵＩ画面等を具備し、ユーザがそれらを使って装置１０の動作を指示する。

制御部２０は、入力部１９からの指示に基づいて音声出力制御部１６、録画／録音制御部１７、ＬＥＤ点灯制御部１８等の動作を制御する。

次に、テレビ視聴を行う際の端末１０の動作について説明する。

（声紋データの事前登録）
ユーザは、事前に、所望の俳優やタレントの声紋データ取得の操作を入力部１９から行う。声紋データの取得は、外部サーバまたはデジタルテレビ網４０の声紋データベース４１から行われ、あるいは、端末１０でのテレビ視聴中（または、録画したテレビ番組の再生中）に、該当する人物が登場した場面で、声紋データの作成指示を出すことにより行われる。

このとき、制御部２０は、外部サーバまたはデジタルテレビ網４０からの声紋データ取得指示が出された場合には、通信部（不図示）を介して声紋データベース４１にアクセスし、指定された声紋データを取得して、該当する人物の識別情報と関連付けて声紋データベース１５に格納する。また、番組の視聴中に声紋データ取得の指示が出された場合は、声紋データ作成部１３に声紋データの作成を指示し、声紋データ作成部１３が受信音（再生音）から作成した声紋データと入力部１９から入力された識別情報とを関連付けて、声紋データベース１５に格納する。

（声紋検出時の処理選択）
また、ユーザは、テレビ視聴中に所望のタレントの声紋が検出されたときの処理を予め入力部１９から選択する。

例えば、
（１）端末１０のＬＥＤを点滅させる。
（２）表示部の音量を予め設定した大きさに上げる。
（３）受信映像及び音声を録画・録音する。
（３−１）当該タレントが話している時間のみ録画する。
（３−２）録画時間を予め５分、１０分等と分刻みで設定し、声紋検出時から設定した時間だけ録画を継続する。
（３−３）予め受信した番組データを参照して、受信中の番組の終了時刻を求め、声紋検出時から同終了時刻まで録画を行う。
（３−４）蓄積型の受信装置（録画予約していない番組データも自動的にバックアップして蓄積する受信装置）では、声紋が検出された番組を先頭から終了時点まで録画する。
等である。

（検索対象声紋の選択）
また、ユーザは、声紋データベース１５に格納された声紋データの中から、検出時に前記処理を行う検索対象の声紋データを識別情報により指定する。声紋データベース１５に複数の声紋データが格納されている場合は、検索対象に、その内の幾つかを指定したり、全てを指定したりすることができる。また、声紋データごとに異なる処理を設定することも可能である。

なお、検索対象の声紋データを選択しない場合には、テレビ視聴時の声紋検出は行われない。

(テレビ視聴時の処理フロー)
ユーザは、事前登録や事前選択が終了した後、テレビ視聴を開始する。このときの端末１０での処理を図２に基づいて説明する。

制御部２０は、入力部１９からテレビ視聴開始が指示されると、テレビ受信機１１を起動する(ステップ１)。

また、制御部２０は、声紋データ作成部１３に対して声紋データの作成を指示し、声紋データ解析部１４に対して、検索対象の声紋データの識別情報を通知して、声紋データの解析を指示する。声紋データ作成部１３は、雑音除去フィルタ１２から入力する音声データの有無を識別し(ステップ２)、音声データが入力すると、声紋データを作成する(ステップ３)。

声紋データ解析部１４は、声紋データベース１５から、指示された声紋データを読み出し、声紋データ作成部１３が作成した声紋データと照合する(ステップ４)。照合の結果、それらが一致していなければ（ステップ５でＮｏ）、ステップ２からの動作が繰り返される。

ステップ５において、照合の結果、それらが一致していた場合は、声紋データ解析部１４から制御部２０に声紋データの一致が通知される。これを受けて制御部２０は、「声紋検出時の処理選択」で選択された動作を実行するように音声出力制御部１６、録画／録音制御部１７及びＬＥＤ点灯制御部１８を制御する(ステップ６)。

制御部２０は、ステップ２〜ステップ６の動作をテレビ視聴の終了まで繰り返し、入力部１９からテレビ視聴終了が指示されると、各部の動作を停止する(ステップ７)。

なお、外部サーバまたはデジタルテレビ網４０の声紋データベース４１で、タレントの声紋データと共にタレントのプロフィールや写真、最新の出演番組情報等を保持するようにすれば、これらの情報を声紋データベース４１から取得した端末１０が、テレビ視聴中に当該声紋データを検出したとき、前記処理と併せて、そのタレントのプロフィールや写真を声紋データベース１５から読み出して画面に表示することが可能になる。

また、電力消費を節約するため、テレビ視聴時の声紋認証機能は、ユーザにより、そのモードが指定された場合にのみ実施される、とすることが好ましい。

（第２の実施形態）
本発明の第２の実施形態では、第１の実施形態における端末の一部機能をサーバに移した分散型システムについて説明する。

図３は、このシステムの構成を示すブロック図であり、図４及び図５は、端末とサーバとの動作を示すシーケンス図である。

このシステムは、端末装置１００と、外部サーバ５０と、声紋データベース４１を有する他のサーバまたはデジタルテレビ網４０とから成る。

端末装置１００は、テレビ受信機１１と、雑音除去フィルタ１２と、音声出力制御部１６と、録画／録音制御部１７と、ＬＥＤ点灯制御部１８と、入力部１９と、制御部２０と、外部サーバ５０への通信手段である送受信部１０２とを具備している。

また、外部サーバ５０は、声紋データ作成部５１と、声紋データ解析部５２と、個人用の声紋データベース５３と、共通用の声紋データベース５４とを備えている。

個人用声紋データベース５３は、端末装置１００ごとに設定された端末装置１００専用の声紋データベースであり、端末装置１００から登録要請された人物の声紋データ、あるいは、端末装置１００から登録用に送られた声紋データが格納される。

共通用声紋データベース５４には、多数の人物の声紋データが格納されており、端末装置１００から人物を指定して声紋データの登録要請が有った場合に、該当する声紋データが格納されているときには、それが共通用声紋データベース５４から個人用声紋データベース５３に転送されて登録される。

このシステムにおいて、端末装置１００のユーザは、インターネット等のネットワークを利用して外部サーバ５０にアクセスし、外部サーバ５０の声紋データ作成部５１、声紋データ解析部５２、及び、個人用声紋データベース５３を利用することにより、第１の実施形態の端末装置１０と同様のテレビ視聴を行うことができる。

「声紋データの事前登録」は、外部サーバ５０にアクセスし、端末装置１００の入力部１９から所望のタレントの識別情報を入力して行うことができる。該当する声紋データが外部サーバ５０の共通用声紋データベース５４に格納されている場合は、その声紋データが共通用声紋データベース５４から個人用声紋データベース５３に転送されて登録される。また、該当する声紋データが共通用声紋データベース５４に格納されていない場合は、外部サーバ５０が、他のサーバまたはデジタルテレビ網４０の声紋データベース４１からそれを取得し、個人用声紋データベース５３に格納する。

また、ユーザは、端末１００のテレビ視聴時に聞いた音声を外部サーバ５０に送り、その声紋データを登録することもできる。

図５は、このときの手順を示している。端末１００でのテレビ視聴時の音声データが録音され(ステップ３０)、その音声データが、ユーザ識別情報や登録データ識別情報等と共に外部サーバ５０に送信される。

外部サーバ５０の声紋データ作成部５１は、送られた音声データの声紋データを作成する(ステップ３１)。作成された声紋データは、該当するユーザの個人用声紋データベース５３に登録・格納され(ステップ３２)、登録結果が外部サーバ５０から端末１００に送信される。

「声紋検出時の処理選択」は、第１の実施形態と同じように行われる。

「検索対象声紋の選択」は、入力部１９から声紋データの識別情報を入力して行われ、選択された声紋データの識別情報が外部サーバ５０に送られる。

事前登録や事前選択の操作を終了した後、ユーザが端末１００でのテレビ視聴を開始すると、図４に示す手順が実行される。

端末１００の制御部１０１は、入力部１９からの指示に従ってテレビ受信機１１を起動し、テレビ視聴が開始される(ステップ１０)。雑音除去フィルタ１２から音声データが出力されると(ステップ１１)、制御部１０１は、送受信部１０２を通じて、その音声データを外部サーバ５０に送信する。

外部サーバ５０の声紋データ作成部５１は、入力した音声データの周波数を分析して声紋データを作成し、声紋データ解析部５２に出力する(ステップ２０)。声紋データ解析部５２は、検索対象に指定された声紋データを個人用声紋データベース５３から読み出し、声紋データ作成部５１が作成した声紋データと照合する(ステップ２１)。照合の結果、一致しているときは(ステップ２２でＹｅｓ)、合致したデータの情報を端末１００に送信する。照合結果が不一致であるときは(ステップ２２でＮｏ)、次の検索対象の声紋データと照合を行い、全ての検索対象データとの照合が済むまで、それを繰り返す。全ての検索対象データと照合しても一致データが検出できないときは(ステップ２３でＹｅｓ)、一致データ無しを端末１００に伝える。

端末１００の制御部１０１は、一致データが有る場合に(ステップ１２でＹｅｓ)、「声紋検出時の処理選択」で選択された動作を実行する(ステップ１３)。

この手順が音声入力の度に繰り返される。

このシステムでは、比較的大きな処理能力を必要とする声紋データ作成及び声紋データ解析の処理をサーバに任せているため、端末の処理負担が軽減される。

（第３の実施形態）
本発明の第３の実施形態では、声紋データベースを端末側で保持し、声紋データ作成及び声紋データ解析の処理だけをサーバに任せる分散型システムについて説明する。

図６は、このシステムの構成を示すブロック図であり、図７は、端末とサーバとの動作を示すシーケンス図である。

この端末装置１１０は、個人用声紋データベース１１３を有している点が第２の実施形態の端末装置１００と異なり、外部サーバ１５０は、声紋データ作成部５１及び声紋データ解析部５２以外を有していない点が第２の実施形態の外部サーバ５０と異なる。

このシステムの端末装置１１０では、「声紋データの事前登録」のために、外部サーバまたはデジタルテレビ網４０の声紋データベース４１にアクセスして声紋データの取得が行われ、個人用声紋データベース１１３に格納される。あるいは、端末１１０でのテレビ視聴時(または録画再生時)の音声データが外部サーバ１５０に送られ、声紋データ作成部５１で作成された声紋データが端末１１０に返送されて、個人用声紋データベース１１３に格納される。

「声紋検出時の処理選択」は、第１の実施形態と同じように行われる。

「検索対象声紋の選択」は、ユーザが入力部１９から声紋データの識別情報を入力することによって行われ、その識別情報に該当する声紋データが個人用声紋データベース１１３から読み出されて、外部サーバ１５０に送られる。

図７は、このシステムでのテレビ視聴時の端末１１０及び外部サーバ１５０間のシーケンスを示している。このシーケンスは、第２の実施形態(図４)と比較して、テレビ視聴開始(ステップ１０)に先立ち、検索対象の声紋データが端末１１０から外部サーバ１５０に送信される点だけが相違しており、その他のステップは同じである。外部サーバ１５０の声紋データ解析部５２は、端末１１０から送られた検索対象の声紋データを使用して、声紋データ作成部５１が入力音声データから作成した声紋データとの照合を行う。

このシステムにおいても、声紋データ作成及び声紋データ解析の処理をサーバに任せているため、端末の処理負担が軽減される。

（第４の実施形態）
本発明の第４の実施形態では、テレビ会議用端末装置について説明する。

図８は、この端末装置の構成を示し、図９のフロー図は、その動作を示している。また、図１０及び図１１は、この端末装置の機能の一部をサーバに移した分散型システムの構成を示している。

図８の端末装置６０は、ＩＳＤＮ回線、インターネット回線あるいは無線回線等を介してテレビ会議を行う携帯端末または固定端末であり、映像・音声受信部６１と、マイク６２と、カメラ６３と、音声認識部６５とを具備し、さらに、第１の実施形態の端末(図１)と同様に、雑音除去フィルタ１２、声紋データ作成部１３、声紋データ解析部１４、声紋データベース１５、音声出力制御部１６、録画／録音制御部１７、ＬＥＤ点灯制御部１８、入力部１９及び制御部６４を具備している。

映像・音声受信部６１は、他の端末から送られた映像及び音声を受信する。受信映像はモニタ(不図示)に表示され、受信音声はスピーカ（不図示）から放音され、同時に、雑音除去フィルタ１２に出力される。

マイク６２は、端末６０のユーザ（一名または複数名）の音声を電気信号に変換する。変換された音声データは、他の端末に送信され、同時に、雑音除去フィルタ１２に出力される。マイク６２は、特定人物の声紋データを入力する入力装置として機能する。

カメラ６３は、発言するユーザの顔等を撮影し、その映像は他の端末に送信される。カメラ６３より撮影された顔写真や、別途用意されたキーボード、マウス等より入力される情報は、会議参加者の特定情報として利用され得る。

雑音除去フィルタ１２は、映像・音声受信部６１やマイク６２から入力する音声データから、音声以外の雑音を除去する。

声紋データ作成部１３は、雑音除去フィルタ１２から入力する音声データを分析して声紋データを作成する。

声紋データベース１５には、声紋データ作成部１３が作成したテレビ会議参加者の声紋データや、外部サーバまたはデジタルテレビ網４０の声紋データベース４１にアクセスして取得したテレビ会議参加者の特定情報（名前、所属グループ、写真、プロフィール等）が格納される。

声紋データ解析部１４は、声紋データベース１５から読み出した声紋データと、声紋データ作成部１３が受信音声データから作成した声紋データとを比較して一致するか否かを識別する。

音声出力制御部１６は、制御部６４の指示に基づいて、スピーカ（不図示）から放音する音声の音量を制御する。

録画／録音制御部１７は、制御部６４の指示に基づいて、映像・音声受信部６１で受信された映像及び音声を録画・録音する。

ＬＥＤ点灯制御部１８は、制御部６４の指示に基づいて、端末６０に設けられたＬＥＤ（不図示）の点灯を制御する。

音声認識部６５は、制御部６４の指示に基づいて、映像・音声受信部６１で受信された音声やマイク６２から入力した音声の内容を認識する。

入力部１９は、ボタンやキー、ＧＵＩ画面等を具備し、ユーザがそれらを使って装置６０の動作を指示する。

制御部６４は、入力部１９からの指示に基づいて音声出力制御部１６、録画／録音制御部１７、ＬＥＤ点灯制御部１８、音声認識部６５等の動作を制御する。

また、外部サーバまたはデジタルテレビ網４０の声紋データベース４１には、大勢の人物の名前、所属グループ、声紋データ、写真、プロフィール等が格納されている。

次に、テレビ会議の際の動作について説明する。

（参加者の声紋データの登録）
テレビ会議では、冒頭、参加者の自己紹介が行われ、その際に各参加者の音声データから声紋データが作成され、音声識別で得られた参加者の名前と共に声紋データベース１５に登録される。

このとき、他の端末を使用する参加者の音声は、端末６０の映像・音声受信部６１で受信され、参加者の名前が音声認識部６５で識別され、声紋データが声紋データ作成部１３で作成される。また、端末６０のユーザ（一名または複数名）の音声は、マイク６２から入力し、ユーザの名前が音声認識部６５で識別され、声紋データが声紋データ作成部１３で作成される。

また、制御部６４は、参加者の名前と声紋データとを声紋データベース１５に登録する際に、外部サーバまたはデジタルテレビ網４０の声紋データベース４１にアクセスして、その名前に対応する人物の所属グループ、写真、プロフィール等のデータを取得し、端末６０の声紋データベース１５に併せて格納する。

(声紋検出時の動作指定)
また、ユーザは、テレビ会議参加者の声紋が検出されたときの処理を予め入力部１９から指定する。

例えば、
（１）声紋データにより発言者が特定できた場合に、声紋データベース１５に登録されている発言者の特定情報（名前、所属グループ、写真、プロフィール等）を表示する。
（２）声紋データにより発言者が特定できた場合に、その発言者に応じた点灯色、または、その発言者の登録グループ（会社名など）に応じた点灯色でＬＥＤを表示する。
（３）特定の発言者の発言内容のみを録音する。
（４）発言者ごとに録音データを分けて保存する。
等である。

（議事録の作成）
また、テレビ会議終了後に、録音した音声から、発言者を声紋解析により特定し、発言内容を音声認識により識別し、その発言者と発言内容とをテキストに出力して議事録を作成する。

（テレビ会議の処理フロー）
このテレビ会議の処理フローを図９に基づいて説明する。
出席者の自己紹介が開始されると（ステップ３０）、制御部６４は、音声認識部６５に音声認識を指示し、声紋データ作成部１３に声紋データの作成を指示し (ステップ３１)、声紋データ作成部１３が作成した声紋データと音声認識部６５が認識した参加者の個人名とを声紋データベース１５に登録する(ステップ３２)。この処理を自己紹介の終了(ステップ３３)まで繰り返す。

会議が開始されると、制御部６４は、録画／録音制御部１７に対して録音の開始を指示する(ステップ３４)。声紋データ作成部１３は、雑音除去フィルタ１２から入力する音声データの有無を識別し(ステップ３５)、音声データが入力すると、声紋データを作成する(ステップ３６)。

声紋データ解析部１４は、声紋データベース１５に登録された声紋データを順次読み出し、声紋データ作成部１３が作成した声紋データと照合する(ステップ３７)。

照合の結果、それらが一致していなければ（ステップ３８でＮｏ）、ステップ３５に戻る。

ステップ３８において、照合の結果、それらが一致した場合は、声紋データ解析部１４から制御部６４に声紋データの一致が通知される。これを受けて制御部６４は、「声紋検出時の動作指定」で設定した動作、例えば、声紋データベース１５から発言者の名前やプロフィールを読み出して表示する動作や、ＬＥＤ点灯制御部１８の制御の下に発言者に応じた点灯色でＬＥＤを表示する動作 、を実行する(ステップ３９)。

ステップ３５〜ステップ３９の動作は会議終了まで繰り返され、会議が終了すると制御部６４は、録画／録音制御部１７に録音の終了を指示する (ステップ４０)。

次いで、議事録作成を開始する(ステップ４１)。

録音した音声の声紋を解析して発言者を特定し、録音した音声の音声認識を行い、発言内容を識別する(ステップ４２)。その発言者と発言内容とをテキストに出力する(ステップ４３)。この処理を繰り返して議事録を作成する(ステップ４４)。

従来のテレビ会議システムでは、出席者が大人数の場合や、画面から外れている人が発言した場合に、発言者が不明確になるが、このシステムでは、発言者に応じてＬＥＤの表示を変えたり、発言者の名前やプロフィールを表示したりすることができるため、発言者を容易に識別できる。

また、会議の議事録を自動的に作成することができる。

なお、電力消費を節約するため、テレビ会議中の声紋認証機能は、ユーザにより、そのモードが指定された場合にのみ実施される、とすることが好ましい。

また、ここでは、端末装置６０に声紋データ作成部１３、声紋データ解析部１４、音声認識部６５を置く場合について説明したが、図１０及び図１１に示すように、それらをサーバ５０に配置して分散型のシステムとすることも可能である。このシステムでの端末装置６０とサーバ５０とのシーケンスは、第２の実施形態(図３、図４)及び第３の実施形態(図６、図７)とほぼ同様に行われる。

また、端末装置６０が電話帳情報を有している場合は、声紋データを電話帳情報と関連付けて登録するようにしても良い。

また、各実施形態では、テレビ視聴やテレビ会議について説明したが、本発明は、ラジオ視聴や電話会議など、画像が無く音声のみの場合にも応用できる。

以上、本発明の各種実施形態を説明したが、本発明は前記実施形態において示された事項に限定されず、明細書の記載、並びに周知の技術に基づいて、当業者がその変更・応用することも本発明の予定するところであり、保護を求める範囲に含まれる。

本発明の声紋認識利用システム及び装置は、声だけで、多数の人の中から特定の人物を探し出すことが可能であり、例えばテレビ・ラジオの出演者やテレビ会議の発言者等を特定するシステムなどに広く利用することができる。

本発明の第１の実施形態における端末装置の構成を示すブロック図 本発明の第１の実施形態における端末装置の動作を示すフロー図 本発明の第２の実施形態における分散システムの構成を示すブロック図 本発明の第２の実施形態における分散システムの動作を示すフロー図 本発明の第２の実施形態における分散システムの声紋データ登録時の動作を示すフロー図 本発明の第３の実施形態における分散システムの構成を示すブロック図 本発明の第３の実施形態における分散システムの動作を示すフロー図 本発明の第４の実施形態における端末装置の構成を示すブロック図 本発明の第４の実施形態における端末装置の動作を示すフロー図 本発明の第４の実施形態における分散システムの構成を示すブロック図 本発明の第４の実施形態における分散システムの他の構成を示すブロック図

符号の説明

１０ 端末装置
１１ テレビ受信機
１２ 雑音除去フィルタ
１３ 声紋データ作成部
１４ 声紋データ解析部
１５ 声紋データベース
１６ 音声出力制御部
１７ 録画／録音制御部
１８ ＬＥＤ点灯制御部
１９ 入力部
２０ 制御部
４０ 外部サーバまたはデジタルテレビ網
４１ 声紋データベース
５０ 外部サーバ
５１ 声紋データ作成部
５２ 声紋データ解析部
５３ 個人用声紋データベース
５４ 共通用声紋データベース
５５ 音声認識部
６０ 端末装置
６１ 映像・音声受信部
６２ マイク
６３ カメラ
６４ 制御部
６５ 音声認識部
１００ 端末装置
１１０ 端末装置
１１３ 個人用声紋データベース

Claims (18)

1. １または複数の検索対象の声紋データが格納された声紋データ記憶部と、
   不特定な人物の音声データが入力されるごとに前記音声データから声紋データを作成する声紋データ作成部と、
   前記声紋データ作成部が作成した前記声紋データを前記声紋データ記憶部に格納された１または複数の検索対象の声紋データと順次照合して一致する声紋データを検出する声紋データ解析部と、
   前記声紋データ解析部が一致する声紋データを検出したことを契機として予め指定された動作を実行する制御部と、
   を備える声紋認識利用システム。
2. 請求項１に記載の声紋認識利用システムであって、
   前記声紋データ作成部が、テレビ放送の受信音声から番組出演者の声紋データを作成し、前記声紋データ解析部が、前記声紋データを前記声紋データ記憶部に格納された人物の声紋データと照合する声紋認識利用システム。
3. 請求項２に記載の声紋認識利用システムであって、
   前記声紋データ記憶部に、事前に放送されたテレビ放送の受信音声から前記声紋データ作成部が作成した特定の番組出演者の声紋データが格納される声紋認識利用システム。
4. 請求項２に記載の声紋認識利用システムであって、
   前記声紋データ記憶部に、ネットワークまたは入力装置を通じて取得した特定の人物の声紋データが格納される声紋認識利用システム。
5. 請求項２ないし４のいずれか１項に記載の声紋認識利用システムであって、
   前記声紋データ解析部による声紋データの一致の検出を契機として、前記制御部が、テレビ放送の番組を録画する声紋認識利用システム。
6. 請求項２ないし４のいずれか１項に記載の声紋認識利用システムであって、
   前記声紋データ解析部による声紋データの一致の検出を契機として、前記制御部が、音声表示の音量を変える声紋認識利用システム。
7. 請求項２ないし４のいずれか１項に記載の声紋認識利用システムであって、
   前記声紋データ解析部による声紋データの一致の検出を契機として、前記制御部が、表示器の表示形態を変える声紋認識利用システム。
8. 請求項１に記載の声紋認識利用システムであって、
   前記声紋データ作成部が、テレビ会議の受信音声から会議参加者の声紋データを作成し、前記声紋データ解析部が、前記声紋データを前記声紋データ記憶部に事前に格納された前記会議参加者の声紋データと照合する声紋認識利用システム。
9. 請求項８に記載の声紋認識利用システムであって、
   さらに、発言内容を識別する音声認識部を備え、前記声紋データ記憶部に、テレビ会議参加者の自己紹介の音声から前記声紋データ作成部が作成した前記テレビ会議参加者の声紋データと、同音声から前記音声認識部が識別した当該テレビ会議参加者の特定情報とが格納される声紋認識利用システム。
10. 請求項８または９に記載の声紋認識利用システムであって、
    前記声紋データ解析部による声紋データの一致の検出を契機として、前記制御部が、特定のテレビ会議参加者の発言を録音する声紋認識利用システム。
11. 請求項９に記載の声紋認識利用システムであって、
    前記声紋データ解析部による声紋データの一致の検出を契機として、前記制御部が、発言者の特定情報を出力装置にて表示する声紋認識利用システム。
12. 請求項９または１１に記載の声紋認識利用システムであって、
    前記声紋データ解析部により特定された発言者と、前記音声認識部により識別された発言内容とから、前記テレビ会議の議事録が作成される声紋認識利用システム。
13. 請求項１に記載の声紋認識利用システムであって、
    前記声紋データ記憶部、声紋データ作成部、声紋データ解析部、及び、制御部が端末装置に配置されている声紋認識利用システム。
14. 請求項１に記載の声紋認識利用システムであって、
    前記声紋データ記憶部、声紋データ作成部、及び、声紋データ解析部がサーバに配置され、前記制御部が端末装置に配置され、前記端末装置は、入力した音声データを前記サーバに送信し、前記サーバから前記声紋データ解析部の検出結果を受信する声紋認識利用システム。
15. 請求項１に記載の声紋認識利用システムであって、
    前記声紋データ作成部、及び、声紋データ解析部がサーバに配置され、前記声紋データ記憶部、及び、前記制御部が端末装置に配置され、前記端末装置は、前記声紋データ記憶部に格納された検索対象の声紋データ、及び、入力した音声データを前記サーバに送信し、前記サーバから前記声紋データ解析部の検出結果を受信する声紋認識利用システム。
16. １または複数の検索対象の声紋データが格納された声紋データ記憶部と、
    不特定な人物の音声データが入力するごとに前記音声データから声紋データを作成する声紋データ作成部と、
    前記声紋データ作成部が作成した前記声紋データを前記声紋データ記憶部に格納された１または複数の検索対象の声紋データと順次照合して一致する声紋データを検出する声紋データ解析部と、
    前記声紋データ解析部が一致する声紋データを検出したことを契機として予め指定された動作を実行する制御部と、
    を備える端末装置。
17. １または複数の検索対象の声紋データが格納された声紋データ記憶部と、
    端末装置より送られた音声データから声紋データを作成する声紋データ作成部と、
    前記声紋データ作成部が作成した前記声紋データを前記声紋データ記憶部に格納された１または複数の検索対象の声紋データと順次照合し、一致する声紋データを検出すると一致情報を前記端末装置に伝える声紋データ解析部と、
    を備えるサーバ。
18. 端末装置より送られた音声データから声紋データを作成する声紋データ作成部と、
    前記声紋データ作成部が作成した前記声紋データを、前記端末装置より事前に送られた１または複数の検索対象の声紋データと順次照合し、一致する声紋データを検出すると一致情報を前記端末装置に伝える声紋データ解析部と、
    を備えるサーバ。

Images