JP2014164241A

JP2014164241A - 中継システム、中継方法及びプログラム

Info

Publication number: JP2014164241A
Application number: JP2013037293A
Authority: JP
Inventors: Eiji Nomura; 英司野村; Yutaka Kunida; 豊國田; Shinya Ishihara; 晋也石原
Original assignee: Nippon Telegraph and Telephone Corp; Nippon Telegraph and Telephone East Corp
Current assignee: Nippon Telegraph and Telephone Corp; Nippon Telegraph and Telephone East Corp
Priority date: 2013-02-27
Filing date: 2013-02-27
Publication date: 2014-09-08
Anticipated expiration: 2033-02-27
Also published as: JP6028289B2

Abstract

【課題】音声通話に付加される新たな機能を提供することが可能となる。
【解決手段】第一端末と第二端末との間で通話を中継する中継システムが、第一端末から送信された音声に基づいて発話内容を認識し、第一端末から送信された音声に基づいて音程又は抑揚を認識し、記憶部に記憶される音声素片を組み合わせることによって、認識された発話内容と認識された音程又は抑揚とを再現した合成音声を生成し、生成された合成音声を第二端末に送信する。
【選択図】図２

Description

本発明は、通話における音声を変換する技術に関する。

近年、情報処理装置や通信装置の機能向上に伴い、従来は単に音声の送受信に過ぎなかった通話機能に対し新たな付加機能が提供されている。例えば、特許文献１に記載の技術では、テレビ電話着信応答時に、相手先の電話番号が電話帳に登録されているかどうか判定される。電話帳に登録されていれば、受信した画像及び音声が夫々解析される。画像解析の結果、発信者以外の人物が映っておらず、発信者側に画面を覗き込んでいる人物が映っておらず、且つ、音声解析結果に基づいて発信者が公衆の場にいないと判定された場合には、ユーザの自画像が送信される。

特開２００９−０６５６２０号公報

特許文献１に開示された技術は一例に過ぎず、より新しい付加機能が要求されている。そこで、上記事情に鑑み、本発明は音声通話に付加される新たな機能を提供することを目的としている。

本発明の一態様は、第一端末と第二端末との間で通話を中継する中継システムであって、第一端末から送信された音声に基づいて発話内容を認識する第一認識部と、第一端末から送信された音声に基づいて音程又は抑揚を認識する第二認識部と、合成音声を生成する際に用いられる音声素片を記憶する記憶部と、前記記憶部に記憶される前記音声素片を組み合わせることによって、前記第一認識部によって認識された発話内容と前記第二認識部によって認識された音程又は抑揚とを再現した合成音声を生成する音声生成部と、前記音声生成部によって生成された前記合成音声を前記第二端末に送信する通信部と、を備える。

本発明の一態様は、第一端末と第二端末との間で通話を中継する中継システムが行う中継方法であって、第一端末から送信された音声に基づいて発話内容を認識する第一認識ステップと、第一端末から送信された音声に基づいて音程又は抑揚を認識する第二認識ステップと、記憶部に記憶される音声素片を組み合わせることによって、前記第一認識ステップにおいて認識された発話内容と前記第二認識ステップにおいて認識された音程又は抑揚とを再現した合成音声を生成する音声生成ステップと、前記音声生成ステップにおいて生成された前記合成音声を前記第二端末に送信する通信ステップと、を有する。

本発明の一態様は、第一端末と第二端末との間で通話を中継するコンピュータに対し、第一端末から送信された音声に基づいて発話内容を認識する第一認識ステップと、第一端末から送信された音声に基づいて音程又は抑揚を認識する第二認識ステップと、記憶部に記憶される音声素片を組み合わせることによって、前記第一認識ステップにおいて認識された発話内容と前記第二認識ステップにおいて認識された音程又は抑揚とを再現した合成音声を生成する音声生成ステップと、前記音声生成ステップにおいて生成された前記合成音声を前記第二端末に送信する通信ステップと、を実行させるためのプログラムである。

本発明により、音声通話において新たな付加機能を提供することが可能となる。

通話システム１のシステム構成を表すシステム構成図である。中継システム３００の機能構成を示す概略ブロック図である。通話システム１の処理の流れの具体例を表すシーケンス図である。通話セッションが確立されている間の中継システム３００の処理の具体例を示すフローチャートである。

図１は、通話システム１のシステム構成を表すシステム構成図である。通話システム１は、第一端末１００、第二端末２００、中継システム３００を備える。通話システム１では、第一端末１００のユーザ及び第二端末２００のユーザの間で通話が行われる。通話システム１では、変換対象端末となっている端末から送信された音声が、中継システム３００によって他の音声に変換されて他方の端末に中継される。第一端末１００及び第二端末２００の双方が変換対象端末であっても良いし、第一端末１００又は第二端末２００のいずれか一方のみが変換対象端末であっても良い。以下、第一端末１００が変換対象端末であり、第二端末２００は変換対象端末でない場合の構成について説明する。なお、以下の説明では、変換対象端末ではない端末を「非対象端末」という。

第一端末１００は、通話機能を有する端末装置である。第一端末１００は、例えば携帯電話機、ＰＨＳ（Personal Handy-phone System）、スマートフォン、固定電話機、タブレット装置、パーソナルコンピュータ、ゲーム装置、テレビ受像機などの情報処理機能及び通信機能を有した装置である。第一端末１００は、中継システム３００を介して第二端末２００との間で通話セッションを確立する。第一端末１００は、通話セッションを介して、ユーザの発話を音声信号として第二端末２００に送信する。第一端末１００は、通話セッションを介して、第二端末２００から音声信号を受信し、スピーカーから出力する。

第二端末２００は、通話機能を有する端末装置である。第二端末２００は、例えば携帯電話機、ＰＨＳ、スマートフォン、固定電話機、タブレット装置、パーソナルコンピュータ、ゲーム装置、テレビ受像機などの情報処理機能及び通信機能を有した装置である。第二端末２００は、中継システム３００を介して第一端末１００との間で通話セッションを確立する。第二端末２００は、通話セッションを介して、ユーザの発話を音声信号として第一端末１００に送信する。第二端末２００は、通話セッションを介して、第一端末１００から音声信号を受信し、スピーカーから出力する。

図２は、中継システム３００の機能構成を示す概略ブロック図である。中継システム３００は、１台又は複数台の情報処理装置によって構成される。例えば、中継システム３００が一台の情報処理装置で構成される場合、情報処理装置は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、中継プログラムを実行する。中継プログラムの実行によって、情報処理装置は、通信部３０１、通話制御部３０２、音声認識部３０３、音程認識部３０４、抑揚認識部３０５、音声情報記憶部３０６、音声生成部３０７を備える装置として機能する。なお、中継システム３００の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。また、中継システム３００は、専用のハードウェアによって実現されても良い。中継プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。中継プログラムは、電気通信回線を介して送受信されても良い。

通信部３０１は、ネットワークを介して第一端末１００及び第二端末２００と通信を行う。
通話制御部３０２は、第一端末１００及び第二端末２００との間で通話を制御する。通話制御部３０２は、例えばＳＩＰ（Session Initiation Protocol）に従った処理を行う事によって通話を制御する。第一端末１００及び第二端末２００との間で通話セッションが確立された後、通話制御部３０２は以下のように動作する。

通話制御部３０２は、第一端末１００（変換対象端末）から送信された音声信号を音声認識部３０３、音程認識部３０４及び抑揚認識部３０５に出力する。そして、通話制御部３０２は、第一端末１００から送信された音声信号そのものは中継せず、音声生成部３０７によって生成された合成音声を通話相手の端末（第二端末２００）へ中継する。

通話制御部３０２は、第二端末２００（非対象端末）から送信された音声信号については、音声信号を音声認識部３０３、音程認識部３０４及び抑揚認識部３０５に出力せず、通信部３０１を介して通話相手の端末（第一端末１００）へ中継する。
また、通話制御部３０２は、変換対象端末から送信される音声ＩＤを音声生成部３０７に出力する。音声ＩＤは、変換対象端末を用いて通話するユーザの声が変換される声色を表す識別情報である。

音声認識部３０３は、通話制御部３０２から出力された音声信号の発話内容を認識し、文字情報を生成する。音声認識部３０３は、生成した音声情報に対して時間情報を付加することによって、音声認識結果を生成する。時間情報とは、各文字が発音された時間を表す情報である。時間情報は、例えば変換対象端末から送信された音声信号から人の声が検出された時点を始点とし、始点からの経過時間によって表されても良い。

音程認識部３０４は、通話制御部３０２から出力された音声信号の音程変化を認識し、音程情報を生成する。音程認識部３０４は、例えば音声信号の周波数変化に基づいて音程変化を認識しても良い。音程認識部３０４は、生成した音程情報に対して時間情報を付加することによって、音程認識結果を生成する。

抑揚認識部３０５は、通話制御部３０２から出力された音声信号の抑揚変化を認識し、抑揚情報を生成する。抑揚認識部３０５は、例えば音声信号の振幅の変化に基づいて抑揚変化を認識しても良い。抑揚認識部３０５は、生成した抑揚情報に対して時間情報を付加することによって、抑揚認識結果を生成する。

音声情報記憶部３０６は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。音声情報記憶部３０６は、声色毎に予め生成された音声素片を含むデータベースを、音声ＩＤに対応付けて記憶する。すなわち、データベースは音声ＩＤ毎に記憶されている。

音声生成部３０７は、通話制御部３０２によって出力される音声ＩＤに基づいて、音声情報記憶部３０６に記憶されている複数のデータベースの中から、音声合成処理に用いるデータベースを選択する。音声生成部３０７は、選択されたデータベースから、音声認識部３０３によって出力される音声認識結果と、音程認識部３０４によって出力される音程認識結果と、抑揚認識部３０５によって出力される抑揚認識結果と、に基づいて音声素片を選択する。そして、音声生成部３０７は、選択した音声素片を、音程認識結果及び抑揚認識結果に基づいて接続し、合成音声を生成する。音声生成部３０７は、例えば周波数ドメイン歌唱アーティキュレーション接続法を用いることによって音声合成処理を行っても良い。

図３は、通話システム１の処理の流れの具体例を表すシーケンス図である。図３に示す処理の流れでは、発呼を行った端末が変換対象端末となり、着呼をした端末が非対象端末となる。すなわち、中継システム３００の通話制御部３０２は、発呼を行った端末を変換対象端末として認識し、着呼をした端末を非対象端末として認識する。

まず、第一端末１００（変換対象端末）のユーザが、第一端末１００を操作することによって、通話先として第二端末２００を指定し発呼を指示する。発呼の指示を受けた第一端末１００は、中継システム３００に対してINVITEメッセージを送信する（ステップＳ１０１）。中継システム３００は、INVITEメッセージに応じて、100 Tryingメッセージを第一端末１００に送信する（ステップＳ１０２）。また、中継システム３００は、INVITEメッセージに応じて、発呼先として指定されている第二端末２００に対しINVITEメッセージを送信する（ステップＳ１０３）。

第二端末２００は、中継システム３００からINVITEメッセージを受信すると、100 Tryingメッセージを中継システム３００に対して送信する（ステップＳ１０４）。次に、第二端末２００は、着信音を出力し、着呼していることをユーザに通知する。そして、第二端末２００は、180 Ringingメッセージを中継システム３００に対して送信する（ステップＳ１０５）。

中継システム３００は、第二端末２００から180 Ringingメッセージを受信すると、第一端末１００に対して180 Ringingメッセージを送信する（ステップＳ１０６）。第二端末２００のユーザが第二端末２００をオフフックにすると、第二端末２００は中継システム３００に対して200 OKメッセージを送信する（ステップＳ１０７）。中継システム３００は、第二端末２００から200 OKメッセージを受信すると、第一端末１００に対して200 OKメッセージを送信する（ステップＳ１０８）。

第一端末１００は、中継システム３００から200 OKメッセージを受信すると、ACKメッセージを中継システム３００に対して送信する（ステップＳ１０９）。中継システム３００は、第一端末１００からACKメッセージを受信すると、ACKメッセージを第二端末２００に対して送信する（ステップＳ１１０）。以上の処理によって、第一端末１００と第二端末２００との間で通話セッションが確立される（ステップＳ１１１）。

その後、第二端末２００のユーザが第二端末２００をオンフック状態にすると、第二端末２００は中継システム３００に対してBYEメッセージを送信する（ステップＳ１１２）。中継システム３００は、第二端末２００からBYEメッセージを受信すると、BYEメッセージを第一端末１００に対して送信する（ステップＳ１１３）。以上の処理によって、第一端末１００と第二端末２００との間に確立された通話セッションが終了する。

図４は、通話セッションが確立されている間の中継システム３００の処理の具体例を示すフローチャートである。中継システム３００の通話制御部３０２は、ネットワークを介して通信部３０１が音声信号を受信すると（ステップＳ２０１）、受信された音声信号の送信元が変換対象端末であるか否か判定する（ステップＳ２０２）。送信元が変換対象端末ではない場合（ステップＳ２０２−ＮＯ）、通話制御部３０２は、受信された音声信号を通話相手の端末（非対象端末）へ送信する（ステップＳ２０７）。

一方、送信元が変換対象端末である場合（ステップＳ２０２−ＹＥＳ）、通話制御部３０２は、変換対象端末から送信された音声ＩＤを音声生成部３０７に出力する。また、通話制御部３０２は、受信された音声信号を音声認識部３０３、音程認識部３０４及び抑揚認識部３０５に出力する。音声認識部３０３は、音声信号に基づいて音声認識処理を行い、音声生成部３０７に対して音声認識結果を出力する（ステップＳ２０３）。音程認識部３０４は、音声信号に基づいて音程認識処理を行い、音声生成部３０７に対して音程認識結果を出力する（ステップＳ２０４）。抑揚認識部３０５は、音声信号に基づいて抑揚認識処理を行い、音声生成部３０７に対して抑揚認識結果を出力する（ステップＳ２０５）。

音声生成部３０７は、音声ＩＤ、音声認識結果、音程認識結果及び抑揚認識結果に基づいて合成音声を生成する（ステップＳ２０６）。通話制御部３０２は、音声生成部３０７によって生成された合成音声の音声信号を、変換対象端末の通話相手である端末（非対象端末）に対して送信する（ステップＳ２０７）。以上の処理によって、変換対象端末と非対象端末との間で通話が行われる。

このように構成された通話システム１では、音声通話に付加される新たな機能を提供することが可能となる。具体的には以下のとおりである。変換対象端末のユーザの音声は、ユーザが用いる発話内容、音程及び抑揚を再現した形で、音声ＩＤが示す声色の合成音声に変換される。そして、合成音声は、変換対象端末の通話相手の端末に送信される。そのため、変換対象端末の通話相手は、他の人物と通話をしている状態を楽しむことが可能となる。

例えば、音声ＩＤ毎に有名なキャラクター（アニメのキャラクター、ＴＶ番組のキャラクター等）のデータベースが音声情報記憶部３０６に登録されている場合、変換対象端末のユーザは、非対象端末のユーザとの間で、自身が選択した有名なキャラクターの音声で通話を行う事が可能となる。

また、通話システム１では、合成音声において、変換対象端末のユーザの発話内容が再現されるだけではなく、音程や抑揚も再現される。そのため、機械的な音声で不自然な通話が行われることを防止し、発話者の特徴や感情を活かした通話を実現することが可能となる。

＜変形例＞
音程認識部３０４及び抑揚認識部３０５は、必ずしも両方が備えられる必要は無く、いずれか一方のみが備えられるように構成されても良い。
図３に示すシーケンス図では、発呼側が変換対象端末として認識されたが、着呼側が変換対象端末として認識されるように構成されても良い。例えば以下のように構成されても良い。まず、発呼側に対して、予め所定の電話番号が通知されている。中継システム３００には、予め通知された電話番号と、変換対象端末となる着呼側の端末の電話番号とが対応付けて登録されている。発呼側が予め通知された電話番号に発信すると、中継システム３００は、発信された電話番号に予め対応付けられている変換対象端末の電話番号との間で通話セッションを確立する。そして、中継システム３００は、発呼側を非対象端末として認識し、着呼側を変換対象端末として認識し、処理を行う。

通話セッションの確立手法としては、中継システム３００が第一端末１００及び第二端末２００それぞれと通話セッションを確立する手法が採用されても良い（例えばＶ字発信）。
ステップＳ２０３の音声認識処理、ステップＳ２０４の音程認識処理、ステップＳ２０５の抑揚認識処理のいずれか２つ又は全ては、並列に実行されても良い。また、各処理が実行される順序は、図４に示したフローチャートの順番に限定される必要は無い。
中継システム３００は、音程認識処理又は抑揚認識処理のいずれか一方又は双方を実行しなくとも良い。この場合、例えば中継システム３００は、予め音声情報記憶部３０６に記憶されている音程情報や抑揚情報を用いることによって音声合成を行っても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…通話システム，１００…第一端末，２００…第二端末，３００…中継システム，３０１…通信部，３０２…通話制御部，３０３…音声認識部，３０４…音程認識部，３０５…抑揚認識部，３０６…音声情報記憶部，３０７…音声生成部

Claims

第一端末と第二端末との間で通話を中継する中継システムであって、
第一端末から送信された音声に基づいて発話内容を認識する第一認識部と、
第一端末から送信された音声に基づいて音程又は抑揚を認識する第二認識部と、
合成音声を生成する際に用いられる音声素片を記憶する記憶部と、
前記記憶部に記憶される前記音声素片を組み合わせることによって、前記第一認識部によって認識された発話内容と前記第二認識部によって認識された音程又は抑揚とを再現した合成音声を生成する音声生成部と、
前記音声生成部によって生成された前記合成音声を前記第二端末に送信する通信部と、
を備える中継システム。
第一端末と第二端末との間で通話を中継する中継システムが行う中継方法であって、
第一端末から送信された音声に基づいて発話内容を認識する第一認識ステップと、
第一端末から送信された音声に基づいて音程又は抑揚を認識する第二認識ステップと、
記憶部に記憶される音声素片を組み合わせることによって、前記第一認識ステップにおいて認識された発話内容と前記第二認識ステップにおいて認識された音程又は抑揚とを再現した合成音声を生成する音声生成ステップと、
前記音声生成ステップにおいて生成された前記合成音声を前記第二端末に送信する通信ステップと、
を有する中継方法。
第一端末と第二端末との間で通話を中継するコンピュータに対し、
第一端末から送信された音声に基づいて発話内容を認識する第一認識ステップと、
第一端末から送信された音声に基づいて音程又は抑揚を認識する第二認識ステップと、
記憶部に記憶される音声素片を組み合わせることによって、前記第一認識ステップにおいて認識された発話内容と前記第二認識ステップにおいて認識された音程又は抑揚とを再現した合成音声を生成する音声生成ステップと、
前記音声生成ステップにおいて生成された前記合成音声を前記第二端末に送信する通信ステップと、
を実行させるためのプログラム。