JP2010217628A - 音声によってテキストを入力する音声認識処理方法及びシステム - Google Patents

音声によってテキストを入力する音声認識処理方法及びシステム Download PDF

Info

Publication number
JP2010217628A
JP2010217628A JP2009065542A JP2009065542A JP2010217628A JP 2010217628 A JP2010217628 A JP 2010217628A JP 2009065542 A JP2009065542 A JP 2009065542A JP 2009065542 A JP2009065542 A JP 2009065542A JP 2010217628 A JP2010217628 A JP 2010217628A
Authority
JP
Japan
Prior art keywords
voice
voice recognition
session
data
text data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009065542A
Other languages
English (en)
Other versions
JP5244663B2 (ja
Inventor
Toshiaki Uchibe
利明 内部
Yasutaka Shinto
安孝 新堂
Tomohiro Obara
朋広 小原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2009065542A priority Critical patent/JP5244663B2/ja
Publication of JP2010217628A publication Critical patent/JP2010217628A/ja
Application granted granted Critical
Publication of JP5244663B2 publication Critical patent/JP5244663B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】リアルタイムに音声データが認識され、且つ、ネットワークの負荷をできる限り小さくすることができる音声認識方法及びシステムを提供する。
【解決手段】端末が、呼接続要求を、セッション制御サーバを介して音声認識サーバへ送信し、音声認識サーバとの間で、音声データ用のRTPのセッションと、テキストデータ用のTCPのセッションとを確立する。次に、端末が、所定単位の音声データを、RTPのセッションを介して音声認識サーバへ送信する。これに対し、音声認識サーバが、音声認識処理手段を用いて変換した1次候補テキストデータを、TCPのセッションを介して端末へ送信する。利用者による音声入力が終了するまで、これらステップを連続的に繰り返し、利用者によって音声入力が終了した際に、音声認識サーバが、既に送信した1次候補以外のテキストデータが存在する場合、そのテキストデータを、端末へ送信する。
【選択図】図1

Description

本発明は、音声によってテキストを入力する音声認識処理方法及びシステムに関する。
パーソナルコンピュータのように比較的処理能力が高い端末を用いて、利用者が発声した音声を、テキストデータに変換するソフトウェアがある。端末は、マイクによって利用者が発声した音声を取得する。その音声は、音声データに符号化される。そして、その音声データは、音声認識処理によってテキストデータに変換される。
また、携帯端末のように比較的処理能力が低い端末の場合、数千語彙程度のキーワードを音声認識することはできる。しかしながら、処理能力の観点から、ディクテーションのように数万語以上の大語彙に対応する文章を、音声認識することはできない。
そのために、携帯端末が、ネットワークを介して音声認識サーバに接続することによって、音声認識処理を実行する技術がある。この技術によれば、携帯端末は、符号化された音声データを、HTTP(HyperText Transfer Protocol)によって音声認識サーバへ一括して送信する。音声認識サーバは、音声認識処理によって音声データをテキストデータへ変換する。変換されたテキストデータは、携帯端末へ返信される。これにより、音声認識処理の中で負荷が大きい処理を、サーバで実行することができる。即ち、処理能力の低い携帯端末であっても、大語彙の高精度な音声認識を実行することができる。
特開2005−283972号公報
従来技術によれば、携帯端末は、音声認識サーバへ、HTTPリクエストを用いて音声データを一括して送信する。これに対し、音声認識サーバも、音声データを一括してテキストデータに変換する。そして、全てのテキストデータを、HTTPレスポンスによって一括して返信する。HTTPのリクエスト及びレスポンスのシーケンスを用いることによって、複数の携帯端末から1つの音声認識サーバへのアクセスも可能とする。
しかしながら、利用者は、マイクへ発声しながら、ディスプレイでテキストデータを視認することができない。特に、入力される文章が長くなるほど、テキストデータの表示までに遅延が発生し、利便性に欠ける。また、HTTPの場合、下位プロトコルにTCP(Transmission Control Protocol)を用いるために、エラーフリーである反面、オーバヘッドが大きく且つネットワークへの負荷が大きい。
そこで、本発明は、リアルタイムに音声データが認識され、且つ、ネットワークの負荷をできる限り小さくすることができる音声認識方法及びシステムを提供することを目的とする。
本発明によれば、
セッション制御サーバと、
セッション制御サーバに対する呼接続手段と、テキスト処理アプリケーションと、利用者から音声データを入力する音声入力インタフェース手段とを起動する端末と、
セッション制御サーバに対する呼接続手段と、音声データをテキストデータに変換する音声認識処理手段とを有する音声認識サーバと
を有するシステムにおける音声認識処理方法であって、
端末が、テキスト処理アプリケーションに対する音声入力インタフェース手段を起動した際に、呼接続要求を、セッション制御サーバを介して音声認識サーバへ送信し、音声認識サーバとの間で、音声データ用の第1のセッションと、テキストデータ用の第2のセッションとを確立する第1のステップと、
端末が、利用者によって発声された所定単位の音声データを、第1のセッションを介して音声認識サーバへ送信する第2のステップと、
音声認識サーバが、音声認識処理手段を用いて変換した1次候補テキストデータを、第2のセッションを介して端末へ送信する第3のステップと、
端末及び音声認識サーバが、利用者による音声入力が終了するまで、第2のステップ及び第3のステップを連続的に繰り返す第4のステップと、
利用者によって音声入力が終了した際に、音声認識サーバが、既に送信した1次候補以外のテキストデータが存在する場合、該テキストデータを、端末へ送信する第5のステップと
を有することを特徴とする。
本発明の音声認識処理方法における他の実施形態によれば、第1のステップについて、音声データ用の第1のセッションは、RTP(Realtime Transport Protocol)によって確立されており、テキストデータ用の第2のセッションは、TCP(Transmission Control Protocol)によって確立されていることも好ましい。
本発明の音声認識処理方法における他の実施形態によれば、第1のステップについて、
端末のテキスト処理アプリケーションは、音声入力インタフェース手段へ音声認識パラメータを引き渡し、音声入力インタフェース手段は、音声認識パラメータを、呼接続手段へ引き渡し、呼接続手段は、音声認識パラメータを含む呼接続要求を、セッション制御サーバを介して音声認識サーバへ送信し、
音声認識サーバは、音声認識パラメータに基づいて音声認識処理が可能である場合にのみ、呼接続受付応答を返信することも好ましい。
本発明の音声認識処理方法における他の実施形態によれば、第1のステップについて、音声認識パラメータは、復号処理のためのコーデック情報と、辞書切替のための音声認識種別とを含むことも好ましい。
本発明によれば、端末と音声認識サーバとが、セッション制御サーバによって呼接続されるシステムにおいて、
端末は、
テキスト処理アプリケーションと、
利用者から音声データを入力する音声入力インタフェース手段と、
テキスト処理アプリケーションに対する音声入力インタフェース手段を起動した際に、呼接続要求を、セッション制御サーバを介して音声認識サーバへ送信し、音声認識サーバとの間で、音声データ用の第1のセッションと、テキストデータ用の第2のセッションとを確立する呼接続手段と、
音声入力インタフェース手段によって取得された所定単位の音声データを、第1のセッションを介して音声認識サーバへ送信する音声データ送信手段と
を有し、
音声認識サーバは、
セッション制御サーバに対する呼接続手段と、
音声データをテキストデータに変換する音声認識処理手段と、
1次候補テキストデータを第2のセッションを介して端末へ送信するテキストデータ送信手段と、
利用者による音声入力が終了するまで、音声認識処理手段及びテキストデータ送信手段を連続的に繰り返す音声認識制御手段と、
利用者によって音声入力が終了した際に、音声認識サーバが、既に送信した1次候補以外の候補テキストデータが存在する場合、該テキストデータを、端末へ送信する他候補蓄積手段と
を有することを特徴とする。
本発明のシステムにおける他の実施形態によれば、音声データ用の第1のセッションは、RTPによって確立されており、テキストデータ用の第2のセッションは、TCPによって確立されていることも好ましい。
本発明のシステムにおける他の実施形態によれば、
端末について、
テキスト処理アプリケーションは、音声入力インタフェース手段へ音声認識パラメータを引き渡し、
音声入力インタフェース手段は、音声認識パラメータを、呼接続手段へ引き渡し、
呼接続手段は、音声認識パラメータを含む呼接続要求を、セッション制御サーバを介して音声認識サーバへ送信し、
音声認識サーバについて、
音声認識パラメータに基づいて音声認識処理が可能である場合にのみ、呼接続受付応答を返信する
ことも好ましい。
本発明のシステムにおける他の実施形態によれば、音声認識パラメータは、復号処理のためのコーデック情報と、辞書切替のための音声認識種別とを含むことも好ましい。
本発明の音声認識方法及びシステムによれば、携帯端末は、所定単位の音声データをRTPのデータストリームで送信すると共に、音声認識によって変換されたテキストデータをTCPのデータストリームで受信する。これにより、音声データとテキストデータとを一括して送受信するHTTPの場合に比べて、ネットワークの負荷をできる限り小さくすることができる。
また、携帯端末は、音声入力中には、音声データを逐次的に変換した第1候補テキストデータをディスプレイに表示すると共に、音声入力終了後に、他候補テキストデータをディスプレイに表示する。これにより、利用者から見て、音声入力中に、リアルタイムに音声データが認識されると共に、音声入力終了後に、最適なテキストデータを選択することができる。
本発明における第1のシステム構成図である。 本発明における端末及び音声認識サーバの機能構成図である。 本発明におけるフローチャートである。 本発明における端末の第1の表示画面例である。 本発明における端末の第2の表示画面例である。 INVITEリクエストのSDPの記述例である。 INVITEレスポンスのSDPの記述例である。 本発明における第2のシステム構成図である。 本発明における第3のシステム構成図である。
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
図1は、本発明における第1のシステム構成図である。
図1によれば、端末1は、セッション制御サーバ3を介して、音声認識サーバ2と呼接続する。端末1は、例えば携帯電話機のような比較的処理能力が低い携帯端末である。セッション制御サーバ3は、呼制御プロトコルとしてのSIP(Session Initiation Protocol)サーバであって、例えばIMS/MMD(IP Multimedia Subsystem / Multimedia Domain)網のコントロールネットワークに接続される。携帯端末1は、例えば携帯電話網のようなアクセスネットワークを介して、IMS/MMD網に接続する。
図1によれば、携帯端末1は、テキスト処理アプリケーションとして、例えばメールソフトウェアを起動する。ここで、利用者は、携帯端末1のマイクに向かって発声することによって、メールソフトウェアのエディタにテキストを入力することができる。
音声認識サーバ2は、SIPサーバ3を介して、携帯端末1から呼接続される。音声認識サーバ2は、携帯端末1から受信した音声データを、音声認識処理によってテキストデータに変換する。変換されたテキストデータは、携帯端末1へ返信させる。
携帯端末1と音声認識サーバ2との間では、音声データ用のRTPのセッションと、認識候補となるテキストデータ用のTCPのセッションとが確立される。RTPは、音声又は動画等のデータをストリーミングで伝送するためのプロトコルである。TCPは、ファイル等のデータをエラーフリーで伝送するためのプロトコルである。
RTPは、下位プロトコルにUDP(User Datagram Protocol)が用いられる。そのために、RTPパケットに、FEC(Forward Error Correction:前方誤り訂正)やMFT(Missing Feature Theory:ミッシングフィーチャー理論)の誤り訂正符号を付加することも好ましい。これによって、パケットロスによる認識性能への影響が軽減される。
図2は、本発明における端末及び音声認識サーバの機能構成図である。
携帯端末1は、ハードウェアとして、通信インタフェース部101と、利用者によって発声された音声を取得するマイク102と、テキストデータを表示するディスプレイ103と、操作及びテキストを選択するキー操作部104とを有する。
また、携帯端末1は、ソフトウェアとして、呼接続部111と、トランスポートインタフェース部112と、テキスト処理アプリケーション113と、音声入力インタフェース部114と、音声データ送信部121と、テキストデータ受信部122と、他候補選択部123とを有する。これら機能構成部は、携帯端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
テキスト処理アプリケーション113は、テキストエディタ機能を有し、例えばメールアプリケーションであってもよい。テキスト処理アプリケーション113は、音声認識パラメータを引数として音声入力インタフェース部114を起動する。音声認識パラメータは、少なくとも、復号処理のためのコーデック情報と、辞書切替のための音声認識種別とである。音声入力終了後、テキスト処理アプリケーション113は、音声入力インタフェース部114から、テキストデータを取得する。
音声入力インタフェース部114は、ユーザインタフェースとして機能する。音声入力インタフェース部114は、利用者が発声した音声をマイク102から取得し、AMR(Adaptive Multi-Rate)やEVRC(Enhanced Variable Rate Codec)等によって音声データに符号化する。又は、信号処理によって特徴抽出した音声データに変換するものであってもよい。音声入力インタフェース部114は、音声入力が終了した際に、呼接続部111へ、音声入力終了を通知する。
尚、音声入力インタフェース部114は、テキスト処理アプリケーション113と重畳的に機能する。即ち、音声入力インタフェース部114は、種々のアプリケーションから共通に利用可能なミドルウェアとして実装される。そのため、テキスト処理アプリケーション113を設計する際に、音声認識処理を考慮する必要がない。また、
呼接続部111は、SIPサーバ3に対してクライアントとして機能する。呼接続部111は、音声入力インタフェース部114が起動された際に、音声認識パラメータを含むINVITEメッセージ(呼接続要求)を、SIPサーバ3を介して音声認識サーバ2へ送信する。また、呼接続部111は、音声入力インタフェース部114の指示に応じて、音声入力開始又は終了の制御情報を含むINFOメッセージを、SIPサーバ3を介して音声認識サーバ2へ送信する。
トランスポートインタフェース部112は、音声認識サーバ2との間で、音声データ用のRTPのデータストリームと、テキストデータ用のTCPのデータストリームとを確立する。
音声データ送信部121は、音声入力インタフェース部114によって取得された所定単位の音声データを、RTPのデータストリームを介して音声認識サーバ2へ送信する。
テキストデータ受信部122は、音声認識サーバ2から、音声認識によって得られたテキストデータを受信する。音声入力中には、逐次的に1次候補テキストデータを受信する。また、音声入力終了後には、1次候補テキストデータと、1つ以上の他候補テキストデータとの組み合わせを受信する。受信されたテキストデータは、テキスト処理アプリケーション113へ出力される。
他候補選択部123は、利用者によって他候補テキストデータを選択させる。音声入力終了後、テキスト処理アプリケーションは、既にディスプレイに表示しているテキストデータの中から、他候補テキストデータに対応する1次候補テキストデータを検索する。一致した1次候補テキストデータについて、他候補テキストデータをディスプレイに表示し、利用者に選択させる。
音声認識サーバ2は、通信インタフェース部201と、呼接続部211と、トランスポートインタフェース部212と、音声認識処理部221と、テキストデータ送信部222と、他候補蓄積部223と、音声認識制御部224とを有する。これら機能構成部は、サーバに搭載されたコンピュータを機能させるプログラムを実行させることによって実現される。
呼接続部211は、SIPサーバ3に対してクライアントとして機能する。呼接続部211は、受信したINVITEメッセージから、音声認識パラメータを取得する。その音声認識パラメータは、音声認識処理部221へ出力される。
トランスポートインタフェース部212は、携帯端末1との間で、音声データ用のRTPのデータストリームと、テキストデータ用のTCPのデータストリームとを確立する。
音声認識処理部221は、RTPのデータストリームを介して音声データを受信し、音声認識によってその音声データをテキストデータに変換する。ここで、音声認識処理部221は、発声途中の暫定的な1次候補テキストデータをテキストデータ送信部222へ出力し、他の候補テキストデータを他候補蓄積部223へ出力する。
音声認識処理部221は、辞書及び言語モデルを参照し、音声データをテキストデータに変換する。音声認識処理部221には、例えば、文章の「てにをは」を含めて認識するNグラムモデルがある。Nグラムモデルは、サンプルデータから統計的に確率を計算する言語モデルである。N=3(トライグラム)として、与えられた単語列w・・・wの出現確率P(w・・・w)の推定をする場合に、P(w・・・w)=ΠP(wi|wi-2、wi-1)×P(w)のように近似する。右辺のP(wi|wi-2、wi-1)は、単語wi-2、wi-1と来たときに、次にwiが来る条件付確率を表す。P(wi|wi-2、wi-1)の全ての積を計算し、P(w・・・w)が最も大きな値を取る単語列の組み合わせを認識結果として決定する。
Nグラムモデルでは、発話中のある部分の音声認識に、前後の単語との相関を用いる。このため、ある部分の音声認識結果を得るために、その後の部分の発話が必要となる。当該部分の発話よりも数単語先までの発話を得てから音声認識結果が確定する。つまり、音声認識結果が確定するのは、当該部分の発話がなされてから数単語分遅れることになる。
そこで、音声認識処理部221は、Nグラムモデルにおける1次候補テキストデータを、テキストデータ送信部222へ出力する。また、音声認識処理部221は、1次候補テキストデータと、その1次候補テキストデータから数単語先で確定した他候補テキストデータとの組み合わせを、他候補蓄積部223へ出力する。
テキストデータ送信部222は、発声途中の暫定的な1次候補テキストデータを、TCPのデータストリームを介して、携帯端末1へ送信する。
音声認識制御部224は、利用者による音声入力が終了するまで、音声認識処理部221及びテキストデータ送信部222を繰り返し機能させる。
他候補蓄積部223は、利用者による音声入力が終了した際に、1次候補テキストデータと、1つ以上の他候補テキストデータとの組み合わせを、携帯端末1へ送信する。
図3は、本発明におけるフローチャートである。図3のシーケンスに対応して、図4は、本発明における端末の第1の表示画面例である。また、図5は、本発明における端末の第2の表示画面例である。
(S301)音声認識サーバ2は、REGISTERメソッドを用いて、当該サーバの位置情報(AOR(Address-Of-Record)、コンタクトアドレス)を、SIPサーバ3へ登録する。
(S302)図4(a)によれば、テキスト処理アプリケーションは、メールソフトウェアであって、利用者がメールの「本文」にテキストを入力しようとしている。
(S303)図4(b)によれば、携帯端末1について、メールソフトウェアのエディタが起動している。そして、利用者は、項目「認識開始」を選択する。
(S304)図4(c)によれば、携帯端末1は、利用者へ、マイクに向かって発声するべく指示する。このとき、テキスト処理アプリケーションは、音声入力インタフェース部へ、音声認識パラメータを引き渡す。これにより、音声入力インタフェース部が起動する。
(S305)携帯端末1は、REGISTERメソッドを用いて、当該端末の位置情報(AOR、コンタクトアドレス)を、SIPサーバ3へ登録する。AORは、SIPにおける端末のロケーションを表す論理的なアドレスである。ここで、AORは、音声認識サーバのアドレスを表す。コンタクトアドレスは、携帯端末の実アドレスであり、AORと紐付けされる。これにより、AORからコンタクトアドレスを検索することができる。尚、AORとコンタクトアドレスとは、必ずしも1対1とは限らない。1つのAORに対して複数のコンタクトアドレスを割り当てることにより、複数の音声認識サーバに対して同時に発信することもできる。
(S311)携帯端末1は、呼接続要求(INVITE)を、SIPサーバ3を介して音声認識サーバ2へ送信する。ここで、INVITEリクエストのSDP(Specification Description Protocol)には、携帯端末1と音声認識サーバ2との間で、音声データ用のRTPのデータストリームと、テキストデータ用のTCPのデータストリームとを確立するべく記述される。
図6は、INVITEリクエストのSDPの記述例である。
"m"は、データストリーム種別を表し、"a"は、そのデータストリームに対するパラメータを表す。本発明のSDPには、音声データストリーム(m=audio)と、テキストデータストリーム(m=message)とが記述される。また、ペイロードタイプとコーデック/フォーマットとがマッピングされる。更に、音声認識パラメータが設定される。音声認識パラメータとしては、例えば、音声認識種別、パケットサイズ、転送間隔、及びテキストデータの出力候補数が設定されている。
図6によれば、種々のパラメータも設定されている。例えば"gps"によれば、携帯端末の位置情報に基づいて音声認識の辞書を切り替えることもできる。また、例えば"user"によれば、個人識別情報又は個人履歴情報に基づいて音声認識の辞書を切り替えることもできる。
音声認識サーバ2は、INVITEリクエストを受信した際に、音声認識パラメータを判定する。音声認識サーバ2は、その音声認識パラメータを許容できる場合、INVITEレスポンスを返信する。
図7は、INVITEレスポンスのSDPの記述例である。
INVITEレスポンスには、データストリーム毎に、音声認識サーバ側のポート番号が記述される。
(S312)携帯端末1と音声認識サーバ2との間で、音声データ用のRTPのデータストリームと、テキストデータ用のTCPのデータストリームとが確立される。
音声入力開始時に、音声認識サーバ2とのセッションが既に確立されている場合、REGISTERメソッド(S305)及びINVITEメソッド(S311)は省略する。
(S321)携帯端末1は、音声入力開始の制御情報を含むINFOメッセージを、SIPサーバ3を介して音声認識サーバ2へ送信する。INFOメソッドは、音声認識パラメータの設定変更、及び音声認識処理の制御情報(開始・終了・中止、エラー等)の通知に用いられる。
(S322)携帯端末1は、利用者によって発声された所定単位の音声データを、RTPのデータストリームを介して音声認識サーバ2へ送信する。これに対し、音声認識サーバ2は、音声認識処理によってテキストデータに変換し、発声途中の暫定的な1次候補テキストデータを、TCPのデータストリームを介して携帯端末1へ返信する。ここで、逐次的に返信されるテキストデータは、音声認識処理による1次候補のものである。携帯端末1は、TCPのデータストリームを介してテキストデータを受信すると同時に、利用者に視認させるべくディスプレイに表示する。
音声データにおける所定単位は、パラメータで指定した転送サイズであって、ネットワーク状態に応じたバッファリングサイズ等によって可変に制御されるものであってもよい。
図4(d)によれば、利用者の発声から認識された「おはようございます」が表示されている。
図4(e)によれば、利用者の発声から認識された「今日の」が表示されている。
図4(f)によれば、利用者の発声から認識された「回避は」が表示されている。実は、利用者は、「会議は」の意味で発声しているにも関わらず、音声認識処理によって1次候補として「回避は」と認識された。
図5(a)によれば、利用者の発声から認識された「午後3次より」が表示されている。実は、利用者は、「午後3時より」の意味で発声しているにも関わらず、音声認識処理によって1次候補として「午後3次より」と認識された。
図5(b)によれば、利用者の発声から認識された「いつもの場所ではじめます」が表示されている。
(S323)携帯端末1は、利用者による音声入力が終了すると、音声入力終了の制御情報を含むINFOメッセージを、SIPサーバ3を介して音声認識サーバ2へ送信する。
音声入力終了のINFOメッセージを受信した音声認識サーバ2は、既に送信した1次候補以外の他候補テキストデータが存在する場合、他候補テキストデータを、携帯端末1へ送信する。
図5(c)によれば、携帯端末1は、1次候補テキストデータ「回避は」に対して、他候補テキストデータ「会費は」「会議は」を受信する。このとき、既にディスプレイに表示された1次候補テキストデータ「回避は」を検索し、その位置にアンカーを表示する。そして、「回避は」「会費は」「会議は」の中で、いずれが正しいテキストデータであるかを、利用者に選択させる。ここでは、「会議は」が選択されている。
図5(d)によれば、携帯端末1は、1次候補テキストデータ「3次」に対して、他候補テキストデータ「賛辞」「3次」を受信する。このとき、既にディスプレイに表示された1次候補テキストデータ「3次」を検索し、その位置にアンカーを表示する。そして、「3次」「賛辞」「3時」の中で、いずれが正しいテキストデータであるかを、利用者に選択させる。ここでは、「3時」が選択されている。
(S324)携帯端末1は、利用者によるテキストデータの選択が終了すると、テキスト処理アプリケーションへテキストデータを引き渡す。これによって、テキスト処理アプリケーションに対するテキストデータの入力が終了する。
(S325)携帯端末1は、BYEメソッドで音声認識サーバ2と接続を切断し、セッションを終了する。
(S326)最後に、携帯端末1は、REGISTERメソッドを用いて、当該携帯端末の位置登録を削除する。
図8は、本発明における第2のシステム構成図である。
図8のシステムは、IP電話又は電話会議システムへの適用例である。例えば、利用者自身又は相手方の発声を音声認識し、テキストデータを得る。そのテキストデータは、メモや議事録として保存され、又は、メールで第三者に転送されることもできる。
図9は、本発明における第3のシステム構成図である。
図9のシステムは、テレビ字幕システムへの適用例である。例えば、IPテレビ受信端末によって、放送番組又はビデオストリーミング番組を視聴する場合、放送内容の音声を認識し、テキストデータとして携帯端末で字幕表示する。
以上、詳細に説明したように、本発明の音声認識方法及びシステムによれば、携帯端末は、所定単位の音声データをRTPのデータストリームで送信すると共に、音声認識によって変換されたテキストデータをTCPのデータストリームで受信する。これにより、音声データとテキストデータとを一括して送受信するHTTPの場合に比べて、ネットワークの負荷をできる限り小さくすることができる。
また、携帯端末は、音声入力中には、音声データを逐次的に変換した第1候補テキストデータをディスプレイに表示すると共に、音声入力終了後に、他候補テキストデータをディスプレイに表示する。これにより、利用者から見て、音声入力中に、リアルタイムに音声データが認識されると共に、音声入力終了後に、最適なテキストデータを選択することができる。
前述した本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
1 携帯端末、端末、携帯電話機
101 通信インタフェース部
102 マイク
103 ディスプレイ
104 キー操作部
111 呼接続部
112 トランスポートインタフェース部
113 テキスト処理アプリケーション
114 音声入力インタフェース部
121 音声データ送信部
122 テキストデータ受信部
123 他候補選択部
2 音声認識サーバ
201 通信インタフェース部
211 呼接続部
212 トランスポートインタフェース部
221 音声認識処理部
222 テキストデータ送信部
223 他候補蓄積部
224 音声認識制御部
3 SIPサーバ、セッション制御サーバ

Claims (8)

  1. セッション制御サーバと、
    前記セッション制御サーバに対する呼接続手段と、テキスト処理アプリケーションと、利用者から音声データを入力する音声入力インタフェース手段とを起動する端末と、
    前記セッション制御サーバに対する呼接続手段と、前記音声データをテキストデータに変換する音声認識処理手段とを有する音声認識サーバと
    を有するシステムにおける音声認識処理方法であって、
    前記端末が、前記テキスト処理アプリケーションに対する前記音声入力インタフェース手段を起動した際に、呼接続要求を、前記セッション制御サーバを介して前記音声認識サーバへ送信し、前記音声認識サーバとの間で、音声データ用の第1のセッションと、テキストデータ用の第2のセッションとを確立する第1のステップと、
    前記端末が、利用者によって発声された所定単位の音声データを、第1のセッションを介して前記音声認識サーバへ送信する第2のステップと、
    前記音声認識サーバが、前記音声認識処理手段を用いて変換した1次候補テキストデータを、第2のセッションを介して前記端末へ送信する第3のステップと、
    前記端末及び前記音声認識サーバが、前記利用者による音声入力が終了するまで、第2のステップ及び第3のステップを連続的に繰り返す第4のステップと、
    前記利用者によって音声入力が終了した際に、前記音声認識サーバが、既に送信した1次候補以外のテキストデータが存在する場合、該テキストデータを、前記端末へ送信する第5のステップと
    を有することを特徴とする音声認識処理方法。
  2. 第1のステップについて、音声データ用の第1のセッションは、RTP(Realtime Transport Protocol)によって確立されており、テキストデータ用の第2のセッションは、TCP(Transmission Control Protocol)によって確立されていることを特徴とする請求項1に記載の音声認識処理方法。
  3. 第1のステップについて、
    前記端末の前記テキスト処理アプリケーションは、前記音声入力インタフェース手段へ音声認識パラメータを引き渡し、前記音声入力インタフェース手段は、前記音声認識パラメータを、前記呼接続手段へ引き渡し、前記呼接続手段は、前記音声認識パラメータを含む前記呼接続要求を、前記セッション制御サーバを介して前記音声認識サーバへ送信し、
    前記音声認識サーバは、前記音声認識パラメータに基づいて音声認識処理が可能である場合にのみ、呼接続受付応答を返信する
    ことを特徴とする請求項1又は2に記載の音声認識処理方法。
  4. 第1のステップについて、前記音声認識パラメータは、復号処理のためのコーデック情報と、辞書切替のための音声認識種別とを含むことを特徴とする請求項3に記載の音声認識処理方法。
  5. 端末と音声認識サーバとが、セッション制御サーバによって呼接続されるシステムにおいて、
    前記端末は、
    テキスト処理アプリケーションと、
    利用者から音声データを入力する音声入力インタフェース手段と、
    前記テキスト処理アプリケーションに対する前記音声入力インタフェース手段を起動した際に、呼接続要求を、前記セッション制御サーバを介して前記音声認識サーバへ送信し、前記音声認識サーバとの間で、音声データ用の第1のセッションと、テキストデータ用の第2のセッションとを確立する呼接続手段と、
    前記音声入力インタフェース手段によって取得された所定単位の音声データを、第1のセッションを介して前記音声認識サーバへ送信する音声データ送信手段と
    を有し、
    前記音声認識サーバは、
    前記セッション制御サーバに対する呼接続手段と、
    前記音声データをテキストデータに変換する音声認識処理手段と、
    1次候補テキストデータを第2のセッションを介して前記端末へ送信するテキストデータ送信手段と、
    前記利用者による音声入力が終了するまで、前記音声認識処理手段及び前記テキストデータ送信手段を連続的に繰り返す音声認識制御手段と、
    前記利用者によって音声入力が終了した際に、前記音声認識サーバが、既に送信した1次候補以外の候補テキストデータが存在する場合、該テキストデータを、前記端末へ送信する他候補蓄積手段と
    を有することを特徴とするシステム。
  6. 音声データ用の第1のセッションは、RTPによって確立されており、テキストデータ用の第2のセッションは、TCPによって確立されていることを特徴とする請求項5に記載のシステム。
  7. 前記端末について、
    前記テキスト処理アプリケーションは、前記音声入力インタフェース手段へ音声認識パラメータを引き渡し、
    前記音声入力インタフェース手段は、前記音声認識パラメータを、前記呼接続手段へ引き渡し、
    前記呼接続手段は、前記音声認識パラメータを含む前記呼接続要求を、前記セッション制御サーバを介して前記音声認識サーバへ送信し、
    前記音声認識サーバについて、
    前記音声認識パラメータに基づいて音声認識処理が可能である場合にのみ、呼接続受付応答を返信する
    ことを特徴とする請求項5又は6に記載のシステム。
  8. 前記音声認識パラメータは、復号処理のためのコーデック情報と、辞書切替のための音声認識種別とを含むことを特徴とする請求項7に記載のシステム。
JP2009065542A 2009-03-18 2009-03-18 音声によってテキストを入力する音声認識処理方法及びシステム Expired - Fee Related JP5244663B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009065542A JP5244663B2 (ja) 2009-03-18 2009-03-18 音声によってテキストを入力する音声認識処理方法及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009065542A JP5244663B2 (ja) 2009-03-18 2009-03-18 音声によってテキストを入力する音声認識処理方法及びシステム

Publications (2)

Publication Number Publication Date
JP2010217628A true JP2010217628A (ja) 2010-09-30
JP5244663B2 JP5244663B2 (ja) 2013-07-24

Family

ID=42976540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009065542A Expired - Fee Related JP5244663B2 (ja) 2009-03-18 2009-03-18 音声によってテキストを入力する音声認識処理方法及びシステム

Country Status (1)

Country Link
JP (1) JP5244663B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101165906B1 (ko) * 2010-10-05 2012-07-13 주식회사 엘지유플러스 음성-텍스트 변환 중계 장치 및 그 제어방법
US9002708B2 (en) 2011-05-12 2015-04-07 Nhn Corporation Speech recognition system and method based on word-level candidate generation
JP2016531375A (ja) * 2013-09-20 2016-10-06 アマゾン テクノロジーズ インコーポレイテッド ローカルとリモートのスピーチ処理
JP2018045208A (ja) * 2016-09-16 2018-03-22 株式会社東芝 会議支援システム、会議支援方法及びプログラム
JP2018045193A (ja) * 2016-09-16 2018-03-22 株式会社リコー 通信端末、音声変換方法、及びプログラム
CN108346429A (zh) * 2017-01-22 2018-07-31 腾讯科技(深圳)有限公司 基于语音识别的数据传输方法和装置
KR20190083884A (ko) * 2018-01-05 2019-07-15 삼성전자주식회사 음성 명령을 처리하기 위한 전자 문서 표시 방법 및 그 전자 장치
JP2019194733A (ja) * 2015-09-03 2019-11-07 グーグル エルエルシー 強化された発話エンドポイント指定のための方法、システム、およびコンピュータ可読記憶媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102443079B1 (ko) 2017-12-06 2022-09-14 삼성전자주식회사 전자 장치 및 그의 제어 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10333693A (ja) * 1997-04-14 1998-12-18 At & T Corp 自動スピーチ認識サービス提供方法およびシステム
JP2001142488A (ja) * 1999-11-17 2001-05-25 Oki Electric Ind Co Ltd 音声認識通信システム
JP2003044091A (ja) * 2001-07-31 2003-02-14 Ntt Docomo Inc 音声認識システム、携帯情報端末、音声情報処理装置、音声情報処理方法および音声情報処理プログラム
JP2005049713A (ja) * 2003-07-30 2005-02-24 Hitoshi Kimura 単音声による文字入力システム
JP2005062572A (ja) * 2003-08-15 2005-03-10 Advanced Telecommunication Research Institute International 音声認識装置
JP2006215315A (ja) * 2005-02-04 2006-08-17 Kddi Corp 音声認識装置、音声認識端末装置、音声認識システム及びコンピュータプログラム
JP2007179072A (ja) * 2007-02-23 2007-07-12 Mitsubishi Electric Corp 音響処理装置、音響処理方法、音響処理プログラム、照合処理装置、照合処理方法及び照合処理プログラム
JP2008015209A (ja) * 2006-07-05 2008-01-24 Kddi Corp 音声認識装置およびその認識辞書更新方法、プログラムならびに記憶媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10333693A (ja) * 1997-04-14 1998-12-18 At & T Corp 自動スピーチ認識サービス提供方法およびシステム
JP2001142488A (ja) * 1999-11-17 2001-05-25 Oki Electric Ind Co Ltd 音声認識通信システム
JP2003044091A (ja) * 2001-07-31 2003-02-14 Ntt Docomo Inc 音声認識システム、携帯情報端末、音声情報処理装置、音声情報処理方法および音声情報処理プログラム
JP2005049713A (ja) * 2003-07-30 2005-02-24 Hitoshi Kimura 単音声による文字入力システム
JP2005062572A (ja) * 2003-08-15 2005-03-10 Advanced Telecommunication Research Institute International 音声認識装置
JP2006215315A (ja) * 2005-02-04 2006-08-17 Kddi Corp 音声認識装置、音声認識端末装置、音声認識システム及びコンピュータプログラム
JP2008015209A (ja) * 2006-07-05 2008-01-24 Kddi Corp 音声認識装置およびその認識辞書更新方法、プログラムならびに記憶媒体
JP2007179072A (ja) * 2007-02-23 2007-07-12 Mitsubishi Electric Corp 音響処理装置、音響処理方法、音響処理プログラム、照合処理装置、照合処理方法及び照合処理プログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101165906B1 (ko) * 2010-10-05 2012-07-13 주식회사 엘지유플러스 음성-텍스트 변환 중계 장치 및 그 제어방법
US9002708B2 (en) 2011-05-12 2015-04-07 Nhn Corporation Speech recognition system and method based on word-level candidate generation
JP2016531375A (ja) * 2013-09-20 2016-10-06 アマゾン テクノロジーズ インコーポレイテッド ローカルとリモートのスピーチ処理
JP2019194733A (ja) * 2015-09-03 2019-11-07 グーグル エルエルシー 強化された発話エンドポイント指定のための方法、システム、およびコンピュータ可読記憶媒体
US11996085B2 (en) 2015-09-03 2024-05-28 Google Llc Enhanced speech endpointing
JP2018045208A (ja) * 2016-09-16 2018-03-22 株式会社東芝 会議支援システム、会議支援方法及びプログラム
JP2018045193A (ja) * 2016-09-16 2018-03-22 株式会社リコー 通信端末、音声変換方法、及びプログラム
CN108346429A (zh) * 2017-01-22 2018-07-31 腾讯科技(深圳)有限公司 基于语音识别的数据传输方法和装置
CN108346429B (zh) * 2017-01-22 2022-07-08 腾讯科技(深圳)有限公司 基于语音识别的数据传输方法和装置
KR20190083884A (ko) * 2018-01-05 2019-07-15 삼성전자주식회사 음성 명령을 처리하기 위한 전자 문서 표시 방법 및 그 전자 장치
KR102519635B1 (ko) 2018-01-05 2023-04-10 삼성전자주식회사 음성 명령을 처리하기 위한 전자 문서 표시 방법 및 그 전자 장치
US11720324B2 (en) 2018-01-05 2023-08-08 Samsung Electronics Co., Ltd. Method for displaying electronic document for processing voice command, and electronic device therefor

Also Published As

Publication number Publication date
JP5244663B2 (ja) 2013-07-24

Similar Documents

Publication Publication Date Title
JP5244663B2 (ja) 音声によってテキストを入力する音声認識処理方法及びシステム
US8239204B2 (en) Inferring switching conditions for switching between modalities in a speech application environment extended for interactive text exchanges
US6970935B1 (en) Conversational networking via transport, coding and control conversational protocols
US6934756B2 (en) Conversational networking via transport, coding and control conversational protocols
CA2345660C (en) System and method for providing network coordinated conversational services
US8332227B2 (en) System and method for providing network coordinated conversational services
US8824641B2 (en) Real time automatic caller speech profiling
US7848314B2 (en) VOIP barge-in support for half-duplex DSR client on a full-duplex network
US8880405B2 (en) Application text entry in a mobile environment using a speech processing facility
DK2321821T3 (en) Distributed voice recognition that use one-way communications
US6801604B2 (en) Universal IP-based and scalable architectures across conversational applications using web services for speech and audio processing resources
US20110067059A1 (en) Media control
US20180052831A1 (en) Language translation device and language translation method
US20200134022A1 (en) Adaptive natural language steganography and watermarking for virtual assistants
JP2011125006A5 (ja)
JP6787269B2 (ja) 音声認識システム及び音声認識方法
US11900942B2 (en) Systems and methods of integrating legacy chatbots with telephone networks
JP2017535852A (ja) コンピュータベースの翻訳システムおよび方法
JP5046589B2 (ja) 電話システムと通話補助方法とプログラム
US20060168297A1 (en) Real-time multimedia transcoding apparatus and method using personal characteristic information
US10333993B2 (en) Session initiation protocol message processing
CN113129865A (zh) 通信语音转写AI connector中间元件的处理方法和装置
JP2011139303A (ja) 通信システム、制御装置、通信制御方法、およびプログラム
Maes Requirements, Design points and Recommendations for Conversational Distributed Protocols and Conversational Engine Remote Control

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110816

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130408

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160412

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees