前記課題を解決するためになされた第1の発明は、原言語の文字情報に基づいて他言語の合成音声を出力する翻訳装置であって、予め登録された複数の定型文が表示されている状態で、ユーザが選択した定型文を第1の定型文および第2の定型文として取得し、前記第1の定型文および前記第2の定型文を連結して、1つの連結定型文を作成する連結定型文作成部と、作成された前記連結定型文を記憶部に登録する定型文管理部と、登録された前記連結定型文がユーザにより選択されると、その選択された連結定型文に関する原言語の合成音声および他言語の合成音声を取得する合成音声取得部と、前記原言語の合成音声および他言語の合成音声をスピーカから出力する音声出力部と、を備える構成とする。
これによると、複数の定型文を連結した連結定型文を作成して、その連結定型文をユーザ固有定型文として登録することができる。これにより、音声を出力する際には、登録されたユーザ固有定型文をユーザが選択するだけで済むため、ユーザの利便性を高めることができる。
また、第2の発明は、前記連結定型文作成部は、前記記憶部に登録された前記連結定型文の中から、前記第1の定型文および前記第2の定型文の少なくともいずれかを取得し、前記第1の定型文および前記第2の定型文を連結して、1つの前記連結定型文を作成する構成とする。
これによると、ユーザ固有定型文と他の定型文を連結した連結定型文を作成して、その連結定型文をユーザ固有定型文として登録することができる。
また、第3の発明は、原言語の文字情報に対応する他言語の文字情報を音声に変換して出力する翻訳装置の制御方法であって、予め登録された複数の定型文が表示されている状態で、ユーザが選択した定型文を第1の定型文および第2の定型文として取得し、前記第1の定型文および前記第2の定型文を連結して、1つの連結定型文を作成し、前記連結定型文を記憶部に登録し、登録された前記連結定型文がユーザにより選択されると、その選択された連結定型文に関する原言語の合成音声および他言語の合成音声を取得し、前記原言語の合成音声および他言語の合成音声をスピーカから出力する構成とする。
これによると、複数の定型文を連結した連結定型文を作成して、その連結定型文をユーザ固有定型文として登録することができる。これにより、音声を出力する際には、登録されたユーザ固有定型文をユーザが選択するだけで済むため、ユーザの利便性を高めることができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図1は、本実施形態に係る拡声装置1の側面図である。
この拡声装置1(翻訳装置)では、筐体2の内部に、マイク3と、音声切換部5と、制御部6と、アンプ7と、スピーカ8と、表示入力パネル9と、が収容されている。また、筐体2の下部には、ユーザが把持するグリップ10が取り付けられている。筐体2におけるスピーカ8の前側には、円錐形状のホーン部11が設けられている。なお、筐体2の内部には電池(図示せず)も収容されている。
マイク3は、ユーザが発話する音声を収音する。
制御部6は、マイク3で収音した原音声を録音する処理や、録音した原音声を文字情報に変換する処理(音声認識)や、原音声の文字情報(原文)と類似する定型文を探し出す処理(検索)や、定型文の文字情報から合成音声を生成する処理(音声合成)や、合成音声や原音声を再生する処理などを行う。
音声切換部5は、メガホンモード(第1の動作モード)での音声パス(音声の経路)と、翻訳モード(第2の動作モード)での音声パスとを切り換える。アンプ7は、音声切換部5から出力される音声を増幅する。スピーカ8は、アンプ7で増幅された音声を出力する。
メガホンモードでは、マイク3で収音した原音声をそのままアンプ7で増幅してスピーカ8で出力する。翻訳モードでは、マイク3で収音した原音声を制御部6に入力して、制御部6で生成した合成音声や原音声をアンプ7で増幅してスピーカ8で出力する。
筐体2の側面には、モード切換スイッチ12が設けられている。このモード切換スイッチ12は、メガホンモードと翻訳モードとを切り換えるものであり、モード切換スイッチ12の操作に応じて、音声切換部5においてメガホンモードでの音声パスと翻訳モードでの音声パスとが切り換えられる。
表示入力パネル9(表示部、入力部)は、タッチパネルと液晶ディスプレイとを組み合わせた、いわゆるタッチパネルディスプレイで構成され、画面を上向きにした状態で、筐体2の上部に形成された凸部18に収容されている。
凸部18の側面には電源スイッチ13が設けられている。
グリップ10の手前側には、録音スイッチ14と、音量調整スイッチ15とが設けられている。グリップ10の逆側には、出力スイッチ16と、ロックスイッチ17と、が設けられている。ユーザは、一方の手でグリップ10を把持した状態で、その手の親指で録音スイッチを操作し、また、人差し指で出力スイッチを操作することができる。
録音スイッチ14は、マイク3で収音した音声の録音を指示するものである。音量調整スイッチ15は、スピーカ8から出力される音声の音量を調整するものである。
出力スイッチ16は、メガホンモードでは、アンプ7を動作させる操作を行うものとなり、出力スイッチ16を押下すると、マイク3で収音された原音声がアンプ7で増幅して出力される。一方、翻訳モードでは、出力スイッチ16は、アンプ7を動作させるとともに音声の再生を制御部6に指示する操作を行うものとなり、出力スイッチ16を押下すると、制御部6で音声が再生されて、その音声がアンプ7で増幅されて出力される。このとき、出力スイッチ16を押下し続けることで、音声が繰返し再生される。
ロックスイッチ17は、出力スイッチ16を押下状態に保持するものである。これにより、出力スイッチ16をユーザが押下し続けなくても音声の出力を継続させることができる。
なお、モード切換スイッチ12はロッカースイッチであり、録音スイッチ14および出力スイッチ16は押ボタンスイッチであり、音量調整スイッチ15はロータリースイッチである。
次に、拡声装置1の概略構成について説明する。図2は、拡声装置1の概略構成を示すブロック図である。
モード切換スイッチ12の信号が音声切換部5に入力される。この音声切換部5は、モード切換スイッチ12の操作に応じて、メガホンモードでの音声パスと翻訳モードでの音声パスとを切り換えるものであり、入力切換部21と、出力切換部22と、を備えている。入力切換部21では、マイク3から出力される音声を、出力切換部22側および制御部6側のいずれかに出力する。出力切換部22では、入力切換部21および制御部6のいずれかから入力される音声をアンプ7側に出力する。
音声切換部5と制御部6との間にはレベル調整部23が設けられている。このレベル調整部23では、音声切換部5の入力切換部21から出力される音声のレベルが調整される。
音量調整スイッチ15の信号が音量調整部24に入力される。この音量調整部24は、音声切換部5とアンプ7との間に設けられている。この音量調整部24では、音量調整スイッチ15の操作に応じて、音声切換部5の出力切換部22から出力される音声の音量が調整される。
出力スイッチ16の信号がアンプ7に入力される。出力スイッチ16は、アンプ7への給電を断続するスイッチとして機能し、メガホンモードにおいて出力スイッチ16が押下されると、アンプ7が通電して音声出力状態となり、マイク3から入力される原音声がアンプ7で増幅されて出力される。一方、翻訳モードにおいて出力スイッチ16が押下されると、アンプ7が通電して音声出力状態になるとともに、再生部35で音声が再生されて、再生部35から出力される音声がアンプ7で増幅されて出力される。
記憶部25は、制御部6において、ユーザが発話する音声を録音した原音声や、原音声の音声認識により取得した原文や、定型文の文字情報から変換された合成音声を一時記憶する。また、記憶部25は、定型文データベースを記憶する。この定型文データベースには、多数の定型文が登録されている。
また、記憶部25は、表示入力パネル9に表示された設定画面上でユーザが入力した情報をユーザ設定情報として記憶する。本実施形態では、ユーザ設定情報として、原言語の音声として原音声を出力するか否かに関する情報や、合成音声の性別(女性の声または男性の声)に関する情報や、複数の他言語(英語、中国語など)の音声を出力する順番に関する情報が記憶される。
制御部6は、録音部31と、音声認識部32と、検索部33と、音声合成部34と、再生部35と、出力制御部36と、定型文管理部37と、テンプレート編集部38と、連結定型文作成部39と、を備えている。この制御部6は、プロセッサで構成され、制御部6の各部は、記憶部25に記憶されたプログラムを実行することで実現される。
この制御部6には、モード切換スイッチ12の信号、録音スイッチ14の信号、および出力スイッチ16の信号が入力される。
次に、制御部6の各部で行われる処理について説明する。まず、録音部31、音声認識部32、検索部33、音声合成部34、再生部35、および出力制御部36で行われる処理について説明する。図3は、制御部6で行われる処理の概略を示す説明図である。図4は、記憶部25に一時記憶される情報を示す説明図である。
ここで、図3に示すように、音声認識部32、検索部33、および音声合成部34で合成音声取得部26が構成される。また、再生部35、アンプ7およびスピーカ8で音声出力部27が構成される。
録音部31は、レベル調整部23から出力される原音声を録音する。この録音処理では、音声信号(アナログ信号)を音声データにA/D変換して記憶部25に記憶させる(図4参照)。録音部31では、録音スイッチ14が押下されると、録音処理が開始され、録音スイッチ14がリリースされると、録音処理を終了する。
音声認識部32は、録音部31で録音された原音声を文字情報に変換する音声認識を行い、この音声認識結果として、原文(原音声の文字情報)を取得する。この原文は原音声に対応づけて記憶部25に一時記憶される(図4参照)。
検索部33は、定型文データベース(図6参照)に登録された原言語(日本語)の定型文の中から、音声認識部32で取得した原文(原音声の文字情報)と類似度が最も高い定型文を探し出す。例えば、原言語の文字情報が「ここで物資を配布します」である場合(図4参照)、類似度が高い定型文の文字情報として、「こちらで物資を配布しております」が選択される。
この検索部33では、原文(原音声の文字情報)と、定型文データベースに登録された定型文の原言語(日本語)の文字情報(日本語テキスト)とを比較して、両者の類似度を判定し、類似度の高い、具体的には、類似度が所定のしきい値以上となる定型文を抽出する。
音声合成部34は、原言語の定型文を定型文データベースから取得して、その原言語(日本語)の定型文の文字情報から音声合成により原言語の合成音声を生成する。また、原言語の定型文の文字情報である日本語テキストに対応づけられた他言語の定型文を定型文データベースから取得して、その他言語(英語、中国語など)の定型文の文字情報から音声合成により他言語の合成音声を生成する。この音声合成部34で生成した合成音声は記憶部25に一時記憶される。
出力制御部36は、出力スイッチ16が押下されると、音声の出力を開始し、出力スイッチ16がリリースされると、音声の出力を停止するように制御する。このとき、出力制御部36は、検索部33で取得した原言語の定型文およびこれに対応する他言語の定型文の音声合成を音声合成部34に指示し、さらに、音声合成部34で生成した合成音声の再生を再生部35に指示する。また、出力制御部36は、ユーザ設定情報に基づいて、原言語の音声に続けて、ユーザが指定した順番で複数の他言語の合成音声を出力するように、音声合成部34および再生部35に指示する。
また、出力制御部36は、ユーザ設定情報に基づいて、原言語の音声として原音声と原言語(日本語)の合成音声とのいずれかを出力するように制御する。ここで、原音声を出力する場合には、原音声を記憶部25から取得して、原音声の再生を再生部35に指示する。一方、原言語の合成音声を出力する場合には、原言語の定型文を記憶部25から取得して、原言語の定型文の音声合成を音声合成部34に指示し、さらに、音声合成部34で生成した原言語の合成音声の再生を再生部35に指示する。
また、出力制御部36は、合成音声を出力する場合に、ユーザ設定情報に基づいて、女性合成音声と男性合成音声とのいずれかを出力するように制御する。女性合成音声を出力する場合には、女性音声合成を生成するように音声合成部34に指示し、男性合成音声を出力する場合には、男性合成音声を生成するように音声合成部34に指示する。
再生部35は、録音部31で録音された原音声、および音声合成部34で生成した合成音声を再生する。この再生処理では、原音声および合成音声のデータを音声信号(アナログ信号)にD/A変換する処理が行われる。なお、原音声および合成音声は記憶部25に一時記憶されており、出力スイッチ16が押下されている状態では、原言語の音声(原音声または合成音声)および他言語の合成音声が所定の順番で連続して繰り返し再生される。
ところで、図3には、ユーザが発話した音声を録音して、その音声の音声認識結果である原文に類似する定型文を検索して、その定型文の音声を出力する方式(音声入力方式)を示したが、本実施形態では、適切な定型文を表示画面でユーザが探し出して、その定型文の音声を出力する方式(画面選択方式)も可能である。
次に、制御部6の定型文管理部37、テンプレート編集部38および連結定型文作成部39で行われる処理の概要について説明する。図5は、制御部6で行われる処理の概略を示す説明図である。図6は、定型文データベースの登録内容の一例を示す説明図である。図7は、テンプレート定型文の可変部辞書の登録内容の一例を示す説明図である。図8は、ユーザ固有定型文データベースの登録内容の一例を示す説明図である。
図5に示すように、本実施形態では、記憶部25に、定型文データベースと、ユーザ固有定型文データベースと、履歴データベースと、テンプレート定型文の可変部辞書と、が記憶されており、この定型文データベース、ユーザ固有定型文データベース、履歴データベース、およびテンプレート定型文の可変部辞書が、定型文管理部37で管理される。
図6に示すように、定型文データベースには、定型文ごとに、定型文識別情報と、原言語(日本語)の文字情報(日本語テキスト)と、これに対応する他言語(英語、中国語など)の文字情報(英語テキスト、中国語テキストなど)と、が登録されている。
ここで、定型文には、一般定型文とテンプレート定型文とがある。一般定型文は、全文が固定されたものであり、テンプレート定型文は、固定部と、語句を入れ替え可能な可変部とからなるものである。定型文識別情報は、定型文の種類を識別するものであり、この例では、一般定型文を「0」、テンプレート定型文を「1」とする。
図7に示すように、テンプレート定型文の可変部辞書には、テンプレート定型文の可変部に挿入する語句の文字情報が、候補ID(%10など)とともに登録されている。定型文データベース(図6参照)では、テンプレート定型文の可変部に候補IDが埋め込まれた状態で登録されており、可変部辞書を参照することでテンプレート定型文が完成する。
ここで、一例として、図6に示すように、日本語テキストが「%10を%20から%30にてお配りいたします。」となるテンプレート定型文では、図7に示す可変部辞書を参照して、可変部に語句を挿入することで、「寝袋を午後1時から1階出口にてお配りいたします。」という文章が得られる。
図8に示すように、ユーザ固有定型文データベースには、ユーザ固有定型文ごとに、定型文識別情報と、原言語の文字情報(日本語テキスト)と、他言語の文字情報(英語テキスト、中国語テキストなど)と、が登録されている。
図8に示す例では、ユーザ固有定型文データベースに、上から1行目、2行目に示すように、一般定型文がそのまま登録されている。また、3行目、4行目に示すように、図6の定型文データベースの可変部の語句が入れ替えられた編集後のテンプレート定型文が登録されている。さらに、5行目に示すように、2つの一般定型文を連結した連結定型文が登録されており、6行目に示すように、2つのテンプレート定型文を連結した連結定型文が登録されており、7行目に示すように、一般定型文とテンプレート定型文を連結した連結定型文が登録されている。
なお、履歴データベースには、ユーザ固有定型文データベースと同様に、定型文(一般定型文およびテンプレート定型文、連結定型文)が登録される。
図5に示すように、定型文管理部37では、ユーザの登録操作に応じて、定型文をユーザ固有定型文としてユーザ固有定型文データベースに登録する。このユーザ固有定型文データベースには、利用頻度の高い定型文をユーザが登録することができる。
このとき、定型文データベースに登録された定型文(一般定型文およびテンプレート定型文)を取得して、その定型文をそのままユーザ固有定型文として登録することができる。また、編集後のテンプレート定型文をテンプレート編集部38から取得して、その編集後のテンプレート定型文をユーザ固有定型文として登録することができる。また、連結定型文作成部39から連結定型文を取得して、その連結定型文をユーザ固有定型文として登録することができる。
また、定型文管理部37では、音声出力時間、すなわち音声の出力を開始してから停止するまでの時間を計時して、その音声出力時間が所定のしきい値(例えば3秒)以上となる場合には、音声出力した定型文を履歴データベースに登録する。これにより、音声出力した定型文が、ユーザが登録の操作を行うことなく自動で登録される。
本実施形態では、テンプレート編集部38および連結定型文作成部39でユーザ固有定型文作成部28が構成される。
テンプレート編集部38は、ユーザの操作に応じて、ユーザが選択した語句を、テンプレート定型文の可変部に挿入する編集処理を行う。
また、テンプレート編集部38は、ユーザの操作に応じて、ユーザが選択したユーザ固有定型文を、ユーザ固有定型文データベースから取得して、ユーザ固有定型文に含まれるテンプレート定型文の可変部に、ユーザが選択した語句を挿入する再編集処理を行う。
連結定型文作成部39は、ユーザの操作に応じて、ユーザが選択した複数の定型文を連結した連結定型文を作成する。このとき、定型文データベースから定型文(一般定型文およびテンプレート定型文)を取得して、一般定型文同士を連結したり、テンプレート定型文同士を連結したり、一般定型文とテンプレート定型文を連結したりすることができる。
また、ユーザ固有定型文データベースからユーザ固有定型文を取得して、ユーザ固有定型文同士を連結したり、定型文データベースから定型文(一般定型文およびテンプレート定型文)を取得して、ユーザ固有定型文と他の定型文(一般定型文、テンプレート定型文)と連結したりすることができる。
また、編集後のテンプレート定型文をテンプレート編集部38から取得して、その編集後のテンプレート定型文と他の定型文(一般定型文、テンプレート定型文、ユーザ固有定型文)と連結することができ、また、編集後のテンプレート定型文同士を連結することができる。
なお、本実施形態では、図3に示したように、音声入力方式の場合に、原音声が記憶部25に一時記憶されるため、音声を出力する際に、原言語の音声として、定型文の合成音声の代わりに、原音声を出力することができる。一方、ユーザ固有定型文データベースや履歴データベースから定型文を選択して音声を出力する際に、原音声は記憶部25に記憶されていないため、原音声を出力することはできない。
次に、表示入力パネル9に表示されるメニュー画面について説明する。図9は、メニュー画面を示す説明図である。
拡声装置1を起動すると、TOP画面(図示せず)が表示され、このTOP画面でメニューボタンを操作すると、図9に示すメニュー画面が表示される。
このメニュー画面では、「TOP」、「お気に入り」、「履歴」、「定型文」、および「設定」の各選択肢が設けられている。「TOP」を選択すると、TOP画面に戻る。「お気に入り」はユーザ固有定型文データベース(図8参照)の定型文を指し、「お気に入り」を選択すると、ユーザ固有定型文一覧画面(図15参照)に遷移する。「履歴」は所定秒数以上拡声されると自動的に登録される履歴データベースの定型文を指し、「履歴」を選択すると、履歴一覧画面(図16参照)に遷移する。「定型文」は元々備える定型文データベース(図6参照)の定型文を指し、「定型文」を選択すると、定型文一覧画面(図10参照)に遷移する。「設定」は各種ユーザ設定のためのメニューであり、「設定」を選択すると、設定画面(図示せず)に遷移する。
次に、表示入力パネル9に表示される定型文一覧画面について説明する。図10は、定型文一覧画面を示す説明図である。
メニュー画面(図9参照)でユーザが「定型文」を選択するなどの操作を行うと、図10に示す定型文一覧画面が表示される。
この定型文一覧画面には、定型文データベースに登録された定型文(一般定型文およびテンプレート定型文)が一覧表示される。このとき、定型文データベース(図6参照)から定型文ごとに原言語(日本語)の文字情報を取得して、この原言語の文字情報が表示される。
ユーザは、画面上で選択操作(タップ)を行うことで、画面に表示された定型文のいずれかを選択することができる。定型文が選択されると、定型文表示画面(図11参照)に遷移する。
図10に示す例では、「寝袋を午後1時から1階出口にてお配りいたします。」のテンプレート定型文が選択されている。また、テンプレート定型文では、他の語句に入れ替え可能な可変部に下線が表示されている。なお、可変部が固定部と異なる文字色で強調表示されるようにしてもよい。
また、この定型文一覧画面には、「お気に入り」、「履歴」および「定型文」のタブ41が設けられている。選択中のタブ41には下線が表示される。「お気に入り」や「履歴」のタブ41を操作すると、ユーザ固有定型文一覧画面(図15参照)や履歴一覧画面(図16参照)に遷移させることができる。
次に、ユーザが定型文を直接選択した場合に表示入力パネル9に表示される定型文表示画面について説明する。図11は、ユーザが定型文を直接選択した場合に表示される定型文表示画面を示す説明図である。
定型文一覧画面(図10参照)でユーザが選択した定型文が一般定型文である場合には、図11(A)に示す定型文表示画面が表示される。また、ユーザが選択した定型文がテンプレート定型文である場合には、図11(B)に示す定型文表示画面が表示される。
この定型文表示画面には、定型文表示部51が設けられている。この定型文表示部51には、定型文一覧画面(図10参照)で選択した定型文の原言語(日本語)の文字情報(日本語テキスト)が表示される。
また、この定型文表示画面には、再生順序表示部52が設けられている。この再生順序表示部52には、ユーザ設定情報に基づいて、原言語(日本語)および他言語(英語、中国語、韓国語など)の再生順序が表示される。また、再生順序表示部52には、国旗アイコン53が設けられており、この国旗アイコン53を操作することで、他言語の文字情報が定型文表示部51に表示される。なお、ユーザによる再生順序の設定は設定画面(図示せず)で行われる。
また、図11(B)に示すように、テンプレート定型文が表示された定型文表示画面には、「テンプレート編集」のボタン55が設けられている。この「テンプレート編集」のボタン55を操作すると、テンプレート編集画面(図13参照)に遷移して、テンプレート定型文内の可変部の語句を所望の語句に置き換える編集作業を行うことができる。
また、この定型文表示画面には、短縮登録ボタン56が設けられている。この短縮登録ボタン56には、使用頻度の高い定型文を登録することができ、短縮登録ボタン56を操作(タップ)すると、登録された定型文が定型文表示部51に表示される。
次に、ユーザが発話した音声に基づいて定型文を検索した場合に表示入力パネル9に表示される定型文表示画面について説明する。図12は、ユーザが発話した音声を元に表示される定型文表示画面を示す説明図である。
本実施形態では、検索部33において、ユーザが発話した原音声の音声認識により生成される原文と類似度が高い定型文が検索され、ここで見つかった原言語(日本語)の定型文が、図12に示す定型文表示画面に表示される。
このとき、検索で見つかった定型文が一般定型文である場合には、図12(A)に示す定型文表示画面が表示される。また、検索で見つかった定型文がテンプレート定型文である場合には、図12(B)に示すように、可変部が判別可能(この例では下線)に表示されるとともに「テンプレート編集」のボタン55が付加された定型文表示画面が表示される。
ここで、検索部33では、類似度が所定のしきい値以上となる定型文が候補として抽出されるが、このとき、複数の候補が抽出される場合がある。一方、この定型文表示画面では、1つの画面に1つの候補が表示されるようになっており、定型文表示画面は、各候補を順に表示する連続画面となり、画面を切り替えることで、定型文の候補を順に表示させることができる。
また、この定型文表示画面には、候補総数表示部61と、候補番号表示部62と、が設けられている。候補総数表示部61には、原文に類似するものとして抽出された候補(定型文)の総数が表示される。候補番号表示部62には、現在表示中の候補の番号(分子)と候補の総数(分母)とが表示される。図6に示す例では、候補が5つあり、その5つの候補のうちの1番目の候補が定型文表示画面に表示されている。
また、この定型文表示画面には、画面送り(ページ送り)を行うための左右のアイコン63a,63bが設けられている。右のアイコン63aを操作(タップ)すると、次の画面(ページ)に遷移させることができ、左のアイコン63bを操作(タップ)すると、前の画面(ページ)に遷移させることができる。このアイコン63a,63bは、画面送りが可能な場合に表示される。すなわち、次の画面がある場合には、右のアイコン63aが表示され、前の画面がある場合には、左のアイコン63bが表示される。
なお、1つの画面に複数の候補を表示させて、その中からユーザに選択させるようにしてもよい。
次に、表示入力パネル9に表示されるテンプレート編集画面について説明する。図13は、テンプレート編集画面を示す説明図である。
このテンプレート編集画面は、テンプレート定型文の可変部を適切な語句に置き換える編集を行うものであり、定型文表示画面(図11(B),図12(B)参照)で「テンプレート編集」のボタン55を操作することで表示される。
このテンプレート編集画面には、テンプレート定型文表示部71が設けられている。このテンプレート定型文表示部71には、初期状態で、編集前のテンプレート定型文が表示される。
また、このテンプレート編集画面には、候補表示部72が設けられている。この候補表示部72には、テンプレート定型文の可変部の候補となる語句が表示される。可変部の候補は、可変部辞書(図7参照)の候補IDに基づいてグループ化されており、同じグループの候補が候補表示部72に表示される。図7の例では、IDが%1n(%10、%11、%12〜)、%2n(%20、%21、%22〜)などの横列のものが1つのグループとなる。この候補表示部72で、適切な語句を選択すると、可変部が選択した語句に置き換えられた編集後のテンプレート定型文がテンプレート定型文表示部71に表示される。
また、このテンプレート編集画面には、決定ボタン73が設けられている。この決定ボタン73を操作すると、テンプレート定型文表示部71に表示された編集後のテンプレート定型文で確定され、定型文表示画面(図11(B),図12(B)参照)に戻る。
次に、表示入力パネル9に表示されるユーザ固有定型文登録画面について説明する。図14は、ユーザ固有定型文登録画面を示す説明図である。
定型文一覧画面(図10参照)で定型文を選択する操作(長押し)を行うと、図14に示すユーザ固有定型文登録画面が表示される。
このユーザ固有定型文登録画面には、第1の定型文表示部81と、第2の定型文表示部82と、が設けられている。第1の定型文表示部81には、定型文一覧画面(図10参照)で選択した定型文(第1の定型文)が表示される。第2の定型文表示部82には、連結する定型文(第2の定型文)が表示されるが、初期状態では、なにも表示されない。
定型文の連結を行う場合には、第2の定型文表示部82を操作(長押し)する。これにより、定型文一覧画面(図10参照)と同様に、定型文が一覧表示された定型文選択画面(図示せず)が表示され、この定型文選択画面で、2つ目の定型文を選択することができる。
ここで、図14(A)に示す例では、2つの一般定型文を連結して登録するようにしている。図14(B)に示す例では、1つのテンプレート定型文をそのまま登録するようにしている。図14(C)に示す例では、2つのテンプレート定型文を連結して登録するようにしている。
また、このユーザ固有定型文登録画面には、キャンセルボタン83と、完了ボタン84とが設けられている。キャンセルボタン83を操作すると、ユーザが選択した内容を破棄して、定型文一覧画面(図10参照)に戻る。完了ボタン84を操作すると、登録する定型文が確定され、ユーザ固有定型文登録画面に表示された内容のユーザ固有定型文がユーザ固有定型文データベースに登録される。
次に、表示入力パネル9に表示されるユーザ固有定型文一覧画面について説明する。図15は、ユーザ固有定型文一覧画面を示す説明図である。
メニュー画面(図9参照)で「お気に入り」を選択し、また、定型文一覧画面(図10参照)や履歴一覧画面(図16参照)で「お気に入り」のタブ41を操作すると、図15に示すユーザ固有定型文一覧画面が表示される。
ユーザ固有定型文一覧画面には、ユーザ固有定型文データベース(図8参照)にユーザ固有定型文として登録された定型文(一般定型文およびテンプレート定型文、連結定型文)が一覧表示される。このとき、ユーザ固有定型文データベースからユーザ固有定型文ごとに原言語(日本語)の文字情報を取得して、この原言語の文字情報が表示される。
ユーザは、画面上で選択操作(タップ)を行うことで、画面に表示されたユーザ固有定型文のいずれかを選択することができる。ユーザ固有定型文が選択されると、定型文表示画面(図11参照)に遷移し、選択されたユーザ固有定型文が表示される。
なお、このユーザ固有定型文一覧画面には、定型文一覧画面(図10参照)と同様に、お気に入り、履歴および定型文のタブ41が設けられており、定型文一覧画面や履歴一覧画面に遷移させることができる。また、定型文を削除する操作を行う、具体的には、定型文が表示された領域を長押しすることで、登録された定型文を削除することができる。
次に、表示入力パネル9に表示される履歴一覧画面について説明する。図16は、履歴一覧画面を示す説明図である。
メニュー画面(図9参照)で「履歴」を選択し、または、定型文一覧画面(図10参照)やユーザ固有定型文一覧画面(図15参照)で「履歴」のタブ41を操作すると、図16に示す履歴一覧画面が表示される。
この履歴一覧画面には、履歴データベースに登録された定型文が一覧表示される。このとき、履歴データベースから定型文ごとに原言語(日本語)の文字情報を取得して、この原言語の文字情報が表示される。
ユーザは、画面上で選択操作(タップ)を行うことで、画面に表示された履歴の定型文のいずれかを選択することができる。定型文が選択されると、定型文表示画面(図11参照)に遷移し、選択された履歴の定型文が表示される。
なお、この履歴一覧画面には、定型文一覧画面(図10参照)と同様に、お気に入り、履歴および定型文のタブ41が設けられており、定型文一覧画面や履歴一覧画面に遷移させることができる。また、定型文を削除する操作を行う、具体的には、定型文が表示された領域を長押しすることで、登録された定型文を削除することができる。
次に、拡声装置1においてユーザが発話した音声に基づいて合成音声を出力する際の動作について説明する。図17は、拡声装置1においてユーザが発話した音声に基づいて合成音声を出力する際の動作手順を示すフロー図である。図18は、テンプレート編集時および音声出力時の動作手順を示すフロー図である。
なお、この例では、ユーザが発話した音声の言語、すなわち原言語が日本語であり、他言語が英語および中国語に設定されている。
拡声装置1では、まず、制御部6において、録音スイッチ14が押下されているか否かを判定する(ST101)。ここで、録音スイッチ14が押下されている場合には(ST101でYes)、録音部31において、マイク3で収音した原音声を録音する処理を開始する(ST102)。このとき、バイブレーションや通知音で、録音が開始されたことをユーザに通知するようにしてもよい。そして、録音スイッチ14が戻されると(ST103でYes)、録音を停止する(ST104)。なお、音声入力から所定時間(例えば20秒間)経過すると録音を停止するようにしてもよい。
次に、音声認識部32において、録音した原音声を文字情報に変換する音声認識が行われる(ST105)。次に、検索部33において、音声認識結果である原文(原音声の文字情報)に最も類似する定型文を定型文データベース(図6参照)から探し出す検索が行われる(ST106)。
次に、検索で見つかった定型文がテンプレート定型文か否かを定型文識別情報から判定する(ST107)。ここで、検索で見つかった定型文がテンプレート定型文である場合には(ST107でYes)、テンプレート定型文表示画面(図12(B)参照)が表示される(ST106)。このとき、テンプレート定型文表示画面に表示されるテンプレート定型文では、検索で最も類似するものと判定された語句が可変部に表示される。
次に、テンプレート編集が選択されたか、すなわち、テンプレート定型文表示画面(図12(B)参照)の「テンプレート編集」のボタン55をユーザが操作したか否かを判定する(ST109)。ここで、テンプレート編集が選択された場合には(ST109でYes)、テンプレート編集画面(図13参照)が表示されて可変部を選択するテンプレート編集処理が行われる(ST110)。そして、編集後のテンプレート定型文が確定されると、定型文表示画面(図11(B)参照)において編集後のテンプレート定型文が表示される。
次に、出力スイッチ16が押下されているか否かを判定する(ST111)。ここで、出力スイッチ16が押下されている場合には(ST111でYes)、表示されているテンプレート定型文の音声出力処理を行う(ST112)。
一方、検索で見つかった定型文がテンプレート定型文でない場合、すなわち、一般定型文である場合には(ST107でNo)、一般定型文表示画面(図12(A)参照)が表示される。次に、出力スイッチ16が押下されているか否かを判定する(ST111)。ここで、出力スイッチ16が押下されている場合には(ST111でYes)、表示されている一般定型文の音声出力処理を行う(ST112)。
ここで、図17に示すテンプレート編集処理(ST110)では、図18に示すように、まず、テンプレート編集画面(図13参照)が表示される(ST201)。このとき、定型文データベース(図6参照)では、「%10を%20から%30にてお配りいたします。」と候補IDが特定されているため、可変部辞書から、各可変部の候補IDと一致する語句(%10の「寝袋」、%20の「午後1時」、%30の「1階出口」など)を取り出して、各可変部に最初の候補となる語句が挿入されたテンプレート定型文が表示される。
次に、候補となる語句をユーザが選択したか否かを判定する(ST202)。ここで、候補となる語句をユーザが選択した場合には(ST202でYes)、可変部をユーザが選択した語句に置き換えられた編集後のテンプレート定型文をテンプレート編集画面に表示する(ST203)。
次に、決定ボタン73が操作されたか否かを判定する(ST204)。ここで、決定ボタン73が操作された場合には(ST204でYes)、テンプレート編集の内容を確定して、テンプレート定型文表示画面(図11(B)参照)に戻る。このとき、テンプレート定型文表示画面には、編集後のテンプレート定型文、すなわち、可変部が適切な語句に入れ替えられたテンプレート定型文が表示される。
また、図17に示した音声出力処理(ST112)では、図18に示すように、まず、音声合成部34において、出力対象となる定型文の原言語の文字情報(日本語テキスト)から原言語の合成音声を生成し、また、他言語の文字情報(英語テキスト、中国語テキストなど)から他言語の合成音声を生成し、音声出力部27において、原言語の合成音声および他言語の合成音声を順にスピーカから出力する処理が開始され、合成音声がスピーカ8から出力される(ST301)。このとき、再生部35において、各言語の音声が順に繰り返し再生される。そして、出力スイッチ16が戻されると(ST302でYes)、音声の出力を停止する(ST303)。
次に、音声出力時間、すなわち音声の出力を開始してから停止するまでの時間が所定のしきい値(例えば3秒)以上か否かを判定する(ST304)。ここで、音声出力時間がしきい値以上であれば(ST304でYes)、音声出力した定型文(日本語テキスト、英語テキスト、中国語テキスト)を履歴データベースに登録する(ST305)。なお、音声出力時間がしきい値以上でない場合には(ST304でNo)、特別な動作は行われない。
次に、拡声装置1において、ユーザが発話することなく表示入力パネル9で定型文を選択して合成音声を出力する際の動作について説明する。図19は、ユーザが定型文を選択して合成音声を出力する際の動作手順を示すフロー図である。
拡声装置1では、まず、メニュー画面(図9参照)で「定型文」を選択するなどの操作を行うと、定型文一覧画面(図10参照)が表示される(ST401)。そして、定型文を選択する操作(タップ)が行われたか否かを判定する(ST402)。ここで、定型文が選択された場合には(ST402でYes)、図17に示した例と同様の処理(ST107〜ST113)が行われる。
なお、この場合、選択された定型文がテンプレート定型文である場合には(ST107でYes)、テンプレート定型文表示画面(図11(B)参照)が表示され、選択された定型文が一般定型文である場合には(ST107でNo)、一般定型文表示画面(図11(A)参照)が表示される。
次に、拡声装置1においてユーザ固有定型文を登録する際の動作について説明する。図20は、ユーザ固有定型文を登録する際の動作手順を示すフロー図である。
拡声装置1では、まず、メニュー画面(図9参照)で「定型文」を選択するなどの操作を行うと、定型文一覧画面(図10参照)が表示される(ST501)。この定型文一覧画面では、登録する定型文をユーザが選択する。そして、定型文を選択する操作(長押し)が行われたか否かを判定する(ST502)。ここで、定型文が選択された場合には(ST502でYes)、ユーザ固有定型文登録画面(図14参照)の第1の定型文表示部81に選択された定型文が表示される(ST503)。
次に、第1の定型文表示部81が操作(タップ)されたか否かを判定する(ST504)。この操作は、ST502で選択されて第1の定型文表示部81に表示された定型文がテンプレート定型文の場合に、このテンプレート定型文を編集するために行われる。ここで、第1の定型文表示部81が操作されていない場合には(ST504でNo)、次に、第2の定型文表示部82が操作(タップ)されたか否かを判定する(ST507)。この操作は、第1の定型文に連結する第2の定型文を選択するために行われる。
ここで、第2の定型文表示部82が操作されていない場合には(ST507でNo)、次に、完了ボタン84が操作されたか否かを判定する(ST514)。ここで、完了ボタン84が操作された場合には(ST514でYes)、ユーザ固有定型文登録画面に表示された一般定型文または未編集のテンプレート定型文(第1の定型文)がユーザ固有定型文データベースに登録される(ST515)。
一方、第1の定型文表示部81が操作された場合には(ST504でYes)、次に、選択された定型文がテンプレート定型文か否かを判定する(ST505)。ここで、選択された定型文がテンプレート定型文であれば(ST505でYes)、テンプレート編集処理が行われる(ST506)。
そして、第2の定型文表示部82を操作することなく(ST507でNo)、完了ボタン84が操作された場合には(ST514でYes)、編集後のテンプレート定型文(第1の定型文)がユーザ固有定型文データベースに登録される(ST515)。
また、第2の定型文表示部82が操作された場合には(ST507でYes)、定型文選択画面(図示せず)が表示される(ST508)。次に、定型文が選択されたか否かを判定する(ST509)。ここで、定型文が選択された場合には(ST509でYes)、ユーザ固有定型文登録画面(図14参照)に戻る(ST111)。このユーザ固有定型文登録画面では、ユーザが選択した定型文が第2の定型文表示部82に表示される。
そして、再度、第2の定型文表示部82を操作することなく(ST511でNo)、完了ボタン84が操作された場合には(ST514でYes)、第1の定型文に、一般定型文または未編集のテンプレート定型文(第2の定型文)を連結した連結定型文を作成して、その連結定型文がユーザ固有定型文データベースに登録される(ST515)。
一方、第2の定型文表示部82が操作された場合には(ST511でYes)、第2の定型文表示部82の定型文がテンプレート定型文か否かを判定する(ST512)。ここで、テンプレート定型文である場合には(ST512でYes)、テンプレート編集処理が行われる(ST513)。
そして、完了ボタン84が操作されると(ST514でYes)、第1の定型文に、編集後のテンプレート定型文(第2の定型文)を連結した連結定型文を作成して、その連結定型文がユーザ固有定型文データベースに登録される(ST515)。
なお、テンプレート編集(ST506,ST513)は、図18に示した例と略同様であるが、図18のST205の代わりに、編集結果が反映されたユーザ固有定型文登録画面が表示される。
また、ここでは、1つの定型文をユーザ固有定型文として登録する例、および2つの定型文を連結した連結定型文をユーザ固有定型文として登録する例を示したが、3つ以上の定型文を連結することも可能である。この場合、第2の定型文表示部82の定型文が確定したところで、新たに定型文表示部(第3の定型文表示部や第4の定型文表示部など)が画面表示されるようにすればよく、これらの新たな定型文表示部を対象にして前記と同様のフローを繰り返せばよい。
このように本実施形態では、使用頻度の高い定型文(一般定型文、テンプレート定型文)をユーザ固有定型文データベースに登録することができる。また、テンプレート定型文であれば、適切な語句を可変部に挿入する編集を行い、編集後のテンプレート定型文をユーザ固有定型文データベースに登録することができる。さらに、登録したユーザ固有定型文を再度編集して再登録することができる。また、複数の定型文を連結した連結定型文を作成して、その連結定型文をユーザ固有定型文データベースに登録することができる。
次に、拡声装置1においてユーザ固有定型文の音声を出力する際の動作について説明する。図21は、ユーザ固有定型文の音声を出力する際の動作手順を示すフロー図である。
拡声装置1では、まず、メニュー画面(図9参照)でユーザが「お気に入り」を選択するなどの操作を行うと、ユーザ固有定型文一覧画面(図15参照)が表示される(ST601)。次に、ユーザによりユーザ固有定型文が選択されたか否かを判定する(ST602)。ここで、ユーザ固有定型文が選択された場合には(ST602でYes)、図17に示した例と同様の処理(ST107〜ST113)が行われる。
なお、この場合、テンプレート定型文の判定(ST107)では、ユーザ固有定型文が連結定型文である場合があるため、選択されたユーザ固有定型文がテンプレート定型文を含むか否かを判定する。また、選択された定型文がテンプレート定型文である場合には(ST107でYes)、テンプレート定型文表示画面(図11(B)参照)が表示され、選択された定型文が一般定型文である場合には(ST107でNo)、一般定型文表示画面(図11(A)参照)が表示される。
なお、履歴データベースに登録された定型文の音声を出力する際の動作も、ユーザ固有定型文の場合と同様である。
このように本実施形態では、ユーザ固有定型文データベースに登録されたユーザ固有定型文をユーザが選択して音声出力する際に、選択したユーザ固有定型文がテンプレート定型文を含むものであれば、可変部を別の語句に入れ替える編集を再度行うことができる。また、履歴データベースに登録された定型文の音声出力を行う場合でも、その定型文がテンプレート定型文を含むものであれば、可変部を別の語句に入れ替える編集を再度行うことができる。
なお、本実施形態では、出力スイッチ16の操作で音声出力を開始する際に、定型文表示画面(図11,図12参照)を表示させるようにしたが、この定型文表示画面の代わりに、該当する定型文の原言語(日本語)の文字情報(日本語テキスト)と、他言語の文字情報(英語テキストや中国語テキスト)を一覧表示した画面を表示させるようにしてもよい。あるいは、定型文を表示させることなく音声出力を開始するようにしてもよい。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
例えば、前記の実施形態では、ユーザが発話する音声の音声認識により取得した原文と類似度の高い原言語(日本語)の定型文を検索して、その原言語の定型文に対応する他言語の定型文を取得して、その他言語の定型文から他言語の合成音声を生成するようにしたが、翻訳エンジンを用いて原文を翻訳することで他言語の文章を取得して、その他言語の文章から他言語の合成音声を生成するようにしてもよい。
また、前記の実施形態では、合成音声取得(音声認識、検索、音声合成)、音声解析、および音声調整などの各処理を拡声装置1で行うようにしたが、拡声装置1から必要な情報(例えば原音声)をサーバ装置に送信して、サーバ装置において、前記の各処理の全てあるいは一部を行うようにしてもよい。また、前記の翻訳エンジンを用いた文字翻訳をサーバ装置に行わせるようにしてもよい。