JP2019088009A - 通訳サービスシステム、通訳依頼者端末、通訳サービス方法及び通訳サービスプログラム - Google Patents

通訳サービスシステム、通訳依頼者端末、通訳サービス方法及び通訳サービスプログラム Download PDF

Info

Publication number
JP2019088009A
JP2019088009A JP2018246059A JP2018246059A JP2019088009A JP 2019088009 A JP2019088009 A JP 2019088009A JP 2018246059 A JP2018246059 A JP 2018246059A JP 2018246059 A JP2018246059 A JP 2018246059A JP 2019088009 A JP2019088009 A JP 2019088009A
Authority
JP
Japan
Prior art keywords
interpreter
terminal
interpretation
interpretation request
urgency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018246059A
Other languages
English (en)
Other versions
JP6689953B2 (ja
Inventor
英治 桑原
Eiji Kuwabara
英治 桑原
朗 武田
Akira Takeda
朗 武田
俊一 関谷
Shunichi Sekiya
俊一 関谷
瞬 河目
Shun Kawame
瞬 河目
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sohgo Security Services Co Ltd
Original Assignee
Sohgo Security Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sohgo Security Services Co Ltd filed Critical Sohgo Security Services Co Ltd
Publication of JP2019088009A publication Critical patent/JP2019088009A/ja
Application granted granted Critical
Publication of JP6689953B2 publication Critical patent/JP6689953B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Machine Translation (AREA)

Abstract

【課題】利用者の状況に応じて効率のよい通訳サービスを提供することを課題とする。【解決手段】携帯端末10は、通訳要求を受け付けてサーバ装置20との間に通話回線通信を確立し、警備員S及び外国人Fからの音声データをサーバ装置20に送り、サーバ装置20は、この音声データから緊急度及び言語種別を判定し、緊急度が高い場合には各種言語に精通した通訳者T1を選択し、緊急度が低い場合には機械翻訳サーバ60に機械翻訳させ、それ以外の場合には、緊急度及び言語種別に応じた通訳者を選択し、選択した通訳者の通訳者用端末50と携帯端末10との間で通話回線を確立させ、通訳を行わせる。【選択図】 図1

Description

この発明は、通訳依頼者端末からの通訳依頼に応答して複数の通訳者端末のいずれかを選択するサーバ装置を有する通訳サービスシステム、通訳依頼者端末、通訳サービス方法及び通訳サービスプログラムに関する。
従来、ある公用語(例えば、スペイン語)のみでしか会話ができない人が、他の公用語(例えば、日本語)を用いる国を訪問する場合に、日常生活及び仕事に支障を来してしまうため、ある公用語を他の公用語に通訳する通訳者を介して意思疎通が図られてきた。
ところが、かかる訪問者が通訳者を常に帯同させるとなると、該通訳者のサービスを受けるために該訪問者が通訳者に対して高額な費用を支払わねばならないため、訪問者は、通訳者の代わりに旅行用の辞書や携帯端末等に導入した翻訳アプリを利用することが多い。
ここで、上記の旅行用の辞書や翻訳アプリを利用したとしても、訪問者が他の公用語を用いる者と迅速かつ円滑に会話することは難しいため、最近では、通訳センタに所在する通訳者に遠隔で通訳させる技術が知られている。例えば、特許文献1には、通訳依頼者が通訳センタに通訳依頼を行うと、該通訳センタでは通訳依頼者とその相手の使用言語双方に精通した通訳者を選択し、選択された通訳者が通訳センタから遠隔で通訳を行う技術が開示されている。
特開2002−73783号公報
しかしながら、上記特許文献1に代表される従来技術は、十分な人数の通訳者を通訳センタに待機させることができる場合にはリアルタイムなサービスを提供することができるが、国際博覧会やオリンピック等のような大規模なイベントが開催され、通訳を要する利用者が多数存在する場合には、十分な通訳サービスをリアルタイムで提供することができないという問題がある。
例えば、通訳センタに通訳者が10人待機している状況下で、通訳を要する利用者が1000人以上存在するような場合には、各通訳者がフル稼働したとしても、当然ながら利用者の待機時間が長くなる。特に、主要な公用語全てに対応できる通訳者は稀にしか存在せず、多くの通訳者は、特定の公用語の通訳しかできないのが実情であるため、かかる利用者の待機時間は益々長くなる。
その結果、ある公用語(例えば日本語)のみしか話せない警備員が他の公用語(例えばフランス語)しか話せない者と意思疎通せねばならないような緊急事態であっても、通訳センタの通訳者の能力をリアルタイムに活用することができず、警備に支障を来すおそれがある。また、ある警備区域内に要人が訪問したような場合に、該警備区域に所在する警備員が要人とリアルタイムで意思疎通を行うことができず、何らかの不手際が生ずる可能性もある。
これらのことから、大規模なイベントが開催される場合に、通訳を必要とする利用者の状況に応じた通訳サービスを効率良く行うことができる通訳サービスシステムをいかに実現するかが重要な課題となっている。
本発明は、上述した従来技術の課題を解決するためになされたものであって、大規模なイベントが開催される場合に、通訳を必要とする利用者の状況に応じた通訳サービスを効率良く行うことができる通訳サービスシステム、通訳依頼者端末、通訳サービス方法及び通訳サービスプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するため、請求項1に記載の発明は、通訳を依頼する通訳依頼者が所持する通訳依頼者端末と、通訳センタに所在する複数の通訳者に対応してそれぞれ設けられた複数の通訳者端末と、前記通訳依頼者端末と前記複数の通訳者端末との間に介在し、前記通訳依頼者端末からの通訳依頼に応答して前記複数の通訳者端末のいずれかを選択するサーバ装置とを有する通訳サービスシステムであって、前記サーバ装置は、所定の通訳依頼者端末からの前記通訳依頼としての呼接続要求に応答して前記通訳依頼者端末との間で通訳依頼に関する呼接続を行う呼接続手段と、前記呼接続手段にて呼接続された前記通訳依頼者端末上で発声される所定期間の音声を解析し、解析した文字データ内に含まれるキーワードに基づいて前記通訳依頼の緊急度を判定する緊急度判定手段と、少なくとも前記緊急度判定手段により判定された前記通訳依頼の緊急度に基づいて、前記通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択する選択手段と、一時保留された前記通訳依頼者端末との間の呼と、前記選択手段により選択された通訳者端末グループに属する一つの通訳者端末又は前記選択手段により選択された通訳者端末との間の呼を呼接続して前記通訳者端末と前記通訳依頼者端末とを通話接続する通話接続手段とを備えたことを特徴とする。
また、請求項2に記載の発明は、通訳を依頼する通訳依頼者が所持する通訳依頼者端末と、通訳センタに所在する複数の通訳者に対応してそれぞれ設けられた複数の通訳者端末と、前記通訳依頼者端末と前記複数の通訳者端末との間に介在し、前記通訳依頼者端末からの通訳依頼に応答して前記複数の通訳者端末のいずれかを選択するサーバ装置とを有する通訳サービスシステムであって、前記サーバ装置は、所定の通訳依頼者端末から所定の期間の音声を解析した文字データを含む通訳依頼データを受信する通訳依頼データ受信手段と、前記通訳依頼データに含まれる文字データ内のキーワードに基づいて前記通訳依頼の緊急度を判定する緊急度判定手段と、少なくとも前記緊急度判定手段により判定された前記通訳依頼の緊急度に基づいて、前記通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択する選択手段と、前記選択手段により選択された通訳者端末グループに属する一つの通訳者端末又は前記選択手段により選択された通訳者端末と前記通訳依頼者端末とを通話接続する通話接続手段とを備えたことを特徴とする。
また、請求項3に記載の発明は、請求項1又は2に記載の発明において、前記サーバ装置は、複数の通訳者端末からなる通訳者端末グループ又は通訳者端末と優先度を対応付けた優先度情報を記憶する優先度情報記憶部をさらに備え、前記選択手段は、前記緊急度判定手段により判定された前記通訳依頼の緊急度及び前記優先度情報記憶部に記憶された優先度情報に基づいて、前記通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択することを特徴とする。
また、請求項4に記載の発明は、通訳依頼に応答して通訳センタに所在する複数の通訳者に対応してそれぞれ設けられた複数の通訳者端末のいずれかを選択するサーバ装置と通信可能な通訳依頼者端末であって、所定の通訳依頼操作を受け付ける通訳依頼操作受付手段と、前記サーバ装置が通訳依頼の緊急度に基づいて通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択可能にするために、前記通訳依頼操作を受け付けてから所定の期間の音声を解析した文字データを含む通訳依頼データを前記サーバ装置に通知する通知手段とを備えたことを特徴とする。
また、請求項5に記載の発明は、通訳を依頼する通訳依頼者が所持する通訳依頼者端末と、通訳センタに所在する複数の通訳者に対応してそれぞれ設けられた複数の通訳者端末と、前記通訳依頼者端末と前記複数の通訳者端末との間に介在し、前記通訳依頼者端末からの通訳依頼に応答して前記複数の通訳者端末のいずれかを選択するサーバ装置とを有する通訳サービスシステムにおける通訳サービス方法であって、前記サーバ装置が、所定の通訳依頼者端末からの前記通訳依頼としての呼接続要求に応答して前記通訳依頼者端末との間で通訳依頼に関する呼接続を行う呼接続工程と、前記呼接続工程にて呼接続された前記通訳依頼者端末上で発声される所定期間の音声を解析し、解析した文字データ内に含まれるキーワードに基づいて前記通訳依頼の緊急度を判定する緊急度判定工程と、少なくとも前記緊急度判定工程により判定された前記通訳依頼の緊急度に基づいて、前記通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択する選択工程と、一時保留された前記通訳依頼者端末との間の呼と、前記選択工程により選択された通訳者端末グループに属する一つの通訳者端末又は前記選択工程により選択された通訳者端末との間の呼を呼接続して前記通訳者端末と前記通訳依頼者端末とを通話接続する通話接続工程とを含むことを特徴とする。
また、請求項6に記載の発明は、通訳を依頼する通訳依頼者が所持する通訳依頼者端末と、通訳センタに所在する複数の通訳者に対応してそれぞれ設けられた複数の通訳者端末と、前記通訳依頼者端末と前記複数の通訳者端末との間に介在し、前記通訳依頼者端末からの通訳依頼に応答して前記複数の通訳者端末のいずれかを選択するサーバ装置とを有する通訳サービスシステムにおける通訳サービス方法であって、前記サーバ装置が、所定の通訳依頼者端末から所定の期間の音声を解析した文字データを含む通訳依頼データを受信する通訳依頼データ受信工程と、前記通訳依頼データに含まれる文字データ内のキーワードに基づいて前記通訳依頼の緊急度を判定する緊急度判定工程と、少なくとも前記緊急度判定工程により判定された前記通訳依頼の緊急度に基づいて、前記通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択する選択工程と、前記選択工程により選択された通訳者端末グループに属する一つの通訳者端末又は前記選択工程により選択された通訳者端末と前記通訳依頼者端末とを通話接続する通話接続工程とを含むことを特徴とする。
また、請求項7に記載の発明は、通訳依頼に応答して通訳センタに所在する複数の通訳者に対応してそれぞれ設けられた複数の通訳者端末のいずれかを選択するサーバ装置と通信可能な通訳依頼者端末における通訳サービス方法であって、所定の通訳依頼操作を受け付ける通訳依頼操作受付工程と、前記サーバ装置が通訳依頼の緊急度に基づいて通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択可能にするために、前記通訳依頼操作を受け付けてから所定の期間の音声を解析した文字データを含む通訳依頼データを前記サーバ装置に通知する通知工程とを含むことを特徴とする
また、請求項8に記載の発明は、通訳を依頼する通訳依頼者が所持する通訳依頼者端末と、通訳センタに所在する複数の通訳者に対応してそれぞれ設けられた複数の通訳者端末との間に介在し、前記通訳依頼者端末からの通訳依頼に応答して前記複数の通訳者端末のいずれかを選択するサーバ装置上で実行される通訳サービスプログラムであって、所定の通訳依頼者端末からの前記通訳依頼としての呼接続要求に応答して前記通訳依頼者端末との間で通訳依頼に関する呼接続を行う呼接続手順と、前記呼接続手順にて呼接続された前記通訳依頼者端末上で発声される所定期間の音声を解析し、解析した文字データ内に含まれるキーワードに基づいて前記通訳依頼の緊急度を判定する緊急度判定手順と、少なくとも前記緊急度判定手順により判定された前記通訳依頼の緊急度に基づいて、前記通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択する選択手順と、一時保留された前記通訳依頼者端末との間の呼と、前記選択手順により選択された通訳者端末グループに属する一つの通訳者端末又は前記選択手順により選択された通訳者端末との間の呼を呼接続して前記通訳者端末と前記通訳依頼者端末とを通話接続する通話接続手順とをコンピュータに実行させることを特徴とする。
また、請求項9に記載の発明は、通訳を依頼する通訳依頼者が所持する通訳依頼者端末と、通訳センタに所在する複数の通訳者に対応してそれぞれ設けられた複数の通訳者端末との間に介在し、前記通訳依頼者端末からの通訳依頼に応答して前記複数の通訳者端末のいずれかを選択するサーバ装置上で実行される通訳サービスプログラムであって、所定の通訳依頼者端末から所定の期間の音声を解析した文字データを含む通訳依頼データを受信する通訳依頼データ受信手順と、前記通訳依頼データに含まれる文字データ内のキーワードに基づいて前記通訳依頼の緊急度を判定する緊急度判定手順と、少なくとも前記緊急度判定手順により判定された前記通訳依頼の緊急度に基づいて、前記通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択する選択手順と、前記選択手順により選択された通訳者端末グループに属する一つの通訳者端末又は前記選択手順により選択された通訳者端末と前記通訳依頼者端末とを通話接続する通話接続手順とをコンピュータに実行させることを特徴とする。
また、請求項10に記載の発明は、通訳依頼に応答して通訳センタに所在する複数の通訳者に対応してそれぞれ設けられた複数の通訳者端末のいずれかを選択するサーバ装置と通信可能な通訳依頼者端末上で実行される通訳サービスプログラムであって、所定の通訳依頼操作を受け付ける通訳依頼操作受付手順と、前記サーバ装置が通訳依頼の緊急度に基づいて通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択可能にするために、前記通訳依頼操作を受け付けてから所定の期間の音声を解析した文字データを含む通訳依頼データを前記サーバ装置に通知する通知手順とをコンピュータに実行させることを特徴とする。
本発明によれば、緊急度の高い通訳依頼を優先して処理することができ、利用者の状況に応じた効率のよい通訳サービスを提供することが可能となる。
図1は、本実施例1に係る通訳サービスシステムの概要を説明するための説明図である。 図2は、通訳サービスシステムのシステム構成を示す図である。 図3は、図2に示した携帯端末の内部構成を示すブロック図である。 図4は、図2に示したサーバ装置の内部構成を示すブロック図である。 図5は、図2に示したサーバ装置の記憶部に記憶された通信管理データ及び通訳管理データの一例を示す図である。 図6は、本実施例1に係る通訳依頼から通訳者対応までのシーケンスについて説明するための説明図である。 図7は、本実施例2に係る通訳サービスシステムの概要を説明するための説明図である。 図8は、図7に示した携帯端末の内部構成を示すブロック図である。 図9は、図7に示したサーバ装置の内部構成を示すブロック図である。 図10は、本実施例2に係る通訳依頼から通訳者対応までのシーケンスについて説明するための説明図である。
以下に、添付図面を参照して、本発明に係る通訳サービスシステム、通訳依頼者端末、通訳サービス方法及び通訳サービスプログラムの好適な実施例を詳細に説明する。以下の実施例では、警備員は日本語での会話のみができ、日本語での会話ができない者を便宜上「外国人」と称して説明する。ただし、警備員が英語での会話のみができる場合には、英語での会話ができない者が「外国人」となる。以下に示す実施例1では、外国人の音声情報から緊急度を判定して遠隔で通訳を行う場合について説明し、実施例2では、外国人の音声情報及び映像情報から緊急度を判定して遠隔で通訳を行う場合について説明する。
まず、本実施例1に係る通訳サービスシステムの概要について説明する。図1は、本実施例1に係る通訳サービスシステムの概要を説明するための説明図である。図1に示すように、この通訳サービスシステムは、通訳を依頼する通訳依頼者である警備員Sが所持する携帯端末10と、通訳センタに所在する通訳者T1〜T3にそれぞれ設けられた通訳者用端末50と、携帯端末10と各通訳者用端末50との間に介在し、携帯端末10からの通訳依頼に応答して複数の通訳者用端末50のいずれかを選択して通話接続するサーバ装置20とを有する。
ここで、通訳センタ内に十分な数の通訳者を待機させているならば、緊急事態が生じた場合であっても警備員Sが外国人Fと通訳者を介してリアルタイムで円滑な意思疎通を行うことができるが、外国人Fの言語に対応可能な全ての通訳者が他の通訳業務を行っているような場合には、緊急事態であっても警備員Sは該当する通訳者が他の通訳業務を終えるまでの間待たねばならず、緊急な警備を行う上で阻害要因が生ずる可能性がある。
そこで、本実施例1では、通訳センタに所在する通訳者の数に制限があることに着目し、通訳依頼が生じた際にその緊急度を音声データに基づいて自動的に判定し、通常程度の緊急度(緊急度B)であれば、通訳依頼に対応する言語の通訳者T2又はT3に通訳させ、緊急度が低い場合(緊急度C)には機械翻訳で対応し、緊急度が高い場合(緊急度A)には各種言語に精通したスキルの高い通訳者T1に通訳させるよう構成している。なお、緊急度の高い通訳依頼が頻繁に発生し、緊急度Aに対応する通訳者T1の稼働率が上昇した場合には、上記緊急度Aを詳細判定し(例えば、緊急度A1〜A3)、最も緊急度が高い緊急度A1と判定された通訳依頼のみを通訳者T1に通訳させ、緊急度A2〜A3を通訳者T2に通訳させ、緊急度B及びCの通訳依頼を自動翻訳で対応するよう状況に応じた変更を行うこともできる。
このため、本実施例1によれば、各種言語に精通したスキルの高い通訳者T1を確保することができるため、大規模なイベントが開催され、多種多様な言語の外国人が来訪する場合であっても、緊急を要する警備員Sに対して適切な通訳を行うことが可能となる。
具体的には、本実施例1では、通訳依頼が発生したならば、携帯端末10とサーバ装置20の間で通話回線を確立し、警備員Sが携帯端末10を用いて発話した音声データをサーバ装置20上で解析し、解析した文字データに所定のキーワード(例えば、「VIP」等)がどの程度含まれるかによって、緊急度を判定することとしている。
ここで、携帯端末10には、後述する通訳処理部15aが設けられており、警備員Sによって通訳依頼に係る所定の操作がなされると、サーバ装置20に割り当てられた電話番号に対して自動的に呼接続要求が行われ、サーバ装置20がオフフックしたならば、携帯端末10とサーバ装置20の間で通話回線が確立される。なお、この通訳処理部15aは、あらかじめ携帯端末10の記憶部14に記憶された通訳アプリ14aをインストールすることで制御部15上に実装される。
また、サーバ装置20は、携帯端末10とサーバ装置20の間で通話回線が確立されたならば、あらかじめ登録された音声ガイダンス(例えば、「30秒間で状況を通知して下さい」)を携帯端末10に対して送信し、警備員Sに所定時間発話するよう促す。警備員Sがこの所定時間内に「緊急度を示す内容」や「言語種別を示す内容」等を発話したならば(図1の(1))、発話された音声情報を解析して文字データ化し、この文字データにあらかじめ登録されたキーワードが含まれているか否かを照合する。この照合結果に基づいて、翻訳の緊急度及び言語種別を判定するとともに(図1の(2)及び(3))、判定された翻訳の緊急度及び言語種別に応じて通訳者用端末50のいずれか又は機械翻訳サーバ60を選択する(図1の(4))。なお、発話された音声データを解析して文字データを生成する際には、各種従来技術を用いることができる。
ここで、緊急度が最も高い(緊急度A)と判定されたならば、その時点で通訳センタの通訳者T1が選択されることになる。例えば、警備員Sが外国人Fとの間で切迫する状況に陥っている場合や、外国人Fが政府高官等の要人である場合には、言語種別の判定を待つまでもなく、通訳者T1が選択される。
一方、緊急度が低い(緊急度C)と判定されたならば、言語種別の判定を行った後に、通訳センタの機械翻訳サーバ60が選択される。機械翻訳サーバ60による機械翻訳であっても、警備員Sが外国人Fとの間の最低限の意思疎通を図る手助けを行うことができるためである。
また、緊急度が中程度(緊急度B)であると判定されたならば、言語種別の判定を行った後に、通訳センタの通訳者T2〜T3のいずれかが選択される。かかる通訳者T2〜T3としては、各言語に対応できる高い通訳スキルを有する者を配置する必要はなく、特定の言語と日本語の間の通訳をできる人材を複数配置すれば良い。
このようにして、緊急度及び言語種別に応じた通訳者グループが選択されたならば、携帯端末10との間の通話回線を一時保留した後に、サーバ装置20は、該当する通訳者T1〜T3に対応する通訳者用端末50のいずれか又は機械翻訳サーバ60に呼接続要求を行う。そして、サーバ装置20と通訳者用端末50のいずれか又は機械翻訳サーバ60との間の通話回線が確立したならば、一時保留した携帯端末10との間の通話回線と通訳者用端末50のいずれか又は機械翻訳サーバ60との間の通話回線を交換接続し、これにより携帯端末10と通訳者用端末50との間の通話回線若しくは携帯端末10と機械翻訳サーバ60との間の通話回線が確立されることになる。このようにすることで、緊急度C以外はあたかも通訳者が警備員Sと外国人Fとがいる現場に存在するかのような環境を提供することができる。
このように、本実施例1に係る通訳サービスシステムは、サーバ装置20が、外国人Fの音声データに基づいて緊急度や言語種別を判定する。そして、緊急度又は緊急度及び言語種別の両方に基づき、サーバ装置20が、通訳者用端末50のいずれか又は機械翻訳サーバ60を選択して警備員Sの携帯端末10と通話接続する。このため、通訳を必要とする警備員Sの状況に応じて適切な通訳者を割り当てることができるので、緊急度の低い警備員Sに高いスキルを有する通訳者を割り当てるようなミスマッチを防止し、人的リソースを有効に活用し、通訳サービスを効率良く行うことができる。
なお、ここでは説明の便宜上、緊急度Aの通訳者T1、緊急度Bの英語対応の通訳者T2、緊急度Bのフランス語対応の通訳者T3をそれぞれ1名のみ図示することとしたが、実際には多数の言語で会話できる複数の通訳者に対応させることになる。
次に、本実施例1に係るサービスシステムのシステム構成について説明する。図2は、本実施例1に係る通訳サービスシステムのシステム構成を示す図である。図2に示すように、本実施例1に係る通訳サービスシステムは、複数の携帯端末10と、サーバ装置20とを有する。
携帯端末10は、警備員Sが携帯する携帯電話、スマートホン又はタブレット等の通信端末装置である。具体的には、あらかじめ携帯端末10において通訳アプリ14aをインストールしておき、警備員Sが通訳依頼に係る所定の操作を行うと(例えば、携帯端末10の表示操作部12上に表示される通訳依頼のアイコンをクリックする等)、この携帯端末10は、無線基地局40及び公衆通信網を介してサーバ装置20に呼接続要求を行う。
サーバ装置20は、携帯端末10上で警備員Sが発話した音声データを解析して文字データを抽出し、この文字データとあらかじめ登録されたキーワードとを比較して緊急度及び言語種別を判定し、この判定結果に応じて通訳者用端末50又は機械翻訳サーバ60を選択し、選択した通訳者用端末50又は機械翻訳サーバ60と携帯端末10との交換接続を行う装置である。なお、ここで言う交換接続とは、いわゆる回線接続方式での交換接続だけではなく、いわゆるパケット交換接続方式での交換接続であっても良い。
通訳者用端末50は、通訳センタ内に配置された交換装置51と接続され、交換装置51がサーバ装置20から呼接続要求を受け付けると、配下の各通訳者用端末50に対して呼出信号を送出し、各通訳者用端末50に呼出音を鳴動させる。ある通訳者用端末50が最先にオフフックされたならば、この通訳者用端末50とサーバ装置20との間の通話回線を確立する。
通訳センタ内に設置される機械翻訳サーバ60は、携帯端末10との間の通話回線が確立されたならば、その後に携帯端末10から受け付けた音声情報(発話される音声データ)を一時記憶し、この音声情報を解析して文字データ化し、この文字データを翻訳したものを携帯端末10に向けて音声出力する。なお、この機械翻訳サーバ60は、周知技術を用いれば良い。
次に、図2に示した携帯端末10の内部構成について説明する。図3は、図2に示した携帯端末10の内部構成を示すブロック図である。図3に示すように、携帯端末10は、無線通信部11、表示操作部12、音声入出力部13、記憶部14及び制御部15を有する。
無線通信部11は、無線基地局40を介して無線通信を行うための通信部である。この無線通信部11により携帯端末10は、サーバ装置20、通訳者用端末50又は機械翻訳サーバ60との間で通話回線を確立する。
表示操作部12は、タッチ式の液晶パネル等からなり、警備員Sからの通訳依頼に係る所定の操作を受け付けるとともに、操作に応じた表示等を行う。音声入出力部13は、話者である警備員S又は外国人Fの発話内容である音声情報を入力し、これをA/D変換して制御部15に出力する。また、音声入出力部13は、サーバ装置20及び通訳者T1〜T3から送信される音声情報をD/A変換して出力する。
記憶部14は、ハードディスク装置や不揮発性メモリなどからなる記憶デバイスであり、通訳アプリ14aを記憶する。この記憶部14に記憶された通訳アプリ14aを携帯端末10にインストールすることで、後述する通訳処理部15aが生成される。すでに説明した通訳依頼に係る所定の操作が行われると、通訳処理部15aによる通訳依頼に関する処理が行われる。
制御部15は、携帯端末10の全体制御を行う制御部であり、通訳処理部15a、音声処理部15b及び通信処理部15cを有する。
通訳処理部15aは、通訳依頼に係る所定の操作を受け付けた際に、通信処理部15cに対してサーバ装置20との呼接続を行うよう指示する処理部である。また、この通訳処理部15aは、サーバ装置20により携帯端末10と通訳者用端末50との間に通話接続が確立された場合に、通訳者との通信が可能である旨を操作者に通知することもできる。
音声処理部15bは、種々の音声メッセージを通話回線上に出力させる処理部であり、具体的には、緊急度判定及び言語判定を含む接続処理並びにサーバ装置20で通話回線が一時保留されている間は、接続処理中である旨を警備員Sに対して音声出力する。
通信処理部15cは、サーバ装置20との間で通話接続処理を行う処理部である。具体的には、この通信処理部15cは、通訳処理部15aから通話接続の指示を受け付けた場合に、サーバ装置20に対して呼接続要求を行って該サーバ装置20との間で通話回線を確立する。
次に、図2に示したサーバ装置20の内部構成について説明する。図4は、図2に示したサーバ装置20の内部構成を示すブロック図である。図4に示すように、サーバ装置20は、操作部23a及び表示部23bと接続される。操作部23aは、サーバ装置20の各種の設定操作を行う場合に用いられ、表示部23bには、操作部23aの操作に応答する表示並びにサーバ装置20の動作状況等の表示が行われる。
サーバ装置20は、通信部21、音声出力部22、記憶部24及び制御部25を有する。通信部21は、公衆通信網及び無線基地局40を介して携帯端末10との通話接続を行うためのインタフェース部である。音声出力部22は、あらかじめ記憶したガイダンス用の音声データを出力する処理部である。
記憶部24は、ハードディスク装置や不揮発性メモリなどからなる記憶デバイスであり、通信管理データ24a、通訳管理データ24b、緊急度判定用キーワード24c及び言語種別判定用キーワード24dを記憶する。
通信管理データ24aは、サーバ装置20が呼接続要求を受け付けた場合に、緊急度に応じて選択される通訳者用端末50若しくは緊急度及び言語種別に応じて選択される通訳者用端末50又は機械翻訳サーバ60と通信を行うための設定データである。この通信管理データ24aには、緊急度及び言語種別に応じた通訳者用端末50の電話番号が含まれる。
通訳管理データ24bは、通訳センタに所在する通訳者の状況を管理するデータであり、この通訳管理データ24bを参照することで、各緊急度に対応する通訳が可能な通訳者が存在するか否かが判明する。なお、交換装置30と各交換装置51との間で同時に接続可能な回線数が該交換装置51に接続される通訳者用端末50の数よりも少ない場合には、この通訳者の状況だけではなく併せて回線の使用状況を管理することが望ましい。
緊急度判定用キーワード24cは、あらかじめ緊急度A〜Cごとに登録されるキーワードであり、緊急度を判定する際に利用される。言語種別判定用キーワード24dは、あらかじめ言語種別ごとに登録されるキーワードである。
制御部25は、サーバ装置20を全体制御する制御部であり、音声解析処理部25g、緊急度判定処理部25a、言語種別判定処理部25b、通訳者グループ選択処理部25c、呼制御処理部25d及び音声処理部25eを有する。
音声解析処理部25gは、携帯端末10上で発話された音声データを解析して文字データ化する処理部である。この処理には、任意の従来技術を用いることができる。
緊急度判定処理部25aは、警備員Sが発話した音声から通訳依頼の緊急度を判定する処理部であり、具体的には、音声解析処理部25gから出力される文字データ内に記憶部24にあらかじめ記憶された緊急度判定用キーワード24cが含まれているか否かによって緊急度を判定する。なお、緊急度Aと判定した場合には、通訳者グループ選択処理部25cにその判定結果を通知し、通訳者グループ「緊急度A」との接続を行わせる。
具体的には、「緊急」、「最優先」等の日本語や「emergency」、「urgent」、「hurry」、「hospital」、「injury」、「wound」等の英語が緊急度Aに対応付けて緊急度判定用キーワード24cに登録されている場合に、これらのキーワードが音声解析処理部25gから出力される文字データ内に含まれているならば、通訳依頼の緊急度を緊急度Aと判定する。同様に、「普通」等のキーワードを緊急度Bを対応付け、「機械翻訳」等のキーワードを緊急度Cに対応付け、これらのキーワードが音声解析処理部25gから出力される文字データ内に含まれているか否かによって緊急度B又はCを判定する。なお、何らのキーワードも含まれていない場合には、緊急度Cと判定する。ただし、キーワード漏れを無くすように、キーワードは都度学習して更新する必要がある。
なお、緊急度を判定する際に音声データの波形の分析結果を利用することもできる。具体的には、音声の振幅と周波数を分析し、「声が大きくなる」、「口調が早くなる」等の緊急時に現れる特徴が存在するか否かを判定する。これらの特徴が存在する場合には、緊急度判定処理部25aは、緊急度が高い(緊急度A)と判定する。この他、体調不良時の呼吸音など、緊急事態を示唆する音声の特徴を利用することもできる。
言語種別判定処理部25bは、警備員S又は外国人Fが発話した音声から通訳依頼の言語種別を判定する処理部であり、具体的には、音声解析処理部25gから出力される文字データ内に記憶部24にあらかじめ記憶された言語種別判定用キーワード24dが含まれているか否かによって緊急度を判定する。
すなわち、言語種別判定用キーワード24dに「英語」又は「フランス語」等のキーワードを言語種別毎に登録しておき、警備員Sが「英語」又は「フランス語」等と発話したならば、対応する言語種別を特定する。ただし、警備員Sが外国人Fの言語種別を全く理解できない場合には、外国人F自身に発話させて言語種別を特定する必要がある。このため、その言語種別において一般的に使用頻度が高いキーワード(例えば、英語の場合の「I」、「what」等)を言語種別ごとに言語種別判定用キーワード24dに登録する必要がある。
また、言語種別判定処理部25bは、言語種別による音素体系・発音の相違、音韻配列構造の相違、単語・文法の相違等を利用して、言語種別を判定することもできる。なお、本実施例1においては、最も緊急度が高い「緊急度A」である場合には、言語種別の判定を待つことなく緊急度Aの通訳グループに通話接続するため、通訳依頼の緊急度が緊急度Aでない場合に言語種別が判定されることになるが、緊急度の如何を問わず、全ての通訳依頼について言語種別を判定することもできる。
通訳者グループ選択処理部25cは、緊急度及び言語種別に応じて通訳者グループを選択する処理部である。通訳者グループ選択処理部25cは、緊急度判定処理部25a及び言語種別判定処理部25bから緊急度及び言語種別の判定結果の通知を受け、通訳者グループを選択し、呼制御処理部25dに通知する。
また、通訳者グループ選択処理部25cは、緊急度判定処理部25aから緊急度Aと判定した結果の通知を受けた場合には、言語種別の判定結果を待つことなく通訳センタの通訳者グループ「緊急度A」を選択し、呼制御処理部25dに通知する。ただし、最も緊急度が高い「緊急度A」の場合であっても、言語種別の判定結果を踏まえて通訳センタの通訳者グループを選択することもできる。通訳者グループ「緊急度A」が言語種別に応じて複数のサブグループに区分されている場合があるからである。
一方、通訳者グループ選択処理部25cは、緊急度判定処理部25aが「緊急度A」ではないと判定した場合には、言語種別判定処理部25bの言語種別の判定結果を受けて、優先度及び言語種別に応じた通訳者グループ又は機械翻訳サーバ60を選択し、呼制御処理部25dに通知する。
呼制御処理部25dは、携帯端末10と各通訳者グループの通訳者用端末50との間の通信接続の処理を行う処理部である。呼制御処理部25dは、交換装置30に対して、通訳者グループ選択処理部25cが選択した通訳者グループの通訳者用端末50と携帯端末10との間に通話回線を確立させる。この場合に、事前にサーバ装置20と携帯端末10との間には通話回線が確立されているため、一旦この通話回線を一時保留する。あるいは交換装置30に一時保留させてもよい。この際、音声又はテキスト情報により携帯端末10にその旨を報知することもできる。
また、呼制御処理部25dは、サーバ装置20と通訳者用端末50との間の通話回線が確立されたならば、サーバ装置20と通訳者用端末50との間の通話回線を交換装置30に戻し、通訳者用端末50と携帯端末10との間の通話回線の交換接続を行うように交換装置30に指示することにより、携帯端末10と通訳者用端末50との間の通話接続を行わせる。
音声処理部25eは、緊急度及び言語種別を判定するために音声情報を処理する処理部である。音声処理部25eは、外国人Fに対して携帯端末10に通話を促す音声メッセージや通訳者用端末50に対して通訳を依頼する音声メッセージ等を送信する。
また、音声処理部25eは、音声データの波形を利用して緊急度及び言語種別を判定する場合には、その前処理として音素分析や高速フーリエ変換等を利用した周波数分析、音声情報や分析結果の記憶部24への記憶を行う。具体的には、音声処理部25eは、携帯端末10からの所定時間の音声データを一旦記憶部24に記憶する。その後、この音声データを読み出し、音素分析や周波数分析を行なって、記憶部24に記憶する。緊急度判定処理部25aは、音声処理部25eによる分析結果を読み出して緊急度の判定に使用し、言語種別判定処理部25bは、音声処理部25eによる分析結果を読み出して言語種別の判定に使用することになる。
次に、サーバ装置20の記憶部24に記憶される通信管理データ24a及び通訳管理データ24bについて説明する。図5は、サーバ装置20の記憶部24に記憶された通信管理データ24a及び通訳管理データ24bの一例を示す図である。
図5(a)に示す通信管理データ24aは、通訳者グループ「緊急度A」の対応言語が「全言語対応」であり、その電話番号が「03−xxxx−xxxv」であることを示している。ここで、全言語対応とは主要な国際的公用語に全て対応できることを意味している。
また、通信管理データ24aは、通訳者グループ「緊急度B(英語対応)」の対応言語が「英語」であり、その電話番号が「03−xxxx−xxxw」であることを示しており、通訳者グループ「緊急度B(フランス語対応)」の対応言語が「フランス語」であり、その電話番号が「03−xxx−xxxx」であることを示している。また、通信管理データ24aは、機械翻訳サーバ60により対応可能な言語が「全言語」であり、その電話番号が「03−xxxx−xxxy」であることを示している。
図5(b)に示す通訳管理データ24bは、通訳者グループごとの通訳者数、通訳中の人数、待機中の人数が含まれたデータであり、ここでは、通訳者グループ「緊急度A」の通訳者数が「24人」であり、通訳中の人数が「16人」であり、待機中の人数が「8人」である場合を示している。また、通訳者グループ「緊急度B(英語対応)」の通訳者数が「30人」であり、通訳中の人数が「18人」であり、待機中の人数が「12人」であり、通訳者グループ「緊急度B(フランス語対応)」の通訳者数が「12人」であり、通訳中の人数が「8人」であり、待機中の人数が「4人」である場合を示している。また、通訳者グループ「緊急度C(機械翻訳サーバ)」については、通訳者が対応する訳ではないが、同時処理できるプロセス数を通訳者数とみなして示している。なお、通訳中の通訳者について、過去実績から算定した通訳終了予定時刻を含めることもできる。
次に、本実施例1に係る通訳依頼から通訳者対応までのシーケンスについて説明する。図6は、本実施例1に係る通訳依頼から通訳者対応までのシーケンスについて説明するための説明図である。
携帯端末10は、警備員Sからの通訳依頼に係る所定の操作を受け付けると(ステップS1)、サーバ装置20に対して呼接続要求を行って該サーバ装置20との間に通話回線を確立する。サーバ装置20は、この呼接続要求により通訳依頼を受け付けると(ステップS21)、音声案内を行い、所定時間(例えば「30秒」)通話を促して音声データを要求する。なお、この音声案内は、音声メッセージ用としてデフォルトの言語(例えば日本語)で「30秒間お話し下さい」等の音声を通話回線上に出力するようにしてもよいし、幾つかの主要な国際的言語を循環させながら同じ趣旨の音声を通話回線上に出力してもよい。
携帯端末10は、警備員S及び外国人Fを含む話者の発話内容(音声データ)が通話回線を介してサーバ装置20に通知される(ステップS2)。サーバ装置20は、音声データを解析して文字データに変換し(ステップS22)、この文字データ内に緊急度判定用キーワード24cとしてあらかじめ登録されたキーワードが存在するか否かによって緊急度を判定する(ステップS23)。その結果、緊急度Aと判定された場合には(ステップS24;Yes)、言語種別の判定を行わず、直ちに緊急度Aに対応する通訳者グループを選択する(ステップS29)。すなわち、通訳者グループ「緊急度A」を選択し、ステップS27に移行する。
一方、緊急度Aと判定されない場合には(ステップS24;No)、音声データを解析して得られた文字データ内に言語種別判定用キーワード24dとしてあらかじめ登録されたキーワードが存在するか否かによって言語種別の判定を行う(ステップS25)。その結果、言語種別が判定されたならば、サーバ装置20は、緊急度及び言語種別に応じて最適な通訳者グループを選択し(ステップS26)、選択した通訳者グループの通訳者用端末50に発呼する(ステップS27)。通訳者用端末50からの応答を受けて(ステップS31)、サーバ装置20は通訳者用端末50と携帯端末10の間の通話回線を確立する(ステップS28)。この状態から通常の電話と同じように、外国人F又は警備員Sと通訳者の会話が電話により開始されることになる。
上述したように、本実施例1では、まず警備員Sが発する音声データから緊急度を判定し、緊急度Aであると判定された場合には、言語種別を問わず通訳者グループ「緊急度A」が選択され、携帯端末10と通訳者用端末50との間で通話接続がなされる。通訳者グループ「緊急度A」は、各種の言語種別に対応できる語学スキルを有した通訳者を有するグループであり、かつ、緊急度が低い通訳依頼を緊急度Aの通訳グループに対応させないこととしているため、どの言語種別の場合でも、警備員Sの即応性を高めることが可能となる。
また、緊急度Bの場合には、警備員S又は外国人Fが発する音声データから言語種別を判定し、当該言語種別に対応した通訳者グループと接続を行なう。このため、外国人Fが使用する言語に合わせた通訳者を効率的に割り当てることが可能となる。
このように、通訳を必要とする警備員Sの状況に応じて適切な通訳者を割り当てることができるので、緊急度の低い警備員Sに高いスキルを有する通訳者を割り当てるようなミスマッチを防止し、人的リソースを有効に活用し、通訳サービスを効率良く行うことができる。
上記実施例1では警備員Sが発する音声データから緊急度を判定する構成を示したが、緊急度の判定に利用できるのは警備員Sが発する音声データに限定されるものではない。例えば、外国人Fを撮像した映像データをさらに用いて緊急度を判定すればさらに確実な緊急度判定を行うことが可能となる。そこで、実施例2では、警備員Sがカメラを装着し、外国人Fの映像データをサーバ装置20に送信することにより、音声データと映像データから緊急度を判定する場合について説明する。
まず、本実施例2の場合における通訳サービスの概要について説明する。図7は、本実施例2に係る通訳サービスシステムの概要を説明するための説明図である。図7に示すように、この通訳サービスシステムは、通訳を依頼する通訳依頼者である警備員Sが所持する携帯端末10と、警備員Sに装着されて携帯端末10に接続されたカメラ16と、通訳センタに所在する通訳者T1〜T3にそれぞれ設けられた通訳者用端末50と、携帯端末10と各通訳者用端末50との間に介在し、携帯端末10からの通訳依頼に応答して複数の通訳者用端末50のいずれかを選択して通話接続するサーバ装置20とを有する。
本実施例2では、通訳依頼が生じた際にその緊急度を音声データ及び映像データに基づいて自動的に判定する。そして、実施例1と同様に、判定された緊急度A〜Cに応じて通訳者T1〜T3又は機械翻訳サーバ60を選択する。
具体的には、本実施例2では、通訳依頼が発生したならば、携帯端末10とサーバ装置20の間で通話回線を確立するとともに、カメラ16による外国人Fの撮像を開始する。そして、通話回線を介して警備員Sの音声データをサーバ装置20に送信し(図7の(1))、外国人Fを撮像した映像データは携帯端末10内部に記憶する。
通話回線を介して警備員Sの音声データをサーバ装置20に送信した後、携帯端末10は一旦通話を終了し、携帯端末10内部に記憶していた映像データをサーバ装置20に送信する(図7の(2))。
サーバ装置20は、同一の携帯端末10から取得した音声データと映像データとを対応付け、これらのデータを解析して緊急度及び言語種別を判定する(図7の(3)及び(4))。以降、判定された緊急度及び言語種別に応じて通訳者用端末50のいずれか又は機械翻訳サーバ60を選択し(図7の(5))、通話接続を行なう点については実施例1と同様である。
映像データによる緊急度の解析では、映像データから外国人Fの像を検知し、その動作を識別し、識別した動きに対応する緊急度を判定する。映像データからの人物像の検知や動作の識別には各種従来技術を用いることができる。また、人物の動作と緊急度の対応関係については、動作のパターンと緊急度とを対応付けるデータを予め用意してもよいし、識別した動作の動きの大きさや速さを緊急度の判定に用いてもよい。
なお、映像データの録画時間は、音声データよりも短くてもよい。例えば、録画時間が5秒程度の映像データであっても身振り手振りなどの動作は識別可能であり、緊急度の判定に用いる事ができる。
このように、本実施例2に係る通訳サービスシステムは、サーバ装置20が外国人Fの映像データをさらに用いて緊急度を判定する。これにより、緊急度を精度良く判定することができるので、通訳を必要とする警備員Sの状況をより正確に判定し、通訳サービスを効率良く行うことができる。
次に、図7に示した携帯端末10の内部構成について説明する。図8は、図7に示した携帯端末10の内部構成を示すブロック図である。図8に示すように、本実施例2に係る携帯端末10は、カメラ16が接続されることと、制御部15の通信処理部115cの動作とが実施例1とは異なる。また、制御部15は映像処理部115dをさらに備え、記憶部14には映像データ114bがさらに格納される。その他の構成及び動作については図3に示した携帯端末10と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。
カメラ16は、例えば警備員Sの頭部に装着され、警備員Sの顔と同一方向を撮像可能である。映像処理部115dは、通訳処理部15aが通訳依頼に係る所定の操作を受け付けた際に、カメラ16の撮像を開始させ、カメラ16が撮像した映像を映像データ114bとして記憶部14に格納する。
通信処理部115cは、通訳処理部15aから通話接続の指示を受け付けた場合に、サーバ装置20に対して呼接続要求を行って該サーバ装置20との間で通話回線を確立する。さらに、当該通話の終了後、通信処理部115cは、記憶部14から映像データ114bを読み出してサーバ装置20に送信する。
次に、図7に示したサーバ装置20の内部構成について説明する。図9は、図7に示したサーバ装置20の内部構成を示すブロック図である。図9に示すように、本実施例2に係るサーバ装置20は、制御部25に映像解析処理部125bをさらに備え、緊急度判定処理部125aの動作が実施例1と異なる。その他の構成及び動作については図4に示したサーバ装置20と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。
映像解析処理部125bは、カメラ16により撮像された映像データを解析し、人物の動作を識別する処理部である。具体的には、映像解析処理部125bは、映像データに含まれる外国人Fの像を検知する。カメラ16の撮像範囲が警備員Sの視界となるべく重複するようカメラ16を装着すれば、映像データに含まれる人物像のうち、中央部に所在する大きい像が外国人Fであると推定可能である。そして、当該人物の像を時系列で追跡することにより、その動作を識別することができる。
緊急度判定処理部125aは、警備員Sが発話した音声と外国人Fの動作から通訳依頼の緊急度を判定する処理部である。警備員Sが発話した音声からの緊急度の判定では、実施例1と同様に、音声解析処理部25gから出力される文字データ内に記憶部24にあらかじめ記憶された緊急度判定用キーワード24cが含まれているか否かによって緊急度を判定する。そして、外国人Fの動作からの緊急度の判定では、動作のパターンと緊急度とを対応付けたデータとの照合や、識別した動作の動きの大きさや速さの分析により判定を行なう。
なお、音声からの判定結果と動作からの判定結果とが異なる場合、「いずれの判定結果を優先するかを予め定める」、「緊急度が高いと判定した方の結果を用いる」、「緊急度が低いと判定した方の結果を用いる」など、任意の方法により総合して緊急度を定めればよい。
次に、本実施例2に係る通訳依頼から通訳者対応までのシーケンスについて説明する。図10は、本実施例2に係る通訳依頼から通訳者対応までのシーケンスについて説明するための説明図である。
携帯端末10は、警備員Sからの通訳依頼に係る所定の操作を受け付けると(ステップS1)、サーバ装置20に対して呼接続要求を行って該サーバ装置20との間に通話回線を確立する。サーバ装置20は、この呼接続要求により通訳依頼を受け付けると(ステップS21)、音声案内を行い、所定時間(例えば「30秒」)通話を促して音声データを要求する。なお、この音声案内は、音声メッセージ用としてデフォルトの言語(例えば日本語)で「30秒間お話し下さい」等の音声を通話回線上に出力するようにしてもよいし、幾つかの主要な国際的言語を循環させながら同じ趣旨の音声を通話回線上に出力してもよい。
携帯端末10は、警備員S及び外国人Fを含む話者の発話内容(音声データ)を通話回線を介してサーバ装置20に送信する(ステップS2)。その後、携帯端末10は、カメラ16が撮像した映像データをサーバ装置20に送信する(ステップS3)。
サーバ装置20は、音声データを解析して文字データに変換するとともに、映像データを解析して外国人Fの動作を識別する(ステップS22a)。そして、文字データ内に緊急度判定用キーワード24cとしてあらかじめ登録されたキーワードが存在するか否か、外国人Fの動作が緊急性を示しているか等によって緊急度を判定する(ステップS23)。その結果、緊急度Aと判定された場合には(ステップS24;Yes)、言語種別の判定を行わず、直ちに緊急度Aに対応する通訳者グループを選択する(ステップS29)。すなわち、通訳者グループ「緊急度A」を選択し、ステップS27に移行する。
一方、緊急度Aと判定されない場合には(ステップS24;No)、音声データを解析して得られた文字データ内に言語種別判定用キーワード24dとしてあらかじめ登録されたキーワードが存在するか否かによって言語種別の判定を行う(ステップS25)。その結果、言語種別が判定されたならば、サーバ装置20は、緊急度及び言語種別に応じて最適な通訳者グループを選択し(ステップS26)、選択した通訳者グループの通訳者用端末50に発呼する(ステップS27)。通訳者用端末50からの応答を受けて(ステップS31)、サーバ装置20は通訳者用端末50と携帯端末10の間の通話回線を確立する(ステップS28)。この状態から通常の電話と同じように、外国人F又は警備員Sと通訳者の会話が電話により開始されることになる。
上述したように、本実施例2では音声データと外国人Fの映像データを使って、警備員Sが応対する外国人Fの緊急度を判定することとしたので、確度の高い判定結果を得られる。このため、通訳サービスをさらに効率良く行うことができる。
また、本実施例2では、自分の言語が通じないと承知している外国人がジェスチャで意図を通じさせようとする場合には、音声データよりも映像データを先に送信し、緊急度を判定するようにしてもよい。
また、本実施例2では、重要地域等の警備員が映像データを取得することができるので、映像データを所定のコントロールセンタに送信し、コントロールセンタからの指示で、警備員が通訳する現場に赴くようにすることにしてもよい。
また、本実施例2では、音声データと映像データを通訳者に送信することが可能であり、通訳者が現場に即した通訳を行うことが可能となる。特に、外国人要人が訪問することが既知の場合には、外国人要人らしき人物を警備員が確認できたならば、映像データを先にサーバ装置20に送信し、サーバ装置20が事前に通訳者用端末50等との間に通信を確立し、通訳の準備をしておくことにしてもよい。
ところで、上記実施例1及び2では、携帯端末10とサーバ装置20との間で通話接続を行い、携帯端末10を用いて発話される音声データをサーバ装置20上で解析する場合を示したが、本発明はこれに限定されるものではなく、携帯端末10からサーバ装置20に対して通訳依頼データ(音声データではない)を送信し、サーバ装置20がこの通訳依頼データに基づいて緊急度及び言語種別を判定し、該当する通訳者を選択し、選択した通訳者の通訳者用端末50から携帯端末10に電話を掛ける場合に適用することもできる。
具体的には、携帯端末10は、通訳依頼に関する所定の操作がなされてから所定の期間の音声データを装置内部で解析して文字データ化し、この文字データ及び携帯端末10の電話番号を含む通訳依頼データをサーバ装置20に送信して通訳依頼を行う。一方、サーバ装置20は、携帯端末10からデータ送信される通訳依頼データを受信したならば、この通訳依頼データに含まれる文字データ及び緊急度判定用キーワード24cに登録されたキーワードに基づいて該通訳依頼の緊急度を判定するとともに、通訳依頼データに含まれる文字データ及び言語種別判定用キーワード24dに登録されたキーワードに基づいて該通訳依頼の言語種別を判定する。そして、緊急度及び言語種別に基づいて通訳者用端末50を選択し、選択した通訳者用端末50に対して携帯端末10に通話するよう指示することになる。なお、かかる指示には、携帯端末10の電話番号が含まれる。
また、上記の実施例1及び2では、警備員Sが話す母国語を日本語として説明したが、警備員Sの母国語が日本語に限定されるわけではない。任意の言語種別を警備員Sの母国語にすることが可能である。
また、上記実施例1及び2では、緊急度をA、B、Cの3段階で説明したが、これに限定されるわけではない。通訳者や通訳する状況に応じて、2段階でもよいし、4段階、5段階に設定してもよい。
また、実施例1及び2では、緊急度の変更について言及しなかったが、緊急度の変更を要する場合には、通訳者グループの変更を行うようにしてもよい。例えば、緊急度Aから緊急度Bに変更する場合に、携帯端末10との間の通信を通訳者グループ「緊急度A」から通訳者グループ「緊急度B(英語対応)」に切り替えるようにする。
また、上記実施例1及び2で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
以上のように、本発明に係る通訳サービスシステム、通訳依頼者端末、通訳サービス方法及び通訳サービスプログラムは、大規模なイベント等が開催される場合に、通訳を必要とする利用者の状況に応じた通訳サービスを効率良く行いたい場合に適している。
10 携帯端末
11 無線通信部
12 表示操作部
13 音声入出力部
14、24 記憶部
14a 通訳アプリ
15、25 制御部
15a 通訳処理部
15b、25e 音声処理部
15c、115c 通信処理部
16 カメラ
20 サーバ装置
21 通信部
22 音声出力部
23a 操作部
23b 表示部
24a 通信管理データ
24b 通訳管理データ
24c 緊急度判定用キーワード
24d 言語種別判定用キーワード
25a、125a 緊急度判定処理部
25b 言語種別判定処理部
25c 通訳者グループ選択処理部
25d 呼制御処理部
25g 音声解析処理部
30、51 交換装置
40 無線基地局
50 通訳者用端末
60 機械翻訳サーバ
114b 映像データ
115d 映像処理部
125b 映像解析処理部
F 外国人
S 警備員
T1、T2、T3 通訳者

Claims (10)

  1. 通訳を依頼する通訳依頼者が所持する通訳依頼者端末と、通訳センタに所在する複数の通訳者に対応してそれぞれ設けられた複数の通訳者端末と、前記通訳依頼者端末と前記複数の通訳者端末との間に介在し、前記通訳依頼者端末からの通訳依頼に応答して前記複数の通訳者端末のいずれかを選択するサーバ装置とを有する通訳サービスシステムであって、
    前記サーバ装置は、
    所定の通訳依頼者端末からの前記通訳依頼としての呼接続要求に応答して前記通訳依頼者端末との間で通訳依頼に関する呼接続を行う呼接続手段と、
    前記呼接続手段にて呼接続された前記通訳依頼者端末上で発声される所定期間の音声を解析し、解析した文字データ内に含まれるキーワードに基づいて前記通訳依頼の緊急度を判定する緊急度判定手段と、
    少なくとも前記緊急度判定手段により判定された前記通訳依頼の緊急度に基づいて、前記通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択する選択手段と、
    一時保留された前記通訳依頼者端末との間の呼と、前記選択手段により選択された通訳者端末グループに属する一つの通訳者端末又は前記選択手段により選択された通訳者端末との間の呼を呼接続して前記通訳者端末と前記通訳依頼者端末とを通話接続する通話接続手段と
    を備えたことを特徴とする通訳サービスシステム。
  2. 通訳を依頼する通訳依頼者が所持する通訳依頼者端末と、通訳センタに所在する複数の通訳者に対応してそれぞれ設けられた複数の通訳者端末と、前記通訳依頼者端末と前記複数の通訳者端末との間に介在し、前記通訳依頼者端末からの通訳依頼に応答して前記複数の通訳者端末のいずれかを選択するサーバ装置とを有する通訳サービスシステムであって、
    前記サーバ装置は、
    所定の通訳依頼者端末から所定の期間の音声を解析した文字データを含む通訳依頼データを受信する通訳依頼データ受信手段と、
    前記通訳依頼データに含まれる文字データ内のキーワードに基づいて前記通訳依頼の緊急度を判定する緊急度判定手段と、
    少なくとも前記緊急度判定手段により判定された前記通訳依頼の緊急度に基づいて、前記通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択する選択手段と、
    前記選択手段により選択された通訳者端末グループに属する一つの通訳者端末又は前記選択手段により選択された通訳者端末と前記通訳依頼者端末とを通話接続する通話接続手段と
    を備えたことを特徴とする通訳サービスシステム。
  3. 前記サーバ装置は、
    複数の通訳者端末からなる通訳者端末グループ又は通訳者端末と優先度を対応付けた優先度情報を記憶する優先度情報記憶部をさらに備え、
    前記選択手段は、
    前記緊急度判定手段により判定された前記通訳依頼の緊急度及び前記優先度情報記憶部に記憶された優先度情報に基づいて、前記通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択する
    ことを特徴とする請求項1又は2に記載の通訳サービスシステム。
  4. 通訳依頼に応答して通訳センタに所在する複数の通訳者に対応してそれぞれ設けられた複数の通訳者端末のいずれかを選択するサーバ装置と通信可能な通訳依頼者端末であって、
    所定の通訳依頼操作を受け付ける通訳依頼操作受付手段と、
    前記サーバ装置が通訳依頼の緊急度に基づいて通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択可能にするために、前記通訳依頼操作を受け付けてから所定の期間の音声を解析した文字データを含む通訳依頼データを前記サーバ装置に通知する通知手段と
    を備えたことを特徴とする通訳依頼者端末。
  5. 通訳を依頼する通訳依頼者が所持する通訳依頼者端末と、通訳センタに所在する複数の通訳者に対応してそれぞれ設けられた複数の通訳者端末と、前記通訳依頼者端末と前記複数の通訳者端末との間に介在し、前記通訳依頼者端末からの通訳依頼に応答して前記複数の通訳者端末のいずれかを選択するサーバ装置とを有する通訳サービスシステムにおける通訳サービス方法であって、
    前記サーバ装置が、所定の通訳依頼者端末からの前記通訳依頼としての呼接続要求に応答して前記通訳依頼者端末との間で通訳依頼に関する呼接続を行う呼接続工程と、
    前記呼接続工程にて呼接続された前記通訳依頼者端末上で発声される所定期間の音声を解析し、解析した文字データ内に含まれるキーワードに基づいて前記通訳依頼の緊急度を判定する緊急度判定工程と、
    少なくとも前記緊急度判定工程により判定された前記通訳依頼の緊急度に基づいて、前記通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択する選択工程と、
    一時保留された前記通訳依頼者端末との間の呼と、前記選択工程により選択された通訳者端末グループに属する一つの通訳者端末又は前記選択工程により選択された通訳者端末との間の呼を呼接続して前記通訳者端末と前記通訳依頼者端末とを通話接続する通話接続工程と
    を含むことを特徴とする通訳サービス方法。
  6. 通訳を依頼する通訳依頼者が所持する通訳依頼者端末と、通訳センタに所在する複数の通訳者に対応してそれぞれ設けられた複数の通訳者端末と、前記通訳依頼者端末と前記複数の通訳者端末との間に介在し、前記通訳依頼者端末からの通訳依頼に応答して前記複数の通訳者端末のいずれかを選択するサーバ装置とを有する通訳サービスシステムにおける通訳サービス方法であって、
    前記サーバ装置が、所定の通訳依頼者端末から所定の期間の音声を解析した文字データを含む通訳依頼データを受信する通訳依頼データ受信工程と、
    前記通訳依頼データに含まれる文字データ内のキーワードに基づいて前記通訳依頼の緊急度を判定する緊急度判定工程と、
    少なくとも前記緊急度判定工程により判定された前記通訳依頼の緊急度に基づいて、前記通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択する選択工程と、
    前記選択工程により選択された通訳者端末グループに属する一つの通訳者端末又は前記選択工程により選択された通訳者端末と前記通訳依頼者端末とを通話接続する通話接続工程と
    を含むことを特徴とする通訳サービス方法。
  7. 通訳依頼に応答して通訳センタに所在する複数の通訳者に対応してそれぞれ設けられた複数の通訳者端末のいずれかを選択するサーバ装置と通信可能な通訳依頼者端末における通訳サービス方法であって、
    所定の通訳依頼操作を受け付ける通訳依頼操作受付工程と、
    前記サーバ装置が通訳依頼の緊急度に基づいて通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択可能にするために、前記通訳依頼操作を受け付けてから所定の期間の音声を解析した文字データを含む通訳依頼データを前記サーバ装置に通知する通知工程と
    を含むことを特徴とする通訳サービス方法。
  8. 通訳を依頼する通訳依頼者が所持する通訳依頼者端末と、通訳センタに所在する複数の通訳者に対応してそれぞれ設けられた複数の通訳者端末との間に介在し、前記通訳依頼者端末からの通訳依頼に応答して前記複数の通訳者端末のいずれかを選択するサーバ装置上で実行される通訳サービスプログラムであって、
    所定の通訳依頼者端末からの前記通訳依頼としての呼接続要求に応答して前記通訳依頼者端末との間で通訳依頼に関する呼接続を行う呼接続手順と、
    前記呼接続手順にて呼接続された前記通訳依頼者端末上で発声される所定期間の音声を解析し、解析した文字データ内に含まれるキーワードに基づいて前記通訳依頼の緊急度を判定する緊急度判定手順と、
    少なくとも前記緊急度判定手順により判定された前記通訳依頼の緊急度に基づいて、前記通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択する選択手順と、
    一時保留された前記通訳依頼者端末との間の呼と、前記選択手順により選択された通訳者端末グループに属する一つの通訳者端末又は前記選択手順により選択された通訳者端末との間の呼を呼接続して前記通訳者端末と前記通訳依頼者端末とを通話接続する通話接続手順と
    をコンピュータに実行させることを特徴とする通訳サービスプログラム。
  9. 通訳を依頼する通訳依頼者が所持する通訳依頼者端末と、通訳センタに所在する複数の通訳者に対応してそれぞれ設けられた複数の通訳者端末との間に介在し、前記通訳依頼者端末からの通訳依頼に応答して前記複数の通訳者端末のいずれかを選択するサーバ装置上で実行される通訳サービスプログラムであって、
    所定の通訳依頼者端末から所定の期間の音声を解析した文字データを含む通訳依頼データを受信する通訳依頼データ受信手順と、
    前記通訳依頼データに含まれる文字データ内のキーワードに基づいて前記通訳依頼の緊急度を判定する緊急度判定手順と、
    少なくとも前記緊急度判定手順により判定された前記通訳依頼の緊急度に基づいて、前記通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択する選択手順と、
    前記選択手順により選択された通訳者端末グループに属する一つの通訳者端末又は前記選択手順により選択された通訳者端末と前記通訳依頼者端末とを通話接続する通話接続手順と
    をコンピュータに実行させることを特徴とする通訳サービスプログラム。
  10. 通訳依頼に応答して通訳センタに所在する複数の通訳者に対応してそれぞれ設けられた複数の通訳者端末のいずれかを選択するサーバ装置と通信可能な通訳依頼者端末上で実行される通訳サービスプログラムであって、
    所定の通訳依頼操作を受け付ける通訳依頼操作受付手順と、
    前記サーバ装置が通訳依頼の緊急度に基づいて通訳依頼を処理する通訳者端末グループ又は通訳者端末を選択可能にするために、前記通訳依頼操作を受け付けてから所定の期間の音声を解析した文字データを含む通訳依頼データを前記サーバ装置に通知する通知手順と
    をコンピュータに実行させることを特徴とする通訳サービスプログラム。
JP2018246059A 2014-09-25 2018-12-27 通訳サービスシステム、通訳サービス方法及び通訳サービスプログラム Active JP6689953B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014195910 2014-09-25
JP2014195910 2014-09-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014197606A Division JP6462291B2 (ja) 2014-09-25 2014-09-26 通訳サービスシステム及び通訳サービス方法

Publications (2)

Publication Number Publication Date
JP2019088009A true JP2019088009A (ja) 2019-06-06
JP6689953B2 JP6689953B2 (ja) 2020-04-28

Family

ID=55804262

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014197606A Active JP6462291B2 (ja) 2014-09-25 2014-09-26 通訳サービスシステム及び通訳サービス方法
JP2018246059A Active JP6689953B2 (ja) 2014-09-25 2018-12-27 通訳サービスシステム、通訳サービス方法及び通訳サービスプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014197606A Active JP6462291B2 (ja) 2014-09-25 2014-09-26 通訳サービスシステム及び通訳サービス方法

Country Status (1)

Country Link
JP (2) JP6462291B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111554280A (zh) * 2019-10-23 2020-08-18 爱声科技有限公司 对利用人工智能的翻译内容和口译专家的口译内容进行混合的实时口译服务系统
WO2021080074A1 (ko) * 2019-09-06 2021-04-29 (주)에어사운드 인공지능을 통한 번역과 통역 전문가의 통역이 하이브리드된 실시간 통역 서비스시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7139658B2 (ja) * 2018-03-30 2022-09-21 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041844A (ja) * 2000-07-26 2002-02-08 Takuo Tanaka 電話を用いた同時通訳システムおよびその仲介システムならびに同時通訳サービスの提供方法およびその仲介方法
JP2002118659A (ja) * 2000-10-04 2002-04-19 Yozan Inc 電話装置及び翻訳電話装置
US20070160188A1 (en) * 2005-11-25 2007-07-12 Teletech Holdings, Inc. Home Agent Access in Call Routing Management Based on Caller Language
JP2008152439A (ja) * 2006-12-15 2008-07-03 Hitachi Building Systems Co Ltd 遠隔監視システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002223303A (ja) * 2001-01-26 2002-08-09 Glory Ltd 通訳サービス提供システム及び通訳サービス提供方法
JP2003036304A (ja) * 2001-07-24 2003-02-07 Yukifusa Kiyota 地球ネットワーク型通訳サービス提供システム
CN1685698A (zh) * 2002-09-27 2005-10-19 银河网路股份有限公司 视频电话翻译系统及视频电话翻译方法
JP2006134127A (ja) * 2004-11-08 2006-05-25 Net Vision:Kk 警察官支援システム
JP2006139577A (ja) * 2004-11-12 2006-06-01 Task Management:Kk 翻訳サービス装置、翻訳サービス方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002041844A (ja) * 2000-07-26 2002-02-08 Takuo Tanaka 電話を用いた同時通訳システムおよびその仲介システムならびに同時通訳サービスの提供方法およびその仲介方法
JP2002118659A (ja) * 2000-10-04 2002-04-19 Yozan Inc 電話装置及び翻訳電話装置
US20070160188A1 (en) * 2005-11-25 2007-07-12 Teletech Holdings, Inc. Home Agent Access in Call Routing Management Based on Caller Language
JP2008152439A (ja) * 2006-12-15 2008-07-03 Hitachi Building Systems Co Ltd 遠隔監視システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021080074A1 (ko) * 2019-09-06 2021-04-29 (주)에어사운드 인공지능을 통한 번역과 통역 전문가의 통역이 하이브리드된 실시간 통역 서비스시스템
CN111554280A (zh) * 2019-10-23 2020-08-18 爱声科技有限公司 对利用人工智能的翻译内容和口译专家的口译内容进行混合的实时口译服务系统

Also Published As

Publication number Publication date
JP6462291B2 (ja) 2019-01-30
JP6689953B2 (ja) 2020-04-28
JP2016066983A (ja) 2016-04-28

Similar Documents

Publication Publication Date Title
AU2015375326B2 (en) Headless task completion within digital personal assistants
EP3767622B1 (en) Automatically determining language for speech recognition of spoken utterance received via an automated assistant interface
JP6891337B2 (ja) 画像および/または他のセンサデータに基づいている自動アシスタント要求の解決
KR101295711B1 (ko) 음성 인식으로 애플리케이션의 실행 가능한 이동통신 단말 장치 및 방법
US20190306341A1 (en) Methods and systems for accessing printing and scanning functions of a multi-function printer
US11721338B2 (en) Context-based dynamic tolerance of virtual assistant
KR20210008521A (ko) 자동화된 어시스턴트를 호출하기 위한 다이내믹 및/또는 컨텍스트-특정 핫 워드
KR20190031167A (ko) 전자 장치 및 이의 제어 방법
JP6767796B2 (ja) 通話管理システム及びその音声認識制御方法
JP6689953B2 (ja) 通訳サービスシステム、通訳サービス方法及び通訳サービスプログラム
KR102414159B1 (ko) 보류 상태를 관리하기 위한 방법 및 장치
US20190349480A1 (en) Inquiry processing method, system, terminal, automatic voice interactive device, display processing method, telephone call controlling method, and storage medium
EP3618060A1 (en) Signal processing device, method, and program
CN112333258A (zh) 一种智能客服方法、存储介质及终端设备
US10510350B2 (en) Increasing activation cue uniqueness
KR20190011031A (ko) 자연어 표현 생성 방법 및 전자 장치
EP3644309A1 (en) System and method for integrated printing of voice assistant search results
JP2018055022A (ja) 音声認識システム、情報処理装置、プログラム
CN117971154A (zh) 多模态响应
JP2019184969A (ja) 案内ロボットシステム及び言語選択方法
CA3158979C (en) Headless task completion within digital personal assistants
US11924150B2 (en) System(s) and method(s) for enabling a representative associated with an entity to modify a trained voice bot associated with the entity
JP2002297646A (ja) サービスシステム、方法及びプログラム
US20230059979A1 (en) Artificial Intelligence Based Smart Device for Contact Centers Solutions
JP2010286943A (ja) 受付装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200408

R150 Certificate of patent or registration of utility model

Ref document number: 6689953

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250