JP2016200764A - 通訳配信装置、制御装置、端末装置、通訳配信方法、制御方法、情報処理方法、およびプログラム - Google Patents

通訳配信装置、制御装置、端末装置、通訳配信方法、制御方法、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2016200764A
JP2016200764A JP2015082135A JP2015082135A JP2016200764A JP 2016200764 A JP2016200764 A JP 2016200764A JP 2015082135 A JP2015082135 A JP 2015082135A JP 2015082135 A JP2015082135 A JP 2015082135A JP 2016200764 A JP2016200764 A JP 2016200764A
Authority
JP
Japan
Prior art keywords
language
interpreting
unit
interpretation
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015082135A
Other languages
English (en)
Other versions
JP6090757B2 (ja
Inventor
征範 慎
Yukinori Shin
征範 慎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shin Trading Co Ltd
Original Assignee
Shin Trading Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shin Trading Co Ltd filed Critical Shin Trading Co Ltd
Priority to JP2015082135A priority Critical patent/JP6090757B2/ja
Priority to US15/565,977 priority patent/US10235364B2/en
Priority to PCT/JP2016/061672 priority patent/WO2016167210A1/ja
Publication of JP2016200764A publication Critical patent/JP2016200764A/ja
Application granted granted Critical
Publication of JP6090757B2 publication Critical patent/JP6090757B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/005Language recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】専用の受信装置を用いることなく、通訳された音声を出力することができる通訳配信装置を提供する。
【解決手段】第一の言語の音声を2以上の異なる言語にそれぞれ通訳した音声データである2以上の通訳音声データのうちの、少なくとも1以上を取得する通訳音声取得部101と、通訳音声取得部101が取得した通訳音声データのうちの少なくとも一つを、1以上の端末装置21に送信する通訳音声送信部102と、を備えるようにした。
【選択図】図1

Description

本発明は、通訳した音声データを配信するシステム等に関するものである。
従来の技術として、赤外線を用いた同時通訳のシステムが知られていた(例えば、特許文献1参照)。
特開平8−256114号公報(第1頁、第3図等)
しかしながら、従来の技術においては、通訳された音声のデータが、送信装置から赤外線等で送信されるため、通訳された音声のデータを受信して音声を出力させるためには、専用の受信装置が必要であるという課題があった。このため、通訳された音声を聞くためには、ユーザは、予め専用の受信器等を借りたりして用意しておかなければならなず、専用の受信器を用意し忘れた場合、通訳された音声を聞くことができない、という問題があった。また、突然、通訳された音声が必要になった場合等においても、専用の受信器を用意しておかなければ、通訳された音声をきくことができない、という問題があった。
本発明は、上記のような課題を解消するためになされたものであり、専用の受信装置を用いることなく、通訳された音声を出力することが可能となる通訳配信装置等を提供することを目的とする。
本発明の通訳配信装置は、第一の言語の音声を2以上の異なる言語にそれぞれ通訳した音声データである2以上の通訳音声データのうちの、少なくとも1以上を取得する通訳音声取得部と、通訳音声取得部が取得した通訳音声データのうちの少なくとも一つを、1以上の端末装置に送信する通訳音声送信部と、を備えた通訳配信装置である。
かかる構成により、専用の受信装置を用いることなく、通訳された音声を出力することができる。
また、本発明の通訳配信装置は、前記通訳配信装置において、通訳音声取得部は、2以上の通訳音声データを取得する通訳配信装置である。
かかる構成により、二以上の言語の通訳音声データを送信することができる。
また、本発明の通訳配信装置は、前記通訳配信装置において、通訳音声送信部が送信する通訳音声データに対して、1以上の端末装置からメッセージを受信するメッセージ受信部と、メッセージ受信部が受信したメッセージを出力するメッセージ出力部とを備えた通訳配信装置である。
かかる構成により、端末装置からのメッセージを出力することができる。
また、本発明の通訳配信装置は、前記通訳配信装置において、通訳送信部が通訳音声データを送信する端末装置数を示す端末数情報を取得する端末数取得部と、端末数取得部が取得した端末数情報を送信する端末数送信部とを備えた通訳配信装置である。
かかる構成により、通訳配信装置が通訳音声データを送信している端末数を他の装置等に通知することができる。
本発明の制御装置は、2以上の端末装置から、言語の識別子である言語識別子と、端末装置の端末識別子とを有する送信要求情報を受信する制御側送信要求受信部と、複数の通訳配信装置に関する情報である配信装置情報が格納される配信装置情報格納部と、第一の言語の音声を通訳した通訳音声データであって、制御側送信要求受信部が受信した送信要求情報が有する言語識別子が示す言語に通訳された通訳音声データを送信する通訳配信装置を、配信装置情報を用いて決定する配信元決定部と、配信元決定部が決定した通訳配信装置から、送信要求情報が有する言語識別子が示す言語に通訳された通訳音声データを、送信要求情報が有する端末識別子が示す端末装置に送信させるための処理を行なう配信処理部と、を備えた制御装置である。
かかる構成により、端末装置に送信する通訳音声データの送信元となる通訳音声データを適切に決定することができる。
また、本発明の制御装置は、前記制御装置において、配信元決定部は、複数の通訳配信装置のうちの、制御側送信要求受信部が受信した送信要求情報が有する言語識別子が示す言語の通訳音声データを送信する予め指定された通訳配信装置の中から、送信要求情報が有する端末識別子が示す端末装置に通訳音声データを送信する通訳配信装置を、配信装置情報を用いて決定する制御装置である。
かかる構成により、予め決められた言語の通訳音声データを送信する通訳配信装置の中から、通訳音声データを送信する通訳配信装置を決定することができる。
また、本発明の制御装置は、前記制御装置において、配信装置情報を用いて、複数の通訳配信装置がそれぞれ送信する通訳音声データの言語を決定し、各通訳配信装置が送信する通訳音声データの言語を示す情報を、配信装置情報に蓄積する配信言語決定部と、配信言語決定部が決定した言語の通訳音声データを複数の通訳配信装置に送信させるための処理を行なう言語決定処理部とを備え、配信元決定部は、配信言語決定部により更新された配信装置情報を用いて、制御側送信要求受信部が受信した送信要求情報が有する言語識別子が示す言語の通訳音声データを送信する1以上の通訳配信装置の中から、送信要求情報が有する端末識別子が示す端末装置に通訳音声データを送信する通訳配信装置を決定する制御装置である。
かかる構成により、通訳配信装置に対して、送信する通訳音声データの言語を適切に割り当てることができる。
本発明の端末装置は、第一の言語の音声を通訳した音声データである通訳音声データを送信する1以上の通訳配信装置が送信する2以上の言語の通訳音声データについて、それぞれの言語の言語識別子を受信する言語識別子受信部と、言語識別子受信部が受信した2以上の言語識別子を用いて、受信する通訳音声データの言語を指定するためのメニューを構成するメニュー構成部と、メニュー構成部が構成したメニューを表示する表示部と、メニュー構成部が構成したメニューを用いて、聴取対象の言語を指定する操作を受け付ける言語指定受付部と、言語指定受付部が受け付けた操作により指定される聴取対象の言語の通訳音声データを受信する通訳音声受信部と、通訳音声受信部が受信した聴取対象の言語の通訳音声データを出力する通訳音声出力部と、を備えた端末装置である。
かかる構成により、通訳配信装置が送信する通訳音声データの言語についての言語識別子を用いて、通訳する言語を指定するためのメニューを表示することができる。
また、本発明の端末装置は、前記端末装置において、通訳音声出力部が出力する通訳音声データに対するメッセージの入力を受け付けるメッセージ受付部と、メッセージ受付部が受け付けたメッセージを、通訳音声出力部が出力した通訳音声データの送信元となる通訳配信装置に送信するメッセージ送信部とを備えた端末装置である。
かかる構成により、メッセージを通訳配信装置に送信することができる。
また、本発明の端末装置は、前記端末装置において、端末装置のユーザのユーザ識別子が格納されるユーザ識別子格納部を更に備え、メッセージ送信部は、ユーザ識別子格納部に格納されたユーザ識別子を、メッセージとともに通訳配信装置に送信する端末装置である。
かかる構成により、メッセージを送信するユーザを知らせることができる。
また、本発明の端末装置は、前記端末装置において、通訳音声データが格納される通訳音声格納部を更に備え、通訳音声出力部は、通訳音声受信部が受信した聴取対象の通訳音声データを通訳音声格納部に蓄積する端末装置である。
かかる構成により、聴取している通訳された音声を録音することができる。
また、本発明の端末装置は、前記端末装置において、通訳音声データが格納される通訳音声格納部を更に備え、言語指定受付部は、録音対象となる1以上の言語を指定する操作を更に受け付け、通訳音声受信部は、言語指定受付部が受け付けた操作により指定される録音対象の言語の通訳音声データを更に受信し、通訳音声出力部は、通訳音声受信部が受信した録音対象の通訳音声データを通訳音声格納部に蓄積する端末装置である。
かかる構成により、通訳された音声を録音することができる。例えば、聴取していない通訳された音声を録音することができる。
また、本発明の通訳配信装置は、前記通訳配信装置において、言語指定受付部が受け付けた操作により指定される言語の通訳音声データの送信を要求する送信要求情報を、送信要求情報が要求する通訳音声データを配信する通訳配信装置を決定する制御装置に送信する送信要求送信部を、更に備え、通訳音声受信部は、制御装置が決定した通訳配信装置から、送信要求情報が要求する通訳音声データを受信する端末装置である。
かかる構成により、制御装置を介して、指定した言語に通訳された音声データを取得することができる。
本発明による通訳配信装置等によれば、専用の受信装置を用いることなく、通訳された音声を出力することができる。
本発明の実施の形態1における通訳配信システムのブロック図 同通訳配信システムの通訳配信装置の動作について説明するフローチャート 同通訳配信システムの端末装置の動作について説明するフローチャート 同通訳配信システムの概念図 同通訳配信システムの言語識別子管理表を示す図 同通訳配信システムの受信言語識別子管理表を示す図 同通訳配信システムの端末装置の表示例を示す図 同通訳配信システムの端末装置の表示例を示す図 同通訳配信システムの送信要求管理表を示す図 同通訳配信システムの端末装置の表示例を示す図を示す図 同通訳配信システムのメッセージの表示例を示す図 本発明の実施の形態2における通訳配信システムの制御装置の詳細を示すブロック図 同通訳配信システムの通訳配信装置および端末装置の詳細を示すブロック図 同通訳配信システムの制御装置の動作について説明するフローチャート 同通訳配信システムの通訳配信装置の動作について説明するフローチャート 同通訳配信システムのの概念図 同通訳配信システムの配信言語管理表を示す図 同通訳配信システムの端末数管理表を示す図 同通訳配信システムの最大接続数管理表を示す図 同通訳配信システムの配信言語管理表を示す図 本発明の各実施の形態におけるコンピュータシステムの外観の一例を示す図 同コンピュータシステムの構成の一例を示す図
以下、通訳配信装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
(実施の形態1)
図1は、本実施の形態における通訳配信システム1000のブロック図である。
通訳配信システム1000は、1または2以上の通訳配信装置11と、1または2以上の端末装置21を備える。ここでは、通訳配信システム1000が、p(pは3以上の整数)台の通訳配信装置11を備えている場合を一例として示しており、各通訳配信装置11を、第一の通訳配信装置11a、第二の通訳配信装置11b、および第pの通訳配信装置11cとして表している。また、ここでは、q(qは、3以上の整数)台の端末装置21を備えている場合を例に挙げて示しており、各端末装置21を、第一の端末装置21a、第二の端末装置21b、および第qの端末装置21cとして表している。ただし、通訳配信システム1000が有している通訳配信装置11は、1または2台であっても良く、通訳配信システム1000が有している端末装置21は、1または2台であっても良い。
1または2以上の通訳配信装置11と、1または2以上の端末装置21とは、ネットワークや通信回線等を介して、無線接続や有線接続やこれらの組み合わせにより、情報の送受信が可能となるよう接続されている。
通訳配信装置11は、通訳音声取得部101、通訳音声送信部102、言語識別子取得部103、言語識別子送信部104、メッセージ受信部105、メッセージ出力部106、および送信要求受信部107を備える。
端末装置21は、言語識別子受信部201、メニュー構成部202、表示部203、言語指定受付部204、送信要求送信部205、通訳音声受信部206、通訳音声格納部207、通訳音声出力部208、メッセージ受付部209、ユーザ識別子格納部210、およびメッセージ送信部211を備える。
通訳配信装置11は、例えば、音声データを配信可能なサーバ装置である。通訳配信装置11は、コンピュータ等により実現される。
通訳音声取得部101は、2以上の通訳音声データのうちの、少なくとも1以上を取得する。ここでの2以上の通訳音声データは、例えば、通訳配信システム1000が送信可能な2以上の通訳音声データである。通訳音声取得部101は、2以上の通訳音声データを取得してもよい。通訳音声データは、第一の言語の音声を、この第一の言語とは異なる言語の音声に通訳した音声データである。例えば、通訳音声データは、第一の言語の音声を同時通訳した音声の音声データである。通訳は、翻訳と考えてもよい。2以上の通訳音声データは、第一の言語の音声を2以上の異なる言語にそれぞれ通訳した音声データであり、互いに異なる言語の音声データである。第一の言語はどのような言語であっても良く、通訳される言語もどのような言語であっても良い。ここでの言語は、例えば、通訳によって変換を行なうことが可能な記号体系等を意味するものであり、いわゆる方言等の地方語も言語と考えてもよい。例えば、中国語における北京語と広東語とを異なる言語と考えてもよい。
例えば、通訳配信システム1000が、一の通訳配信装置11だけを有している場合、この通訳配信装置11の通訳音声取得部101が、通訳配信システム1000が配信することとなる2以上の通訳音声データの全てを取得する。また、通訳配信システム1000が、複数の通訳配信装置11を有している場合、この複数の通訳配信装置11の通訳音声取得部101が、通訳配信装置11が配信することとなる2以上の通訳音声データを分担して取得してもよい。例えば、言語毎に、通訳音声データを分担して取得しても良い。複数の通訳配信装置11を有している場合、一の通訳配信装置11の通訳音声取得部101は、2以上の通訳音声データを取得してもよく、一の通訳音声だけを取得しても良い。また、複数の通訳配信装置11がそれぞれ受け付ける1以上の通訳音声データは、少なくとも一部が重複してもよい。例えば、複数の通訳配信装置11の通訳音声取得部101が、一の言語の通訳音声データを重複して取得してもよい。通訳配信システム1000が、複数の通訳配信装置11を有しており、通訳配信システム1000は、2以上の言語に通訳された2以上の通訳音声データを受信する場合、各通訳配信装置11が、異なる通訳音声データを1つずつ取得しても良い。
通訳音声データは、例えば、通訳者が第一の言語の音声を、第一の言語とは異なる言語に通訳して得られた音声のデータである。通訳音声データは、通常は、第一の言語の音声を、通訳者が通訳して得られた音声のデータであるが、通訳音声データは、第一の言語の音声を自動翻訳して得られた音声のデータであっても良い。
通訳音声取得部101は、例えば、通訳された音声を、マイクロフォン等の音声入力デバイス等を介して受け付け、音声入力デバイスが取得した音声信号を用いて通訳音声データを取得する。例えば、通訳音声取得部101は、図示しない入力デバイス等を介して受け付けた通訳された音声の音声信号を標本化して通訳音声データを取得する。また、通訳音声取得部101は、図示しない他の情報処理端末等から送信あるいは出力される通訳音声データを受信あるいは受け付けることにより、通訳音声データを取得しても良い。例えば、通訳者が利用する図示しない情報処理端末(例えば、携帯情報端末や、多機能携帯端末、タブレット型端末、ノート型コンピュータ等のコンピュータなど)が、音声入力デバイス等を介して通訳者から通訳された音声を受け付ける。そして、この情報処理端末は、受け付けた音声を示す音声信号を標本化して通訳音声データを取得する。そして、この情報処理端末が取得して送信、あるいは出力する通訳音声データを、通訳音声取得部101が受信あるいは受け付けることで、通訳音声データを取得しても良い。この場合、通訳音声取得部101は、図示しない通信手段等を備えていても良く、通訳配信装置11が有する図示しない受信部等が受信した通訳音声データを取得しても良い。なお、複数の通訳配信装置11の通訳音声取得部101が、第一の言語の音声を一の言語に通訳した通訳音声データを取得しても良い。
なお、通訳音声取得部101は、結果的に、通訳音声データの言語の識別子である言語識別子が特定可能となるように通訳音声データを取得することが好ましい。言語識別子とは、例えば、日本語、英語等の言語名や、en、jp等の言語に割り当てられたコードである。
例えば、通訳音声取得部101は、言語識別子と対応付けられた通訳音声データを取得してもよい。例えば、通訳者が、入力デバイスや、他の情報処理装置等に通訳した音声を入力する際に選択した入力する言語を指定する情報に対応する言語識別子を、通訳音声取得部101が通訳音声データとともに取得されるようにする。この場合、通訳音声データと対応付けられた言語識別子を、この通訳音声データの言語識別子として取得可能である。なお、通訳音声データと対応付けられた言語識別子は、通訳音声データのヘッダ等に格納されていても良い。
また、通訳音声取得部101が、通訳者識別子と対応付けられた通訳音声データを取得し、後述する言語識別子取得部103が、通訳者識別子と対応付けられた言語識別子を取得するようにしても良い。この場合、通訳音声取得部101が取得した一の通訳音声データに対応付けられた通訳者識別子と一致する通訳者識別子を、言語識別子取得部103が取得した通訳者識別子から検出し、この通訳者識別子と対応付けられた言語識別子を、通訳音声取得部101が取得した一の通訳音声データの言語識別子として取得しても良い。通訳者識別子は、通訳者の識別子であり、例えば、通訳者名や、通訳者に割り当てられたコードや、通訳者のメールアドレスや、通訳者が利用する情報処理端末に割り当てれたシリアルナンバー等のコードや、IPアドレス等のアドレス情報等である。なお、上記において、通訳者識別子の代わりに、通訳音声データに割り当てた識別子を用いても良い。かかることは、以下においても同様である。
また、一の通訳配信装置11が、一の言語の通訳音声データしか取得しない場合、後述する言語識別子取得部103が取得する言語識別子を、通訳音声取得部101が取得する通訳音声データの言語識別子として取得するようにしてもよい。また、一の通訳配信装置11が送信しうる1以上の通訳音声データの言語、具体的には、通訳音声取得部101が取得する通訳音声データの1以上の言語は、予め決められていても良く、この場合、後述する言語識別子取得部103は、図示しない格納部等に予め格納されているこの予め指定された一以上の言語、即ち、一の通訳配信装置11が送信しうる一以上の通訳音声データの言語の言語識別子を読出して取得するようにしてもよい。
通訳音声送信部102は、通訳音声取得部101が取得した通訳音声データのうちの少なくとも一つを、1以上の端末装置21に送信する。通訳音声データは、通常、pull型で送信される。通訳音声送信部102は、例えば、通訳音声取得部101が取得した通訳音声データの一部のみを、あるいは全てを、1以上の端末装置21に送信してもよい。
通訳音声送信部102は、例えば、通訳音声取得部101が取得した通訳音声データのうちの少なくとも一つを、ブロードキャストで送信してもよい。ブロードキャストで送信する場合、通訳音声送信部102は、例えば、通訳音声データを受信する端末装置21が、受信する通訳音声データの言語が識別できるよう、送信する通訳音声データを、この通訳音声データに対応付けられた言語識別子と対応付けて送信する。例えば、言語識別子を、通訳音声データのパケットのヘッダ等に配置して送信する。
ブロードキャストで送信する場合、通訳音声送信部102は、例えば、通訳音声取得部101が取得した通訳音声データの全てを送信することが好ましい。
また、通訳音声送信部102は、例えば、通訳音声取得部101が取得した通訳音声データのうちの少なくとも一つを、マルチキャストまたはユニキャストで、1以上の特定の端末装置21に送信してもよい。例えば、送信要求受信部107が受信した送信要求情報が有する言語識別子が示す言語の通訳音声データを、この送信要求情報が有する端末識別子が示す端末装置21、あるいはこの端末装置21を含む端末装置21のグループに送信する。また、一の通訳配信装置11が、一の言語の通訳音声データだけを取得して出力するものである場合、通訳音声送信部102は、送信要求受信部107が受信した送信要求情報が有する端末識別子が示す端末装置21、あるいはこの端末装置21を含む端末装置21のグループに、通訳音声取得部101が取得した通訳音声データを送信するようにしてもよい。端末識別子とは、端末装置21を識別可能な情報であり、例えば、IPアドレス等の端末装置21のアドレス情報である。送信要求受信部107が受信した送信要求情報が有する言語識別子が示す言語の通訳音声データとは、例えば、通訳音声取得部101が取得した通訳音声データのうちの、送信要求情報が有する言語識別子と同じ言語識別子と対応付けられた通訳音声データや、言語識別子が示す言語と同じ言語を示す言語識別子と対応付けられた通訳音声データである。
例えば、マルチキャストまたはユニキャストで送信する場合において、送信要求受信部107が一の端末識別子と対応付けられた異なる2以上の言語識別子を有する送信要求情報を受信した場合、通訳音声送信部102は、この送信要求情報が有する端末識別子が示す端末装置21に、この2以上の言語識別子がそれぞれ示す2以上の言語の通訳音声データをそれぞれ送信する。なお、送信要求情報の詳細については後述する。
通訳音声送信部102は、通訳音声データをストリーミング送信することが好ましい。特に、同時通訳等を行なう場合、通訳された音声の出力の遅れを極力抑えるためには、ストリーミング送信が好ましい。ただし、プログレッシブダウンロード送信等の他の方式で送信を行なっても良い。
通訳音声送信部102は、一の言語の通訳音声データとして、異なる転送レートの複数の通訳音声データを同時に送信するようにしてもよい。例えば、一の言語の通訳音声データとして、2.4kbpsの通訳音声データと、32kbpsの通訳音声データとを同時に送信してもよい。また、通訳音声送信部102は、一の言語の通訳音声データとして、異なるcodecで変換された複数の通訳音声データを同時に送信するようにしてもよい。
通訳音声送信部102は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。通訳音声送信部102は、通信デバイスを含むと考えても、含まないと考えても良い。
なお、以下、本実施の形態においては、通訳音声送信部102がユニキャストで通訳音声データを送信する場合を例に挙げて説明する。
言語識別子取得部103は、通訳音声取得部101が取得する1以上の通訳音声データについての言語識別子を取得する。この言語識別子は、例えば、通訳音声送信部102が送信可能な通訳音声データの言語識別子と考えてもよい。例えば、言語識別子取得部103は、通訳者識別子と対応付けられた言語識別子を取得する。通訳者識別子と対応付けられた言語識別子は、例えば、通訳者識別子が示す通訳者が入力する通訳音声データの言語の言語識別子である。
言語識別子取得部103は、キーボードやタッチパネル(図示せず)等の入力デバイスを介して入力される言語識別子(あるいは、通訳者識別子と対応付けられた言語識別子等)を取得しても良い。また、通訳者が利用する携帯情報端末等の情報処理端末(図示せず)から送信される言語識別子(あるいは、通訳者識別子と対応付けられた言語識別子等)を受信しても良い。この場合、言語識別子取得部103は、図示しない通信手段等を備えていても良く、通訳配信装置11が有する図示しない受信部等が受信した通訳音声データを取得しても良い。なお、ここでの通訳者識別子と対応付けられた言語識別子は、例えば、通訳者識別子と言語識別子との組等と考えてもよい。また、言語識別子取得部103は、通訳音声取得部101が受信した言語識別子と対応付けられた通訳音声データから、言語識別子を取得しても良い。
なお、言語識別子取得部103は、取得した言語識別子を図示しない格納部等に蓄積してもよい。
また、通訳音声送信部102が送信可能な1以上の通訳音声データの言語識別子が、図示しない格納部等に予め格納されている場合、言語識別子取得部103による言語識別子の取得は、この格納されている言語識別子の読出しであってもよい。
言語識別子送信部104は、言語識別子取得部103が取得した言語識別子を送信する。言語識別子送信部104は、例えば、言語識別子取得部103が取得した言語識別子を、自装置の装置識別子と対応付けて送信する。装置識別子は、例えば、通訳配信装置11のIPアドレスやURI等のアドレス情報等である。例えば、言語識別子送信部104は、言語識別子取得部103が取得した一以上の言語識別子をブロードキャストで送信する。この場合、言語識別子送信部104が言語識別子をブロードキャストで送信するタイミングは問わない。例えば、予め指定された一定のタイミングや不定のタイミング毎に繰り返し、言語識別子を送信してもよい。また、言語識別子送信部104は、通訳配信装置11の図示しない受信部等が、一以上の端末装置21から言語識別子を送信する要求を受信した場合に、この端末装置21に対してマルチキャストやユニキャストで言語識別子を送信するようにしてもよい。あるいは、予め指定された1以上の端末装置21に対してマルチキャストやユニキャストで言語識別子を送信すするようにしてもよい。この場合も、言語識別子送信部104が言語識別子をブロードキャストで送信するタイミングは問わない。
言語識別子送信部104は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。言語識別子送信部104は、通信デバイスを含むと考えても、含まないと考えても良い。
メッセージ受信部105は、通訳音声送信部102が送信する通訳音声データに対して、1以上の端末装置21からメッセージを受信する。メッセージ受信部105が受信するメッセージは、通訳配信装置11が送信する通訳音声データに関する端末装置21のユーザからのメッセージである。メッセージは、例えば、テキストまたは画像またはテキストおよび画像の組み合わせで構成される。例えば、メッセージは、送信する通訳音声データの品質に関するメッセージである。例えば、メッセージは、通訳音声データの話す速度に対する要望を示す情報(例えば、話す速度が遅い、早い等の情報)である。また、通訳音声データの内容に関する苦情等の情報(例えば、訳に間違いがある等を指摘する情報や、訳の確認を求める情報等)であっても良い。例えば、メッセージ受信部105は、通訳音声送信部102が通訳音声データを送信する際に、この通訳音声データに付与した送信元の通訳配信装置11のIPアドレス等のアドレス情報等を宛先として用いて送信されるメッセージを受信する。メッセージ受信部105は、通訳音声送信部102が送信した通訳音声データに対応付けられた言語識別子と対応付けられたメッセージを受信してもよい。特に、一の通訳配信装置11が2以上の言語の通訳音声データを送信する場合、言語識別子と対応付けられたメッセージを受信することが好ましい。言語識別子と対応付けられたメッセージは、言語識別子を有するメッセージと考えてもよい。
メッセージ受信部105は、通常、無線または有線の通信手段で実現される。メッセージ受信部105は、通信デバイスを含むと考えても、含まないと考えても良い。
メッセージ出力部106は、メッセージ受信部105が受信したメッセージを出力する。ここでのメッセージの出力とは、メッセージの図示しないモニタ等への表示や、通訳者が利用する情報処理端末(図示せず)へのメッセージの送信である。また、メッセージを、図示しない格納部等に蓄積してもよい。
例えば、メッセージ受信部105が受信したメッセージが、言語識別子と対応付けられている場合、メッセージ出力部106は、この言語識別子をメッセージとともに出力(例えば表示)しても良い。また、メッセージ受信部105が受信したメッセージを通訳者が利用する情報処理端末に送信する場合、この言語識別子に対応する通訳者識別子と対応付けられた通訳者の情報処理端末にメッセージを送信してもよい。例えば、通訳者識別子が、通訳者の情報処理端末のアドレス情報や、通訳者のメールアドレスやSMS(ショートメッセージングサービス)等のアカウントである場合、この通訳者識別子を宛先等として用いて、メッセージ受信部105が受信したメッセージを送信するようにしてもよい。
メッセージ出力部106は、モニタや通信手段等の出力デバイスを含むと考えても含まないと考えても良い。メッセージ出力部106は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
送信要求受信部107は、端末装置21から、送信要求情報を受信する。送信要求情報は、端末装置21から送信される通訳音声データの送信を要求する情報である。送信要求情報は、例えば、この端末装置21の端末識別子と、言語識別子とを有する情報である。なお、一の通訳配信装置が、通訳音声データとして、一の言語の通訳音声データのみを送信する場合、送信要求情報は、言語識別子を有していなくても良い。
送信要求受信部107は、通常、無線または有線の通信手段で実現される。送信要求受信部107は、通信デバイスを含むと考えても、含まないと考えても良い。
端末装置21は、例えば、汎用の端末装置である。例えば、端末装置21は、アプリケーションソフトウェアを実行可能な汎用の端末装置であることが好ましい。端末装置21は、例えば、情報処理端末である。端末装置21は、例えば、ユーザが携帯可能な情報端末である携帯情報端末である。携帯情報端末とは、例えば、携帯情報端末や、携帯電話、いわゆるスマートフォン等の多機能携帯電話、タブレット型端末、ノート型コンピュータ等である。端末装置21は、Wi−Fi(登録商標)や、Bluetooth(登録商標)等を利用して無線通信が可能な装置であることが好ましい。
言語識別子受信部201は、第一の言語の音声を通訳した音声データである通訳音声データを送信する1以上の通訳配信装置11が送信する2以上の言語の通訳音声データについて、それぞれの言語の言語識別子を受信する。例えば、言語識別子受信部201は、一の通訳配信装置11が送信する異なる2以上の言語の通訳音声データのそれぞれに対応した2以上の言語識別子を受信してもよく、複数の通訳配信装置11のそれぞれが送信する1以上の言語の通訳音声データにそれぞれ対応した言語識別子を受信してもよい。言語識別子受信部201は、言語識別子を送信する通訳配信装置11の装置識別子と対応付けられた言語識別子を受信する。言語識別子受信部201が受信する言語識別子は、例えば、通訳配信装置11の言語識別子送信部104が送信する言語識別子である。言語識別子受信部201は、例えば、受信した言語識別子を、この言語識別子と対応付けられた装置識別子と対応付けて、図示しない格納部等に蓄積する。
なお、後述するメニュー構成部202が、メニューを構成する際に、図示しない送信部等が、1以上の通訳配信装置11に、通訳音声データの言語識別子の送信を要求する情報を送信(例えば、ブロードキャスト送信)するようにして、この要求に応じて、1以上の通訳配信装置11から送信される通訳音声データを受信するようにしても良い。
言語識別子受信部201は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。言語識別子受信部201は、通信デバイスを含むと考えても、含まないと考えても良い。
メニュー構成部202は、言語識別子受信部201が受信した2以上の言語識別子を用いて、受信する通訳音声データの言語を指定するためのメニューを構成する。メニュー構成部202は、例えば、受信した2以上の言語識別子にそれぞれ対応する言語を示す2以上のメニュー項目を有するメニューを構成する。メニュー構成部202が構成する各言語識別子に対応する言語を示すメニュー項目は、例えば、各言語識別子の少なくとも一部や、各言語識別子が示す言語を表す文字列や、言語を表す画像や記号等が配置された項目である。各メニュー項目は、各言語識別子に応じてテンプレート等を用いて動的に作成されても良く、図示しない格納部等に各言語識別子と対応付けられて格納されているメニュー項目の表示用のデータから、各言語識別子に応じて検索等により取得されてもよい。また、メニューも、テンプレート等を用いてメニュー項目等を動的に配置して作成されても良い。また、各メニュー項目には、メニュー項目に対応付けられた言語識別子の指定を受け付けるためのスクリプトやコマンド等が対応付けられていても良い。また、メニュー構成部202が構成するメニューは、例えば、言語識別子受信部201が受信した2以上の言語識別子や、この2以上の言語識別子がそれぞれ示す言語を表す文字列や画像等の情報を配列したリスト状のメニューであってもよい。この場合、リスト項目を、上述したメニュー項目と考えてもよい。なお、選択可能な複数の情報から、これらの一以上を選択するためのメニューを構成する技術等は公知技術であるため、ここでは詳細な説明は省略する。
メニュー構成部202が構成するメニューの言語を示すメニュー項目は、例えば、この言語が示す言語識別子と対応付けられていても良く、この言語が示す言語識別子を送信した通訳配信装置11の装置識別子と対応付けられていても良い。また、メニュー項目は、装置識別子と言語識別子とに対応付けられていても良い。
メニュー構成部202が構成するメニューは、聴取対象の通訳音声データの言語を指定するためのメニューであっても良く、録音対象の通訳音声データの言語を指定するためのメニューであってもよく、聴取対象の通訳音声データの1以上の言語と録音対象の通釈音声データの1以上の言語とをそれぞれ指定するためのメニューであっても良い。聴取対象や、録音対象については、後述する。
表示部203は、メニュー構成部202が構成したメニューを表示する。例えば、表示部203は、図示しないモニタ等にメニューを表示する。表示部203が、メニューを表示するタイミングやトリガー等は問わない。例えば、図示しない受付部等を介して受け付けたユーザの指示に応じて表示してもよい。この場合、この指示を受け付けた場合に、言語識別子受信部201が言語識別子を受信してもよい。また、端末装置21の起動時に、メニューを表示してもよい。端末装置21の起動時は、端末装置21が、プログラムを実行することにより実現される場合、このプログラムの起動次と考えてもよい。なお、表示部203は、メニュー以外の表示を更に行なうようにしてもよい。例えば、表示部203は、メッセージの入力画面や、録音の可否を選択する画面等の表示を行なっても良い。表示部203は、モニタ等の表示デバイスを含むと考えても含まないと考えても良い。表示部203は、表示デバイスのドライバーソフトまたは、表示デバイスのドライバーソフトと表示デバイス等で実現され得る。
言語指定受付部204は、メニュー構成部202が構成したメニューを用いて、聴取対象となる1以上の言語を指定する操作を受け付ける。聴取対象の言語とは、例えば、後述する通訳音声出力部208が、図示しないスピーカーやイヤホン等を用いて可聴音等の音波に変換して出力する対象となる通訳音声データの言語である。ここでの音波への変換は、例えば、後述する通訳音声受信部206が通訳音声データを受信した直後に行なわれる変換である。メニューを用いた言語を指定する操作は、メニューを用いて言語が指定可能であれば、どのような操作であっても良い。例えば、メニューが有する言語を示す複数のメニュー項目やリスト項目の1以上を指定する操作である。例えば、メニュー項目やリスト項目の1以上をマウス等を用いてクリックしたり、タッチパネル等を操作してタップする操作である。また、言語に対応付けられたメニュー項目等に対応付けられた番号等を、キーボードやスクリーンキーボード等から入力する操作等であっても良い。ここで用いられるメニューは、聴取対象の言語の指定を受け付けるためのメニューであっても良く、聴取対象の通訳音声データの1以上の言語と録音対象の通釈音声データの1以上の言語とをそれぞれ指定するためのメニューであっても良い。
言語指定受付部204が、聴取対象の言語を指定する操作により指定する言語は、通常は、一つであるが、複数であっても良い。
言語指定受付部204は、メニュー構成部202が構成したメニューを用いて、録音対象となる1または2以上の言語を指定する操作を、更に受け付けてもよい。録音対象となる言語とは、例えば、後述する通訳音声出力部208が、録音対象とする通訳音声データの言語である。ここでの、通訳音声データの録音とは、受信した通訳音声データを後述する通訳音声格納部207に蓄積することであっても良く、受信した通訳音声データを用いて変換される音声に対して標本化等を行なって取得した音声データを後述する通訳音声格納部207に蓄積することであっても良い。メニューを用いた言語を指定する操作については、上述した聴取対象となる言語を指定する操作と同様であるため、ここでは詳細な説明は省略する。ここで用いられるメニューは、録音対象の言語の指定を受け付けるためのメニューであっても良く、聴取対象の通訳音声データの1以上の言語と録音対象の通釈音声データの1以上の言語とをそれぞれ指定するためのメニューであっても良い。
言語指定受付部204が、録音対象の言語を指定する操作により指定する言語は、聴取対象の言語として指定される言語とは異なる言語であることが好ましい。
送信要求送信部205は、言語指定受付部204が受け付けた言語を指定する操作により指定される言語の通訳音声データの送信を要求する情報である送信要求情報を、例えば、この言語の通訳音声データを送信する通訳配信装置11に送信する。
例えば、送信要求送信部205は、言語指定受付部204が受け付けた言語を指定する操作により指定された言語を示す言語識別子と、この言語識別子と対応付けられた装置識別子とを取得し、この装置識別子が示す通訳配信装置11に対して、取得した言語識別子と、自装置である端末装置21の端末識別子とを有する送信要求情報を送信する。言語を指定する操作により指定された言語を示す言語識別子は、例えば、言語を指定する操作において指定したメニュー項目に対応付けられた言語識別子であってもよい。また、この言語識別子と対応付けられた装置識別子は、例えば、言語識別子受信部201が受信した装置識別子と対応付けられた2以上の言語識別子のうちの、上記の言語を指定する操作によって指定された言語の言語識別子と対応付けられた装置識別子である。あるいは、この装置識別子は、言語を指定する操作において指定したメニュー項目に対応付けられた装置識別子であっても良い。端末識別子は、端末装置21のIPアドレス等のアドレス情報や、端末装置21に割り当てられたコード等である。なお、一の通訳配信装置11が送信する通訳音声データが、一の言語の通訳音声データだけである場合、送信要求情報は、言語識別子を有していなくても良い。送信要求情報は、通訳音声データの送信を指示する情報等を有していてもよく、有していなくても良い。
なお、通訳配信装置11が通訳音声データをブロードキャストで送信する場合においては、送信要求送信部205は省略しても良い。
通訳音声受信部206は、1以上の通訳配信装置11が送信する音声データであって、第一の言語の音声を2以上の異なる言語にそれぞれ通訳した音声データである2以上の通訳音声データのうちの、1以上を受信する。通訳音声受信部206は、例えば、一の通訳配信装置11から2以上の異なる言語の通訳音声データを受信してもよく、二以上の通訳配信装置11のそれぞれから、異なる1以上の1以上の通訳音声データを受信してもよい。通訳音声受信部206は、通常、pull型で通訳音声データを受信する。
通訳音声受信部206は、例えば、後述する言語指定受付部204が受け付けた言語を指定する操作に応じた1または2以上の言語の通訳音声データを受信する。通訳音声受信部206は、例えば、後述する言語指定受付部204が受け付けた聴取対象の言語を指定する操作に応じた言語の通訳音声データを受信する。また、通訳音声受信部206は、例えば、後述する言語指定受付部204が受け付けた録音対象の言語を指定する操作に応じた1または2以上の言語の通訳音声データを受信する。
例えば、言語指定受付部204が聴取対象の言語を指定する操作を受け付けた場合に、送信要求送信部205が、この操作が指定する言語の言語識別子を送信した通訳配信装置11に、この言語の通訳音声データの送信を要求する送信要求情報を送信する。例えば、言語指定受付部204が聴取対象の言語を指定する操作を受け付けた場合に、送信要求送信部205は、この操作により指定された言語の言語識別子と対応付けられた通訳音声データの送信を要求する送信要求情報(具体的には、この言語識別子を有する送信要求情報)
を、この言語識別子を送信した1以上の通訳配信装置11に送信する。そして、この送信要求情報を受信した通訳配信装置11が、この送信要求情報に応じてユニキャストまたはマルチキャストで送信する、この送信要求情報が要求する言語の通訳音声データ、例えば、この送信要求情報が有する言語識別子と対応付けられた通訳音声データを、通訳音声受信部206が受信するようにしてもよい。一の通訳配信装置11が、一の言語の通訳音声データしか送信しない場合には、送信要求送信部205は、送信する言語を指定する情報を有さない送信要求情報を送信してもよい。
また、通訳配信装置11から、通訳音声データがブロードキャストで送信される場合、通訳音声受信部206は、通訳配信装置11から受信する通訳音声データが、言語指定受付部204が受け付けた視聴対象の言語を指定する操作により指定された言語の通訳音声データであるか否かを判断して、視聴対象の言語の通訳音声データについては受信し、その他の通訳音声データは受信しないようにしてもよい。あるいは、受信した後に削除しても良く、このような場合も、ここでは受信しないことと考える。なお、通訳音声受信部206が受信する通訳音声データが、言語指定受付部204が受け付けた視聴対象の言語を指定する操作により指定された言語の通訳音声データであるか否かの判断は、例えば、通訳音声データに対応付けられた言語識別子が、視聴対象の言語を指定する操作により取得された言語識別子と一致するか否かにより判断される。例えば、一致する場合、視聴対象の言語を指定する操作により指定された言語の通訳音声データであると判断され、一致しない場合、視聴対象の言語を指定する操作により指定された言語の通訳音声データでないと判断される。
例えば、通訳配信装置11から、通訳音声データがブロードキャストで送信される場合、通訳音声受信部206は、受信する通訳音声データが、言語を指定する操作により指定された聴取対象の言語の言語識別子と対応付けられた通訳音声データであるか判断して、聴取対象の言語の言語識別子と対応付けられた通訳音声データを受信し、その他の通訳音声データは受信しないようにしてもよい。
なお、言語指定受付部204が録音対象の言語を指定する操作を受け付けた場合に、通訳音声受信部206が行なう通訳音声データを受信する処理は、言語を指定する操作が指定する言語が、聴取対象の言語であるか録音対象の言語であるかが異なる点を除けば上記の処理と同様であるため、ここでは詳細な説明は省略する。
通訳音声受信部206は、通常、無線または有線の通信手段で実現される。通訳音声受信部206は、通信デバイスを含むと考えても、含まないと考えても良い。
通訳音声格納部207には、1または2以上の通訳音声データが格納される。例えば、通訳音声格納部207には、1または2以上の通訳音声データが言語識別子と対応付けて格納される。通訳音声格納部207に格納される通訳音声データは、例えば、通訳音声受信部206が受信した通訳音声データである。また、通訳音声受信部206が受信した通訳音声データを用いて一旦変換された音声に対して標本化等を行なって取得した音声データを、ここでは、通訳音声データと考えて。通訳音声格納部207に格納されるようにしてもよい。
通訳音声格納部207は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。かかることは、以下の他の格納部についても同様である。
通訳音声出力部208は、通訳音声受信部206が受信した1以上の通訳音声データを出力する。通訳音声出力部208は、例えば、通訳音声受信部206が受信した聴取対象の1以上の言語の1以上の通訳音声データを出力する。例えば、通訳音声出力部208は、通訳音声受信部206が受信した聴取対象の言語の通訳音声データを音声に変換し、得られた通訳の音声を出力する。
また、通訳音声出力部208は、例えば、通訳音声受信部206が受信した録音対象の1以上の言語の1以上の通訳音声データを通訳音声格納部207に蓄積してもよい。なお、通訳音声出力部208は、例えば、通訳音声受信部206が受信した聴取対象の言語の通訳音声データを音声に変換して得られた通訳の音声に対して、標本化等を行なって得られた音声データを通訳音声データとして通訳音声格納部207に蓄積してもよい。このように、一旦、通訳音声受信部206が受信した通訳音声データを音声に変換し、再度音声データ化して蓄積することも、ここでは、通訳音声受信部206が受信した通訳音声データを通訳音声格納部207に蓄積することと考えてよい。通訳音声データを蓄積する際には、通訳音声データに対応付けられた言語識別子を対応付けて蓄積することが好ましい。
なお、通訳音声出力部208は、通訳音声受信部206が受信した聴取対象の通訳音声データを、録音対象の通訳音声データと同様に、通訳音声格納部207に蓄積してもよい。
ここでの出力は、例えば、スピーカーや、イヤホン、ヘッドフォン等の音声を出力するデバイスから音声の出力である。また、ここでの出力は、通訳音声データの通訳音声格納部207への蓄積である。通訳音声出力部208は、スピーカーや、イヤホン、ヘッドフォン等の出力デバイスを含むと考えても含まないと考えても良い。通訳音声出力部208は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
メッセージ受付部209は、通訳音声出力部208が出力する通訳音声データに対するメッセージの入力を受け付ける。具体的には、メッセージ受付部209は、通訳音声出力部208が聴取のために出力する通訳音声データに対するメッセージの入力を受け付ける。メッセージについては、上述しているため、ここでは詳細な説明は省略する。
メッセージの入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。例えば、メッセージ受付部209は、タッチパネル等で実現されるいわゆるスクリーンキーボードを介してメッセージを受け付けても良い。また、音声入力により,メッセージを受け付けても良い。メッセージ受付部209は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
ユーザ識別子格納部210には、端末装置21のユーザのユーザ識別子が格納される。ユーザ識別子は、ユーザの氏名や、ユーザのアカウントや、ユーザのメールアドレス等である。また、ユーザ識別子は、ユーザが利用する端末装置21の端末識別子であっても良い。
メッセージ送信部211は、メッセージ受付部209が受け付けたメッセージを、通訳音声出力部208が出力した通訳音声データの送信元となる通訳配信装置11に送信する。メッセージ送信部211は、ユーザ識別子格納部210に格納されたユーザ識別子を、メッセージとともに通訳配信装置11に送信するようにしてもよい。このようにユーザ識別子を送信することで、例えば、不適切なメッセージを送信するユーザから送信されるメッセージを受信拒否することが可能となる。また、一の通訳配信装置11が複数の言語の通訳配信装置11を送信する場合、メッセージを、通訳音声出力部208が出力する通訳音声データの言語識別子と対応付けて,送信元の通訳配信装置11に送信してもよい。
メッセージ送信部211は、通常、無線または有線の通信手段で実現される。メッセージ送信部211は、通信デバイスを含むと考えても、含まないと考えても良い。
次に、通訳配信システム1000の通訳配信装置11の動作の一例について図2のフローチャートを用いて説明する。ここでは、一の通訳配信装置11が、異なる複数の言語の通訳音声データを取得する場合を例に挙げて説明する。
(ステップS101)言語識別子取得部103は、言語識別子を取得したか否かを判断する。ここでは、例えば、言語識別子取得部103は、例えば、通訳者識別子と対応付けられた言語識別子を取得する。言語識別子を取得した場合、ステップS102に進み、取得していない場合、ステップS103に進む。
(ステップS102)言語識別子取得部103は、ステップS101で取得した言語識別子を図示しない格納部等に蓄積する。例えば、言語識別子取得部103は、取得した通訳者識別子と対応付けられた言語識別子を、通訳者識別子と対応付けて図示しない格納部等に蓄積する。
(ステップS103)言語識別子送信部104は、言語識別子取得部103が取得した1以上の言語識別子を送信するタイミングであるか否かを判断する。例えば、予め指定された時間が経過する毎に、送信するタイミングであると判断する。送信するタイミングである場合、ステップS104に進み、タイミングでない場合、ステップS105に進む。
(ステップS104)言語識別子送信部104は、言語識別子を送信する。例えば、言語識別子をブロードキャストで送信する。
(ステップS105)送信要求受信部107は、送信要求情報を受信したか否かを判断する。受信した場合、ステップS106に進み、受信していない場合、ステップS107に進む。
(ステップS106)送信要求受信部107は、ステップS105で受信した送信要求情報を、図示しない格納部に蓄積する。
(ステップS107)メッセージ受信部105は、メッセージを受信したか否かを判断する。例えば、メッセージ受信部105は、言語識別子と対応付けられたメッセージを受信する。受信した場合、ステップS108に進み、受信していない場合、ステップS109に進む。
(ステップS108)メッセージ出力部106は、ステップS107で受信したメッセージを出力する。例えば、メッセージ出力部106は、ステップS107で受信したメッセージを、このメッセージと対応付けられた言語識別子に対応する通訳者識別子が示す通訳者の図示しない情報処理端末等に送信する。
(ステップS109)通訳音声取得部101は、通訳音声データを取得したか否かを判断する。例えば、通訳者の図示しない情報処理端末から通訳音声データを取得したか否かを判断する。例えば、通訳音声取得部101は、通訳者識別子と対応付けられた通訳音声データを取得する。通訳音声取得部101が、通訳音声データを取得した場合、ステップS110に進み、取得していない場合、ステップS101に戻る。
(ステップS110)通訳音声送信部102は、ステップS109で取得した通訳音声データに対応する言語識別子を取得する。例えば、ステップS109において通訳者識別子と対応付けられた通訳音声データを取得した場合、この通訳者識別子に対応付けられた言語識別子を、ステップS102で蓄積した通訳者識別子に対応付けられた言語識別子を用いて取得する。
(ステップS111)通訳音声送信部102は、ステップS110で取得した言語識別子を用いて送信先を示す情報を取得する。送信先を示す情報は、例えば、送信先の端末装置21を示す情報である。例えば、通訳音声送信部102は、ステップS106で蓄積した送信要求情報から、ステップS110で取得した言語識別子を有する1以上の送信要求情報を検索し、検出した各送信要求情報が有する端末識別子を、送信先の端末装置21を示す情報として取得する。
(ステップS112)通訳音声送信部102は、通訳音声データをステップS111で取得した送信先を示す情報が示す送信先、具体的には端末装置21に、ステップS109で受信した通訳音声データを送信する。そして、ステップS101に戻る。
なお、図2のフローチャートにおいて、ステップS109からステップS119の処理は、他の処理とは並列に処理するようにしても良い。また、ステップS111で一の言語識別子に対応する送信先を示す情報を取得した後は、新たな送信要求情報をステップS105で受け付けるまでは、送信先を示す情報を取得する処理は行なわずに、ステップS112においては、直前に取得した言語識別子に対応する送信先を示す情報を用いて送信先を特定するようにしても良い。
なお、図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、通訳配信システム1000の端末装置21の動作の一例について図3のフローチャートを用いて説明する。ここでは、通訳配信装置11が、マルチキャストまたはユニキャストで通訳音声データを送信する場合を例に挙げて説明する。
(ステップS201)言語識別子受信部201は、言語識別子を受信したか否かを判断する。例えば、言語識別子受信部201は、装置識別子と対応付けられた言語識別子を受信する。受信した場合、ステップS202に進み、受信していない場合、ステップS203に進む。
(ステップS202)言語識別子受信部201は、ステップS201で受信した言語識別子を、装置識別子と対応付けて図示しない格納部等に蓄積する。
(ステップS203)メニュー構成部202は、聴取対象の言語を指定するメニューを表示するか否かを判断する。例えば、図示しない受付部が、聴取対象の言語を指定するメニューを表示する操作を受け付けた場合に、表示することを判断する。表示する場合、ステップS204に進み、表示しない場合、ステップS210に進む。
(ステップS204)メニュー構成部202は、ステップS202で蓄積した言語識別子を用いて、聴取対象の言語を指定するためのメニューを構成する。なお、言語識別子がステップS202で蓄積されていない場合、ステップS215に進む。
(ステップS205)表示部203は、ステップS204で構成したメニューを表示する。
(ステップS206)言語指定受付部204は、ステップS205で表示したメニューについて、聴取対象の言語を指定する操作を受け付けたか否かを判断する。例えば、1以上のメニュー項目を指定する操作を受け付けたか否かを判断する。受け付けた場合、ステップS207に進み、受け付けていない場合、ステップS206に戻る。
(ステップS207)言語指定受付部204は、聴取対象の言語の通訳音声データを録音するための操作を受け付けたか否かを判断する。受け付けた場合、ステップS208に進み、受け付けていない場合、ステップS209に進む。
(ステップS208)言語指定受付部204は、聴取対象の言語の通訳音声データを録音することを設定する。例えば、言語指定受付部204は、聴取対象の言語の通訳音声データを録音することを示す情報を、図示しない格納部等に蓄積する。
(ステップS209)送信要求送信部205は、端末装置21の端末識別子と、ステップS207で受け付けた操作により指定された言語の言語識別子とを有する送信要求情報を、この言語識別子と対応付けられた装置識別子が示す通訳配信装置11に送信する。この送信要求情報は、聴取対象の通訳音声データを要求する送信要求情報である。そして、ステップS201に戻る。
(ステップS210)メニュー構成部202は、録音対象の言語を指定するメニューを表示するか否かを判断する。例えば、図示しない受付部が、録音対象の言語を指定するメニューを表示する操作を受け付けた場合に、表示することを判断する。表示する場合、ステップS211に進み、表示しない場合、ステップS215に進む。
(ステップS211)メニュー構成部202は、ステップS202で蓄積した言語識別子を用いて、録音対象の言語を指定するためのメニューを構成する。なお、言語識別子がステップS202で蓄積されていない場合、ステップS215に進むようにしてもよい。
(ステップS212)表示部203は、ステップS211で構成したメニューを表示する。
(ステップS213)言語指定受付部204は、ステップS212で表示したメニューについて、録音対象の1以上の言語を指定する操作を受け付けたか否かを判断する。例えば、1以上のメニュー項目を指定する操作を受け付けたか否かを判断する。受け付けた場合、ステップS214に進み、受け付けていない場合、ステップS213に戻る。
(ステップS214)送信要求送信部205は、端末装置21の端末識別子と、ステップS213で受け付けた操作により指定された言語の言語識別子とを有する送信要求情報を、この言語識別子と対応付けられた装置識別子が示す通訳配信装置11に送信する。この送信要求情報は、録音対象の通訳音声データを要求する送信要求情報である。そして、ステップS201に戻る。
(ステップS215)通訳音声受信部206は、言語識別子と対応付けられた通訳音声データを受信したか否かを判断する。受信した場合、ステップS216に進み、受信していない場合、ステップS220に進む。
(ステップS216)通訳音声出力部208は、ステップS215で受信した通訳音声データが、聴取対象の通訳音声データであるか否かを判断する。例えば、ステップS209で送信した送信要求情報が有する言語識別子と一致する言語識別子と対応付けられた通訳音声データであるか否かを判断し、対応付けられた通訳音声データであれば、聴取対象の通訳音声データであると判断する。聴取対象の通訳音声データである場合、ステップS217に進み、ない場合、ステップS219に進む。
(ステップS217)通訳音声出力部208は、ステップS215で受信した通訳音声データを用いて音声を出力する。
(ステップS218)通訳音声出力部208は、聴取対象の言語の通訳音声データを録音することが設定されているか否かを判断する。例えば、聴取対象の言語の通訳音声データを録音することを示す情報が、図示しない格納部に格納されているか否かを判断し、格納されている場合、録音することを判断する。録音する場合、ステップS219に進み、録音しない場合、ステップS201に戻る。
(ステップS219)通訳音声出力部208は、ステップS215で受信した通訳音声データを、通訳音声格納部207に蓄積する。例えば、ステップS215で受信した通訳音声データを、ステップS202で蓄積した情報により、この通訳音声データと対応付けられた装置識別子と対応付けられた言語識別子と対応付けて、通訳音声格納部207に蓄積する。そして、ステップS201に戻る。
(ステップS220)メッセージ受付部209は、メッセージを受け付けたか否かを判断する。受け付けた場合、ステップS221に進み、受け付けていない場合、ステップS201に戻る。
(ステップS220)メッセージ送信部211は、ステップS220で受け付けたメッセージを、ユーザ識別子格納部210に格納されたユーザ識別子と対応付けて、ステップS202で言語識別子と対応付けられて蓄積された装置識別子であって、ステップS206で受け付けた指定する操作で指定された聴取対象の言語に対応する言語識別子と対応付けられた装置識別子が示す通訳配信装置11に送信する。そして、ステップS201に戻る。
なお、図3のフローチャートにおいて、ステップS215からステップS219の処理は、他の処理とは並列に処理するようにしても良い。
なお、図3のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
以下、本実施の形態における通訳配信システム1000の具体的な動作について説明する。ここでは、国際会議等において、発言者が発声する第一の言語である日本語の音声を、日本語以外の他の言語に同時通訳する場合について説明する。
図4は、この具体例における通訳配信システム1000の概念図である。ここでは、一例として、通訳配信システム1000が、通訳配信装置11として、第一の通訳配信装置11aと、第二の通訳配信装置11bとを備えている場合を例に挙げて説明する。ただし、通訳配信装置11の数は問わない。図において、携帯情報端末41〜44は、通訳者T1〜T4がそれぞれ利用する情報処理端末であるとする。なお、通訳者が利用する情報処理端末は、携帯情報端末でなくても良い。ここでは、携帯情報端末41および42は、第一の通訳配信装置11aと、ブルートゥース(登録商標)等の無線通信技術により接続されているものとする。また、携帯情報端末43および44は、第二の通訳配信装置11bと、ブルートゥース(登録商標)等の無線通信技術により接続されているものとする。ただし、携帯情報端末41〜44と、通訳配信装置11との接続方法等は問わない。また、ここでは、通訳配信システム1000が、複数の端末装置21を備えている場合について説明する。ここでは、複数の端末装置21を、端末装置21a、端末装置21b等で表している。なお、携帯情報端末41〜44および端末装置21は、いわゆるスマートフォンであるとする。
例えば、一の通訳者T1が、通訳者T1が利用する携帯情報端末41に、通訳する言語の言語識別子を入力したとする。ここでは、例えば、英語を示す言語識別子を入力したとすると、携帯情報端末41の図示しない言語受付部は、「英語」という言語識別子を受け付ける。携帯情報端末41の図示しない言語送信部は、この言語識別子「英語」と、携帯情報端末41の通訳者T1の通訳者識別子とを予め指定されている第一の通訳配信装置11aに送信する。なお、通訳者識別子は、ここでは、「T1001」であるとする。
第一の通訳配信装置11aの言語識別子取得部103は、携帯情報端末41から送信される言語識別子「英語」と、通訳者識別子「T1001」との組を受信して取得する。そして、取得した言語識別子「英語」と通訳者識別子「T1001」とを対応付けて、図示しない格納部に蓄積する。
図5は、第一の通訳配信装置11aの図示しない格納部に格納されている言語識別子を管理する言語識別子管理表である。言語識別子管理表は、「言語ID」と、「通訳者ID」という属性を有している。「言語ID」は、言語識別子である。「通訳者ID」は、通訳者識別子である。ここでは、既に、携帯情報端末42から送信された言語識別子「中国語」と、通訳者T2の通訳者識別子である「T1002」とを有するレコード(行)が、既に蓄積されていたものとする。
第一の通訳配信装置11aの言語識別子送信部104は、例えば、予め指定された時間間隔ごとに、図5に示した言語識別子管理表の各レコード(行)の「言語ID」の属性値である「中国語」、および「英語」を、それぞれ、第一の通訳配信装置11aの装置識別子とを対応付けて、ブロードキャストで送信する。第一の通訳配信装置11aの装置識別子は、ここでは、第一の通訳配信装置11aのIPアドレスである「xxx.xxx.112.011」であるとする。なお、ここでのxは任意の数値であるとする。
ユーザAが利用する端末装置21の言語識別子受信部201が、第一の通訳配信装置11aが送信する言語識別子「中国語」と第一の通訳配信装置11aの装置識別子であるIPアドレスとの組、および言語識別子「英語」と第一の通訳配信装置11aの装置識別子であるIPアドレスとの組を受信すると、受信した言語識別子と装置識別子との組を、図示しない格納部に一時記憶する。なお、その後に、一時記憶されている装置識別子と同じ装置識別子を有する言語識別子と装置識別子との組を受信した場合、新たに受信した言語識別子と装置識別子との組で、一時記憶されている言語識別子と装置識別子との組を更新する。
また、端末装置21aの言語識別子受信部201は、第二の通訳配信装置11bから送信される言語識別子と装置識別子との組も受信し、図示しない格納部に一時記憶する。
図6は、言語識別子受信部201が受信して蓄積した最新の言語識別子と装置識別子との組を管理する受信言語識別子管理表である。受信言語識別子管理表は、言語識別子である「言語ID」と、装置識別子である「装置ID」という属性を有している。
ユーザAが、通訳された音声を聞くために、聴取する言語を選択するためのメニューを表示させる操作を端末装置21aに対して行なうと、メニュー構成部202は、図6に示した最新の受信言語識別子管理表の各レコード(行)の「言語ID」の属性値を読出し、各「言語ID」の属性値に対応したメニュー項目を有する聴取対象の言語を指定するためのメニューを構成する。ここでは、予め図示しない格納部等に用意されたテンプレート等に、読出した各属性値をそれぞれ配置したメニュー項目を有するメニューを構成する。なお、各メニュー項目には、配置された言語識別子を対応付けておくようにする。
そして、表示部203は、メニュー構成部202が構成した聴取対象を指定するためのメニューの画像を、端末装置21aの図示しないタッチパネルが配置されたモニタに表示する。
図7は、端末装置21aによる聴取対象を指定するためのメニューの表示例を示す図である。
ユーザAが、英語に通訳された音声を聴取するため、「英語」を示すメニュー項目2031を指定する操作、具体的にはメニュー項目2031上を指でタップすると、言語指定受付部204は、この操作を、聴取対象の言語として「英語」を指定する操作として受け付ける。
また、端末装置21aの表示部203は、聴取対象に指定された言語の通訳音声データを録音するか否かの指定を受け付けるための予め用意された選択画面を端末装置21aの図示しないタッチパネルが配置されたモニタに表示する。
図8は、聴取対象に指定された言語の通訳音声データを録音するか否かの指定を受け付けるための選択画面の表示例を示す図である。
そして、例えば、ユーザが、図8に示した選択画面において、録音することを示すボタン81を押すと、言語指定受付部204は、聴取対象の言語の通訳音声データを録音することを設定する情報(例えば、録音することを示すフラグ情報)を、図示しない格納部に蓄積する。
送信要求送信部205は、言語指定受付部204が受け付けた操作が示すメニュー項目、即ちタップされたメニュー項目に対応する言語識別子である「英語」を取得する。また、送信要求送信部205は、この言語識別子「英語」に対応する装置識別子「xxx.xxx.112.011」を、図6に示した受信言語識別子管理表から読出す。そして、送信要求送信部205は、取得した言語識別子である「英語」と、図示しない格納部等に予め格納されている自装置である端末装置21aのIPアドレス「xxx.xxx.155.123」とを有する送信要求情報を、取得した装置識別子であるIPアドレスが示す通訳配信装置11aに送信する。
なお、ここで送信した送信要求情報が有する言語識別子は、通訳音声受信部206が受信した通訳音声データが、聴取対象の通訳音声データであるか否かを判定するために用いるため、送信要求送信部205が、図示しない格納部等に蓄積する。同様に、この送信要求情報の送信先の装置識別子であるIPアドレスも、メッセージの送信先として利用するため、図示しない格納部等に蓄積する。
また、ユーザAが、更に、音声を出力せずに他の言語の通訳音声データを録音するために、録音対象の通訳音声データを指定するための操作を端末装置21aに対して行なうと、メニュー構成部202は、上記と同様の処理により、録音対象を指定するためのメニューを構成し、表示部203は、構成されたメニューを図7と同様に表示する。なお、ここで構成するメニューは、既に録音されることが指定された言語を除いたメニュー、具体的には、録音されることが既に指定された言語に対応したメニュー項目を除外したメニューであることが好ましい。
そして、ユーザAが、中国語に通訳された音声を録音するため、「中国語」を示すメニュー項目を指定する操作、具体的にはメニュー項目上を指でタップすると、言語指定受付部204は、この操作を、録音対象の言語として「中国語」を指定する操作として受け付ける。なお、言語指定受付部204は、録音対象として複数の言語の指定を受け付けるようにしてもよい。
送信要求送信部205は、上記と同様に、言語指定受付部204が受け付けた操作が示すメニュー項目に対応する言語識別子である「中国語」を取得する。また、送信要求送信部205は、この言語識別子「中国語」に対応する装置識別子「xxx.xxx.112.011」を、図6に示した受信言語識別子管理表から読出す。そして、送信要求送信部205は、取得した言語識別子である「中国語」と、図示しない格納部等に予め格納されている自装置である端末装置21aの端末識別子であるIPアドレス「xxx.xxx.155.123」とを有する送信要求情報を、取得した装置識別子であるIPアドレスが示す通訳配信装置11aに送信する。
通訳配信装置11aの送信要求受信部107は、端末装置21から送信される送信要求情報を受信する。ここでは、端末装置21aから送信される、言語識別子「英語」と、端末識別子であるIPアドレス「xxx.xxx.155.123」とを有する送信要求情報、および言語識別子「中国語」と、端末識別子であるIPアドレス「xxx.xxx.155.123」とを有する送信要求情報を受信する。そして、受信した送信要求情報を図示しない格納部に蓄積する。
図9は、送信要求受信部107が受信した送信要求情報が有する言語識別子と端末識別子との組を管理する送信要求管理表である。送信要求管理表は、「言語ID」と、「端末ID」という属性を有している。「言語ID」は、言語識別子である。「端末ID」は、端末識別子であり、ここでは、端末装置21のIPアドレスであるとする。なお、ここでは、各レコード(行)が、一の送信要求情報に対応している。
第一の言語である日本語で発言者が発声した音声を、通訳者T1が英語に通訳してその音声を携帯情報端末41の図示しないマイクロフォンに入力したとする。携帯情報端末41の図示しない音声受信部は、マイクロフォンが入力を受け付けた音声信号を標本化して通訳された音声データである通訳音声データを取得する。そして、携帯情報端末41の図示しない音声送信部は、取得した通訳音声データを、通訳者識別子である「T1001」と対応付けて、通訳配信装置11aに送信する。例えば、通訳音声データをストリーミング送信する。通訳者識別子は、例えば通訳音声データのヘッダ等に付加して送信する。
通訳配信装置11aの通訳音声取得部101が、携帯情報端末41から送信される通訳者識別子「T1001」と対応付けられた通訳音声データを受信すると、通訳音声取得部101は、この通訳者識別子「T1001」と対応付けられた「言語ID」の属性値、つまり言語識別子を、図5に示した言語識別子管理表から取得する。ここでは、通訳者識別子「T1001」と対応付けられた言語識別子である「英語」を取得する。そして、図9に示した言語識別子管理表から、「言語ID」が「英語」であるレコード(行)を検索し、検出した行の「端末ID」の属性値を取得する。ここでは、例えば、「端末ID」であるIPアドレス「xxx.xxx.155.123」、「xxx.xxx.155.112」、「xxx.xxx.155.098」等を取得する。そして、取得したIPアドレスをそれぞれ宛先として、受信した通訳音声データを、上記で取得した言語識別子「英語」と対応づけて送信する。例えば、通訳音声データを、言語識別子「英語」を有するヘッダと対応づけて、ストリーミング送信する。これにより、言語識別子「英語」を有する送信要求情報を送信した端末装置21に、言語が「英語」である通訳音声データを送信することができる。
端末装置21aの通訳音声受信部206が、通訳配信装置11がIPアドレス「xxx.xxx.155.123」を宛先としてストリーミング送信する言語識別子「英語」と対応づけられた通訳音声データを受信すると、通訳音声出力部208は、受信した通訳音声データが、聴取対象の通訳音声データであるか否かを判断する。具体的には、受信した通訳音声データに対応づけられた言語識別子が、聴取対象の言語についての送信要求情報を送信する際に、送信要求送信部205が図示しない格納部に蓄積した聴取対象の言語の言語識別子である「英語」と一致するか否かを判断する。ここでは一致するため、受信した通訳音声データが聴取対象の言語の通訳音声データであると判断する。このため、通訳音声出力部208は、順次受信した通訳音声データから取得した音声を図示しないスピーカやイヤホン等から出力する。これにより、端末装置21aから、英語に通訳された音声が出力される。
また、通訳音声出力部208は、聴取対象のデータを録音することを示す情報が、図示しない格納部に格納されているか否かを判断する。ここでは、格納されているため、通訳音声出力部208は、受信した通訳音声データを、言語識別子「英語」と対応づけて通訳音声格納部207に蓄積する。これにより、現在出力されている英語に通訳された音声を録音することができる。
また、第一の言語である日本語で発言者が発声した音声を、通訳者T2が中国語に通訳してその音声を携帯情報端末42の図示しないマイクロフォンに入力したとすると、通訳された音声データが、通訳者T2の通訳者識別子である「T1002」と対応付けて、通訳配信装置11aに送信される。
そして、この通訳音声データを受信した通訳配信装置11においては、上記と同様に、通訳音声送信部102がこの通訳者識別子に対応する言語識別子「中国語」を取得し、図9に示す送信要求管理表から「中国語」に対応した「端末ID」であるIPアドレス「xxx.xxx.155.123」等を取得して、受信した通訳音声データを言語識別子「中国語」と対応づけて、このIPアドレスに送信する。
端末装置21aの通訳音声受信部206が、通訳配信装置11がIPアドレス「xxx.xxx.155.123」を宛先としてストリーミング送信する言語識別子「中国語」と対応づけられた通訳音声データを受信すると、通訳音声出力部208は、受信した通訳音声データに対応づけられた言語識別子が、聴取対象の言語についての送信要求情報を送信する際に、送信要求送信部205が図示しない格納部に蓄積した聴取対象の言語の言語識別子である「英語」と一致するか否かを判断する。ここでは一致しないため、、受信した通訳音声データが聴取対象の言語の通訳音声データでないと判断する。このため、通訳音声出力部208は、順次受信した通訳音声データから取得した音声を言語識別子「中国語」と対応づけて通訳音声格納部207に蓄積する。これにより、現在出力されている英語に通訳された音声以外の音声である中国語の音声を録音することができる。ここで録音された音声は、予め指定された操作を行なうことで再生可能である。あるいは、この音声のデータは、通常の音声データと同様に、他の装置や記録媒体等に出力することが可能である。
ユーザAが、端末装置21aから出力されている英語の音声の話す速度が速すぎて、内容が聞き取れないと感じたため、メッセージを入力するための入力画面を表示する操作を行なったとすると、端末装置21aの表示部203は、メッセージの入力画面を表示する。
図10は、端末装置21aによるメッセージ入力画面の表示例を示す図である。
ユーザAが図示しないスクリーンキーボード等を用いて、メッセージ入力画面の入力欄82に、英語を話す速度を遅くしてほしい旨のメッセージを入力すると、メッセージ受付部209は、入力欄82に入力されたメッセージを受け付ける。そして、ユーザAが送信ボタン83を押すと、メッセージ送信部211は、入力されたメッセージを、ユーザ識別子格納部210に格納されているユーザ識別子と、上記で送信要求送信部205が蓄積した聴取対象の言語の言語識別子「英語」と対応づけて、上記で送信要求送信部205が蓄積した聴取対象の言語の言語識別子を送信した通訳配信装置11の装置識別子であるIPアドレス「xxx.xxx.112.011」が示す通訳配信装置11aに送信する。ユーザ識別子は、例えば、ユーザAのユーザ名であり、ここでは、ユーザAのメールアドレス「USERA@STUV…」とする。
通訳配信装置11aのメッセージ受信部105は、端末装置21aから送信されるメッセージを受信すると、受信したメッセージに対応づけられた言語識別子「英語」に対応づけられた通訳者識別子「T1001」を、言語識別子管理表から取得し、この通訳者識別し「T1001」が示す通訳者T1の携帯情報端末41に、受信したメッセージと、このメッセージに対応づけられたユーザ識別子「USERA@STUV…」とを送信する。
通訳者T1の携帯情報端末41の図示しない受信部が、メッセージとユーザ識別子とを、携帯情報端末41の図示しない表示部が、受信したメッセージとユーザ識別子とを携帯情報端末41の図示しないモニタに表示する。
図11は、通訳者T1の携帯情報端末41によるメッセージの表示例を示す図である。
以上、本実施の形態によれば、専用の受信装置を用いることなく、汎用的な端末装置21により通訳された音声を出力することができる。
(実施の形態2)
本実施の形態は、制御装置32が、端末装置22に通訳音声データを送信する通訳配信装置12を決定するようにしたものである。
図12は、本実施の形態における通訳配信システム2000のブロック図であって、制御装置32の詳細を示すブロック図である。
図13は、本実施の形態における通訳配信システム2000のブロック図であって、通訳配信装置12および端末装置22の詳細を示すブロック図である。
本実施の形態におけ通訳配信システム2000は、上述した実施の形態で示した通訳配信システム1000において、、1または2以上の通訳配信装置11の代わりに2以上の通訳配信装置12を備え、1または2以上の端末装置21の代わりに、2以上の端末装置22を備え、更に制御装置32を備えるようにしたものである。
制御装置32は、配信装置情報格納部301、制御側言語識別子送信部302、端末数受信部303、制御側送信要求受信部304、配信言語決定部305、配信言語指示送信部306、配信元決定部307、および配信処理部308を備える。
通訳配信装置12は、配信言語指示受信部110、通訳音声取得部111、通訳音声送信部112、メッセージ受信部105、メッセージ出力部106、配信側送信要求受信部117、端末数取得部108、端末数送信部109を備える。
端末装置22は、言語識別子受信部221、メニュー構成部202、表示部203、言語指定受付部204、送信要求送信部225、通訳音声受信部206、通訳音声格納部207、通訳音声出力部208、メッセージ受付部209、ユーザ識別子格納部210、メッセージ送信部211を備える。
制御装置32は、例えば、コンピュータや、サーバ等で実現可能である。
配信装置情報格納部301には、通訳配信システム2000が有する複数の通訳配信装置12に関する情報である配信装置情報が格納される。配信装置情報は、例えば、通訳配信装置12の数や、各通訳配信装置12の接続可能な端末装置22の数や、各通訳配信装置12の装置識別子や、各通訳配信装置12のIPアドレス等のアドレス情報や、複数の通訳配信装置12が送信可能な言語識別子等の情報や、各通訳配信装置12がそれぞれ送信する通訳音声データの言語を示す情報である。各通訳配信装置12がそれぞれ送信する通訳音声データの言語を示す情報は、通訳配信装置12の装置識別子と、この通訳配信装置12が送信する通訳音声データの1以上の言語の言語識別子と有する情報である。各通訳配信装置12に関する情報(例えば、通訳配信装置のIPアドレスや各通訳配信装置12が送信する通訳音声データの言語の言語識別子等)は、各通訳配信装置12の装置識別子と対応づけて格納される。配信装置情報格納部301に配信装置情報が蓄積される過程や、タイミング等は問わない。例えば、図示しない受信部が、通訳配信装置12から送信された装置識別子や言語識別子等を受信して、これらを有する配信装置情報を蓄積してもよい。また、配信装置情報は、適宜、更新されても良い。
制御側言語識別子送信部302は、通訳配信システム2000が有する複数の通訳配信装置12が送信する2以上の言語の通訳音声データの言語識別子を2以上の端末装置22に送信する。制御側言語識別子送信部302は、例えば、配信装置情報格納部301に格納されている配信装置情報から、複数の通訳配信装置12が送信する言語を示す言語識別子を取得して送信する。例えば、制御側言語識別子送信部302は、一以上の言語識別子をブロードキャストで送信する。この場合、制御側言語識別子送信部302が言語識別子をブロードキャストで送信するタイミングは問わない。例えば、予め指定された一定のタイミングや不定のタイミング毎に繰り返し、言語識別子を送信してもよい。また、制御側言語識別子送信部302は、制御装置32の図示しない受信部等が、一以上の端末装置22から言語識別子を送信する要求を受信した場合に、この端末装置22に対してマルチキャストやユニキャストで言語識別子を送信するようにしてもよい。あるいは、予め指定された1以上の端末装置22に対してマルチキャストやユニキャストで言語識別子を送信すするようにしてもよい。この場合も、制御側言語識別子送信部302が言語識別子を送信するタイミングは問わない。制御装置32の識別子である制御装置識別子と対応づけて送信する。制御装置識別子は、例えば、通訳配信装置11のIPアドレスやURI等のアドレス情報等である。なお、制御側言語識別子送信部302は、ユニーク処理等を行なって、同じ言語識別子を重複して送信しないことが好ましい。
制御側言語識別子送信部302は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。制御側言語識別子送信部302は、通信デバイスを含むと考えても、含まないと考えても良い。
端末数受信部303は、2以上の通訳配信装置12がそれぞれ送信する端末数情報を受信する。例えば、2以上の通訳配信装置12から装置識別子と対応づけられて送信される端末数情報を受信する。端末数情報は、各通訳配信装置12が、通訳音声データを送信している端末装置22の数を示す情報である。各通訳配信装置12が複数の異なる言語の通訳音声データを送信する場合、端末数情報は、言語毎の通訳音声データを送信している端末装置22の数を示す情報であってもよい。端末数受信部303は、例えば、受信した端末数情報を、装置識別子と対応づけて、配信装置情報格納部301に格納される配信装置情報に蓄積する。例えば、既に、同じ装置識別子と対応づけられた端末数情報が格納されている場合、新たに受信した端末数情報で格納されている端末数情報を更新してもよい。
端末数受信部303は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。端末数受信部303は、通信デバイスを含むと考えても、含まないと考えても良い。
なお、本実施の形態においては、配信元決定部307等を用いて制御装置32が、端末装置22に通訳音声データを送信する通訳配信装置12を決定することから、制御装置32が、各通訳配信装置12が各言語の通訳音声データを配信する端末装置22の数の情報を取得するようにしてもよい。そして、この端末数情報を、上記で端末数受信部303が受信する端末数情報の代わりに用いるようにしてもよい。この場合、端末数受信部303や、端末数取得部108や端末数送信部109等は省略可能である。
制御側送信要求受信部304は、2以上の端末装置22から、それぞれ、言語の識別子である言語識別子と、端末装置22の端末識別子とを有する送信要求情報を受信する。送信要求情報は、送信先が制御装置32である点を除けば、上述した実施の形態の端末装置21が送信する送信要求情報と同様のものである。
制御側送信要求受信部304は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。制御側送信要求受信部304は、通信デバイスを含むと考えても、含まないと考えても良い。
配信言語決定部305は、配信装置情報を用いて、通訳配信システム2000が有する複数の通訳配信装置12がそれぞれ送信する通訳音声データの言語を決定する。例えば、配信言語決定部305は、配信装置情報が有する通訳配信装置12の数と、複数の通訳配信装置が送信している通訳音声データの言語数(例えば、言語識別子数)との情報を用いて、複数の通訳配信装置12がそれぞれ送信する通訳音声データの言語を決定する。例えば、配信言語決定部305は、送信する通訳音声データの言語数で、通訳配信装置12の総数を除算して得られた数の通訳配信装置を、それぞれの言語の通訳音声データを送信する通訳配信装置に割り当てる。
また、複数の通訳配信装置12が送信している通訳音声データの言語数と、配信装置情報が有する各通訳配信装置12の通訳音声データを同時に送信可能な数や、接続可能な端末装置22の最大値の情報とを用いて、複数の通訳配信装置12がそれぞれ送信する通訳音声データの言語を決定するようにしてもよい。例えば、各通訳配信装置12が同時に通訳音声データを送信可能な数の合計や、接続可能な端末装置22の数の合計数を、複数の通訳配信装置12が送信する通訳音声データの言語数で、除算して得られた値を取得し、各言語に割り当てられる1以上の通訳配信装置12の、通訳音声データを同時に送信可能な数の合計や、接続可能な端末装置22の最大値の合計が、上記の除算して得られた値に近くなるよう、配信言語決定部305は、各通訳配信装置12が送信する通訳音声データの言語を決定してもよい。
また、配信言語決定部305は、端末数受信部303が受信した端末数情報を用いて、複数の通訳配信装置12がそれぞれ送信する通訳音声データの言語を決定してもよい。具体的には、端末数情報が示す端末装置数を用いて言語を決定してもよい。例えば、複数の通訳配信装置12の中に、通訳音声データを送信していない1以上の通訳配信装置12を予め用意しておくようにし、一の言語の通訳音声データを送信する1以上の通訳配信装置12がそれぞれ送信する通訳音声データの送信先となる端末装置22の端末装置数が、各通訳配信装置12に設けられた閾値を超える場合等に、これまで通訳音声データを配信していなかった1以上の通訳配信装置12を、この一の言語の通訳音声データを送信する通訳配信装置12に決定するようにしてもよい。ここでの閾値は、端末装置数の閾値であっても良く、各通訳配信装置12が通訳音声データを送信可能な端末装置数に対する比率の閾値等であっても良い。例えば、閾値は、各通訳配信装置12aの端末装置22についての最大接続数であっても良い。
また、例えば、各通訳配信装置12に対応づけられた端末数情報と、各通訳配信装置12がそれぞれ送信する通訳音声データの言語を示す言語識別子とを用いて、通訳配信システム2000が有する複数の通訳配信装置12が送信している通訳音声データの言語の構成比を算出し、この構成比に合わせて、複数の通訳配信装置12がそれぞれ送信する言語を決定しても良い。構成比を用いる際には、構成比の値を、適宜、近似したり、適宜、四捨五入や、繰り上げや、繰り下げ等の端数処理を行なっても良い。この場合に、上記と同様に、各通訳配信装置12の通訳音声データを同時に配信可能な数等を考慮して、各言語の通訳音声データを配信する通訳配信装置12の構成比を決定しても良い。また、一の言語の通訳音声データを送信している通訳配信装置12の端末装置数が、この一の通訳配信装置12が通訳音声データを配信可能な上限値に達している場合に、他の言語の通訳音声データを送信している通訳配信装置12を、この一の言語の通訳音声データを送信する通訳配信装置12に変更するようにしてもよい。
配信言語決定部305は、上記のようにして決定した各通訳配信装置12がそれぞれ送信する通訳音声データの言語を示す情報を取得し、配信装置情報に蓄積する。配信言語決定部305は、例えば、上記のようにして決定した各通訳配信装置12がそれぞれ送信する通訳音声データの言語の言語識別子と、各通訳配信装置12の装置識別子との複数の組を、各通訳配信装置12がそれぞれ送信する通訳音声データの言語を示す情報として取得する。そして、取得した情報を、配信装置情報格納部301に格納されている配信装置情報に蓄積する。例えば、配信装置情報が、各通訳配信装置12がそれぞれ送信する通訳音声データの言語を示す情報を既に有している場合、配信言語決定部305は、この情報を、上記で新たに取得した各通訳配信装置12がそれぞれ送信する言語を示す情報で更新してもよい。配信装置情報が既に有している各通訳配信装置12がそれぞれ送信する言語を示す情報は、例えば、デフォルトで有している情報や、直前に配信言語決定部305により取得されて蓄積された情報である。また、例えば、配信装置情報が、各通訳配信装置12がそれぞれ送信する通訳音声データの言語を示す情報を有していない場合、配信言語決定部305は、上記で新たに取得した各通訳配信装置12がそれぞれ送信する言語を示す情報を新規に追記してもよい。
このような配信言語決定部305を用いることにより、例えば、各通訳配信装置12が送信する通訳音声データの言語を動的に決定することができる。なお、各通訳配信装置12が送信する通訳音声データの言語を動的に決定する必要が無い場合(例えば、各通訳配信装置12が送信する言語をデフォルト等で予め決定された言語とする場合等)においては、配信言語決定部305は省略しても良い。
なお、配信言語決定部305が、各通訳配信装置12が送信する通訳音声データの言語を決定する処理は、例えば、いわゆるロードバランサにおいて、負荷の増減に応じて、同じ情報の複製等を提供するサーバの割り当て数を増減させる処理が利用可能である。
配信言語決定部305が、各通訳配信装置12が配信する言語を決定する処理を行なうタイミングや、トリガー等は問わない。例えば、一定または不定の時間間隔ごとに処理を行なっても良く、予め指定された数の送信要求情報を、制御側送信要求受信部304が受信する毎に処理を行なっても良い。また、制御装置32が予め指定された順番の制御要求情報を受信してから、予め指定された時間が経過後に処理を行なってもよい。
配信言語指示送信部306は、1以上の通訳配信装置12に、配信言語決定部305が決定した言語の通訳音声データを送信する指示である配信言語指示を送信する。配信言語指示は、送信する通訳音声データの言語の言語識別子を有する情報である。配信言語指示送信部306は、配信言語決定部305が通訳配信システム2000の全ての通訳配信装置12のそれぞれについて決定した言語の通訳音声データを送信する配信言語指示を、全ての通訳配信装置12のそれぞれに送信してもよい。また、配信言語決定部305が決定した言語が、直前に送信することが指定されていた通訳音声データの言語と異なる通訳配信装置12にだけ、配信言語指示を送信しても良い。直前に指定されていた通訳音声データの言語は、例えば配信装置情報に、装置識別子と対応づけて格納されている言語識別子が示す言語である。
配信言語指示送信部306は、通常、無線または有線の通信手段で実現される。配信言語指示送信部306は、通信デバイスを含むと考えても、含まないと考えても良い。
配信元決定部307は、第一の言語の音声を通訳した通訳音声データであって、制御側送信要求受信部304が受信した送信要求情報が有する言語識別子が示す言語に通訳された通訳音声データを送信する通訳配信装置12を、配信装置情報を用いて決定する。そして、例えば、配信元決定部307は、決定した通訳配信装置12の装置識別子を取得する。
例えば、配信元決定部307は、配信装置情報を用いて、複数の通訳配信装置12のうちの、制御側送信要求受信部304が受信した送信要求情報が有する言語識別子が示す言語の通訳音声データを送信する通訳配信装置12の中から、送信要求情報が有する端末識別子が示す端末装置22に通訳音声データを送信する通訳配信装置12を決定する。例えば、送信要求情報が有する言語識別子が示す言語の通訳音声データを送信する通訳配信装置12の中から、ランダムに、あるいは予め指定されたルール等に従って、一の通訳配信装置12を検出して、この通訳配信装置12を通訳音声データの配信元に決定する。各通訳配信装置12が配信する通訳音声データの言語は、例えば、配信装置情報が有する装置識別子と、この装置識別子が示す通訳配信装置12が送信する通訳音声データの言語の言語識別子とを対応づけて有する情報を用いて判断可能である。予め指定されたルールは、例えば、予め指定された順番に、通訳配信装置12を決定するというルールである。また、各通訳配信装置12に対応する端末数情報が示す端末数が、少ないものから順に、あるいは各通訳配信装置12の接続可能な端末数に対する端末数情報が示す端末数の比率が低いものから順に、通訳配信装置12を決定するというルールであっても良い。なお、配信元決定部307が通訳音声データの送信元となる通訳配信装置12を決定する処理は、例えば、いわゆるロードバランサにおいて、同じ情報を提供するサーバ等の中から、ユーザの接続先となるサーバを決定する公知の処理が利用可能である。
複数の通訳配信装置12のうちの、制御側送信要求受信部304が受信した送信要求情報が有する言語識別子が示す言語の通訳音声データを送信する1以上の通訳配信装置12を検出する処理は、例えば、配信装置情報が有する装置識別子と言語識別子との1以上の組で構成される各通訳配信装置12が送信する通訳音声データの言語を示す情報から、制御側送信要求受信部304が受信した送信要求情報が有する言語識別子と対応づけられた装置識別子を取得することで実現可能である。
配信元決定部307は、例えば、送信する通訳音声データの言語が配信装置情報によってデフォルト等で指定されている2以上の通訳配信装置12のうちの、制御側送信要求受信部304が受信した送信要求情報が有する言語識別子が示す言語の通訳音声データを送信する通訳配信装置12の中から、上記のように送信要求情報が有する端末識別子が示す端末装置22に通訳音声データを送信する一の通訳配信装置12を決定してもよい。例えば、配信言語決定部305が省略されている場合や、配信言語決定部305により各通訳配信装置12が送信する通訳音声データの言語が決定されていない場合に、配信元決定部307がこの処理を行なうようにする。
また、配信元決定部307は、例えば、配信言語決定部305により蓄積された配信装置情報を用いて、制御側送信要求受信部304が受信した送信要求情報が有する言語識別子が示す言語の通訳音声データを送信する1以上の通訳配信装置12の中から、送信要求情報が有する端末識別子が示す端末装置22に通訳音声データを送信する通訳配信装置12を決定してもよい。例えば、配信元決定部307は、配信言語決定部305により蓄積されて更新された配信装置情報が有する各通訳配信装置12が送信する通訳音声データの言語を示す情報を用いて、制御側送信要求受信部304が受信した送信要求情報が有する言語識別子が示す言語の通訳音声データを送信する1以上の通訳配信装置12を検出し、検出した1以上の通訳配信装置12の中から、上記のように送信要求情報が有する端末識別子が示す端末装置22に通訳音声データを送信する通訳配信装置12を決定してもよい。例えば、配信言語決定部305を備えている場合であって、配信言語決定部305により各通訳配信装置12が送信する通訳音声データの言語が決定されている場合に、配信元決定部307がこの処理を行なうようにする。
配信処理部308は、配信元決定部307が決定した通訳配信装置12から、送信要求情報が有する言語識別子が示す言語に通訳された通訳音声データを、送信要求情報が有する端末識別子が示す端末装置22に送信させるための処理を行なう。ここでの処理は、通訳音声データを送信させるための情報の送信である。具体的には、配信処理部308は、送信要求受信部304が受信した送信要求情報が有する言語識別子と、端末識別子とを有する情報を、配信元決定部307が決定した通訳配信装置12に送信する。配信処理部308が送信する言語識別子と、端末識別子とを有する情報をここでは制御側送信要求情報と呼ぶ。制御側送信要求情報は、送信要求受信部304が受信した送信要求情報と同じ情報であっても良い。なお、配信元決定部307が決定した通訳配信装置12が、一の言語の通訳音声データしか送信しない場合、制御側送信要求情報は言語識別子を有していなくても良い。また、制御側送信要求情報は、通訳音声データを送信させるための指示や命令等を有していてもよい。
なお、配信処理部308は、配信元決定部307が決定した通訳配信装置12の装置識別子等を、送信要求受信部304が受信した送信要求情報が有する端末識別子が示す端末装置22に送信して、この端末装置22が、受信した装置識別子が示す通訳配信装置12に、送信要求情報が有する言語識別子が示す言語の通訳音声データを送信させるための指示等を送信させるようにしてもよい。あるいは、この端末装置22が、受信した装置識別子が示す通訳配信装置12がブロードキャストで送信する通訳音声データだけを受信するようにしても良い。この場合、通訳配信装置12や、端末装置22に、適宜、通訳配信装置11や、端末装置21と同様の、送信要求情報に応じた通訳音声データを受信するための構成や、ブロードキャストされた通訳音声データから、ユーザが指定した言語の通訳音声データを受信する構成等を設けるようにすればよい。
配信処理部308は、例えば、無線または有線の通信手段で実現される。配信処理部308は、通信デバイスを含むと考えても、含まないと考えても良い。
通訳配信装置12は、例えば、音声データを配信可能なサーバ装置である。通訳配信装置11は、コンピュータ等により実現される。
配信言語指示受信部110は、制御装置32の配信言語指示送信部306から配信言語指示を受信する。配信言語指示受信部110は、例えば、受信した配信言語指示を図示しない格納部等に蓄積する。配信言語指示受信部110は、通常、無線または有線の通信手段で実現される。配信言語指示受信部110は、通信デバイスを含むと考えても、含まないと考えても良い。
通訳音声取得部111は、配信言語指示受信部110が受信した配信言語指示が有する1以上の言語識別子に対応する通訳音声データを取得する。例えば、図示しない通訳者の情報処理端末等からブロードキャストやマルチキャストで送信される通訳音声データの中から、配信言語指示が有する1以上の言語識別子に対応する通訳音声データを取得する。例えば、通訳音声データが言語識別子と対応づけて送信される場合、配信言語指示が有する1以上の言語識別子のいずれかと一致する言語識別子と対応づけて送信される通訳音声データだけを受信してもよい。また、例えば、通訳音声データが通訳者識別子と対応づけて送信される場合、予め、図示しない格納部等に、通訳者識別子と、この通訳者が通訳する言語の言語識別子との1以上の組を蓄積しておくようにして、通訳音声取得部111が図示しない通訳者の情報処理端末等から受信する通訳音声データに対応づけられた通訳者識別子に対応する言語識別子を、上記の1以上の組から取得して、この言語識別子が、配信言語指示が有する1以上の言語識別子のいずれかと一致する言語識別子である場合にだけ、通訳音声データを受信するようにしても良い。
また、通訳者の通訳者識別子が通訳者の情報処理端末のIPアドレス等のアドレス情報である場合、図示しない格納部等に予め通訳者識別子と、この通訳者識別子が示す通訳者が通訳する言語の言語識別子との複数の組を予め格納しておくようにし、この組から、配信言語指示が有する1以上の言語識別子のいずれか一つに対応する通訳者識別子を取得して、通訳者識別子が示す通訳者の情報処理端末に、通訳音声データの送信を要求する情報を送信して、この情報処理端末から通訳音声データを受信するようにしてもよい。
また、1以上の通訳配信装置12が、それぞれ、特定の通訳者から予め指定された言語の通訳音声データを受信することが、予め決められている場合、図示しない格納部に、特定の言語の通訳音声データを受信する通訳配信装置12の装置識別子と、その通訳配信装置12が受け付ける言語の言語識別子との複数の組を、予め格納しておくようにし、この複数の組から、配信言語指示が有する1以上の言語識別子のいずれか一つに対応する装置識別子を取得し、この装置識別子が示す通訳配信装置12から、この通訳配信装置12が受け付けた通訳音声データを受信するようにしても良い。
なお、通訳音声取得部111のその他の構成等については、上述した通訳音声取得部101と同様であるため、ここでは、詳細な説明は省略する。
配信側送信要求受信部117は、制御装置32から送信される制御側送信要求情報を受信する。配信側送信要求受信部117は、例えば、受信した制御側送信要求情報を図示しない格納部等に蓄積する。配信側送信要求受信部117は、通常、無線または有線の通信手段で実現される。配信側送信要求受信部117は、通信デバイスを含むと考えても、含まないと考えても良い。
通訳音声送信部112は、通訳音声取得部111が取得した通訳音声データのうちの、配信側送信要求受信部117が受信した制御側送信要求情報が有する言語識別子が示す言語の通訳音声データを、この制御側送信要求情報が有する端末識別子が示す端末装置22に送信する。例えば、通訳音声送信部112は、通訳音声データを、装置識別子や言語識別子と対応づけて送信する。この送信は、例えば、マルチキャストやユニキャストで行なわれる。なお、通訳音声取得部111が取得する通訳音声データが一の言語の通訳音声データである場合、通訳音声取得部111が取得した通訳音声データを、制御側送信要求情報が有する端末識別子が示す端末装置22に送信するようにしてもよい。この場合、制御側送信要求情報は、言語識別子を有していなくても良い。なお、制御側送信要求情報に応じた通訳音声データを通訳音声送信部112が送信する処理は、上述した通訳音声送信部102が、送信要求情報に応じた通訳音声データを送信する処理と同様であるため、ここでは詳細な説明は省略する。
なお、通訳音声送信部112は、例えば、通訳音声取得部111が取得した通訳音声データを、装置識別子と対応づけてブロードキャストで送信しても良い。
なお、通訳音声送信部112のその他の構成等については、上述した通訳音声送信部102と同様であるため、ここでは詳細な説明は省略する。
端末数取得部108は、端末装置22が通訳音声データを送信する端末装置22の数を示す端末数情報を取得する。端末数情報は、端末数を示す情報である。例えば、通訳音声データを送信する際に用いる宛先の情報(例えば、端末装置22のIPアドレス等)の数をカウントして、このカウント数を示す値を端末数情報として取得する。一の通訳配信装置11が複数の言語の通訳音声データを送信する場合、端末数取得部108は、言語識別子毎に、端末数情報を取得することが好ましい。端末数取得部108が、端末数情報を取得するタイミングやトリガー等は問わない。例えば、端末数情報を送信するタイミングの直前に端末数情報を取得しても良い。
端末数送信部109は、端末数取得部108が取得した端末数情報を送信する。端末数送信部109は、例えば、端末数情報を、装置識別子と対応づけて送信する。例えば、端末数送信部109は、端末数情報を、制御装置32に送信する。一の通訳配信装置11が複数の言語の通訳音声データを送信する場合、端末数送信部109は、言語識別子毎に、端末数情報を出力することが好ましい。
端末数送信部109が、端末数情報を送信するタイミングやトリガー等は問わない。例えば、端末数送信部109は、予め指定された一定または不定の時間間隔ごとに、端末数情報を送信してもよい。また、端末数に変化があった場合に、端末数情報を送信してもよい。
端末数送信部109は、通常、無線または有線の通信手段で実現される。端末数送信部109は、通信デバイスを含むと考えても、含まないと考えても良い。
端末装置22は、例えば、端末装置21と同様の、ユーザが携帯可能な携帯情報端末である。
言語識別子受信部221は、上述した言語識別子受信部201において、通訳配信装置11から言語識別子を受信する代わりに、制御装置32から言語識別子を受信する要にしたものであり、言語識別子を受信するための処理や、その他の構成等については、上述した言語識別子受信部201と同様であるため、ここでは詳細な説明は省略する。
送信要求送信部225は、言語指定受付部204が受け付けた操作が指定する言語の通訳音声データの送信を要求する送信要求情報を、送信要求情報が要求する通訳音声データを配信する通訳配信装置11を決定する制御装置に送信する。送信要求送信部225は、上述した送信要求送信部225において、送信要求情報を制御装置32に送信するようにしたものであり、送信要求情報を送信するための処理や、その他の構成等については、上述した送信要求送信部205と同様であるため、ここでは詳細な説明は省略する。
次に、通訳配信システム2000の、制御装置32の動作の一例について図14のフローチャートを用いて説明する。
(ステップS301)制御側言語識別子送信部302は、言語識別子を送信するタイミングであるか否かを判断する。例えば、前回の送信時、あるいは、装置の起動時から、予め指定された時間が経過したか否かを判断し、経過した場合、送信するタイミングであると判断する。送信するタイミングである場合、ステップS302に進み、タイミングでない場合、ステップS303に進む。
(ステップS302)制御側言語識別子送信部302は、配信装置情報格納部301に格納されている配信装置情報から、2以上の通訳配信装置12が送信する通訳音声データの言語の言語識別子を取得し、制御装置32のアドレス情報等の識別子を対応づけて、ブロードキャストで送信する。
(ステップS303)制御側送信要求受信部304は、端末装置22から送信要求情報を受信したか否かを判断する。受信した場合、ステップS304に進み、受信していない場合、ステップS306に進む。
(ステップS304)配信元決定部307は、ステップS303で受信した送信要求情報が有する言語識別子が示す言語の通訳音声データを送信する通訳配信装置12の中から、一の通訳配信装置12を、送信要求情報が有する端末識別子が示す端末装置22に通訳音声データを送信する送信元の通訳配信装置12に決定する。例えば、対応する端末数情報が最も小さい通訳配信装置12を決定する。
(ステップS305)配信処理部308は、ステップS304で決定した通訳配信装置12から、送信要求情報が有する端末識別子が示す端末装置22に、送信要求情報が有する言語識別子が示す言語の通訳音声データを送信させるための処理を行なう。ここでは、例えば、送信要求情報が有していた端末識別子と言語識別子とを有する制御送信要求情報を、ステップS304で決定した通訳配信装置12に送信する。
(ステップS306)端末数受信部303は、通訳配信装置12から端末数情報を受信したか否かを判断する。受信した場合、ステップS307に進み、受信していない場合、ステップS308に進む。
(ステップS307)端末数受信部303は、受信した端末数情報を、装置識別子と対応づけて配信装置情報に蓄積する。
(ステップS308)配信言語決定部305は、各通訳配信装置12が配信する通訳音声データの言語を決定するタイミングであるか否かを判断する。例えば、前回の言語の決定時、あるいは、装置の起動時から、予め指定された時間が経過したか否かを判断し、経過した場合、決定するタイミングであると判断する。決定するタイミングである場合、ステップS309に進み、タイミングでない場合、ステップS301に戻る。
(ステップS309)配信言語決定部305は、配信装置情報を用いて、各通訳配信装置12が送信する通訳音声データの言語を決定する。例えば、言語毎の通訳音声データが送信されている数の比率に応じて、各通訳配信装置12が送信する通訳音声データの言語を割り当てる。
(ステップS310)配信言語決定部305は、各通訳配信装置12が送信する通訳音声データの言語を示す情報を、配信装置情報に蓄積する。
(ステップS311)配信言語指示送信部306は、ステップS309において各通訳配信装置12に対して決定した言語の通訳音声データを、各通訳配信装置12に送信させる指示である配信言語指示を、各通訳配信装置12に送信する。そして、ステップS301に戻る
なお、図14のフローチャートにおいて、各通訳配信装置12が送信する通訳音声データの言語を変更する必要がない場合、ステップS308〜S311の処理は省略して良い。
なお、図14のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、通訳配信システム2000の、通訳配信装置12の動作の一例について図15のフローチャートを用いて説明する。なお、図において、図2と同一符号のステップは、同一または相当する処理を示しており、ここでは詳細な説明を省略する。
(ステップS401)配信言語指示受信部110は、制御装置32から配信言語指示を受信したか否かを判断する。受信した場合、ステップS402に進み、受信していない場合、ステップS403に進む。
(ステップS402)通訳配信装置12の図示しない送信部等が、ステップS401で受信した配信言語指示が有する言語識別子が示す言語の通訳音声データを受信するための処理を行なう。例えば、通訳配信装置12が、複数の通訳者識別子と、複数の通訳者識別子がそれぞれ示す通訳者が通訳する言語の言語識別子とを対応づけた情報を、図示しない格納部等に予め格納しておくようにし、配信言語指示が有する言語識別子が示す言語に対応する通訳者識別子を、この図示しない格納部等から取得し、取得した通訳者識別子が示す通訳者(あるいは、通訳者の図示しない情報処理端末)に対して、通訳者音声データの送信を要求する情報を送信する。
(ステップS403)配信側送信要求受信部117は、制御装置32から、制御側送信要求情報を受信したか否かを判断する。受信した場合、ステップS404に進み、受信していない場合、ステップS405に進む。
(ステップS404)配信側送信要求受信部117は、受信した制御側送信要求情報を図示しない格納部等に蓄積する。
(ステップS405)通訳音声取得部111は、通訳音声データを取得したか否かを判断する。例えば、ステップS402において、通訳音声データを要求した1以上の通訳者の情報処理装置から、通訳音声データを取得したか否か(例えば、受信したか否か)を判断する。通訳音声データを取得した場合、ステップS406に進み、取得していない場合、ステップS107に進む。
(ステップS406)通訳音声送信部112は、ステップS405で取得した通訳音声データに対応する言語識別子を取得する。例えば、ステップS405において通訳者識別子と対応付けられた通訳音声データを取得した場合、この通訳者識別子に対応付けられた言語識別子を、ステップS402で利用した図示しない格納部に格納されている通訳者識別子と言語識別子とを有する情報を用いて取得する。
(ステップS407)通訳音声送信部112は、ステップS110で取得した言語識別子を用いて送信先を示す情報を取得する。例えば、通訳音声送信部112は、ステップS404で蓄積した制御側送信要求情報から、ステップS406で取得した言語識別子を有する1以上の制御側送信要求情報を検索し、検出した各制御側送信要求情報が有する端末識別子を、送信先の端末装置22を示す情報として取得する。
(ステップS408)通訳音声送信部112は、通訳音声データをステップS407で取得した送信先を示す情報が示す送信先、具体的には端末装置22に、ステップS405で受信した通訳音声データを送信する。例えば、ストリーミング送信する。
(ステップS409)端末数取得部108は、端末数情報を取得するタイミングであるか否かを判断し、取得するタイミングである場合、ステップS410に取得し、取得するタイミングでない場合、ステップS107に進む。
(ステップS410)端末数取得部108は、端末数情報を取得する。
(ステップS411)端末数送信部109は、ステップS410で取得した端末数情報を、制御装置32に送信する。そして、ステップS107に進む。
なお、図15のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
本実施の形態における通訳配信システム2000の端末装置22の動作については、送信要求情報を制御装置32に送信する点や、言語識別子受信部221が、言語識別子を制御装置32から受信する点等を除けば、図3に示した処理と同様であるため、ここでは、詳細な説明は省略する。
以下、本実施の形態における通訳配信システム2000の具体的な動作について説明する。
図16は、この具体例における通訳配信システム2000の概念図である。図において、図4と同一符号は同一または相当する部分を示している。ここでは、一例として、通訳配信システム2000が、通訳配信装置12として、第一の通訳配信装置12aから、第十の通訳配信装置12jを備えている場合を例に挙げて説明する。ただし、通訳配信装置12の数は問わない。携帯情報端末41〜44は、通訳者T1〜T4がそれぞれ利用する情報処理端末であり、通訳配信装置12a〜12jと、ブルートゥース(登録商標)等の無線通信技術により接続可能であるとする。また、通訳配信システム1000は、複数の端末装置22を備えており、複数の端末装置22を、端末装置22a、端末装置22b等で表している。なお、携帯情報端末41〜44および端末装置22は、いわゆるスマートフォンであるとする。
図17は、配信装置情報格納部301に格納されている配信装置情報の一部であって、各通訳配信装置12a〜12jが配信する通訳音声データの言語を示す言語識別子を管理する情報である配信言語管理表である。この配信言語管理表はデフォルトの状態であるとする。配信言語管理表は、「言語ID」と、「装置ID」という属性を有している。「言語ID」は言語識別子である。「装置ID」は装置識別子である。装置識別子は、ここでは、通訳配信装置11のIPアドレスであるとする。なお、図17では、上の行から下に向かって、通訳配信装置11aから通訳配信装置11jまでのIPアドレスが配置されているとする。かかることは、以下の図18、図19においても同様である。
ここでは、通訳配信装置12a〜12eは、それぞれ、言語識別子が「英語」である言語の通訳音声データを、通訳者T1の携帯情報端末41から受信して、1以上の端末装置22に送信しており、通訳配信装置12f〜12jは、それぞれ、言語識別子が「中国語」である言語の通訳音声データを、通訳者T2の携帯情報端末42から受信して、1以上の端末装置22に送信しており、配信言語管理表は、図17に示すようになっているものとする。
制御側言語識別子送信部302は、制御装置32が起動後、予め指定された時間毎に、図17に示した配信言語管理表の全てのレコード(行)から、「言語ID」の値を重複がないように取得し、取得した言語識別子を、制御装置32のIPアドレスと対応づけてブロードキャストで送信する。ここで送信される言語識別子は、「英語」、「中国語」である。
各端末装置22の言語識別子受信部221は、制御装置32から送信されるこれらの言語識別子を受信する。そして、端末装置22aの表示部203は、ユーザAの操作等に応じてメニューを表示し、言語指定受付部204が一の言語を指定する操作をユーザAから受け付けると、送信要求送信部225は、送信要求情報を、制御装置32に送信する。ここでユーザが指定した言語は、「英語」であり、送信される送信要求情報は、言語識別子「英語」と、端末識別子である端末装置22aのIPアドレス「xxx.xxx.155.123」とを有するものとする。なお、言語識別子を用いてメニューを表示する処理等や、言語を指定する操作の受け付け処理等は、上記実施の形態1の具体例と同様であるため、説明は省略する。
制御装置32の配信側送信要求受信部117が、端末装置22aから送信される送信要求情報を受信すると、受信した送信要求情報を、図示しない格納部等に蓄積するとともに、配信元決定部307は、この送信要求情報を用いて、端末装置22aに通訳音声データを送信する通訳配信装置12を決定する。
図18は、配信装置情報格納部301に格納されている配信装置情報の一部であって、各通訳配信装置12a〜12jから受信した端末数情報を管理する情報である端末数管理表である。端末数管理表は、端末数情報である「端末数」と、装置識別子である「装置ID」とを有している。ここでは、説明のため、既に端末数情報が格納されている場合について説明する。
図19は、配信装置情報格納部301に格納されている配信装置情報の一部であって、各通訳配信装置12a〜12jが通訳音声データを送信可能な端末装置の上限数を管理する情報である最大接続数管理表である。最大接続数管理表は、通訳音声データを送信可能な端末装置の上限数である「最大数」と、「装置ID」とを有している。
配信元決定部307は、上記で受信された送信要求情報が有する言語識別子である「英語」を取得し、図17に示した配信言語管理表において、「言語ID」が、「英語」と一致するレコード(行)の「装置ID」を取得する。そして、取得した各「装置ID」毎に、各「装置ID」に対応する「端末数」と、「最大数」とを、図18に示した端末数管理表と、図19に示した最大接続数管理表とから取得して、「端末数」の値を、「最大数」の値で除算する。そして、「装置ID」値が最小の「装置ID」を検出する。値が同じ場合は、例えば、いずれかの管理表における配列順番が小さい「装置ID」を取得する。ここでは、「装置ID」が「xxx.xxx.112.011」である「端末数」を「最大数」で除算した値が、「0.81」で最も小さいため、この装置識別子「xxx.xxx.112.011」が示す通訳配信装置12aが、配信元の通訳配信装置12として決定される。
そして、配信処理部308は、この装置識別子「xxx.xxx.112.011」が示す通訳配信装置12aに、送信要求情報が有する言語識別子「英語」と、端末識別子「xxx.xxx.155.123」とを有する制御側送信要求情報を送信する。
通訳配信装置12aの配信側送信要求受信部117は、制御装置32から制御側送信要求情報を受信すると、受信した制御側送信要求情報を図示しない格納部に蓄積する。
ここで、例えば、通訳配信装置12のそれぞれは、例えば、デフォルトでは、図17に示した配信言語管理表が示す言語識別子に対応する言語の通訳音声データを、通訳者の携帯情報端末41〜44のいずれかから受信しているものとする。例えば、通訳配信装置12aは、通訳者の携帯情報端末41から言語が「英語」である通訳音声データを受信しているものとする。
通訳配信装置12は、例えば、図示しない格納部等に、予め、上記具体例において図5を用いて示した言語識別子管理表を有しており、通訳音声取得部111が、上述した具体例と同様に、携帯情報端末41から通訳者識別子と対応づけられた通訳音声データを受信すると、この言語識別子管理表から、通訳者識別子と対応づけられた言語識別子を取得し、取得した言語識別子と同じ言語識別子を有する制御側送信要求情報を、配信側送信要求受信部117が受信して蓄積した制御側送信要求情報から検出し、検出した制御側送信要求情報が有する端末識別子が示す1以上の端末装置22に、通訳音声データを送信する。例えば、通訳音声データと対応づけられた通訳者識別子を用いて取得した言語識別子が「英語」であった場合、端末装置22aにも通訳音声データが送信される。
その後の端末装置22aによる通訳音声データを出力する処理等については、上述した具体例と同様であるため詳細な説明は省略する。また、同様に、通訳音声データを録音する処理等についても、上記の処理と同様であるため、ここでは詳細な説明は省略する。
ここで、例えば、各通訳配信装置12の起動後、予め指定された時間が経過したとすると、各通訳配信装置12の、端末数取得部108は、通訳音声送信部112が通訳音声データを送信している端末装置数をカウントして端末数情報を取得する。そして、端末数送信部109が、端末数取得部108が取得した端末数情報を、装置識別子と対応づけて送信する。装置識別子は、ここでは、通訳配信装置11のIPアドレスであるとする。
端末数受信部303が、通訳配信装置12から装置識別子と対応づけられた端末数情報を受信すると、この端末数情報と装置識別子とを対応づけて配信装置情報格納部301に格納されている配信装置情報に蓄積する。例えば、図18に示した端末数管理表が更新される。
ここで、例えば、各通訳配信装置12の起動後、予め指定された時間が経過して、各通訳配信装置12が送信する通訳音声データの言語を決定するタイミングになったとする。つまり、この処理は、例えば、各通訳配信装置12が送信する通訳音声データの言語の割り当てを変更する処理と考えてもよい。
配信言語決定部305は、図17に示した配信言語管理表から、「言語ID」が共通するレコードを検出して、「言語ID」が共通するレコード毎に、その「言語ID」の値と、1以上の「装置ID」の値との組を取得する。そして、この組毎に、図18に示した端末数管理表から、1以上の「装置ID」にそれぞれ対応する「端末数」の値を取得して、その合計を取得する。ここでは、例えば、「言語ID」が「英語」である組について取得した「端末数」の合計は、「249」となる。また、「言語ID」が「中国語」である組について取得した「端末数」の合計は、「33」となる。つまり、言語毎に端末装置22の端末数を集計する。
配信言語決定部305は、この各「言語ID」について取得した「端末数」の合計の比に応じて、できるだけ近い値となるように、通訳配信装置12a〜12jに言語識別子を割り当てる。ただし、合計数が1以上ある「言語ID」については、少なくとも一の通訳配信装置12が割り当てられるようにする。例えば、上記の「英語」と、「中国語」の比は、「249」対「39」であり、「中国語」の数の方が小さいため、まず、「中国語」の端末数の比率を算出すると、39÷(249+39)=0.13となる。そして、この値に、通訳配信装置12の総数である「10」を乗算すると、「1.3」となる。そして、この値の小数点以下の端数を繰り上げた値である「2」を、言語識別子が「中国語」である言語の通訳音声データを送信する通訳配信装置12の数とする。そして、残りの8台の通訳配信装置12を言語識別子が「中国語」である言語の通訳音声データを送信する通訳配信装置12とする。そして、この数に合わせて、通訳配信装置12a〜12jに対して、それぞれが送信する通訳音声データの言語を割り当てる。具体的には、各通訳配信装置12a〜12jの装置識別子に対して、言語識別子を対応づける。この割り当て方は問わない。例えば、通訳配信装置12a〜12hの8台を、「英語」を配信する通訳配信装置12に設定し、通訳配信装置12i〜12jの2台を、「中国語」を配信する通訳配信装置12に設定する。そして、この決定した情報に従って、配信装置情報の配信言語管理表を更新する。
図20は、更新された配信言語管理表を示す図である。
そして、配信言語指示送信部306は、図20に示した配信言語管理表の各レコード(行)の「言語ID」の値を有する配信言語指示を、同じレコードの「装置ID」が示す通訳配信装置12に送信する。
例えば、装置識別子が「xxx.xxx.112.011」である通訳配信装置12aの配信言語指示受信部110が、言語識別子「英語」を含む配信言語指示を受信すると、通訳配信装置12の図示しない送信部等が、言語識別子が「英語」に対応する通訳者識別子を、図5に示すような言語識別子管理表等から取得する。そして、この通訳者識別子が示す通訳者の情報処理装置(図示せず)に言語識別子が「英語」である通訳音声データの送信を要求することで、通訳配信装置12aは、配信言語決定部305が決定した言語の通訳音声データを受信して、端末装置22に送信することが可能となる。
同様の処理が、各通訳配信装置12b〜12jについても行なわれることにより、通訳配信装置12a〜12hの8台が、「英語」を配信する通訳配信装置12に設定され、通訳配信装置12i〜12jの2台が、「中国語」を配信する通訳配信装置12に設定される。これにより、言語毎の通訳音声データの送信数に応じて、各言語を送信する通訳配信装置12の数を増減させることができる。例えば、上記のように、言語の比率に応じて、各言語を送信する通訳配信装置12の数を増減させることで、各言語の通訳音声データの需要を予測して、通訳配信装置12のそれぞれに最適な言語を割り当てることが可能となる。
そして、このようにして割り当てた通訳配信装置12について、上記と同様に、制御装置32は、制御要求情報を送信した端末装置22の送信元となる通訳配信装置12を決定する処理等を行なう。
なお、各通訳配信装置12が送信する通信音声データが変更されるため、各端末装置22に送信される通訳音声データの送信元となる通訳音声データも変更する必要がある。この場合、例えば、制御装置32の配信側送信要求受信部117が各端末装置22から受信して図示しない格納部等に蓄積した送信要求情報を用いて、配信元決定部307が、上記と同様の処理を再度行なって、送信要求情報が有する言語の通訳音声データを送信する通訳配信装置12を決定し、この決定した通訳配信装置12に配信処理部308が制御側送信要求情報を送信することで、各端末装置22に、各端末装置が送信した送信要求情報が示す言語の通訳音声データを送信するようにすればよい。また、この場合、言語が変更されなかった通訳配信装置12については、通訳音声データの既存の配信先は変更しないようにしても良い。
なお、メニュー構成部202は、通訳配信装置12が送信する端末装置数に応じて、メニューに配列される言語の順番を決定しても良い。例えば、言語識別子受信部221が2以上の言語識別子とともに、それぞれの言語識別子に対応する装置識別子と対応づけられた端末数情報の値の合計を、制御装置32から取得し、言語識別子が示す言語に対応するメニュー項目を、対応付けられた端末装置数が多いものから順に配列したメニューを構成してもよい。例えば、メニュー項目を対応付けられた端末装置数が多いものから順に上から下に配列されたメニューを構成してもよい。
以上、本実施の形態によれば、制御装置32により、端末装置22に通訳音声データを配信する通訳配信装置12を適切に割り当てることができる。
また、本実施の形態によれば、通訳配信装置12が送信する通訳音声データの言語を適切に割り当てることができる。
なお、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
また、上記各実施の形態において、一の装置に存在する2以上の通信手段(通訳音声送信部や、言語識別子送信部など)は、物理的に一の媒体で実現されても良いことは言うまでもない。
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをMPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、格納部(例えば、ハードディスクやメモリ等の記録媒体)にアクセスしながらプログラムを実行してもよい。
なお、上記各実施の形態における通訳配信装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、第一の言語の音声を2以上の異なる言語にそれぞれ通訳した音声データである2以上の通訳音声データのうちの、少なくとも1以上を取得する通訳音声取得部と、通訳音声取得部が取得した通訳音声データのうちの少なくとも一つを、1以上の端末装置に送信する通訳音声送信部と、して機能させるためのプログラムである。
また、上記各実施の形態における制御装置を実現するプログラムは、複数の通訳配信装置に関する情報である配信装置情報が格納される配信装置情報格納部にアクセス可能なコンピュータを、2以上の端末装置から、言語の識別子である言語識別子と、端末装置の端末識別子とを有する送信要求情報を受信する制御側送信要求受信部と、第一の言語の音声を通訳した通訳音声データであって、制御側送信要求受信部が受信した送信要求情報が有する言語識別子が示す言語に通訳された通訳音声データを送信する通訳配信装置を、配信装置情報を用いて決定する配信元決定部と、配信元決定部が決定した通訳配信装置から、送信要求情報が有する言語識別子が示す言語に通訳された通訳音声データを、送信要求情報が有する端末識別子が示す端末装置に送信させるための処理を行なう配信処理部と、して機能させるためのプログラムである。
また、上記各実施の形態における端末装置を実現するプログラムは、コンピュータを、第一の言語の音声を通訳した音声データである通訳音声データを送信する1以上の通訳配信装置が送信する2以上の言語の通訳音声データの言語識別子を受信する言語識別子受信部と、言語識別子受信部が受信した2以上の言語識別子を用いて、受信する通訳音声データの言語を指定するためのメニューを構成するメニュー構成部と、メニュー構成部が構成したメニューを表示する表示部と、メニュー構成部が構成したメニューを用いて、聴取対象の言語を指定する操作を受け付ける言語指定受付部と、言語指定受付部が受け付けた操作により指定される聴取対象の言語の通訳音声データを受信する通訳音声受信部と、通訳音声受信部が受信した聴取対象の言語の通訳音声データを出力する通訳音声出力部と、して機能させるためのプログラムである。
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
図21は、上記プログラムを実行して、上記各実施の形態による通訳配信装置、端末装置、および制御装置を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
図21において、コンピュータシステム900は、CD−ROM(Compact Disk Read Only Memory)ドライブ905を含むコンピュータ901と、キーボード902と、マウス903と、モニタ904とを備える。
図22は、コンピュータシステム900の内部構成を示す図である。図22において、コンピュータ901は、CD−ROMドライブ905に加えて、MPU(Micro Processing Unit)911と、ブートアッププログラム等のプログラムを記憶するためのROM912と、MPU911に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するRAM(Random Access Memory)913と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク914と、MPU911、ROM912等を相互に接続するバス915とを備える。なお、コンピュータ901は、LANへの接続を提供する図示しないネットワークカードを含んでいてもよい。
コンピュータシステム900に、上記各実施の形態による通訳配信装置等の機能を実行させるプログラムは、CD−ROM921に記憶されて、CD−ROMドライブ905に挿入され、ハードディスク914に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ901に送信され、ハードディスク914に記憶されてもよい。プログラムは実行の際にRAM913にロードされる。なお、プログラムは、CD−ROM921、またはネットワークから直接、ロードされてもよい。
プログラムは、コンピュータ901に、上記実施の形態による通訳配信装置の機能を実行させるオペレーティングシステム(OS)、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム900がどのように動作するのかについては周知であり、詳細な説明は省略する。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかる通訳配信システム等は、通訳した音声データを配信するシステム等として適しており、特に、複数の言語に通訳された音声データを配信するシステム等として有用である。
11、12 通訳配信装置
21、22 端末装置
32 制御装置
41〜44 情報処理端末
101、111 通訳音声取得部
102、112 通訳音声送信部
103 言語識別子取得部
104 言語識別子送信部
105 メッセージ受信部
106 メッセージ出力部
107、304 送信要求受信部
108 端末数取得部
109 端末数送信部
110 配信言語指示受信部
117 配信側送信要求受信部
201、221 言語識別子受信部
202 メニュー構成部
203 表示部
204 言語指定受付部
205、225 送信要求送信部
206 通訳音声受信部
207 通訳音声格納部
208 通訳音声出力部
209 メッセージ受付部
210 ユーザ識別子格納部
211 メッセージ送信部
301 配信装置情報格納部
302 制御側言語識別子送信部
303 端末数受信部
304 制御側送信要求受信部
305 配信言語決定部
306 配信言語指示送信部
307 配信元決定部
308 配信処理部
1000、2000 通訳配信システム

Claims (19)

  1. 第一の言語の音声を2以上の異なる言語にそれぞれ通訳した音声データである2以上の通訳音声データのうちの、少なくとも1以上を取得する通訳音声取得部と、
    前記通訳音声取得部が取得した通訳音声データのうちの少なくとも一つを、1以上の端末装置に送信する通訳音声送信部と、を備えた通訳配信装置。
  2. 前記通訳音声取得部は、2以上の通訳音声データを取得する請求項1記載の通訳配信装置。
  3. 前記通訳音声送信部が送信する通訳音声データに対して、1以上の端末装置からメッセージを受信するメッセージ受信部と、
    前記メッセージ受信部が受信したメッセージを出力するメッセージ出力部とを備えた請求項1または請求項2記載の通訳配信装置。
  4. 前記通訳送信部が通訳音声データを送信する端末装置数を示す端末数情報を取得する端末数取得部と、
    前記端末数取得部が取得した端末数情報を送信する端末数送信部とを備えた請求項1から請求項3いずれか一項記載の通訳配信装置。
  5. 2以上の端末装置から、言語の識別子である言語識別子と、端末装置の端末識別子とを有する送信要求情報を受信する制御側送信要求受信部と、
    複数の通訳配信装置に関する情報である配信装置情報が格納される配信装置情報格納部と、
    第一の言語の音声を通訳した通訳音声データであって、前記制御側送信要求受信部が受信した送信要求情報が有する言語識別子が示す言語に通訳された通訳音声データを送信する通訳配信装置を、前記配信装置情報を用いて決定する配信元決定部と、
    当該配信元決定部が決定した通訳配信装置から、前記送信要求情報が有する言語識別子が示す言語に通訳された通訳音声データを、当該送信要求情報が有する端末識別子が示す端末装置に送信させるための処理を行なう配信処理部と、を備えた制御装置。
  6. 前記配信元決定部は、複数の通訳配信装置のうちの、前記制御側送信要求受信部が受信した送信要求情報が有する言語識別子が示す言語の通訳音声データを送信する予め指定された通訳配信装置の中から、前記送信要求情報が有する端末識別子が示す端末装置に通訳音声データを送信する通訳配信装置を、前記配信装置情報を用いて決定する請求項5記載の制御装置。
  7. 前記配信装置情報を用いて、複数の通訳配信装置がそれぞれ送信する通訳音声データの言語を決定し、各通訳配信装置が送信する通訳音声データの言語を示す情報を、前記配信装置情報に蓄積する配信言語決定部と、
    前記配信言語決定部が決定した言語の通訳音声データを前記複数の通訳配信装置に送信させるための処理を行なう言語決定処理部とを備え、
    前記配信元決定部は、前記配信言語決定部により蓄積された前記配信装置情報を用いて、前記制御側送信要求受信部が受信した送信要求情報が有する言語識別子が示す言語の通訳音声データを送信する1以上の通訳配信装置の中から、前記送信要求情報が有する端末識別子が示す端末装置に通訳音声データを送信する通訳配信装置を決定する請求項5記載の制御装置。
  8. 第一の言語の音声を通訳した音声データである通訳音声データを送信する1以上の通訳配信装置が送信する2以上の言語の通訳音声データについて、それぞれの言語の言語識別子を受信する言語識別子受信部と、
    前記言語識別子受信部が受信した2以上の言語識別子を用いて、受信する通訳音声データの言語を指定するためのメニューを構成するメニュー構成部と、
    前記メニュー構成部が構成したメニューを表示する表示部と、
    前記メニュー構成部が構成したメニューを用いて、聴取対象の言語を指定する操作を受け付ける言語指定受付部と、
    前記言語指定受付部が受け付けた操作により指定される聴取対象の言語の通訳音声データを受信する通訳音声受信部と、
    前記通訳音声受信部が受信した聴取対象の言語の通訳音声データを出力する通訳音声出力部と、を備えた端末装置。
  9. 前記通訳音声出力部が出力する通訳音声データに対するメッセージの入力を受け付けるメッセージ受付部と、
    前記メッセージ受付部が受け付けたメッセージを、前記通訳音声出力部が出力した通訳音声データの送信元となる通訳配信装置に送信するメッセージ送信部とを備えた請求項8記載の端末装置。
  10. 前記端末装置のユーザのユーザ識別子が格納されるユーザ識別子格納部を更に備え、
    前記メッセージ送信部は、前記ユーザ識別子格納部に格納されたユーザ識別子を、前記メッセージとともに通訳配信装置に送信する請求項9記載の端末装置。
  11. 通訳音声データが格納される通訳音声格納部を更に備え、
    前記通訳音声出力部は、前記通訳音声受信部が受信した聴取対象の通訳音声データを前記通訳音声格納部に蓄積する請求項8から請求項10いずれか一項記載の端末装置。
  12. 通訳音声データが格納される通訳音声格納部を更に備え、
    前記言語指定受付部は、録音対象となる1以上の言語を指定する操作を更に受け付け、
    前記通訳音声受信部は、前記言語指定受付部が受け付けた操作により指定される録音対象の言語の通訳音声データを更に受信し、
    前記通訳音声出力部は、前記通訳音声受信部が受信した録音対象の通訳音声データを前記通訳音声格納部に蓄積する請求項8から請求項10いずれか一項記載の端末装置。
  13. 前記言語指定受付部が受け付けた操作により指定される言語の通訳音声データの送信を要求する送信要求情報を、当該送信要求情報が要求する通訳音声データを配信する通訳配信装置を決定する制御装置に送信する送信要求送信部を、更に備え、
    前記通訳音声受信部は、前記制御装置が決定した通訳配信装置から、前記送信要求情報が要求する通訳音声データを受信する請求項8から請求項12いずれか一項記載の端末装置。
  14. 通訳音声取得部と、通訳音声送信部とを用いて行なわれる通訳配信方法であって、
    前記通訳音声取得部が、第一の言語の音声を2以上の異なる言語にそれぞれ通訳した音声データである2以上の通訳音声データのうちの、少なくとも1以上を取得する通訳音声取得ステップと、
    前記通訳音声送信部が、前記通訳音声取得ステップで取得した通訳音声データのうちの少なくとも一つを、1以上の端末装置に送信する通訳音声送信ステップと、を備えた通訳配信方法。
  15. 制御側送信要求受信部と、複数の通訳配信装置に関する情報である配信装置情報が格納される配信装置情報格納部と、配信元決定部と、配信処理部とを用いて行なわれる制御方法であって、
    前記制御側送信要求受信部が、2以上の端末装置から、言語の識別子である言語識別子と、端末装置の端末識別子とを有する送信要求情報を受信する制御側送信要求受信ステップと、
    前記配信元決定部が、第一の言語の音声を通訳した通訳音声データであって、前記制御側送信要求受信ステップで受信した送信要求情報が有する言語識別子が示す言語に通訳された通訳音声データを送信する通訳配信装置を、前記配信装置情報を用いて決定する配信元決定ステップと、
    前記配信処理部が、前記配信元決定ステップで決定した通訳配信装置から、前記送信要求情報が有する言語識別子が示す言語に通訳された通訳音声データを、当該送信要求情報が有する端末識別子が示す端末装置に送信させるための処理を行なう配信処理ステップと、を備えた制御方法。
  16. 言語識別子受信部と、メニュー構成部と、表示部と、言語指定受付部と、通訳音声受信部と、通訳音声出力部とを用いて行なわれる情報処理方法であって、
    前記言語識別子受信部が、第一の言語の音声を通訳した音声データである通訳音声データを送信する1以上の通訳配信装置が送信する2以上の言語の通訳音声データの言語識別子を受信する言語識別子受信ステップと、
    前記メニュー構成部が、前記言語識別子受信ステップで受信した2以上の言語識別子を用いて、受信する通訳音声データの言語を指定するためのメニューを構成するメニュー構成ステップと、
    前記表示部が、前記メニュー構成ステップで構成したメニューを表示する表示ステップと、
    前記言語指定受付部が、前記メニュー構成ステップで構成したメニューを用いて、聴取対象の言語を指定する操作を受け付ける言語指定受付ステップと、
    前記通訳音声受信部が、前記言語指定受付ステップで受け付けた操作により指定される聴取対象の言語の通訳音声データを受信する通訳音声受信ステップと、
    前記通訳音声出力部が、前記通訳音声受信ステップで受信した聴取対象の言語の通訳音声データを出力する通訳音声出力ステップと、を備えた情報処理方法。
  17. コンピュータを、
    第一の言語の音声を2以上の異なる言語にそれぞれ通訳した音声データである2以上の通訳音声データのうちの、少なくとも1以上を取得する通訳音声取得部と、
    前記通訳音声取得部が取得した通訳音声データのうちの少なくとも一つを、1以上の端末装置に送信する通訳音声送信部と、して機能させるためのプログラム。
  18. 複数の通訳配信装置に関する情報である配信装置情報が格納される配信装置情報格納部にアクセス可能なコンピュータを、
    2以上の端末装置から、言語の識別子である言語識別子と、端末装置の端末識別子とを有する送信要求情報を受信する制御側送信要求受信部と、
    第一の言語の音声を通訳した通訳音声データであって、前記制御側送信要求受信部が受信した送信要求情報が有する言語識別子が示す言語に通訳された通訳音声データを送信する通訳配信装置を、前記配信装置情報を用いて決定する配信元決定部と、
    当該配信元決定部が決定した通訳配信装置から、前記送信要求情報が有する言語識別子が示す言語に通訳された通訳音声データを、当該送信要求情報が有する端末識別子が示す端末装置に送信させるための処理を行なう配信処理部と、して機能させるためのプログラム。
  19. コンピュータを、
    第一の言語の音声を通訳した音声データである通訳音声データを送信する1以上の通訳配信装置が送信する2以上の言語の通訳音声データの言語識別子を受信する言語識別子受信部と、
    前記言語識別子受信部が受信した2以上の言語識別子を用いて、受信する通訳音声データの言語を指定するためのメニューを構成するメニュー構成部と、
    前記メニュー構成部が構成したメニューを表示する表示部と、
    前記メニュー構成部が構成したメニューを用いて、聴取対象の言語を指定する操作を受け付ける言語指定受付部と、
    前記言語指定受付部が受け付けた操作により指定される聴取対象の言語の通訳音声データを受信する通訳音声受信部と、
    前記通訳音声受信部が受信した聴取対象の言語の通訳音声データを出力する通訳音声出力部と、して機能させるためのプログラム。
JP2015082135A 2015-04-14 2015-04-14 通訳配信装置、通訳配信方法、およびプログラム Active JP6090757B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015082135A JP6090757B2 (ja) 2015-04-14 2015-04-14 通訳配信装置、通訳配信方法、およびプログラム
US15/565,977 US10235364B2 (en) 2015-04-14 2016-04-11 Interpretation distributing device, control device, terminal device, interpretation distributing method, control method, information processing method, and program
PCT/JP2016/061672 WO2016167210A1 (ja) 2015-04-14 2016-04-11 通訳配信装置、制御装置、端末装置、通訳配信方法、制御方法、情報処理方法、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015082135A JP6090757B2 (ja) 2015-04-14 2015-04-14 通訳配信装置、通訳配信方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2016200764A true JP2016200764A (ja) 2016-12-01
JP6090757B2 JP6090757B2 (ja) 2017-03-08

Family

ID=57126581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015082135A Active JP6090757B2 (ja) 2015-04-14 2015-04-14 通訳配信装置、通訳配信方法、およびプログラム

Country Status (3)

Country Link
US (1) US10235364B2 (ja)
JP (1) JP6090757B2 (ja)
WO (1) WO2016167210A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020070959A1 (ja) * 2018-10-05 2020-04-09 株式会社Abelon 通訳システム、サーバ装置、配信方法、および記録媒体
WO2020240905A1 (ja) * 2019-05-31 2020-12-03 株式会社Abelon 音声処理装置、音声の対のコーパスの生産方法、およびプログラムを記録した記録媒体
JP7513288B2 (ja) 2019-05-31 2024-07-09 株式会社Abelon 音声処理装置、コーパスの生産方法、およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003029779A (ja) * 2001-07-18 2003-01-31 Nec Corp 自動通訳システム及びその方法並びにプログラム
JP2005045461A (ja) * 2003-07-25 2005-02-17 Ntt Docomo Inc 通訳者選択システム
JP2007166391A (ja) * 2005-12-15 2007-06-28 Connect One:Kk 通訳者の自動案内システム
JP2009015370A (ja) * 2007-06-29 2009-01-22 Jfe Systems Inc 資産保全管理装置
JP2010506444A (ja) * 2006-09-30 2010-02-25 華為技術有限公司 多言語会議を実現するシステム、方法、及び多地点制御装置
JP2012222437A (ja) * 2011-04-05 2012-11-12 Hitachi Ltd 無線通信ネットワークシステム、無線通信ネットワークシステムの管理サーバ、及び無線通信ネットワークシステムの構築方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3034773B2 (ja) * 1994-12-27 2000-04-17 シャープ株式会社 電子通訳機
JPH08256114A (ja) 1995-03-17 1996-10-01 Sony Corp 赤外線送信装置
US20070225973A1 (en) * 2006-03-23 2007-09-27 Childress Rhonda L Collective Audio Chunk Processing for Streaming Translated Multi-Speaker Conversations
KR101589433B1 (ko) * 2009-03-11 2016-01-28 삼성전자주식회사 동시 통역 시스템
JP5545467B2 (ja) * 2009-10-21 2014-07-09 独立行政法人情報通信研究機構 音声翻訳システム、制御装置、および情報処理方法
US9183199B2 (en) * 2011-03-25 2015-11-10 Ming-Yuan Wu Communication device for multiple language translation system
US9129591B2 (en) * 2012-03-08 2015-09-08 Google Inc. Recognizing speech in multiple languages
US9213693B2 (en) * 2012-04-03 2015-12-15 Language Line Services, Inc. Machine language interpretation assistance for human language interpretation
JP5653392B2 (ja) * 2012-06-29 2015-01-14 株式会社東芝 音声翻訳装置、方法およびプログラム
KR20140121580A (ko) * 2013-04-08 2014-10-16 한국전자통신연구원 자동 번역 및 통역 장치 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003029779A (ja) * 2001-07-18 2003-01-31 Nec Corp 自動通訳システム及びその方法並びにプログラム
JP2005045461A (ja) * 2003-07-25 2005-02-17 Ntt Docomo Inc 通訳者選択システム
JP2007166391A (ja) * 2005-12-15 2007-06-28 Connect One:Kk 通訳者の自動案内システム
JP2010506444A (ja) * 2006-09-30 2010-02-25 華為技術有限公司 多言語会議を実現するシステム、方法、及び多地点制御装置
JP2009015370A (ja) * 2007-06-29 2009-01-22 Jfe Systems Inc 資産保全管理装置
JP2012222437A (ja) * 2011-04-05 2012-11-12 Hitachi Ltd 無線通信ネットワークシステム、無線通信ネットワークシステムの管理サーバ、及び無線通信ネットワークシステムの構築方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020070959A1 (ja) * 2018-10-05 2020-04-09 株式会社Abelon 通訳システム、サーバ装置、配信方法、および記録媒体
JPWO2020070959A1 (ja) * 2018-10-05 2021-09-02 株式会社Abelon 通訳システム、サーバ装置、配信方法、および記録媒体
JP7417272B2 (ja) 2018-10-05 2024-01-18 株式会社Abelon 端末装置、サーバ装置、配信方法、学習器取得方法、およびプログラム
WO2020240905A1 (ja) * 2019-05-31 2020-12-03 株式会社Abelon 音声処理装置、音声の対のコーパスの生産方法、およびプログラムを記録した記録媒体
JP7513288B2 (ja) 2019-05-31 2024-07-09 株式会社Abelon 音声処理装置、コーパスの生産方法、およびプログラム

Also Published As

Publication number Publication date
US20180107657A1 (en) 2018-04-19
WO2016167210A1 (ja) 2016-10-20
JP6090757B2 (ja) 2017-03-08
US10235364B2 (en) 2019-03-19

Similar Documents

Publication Publication Date Title
CN109844856B (zh) 从单个设备访问多个虚拟个人助理(vpa)
KR102660922B1 (ko) 복수의 지능형 개인 비서 서비스를 위한 관리 계층
US9825893B2 (en) System and method for broadcasting audio tweets
US20130268956A1 (en) Real-time collection of audience feedback of a television or radio show
US20180190279A1 (en) Content streaming system
US11741959B2 (en) Isolating a device, from multiple devices in an environment, for being responsive to spoken assistant invocation(s)
US10055190B2 (en) Attribute-based audio channel arbitration
CN113268498A (zh) 业务推荐方法和具有智能助手的装置
CN110474973B (zh) 一种多设备共享智能引擎的方法、系统和设备
JP6090757B2 (ja) 通訳配信装置、通訳配信方法、およびプログラム
KR20200013774A (ko) 보이스 가능 디바이스를 디스플레이 디바이스와 페어링
JP6689953B2 (ja) 通訳サービスシステム、通訳サービス方法及び通訳サービスプログラム
EP3862963A1 (en) Interpretation system, server device, distribution method, and recording medium
WO2019089700A1 (en) Automated playback and redistribution of internet streaming content with automatic retrieval of user credentials
KR20160095665A (ko) 양방향 스트리밍 방송 서비스를 제공하는 방송 서비스 서버 및 방법
JP7503939B2 (ja) 情報処理装置、プログラム、および情報処理方法
KR20140015228A (ko) 모바일 단말기의 TTS(Text To Speech) 엔진을 이용한 미디어 서비스 시스템 및 방법
US12034988B2 (en) Radio station provider management systems and methods
JP2017123517A (ja) コミュニケーション支援装置、コミュニケーション支援方法、および、プログラム

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170131

R150 Certificate of patent or registration of utility model

Ref document number: 6090757

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150