JP2014191703A - 要約筆記支援システム、要約筆記支援サーバ、要約筆記支援方法、及びプログラム - Google Patents
要約筆記支援システム、要約筆記支援サーバ、要約筆記支援方法、及びプログラム Download PDFInfo
- Publication number
- JP2014191703A JP2014191703A JP2013068223A JP2013068223A JP2014191703A JP 2014191703 A JP2014191703 A JP 2014191703A JP 2013068223 A JP2013068223 A JP 2013068223A JP 2013068223 A JP2013068223 A JP 2013068223A JP 2014191703 A JP2014191703 A JP 2014191703A
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- data
- writer
- summary writing
- writing support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】リアルタイムでの要約筆記を実現するに際しての、導入障壁の緩和と、データ保証とを図り得る、要約筆記支援システム、要約筆記支援サーバ、要約筆記支援方法、及びプログラムを提供する。
【解決手段】要約筆記支援サーバ１００、要約筆記を行なう筆記者が使用する筆記者用端末装置４００、利用者が使用する利用者用端末装置３００、データ配信用端末装置２００を用いる。データ配信用端末装置２００は、音声データ及び映像データを、自身が発行した番号と共に、各装置に同時に送信する。筆記者用端末装置４００は、テキストデータを、自身が発行した番号と共に、各装置に同時に送信する。要約筆記支援サーバ１００は、送信番号が登録済の番号よりも大きい場合は、それを登録して全端末装置に通知し、送信番号が登録済みの番号以下である場合は、１を加算した加算値を登録し、これを全端末装置に通知する。
【選択図】図１
【解決手段】要約筆記支援サーバ１００、要約筆記を行なう筆記者が使用する筆記者用端末装置４００、利用者が使用する利用者用端末装置３００、データ配信用端末装置２００を用いる。データ配信用端末装置２００は、音声データ及び映像データを、自身が発行した番号と共に、各装置に同時に送信する。筆記者用端末装置４００は、テキストデータを、自身が発行した番号と共に、各装置に同時に送信する。要約筆記支援サーバ１００は、送信番号が登録済の番号よりも大きい場合は、それを登録して全端末装置に通知し、送信番号が登録済みの番号以下である場合は、１を加算した加算値を登録し、これを全端末装置に通知する。
【選択図】図１
Description
本発明は、話者の発話の要約筆記を支援するための、要約筆記支援システム、要約筆記支援サーバ、要約筆記支援方法、及びこれらを実現するためのプログラムに関する。
両耳の聴力がマイナス１００デシベル以上の聴覚障がい者（以下、単に「聴覚障がい者」と記す）は、補聴器等を付けても、ほとんど音声中の言語情報を受けとることができない。このため従来から、聴覚障がい者が講演及び学校での授業等を聴講する場合、手話通訳者を付ける場合と、要約筆記通訳者を付ける場合とがあった。
このうち、要約筆記通訳者を付ける場合には、通常、聴覚障がい者１人に対して、例えば学校での授業であれば、要約筆記通訳者が２人以上付けられる。そして、これらの要約筆記者は、先生の話す内容などを、ＰＣ（Personal Computer）又は紙のノート等によって文字化し、これを聴覚障がい者に対して提示する。なお、要約筆記通訳者が２人以上必要となるのは、要約筆記作業は負担が大きく、１人では要約精度が低下しやすいからである。
ところで、１８歳以下の聴覚障がい学生が平成２０年度の厚生労働省の調べでは全国で約２万人存在し、それに対し、正式に登録されている要約筆記通訳者は全国で約１万人である。その上で、聴覚障がい学生１人に対して２人以上の要約筆記通訳者が付くとすると、支援を受けることが可能な聴覚障がい学生は、単純に計算しても１／４である。さらに、地域によって要約筆記通訳者の数及び聴覚障がい学生の数には、ばらつきがある。これらの理由から、より少ない人数の聴覚障がい学生しか、学校において支援を受けることが出来ないのが現状である。
そこで、要約筆記を行う際に、要約筆記者が、聴覚障がい者の隣席まで行かなくても支援を行なえるようにするシステムが種々提案されている（例えば、非特許文献１参照）。このシステムでは、遠隔地からインターネットを介して、要約筆記通訳者に、教室の音声と映像とが配信されるので、要約筆記者は、自宅又は外出先等で要約筆記による支援を行なうことができる。また、このシステムでは、教室にいる聴覚障がい学生のパソコン等の画面に、要約筆記の結果が表示される。
"ユビキタス社会における情報アクセシビリティー「インターネットを活用した『どこでも情報保護』の提案」"、[online]、平成１８年、要約筆記サークル「ラルゴ」、[平成25年3月1日検索]、インターネット<http://www.geocities.jp/shigeaki_kurita/largo/largo_report2006_ubiquitous.pdf>
しかしながら、非特許文献１においては、遠隔からの要約筆記通訳を可能にする種々のシステムが開示されているが、これらのシステムには、コスト面及び技術面で導入が難しいという問題、データの担保が不安定であるという問題が存在している。
本発明の目的の一例は、上記問題を解消し、リアルタイムでの要約筆記を実現するに際しての、導入障壁の緩和と、データ保証とを図り得る、要約筆記支援システム、要約筆記支援サーバ、要約筆記支援方法、及びプログラムを提供することにある。
上記目的を達成するため、本発明の一側面における要約筆記支援システムは、話者の発話の要約筆記を支援するためのシステムであって、
要約筆記支援サーバと、前記要約筆記を行なう筆記者が使用する筆記者用端末装置と、前記要約筆記の利用者が使用する利用者用端末装置と、データ配信用端末装置と、を備え、
前記データ配信用端末装置は、
前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記筆記者用端末装置、及び前記利用者用端末装置に同時に送信し、
前記筆記者用端末装置は、
前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記データ配信用端末装置、及び前記利用者用端末装置に同時に送信し、
前記要約筆記支援サーバは、
前記音声データ、前記映像データ、又は前記テキストデータを受信すると、共に送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、全ての端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を全ての端末装置に通知する、
ことを特徴とする。
要約筆記支援サーバと、前記要約筆記を行なう筆記者が使用する筆記者用端末装置と、前記要約筆記の利用者が使用する利用者用端末装置と、データ配信用端末装置と、を備え、
前記データ配信用端末装置は、
前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記筆記者用端末装置、及び前記利用者用端末装置に同時に送信し、
前記筆記者用端末装置は、
前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記データ配信用端末装置、及び前記利用者用端末装置に同時に送信し、
前記要約筆記支援サーバは、
前記音声データ、前記映像データ、又は前記テキストデータを受信すると、共に送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、全ての端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を全ての端末装置に通知する、
ことを特徴とする。
上記目的を達成するため、本発明の一側面における要約筆記支援サーバは、話者の発話の要約筆記を支援するためのサーバであって、データ順序管理部を備え、
前記データ順序管理部は、
データ配信用端末装置が、前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に送信してきた場合、及び、前記要約筆記を行なう筆記者が使用する筆記者用端末装置が、前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に送信してきた場合に、送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、前記データ配信用端末装置、前記筆記者用端末装置、及び前記要約筆記の利用者が使用する利用者用端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を、前記データ配信用端末装置、前記筆記者用端末装置、及び前記利用者用端末装置に通知する、
ことを特徴とする。
前記データ順序管理部は、
データ配信用端末装置が、前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に送信してきた場合、及び、前記要約筆記を行なう筆記者が使用する筆記者用端末装置が、前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に送信してきた場合に、送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、前記データ配信用端末装置、前記筆記者用端末装置、及び前記要約筆記の利用者が使用する利用者用端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を、前記データ配信用端末装置、前記筆記者用端末装置、及び前記利用者用端末装置に通知する、
ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における要約筆記支援方法は、話者の発話の要約筆記を支援するための方法であって、
要約筆記支援サーバと、前記要約筆記を行なう筆記者が使用する筆記者用端末装置と、前記要約筆記の利用者が使用する利用者用端末装置と、データ配信用端末装置とを用いて、
（ａ）前記データ配信用端末装置によって、
前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記筆記者用端末装置、及び前記利用者用端末装置に同時に送信する、ステップと、
（ｂ）前記筆記者用端末装置によって、
前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記データ配信用端末装置、及び前記利用者用端末装置に同時に送信する、ステップと、
（ｃ）前記要約筆記支援サーバによって、
前記音声データ、前記映像データ、又は前記テキストデータを受信すると、共に送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、全ての端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を全ての端末装置に通知する、ステップと、
を有することを特徴とする。
要約筆記支援サーバと、前記要約筆記を行なう筆記者が使用する筆記者用端末装置と、前記要約筆記の利用者が使用する利用者用端末装置と、データ配信用端末装置とを用いて、
（ａ）前記データ配信用端末装置によって、
前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記筆記者用端末装置、及び前記利用者用端末装置に同時に送信する、ステップと、
（ｂ）前記筆記者用端末装置によって、
前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記データ配信用端末装置、及び前記利用者用端末装置に同時に送信する、ステップと、
（ｃ）前記要約筆記支援サーバによって、
前記音声データ、前記映像データ、又は前記テキストデータを受信すると、共に送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、全ての端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を全ての端末装置に通知する、ステップと、
を有することを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって、話者の発話の要約筆記を支援するためのプログラムであって、
前記コンピュータに、
（ａ）データ配信用端末装置が、前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に送信してきた場合、及び、前記要約筆記を行なう筆記者が使用する筆記者用端末装置が、前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に送信してきた場合に、送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、前記データ配信用端末装置、前記筆記者用端末装置、及び前記要約筆記の利用者が使用する利用者用端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を、前記データ配信用端末装置、前記筆記者用端末装置、及び前記利用者用端末装置に通知する、
ステップを実行させることを特徴とする。
前記コンピュータに、
（ａ）データ配信用端末装置が、前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に送信してきた場合、及び、前記要約筆記を行なう筆記者が使用する筆記者用端末装置が、前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に送信してきた場合に、送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、前記データ配信用端末装置、前記筆記者用端末装置、及び前記要約筆記の利用者が使用する利用者用端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を、前記データ配信用端末装置、前記筆記者用端末装置、及び前記利用者用端末装置に通知する、
ステップを実行させることを特徴とする。
以上のように本発明によれば、リアルタイムでの要約筆記を実現するに際しての、導入障壁の緩和と、データ保証とを図ることができる。
（発明の概要）
本発明では、要約筆記を行なう筆記者が使用する筆記者用端末装置と、要約筆記の利用者が使用する利用者用端末装置と、データ配信用端末装置と、要約筆記支援サーバとが用いられる。これらは、互いにインターネット等のネットワークを介して接続される。
本発明では、要約筆記を行なう筆記者が使用する筆記者用端末装置と、要約筆記の利用者が使用する利用者用端末装置と、データ配信用端末装置と、要約筆記支援サーバとが用いられる。これらは、互いにインターネット等のネットワークを介して接続される。
そして、データ配信用端末装置から、発話の音声データ及び話者に関連する映像データが配信され、更に、筆記者の端末装置から、要約筆記の結果であるテキストデータが配信される。聴覚障がい者である利用者は、利用者用端末装置において、映像を見ながら、要約筆記によるテキストを確認することができる。
本発明によれば、遠隔から、聴覚障がい者向けに要約筆記による通訳支援を行なうことができ、利用者は、リアルタイムで、文字情報と連携した画像情報の提供を受けることが可能となる。
（実施の形態）
以下、本発明の実施の形態における、要約筆記支援システム、要約筆記支援サーバ、要約筆記支援方法、及びサーバについて、図１〜図１１を参照しながら説明する。
以下、本発明の実施の形態における、要約筆記支援システム、要約筆記支援サーバ、要約筆記支援方法、及びサーバについて、図１〜図１１を参照しながら説明する。
［システム構成］
最初に、図１を用いて、本実施の形態における要約筆記支援システムのシステム構成について説明する。図１は、本発明の実施の形態における要約筆記支援システムの全体構成を示す図である。
最初に、図１を用いて、本実施の形態における要約筆記支援システムのシステム構成について説明する。図１は、本発明の実施の形態における要約筆記支援システムの全体構成を示す図である。
図１に示す本実施の形態における要約筆記支援システム５００は、話者２１０の発話の要約筆記を支援するためのシステムである。図１に示すように、要約筆記支援システム５００は、要約筆記支援サーバ１００と、要約筆記を行なう筆記者４１０が使用する筆記者用端末装置４００と、要約筆記の利用者３１０が使用する利用者用端末装置３００と、データ配信用端末装置２００とを備えている。
データ配信用端末装置２００は、発話の音声データ及び話者２１０に関連する映像データを、自身が発行した番号と共に、要約筆記支援サーバ１００、筆記者用端末装置４００、及び利用者用端末装置３００に同時に送信する。
筆記者用端末装置４００は、筆記者４１０によって入力されたテキストデータを、自身が発行した番号と共に、要約筆記支援サーバ１００、データ配信用端末装置２００、及び利用者用端末装置３００に同時に送信する。
また、要約筆記支援サーバ１００は、音声データ、映像データ、又はテキストデータを受信すると、それらと共に送信されてきた番号を登録する。
但し、要約筆記支援サーバ１００は、登録の際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた番号を登録された番号として、全ての端末装置２００〜４００に通知する。
一方、要約筆記支援サーバ１００は、登録の際、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録する。その後、要約筆記支援サーバ１００は、登録した加算値を、全ての端末装置２００〜４００に通知する。
このように、本実施の形態では、端末装置とサーバとをネットワークを介して相互に接続するだけで、要約筆記支援のためのシステムを構築でき、システムの導入障壁は緩和される。また、データの送信が同時に行なえるようにネットワークが構築されているため、リアルタイムでの遠隔地からの要約筆記が実現される。更に、要約筆記支援サーバは、送信されてくるデータを番号で管理してデータの保証を行なっているため、データが担保されている。
具体的には、本実施の形態では、筆記者用端末装置４００、利用者用端末装置３００、及びデータ配信用端末装置２００は、それぞれが所属するネットワークから、インターネットを介して要約筆記支援サーバ１００に接続される。また、要約筆記支援サーバ１００、筆記者用端末装置４００、利用者用端末装置３００、及びデータ配信用端末装置２００は、ぞれぞれは、ＵＤＰ（User Datagram Protocol）で規定されたデータ通信を実行できる通信機能を備えている。
つまり、本実施の形態では、端末装置及びサーバの相互間は、ネットワークアドレストランスレータ（ＮＡＴ：Network Address Translator）技術を拡張した通信方式、例えばＵＤＰホールパンチングによってピアツーピア（Ｐ２Ｐ）で相互に接続される。これにより、マルチメディアデータを相互に送受信できるようになるので、高速、且つリアルタイムで、音声データ、映像データ、及びテキストデータの配信が可能となる。なお、ＵＤＰホールパンチングとは、プライベートネットワーク内にある端末装置同士が、インターネット経由で双方方向のコネクションを確立するための手法をいう。
そして、データ配信用端末装置２００は、この通信機能を用いて、音声データ及び映像データを送信する。また、筆記者用端末装置４００は、この通信機能を用いて、テキストデータを送信する。要約筆記支援サーバ１００は、この通信機能を用いて、全ての端末装置に通知を行なう。
但し、このように、ＵＤＰ／ＩＰが利用されるため、通信プロトコル自体でのデータの保証が行われないので、上述したように、要約筆記支援サーバ１００によってデータの保証が行なわれている。また、本実施の形態では、データの保証を確実にするため、データ配信用端末装置２００、筆記者用端末装置４００、及び利用者用端末装置３００それぞれも、要約筆記支援サーバ１００によって通知された番号を登録する。
そして、各端末装置は、番号を発行する場合は、自身が登録している最新の番号に１を加算した値を番号（以降「仮番号」と表記する。）として発行する。また、各端末装置は、仮番号の発行後に、要約筆記支援サーバ１００によって通知された番号が、仮番号と異なる場合は、受信していないデータが存在すると判断し、他の端末装置にデータの再送信を要求する。
また、本実施の形態では、データ配信用端末装置２００は、上述の通信機能を用いて、音声データ及び映像データを筆記者用端末装置４００に送信できない場合に、要約筆記支援サーバ１００を経由して、音声データ及び映像データを筆記者用端末装置４００に送信することができる。筆記者用端末装置４００は、遠隔に存在する場合があり、そのネットワーク環境によっては、データ配信用端末装置２００から音声データ及び映像データを送信できない場合があるからである。
更に、本実施の形態では、要約筆記支援サーバ１００は、筆記者用端末装置４００、利用者用端末装置３００、及びデータ配信用端末装置２００、それぞれの接続先を取得し、それぞれに他の端末装置の接続先を通知することができる。この場合は、後述するように、各端末装置は、通知に基づいて相互接続を行なう。
また、図１の例では、筆記者用端末装置４００は、１つのみが図示されているが、本実施の形態における要約筆記支援システム５００において、筆記者用端末装置４００の数は限定されるものではない。本実施の形態では、筆記者用端末装置４００は、要約筆記を行なう筆記者４１０の数だけ備えられれば良い。また、利用者用端末装置３００の数も限定されず、利用者用端末装置３００も利用者３１０の数だけ備えられれば良い。
また、図１に示すように、本実施の形態では、データ配信用端末装置２００には、映像入力装置１０と、音声入力装置２０とが接続されている。具体的には、映像入力装置１０は、講義風景等を撮影するカメラであり、映像データ（動画データ）をデータ配信用端末装置２００へと出力する。また、音声入力装置２０は、マイクであり、講師を含む話者２１０の発話の音声を音声データに変換し、変換した音声データをデータ配信用端末装置２０へと出力する。
続いて、図２及び図３を用いて、本実施の形態における要約筆記支援システムの具体的構成について説明する。図２は、本発明の実施の形態における要約筆記支援システムの構成を示すブロック図である。
［システム構成：要約筆記支援サーバ］
図２に示すように、要約筆記支援サーバ１００は、外部からのデータを受信する受信部１０１と、接続先管理部１０２と、データ順序管理部１０３と、データを送信する送信部１０４と、接続情報格納部１０５とを備えている。
図２に示すように、要約筆記支援サーバ１００は、外部からのデータを受信する受信部１０１と、接続先管理部１０２と、データ順序管理部１０３と、データを送信する送信部１０４と、接続情報格納部１０５とを備えている。
このうち、接続先管理部１０２は、受信部１０１が、筆記者用端末装置４００、利用者用端末装置３００、及びデータ配信用端末装置２００それぞれから、接続先を示す接続情報を取得すると、取得した接続情報を接続情報格納部１０５に格納する。
図３は、本発明の実施の形態において要約筆記支援サーバが取得する接続情報の一例を示す図である。図３に示すように、接続情報は、各端末装置のインターネット側出口を示すグローバルＩＰアドレス、各端末装置を示すＰＯＲＴ番号（１）、各端末装置の所属するネットワークでのローカルＩＰアドレス、及び各端末装置が所属するネットワークで接続されているＰＯＲＴ番号（２）とで構成されている。
また、接続先管理部１０２は、例えば、データ配信用端末装置２００から、データ配信の開始通知（例えば、授業開始の通知）を受信すると、接続されている各端末装置に対して、登録されている接続先情報を、送信部１０４を介して送信する。これにより、各端末装置には、他の端末装置の接続先が通知される。
また、データ順序管理部１０３は、データ配信用端末装置２００からの音声データ及び映像データを受信し、筆記者用端末装置４００からテキストデータを受信すると、これらに付加された仮番号を取得する。そして、データ順序管理部１０３は、取得した仮番号が、登録済の最新の番号よりも大きいかどうかを判定する。
そして、データ順序管理部１０３は、判定の結果、仮番号が最新の登録済の番号よりも大きい場合は、送信されてきた仮番号を登録し、登録した番号を、全ての端末装置２００〜４００に通知する。一方、データ順序管理部１０３は、判定の結果、仮番号が最新の登録済の番号以下である場合は、送信されてきた仮番号の登録を行なわずに、この仮番号に１を加算し、得られた加算値を登録する。そして、データ順序管理部１０３は登録した加算値を全ての端末装置２００〜４００に通知する。
［システム構成：データ配信用端末装置］
図２に示すように、データ配信用端末装置２００は、映像入力部２０１と、音声入力部２０２と、送信部２０３と、受信部２０４と、表示部２０５とを備えている。また、データ配信用端末装置２００には、上述した、映像入力装置１０と音声入力装置２０とに加えて、液晶表示装置等の表示装置４０も接続されている。なお、映像入力装置１０、音声入力装置２０、表示装置４０は、データ配信用端末装置２００に内蔵されていても良い。
図２に示すように、データ配信用端末装置２００は、映像入力部２０１と、音声入力部２０２と、送信部２０３と、受信部２０４と、表示部２０５とを備えている。また、データ配信用端末装置２００には、上述した、映像入力装置１０と音声入力装置２０とに加えて、液晶表示装置等の表示装置４０も接続されている。なお、映像入力装置１０、音声入力装置２０、表示装置４０は、データ配信用端末装置２００に内蔵されていても良い。
映像入力部２０１は、映像入力装置１０から出力されてきた映像データを受け取り、これを送信部２０３に入力する。また、音声入力部２０２は、音声入力装置２０から出力されてきた音声データを受け取り、これを送信部２０３に入力する。
送信部２０３は、映像データについては、既存のストリーミング技術を利用して、要約筆記支援サーバ１００、利用者用端末装置３００、及び筆記者用端末装置４００に送信する。また、送信部２０３は、音声データについては、既存のＶｏＩＰ（Voice over Internet Protocol）技術を利用して、筆記者用端末装置４００及び要約筆記支援サーバ１００へと配信する。
また、送信部２０３は、後述する受信部２０４によって登録されている番号に、１を加算した値を仮番号として発行し、送信する映像データ及び音声データに付与する。具体的には、送信部２０３は、例えば、設定時間毎に、仮番号の値を増加させながら、映像データのパケット及び音声データのパケットに仮番号を付与する。
受信部２０４は、筆記者用端末装置４００からテキストデータが送信されてきた場合は、これを受信し、受信したテキストデータを表示部２０５に出力する。また、受信部２０４は、要約筆記支援サーバ１００から、登録された番号が通知されると、これを登録する。
表示部２０５は、出力されてきたテキストデータを表示装置４０の画面上に表示させる。また、表示部２０５は、映像入力部２０１で受け取られた映像データの映像を、表示装置４０の画面上に表示させることもできる。
［システム構成：筆記者用端末装置］
図２に示すように、筆記者用端末装置４００は、受信部４０１と、音声再生部４０２と、表示部４０３と、画像加工部４０４と、文字入力受付部４０５と、送信部４０６とを備えている。また、筆記者用端末装置４００には、スピーカ等の音声出力装置３０と、液晶表示装置等の表示装置４０と、マウス、キーボード、タッチパネル等の入力装置５０とが接続されている。なお、音声出力装置３０、表示装置４０、入力装置５０は、筆記者用端末装置４００に内蔵されていても良い。
図２に示すように、筆記者用端末装置４００は、受信部４０１と、音声再生部４０２と、表示部４０３と、画像加工部４０４と、文字入力受付部４０５と、送信部４０６とを備えている。また、筆記者用端末装置４００には、スピーカ等の音声出力装置３０と、液晶表示装置等の表示装置４０と、マウス、キーボード、タッチパネル等の入力装置５０とが接続されている。なお、音声出力装置３０、表示装置４０、入力装置５０は、筆記者用端末装置４００に内蔵されていても良い。
受信部４０１は、音声データを受信するとこれを音声再生部４０２に出力する。これにより、音声再生部４０２は、音声出力装置３０に音声を再生させる。また、受信部４０１は、映像データを受信すると、これを表示部４０３と、画像加工部４０４とに出力する。また、受信部４０１も、上述の受信部２０４と同様に、要約筆記支援サーバ１００から、登録された番号が通知されると、これを登録する。
表示部４０３は、映像データが出力されてくると、その映像を表示装置４０の画面上に表示させる。画像加工部４０４は、筆記者４１０が入力装置５０を介して映像データからの静止画像の取り出しを指示すると、指示に応じて静止画像を取り出し、取り出した画像データを送信部４０６に出力する。
音声出力装置３０によって音声が再生され、これに応じて、筆記者４１０が、入力装置５０を用いてテキストデータを入力すると、文字入力受付部４０５は、入力されたテキストデータを受け付け、これを送信部４０６に出力する。
送信部４０６は、出力されてきた画像データとテキストデータとを、利用者用端末装置３００、データ配信用端末装置２００、及び要約筆記支援サーバ１００に送信する。また、送信部４０６は、上述の送信部２０３と同様に、受信部４０１によって登録されている番号に、１を加算した値を仮番号として発行し、送信する画像データ及びテキストデータに付与する。具体的には、送信部４０６は、例えば、設定時間毎に、仮番号の値を増加させながら、画像データのパケット及びテキストデータのパケットに仮番号を付与する。
また、上述したデータ配信用端末装置２００、利用者用端末装置３００、筆記者用端末装置４００は、後述する処理を実行するプログラムをコンピュータに実行させることによって構築できる。この場合、コンピュータとしては、パーソナルコンピュータ、サーバコンピュータ、更には、スマートフォン、タブレット型端末も挙げられる。
［システム構成：利用者用端末装置］
図２に示すように、利用者用端末装置３００は、受信部３０１と、表示部３０３とを備えている。また、利用者用端末装置３００にも、液晶表示装置等の表示装置４０が接続されている。なお、表示装置４０は、利用者用端末装置３００に内蔵されていても良い。
図２に示すように、利用者用端末装置３００は、受信部３０１と、表示部３０３とを備えている。また、利用者用端末装置３００にも、液晶表示装置等の表示装置４０が接続されている。なお、表示装置４０は、利用者用端末装置３００に内蔵されていても良い。
受信部３０１は、データ配信用端末装置２００からの映像データ、筆記者用端末装置４００からの画像データ及びテキストデータを受信し、これを表示部３０３に出力する。また、受信部３０１も、上述の受信部２０４と同様に、要約筆記支援サーバ１００から、登録された番号が通知されると、これを登録する。
表示部３０３は、映像データ、画像データ、及びテキストデータが出力されてくると、それぞれを表示装置４０の画面上の所定の領域に表示させる。
［システム動作］
次に、本発明の実施の形態における要約筆記支援システム５００の動作について図４〜図１０を用いて説明する。また、本実施の形態では、要約筆記支援システム５００を動作させることによって、要約筆記支援方法が実施される。よって、本実施の形態における要約筆記支援方法の説明は、以下の要約筆記支援システム５００の動作説明に代える。また、以下の説明では、適宜図１〜図３を参酌する。
次に、本発明の実施の形態における要約筆記支援システム５００の動作について図４〜図１０を用いて説明する。また、本実施の形態では、要約筆記支援システム５００を動作させることによって、要約筆記支援方法が実施される。よって、本実施の形態における要約筆記支援方法の説明は、以下の要約筆記支援システム５００の動作説明に代える。また、以下の説明では、適宜図１〜図３を参酌する。
［システム動作：全体］
まず、図４から図６を用いて、端末装置及びサーバ間における相互接続の開始からデータ送信までにおける、要約筆記支援システム５００全体の動作について説明する。
まず、図４から図６を用いて、端末装置及びサーバ間における相互接続の開始からデータ送信までにおける、要約筆記支援システム５００全体の動作について説明する。
最初に、図４を用いて、各端末装置が所属するネットワークからインターネットを介して要約筆記支援サーバ１００に接続した後から、各端末装置間で相互接続し、データの配信が行なわれるまでについて説明する。図４は、本発明の実施の形態における要約筆記支援システムにおける相互接続からデータ配信までの動作の一例を示すシーケンス図である。
図４に示すように、最初に、データ配信用端末装置２００、筆記者用端末装置４００、利用者用端末装置３００それぞれが、要約筆記支援サーバ１００に対して接続を要求する。これにより、要約筆記支援サーバ１００では、接続先管理部１０２が、各端末装置の接続情報（図３参照）を取得し、取得した接続情報を接続情報格納部１０５に登録する（ステップＳ５０１）。
次に、データ配信用端末装置２００が、データ配信の開始通知（例えば、授業の開始通知）を発行すると（ステップＳ５０２）、要約筆記支援サーバ１００の接続先管理部１０２は、接続情報を、接続されている各端末装置に対して送信する（ステップＳ５０３）。また、接続先管理部１０２は、このとき、各端末装置に対して、データ配信の開始通知も送信する。
次に、データ配信用端末装置２００、筆記者用端末装置４００、及び利用者用端末装置３００それぞれは、要約筆記支援サーバ１００から、接続情報とデータ配信の開始要求とを受信すると、他の端末装置との間で相互接続を実行する（ステップＳ５０４）。
次に、各端末装置間での相互接続が完了すると、データ配信用端末装置２００は、仮番号を発行し、それを付与した映像データを、要約筆記支援サーバ１００、利用者用端末装置３００、筆記者用端末装置４００に送信する（ステップＳ５０５）。
次に、要約筆記支援サーバ１００では、データ順序管理部１０３は、受信した映像データに付与された仮番号と、登録済の番号とを比較し、仮番号が最新の登録済の番号よりも大きい場合であれば、その番号を登録番号として確定し、それを登録する。そして、データ順序管理部１０３は、番号確定通知を各端末装置に送信する（ステップＳ５０６）。
次に、図５を用いて、筆記者用端末装置４００が所属するネットワークが多段構成のネットワークルーターで構築されているために、各端末装置間での相互接続時に、接続ができない場合について説明する。図５は、本発明の実施の形態における要約筆記支援システムにおける相互接続からデータ配信までの動作の他の例を示すシーケンス図である。
図５に示すように、最初に、データ配信用端末装置２００、筆記者用端末装置４００、利用者用端末装置３００それぞれが、要約筆記支援サーバ１００に対して接続を要求する。これにより、要約筆記支援サーバ１００では、接続先管理部１０２が、各端末装置の接続情報（図３）を取得し、取得した接続情報を接続情報格納部１０５に登録する（（ステップＳ６０１）。
次に、データ配信用端末装置２００が、データ配信の開始通知（例えば、授業の開始通知）を発行すると（ステップＳ６０２）、要約筆記支援サーバ１００の接続先管理部１０２は、接続情報を、接続されている各端末装置に対して送信する（ステップＳ６０３）。また、接続先管理部１０２は、このとき、各端末装置に対して、データ配信の開始通知も送信する。
次に、データ配信用端末装置２００、筆記者用端末装置４００、及び利用者用端末装置３００それぞれは、要約筆記支援サーバ１００から、接続情報とデータ配信の開始要求とを受信すると、他の端末装置との間で相互接続を実行する（ステップＳ６０４）。
但し、図５の例では、図４の例と異なり、筆記者用端末装置４００が所属するネットワークが多段構成のネットワークルーターで構築されている。このため、データ配信用端末装置２００と利用者用端末装置３００とが、筆記者用端末装置４００との間で接続に失敗したとする（ステップＳ６０５）。
このため、データ配信用端末装置２００と利用者用端末装置３００とは、筆記者用端末装置４００へのデータ送信を、要約筆記支援サーバ１００経由でのデータ送信に切り替える。
その後、データ配信用端末装置２００は、仮番号を発行し、それを付与した映像データを、要約筆記支援サーバ１００、及び利用者用端末装置３００へ送信すると、映像データは、要約筆記支援サーバ１００を経由して、筆記者用端末装置４００にも送信される（ステップＳ６０６）。
次に、要約筆記支援サーバ１００では、データ順序管理部１０３は、受信した映像データに付与された仮番号と、登録済の番号とを比較し、仮番号が最新の登録済の番号よりも大きい場合であれば、その番号を登録番号として確定し、それを登録する。そして、データ順序管理部１０３は、番号確定通知を各端末装置に送信する（ステップＳ６０７）。このように、本実施の形態では、データが送信できない場合は、別の経路でのデータ送信が行なわれるので、この点で、データが担保されている。
次に、図６を用いて、本実施の形態における要約筆記支援システムにおいて、端末装置間の通信において途中でデータがロストした場合の復旧処理について説明する。図６は、本発明の実施の形態における要約筆記支援システムにおける通信途中でデータがロストした場合の復旧処理時の動作の一例を示すシーケンス図である。
図６に示すように、まず、データ配信用端末装置２００は、仮番号を発行し、それを付与した映像データを、要約筆記支援サーバ１００、利用者用端末装置３００、筆記者用端末装置４００に送信する（ステップＳ７０１）。
その際、データ配信用端末装置２００は、筆記者用端末装置４００に対する送信を複数回実施するが、全て送信失敗であったとする（ステップＳ７０２）。
次に、要約筆記支援サーバ１００では、データ順序管理部１０３は、受信した映像データに付与された仮番号と、登録済の番号とを比較し、仮番号が最新の登録済の番号よりも大きい場合であれば、その番号を登録番号として確定し、それを登録する。そして、データ順序管理部１０３は、番号確定通知を各端末装置に送信する（ステップＳ７０３）。但し、この場合、要約筆記支援サーバ１００は、ステップＳ７０２と同様に、筆記者用端末装置４００への送信に失敗しているとする（ステップＳ７０４）。なお、このとき、確定された番号を「１０」とする。
次に、筆記者用端末装置４００が、筆記者によって文字列が入力されると、仮番号を発行し、それを付与したテキストデータを、要約筆記支援サーバ１００、データ配信用端末装置２００、及び利用者用端末装置３００に送信する（ステップＳ７０５）。なお、筆記者用端末装置４００では、ステップＳ７０４での送信が失敗であるため、仮番号として「１０」を発行している。
次に、要約筆記支援サーバ１００では、データ順序管理部１０３は、受信したテキストデータに付与された仮番号と、登録済の番号とを比較するが、この場合、仮番号（１０）は最新の登録済の番号（１０）と同一である。従って、データ順序管理部１０３は、送信されてきた仮番号に１を加算し、加算によって得られた値を採番して登録し、この登録された加算値（１１）を、これを全ての端末装置２００〜４００に通知する（ステップＳ７０６）。
次に、筆記者用端末装置４００は、番号通知を受信するが、その番号（１１）は、自身が登録している番号（発行した仮番号（１０））と異なるため、受信していないデータが存在すると判断する。そして、筆記者用端末装置４００は、データ配信用端末装置２００と利用者用端末装置３００とに対して、未受信のデータ（番号１０）のデータ再送を依頼する（ステップＳ７０７）。
ステップＳ７０７が実行されると、データ配信用端末装置２００は、未受信となったデータ（番号１０）のデータを、筆記者用端末装置４００に再送信する（ステップＳ７０８）。このように、本実施の形態では、データがロストした場合は、ロストしたデータが特定され、ロストしたデータの再送が行なわれるので、この点で、データが担保されている。
［システム動作：要約筆記支援サーバ］
続いて、図７〜図１０を用いて、各端末装置と要約筆記支援サーバ１００との接続から、授業、講演等が開始され、話者の音声が文字化するまでについて装置毎に説明する。
続いて、図７〜図１０を用いて、各端末装置と要約筆記支援サーバ１００との接続から、授業、講演等が開始され、話者の音声が文字化するまでについて装置毎に説明する。
まず、図７を用いて、要約筆記支援サーバ１００の動作について説明する。図７は、本発明の実施の形態における要約筆記支援サーバの動作を示すフロー図である。
図７に示すように、最初に、要約筆記支援サーバ１００は、データ配信用端末装置２００、利用者用端末装置３００、筆記者用端末装置４００から接続要求を受信する（ステップＳ１０１）。
次に、接続先管理部１０２は、受信部１０１が、筆記者用端末装置４００、利用者用端末装置３００、及びデータ配信用端末装置２００それぞれから、接続先を示す接続情報を取得すると、取得した接続情報を接続情報格納部１０５に格納する（ステップＳ１０２）。このとき、取得される接続情報としては、各端末装置が所属するネットワークがインターネットに接続するために用いるグローバルＩＰアドレス、ＰＯＲＴ番号などが挙げられる。
次に、要約筆記支援サーバ１００は、データ配信用端末装置２００からデータ配信の開始通知を受信する（ステップＳ１０３）。次に、要約筆記支援サーバ１００は、データ配信の開始通知を受信すると、接続されている各端末装置に対して、接続情報とデータ配信の開始通知とを送信する（ステップＳ１０４）。これにより、データ配信用端末装置２００、利用者用端末装置３００、及び筆記者用端末装置４００は、受信した接続先情報に基づいて、相互接続を実行し、データ配信の開始準備を行なう。
その後、後述するように、データ配信用端末装置２００では、ステップＳ２０１が実行され、筆記者用端末装置４００では、ステップＳ４０１が実行され、利用者用端末装置３００では、ステップＳ３０１が実行される。
次に、要約筆記支援サーバ１００は、配信されてきた映像データ及び音声データを受信する（ステップＳ１０５）。
次に、要約筆記支援サーバ１００において、データ順序管理部１０３は、受信した映像データに付与された仮番号と、登録済の番号とを比較し、比較結果に基づいて番号を確定し、それを端末装置に通知する（ステップＳ１０６）。
具体的には、データ順序管理部１０３は、比較の結果、仮番号が最新の登録済の番号よりも大きい場合であれば、その番号を登録番号として確定して登録し、登録した番号を、全ての端末装置２００〜４００に通知する。一方、データ順序管理部１０３は、比較の結果、仮番号が最新の登録済の番号以下である場合は、送信されてきた仮番号の登録を行なわずに、代わりに、仮番号に１を加算し、新規に番号を確定させる。その後、データ順序管理部１０３は、新規に確定させた番号を全ての端末装置２００〜４００に通知する。
その後、後述するように、利用者用端末装置３００では、ステップＳ３０２が実行され、筆記者用端末装置４００では、ステップＳ４０２が実行され、データ配信用端末装置２００では、ステップＳ２０３が実行される。
次に、要約筆記支援サーバ１００は、筆記者用端末装置４００から送信されたテキストデータを受信する（ステップＳ１０７）。
次に、要約筆記支援サーバ１００において、データ順序管理部１０３は、テキストデータに付与された仮番号と、登録済の番号とを比較し、比較結果に基づいて番号を確定し、それを端末装置に通知する（ステップＳ１０８）。なお、ステップＳ１０８は、上述したステップＳ１０６と同様に行なわれる。
その後、後述するように、利用者用端末装置３００では、ステップＳ３０４が実行され、データ配信用端末装置２００では、ステップＳ２０４が実行される。また、要約筆記支援サーバでは、授業、講演等が終了するまで、ステップＳ１０５〜Ｓ１０８が繰り返し実行される。
［システム動作：データ配信用端末装置］
次に、図８を用いて、データ配信用端末装置２００の動作について説明する。図８は、本発明の実施の形態におけるデータ配信用端末装置の動作を示すフロー図である。
次に、図８を用いて、データ配信用端末装置２００の動作について説明する。図８は、本発明の実施の形態におけるデータ配信用端末装置の動作を示すフロー図である。
図８に示すように、データ配信用端末装置２００は、図７に示したステップＳ１０４の実行後に、接続情報とデータ配信の開始通知とを受信すると、映像入力装置１０から映像データを取得し、音声入力装置２０から音声データを取得する（ステップＳ２０１）。
次に、データ配信用端末装置２００は、仮番号を発行し、これを付与した映像データ及び音声データを、要約筆記支援サーバ１００、筆記者用端末装置４００、及び利用者用端末装置３００に対して、配信する（ステップＳ２０２）。その後、データ配信用端末装置２００は、要約筆記支援サーバ１００から番号の通知を受けた場合は、通知された番号を登録する。
その後、データ配信用端末装置２００は、筆記者用端末装置４００からテキストデータが配信されてきた場合は、これを受信する（ステップＳ２０３）。その後、データ配信用端末装置２００は、要約筆記支援サーバ１００から番号通知を受信すると、内部で管理している番号を更新し、登録されている番号の順に、テキストデータが示す文字列を、表示装置４０の画面に表示する（ステップＳ２０４）。なお、データ配信用端末装置２００では、授業、講演等が終了するまで、ステップＳ２０１〜Ｓ２０４が繰り返し実行される。
［システム動作：利用者用端末装置］
次に、図９を用いて、利用者用端末装置３００の動作について説明する。図９は、本発明の実施の形態における利用者用端末装置の動作を示すフロー図である。
次に、図９を用いて、利用者用端末装置３００の動作について説明する。図９は、本発明の実施の形態における利用者用端末装置の動作を示すフロー図である。
図９に示すように、まず、利用者用端末装置３００では、データ配信用端末装置２００から配信された映像データを受信する（ステップＳ３０１）。なお、利用者用端末装置３００においても、音声データが受信されても良いが、再生されない。
次に、利用者用端末装置３００は、要約筆記支援サーバ１００から番号の通知を受けると、通知された番号によって、内部で管理している番号を更新し、番号の順に、映像を表示装置４０の画面に表示する（ステップＳ３０２）。
次に、利用者用端末装置３００は、筆記者用端末装置４００からテキストデータが配信されてきた場合は、これを受信する（ステップＳ３０３）。その後、利用者用端末装置３００は、要約筆記支援サーバ１００から番号通知を受信すると、内部で管理している番号を更新し、登録されている番号の順に、テキストデータが示す文字列を、表示装置４０の画面に表示する（ステップＳ３０４）。なお、利用者用端末装置３００では、授業、講演等が終了するまで、ステップＳ３０１〜Ｓ３０４が繰り返し実行される。
［システム動作：筆記者用端末装置］
次に、図１０を用いて、筆記者用端末装置４００の動作について説明する。図１０は、本発明の実施の形態における筆記者用端末装置の動作を示すフロー図である。
次に、図１０を用いて、筆記者用端末装置４００の動作について説明する。図１０は、本発明の実施の形態における筆記者用端末装置の動作を示すフロー図である。
図１０に示すように、まず、筆記者用端末装置４００は、データ配信用端末装置２００から配信された映像データ及び音声データを受信する（ステップＳ４０１）。
次に、筆記者用端末装置４００は、要約筆記支援サーバ１００から番号の通知を受けると、通知された番号によって、内部で管理している番号を更新し、番号の順に、映像を表示装置４０の画面に表示する（ステップＳ４０２）。また、筆記者用端末装置４００は、受信した音声データを音声出力装置３０によって再生する（ステップＳ４０２）。
次に、筆記者用端末装置４００は、筆記者によって要約筆記の結果となるテキストデータが入力されると、これを受け付ける（ステップＳ４０３）。更に筆記者用端末装置４００は、登録している番号に１を加算した値を仮番号として発行し、それを付与したテキストデータを、要約筆記支援サーバ１００、データ配信用端末装置２００、及び利用者用端末装置３００に送信する（ステップＳ４０４）。なお、筆記者用端末装置４００では、授業、講演等が終了するまで、ステップＳ４０１〜Ｓ４０４が繰り返し実行される。
また、本実施の形態では、筆記者用端末装置４００は、図２に示したように、ステップＳ４０３において、静止画像を取り出すことができ、取り出した場合は、ステップＳ４０４において、静止画像の画像データも送信することができる。この場合は、利用者端末装置３００及びデータ配信用端末装置２００において画面に静止画像も表示される（ステップＳ２０４及びＳ３０４参照）。
［実施の形態における効果］
以上のように本実施の形態では、システムの導入障壁が緩和される。また、データの送信が同時に行なえるため、リアルタイムでの遠隔地からの要約筆記が実現される。更に、要約筆記支援サーバは、送信されてくるデータを番号で管理してデータの保証を行なっているため、データが担保されている。この結果、要約筆記による支援を受けることができる聴覚障がい者の数の増加が図られることになる。
以上のように本実施の形態では、システムの導入障壁が緩和される。また、データの送信が同時に行なえるため、リアルタイムでの遠隔地からの要約筆記が実現される。更に、要約筆記支援サーバは、送信されてくるデータを番号で管理してデータの保証を行なっているため、データが担保されている。この結果、要約筆記による支援を受けることができる聴覚障がい者の数の増加が図られることになる。
［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図７に示すステップＳ１０１〜Ｓ１０８を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における要約筆記支援サーバ１００を実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、受信部１０１、接続先管理部１０２、データ順序管理部１０３、及び送信部１０４として機能し、処理を行なう。
本実施の形態におけるプログラムは、コンピュータに、図７に示すステップＳ１０１〜Ｓ１０８を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における要約筆記支援サーバ１００を実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、受信部１０１、接続先管理部１０２、データ順序管理部１０３、及び送信部１０４として機能し、処理を行なう。
ここで、本実施の形態におけるプログラムを実行することによって、要約筆記支援サーバ１００を実現するコンピュータについて図１１を用いて説明する。図１１は、本発明の実施の形態における要約筆記支援サーバを実現するコンピュータの一例を示すブロック図である。
図１１に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置１１３の具体例としては、ハードディスクの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。
ここで、上述した図７〜図１０に沿って本発明の実施例について説明する。まず、上述したステップＳ１０１〜Ｓ１０４が実行され、要約筆記支援サーバ１００は、データ配信用端末装置２００、利用者用端末装置３００、及び筆記者用端末装置４００と接続を行ない、端末装置間での接続が確立されたとする。
そして、ステップＳ２０２で、データ配信用端末装置２００が、仮番号（１番）を付与した映像データ及び音声データを配信したとする。これにより、筆記者用端末装置４００は、配信された映像データ及び音声データを受信し（ステップＳ４０１）、利用者用端末装置３００は、配信された映像データを受信する（ステップＳ３０１）。
次に、要約筆記支援サーバ１００は、配信されてきた映像データ及び音声データを受信すると（ステップＳ１０５）、付与された仮番号（１番）と登録されている最新の番号（０番）とを比較する。この場合、仮番号の数値が登録されている番号より大きいので、要約筆記支援サーバ１００は、仮番号（１番）を新規登録し、これを確定する（ステップＳ１０６）。また、要約筆記支援サーバ１００は、確定した番号（１番）を各端末装置に対して通知する（ステップＳ１０６）。
次に、利用者用端末装置３００は、確定された番号の通知を受信すると、これを登録し、登録している番号の順に、映像データを表示する（ステップＳ３０２）。また、筆記者用端末装置４００も、確定された番号の通知を受信すると、これを登録し、登録している番号の順に、映像データを表示し、更に、音声データを再生する（ステップＳ４０２）。
次に、筆記者用支援端末装置４００では、筆記者によってテキストデータの入力が行われると（ステップＳ４０３）、登録している番号に１を加算した値を仮番号（２番）として発行し、それを付与したテキストデータを、要約筆記支援サーバ１００、データ配信用端末装置２００、及び利用者用端末装置３００に送信する（ステップＳ４０４）。
ステップＳ４０４が実行されると、データ配信用端末装置２００は、配信されたテキストデータを受信する（ステップＳ２０３）。また、利用者用端末装置３００も、配信されたテキストデータを受信する（ステップＳ３０３）。
次に、要約筆記支援サーバ１００は、配信されてきたテキストデータを受信し（ステップＳ１０７）、付与された仮番号（２番）と登録されている番号（１番）とを比較する。この場合、仮番号の方が登録されている番号より大きいため、要約筆記支援サーバ１００は、仮番号を確定し、確定した番号（２番）を各端末装置に対して通知する（ステップＳ１０８）。
ステップＳ１０８が実行されると、利用者用端末装置３００は、内部で管理している番号を更新して、登録されている番号の順に、テキストデータが示す文字列を表示装置４０の画面に表示する（ステップＳ３０４）。
また、ステップＳ１０８が実行されると、データ配信用端末装置２００も、内部で管理している番号を更新して、登録されている番号の順に、テキストデータが示す文字列を表示装置４０の画面に表示する（ステップＳ２０４）。また、筆記者用端末装置４００は、次に、テキストデータを送信する場合は、再度ステップＳ４０４を実行する。なお、それまでに、登録番号の更新がなかった場合は、次の仮番号は３番となる。
上述した実施の形態及び実施例の一部又は全部は、以下に記載する（付記１）〜（付記１４）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
話者の発話の要約筆記を支援するためのシステムであって、
要約筆記支援サーバと、前記要約筆記を行なう筆記者が使用する筆記者用端末装置と、前記要約筆記の利用者が使用する利用者用端末装置と、データ配信用端末装置と、を備え、
前記データ配信用端末装置は、
前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記筆記者用端末装置、及び前記利用者用端末装置に同時に送信し、
前記筆記者用端末装置は、
前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記データ配信用端末装置、及び前記利用者用端末装置に同時に送信し、
前記要約筆記支援サーバは、
前記音声データ、前記映像データ、又は前記テキストデータを受信すると、共に送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、全ての端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を全ての端末装置に通知する、
ことを特徴とする要約筆記支援システム。
話者の発話の要約筆記を支援するためのシステムであって、
要約筆記支援サーバと、前記要約筆記を行なう筆記者が使用する筆記者用端末装置と、前記要約筆記の利用者が使用する利用者用端末装置と、データ配信用端末装置と、を備え、
前記データ配信用端末装置は、
前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記筆記者用端末装置、及び前記利用者用端末装置に同時に送信し、
前記筆記者用端末装置は、
前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記データ配信用端末装置、及び前記利用者用端末装置に同時に送信し、
前記要約筆記支援サーバは、
前記音声データ、前記映像データ、又は前記テキストデータを受信すると、共に送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、全ての端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を全ての端末装置に通知する、
ことを特徴とする要約筆記支援システム。
（付記２）
前記要約筆記支援サーバ、前記筆記者用端末装置、前記利用者用端末装置、及び前記データ配信用端末装置ぞれぞれは、ＵＤＰで規定されたデータ通信を実行できる機能を備え、
前記データ配信用端末装置は、前記機能を用いて、前記音声データ及び前記映像データを送信し、
前記筆記者用端末装置は、前記機能を用いて、前記テキストデータを送信し、
前記要約筆記支援サーバは、前記機能を用いて、全ての端末装置に通知を行なう、
付記１に記載の要約筆記支援システム。
前記要約筆記支援サーバ、前記筆記者用端末装置、前記利用者用端末装置、及び前記データ配信用端末装置ぞれぞれは、ＵＤＰで規定されたデータ通信を実行できる機能を備え、
前記データ配信用端末装置は、前記機能を用いて、前記音声データ及び前記映像データを送信し、
前記筆記者用端末装置は、前記機能を用いて、前記テキストデータを送信し、
前記要約筆記支援サーバは、前記機能を用いて、全ての端末装置に通知を行なう、
付記１に記載の要約筆記支援システム。
（付記３）
前記データ配信用端末装置が、前記機能を用いて、前記音声データ及び前記映像データを前記筆記者用端末装置に送信できない場合に、前記要約筆記支援サーバを経由して、前記音声データ及び前記映像データを前記筆記者用端末装置に送信する、
付記２に記載の要約筆記支援システム。
前記データ配信用端末装置が、前記機能を用いて、前記音声データ及び前記映像データを前記筆記者用端末装置に送信できない場合に、前記要約筆記支援サーバを経由して、前記音声データ及び前記映像データを前記筆記者用端末装置に送信する、
付記２に記載の要約筆記支援システム。
（付記４）
前記データ配信用端末装置、前記筆記者用端末装置、及び前記利用者用端末装置それぞれが、前記要約筆記支援サーバによって通知された番号を登録し、
番号を発行する場合は、自身が登録している最新の番号に１を加算した値を番号として発行し、
更に、その後、前記要約筆記支援サーバによって通知された番号が、自身が発行した番号と異なる場合は、他の端末装置にデータの再送信を要求する、
付記１〜３のいずれかに記載の要約筆記支援システム。
前記データ配信用端末装置、前記筆記者用端末装置、及び前記利用者用端末装置それぞれが、前記要約筆記支援サーバによって通知された番号を登録し、
番号を発行する場合は、自身が登録している最新の番号に１を加算した値を番号として発行し、
更に、その後、前記要約筆記支援サーバによって通知された番号が、自身が発行した番号と異なる場合は、他の端末装置にデータの再送信を要求する、
付記１〜３のいずれかに記載の要約筆記支援システム。
（付記５）
前記要約筆記支援サーバが、前記筆記者用端末装置、前記利用者用端末装置、及び前記データ配信用端末装置それぞれの接続先を取得し、それぞれに他の端末装置の接続先を通知する、
付記１〜４のいずれかに記載の要約筆記支援システム。
前記要約筆記支援サーバが、前記筆記者用端末装置、前記利用者用端末装置、及び前記データ配信用端末装置それぞれの接続先を取得し、それぞれに他の端末装置の接続先を通知する、
付記１〜４のいずれかに記載の要約筆記支援システム。
（付記６）
話者の発話の要約筆記を支援するためのサーバであって、データ順序管理部を備え、
前記データ順序管理部は、
データ配信用端末装置が、前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に送信してきた場合、及び、前記要約筆記を行なう筆記者が使用する筆記者用端末装置が、前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に送信してきた場合に、送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、前記データ配信用端末装置、前記筆記者用端末装置、及び前記要約筆記の利用者が使用する利用者用端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を、前記データ配信用端末装置、前記筆記者用端末装置、及び前記利用者用端末装置に通知する、
ことを特徴とする要約筆記支援サーバ。
話者の発話の要約筆記を支援するためのサーバであって、データ順序管理部を備え、
前記データ順序管理部は、
データ配信用端末装置が、前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に送信してきた場合、及び、前記要約筆記を行なう筆記者が使用する筆記者用端末装置が、前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に送信してきた場合に、送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、前記データ配信用端末装置、前記筆記者用端末装置、及び前記要約筆記の利用者が使用する利用者用端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を、前記データ配信用端末装置、前記筆記者用端末装置、及び前記利用者用端末装置に通知する、
ことを特徴とする要約筆記支援サーバ。
（付記７）
前記筆記者用端末装置、前記利用者用端末装置、及び前記データ配信用端末装置それぞれの接続先を取得し、それぞれに他の端末装置の接続先を通知する、接続先管理部を更に備えている、付記５に記載の要約筆記支援サーバ。
前記筆記者用端末装置、前記利用者用端末装置、及び前記データ配信用端末装置それぞれの接続先を取得し、それぞれに他の端末装置の接続先を通知する、接続先管理部を更に備えている、付記５に記載の要約筆記支援サーバ。
（付記８）
話者の発話の要約筆記を支援するための方法であって、
要約筆記支援サーバと、前記要約筆記を行なう筆記者が使用する筆記者用端末装置と、前記要約筆記の利用者が使用する利用者用端末装置と、データ配信用端末装置とを用いて、
（ａ）前記データ配信用端末装置によって、
前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記筆記者用端末装置、及び前記利用者用端末装置に同時に送信する、ステップと、
（ｂ）前記筆記者用端末装置によって、
前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記データ配信用端末装置、及び前記利用者用端末装置に同時に送信する、ステップと、
（ｃ）前記要約筆記支援サーバによって、
前記音声データ、前記映像データ、又は前記テキストデータを受信すると、共に送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、全ての端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を全ての端末装置に通知する、ステップと、
を有することを特徴とする要約筆記支援方法。
話者の発話の要約筆記を支援するための方法であって、
要約筆記支援サーバと、前記要約筆記を行なう筆記者が使用する筆記者用端末装置と、前記要約筆記の利用者が使用する利用者用端末装置と、データ配信用端末装置とを用いて、
（ａ）前記データ配信用端末装置によって、
前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記筆記者用端末装置、及び前記利用者用端末装置に同時に送信する、ステップと、
（ｂ）前記筆記者用端末装置によって、
前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記データ配信用端末装置、及び前記利用者用端末装置に同時に送信する、ステップと、
（ｃ）前記要約筆記支援サーバによって、
前記音声データ、前記映像データ、又は前記テキストデータを受信すると、共に送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、全ての端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を全ての端末装置に通知する、ステップと、
を有することを特徴とする要約筆記支援方法。
（付記９）
前記要約筆記支援サーバ、前記筆記者用端末装置、前記利用者用端末装置、及び前記データ配信用端末装置ぞれぞれは、ＵＤＰで規定されたデータ通信を実行できる機能を備え、
前記（ａ）のステップで、前記データ配信用端末装置は、前記機能を用いて、前記音声データ及び前記映像データを送信し、
前記（ｂ）のステップで、前記筆記者用端末装置は、前記機能を用いて、前記テキストデータを送信し、
前記（ｃ）のステップで、前記要約筆記支援サーバは、前記機能を用いて、全ての端末装置に通知を行なう、
付記８に記載の要約筆記支援方法。
前記要約筆記支援サーバ、前記筆記者用端末装置、前記利用者用端末装置、及び前記データ配信用端末装置ぞれぞれは、ＵＤＰで規定されたデータ通信を実行できる機能を備え、
前記（ａ）のステップで、前記データ配信用端末装置は、前記機能を用いて、前記音声データ及び前記映像データを送信し、
前記（ｂ）のステップで、前記筆記者用端末装置は、前記機能を用いて、前記テキストデータを送信し、
前記（ｃ）のステップで、前記要約筆記支援サーバは、前記機能を用いて、全ての端末装置に通知を行なう、
付記８に記載の要約筆記支援方法。
（付記１０）
（ｄ）前記データ配信用端末装置が、前記機能を用いて、前記音声データ及び前記映像データを前記筆記者用端末装置に送信できない場合に、前記要約筆記支援サーバを経由して、前記音声データ及び前記映像データを前記筆記者用端末装置に送信する、ステップを更に有する、付記９に記載の要約筆記支援方法。
（ｄ）前記データ配信用端末装置が、前記機能を用いて、前記音声データ及び前記映像データを前記筆記者用端末装置に送信できない場合に、前記要約筆記支援サーバを経由して、前記音声データ及び前記映像データを前記筆記者用端末装置に送信する、ステップを更に有する、付記９に記載の要約筆記支援方法。
（付記１１）
（ｅ）前記データ配信用端末装置、前記筆記者用端末装置、及び前記利用者用端末装置それぞれが、前記要約筆記支援サーバによって通知された番号を登録し、
番号を発行する場合は、自身が登録している最新の番号に１を加算した値を番号として発行し、
更に、その後、前記要約筆記支援サーバによって通知された番号が、自身が発行した番号と異なる場合は、他の端末装置にデータの再送信を要求する、ステップを更に有する、付記８〜１０のいずれかに記載の要約筆記支援方法。
（ｅ）前記データ配信用端末装置、前記筆記者用端末装置、及び前記利用者用端末装置それぞれが、前記要約筆記支援サーバによって通知された番号を登録し、
番号を発行する場合は、自身が登録している最新の番号に１を加算した値を番号として発行し、
更に、その後、前記要約筆記支援サーバによって通知された番号が、自身が発行した番号と異なる場合は、他の端末装置にデータの再送信を要求する、ステップを更に有する、付記８〜１０のいずれかに記載の要約筆記支援方法。
（付記１２）
（ｆ）前記要約筆記支援サーバが、前記筆記者用端末装置、前記利用者用端末装置、及び前記データ配信用端末装置それぞれの接続先を取得し、それぞれに他の端末装置の接続先を通知する、ステップを更に有する、
付記８〜１１のいずれかに記載の要約筆記支援方法。
（ｆ）前記要約筆記支援サーバが、前記筆記者用端末装置、前記利用者用端末装置、及び前記データ配信用端末装置それぞれの接続先を取得し、それぞれに他の端末装置の接続先を通知する、ステップを更に有する、
付記８〜１１のいずれかに記載の要約筆記支援方法。
（付記１３）
コンピュータによって、話者の発話の要約筆記を支援するためのプログラムであって、
前記コンピュータに、
（ａ）データ配信用端末装置が、前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に送信してきた場合、及び、前記要約筆記を行なう筆記者が使用する筆記者用端末装置が、前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に送信してきた場合に、送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、前記データ配信用端末装置、前記筆記者用端末装置、及び前記要約筆記の利用者が使用する利用者用端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を、前記データ配信用端末装置、前記筆記者用端末装置、及び前記利用者用端末装置に通知する、
ステップを実行させるプログラム。
コンピュータによって、話者の発話の要約筆記を支援するためのプログラムであって、
前記コンピュータに、
（ａ）データ配信用端末装置が、前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に送信してきた場合、及び、前記要約筆記を行なう筆記者が使用する筆記者用端末装置が、前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に送信してきた場合に、送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、前記データ配信用端末装置、前記筆記者用端末装置、及び前記要約筆記の利用者が使用する利用者用端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を、前記データ配信用端末装置、前記筆記者用端末装置、及び前記利用者用端末装置に通知する、
ステップを実行させるプログラム。
（付記１４）
（ｂ）前記筆記者用端末装置、前記利用者用端末装置、及び前記データ配信用端末装置それぞれの接続先を取得し、それぞれに他の端末装置の接続先を通知する、ステップを更に前記コンピュータに実行させる、付記１３に記載のプログラム。
（ｂ）前記筆記者用端末装置、前記利用者用端末装置、及び前記データ配信用端末装置それぞれの接続先を取得し、それぞれに他の端末装置の接続先を通知する、ステップを更に前記コンピュータに実行させる、付記１３に記載のプログラム。
以上のように、本発明によれば、リアルタイムでの要約筆記を実現するに際しての、導入障壁の緩和と、データ保証とを図ることができる。本発明は、要約筆記が必要な分野であれば、学校等における授業に限られず、種々の講演等にも有用である。
１０ 映像入力装置
２０ 音声入力装置
３０ 音声出力装置
４０ 表示装置
５０ 入力装置
１００ 要約筆記支援サーバ
１０１ 受信部
１０２ 接続先管理部
１０３ データ順序管理部
１０４ 送信部
１０５ 接続情報格納部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
２００ データ配信用端末装置
２０１ 映像入力部
２０２ 音声入力部
２０３ 送信部
２０４ 受信部
２０５ 表示部
３００ 利用者用端末装置
３０１ 受信部
３０３ 表示部
４００ 筆記者用端末装置
４０１ 受信部
４０２ 音声再生部
４０３ 表示部
４０４ 画像加工部
４０５ 文字入力受付部
４０６ 送信部
２０ 音声入力装置
３０ 音声出力装置
４０ 表示装置
５０ 入力装置
１００ 要約筆記支援サーバ
１０１ 受信部
１０２ 接続先管理部
１０３ データ順序管理部
１０４ 送信部
１０５ 接続情報格納部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
２００ データ配信用端末装置
２０１ 映像入力部
２０２ 音声入力部
２０３ 送信部
２０４ 受信部
２０５ 表示部
３００ 利用者用端末装置
３０１ 受信部
３０３ 表示部
４００ 筆記者用端末装置
４０１ 受信部
４０２ 音声再生部
４０３ 表示部
４０４ 画像加工部
４０５ 文字入力受付部
４０６ 送信部
Claims (8)
- 話者の発話の要約筆記を支援するためのシステムであって、
要約筆記支援サーバと、前記要約筆記を行なう筆記者が使用する筆記者用端末装置と、前記要約筆記の利用者が使用する利用者用端末装置と、データ配信用端末装置と、を備え、
前記データ配信用端末装置は、
前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記筆記者用端末装置、及び前記利用者用端末装置に同時に送信し、
前記筆記者用端末装置は、
前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記データ配信用端末装置、及び前記利用者用端末装置に同時に送信し、
前記要約筆記支援サーバは、
前記音声データ、前記映像データ、又は前記テキストデータを受信すると、共に送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、全ての端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を全ての端末装置に通知する、
ことを特徴とする要約筆記支援システム。 - 前記要約筆記支援サーバ、前記筆記者用端末装置、前記利用者用端末装置、及び前記データ配信用端末装置ぞれぞれは、ＵＤＰで規定されたデータ通信を実行できる機能を備え、
前記データ配信用端末装置は、前記機能を用いて、前記音声データ及び前記映像データを送信し、
前記筆記者用端末装置は、前記機能を用いて、前記テキストデータを送信し、
前記要約筆記支援サーバは、前記機能を用いて、全ての端末装置に通知を行なう、
請求項１に記載の要約筆記支援システム。 - 前記データ配信用端末装置が、前記機能を用いて、前記音声データ及び前記映像データを前記筆記者用端末装置に送信できない場合に、前記要約筆記支援サーバを経由して、前記音声データ及び前記映像データを前記筆記者用端末装置に送信する、
請求項２に記載の要約筆記支援システム。 - 前記データ配信用端末装置、前記筆記者用端末装置、及び前記利用者用端末装置それぞれが、前記要約筆記支援サーバによって通知された番号を登録し、
番号を発行する場合は、自身が登録している最新の番号に１を加算した値を番号として発行し、
更に、その後、前記要約筆記支援サーバによって通知された番号が、自身が発行した番号と異なる場合は、他の端末装置にデータの再送信を要求する、
請求項１〜３のいずれかに記載の要約筆記支援システム。 - 前記要約筆記支援サーバが、前記筆記者用端末装置、前記利用者用端末装置、及び前記データ配信用端末装置それぞれの接続先を取得し、それぞれに他の端末装置の接続先を通知する、
請求項１〜４のいずれかに記載の要約筆記支援システム。 - 話者の発話の要約筆記を支援するためのサーバであって、データ順序管理部を備え、
前記データ順序管理部は、
データ配信用端末装置が、前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に送信してきた場合、及び、前記要約筆記を行なう筆記者が使用する筆記者用端末装置が、前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に送信してきた場合に、送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、前記データ配信用端末装置、前記筆記者用端末装置、及び前記要約筆記の利用者が使用する利用者用端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を、前記データ配信用端末装置、前記筆記者用端末装置、及び前記利用者用端末装置に通知する、
ことを特徴とする要約筆記支援サーバ。 - 話者の発話の要約筆記を支援するための方法であって、
要約筆記支援サーバと、前記要約筆記を行なう筆記者が使用する筆記者用端末装置と、前記要約筆記の利用者が使用する利用者用端末装置と、データ配信用端末装置とを用いて、
（ａ）前記データ配信用端末装置によって、
前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記筆記者用端末装置、及び前記利用者用端末装置に同時に送信する、ステップと、
（ｂ）前記筆記者用端末装置によって、
前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に、前記要約筆記支援サーバ、前記データ配信用端末装置、及び前記利用者用端末装置に同時に送信する、ステップと、
（ｃ）前記要約筆記支援サーバによって、
前記音声データ、前記映像データ、又は前記テキストデータを受信すると、共に送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、全ての端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を全ての端末装置に通知する、ステップと、
を有することを特徴とする要約筆記支援方法。 - コンピュータによって、話者の発話の要約筆記を支援するためのプログラムであって、
前記コンピュータに、
（ａ）データ配信用端末装置が、前記発話の音声データ及び前記話者に関連する映像データを、自身が発行した番号と共に送信してきた場合、及び、前記要約筆記を行なう筆記者が使用する筆記者用端末装置が、前記筆記者によって入力されたテキストデータを、自身が発行した番号と共に送信してきた場合に、送信されてきた番号を登録し、
その際、送信されてきた番号が登録済の最新の番号よりも大きい場合は、送信されてきた前記番号を登録された番号として、前記データ配信用端末装置、前記筆記者用端末装置、及び前記要約筆記の利用者が使用する利用者用端末装置に通知し、
一方、送信されてきた番号が登録済みの最新の番号以下である場合は、送信されてきた番号の登録を行なわずに、代わりに、送信されてきた番号に１を加算して得られた加算値を登録し、登録した加算値を、前記データ配信用端末装置、前記筆記者用端末装置、及び前記利用者用端末装置に通知する、
ステップを実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013068223A JP5825689B2 (ja) | 2013-03-28 | 2013-03-28 | 要約筆記支援システム、要約筆記支援サーバ、要約筆記支援方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013068223A JP5825689B2 (ja) | 2013-03-28 | 2013-03-28 | 要約筆記支援システム、要約筆記支援サーバ、要約筆記支援方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014191703A true JP2014191703A (ja) | 2014-10-06 |
| JP5825689B2 JP5825689B2 (ja) | 2015-12-02 |
Family
ID=51837858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013068223A Active JP5825689B2 (ja) | 2013-03-28 | 2013-03-28 | 要約筆記支援システム、要約筆記支援サーバ、要約筆記支援方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5825689B2 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09261255A (ja) * | 1996-03-26 | 1997-10-03 | Toshiba Corp | 同報通信制御装置 |
| JP2000049778A (ja) * | 1998-07-31 | 2000-02-18 | Toshiba Corp | 同報通信方法および通信装置 |
| JP2000207342A (ja) * | 1999-01-19 | 2000-07-28 | Nec Corp | サ―バコンピュ―タ、クライアントコンピュ―タ及び記録媒体 |
| JP2004274258A (ja) * | 2003-03-06 | 2004-09-30 | Takada Informex Co Ltd | 多地点同時コミュニケーションシステム |
| WO2008105032A1 (ja) * | 2007-02-28 | 2008-09-04 | Fujitsu Limited | クライアント装置と複数のサーバ装置からなるシステムの通信方法、その通信プログラム、クライアント装置及びサーバ装置 |
-
2013
- 2013-03-28 JP JP2013068223A patent/JP5825689B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09261255A (ja) * | 1996-03-26 | 1997-10-03 | Toshiba Corp | 同報通信制御装置 |
| JP2000049778A (ja) * | 1998-07-31 | 2000-02-18 | Toshiba Corp | 同報通信方法および通信装置 |
| JP2000207342A (ja) * | 1999-01-19 | 2000-07-28 | Nec Corp | サ―バコンピュ―タ、クライアントコンピュ―タ及び記録媒体 |
| JP2004274258A (ja) * | 2003-03-06 | 2004-09-30 | Takada Informex Co Ltd | 多地点同時コミュニケーションシステム |
| WO2008105032A1 (ja) * | 2007-02-28 | 2008-09-04 | Fujitsu Limited | クライアント装置と複数のサーバ装置からなるシステムの通信方法、その通信プログラム、クライアント装置及びサーバ装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5825689B2 (ja) | 2015-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101716263B1 (ko) | 멀티스트림 회의를 위한 미디어 협상 방법, 장치 및 시스템 | |
| US10277546B2 (en) | Information processing system, information processing apparatus, and storage medium | |
| JP6451227B2 (ja) | 情報処理装置、情報処理システム、プログラム、及び記録媒体 | |
| MX2011010522A (es) | Sistema y metodo para enseñanza de curso hibrido. | |
| JP2020521155A (ja) | 無線画面投影のためのシステム及び方法 | |
| CN103118074A (zh) | 基于xmpp的网络模块化远程教育培训系统 | |
| US9921798B2 (en) | Universal Serial Bus-to-Bluetooth audio bridging devices | |
| JP2012215962A (ja) | 筆記支援装置、筆記支援方法、およびプログラム | |
| KR101971621B1 (ko) | 서버와 디바이스를 중개하는 방법 및 장치, 컴퓨터로 읽을 수 있는 기록 매체 | |
| JP2013201623A (ja) | 通信制御装置、通信システム、通信制御装置を制御するための方法、通信制御装置を制御するための方法をコンピュータに実行させるプログラム、および、通信装置 | |
| JP5825689B2 (ja) | 要約筆記支援システム、要約筆記支援サーバ、要約筆記支援方法、及びプログラム | |
| JP4957830B2 (ja) | 通信方法、表示装置、司会者端末装置、ユーザ端末装置、及びそれらを備えたマルチユーザ通信システム | |
| US9697851B2 (en) | Note-taking assistance system, information delivery device, terminal, note-taking assistance method, and computer-readable recording medium | |
| WO2018233701A1 (zh) | 基于融合通信的信息处理方法、服务器及终端 | |
| JP2006238251A (ja) | 会議システム | |
| KR20220067402A (ko) | 쌍방향 인터넷 실시간 강의 시스템 및 강의 방법 | |
| JP5424359B2 (ja) | 理解支援システム、支援端末、理解支援方法およびプログラム | |
| JP2015079480A (ja) | 配信システム、及び端末管理システム | |
| JP5866622B2 (ja) | 双方向語学学習装置、方法、及びコンピュータプログラム | |
| JP2019125972A (ja) | 端末装置、情報処理方法、プログラム、通信システム | |
| Hwang et al. | Implementation of smart-learning content authoring tool system utilizing HTML5 | |
| US10580431B2 (en) | Auditory interpretation device with display | |
| CN117596351B (zh) | 一种红外书写作为录播画面的交互系统、方法及终端 | |
| JP2002244542A (ja) | 教育システム、受講者用端末装置、教師用端末装置、データ通信による遠隔教育方法、及び教育システムプログラムが格納された記憶媒体 | |
| WO2008059897A1 (fr) | Dispositif de traitement d'informations, procédé de traitement d'informations, programme de traitement d'informations et support d'enregistrement lisible par ordinateur |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140707 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20150123 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150526 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150724 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150915 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151008 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5825689 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |