JPH0927871A

JPH0927871A - 端末装置

Info

Publication number: JPH0927871A
Application number: JP7177207A
Authority: JP
Inventors: Yasuko Matsuoka; 靖子松岡; Natsuki Yuasa; 夏樹湯浅; Kenji Sakamoto; 憲治坂本
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1995-07-13
Filing date: 1995-07-13
Publication date: 1997-01-28

Abstract

(57)【要約】【課題】音声、画像両データに時間制御による同期情
報をもたせ、送信側ユーザの意図通り同期のとれたデー
タを作成し、受信側で同期情報を持ったデータを再生
し、音声、画像両データを同期出力する。【解決手段】受信側は、通信部１０１と音声か画像か
を判定するデータ分離部１０２と音声処理部１０３と音
声格納部１０４と画像処理部１０５と画像格納部１０６
と音声、画像データに付加された同期情報の抽出に基づ
き出力を制御する統合処理部１０７と同期情報記憶部１
０８と時間情報の取得とデータの出力時間を管理する時
間制御部１０９と音声出力部１１０と画像出力部１１１
とを備え、送信側は、音声入力部１１２と画像入力部１
１３と入力データの合成部１１４と同期情報付加部１１
５と同期情報入力部１１６と時間情報の制御部１１７と
データ送信部１１８と通信部１１９とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声データと画像
データを回線を介して同時に通信するシステムの端末装
置に関し、より詳細には、両データの同期処理を送受信
端末で行うようにした装置に関する。

【０００２】

【従来の技術】従来、音声データと画像データを同時に
通信するシステムにおいて、音声データと動画データに
ついては、テレビ会議システムにおけるように同期させ
る手段が提供されている。動画データを圧縮して通信し
復元して表示するまでの遅延時間を考慮して、音声デー
タの伝送を行うものがその１例である。また、特開平６
−１６５１７０号公報には、テレビ会議システムやテレ
ビ電話において、資料画像への書き込み情報と補足説明
の音声情報に同期制御情報を付加して送信することによ
って、同期がとれるようにした装置が開示されている。
これは、書き込み情報のフレーム番号をそれに関する補
足説明の音声情報に付加して送信することで行うもので
ある。さらに、特開平６−７７９９２号公報には、電子
メールシステムにおいて、電子メールセンタを介してテ
キスト、音声、画像等を同期させて提示する手段が提示
されている。これは、電子メールに含まれる各メディア
についてイベントリストによって提示単位ごとに制御情
報を付与して送信するものである。

【０００３】

【発明が解決しようとする課題】上記した従来のテレビ
会議システムでは、同期させることのできるデータが音
声データと動画データだけであり、文字データや静止画
データのような時間情報を持たないデータについては、
同期させる手段が考慮されていない。そのため、送信者
がある静止画データに合わせて音声による説明をしよう
とした場合、受信側では同じ時間に出力されるとは限ら
ないため、送信者の意図が伝わらないという不具合があ
った。また、書き込み情報と補足音声に同期制御情報を
付加できる端末装置では、フレーム番号のみで同期をと
っていて、時間による同期は、考慮されていない。ま
た、同期情報を付加する対象をタッチペンなどの入力に
よる座標フレーム情報と、音声フレームに特定するもの
があるが、その他の場合を考慮するものではない。特開
平６−７７９９２号公報では、電子メールセンタを介す
る場合の手段、或いは、イベントリストによって出力を
制御していることなど、実現の方法や構造に制約があ
る。本発明は、上述の課題を解決するためになされたも
ので、音声データと画像データに時間制御による同期情
報を付加させることで、送信側ではユーザの意図通りに
同期のとれたデータを作成でき、また、受信側では受信
したデータを同期情報を持ったまま保存でき、そのデー
タを再生すれば、音声データと画像データが同期した出
力を行うことができるような装置を提供することを目的
とする。

【０００４】

【課題を解決するための手段】上記課題を解決するため
に、請求項１記載の発明は、音声データと、静止画、文
字、図形、ストロークデータなどデジタルで通信するこ
とのできる画像データを回線を介して同時に通信するシ
ステムの端末装置において、受信側は、該音声データと
該画像データの通信を行う通信手段と、該通信手段によ
り受信されたデータが音声データであるか画像データで
あるか判定するデータ分離手段と、該データ分離手段で
判定された該音声データについて処理を行う音声処理手
段と、該音声処理手段の処理によって該音声データを格
納する音声格納手段と、データ分離手段で判定された該
画像データについて処理を行う画像処理手段と、該画像
処理手段の処理によって該画像データを格納する画像格
納手段と、該画像格納手段に格納されている該音声デー
タまたは該画像データにつけられている同期情報を抽出
し、その情報をもとに該音声データと該画像データの出
力を制御する統合処理手段と、該統合処理手段の制御に
より該データを同期出力させるための同期情報を記憶す
る同期情報記憶手段と、時間情報を取得し、該データの
出力時間を管理する時間制御手段と、該音声データを出
力する音声出力手段と、該画像データを出力する画像出
力手段とを備え、送信側は、ユーザが該音声データを入
力する音声入力手段と、該画像データを入力する画像入
力手段と、該入力手段により入力されたデータを合成す
る合成手段と、ユーザが該データを出力する際に同期出
力させるための同期情報を入力する同期情報入力手段
と、該音声データと該画像データに該同期情報を付加す
る同期情報付加手段と、該データの出力時間など時間情
報を制御する時間制御手段と、これらの手段を用いて作
成された該データを送信のために変換する送信手段と、
該送信手段からのデータの通信を行う通信手段とを備え
ることを特徴とする端末装置をなす。そして、この端末
装置においては、受信側は、通信手段より音声データと
画像データを受信し、それぞれ格納手段に保存する。統
合処理手段において、これらのデータに付加された同期
情報と、時間制御手段の時間情報をもとに受信した該音
声データと画像データを同期させ、出力手段により出力
する。前記同期情報とは、音声データのある特定の箇所
では、この画像データを出力するというように、音声デ
ータや画像データの出力の際にデータ間で同期をとるた
めの情報のことを指している。音声データや画像データ
を関連付けて同期して出力を行うために、それぞれのヘ
ッダ部分に出力を開始する時間などの情報を付加してお
く。これにより、受信者は、同期したデータを保存する
ことができ、また、同期したデータを出力することがで
きる。さらに、送信側は、それぞれの入力手段により音
声データに同期情報を付加する。このようにして得られ
たデータを送信手段を通じて通信する。これにより、送
信者が意図した通り、受信者にデータを送信することが
できる。

【０００５】また、請求項２記載の発明は、請求項１に
おいて、前記受信側において、ユーザが検索すべき音声
データを指定する音声入力手段と、検索すべき画像デー
タを指定する画像入力手段と、前記音声格納部および前
記画像格納部からデータを検索する検索手段とをさらに
備えることを特徴とする端末装置をなす。そして、この
端末装置においては、上記した請求項１の動作に加え
て、受信側では、ユーザが出力された音声データまたは
画像データの中からデータを指定し、検索手段におい
て、これまで出力された音声データと画像データの中か
らこのユーザが指定したデータを検索し、ユーザが指定
した時点よりあとのデータを同期情報を保持したまま出
力する。これによりユーザは、好きな所から繰り返して
データの再生を行うことができる。また、音声データま
たは画像データのうち１つのデータを指定することで、
他のデータを呼び出すことができる。音声データと画像
データを両方とも指定する必要がない。

【０００６】また、請求項３記載の発明は、請求項１又
は２において、現在時刻および前記時間制御手段によっ
て制御される時間情報を回線を介して複数の端末装置間
で同時刻に設定する時刻設定手段とをさらに備えること
を特徴とした端末装置をなす。そして、この端末装置に
おいては、受信側と送信側の時間制御手段で制御される
時間情報を通信手段を通じて時刻設定部により設定する
ことで、時間合わせを行う。これにより、送信側と受信
側で時間情報のずれをなくすことができ、通信端末で同
じ時刻に出力させたいようなデータの場合に、同時に出
力させることができる。たとえば、ゲームのように同じ
時刻にメッセージを出力させたい場合などに利用でき
る。また、端末間で時間のずれによる音声データや画像
データのデータ転送ミスなどの通信エラーを少なくする
ことができる。

【０００７】

【発明の実施の形態】以下、本発明の端末装置の実施の
形態について図を参照しながら説明する。図１は、本願
の請求項１記載の発明の実施の形態における構成のブロ
ック図を示す。まず、受信側について説明すると、通信
部１０１は、ネットワークで接続された他の端末と音声
データおよび画像データの送受信を行う。データ分離部
１０２は、通信部１０１で受信されたデータについて、
音声データであるか画像データであるか判定する。音声
処理部１０３は、データ分離部１０２で音声データであ
ると判定されたデータについて音声格納部１０４に格納
するなどの処理を行う。画像処理部１０５は、データ分
離部１０２で画像データであると判定されたデータにつ
いて、画像格納部１０６に格納するなどの処理を行う。
統合処理部１０７は、受信された音声データと画像デー
タについて同期情報を抽出し、時間制御部１０９の時間
情報をもとに音声データと画像データについて同期をと
り、出力の制御を行う。同期情報記憶部１０８は、統合
処理部１０７で抽出された同期情報を記憶する。時間制
御部１０９は、データの出力時間を管理し、時間情報を
取得する。音声出力部１１０は、音声データを出力す
る。画像出力部１１１は、画像データを出力する。次に
送信側について説明する。音声入力部１１２は、ユーザ
が音声データを入力する。画像入力部１１３は、ユーザ
が画像データを入力する。合成部１１４は音声入力部１
１２、画像入力部１１３により入力されたデータを合成
し、一時保存する。同期情報付加部１１５は、同期情報
入力部１１６などから得られた同期情報をデータに付加
する。同期情報入力部１１６は、ユーザが音声データと
画像データの同期に関する情報を入力する。時間制御部
１１７は、音声データや画像データの出力時間と時間情
報を管理する。送信部１１８は、ユーザによって用意さ
れたデータをネットワークを通じて送れるようなフォー
マットに変換する。通信部１１９は、送信部１１８で作
成されたデータを他の端末に送信する。

【０００８】図４は、図１の装置における通信時の動作
を示すフローチャート図である。このフローチャートに
沿って、まず、受信側の端末の動作について説明する。
通信部１０１において、ネットワークを通じて送信側の
端末から送られてくる回線接続要求を受信する（Ｓ
１）。ここで、ネットワークとは、ＬＡＮによって接続
されているもの、ＩＳＤＮを利用したもの、電話回線を
用いたものなどが考えられる。要求に従い回線接続を行
う（Ｓ２）。回線接続が正常に行われると、送信側の端
末よりデータが送信されるので、それを受信する（Ｓ
３）。受信したデータは、データ分離部１０２におい
て、音声データと画像データのどちらであるか判定する
（Ｓ４、動作の詳細は後述）。データに含まれるヘッダ
情報や同期情報に従って同期出力処理を行う（Ｓ５、動
作の詳細は後述）。通信部１０１では、すべてのデータ
の受信が終了したか確認する（Ｓ６）。終了していなけ
れば、データ受信を繰り返す（Ｓ３〜Ｓ６）。終了して
いる場合、データ受信終了を送信側の端末に通知する
（Ｓ７）。回線接続を終了し（Ｓ８）、処理を終わる。

【０００９】同様に、送信側の端末の動作について説明
する。まず、ユーザが音声入力部１１２などを用いて送
信データを作成する（Ｓ９、動作の詳細は後述）。デー
タを作成し送信部１１８で通信できるフォーマットに変
換した後、通信部１１９では、回線接続要求を受信側の
端末に発信する（Ｓ１０）。受信側の端末の指定は、ユ
ーザが送信相手の番号（またはアドレス）を選択するよ
うにしてもいいし、名前と番号の対応表を端末にあらか
じめ持たせておき、ユーザは名前だけ指定できるように
してもよい。受信側の端末から回線の接続ができるとい
う返事が来たら、回線の接続を行う（Ｓ１１）。回線接
続が正常に行われたら、送信データを発信する（Ｓ１
２）。すべてのデータを発信した後、受信側の端末から
データ受信終了の通知が届いたら（Ｓ１３）、回線接続
を終了する（Ｓ１４）。回線を接続した後や、データ発
信をしながら送信データを作成するようにしても構わな
い。音声データでは、電話のように話した言葉がそのま
ま送られるということも考えられ、その場合は、回線接
続した後、音声データが作成され、通信部１１９よりデ
ータが送信されるということになる。また、音声データ
と画像データは、同時に送信できるので、話しながら画
像データを送信し、受信側の端末では同時に受信し、出
力するということも可能である。図４では、送信側の端
末と受信側の端末は、固定されているが、送信側と受信
側が交互に入れ替わりながら通信を行うことも考えられ
る。たとえば、音声を発する側と聞く側が交互に入れ替
わりながら会話をする電話の例が挙げられる。このよう
な場合、回線を接続したままで、送信側の端末の動作と
受信側の端末の動作を入れ替え、データ発信とデータ受
信を交互に行うようにすればよい。

【００１０】図５は、先の図４におけるデータを判定す
る処理（Ｓ４）の詳細を示すフローチャート図で、この
図に沿って説明する。まず、受信したデータについて、
データ分離部１０２で音声データであるか判定を行う
（Ｓ１５）。データには、あらかじめデータの種類や大
きさなどを示すヘッダ情報がつけられている。この情報
をもとに、データの判定を行う。音声データであると判
定されたデータについて、音声処理部１０３において、
ヘッダ情報なども含めて音声格納部１０４に保存する
（Ｓ１６）。データ分離部１０２で音声データでないと
判定されたデータは、次に画像データであるか判定を行
う（Ｓ１７）。画像データと判定されたデータについ
て、画像処理部１０５において画像格納部１０６に保存
する（Ｓ１８）。画像データでないと判定されたデータ
については、通信部１０１にエラー通知をする（Ｓ１
９）。データが途中で切れてしまった場合や通信中のご
みなどが考えられ、もう一度データを送信するような依
頼をしたり、データを無視するなどの動作を行う。以上
のようにして、データの判定を行う。このように同期情
報の付加されたデータを格納部に保存することで、同期
のとれたデータを簡単に再現することができる。そのた
め、データ受信をしてすぐに同期出力処理をする方法の
ほかに、すべてのデータを受信して保存した後、同期出
力処理をするようにしても構わない。また、データの受
信が終わったところで回線接続は終了し、同期出力処理
は、そのまま出力が終わるまで続けるという方法を用い
てもよい。

【００１１】図６は、先の図４における同期出力処理
（Ｓ５）の詳細を示すフローチャート図で、この図に沿
って説明する。統合処理部１０７において、時間情報を
得る（Ｓ２０）。時間制御部１０９で時間情報は管理さ
れている。これは、現在時刻でもいいし、出力を始めて
からの相対時刻でもいい。音声格納部１０４に保存され
た音声データの同期情報と、得られた時間情報を比較す
る（Ｓ２１）。該当する音声データがある場合（Ｓ２
２）、その音声データを音声出力部１１０より出力する
（Ｓ２３）。次に、画像格納部１０６に保存された画像
データの同期情報と、得られた時間情報を比較する（Ｓ
２４）。該当する画像データがある場合（Ｓ２５）、そ
の画像データを画像出力部１１１より出力する（Ｓ２
６）。この処理がすべてのデータを出力するまで行われ
る（Ｓ２７）。また、同期情報は同期情報記憶部１０８
に記憶させておいて、ここから該当する音声データまた
は画像データを検索するようにしても構わない。

【００１２】図７は、音声データの構成の実施の形態を
示す。図７（Ａ）は全体の構成を示している。ヘッダ情
報、音声の本体を表わすデータ、データの終わりを示す
コードから成る。ヘッダ情報の具体的な内容の例として
は、図７（Ｂ）に示すようにデータの種類、データの大
きさ、同期情報を持つ。データの種類は、音声データを
０、文字データを１、静止画データを２などのように、
データの種類に応じてコードを与えておく。データ分離
部１０２では、デ一タの種類の情報を見て、０なら音声
データ、１以上は画像データ、これらに該当しない値
は、エラーというように判定する。同期情報は、出力を
始めてからの相対時刻など時間情報で表わされている。
図７（Ｃ）に音声データの例を示す。ここに、ヘッダ情
報のうち、データの種類は「音声」、データの大きさは
「１２キロバイト」、同期情報は「ｔ１」と判定されて
いる。「ｔ１」は時間を表している。音声の本体を表わ
すデータは、波形データで保存されている。データの終
わりに終わりのコードがつけられて、一つの音声データ
を構成する。画像データの場合も同様にして構成されて
いる。

【００１３】図８は、上記動作の実行例における各デー
タのタイムチャートを示すもので、時間制御部１０９で
制御している時間ｔが横軸に示されている。時間ｔ１の
とき、統合処理部１０７では、音声データ１が出力され
る。音声データ１の下にデータの例を示す。ヘッダに同
期情報を持ち、音声なので、波形データを持っている。
分かりやすさのため、ヘッダは、同期情報だけを表示
し、終わりのコードは省略している。音声データ１は、
同期情報がｔ１なので、時間ｔ１のときに出力される。
音声データ１の出力を始め、しばらくは、該当するデー
タがないので、新たな出力はされない。時間ｔ２のと
き、ｔ２の同期情報を持つ画像データ２と画像データ３
が出力される。画像データ２は、静止画データ、画像デ
ータ３は、ストロークデータである。ストロークデータ
は、ユーザがマウスのボタンを押している間に、マウス
のカーソルが移動した軌跡を示している。具体的には、
移動方向や速度が変化したら、時間情報と座標の対が記
録される。ボタンが離されるまでに記録された対の列が
ストロークデータとなる。または、一定時間ごとに記録
されるようにしてもよい。１点をクリックした場合は、
一対のデータだけが記録されることになる。図８ではユ
ーザがマウスをドラッグした場合の例を示している。時
間ｔ２のとき、ユーザは座標（ｘ，ｙ）をクリックし、
時間ｔ３のとき、クリックしたまま座標（ｘ′，ｙ′）
までカーソルを移動したというデータの例である。画像
データ３の同期情報のうち、１つ目の時間情報は、出力
を開始する時間を表わし、２つ目の時間情報は、
（ｘ′，ｙ′）に移動するまでの出力時間を表わしてい
る。このように、時間情報は、複数持っていることも考
えられる。表示では、時間ｔ２のときに静止画データの
上の座標（ｘ，ｙ）のところにマウスカーソルが表示さ
れ、時間（ｔ３−ｔ２）の間、マウスカーソルを座標
（ｘ′，ｙ′）まで移動する様子が表示される。時間ｔ
３のときには座標（ｘ′，ｙ′）にマウスカーソルが表
示される。

【００１４】送信者が静止画の上をマウスでクリックし
ながら説明したデータが送信されれば、音声データと静
止画データやストロークデータといった画像データを時
間によって同期させることができるので、受信者は、説
明している様子を同じように見ることができる。図８の
ように、複数のデータ（例えば、音声データと画像デー
タや、静止画データとストロークデータといった画像デ
ータ同士などが考えられる）が、同じ同期情報を持って
いても構わない。同期情報の時間になれば、複数のデー
タが検索され同時に出力される。このように、音声デー
タと画像データの同期だけでなく、画像データ同士でも
同期のとれた出力を行うことができる。同期情報は、デ
ータ間で同期をとるための情報のことであり、音声デー
タや画像データを関連付けて同期した出力を行うため
に、それぞれのヘッダ部分に出力を開始する時間などの
情報を付加しておく。出力からの相対時間や、現在の時
刻を用いたり、端末が立ち上がってからの時間を使うな
どいろいろな方法が考えられる。また、音声はデータの
長さで出力の時間が決まっているが、静止画や文字の場
合は出力時間が決まっていないため、出力している時間
をユーザが指定することなども考えられる。例えば、音
声データを再生している間、文字を出力し続けるといっ
たことである。１つの静止画データを次の静止画データ
が出力されるまで出力したり、すぐに消してしまうよう
にするなど、指定することができる。このための方法と
して、同期情報としては、時間のみの一次元情報だけで
なく、出力のさせ方（例えば、次のデータが出力される
まで出力する）や、対応するデータの情報や、出力する
時間など多次元の情報を持たせる方法が考えられる。図
８のストロークデータが例としてあげられる。

【００１５】図９は、先の図４における送信側の処理の
うち、送信データ作成（Ｓ９）の詳細を示すフローチャ
ート図で、この図に沿って説明する。まず、ユーザが送
信したいデータを入力する（Ｓ２８）。音声データは、
音声入力部１１２を使い、画像データは、画像入力部１
１３より入力する。マイクに向かって話した声をそのま
まファイルとして保存したり、キーボードやマウスを用
いて文字や画像を入力するなど入力の方法は問わない。
また、これらのデータは、あらかじめファイルとして保
存されているものを利用しても構わない。合成部１１４
において、それぞれ入力されたデータを送信データとし
て合成し、記憶する（Ｓ２９）。ユーザが同期情報入力
部１１６より同期情報を入力する（Ｓ３０）。画像デー
タと音声データを出力時に同期出力させるための情報
を、マウスでデータを指定するなどの方法で入力する。
ユーザが入力した同期情報にしたがって、時間制御部１
１７より時間情報を取得する（Ｓ３１）。同期情報付加
部１１５において、音声データに関する同期情報を作成
し（Ｓ３２）、該当する音声データのヘッダ情報に同期
情報を付加する（Ｓ３３）。ユーザが音声データについ
て出力の指定を行った場合は、出力時間の情報を用いて
同期情報が作成され、付加される。音声データについて
指定がなかった場合、この処理は、行わない。同期情報
付加部１１５において、音声データと同様に、画像デー
タに関する同期情報を作成し（Ｓ３４）、該当する画像
データのヘッダ情報に同期情報を付加する（Ｓ３５）。
この処理もユーザが画像データについて指定しなかった
場合には行わない。音声データに同期情報を付加する処
理と、画像データに付加する処理は逆であっても構わな
い。ユーザからの同期情報の入力が終了するまで、この
処理を行う（Ｓ３６）。ユーザからデータの入力が続け
てあれば（Ｓ３７）、送信データに付け加えて、Ｓ２８
からの処理を行う。ユーザの入力がなければ、送信デー
タを保存して処理を終わる。

【００１６】図１０は、送信データ作成の過程の例を示
すものである。図１０（Ａ）は、画面の例で、静止画デ
ータ１が表示されている。静止画データ１を見ながらユ
ーザが「これは〇〇のグラフです。この値は〜」という
ように言葉で説明した場合、図１０（Ｂ）のように音声
データ１が波形データとして保存される。静止画データ
１を見ながら音声で説明を加え、「この値は〜」のとき
に静止画の上にユーザがマウスでクリックした場合を考
える。マウスのクリックは同期情報入力部１１６から入
力され、ストロークデータとして保存される。ストロー
クデータの例を図１０（Ｃ）に示す。ユーザがクリック
した座標をデータとして持つから、（５０，４０）とい
うデータを保存する。同期情報は、データの始めからユ
ーザがクリックするまでの時間情報であり、時間制御部
１１７で管理されている。この場合は、ユーザが「この
値は〜」と言うまでの時間であり、時間制御部１１７か
らｔ４という情報が抽出される。このため、ストローク
データ１にｔ４という同期情報が付加される。このよう
にして作られた静止画データ１とストロークデータ１の
２つの画像データと音声データ１を送信データとして送
信すると、受信側では、まず音声データ１と静止画デー
タ１の出力が始まり、時間ｔ４になる、すなわち、ユー
ザが「この値は〜」と説明を始めるときになると、スト
ロークデータ１が表示される。つまり、画面上にマウス
カーソルの出力がなされる。

【００１７】出力の開始時間だけでなく、速度の制御を
行うことも考えられる。例えば、１５秒で再生されるよ
うに作成されたデータを１０秒で再生したいような場合
などである。出力時間の指定は、同期情報に付加するこ
とで可能になる。時間制御部１０９において、データ本
来の出力時間とユーザから指定された出力時間を比較
し、データ本来の出力時間を指定時間に合わせるよう
に、間引く処理や引き延ばす処理を行う。音声データに
ついて速度の制御を行うとき、短くする場合は、一定時
間ごとにデータを間引き、長くする場合は一定時間ごと
にデータの一部分を繰り返したり無音のデータを挿入す
るなどの処理を行う。これらの処理も時間制御部１０９
で行うようにする。画像データの場合、データを表示す
る間隔を指定時間に合わせて間引いたり引き伸ばしたり
する処理を行う。同期情報がある場合は、図６などで説
明したようにして処理することができる。データのうち
一部分を削除するのではなく、平均的に間引いたり延ば
したりすることで、同期も変わらずに行えるようにす
る。このような処理を行うことで、出力時間の違う音声
データと画像データを同時に出力したいときや、終わり
を合わせたいときなどユーザの要望通り出力をすること
が可能になる。同期情報が付加されていないデータを受
信した場合、統合処理部１０７で同期情報がないとわか
れば、同期出力処理を行うようなことをせず、すぐにデ
ータを出力するようにする。データを受信したらすぐに
再生したいデータの場合は、同期情報などを付加せずに
送れば、すぐに再生することが可能になる。

【００１８】図２は、本願請求項２の発明の実施の形態
における端末装置の構成のブロック図を示す。請求項１
の発明の実施の形態における同一の構成部分について
は、説明を省略する。従って、送信側は、図２には示し
ていない。受信側について、音声入力部１２０は、ユー
ザが音声データの指定を行う。画像入力部１２１は、ユ
ーザが画像データの指定を行う。検索部１２２は、音声
格納部１０４または画像格納部１０６から指定されたデ
ータの検索を行う。図１１は、ユーザがデータを入力し
て検索をするときの動作についてのフローチャート図
で、この図に沿って説明する。請求項１の実施の形態と
同様に、送信側より同期情報の付加された音声データと
画像データが送られ、受信側では、同期したデータが出
力される。これらのデータは、受信側では音声格納部１
０４、画像格納部１０６に保存されている。

【００１９】まず、ユーザがこれまでに出力された画像
データのうち、検索したい箇所を画像入力部１２１より
指定する（Ｓ３８）。画像データの場合、出力された画
像データの縮小画面を一覧表示して、ユーザが画面を選
択できるようにするなど入力の方法が考えられる。検索
部１２２において、画像格納部１０６に保存されている
画像データの中からユーザが指定した画像データを検索
する（Ｓ３９）。統合処理部１０７において、検索され
た画像データより同期情報を抽出し、同期情報記憶部１
０８に記憶する（Ｓ４０）。請求項１の実施の形態の場
合と同じように、同期情報はヘッダ情報に含まれてい
る。同期情報がない場合は０とする。時間制御部１０９
において、出力時間を同期情報の時間に設定する（Ｓ４
１）。出力時間は、データの出力について制御している
時間情報のことである。Ｓ３９において検索された画像
データを出力する（Ｓ４２）。出力時間を同期情報の時
間からスタートさせ、同期出力処理を行う（Ｓ４３）。
この処理については、請求項１の実施の形態の図６のフ
ローチャートで説明した処理と同じである。ユーザから
の指定の入力が終了するまで、以上の処理を繰り返す
（Ｓ４４）。例えば、これまでに画像１、画像２、画像
３と３つの画像データを受信し出力したとする。この中
で、ユーザが画像２を選択した場合、まず、画像処理部
１０５で画像２のデータを検索する。次に、画像２のデ
ータに付加されているヘッダ情報を調べ同期情報を抽出
する。画像２の同期情報はｔ５であるとすると、ｔ５と
いう情報が抽出される。時間制御部１０９の出力時間を
ｔ５に設定し、画像２を出力する。出力時間は、ｔ５か
らスタートすることになる。後は、図６と同じように、
出力時間と同じ同期情報を持つデータを探して出力する
ようにすれば、音声データと画像データの同期した出力
を得ることができる。ユーザが繰り返し見たい画像を指
定すれば、同期のとられた音声データとともに、画像を
出力することができるようになる。

【００２０】図１１は、ユーザが画像データを指定した
場合のフローチャートを示しているが、音声データを指
定した場合も、同様の処理で行うことができる。音声デ
ータを指定するときは、音声入力部１２０より指定す
る。音声データの場合、音声データをアイコン形式で表
示し、アイコンをクリックして音声データを選択できる
ようにするといった方法が考えられる。指定された音声
データについて、同期情報を抽出するなど同様の処理を
行うことで、音声データからも時間を遮って、同期のと
れた出力を行うことができるようになる。このようにし
て、音声データや静止画データ、ストロークデータとい
ったいろいろなデータのうち、ユーザが検索したいもの
を１つだけ指定すれば、他のデータを呼び出せる。たと
えば、これまでに出力された画像データを複数並べて、
ユーザが１つ選択すると、そのときに出力されていた音
声とともに出力される。また、これまでに出力された音
声を流して、検索したいところでボタンを押すと、その
ときの画像データを出力できる。このときにマウスクリ
ックなどのストロークデータがあれば、そのデータも同
様に出力される。また、音声データおよび画像データの
指定を行うだけでなく、時間情報を指定することなども
考えられる。時間軸をスクロールバーにして表示し、ユ
ーザが好きなように動かすことで時間を指定できるよう
にするなど指定の方法がある。このようにして、ｔ６秒
前といった時間の指定を行うことができるようになる。
また、「このあたりの出力からもう一度出力したい」と
いった要望を満たすことができる。

【００２１】図３は、本願請求項３の発明の実施の形態
における端末装置の構成のブロック図を示す。請求項１
の実施の形態と同一の構成部分については、説明を省略
する。この端末装置の特徴は、送信側と受信側で通信手
段を用いて、それぞれの時間制御部の時間情報を設定す
る時刻設定部を備えることにある。受信側には、時間制
御部１０９の時間を設定するための時刻設定部１２３を
備え、送信側には、時間制御部１１７の時間情報を設定
するための時刻設定部１２４を備える。図１２は、時刻
を設定する処理についてのフローチャート図で、この図
に沿ってこの送信側の処理について説明する。通信部１
１９において、受信側の端末に対して回線接続要求を発
信する（Ｓ４５）。受信側が回線接続可能であれば、回
線を接続する（Ｓ４６）。時刻設定を行わない場合（Ｓ
４７）は、そのまま処理を終了する。時刻設定を行うか
どうかの判断は、ユーザからの入力によって決定するよ
うにしてもいいし、端末がある条件によって、（たとえ
ば、「定時間ごと」や「基準となる端末と回線接続した
とき」など）自動的に決定してもよい。時刻設定を行う
場合、時刻設定部１２４では、通信部１１９を通じて受
信側の端末に時間情報を要求する（Ｓ４８）。受信側の
端末から送られてくる時間情報を通信部１１９で受信す
る（Ｓ４９）。時刻設定部１２４において、自身の端末
の時間制御部１１７から時間情報を得る（Ｓ５０）。こ
のようにして得られた自分自身（送信側）の時間情報
と、送られてきた受信側の端末の時間情報を用いて時間
合わせを行う（Ｓ５１）。時間合わせの方法はいろいろ
考えられる。送信側の時間情報に合わせる方法、受信側
の時間情報に合わせる方法、２つの時間情報の平均をと
る方法などがある。条件によって方法を変えるといった
ことは、考えられるが、あらかじめ方法は決まっている
ものとする。時間合わせを行ったら、時間制御部１１７
で自身の端末の時間情報を変更する（Ｓ５２）。通信部
１１９から受信側の端末に変更後の時間情報を送信する
（Ｓ５３）。受信側より変更終了を受信したら（Ｓ５
４）処理を終了する。時間合わせの場合、端末間の接続
速度も影響を及ぼすことがある。そのため、次のように
する方法も考えられる。時間情報を転送するのに必要な
時間を現在の端末間接続速度から逆算し、その差分を含
めて時間合わせをする。念のため、もう一度時間合わせ
と同じ処理を行って、接続端末間の時間情報が一致した
ことを確認する。もし合っていなければ、予め定められ
た回数まで時間合わせの処理を繰り返す。それでも合わ
せられなければ、その旨をユーザに出力する。または設
定によっては無視して処理を終了するようにする。

【００２２】次に、受信側の処理について説明する。通
信部１０１において、送信側から送られる回線接続要求
を受信する（Ｓ５５）。要求に従い回線を接続する（Ｓ
５６）。送信側の端末から、時間情報の要求が来たら、
時刻設定部１２３において時間制御部１０９から時間情
報を取得し、送信側の端末に時間情報を送信する（Ｓ５
７）。送信側の端末で処理を行ったのち、通信部１０１
で変更後の時間情報を受信する（Ｓ５８）。時刻設定部
１２３で時間制御部１０９の時間情報を変更する（Ｓ５
９）。変更できたら、送信側の端末に対して変更終了を
通知し（Ｓ６０）、処理を終了する。図１２では、送信
側の端末で時間合わせを行ったが、受信側の端末で処理
を行うようにしてもよい。同様の処理で行うことができ
る。以上のように時刻設定を行った後、請求項１や２の
実施の形態で示したような処理を続けて行えばよい。複
数の端末で時間合わせを行うことで、時間制御部のずれ
による時間のずれをなくすことができる。通信を用いて
複数の端末でデータを出力したいような場合、まったく
同じデータであれば、同時に出力することが可能であ
る。この実施の形態では２台の端末で時間設定を行う処
理について説明したが、３台以上複数の端末で、回線接
続できるような端末に対しては、同様にして時刻設定を
行うことができる。時間合わせの方法は、平均などが考
えられる。

【００２３】

【発明の効果】請求項１に記載の端末装置によると、受
信側では、送られてきた音声データおよび画像データが
それぞれ音声格納手段または画像格納手段に保存され、
統合処理手段により同期情報が抽出され、時間制御手段
で出力時間によって音声データまたは画像データの出力
が制御されるように構成したので、音声データと画像デ
ータを同期情報を持ったまま格納部に保存し、同期した
データを再生することができる。また、送信側では、入
力手段により音声データと画像データが入力され、同期
情報入力手段により同期情報が入力され、同期情報付加
手段で時間情報を用いた同期情報が付加されるように構
成したので送信者は意図した通りに音声データと画像デ
ータを同期させるように同期情報を付けて送信すること
ができる。

【００２４】請求項２記載の端末装置によると、受信側
で音声入力手段によりユーザから音声データが入力さ
れ、画像入力手段によりユーザから画像データが入力さ
れ検索手段においてデータが検索されるように構成した
ので、すでに出力された音声データおよび画像データの
指定のとおりに検索を行って、繰り返し再生することが
できる。請求項３記載の端末装置によると、受信側と送
信側の時刻設定手段によって通信手段を通じてそれぞれ
の時間制御部の時間が設定されるようになるので、受信
側と送信側で同時刻に時間合わせを行うことができる。

【図面の簡単な説明】

【図１】本願の請求項１の発明の端末装置の実施の形態
の構成を示すブロック図である。

【図２】本願の請求項２の発明の端末装置の実施の形態
の構成を示すブロック図である。

【図３】本願の請求項３の発明の端末装置の実施の形態
の構成を示すブロック図である。

【図４】図１の装置の動作を示すフローチャート図であ
る。

【図５】図１の装置のデータ判定処理の動作を示すフロ
ーチャート図である。

【図６】図１の装置の同期出力処理の動作を示すフロー
チャート図である。

【図７】音声データの構成の例を示す図である。

【図８】音声データと画像データの出力の実行例を示す
図である。

【図９】図１の装置の送信データ作成の動作を示すフロ
ーチャートである。

【図１０】送信データ作成過程の例を示す図である。

【図１１】本願の請求項２の発明の端末装置の実施の形
態の動作を示すフローチャート図である。

【図１２】本願の請求項３の発明の端末装置の実施の形
態の動作を示すフローチャート図である。

【符号の説明】

１０１…通信部、１０２…データ分離部、１０３…音声
処理部、１０４…音声格納部、１０５…画像処理部、１
０６…画像格納部、１０７…統合処理部、１０８…同期
情報記憶部、１０９…時間制御部、１１０…音声出力
部、１１１…画像出力部、１１２…音声入力部、１１３
…画像入力部、１１４…合成部、１１５…同期情報付加
部、、１１６…同期情報入力部、１１７…時間制御部、
１１８…送信部、１１９…通信部、１２０…音声入力
部、１２１…画像入力部、１２２…検索部、１２３…時
刻設定部、１２４…時刻設定部、Ｓ１〜Ｓ６０…動作ス
テップ。

フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/14

Claims

【特許請求の範囲】

【請求項１】音声データと、静止画、文字、図形、ス
トロークデータなどデジタルで通信することのできる画
像データを回線を介して同時に通信するシステムの端末
装置において、受信側は、該音声データと該画像データ
の通信を行う通信手段と、該通信手段により受信された
データが音声データであるか画像データであるか判定す
るデータ分離手段と、該データ分離手段で判定された該
音声データについて処理を行う音声処理手段と、該音声
処理手段の処理によって該音声データを格納する音声格
納手段と、データ分離手段で判定された該画像データに
ついて処理を行う画像処理手段と、該画像処理手段の処
理によって該画像データを格納する画像格納手段と、該
画像格納手段に格納されている該音声データまたは該画
像データにつけられている同期情報を抽出し、その情報
をもとに該音声データと該画像データの出力を制御する
統合処理手段と、該統合処理手段の制御により該データ
を同期出力させるための同期情報を記憶する同期情報記
憶手段と、時間情報を取得し、該データの出力時間を管
理する時間制御手段と、該音声データを出力する音声出
力手段と、該画像データを出力する画像出力手段とを備
え、送信側は、ユーザが該音声データを入力する音声入
力手段と、該画像データを入力する画像入力手段と、該
入力手段により入力されたデータを合成する合成手段
と、ユーザが該データを出力する際に同期出力させるた
めの同期情報を入力する同期情報入力手段と、該音声デ
ータと該画像データに該同期情報を付加する同期情報付
加手段と、該データの出力時間など時間情報を制御する
時間制御手段と、これらの手段を用いて作成された該デ
ータを送信のために変換する送信手段と、該送信手段か
らのデータの通信を行う通信手段とを備えることを特徴
とする端末装置。
【請求項２】前記受信側において、ユーザが検索すべ
き音声データを指定する音声入力手段と、検索すべき画
像データを指定する画像入力手段と、前記音声格納部お
よび前記画像格納部からデータを検索する検索手段とを
さらに備えることを特徴とする請求項１記載の端末装
置。
【請求項３】現在時刻および前記時間制御手段によっ
て制御される時間情報を回線を介して複数の端末装置間
で同時刻に設定する時刻設定手段とをさらに備えること
を特徴とする請求項１または請求項２記載の端末装置。