JP2005020426A

JP2005020426A - Image data transfer system

Info

Publication number: JP2005020426A
Application number: JP2003183129A
Authority: JP
Inventors: Koichi Fujita; 孝一藤田; Keishi Ro; 桂枝呂; Seigo Chin; 政豪陳; Tetsumin Rin; 哲民林
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-06-26
Filing date: 2003-06-26
Publication date: 2005-01-20

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image data transfer system capable of transferring image data without causing a voice break. <P>SOLUTION: This image data transfer system has a teacher terminal device 30 connected to a network 20, n student terminal devices 40 and a controller 50 for controlling image data transfer, the teacher terminal device 30 and the student terminal devices 40 are provided with a communication means which performs communication on the basis of a TCP (transmission control protocol), transmits and receives image data by multicast communication based on a UDP (user datagram protocol) and transmits and receives voice data on the basis of a prescribed communication protocol to thereby transfer the image data without causing a voice break. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、ネットワークに接続された端末装置に画像データを転送する画像データ転送システムに関する。
【０００２】
【従来の技術】
従来の画像データ転送システムは、指導員が使用する指導員用コンピュータと、学習者が使用する学習者用コンピュータとを有し、指導員用コンピュータは、モニタと、キーボードと、マウスと、スピーカとを備え、学習者用コンピュータは、ディスプレイと、イヤホーンとを備え、ネットワークを介し、指導員用コンピュータから画像データおよび音声データを学習者用コンピュータに送信し、予め設定された教育プログラムに従って学習者の教育ができるようになっている（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開２００２−３１１８０１号公報（第３−６頁、第３図）
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の画像データ転送システムでは、指導員用コンピュータは、画像データおよび音声データを学習者用コンピュータに同時に送信するので、学習者用コンピュータの動作状況によっては、画像データの処理負荷が大きいため音声データが所定の時間内に処理できないことがあり、音声の途切れ等が発生するという問題があった。
【０００５】
本発明は、このような問題を解決するためになされたものであり、画像データおよび音声データを学習者用コンピュータに同時に送信する場合に画像データの処理負荷が大きくなっても音声の途切れを発生させることなく画像データを転送することができる画像データ転送システムを提供するものである。
【０００６】
【課題を解決するための手段】
本発明の端末装置は、画像を表示する画像表示手段と、前記画像のデータを捕捉して所定の分割単位で複数の分割画像データに分割する画像データ捕捉手段と、データ通信における誤り訂正手順を含む第１の通信プロトコルに基づいてネットワークと通信し、前記誤り訂正手順を含まない第２の通信プロトコルに基づいて前記分割画像データを送受信するとともに、所定の通信プロトコルに基づいて音声データを送受信する通信手段とを備えたことを特徴とする構成を有している。
【０００７】
この構成により、通信手段は、誤り訂正手順を含む第１の通信プロトコルに基づく通信制御コマンドによってネットワークと通信し、誤り訂正手順を含まない第２の通信プロトコルに基づくマルチキャスト通信によって分割画像データを送受信するとともに、所定の通信プロトコルに基づいて音声データを送受信するので、端末装置間において画像データおよび音声データが同時に送受信される場合でも、音声の途切れを発生させることなく画像データを転送することができる。
【０００８】
本発明の画像データ転送システムは、ネットワークに接続された端末装置と、画像データの転送を制御する制御装置とを有し、前記端末装置は、画像を表示する画像表示手段と、前記画像のデータを捕捉して所定の分割単位で複数の分割画像データに分割する画像データ捕捉手段と、データ通信における誤り訂正手順を含む第１の通信プロトコルに基づいて前記ネットワークと通信し、前記誤り訂正手順を含まない第２の通信プロトコルに基づいて前記分割画像データを送受信するとともに、所定の通信プロトコルに基づいて音声データを送受信する端末側通信手段とを備え、前記制御装置は、前記第１の通信プロトコルに基づいて前記端末装置と通信する制御側通信手段と、前記分割画像データの転送を制御する転送制御手段とを備えたことを特徴とする構成を有している。
【０００９】
この構成により、端末側通信手段は、誤り訂正手順を含む第１の通信プロトコルに基づく通信制御コマンドによってネットワークに接続された端末装置と通信し、誤り訂正手順を含まない第２の通信プロトコルに基づくマルチキャスト通信によって分割画像データを送受信するので、端末装置間において画像データおよび音声データが同時に送受信される場合でも、音声の途切れを発生させることなく画像データを転送することができる。
【００１０】
また、本発明の画像データ転送システムは、前記端末装置は、前記分割画像データを前記分割単位ごとに画像圧縮する画像圧縮手段と、画像圧縮された前記分割画像データを前記分割単位ごとに画像伸張する画像伸張手段とを備えたことを特徴とする構成を有している。
【００１１】
この構成により、端末側通信手段は、誤り訂正手順を含まない第２の通信プロトコルに基づくマルチキャスト通信によって、画像圧縮された分割画像データを送受信するので、ネットワークの負荷を軽減することができる。
【００１２】
さらに、本発明の画像データ転送システムは、前記制御装置は、前記分割画像データが転送された前記端末装置における前記分割画像データおよび前記音声データの少なくとも一方の処理に係るプロセスの優先度を予め定められた条件に応じて制御する優先度制御手段を備えたことを特徴とする構成を有している。
【００１３】
この構成により、優先度制御手段は、端末装置の動作状況に応じて、分割画像データおよび前記音声データの少なくとも一方の処理に係るプロセスの優先度を変更し、画像データおよび音声データが同時に送受信される場合は、音声データの処理に係るプロセスの優先度を上げることができ、分割画像データのみが送受信される場合は、分割画像データの処理に係るプロセスの優先度を上げることができるので、音声の途切れを発生させることなく画像データを転送することができ、また、受信した画像データを効率よく処理することができる。
【００１４】
さらに、本発明の画像データ転送システムは、ネットワークに接続された端末装置と、画像データの転送を制御する制御装置とを有し、前記端末装置は、画像を表示する端末側画像表示手段と、前記画像のデータを捕捉して所定の分割単位で複数の分割画像データに分割する端末側画像データ捕捉手段と、データ通信における誤り訂正手順を含む第１の通信プロトコルに基づいて前記ネットワークと通信し、前記誤り訂正手順を含まない第２の通信プロトコルに基づいて前記分割画像データを送受信するとともに、所定の通信プロトコルに基づいて音声データを送受信する端末側通信手段とを備え、前記制御装置は、画像を表示する制御側画像表示手段と、前記画像のデータを捕捉して所定の分割単位で複数の分割画像データに分割する制御側画像データ捕捉手段と、データ通信における誤り訂正手順を含む第１の通信プロトコルに基づいて前記ネットワークと通信し、前記誤り訂正手順を含まない第２の通信プロトコルに基づいて前記分割画像データを送受信するとともに、所定の通信プロトコルに基づいて音声データを送受信する制御側通信手段と、前記分割画像データの転送を制御する転送制御手段とを備えたことを特徴とする構成を有している。
【００１５】
この構成により、端末側通信手段および制御側通信手段は、誤り訂正手順を含む第１の通信プロトコルに基づく通信制御コマンドによってネットワークに接続された端末装置と通信し、誤り訂正手順を含まない第２の通信プロトコルに基づくマルチキャスト通信によって分割画像データを送受信するとともに、所定の通信プロトコルに基づいて音声データを送受信するので、端末装置間において画像データおよび音声データが同時に送受信される場合でも、音声の途切れを発生させることなく画像データを転送することができる。
【００１６】
さらに、本発明の画像データ転送システムは、前記端末装置および前記制御装置は、前記分割画像データを前記分割単位ごとに画像圧縮する画像圧縮手段と、画像圧縮された前記分割画像データを前記分割単位ごとに画像伸張する端末側画像伸張手段とを備えたことを特徴とする構成を有している。
【００１７】
この構成により、端末側通信手段および制御側通信手段は、誤り訂正手順を含まない第２の通信プロトコルに基づくマルチキャスト通信によって、画像圧縮された分割画像データを送受信するので、ネットワークの負荷を軽減することができる。
【００１８】
さらに、本発明の画像データ転送システムは、前記制御装置は、前記分割画像データが転送された前記端末装置および前記制御装置における前記分割画像データの処理に係るプロセスの優先度を予め定められた条件に応じて制御する優先度制御手段を備えたことを特徴とする構成を有している。
【００１９】
この構成により、優先度制御手段は、端末装置および制御装置の動作状況に応じて、分割画像データおよび前記音声データの少なくとも一方の処理に係るプロセスの優先度を変更し、画像データおよび音声データが同時に送受信される場合は、音声データの処理に係るプロセスの優先度を上げることができ、分割画像データのみが送受信される場合は、分割画像データの処理に係るプロセスの優先度を上げることができるので、音声の途切れを発生させることなく画像データを転送することができ、また、受信した画像データを効率よく処理することができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施の形態の画像データ転送システムは、パーソナルコンピュータによる授業支援システムにおける画像データを転送する場合を例として説明する。
【００２１】
まず、本実施の形態の画像データ転送システムの構成について説明する。
【００２２】
図１に示すように、本実施の形態の画像データ転送システム１０は、ネットワーク２０に接続された教師用端末装置３０と、ｎ個の学習者用端末装置４０（４０ａ〜４０ｎ）と、画像データの転送を制御する制御装置５０とを有している。教師用端末装置３０、学習者用端末装置４０、および制御装置５０は、それぞれ、複数の処理を同時に実行するマルチタスク機能を備えた所定のオペレーティングシステム（以下、単にＯＳという。）によって動作するようになっている。なお、教師用端末装置３０および学習者用端末装置４０は、端末装置を構成している。
【００２３】
ネットワーク２０は、データ通信における誤り訂正手順を含む第１の通信プロトコルおよび誤り訂正手順を含まない第２の通信プロトコルに基づき、所定のパケットによって制御コマンドおよび画像データを伝送するようになっている。また、ネットワーク２０は、第１の通信プロトコル、第２の通信プロトコル、またはその他の通信プロトコルに基づいて音声データを伝送するようになっている。
【００２４】
ここで、誤り訂正手順とは、例えば、ネットワーク２０を介して教師用端末装置３０から学習者用端末装置４０にパケットを送信する場合、教師用端末装置３０から送信されたパケットと異なるパケット、すなわち誤りを含むパケットを学習者用端末装置４０が受信したとき、誤りを訂正するため、教師用端末装置３０が同じパケットを学習者用端末装置４０に再送信する手順をいう。
【００２５】
なお、以下の説明において、第１の通信プロトコルおよび第２の通信プロトコルとして、それぞれ、ＴＣＰ（ＴｒａｎｓｍｉｓｓｉｏｎＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ）およびＵＤＰ（ＵｓｅｒＤａｔａｇｒａｍＰｒｏｔｏｃｏｌ）を例に挙げる。ＴＣＰは、データ通信における通信の開始および終了の手順とパケットの誤り訂正手順とを含んでいる。一方、ＵＤＰは、パケットの誤り訂正手順を省略し、ネットワーク内の複数の端末装置を指定して同じデータを一斉に送信するマルチキャスト通信、単一のアドレスを指定して特定の端末装置にデータを送信するユニキャスト通信、および不特定多数の端末装置に対してデータを送信するブロードキャスト通信ができるようになっている。
【００２６】
教師用端末装置３０は、図２に示すように、ＴＣＰに基づいてネットワーク２０と通信し、ＵＤＰに基づいて画像データを送受信する送受信処理部３１と、画像表示部３７に表示された画像のデータを捕捉して所定の分割単位で複数の分割画像データに分割する画像キャプチャ処理部３２と、操作信号を入力する操作入力部３３と、操作入力部３３から出力された操作信号を処理するイベント処理部３４と、画像を描画処理する画像描画処理部３５と、画像表示部３７に所定の画像を表示し、操作入力部３３に画像データの転送操作をさせる転送操作用ＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）部３６と、画像を表示する画像表示部３７と、音声を入出力する音声入出力部３８と、音声データを処理する音声データ処理部３９とを備えている。
【００２７】
送受信処理部３１は、データ送受信回路、マイクロプロセッサ、メモリ等によって構成され、ネットワーク２０上の固有のアドレスを有している。また、送受信処理部３１は、ＴＣＰに基づく通信制御コマンドによってネットワーク２０に接続された装置と通信し、ＵＤＰに基づくマルチキャスト通信によって分割画像データを送受信するようになっている。さらに、送受信処理部３１は、音声データを所定の通信プロトコルによって送受信するようになっている。なお、送受信処理部３１は、通信制御コマンド、分割画像データ、および音声データを所定のデータサイズのパケットに分割して他の装置と通信するようになっている。
【００２８】
画像キャプチャ処理部３２は、マイクロプロセッサ、メモリ等によって構成され、教師用端末装置３０を動作させるＯＳから画像表示部３７に表示された１画面分の画像データを捕捉するようになっている。また、画像キャプチャ処理部３２は、１画面分の画像データを所定の分割単位で分割し、分割単位ごとに画像圧縮した後、表示位置情報を付加し、送受信処理部３１を介して例えば毎秒１〜２画面分の画像データをネットワーク２０に送出するようになっている。
【００２９】
操作入力部３３は、キーボードおよびマウス、トラックボール、ペン等のポインティングデバイス等によって構成され、キー入力および画像描写等を行うようになっている。
【００３０】
イベント処理部３４は、マイクロプロセッサ、メモリ等によって構成され、操作入力部３３によって操作された信号を取得し、取得した操作信号を送受信処理部３１および転送操作用ＧＵＩ部３６に出力するようになっている。また、イベント処理部３４は、送受信処理部３１を介し、他の端末装置において遠隔操作のために操作された操作信号を第１の通信プロトコルに基づくＴＣＰ通信によって受信し、転送操作用ＧＵＩ部３６に出力するようになっている。
【００３１】
画像描画処理部３５は、マイクロプロセッサ、メモリ等によって構成され、送受信処理部３１がＵＤＰに基づくマルチキャスト通信によって受信した分割画像データを分割単位ごとに画像伸張した後、表示位置情報に基づき画像データをメモリに記憶するようになっている。
【００３２】
転送操作用ＧＵＩ部３６は、マイクロプロセッサ、メモリ等によって構成され、所定のウィンドウおよびアイコン等の画像を画像表示部３７に表示し、操作入力部３３で処理させるようになっている。また、転送操作用ＧＵＩ部３６は、イベント処理部３４から出力された操作信号に基づき、文字、記号、カーソル等を画像表示部３７に描画するようになっている。さらに、イベント処理部３４は、送受信処理部３１を介し、他の端末装置において遠隔操作のために操作された操作信号を受信し、転送操作用ＧＵＩ部３６に出力するようになっている。
【００３３】
画像表示部３７は、例えば液晶ディスプレイで構成され、画像描画処理部３５によって描画処理された画像および転送操作用ＧＵＩ部３６によって描画されたウィンドウおよびアイコン等の画像を表示するようになっている。なお、タッチパネルを備えた液晶ディスプレイによって画像表示部３７を構成してもよい。
【００３４】
音声入出力部３８は、マイクロホンおよびスピーカを有するヘッドセット、アンプ等によって構成され、教師が発声した音声を入力し、送受信処理部３１を介して学習者用端末装置４０に出力するようになっている。また、音声入出力部３８は、送受信処理部３１によって受信された音声データを増幅し、音声入出力部３８に出力するようになっている。音声の音量は、転送操作用ＧＵＩ部３６によって表示されたボリュームのアイコンを操作入力部３３で操作することにより調整できるようになっている。なお、音声データは、モノラル、ステレオのいずれでもよい。
【００３５】
音声データ処理部３９は、アンプ、フィルタ、マイクロプロセッサ、メモリ等によって構成され、音声入出力部３８によって入力された教師の音声を音声圧縮し、送受信処理部３１に出力するようになっている。また、音声データ処理部３９は、送受信処理部３１から音声圧縮された音声データを入力し、音声伸張するようになっている。なお、音声データ処理部３９は、例えば、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＣｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ）方式に基づいて音声圧縮および音声伸張を実行するようになっている。
【００３６】
学習者用端末装置４０は、図３に示すように、それぞれ、ＴＣＰに基づいてネットワーク２０と通信し、ＵＤＰに基づいて画像データを送受信する送受信処理部４１と、画像表示部４７に表示された画像のデータを捕捉して所定の分割単位で複数の分割画像データに分割する画像キャプチャ処理部４２と、操作信号を入力する操作入力部４３と、操作入力部４３から出力された操作信号を処理するイベント処理部４４と、画像を描画処理する画像描画処理部４５と、画像表示部４７に所定の画像を表示し、操作入力部４３に画像データの転送操作をさせる転送操作用ＧＵＩ部４６と、画像を表示する画像表示部４７とを備えている。
【００３７】
送受信処理部４１は、データ送受信回路、マイクロプロセッサ、メモリ等によって構成され、ネットワーク２０上の固有のアドレスを有している。また、送受信処理部４１は、ＴＣＰに基づく通信制御コマンドによってネットワーク２０に接続された装置と通信し、ＵＤＰに基づくマルチキャスト通信によって分割画像データを送受信するようになっている。なお、送受信処理部４１は、通信制御コマンドおよび分割画像データを所定のデータサイズのパケットに分割して他の装置と通信するようになっている。
【００３８】
画像キャプチャ処理部４２は、マイクロプロセッサ、メモリ等によって構成され、学習者用端末装置４０を動作させるＯＳから画像表示部４７に表示された１画面分の画像データを捕捉するようになっている。また、画像キャプチャ処理部４２は、１画面分の画像データを所定の分割単位で分割し、分割単位ごとに画像圧縮した後、表示位置情報を付加し、送受信処理部４１を介して例えば毎秒１〜２画面分の画像データをネットワーク２０に送出するようになっている。
【００３９】
操作入力部４３は、キーボードおよびマウス、トラックボール、ペン等のポインティングデバイス等によって構成され、キー入力および画像描写等を行うようになっている。
【００４０】
イベント処理部４４は、マイクロプロセッサ、メモリ等によって構成され、操作入力部４３によって操作された信号を取得し、取得した操作信号を送受信処理部４１および転送操作用ＧＵＩ部４６に出力するようになっている。また、イベント処理部４４は、送受信処理部４１を介し、他の端末装置において遠隔操作のために操作された操作信号を第１の通信プロトコルに基づくＴＣＰ通信によって受信し、転送操作用ＧＵＩ部４６に出力するようになっている。
【００４１】
画像描画処理部４５は、マイクロプロセッサ、メモリ等によって構成され、送受信処理部４１がＵＤＰに基づくマルチキャスト通信によって受信した分割画像データを分割単位ごとに画像伸張した後、表示位置情報に基づき画像データをメモリに記憶するようになっている。
【００４２】
転送操作用ＧＵＩ部４６は、マイクロプロセッサ、メモリ等によって構成され、所定のウィンドウおよびアイコン等の画像を画像表示部４７に表示し、操作入力部４３で処理させるようになっている。また、転送操作用ＧＵＩ部４６は、イベント処理部４４から出力された操作信号に基づき、文字、記号、カーソル等を画像表示部４７に表示するようになっている。
【００４３】
画像表示部４７は、例えば液晶ディスプレイで構成され、画像描画処理部４５によって描画処理された画像および転送操作用ＧＵＩ部４６によって描画処理されたウィンドウおよびアイコン等の画像を表示するようになっている。なお、タッチパネルを備えた液晶ディスプレイによって画像表示部４７を構成してもよい。
【００４４】
音声入出力部４８は、マイクロホンおよびスピーカを有するヘッドセット、アンプ等によって構成され、学習者が発声した音声を入力し、送受信処理部４１を介して教師用端末装置３０および他の学習者用端末装置４０の少なくとも一方に出力するようになっている。また、音声入出力部４８は、送受信処理部４１によって受信された音声データを増幅し、音声入出力部４８に出力するようになっている。音声の音量は、転送操作用ＧＵＩ部４６によって表示されたボリュームのアイコンを操作入力部４３で操作することにより調整できるようになっている。
【００４５】
音声データ処理部４９は、アンプ、フィルタ、マイクロプロセッサ、メモリ等によって構成され、音声入出力部４８によって入力された教師の音声を音声圧縮し、送受信処理部４１に出力するようになっている。また、音声データ処理部４９は、送受信処理部４１から音声圧縮された音声データを入力し、音声伸張するようになっている。なお、音声データ処理部４９は、例えば、ＭＰＥＧ方式に基づいて音声圧縮および音声伸張を実行するようになっている。
【００４６】
制御装置５０は、図４に示すように、ＴＣＰに基づいてネットワーク２０と通信する送受信処理部５１と、データを記憶するデータ記憶部５２と、操作信号を入力する操作入力部５３と、操作入力部５３から出力された操作信号を処理するイベント処理部５４と、画像表示部５６に所定の画像を表示し、操作入力部５３にシステムの制御をさせるシステム制御用ＧＵＩ部５５と、画像を表示する画像表示部５６とを備えている。
【００４７】
送受信処理部５１は、データ送受信回路、マイクロプロセッサ、メモリ等によって構成され、ネットワーク２０上の固有のアドレスを有している。送受信処理部５１は、ＴＣＰに基づく通信制御コマンドによってネットワーク２０に接続された装置と通信するようになっている。なお、送受信処理部５１は、通信制御コマンドを所定のデータサイズのパケットに分割して他の装置と通信するようになっている。
【００４８】
データ記憶部５２は、ハードディスクドライブ、光磁気ディスクドライブ等によって構成され、学習者情報、プロセス優先度設定データ、授業用データ等を記憶するようになっている。
【００４９】
ここで、学習者情報とは、学習者用端末装置４０を使用する学習者のユーザＩＤ、パスワード、氏名、顔写真データ等の情報をいう。また、プロセス優先度設定データとは、予め定められたプロセスの優先度を設定するデータをいう。また、授業用データとは、教師が授業で使用する画像データおよび音声データ等をいう。
【００５０】
操作入力部５３は、キーボードおよびマウス、トラックボール、ペン等のポインティングデバイス等によって構成され、キー入力および画像描写等を行うようになっている。
【００５１】
イベント処理部５４は、マイクロプロセッサ、メモリ等によって構成され、操作入力部５３によって操作された信号を取得し、システム制御用ＧＵＩ部５５に出力するようになっている。また、イベント処理部５４は、送受信処理部５１によって受信された操作信号をシステム制御用ＧＵＩ部５５に出力するようになっている。
【００５２】
システム制御用ＧＵＩ部５５は、マイクロプロセッサ、メモリ等によって構成され、所定のウィンドウおよびアイコン等の画像を画像表示部５６に表示し、操作入力部５３で処理させるようになっている。また、システム制御用ＧＵＩ部５５は、イベント処理部５４から出力された操作信号に基づき、文字、記号、カーソル等を画像表示部５６に表示するようになっている。さらに、システム制御用ＧＵＩ部５５は、分割画像データが転送された又は転送する端末装置、又は音声データが送受信された端末装置におけるＯＳの動作情報を取得し、このＯＳの動作情報に基づき、転送された又は転送する分割画像データの処理に係るプロセス、又は送受信された音声データの処理に係るプロセスの優先度を設定するようになっている。
【００５３】
ここで、転送された又は転送する分割画像データの処理に係るプロセスとは、分割画像データが転送された又は転送する端末装置において、分割画像データを受信してから分割画像データに基づく画像を表示するまで又は１画面分の画像データを捕捉してからネットワークに送出するまでの間に同時に実行されるプロセス（以下、単に受信表示プロセス又は画像データ送信プロセスという。）をいう。この受信表示プロセスは、画像データ受信プロセス、画像データ伸張プロセス、および画像データ表示プロセスを含んでいる。また、この画像データ送信プロセスは、画像データ捕捉プロセス、画像データ分割プロセス、画像データ圧縮プロセス、画像データ送信プロセスを含んでいる。
【００５４】
また、音声データの処理に係るプロセスとは、送受信処理部３１又は送受信処理部４１が音声データを受信してから音声入出力部３８又は音声入出力部４８がその音声データに基づく音声を出力するまでにおいて同時に実行されるプロセス（以下、単に音声プロセスという。）をいう。音声プロセスは、音声データ受信プロセス、音声データ伸張プロセス、および音声データ出力プロセスを含んでいる。
【００５５】
教師用端末装置３０および学習者用端末装置４０を動作させるＯＳは、優先度が高いプロセスを先に処理するスケジューラを有している。システム制御用ＧＵＩ部５５は、スケジューラを参照しながら画像プロセスおよび音声プロセスの少なくとも一方の優先度を変更し、分割画像データおよび音声データを取りこぼしなく確実に受信するよう、また、受信した分割画像データおよび音声データの処理が効率よく実行されるよう教師用端末装置３０および学習者用端末装置４０を制御するようになっている。
【００５６】
画像表示部５６は、例えば液晶ディスプレイで構成され、システム制御用ＧＵＩ部５５によって描画処理されたウィンドウおよびアイコン等の画像を表示するようになっている。なお、タッチパネルを備えた液晶ディスプレイによって画像表示部５６を構成してもよい。
【００５７】
次に、本実施の形態の画像データ転送システム１０の動作について説明する。
【００５８】
図５において、まず、システム制御用ＧＵＩ部５５によって、端末装置を選択する選択画像が描画処理され画像表示部５６に表示される（ステップＳ１１）。次いで、操作入力部５３によって、画像データを転送する転送元の端末装置が指定される（ステップＳ１２）。さらに、操作入力部５３によって、画像データを転送する転送先の端末装置が指定される（ステップＳ１３）。
【００５９】
例えば、教師用端末装置３０の画像表示部３７に表示された画像のデータを全ての学習者用端末装置４０に転送する場合は、操作入力部５３によって、ステップＳ１２において教師用端末装置３０が転送元の端末装置として指定され、ステップＳ１３において全ての学習者用端末装置４０が転送先の端末装置として指定される。以下の説明においては、転送元の端末装置を教師用端末装置３０とし、転送先の端末装置を全ての学習者用端末装置４０と仮定する。また、教師用端末装置３０から転送される画像データとともに教師の音声の音声データが学習者用端末装置４０に送信されるものとする。
【００６０】
引き続き、システム制御用ＧＵＩ部５５によって、イベント処理部５４を介して受信された転送元の端末装置を指定した指定信号に基づき、ＴＣＰにより画像データ転送指示コマンドが転送元の端末装置である教師用端末装置３０に送信される（ステップＳ１４）。このとき、システム制御用ＧＵＩ部５５によって、ＴＣＰに基づく通信制御コマンドにより画像データの転送先、すなわち全ての学習者用端末装置４０のマルチキャストＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）アドレス情報が教師用端末装置３０に送信される。ちなみに、予め決められたアドレスを使用してもよい。
【００６１】
さらに、システム制御用ＧＵＩ部５５によって、イベント処理部５４を介して受信された転送先の端末装置を指定した指定信号に基づき、ＴＣＰにより画像データ受信指示コマンドが転送先の端末装置である全ての学習者用端末装置４０に送信される（ステップＳ１５）。
【００６２】
そして、後述の画像データ転送処理（ステップＳ１６）および画像データ受信処理（ステップＳ１７）が実行される。
【００６３】
次に、画像データ転送処理について、図６を参照して説明する。
【００６４】
図６において、まず、教師用端末装置３０の画像キャプチャ処理部３２によって、画像表示部３７に表示された画像のデータがＯＳから捕捉される（ステップＳ２１）。続いて、画像キャプチャ処理部３２によって、画像データが所定の分割単位、例えば１６キロバイトごとに分割される（ステップＳ２２）。さらに、画像キャプチャ処理部３２によって、分割された分割画像データが、例えばＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＣｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ）方式によって分割単位ごとに画像圧縮される（ステップＳ２３）。その後、分割単位ごとに表示位置情報が付加される（ステップＳ２４）。
【００６５】
そして、送受信処理部３１によって、ＵＤＰに基づくマルチキャスト通信により分割単位ごとに画像圧縮された分割画像データがマルチキャストＩＰアドレスで指定された全ての学習者用端末装置４０に一斉に転送される（ステップＳ２５）。
【００６６】
次に、前述の画像データ転送処理と同時に実行される音声データ送信処理について、図７を参照して説明する。
【００６７】
図７において、まず、音声入出力手段３８によって、教師の音声が入力される（ステップＳ３１）。次いで、音声データ処理部３９によって、例えばＭＰＥＧ方式により音声データが圧縮される（ステップＳ３２）。そして、送受信処理部３１によって、音声データが全ての学習者用端末装置４０に送信される（ステップＳ３３）。
【００６８】
次に、画像データ受信処理について、図８を参照して説明する。
【００６９】
図８において、まず、全ての学習者用端末装置４０の送受信処理部４１によって、マルチキャスト通信により転送された分割画像データが受信される（ステップＳ４１）。次いで、画像描画処理部４５によって、分割画像データが分割単位ごとに画像伸張され（ステップＳ４２）、画像表示位置情報が取得され、画像表示位置が決定される（ステップＳ４３）。さらに、画像描画処理部４５によって、画像データがメモリに記憶される（ステップＳ４４）。そして、画像表示部４７によって、メモリに記憶された画像データが読み出され、画像が表示される（ステップＳ４５）。
【００７０】
次に、前述の画像データ受信処理と同時に実行される音声データ受信処理について、図９を参照して説明する。
【００７１】
図９において、送受信処理部４１によって、教師用端末装置３０から送信された音声データが受信される（ステップＳ５１）。次いで、音声データ処理部４９によって、例えばＭＰＥＧ方式により音声データが音声伸張される（ステップＳ５２）。そして、音声入出力部４８によって、教師の音声が出力される（ステップＳ５３）。
【００７２】
前述のように、教師用端末装置３０から送信された分割画像データは、ＵＤＰに基づくマルチキャスト通信によって全ての学習者用端末装置４０に一斉に転送され、教師用端末装置３０の画像表示部３７に表示された画像と同期した画像が全ての学習者用端末装置４０の画像表示部４７に表示される。また、教師用端末装置３０から送信された音声データは、所定の通信プロトコルに基づいて全ての学習者用端末装置４０に送信され、音声入出力部４８に出力される。
【００７３】
次に、システム制御用ＧＵＩ部５５によって、ＴＣＰに基づく通信制御コマンドにより実行される画像プロセスおよび音声プロセスの優先度制御処理について図１０を参照して説明する。両プロセスの優先度制御処理は、画像データの転送先である各学習者用端末装置４０において前述の画像データ受信処理の開始とともに実行される。
【００７４】
図１０において、まず、データ記憶部５２から予め読み出されたプロセス優先度設定データに基づき、プロセスの優先度の初期値が設定される（ステップＳ６１）。プロセスの優先度を数値が大きいほど優先度が高くなる０〜３１までの３２段階で設定する場合、画像プロセスおよび音声プロセスに含まれる各プロセスの優先度が、例えば、それぞれ１６に初期設定される。なお、システム制御用ＧＵＩ部５５に画像プロセスおよび音声プロセスの優先度設定のウィンドウを表示させ、操作入力部５３の操作によって両プロセスの優先度が初期設定されるよう構成してもよい。
【００７５】
引き続き、ＯＳのスケジューラを参照することによりＯＳの動作情報が学習者用端末装置４０ごとに取得される（ステップＳ６２）。
【００７６】
続いて、音声データが処理中か否かが判断される（ステップＳ６３）。音声データが処理中と判断された場合は、音声プロセスの優先度が上げられ（ステップＳ６４）、画像プロセスの優先度が下げられる（ステップＳ６５）。すなわち、学習者用端末装置４０において、音声データと画像データとが同時に受信されているときは、システム制御用ＧＵＩ部５５によって、画像データの処理よりも音声データの処理が優先され、音声の途切れを発生させないよう両プロセスが制御される。
【００７７】
一方、ステップＳ６３において、音声データが処理中と判断されなかった場合は、画像プロセスの優先度が上げられる（ステップＳ６６）。すなわち、学習者用端末装置４０において、画像データのみが受信されているときは、システム制御用ＧＵＩ部５５によって、画像データの処理を優先させ、最大のパフォーマンスが発揮できるよう画像プロセスが制御される。
【００７８】
なお、画像プロセスまたは音声プロセスの優先度を変更する場合、両プロセスに含まれる各プロセスの優先度をプロセスごとに変更してもよいし、画像プロセスまたは音声プロセスの優先度を一括して同じ優先度に設定してもよい。
【００７９】
引き続き、画像データの受信が終了したか否かが判断され（ステップＳ６７）、画像データの受信が終了したと判断された場合は、プロセスの優先度制御処理を終了し、画像データの受信が終了したと判断されなかった場合は、ステップＳ６２に戻る。
【００８０】
なお、図１１に示すように、前述の教師用端末装置３０および制御装置５０を統合し、１台のパーソナルコンピュータで構成した制御装置６０を備える構成としてもよい。この構成により、教師は、授業および画像データの転送制御を１台のコンピュータで行うことができる。
【００８１】
また、前述のＴＣＰおよびＵＤＰは、本実施の形態を説明するための一例であり、これらに限定されるものではない。また、マルチキャスト通信に代えて、ユニキャスト通信によって分割画像データを特定の端末装置に転送するようにしてもよい。
【００８２】
また、画像描画処理部３５または画像描画処理部４５は、画像伸張手段を構成している。画像表示部３７または画像表示部４７は、画像表示手段を構成している。画像キャプチャ処理部３２または画像キャプチャ処理部４２は、画像データ捕捉手段および画像圧縮手段を構成している。システム制御用ＧＵＩ部５５は、転送制御手段および優先度制御手段を構成している。送受信処理部３１または送受信処理部４１は端末側通信手段を構成し、送受信処理部５１は制御側通信手段を構成している。
【００８３】
以上のように、本実施の形態の画像データ転送システム１０によれば、送受信処理部３１および送受信処理部４１は、ＴＣＰに基づく通信制御コマンドによってネットワーク２０に接続された各端末装置と通信し、ＵＤＰに基づくマルチキャスト通信によって分割画像データを送受信するとともに、所定の通信プロトコルに基づいて音声データを送受信する構成としたので、端末装置間において画像データおよび音声データが同時に送受信される場合でも、音声の途切れを発生させることなく画像データを転送することができる。
【００８４】
また、本実施の形態の画像データ転送システム１０によれば、画像キャプチャ処理部３２および画像キャプチャ処理部４２は、画像データを所定の分割単位ごとに分割する構成としたので、ネットワーク２０上において分割画像データのパケットが消失した場合の影響を受け難くすることができ、画像表示部３７および画像表示部４７に表示される画像の乱れを低減することができる。
【００８５】
さらに、本実施の形態の画像データ転送システム１０によれば、画像キャプチャ処理部３２および画像キャプチャ処理部４２は、画像圧縮された分割画像データをネットワーク２０に送出するので、ネットワーク２０の負荷を軽減することができる。
【００８６】
さらに、本実施の形態の画像データ転送システム１０によれば、教師用端末装置３０と制御装置５０とを１台または２台のパーソナルコンピュータで構成することができるので、システム構成を柔軟に決定することができる。
【００８７】
なお、本実施の形態の画像データ転送システム１０の動作についての説明は、転送元の端末装置を教師用端末装置３０とし、転送先の端末装置を全ての学習者用端末装置４０と仮定して説明したが、この組み合わせに限定されるものではない。例えば、転送元の端末装置を学習者用端末装置４０のいずれかとし、転送先の端末装置を他の１つの学習者用端末装置４０または複数の学習者用端末装置４０としても前述の効果と同様な効果を得ることができる。
【００８８】
【発明の効果】
以上説明したように、本発明によれば、音声の途切れを発生させることなく画像データを転送することができる画像データ転送システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の画像データ転送システムのブロック図
【図２】本発明の実施の形態の教師用端末装置のブロック図
【図３】本発明の実施の形態の学習者用端末装置のブロック図
【図４】本発明の実施の形態の制御装置のブロック図
【図５】本発明の実施の形態の画像データ転送システムの各ステップのフローチャート
【図６】画像データ転送処理のフローチャート
【図７】音声データ送信処理のフローチャート
【図８】画像データ受信処理のフローチャート
【図９】音声データ受信処理のフローチャート
【図１０】プロセスの優先度制御処理のフローチャート
【図１１】教師用端末装置３０と制御装置５０とを１台のパーソナルコンピュータで構成した例を示すブロック図
【符号の説明】
１０画像データ転送システム
２０ネットワーク
３０教師用端末装置
３１、４１送受信処理部（通信手段、端末側通信手段）
５１送受信処理部（制御側通信手段）
３２、４２画像キャプチャ処理部（画像データ捕捉手段、画像圧縮手段、端末側画像圧縮手段）
３３、４３、５３操作入力部
３４、４４、５４イベント処理部
３５、４５画像描画処理部（画像伸張手段、端末側画像伸張手段）
３６、４６転送操作用ＧＵＩ部
３７、４７、５６画像表示部（画像表示手段）
３８、４８音声入出力部
３９、４９音声データ処理部
４０学習者用端末装置
５０、６０制御装置
５２データ記憶部
５５システム制御用ＧＵＩ部（制御手段、優先度制御手段）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image data transfer system for transferring image data to a terminal device connected to a network.
[0002]
[Prior art]
A conventional image data transfer system has an instructor computer used by an instructor and a learner computer used by a learner, and the instructor computer includes a monitor, a keyboard, a mouse, and a speaker. The learner computer includes a display and an earphone, and transmits image data and voice data from the instructor computer to the learner computer via the network so that the learner can be educated according to a preset education program. (For example, refer to Patent Document 1).
[0003]
[Patent Document 1]
Japanese Patent Laid-Open No. 2002-311801 (page 3-6, FIG. 3)
[0004]
[Problems to be solved by the invention]
However, in such a conventional image data transfer system, the instructor computer transmits image data and audio data to the learner computer at the same time. Therefore, depending on the operation status of the learner computer, the processing load of the image data may be reduced. Since the audio data is large, the audio data may not be processed within a predetermined time, resulting in a problem that the audio is interrupted.
[0005]
The present invention has been made to solve such a problem. When image data and audio data are simultaneously transmitted to a learner's computer, sound is interrupted even if the processing load of the image data increases. The present invention provides an image data transfer system capable of transferring image data without causing it to occur.
[0006]
[Means for Solving the Problems]
The terminal device of the present invention includes an image display means for displaying an image, an image data capturing means for capturing the image data and dividing the image data into a plurality of divided image data, and an error correction procedure in data communication. The network communicates with the network based on the first communication protocol including, transmits and receives the divided image data based on the second communication protocol not including the error correction procedure, and transmits and receives audio data based on the predetermined communication protocol. And a communication means.
[0007]
With this configuration, the communication means communicates with the network by a communication control command based on the first communication protocol including the error correction procedure, and transmits and receives the divided image data by multicast communication based on the second communication protocol not including the error correction procedure. In addition, since the audio data is transmitted / received based on a predetermined communication protocol, even when the image data and the audio data are transmitted / received at the same time between the terminal devices, the image data can be transferred without causing a sound interruption. .
[0008]
An image data transfer system according to the present invention includes a terminal device connected to a network and a control device that controls transfer of image data. The terminal device includes image display means for displaying an image, and image data. Image data capturing means for capturing the data into a plurality of divided image data in a predetermined division unit, and communicating with the network based on a first communication protocol including an error correction procedure in data communication, and performing the error correction procedure. Terminal-side communication means for transmitting and receiving the divided image data based on a second communication protocol not included and transmitting and receiving audio data based on a predetermined communication protocol, and the control device includes the first communication protocol Control side communication means for communicating with the terminal device on the basis of, and transfer control means for controlling the transfer of the divided image data. Has a configuration characterized by.
[0009]
With this configuration, the terminal-side communication means communicates with the terminal device connected to the network by a communication control command based on the first communication protocol including the error correction procedure, and is based on the second communication protocol that does not include the error correction procedure. Since the divided image data is transmitted / received by multicast communication, the image data can be transferred without causing a sound interruption even when the image data and the sound data are simultaneously transmitted / received between the terminal devices.
[0010]
In the image data transfer system according to the present invention, the terminal device compresses the divided image data for each of the division units, and decompresses the divided image data after the image compression for each of the division units. And an image expansion means.
[0011]
With this configuration, the terminal-side communication means transmits / receives the image-compressed divided image data by multicast communication based on the second communication protocol that does not include an error correction procedure, so that the load on the network can be reduced.
[0012]
Furthermore, in the image data transfer system according to the present invention, the control device determines in advance a priority of a process related to processing of at least one of the divided image data and the audio data in the terminal device to which the divided image data has been transferred. It has a configuration characterized in that it includes priority control means for controlling according to specified conditions.
[0013]
With this configuration, the priority control unit changes the priority of the process related to the processing of at least one of the divided image data and the audio data according to the operation status of the terminal device, and the image data and the audio data are simultaneously transmitted and received. The priority of the process related to the processing of the audio data can be increased, and when only the divided image data is transmitted / received, the priority of the process related to the processing of the divided image data can be increased. The image data can be transferred without causing interruptions, and the received image data can be processed efficiently.
[0014]
Furthermore, the image data transfer system of the present invention includes a terminal device connected to a network and a control device that controls transfer of image data, and the terminal device includes a terminal-side image display means for displaying an image, A terminal-side image data capturing unit that captures the image data and divides the image data into a plurality of divided image data in a predetermined division unit, and communicates with the network based on a first communication protocol including an error correction procedure in data communication. A terminal-side communication unit that transmits and receives the divided image data based on a second communication protocol that does not include the error correction procedure and transmits and receives audio data based on a predetermined communication protocol, and the control device includes: Control-side image display means for displaying an image, and control for capturing the image data and dividing it into a plurality of divided image data in a predetermined division unit An image data capturing unit communicates with the network based on a first communication protocol including an error correction procedure in data communication, and transmits and receives the divided image data based on a second communication protocol not including the error correction procedure. In addition, a control-side communication unit that transmits and receives audio data based on a predetermined communication protocol and a transfer control unit that controls transfer of the divided image data are provided.
[0015]
With this configuration, the terminal side communication unit and the control side communication unit communicate with the terminal device connected to the network by the communication control command based on the first communication protocol including the error correction procedure, and do not include the error correction procedure. Since the divided image data is transmitted / received by multicast communication based on the communication protocol of the above and the audio data is transmitted / received based on the predetermined communication protocol, even when the image data and the sound data are transmitted / received simultaneously between the terminal devices, the sound is interrupted. It is possible to transfer the image data without generating any.
[0016]
Further, in the image data transfer system according to the present invention, the terminal device and the control device include an image compression unit that compresses the divided image data for each of the division units, and the divided image data that has been image-compressed. And a terminal-side image decompressing means for decompressing each image.
[0017]
With this configuration, the terminal-side communication unit and the control-side communication unit transmit and receive the image-compressed divided image data by multicast communication based on the second communication protocol that does not include an error correction procedure, thereby reducing the load on the network. be able to.
[0018]
Furthermore, in the image data transfer system according to the present invention, the control device is configured such that a priority of a process related to processing of the divided image data in the terminal device and the control device to which the divided image data has been transferred is predetermined. And a priority control means for performing control according to the above.
[0019]
With this configuration, the priority control means changes the priority of the process related to the processing of at least one of the divided image data and the audio data according to the operation status of the terminal device and the control device, and the image data and the audio data are In the case of simultaneous transmission / reception, the priority of the process related to the processing of the audio data can be increased, and in the case where only the divided image data is transmitted / received, the priority of the process related to the processing of the divided image data can be increased. Therefore, it is possible to transfer the image data without causing sound interruption, and it is possible to efficiently process the received image data.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. The image data transfer system of the present embodiment will be described by taking as an example the case of transferring image data in a class support system using a personal computer.
[0021]
First, the configuration of the image data transfer system of this embodiment will be described.
[0022]
As shown in FIG. 1, an image data transfer system 10 according to the present embodiment includes a teacher terminal device 30 connected to a network 20, n learner terminal devices 40 (40a to 40n), and image data. And a control device 50 for controlling the transfer of data. Each of the teacher terminal device 30, the learner terminal device 40, and the control device 50 is operated by a predetermined operating system (hereinafter, simply referred to as an OS) having a multitask function that simultaneously executes a plurality of processes. It has become. The teacher terminal device 30 and the learner terminal device 40 constitute a terminal device.
[0023]
The network 20 is configured to transmit a control command and image data by a predetermined packet based on a first communication protocol including an error correction procedure in data communication and a second communication protocol not including an error correction procedure. The network 20 is configured to transmit audio data based on the first communication protocol, the second communication protocol, or other communication protocols.
[0024]
Here, the error correction procedure is, for example, when a packet is transmitted from the teacher terminal device 30 to the learner terminal device 40 via the network 20, a packet different from the packet transmitted from the teacher terminal device 30, that is, When the learner's terminal device 40 receives a packet including an error, the teacher terminal device 30 retransmits the same packet to the learner's terminal device 40 in order to correct the error.
[0025]
In the following description, TCP (Transmission Control Protocol) and UDP (User Datagram Protocol) are taken as examples of the first communication protocol and the second communication protocol, respectively. TCP includes a procedure for starting and ending communication in data communication and a packet error correction procedure. On the other hand, UDP omits the packet error correction procedure, specifies multiple terminal devices in the network and sends the same data all at once, specifies a single address and sends data to a specific terminal device. Unicast communication to be transmitted and broadcast communication to transmit data to an unspecified number of terminal devices can be performed.
[0026]
As shown in FIG. 2, the teacher terminal device 30 communicates with the network 20 based on TCP and transmits / receives image data based on UDP, and image data displayed on the image display unit 37. Is captured and divided into a plurality of divided image data in a predetermined division unit, an operation input unit 33 for inputting an operation signal, and an event process for processing an operation signal output from the operation input unit 33 A transfer operation GUI (Graphical User Interface) unit that displays a predetermined image on the image display unit 37 and causes the operation input unit 33 to transfer image data. 36, an image display unit 37 for displaying an image, an audio input / output unit 38 for inputting / outputting audio, and an audio data processing unit for processing audio data And a 9.
[0027]
The transmission / reception processing unit 31 includes a data transmission / reception circuit, a microprocessor, a memory, and the like, and has a unique address on the network 20. The transmission / reception processing unit 31 communicates with a device connected to the network 20 by a communication control command based on TCP, and transmits / receives divided image data by multicast communication based on UDP. Further, the transmission / reception processing unit 31 transmits / receives audio data using a predetermined communication protocol. The transmission / reception processing unit 31 divides the communication control command, the divided image data, and the audio data into packets having a predetermined data size and communicates with other devices.
[0028]
The image capture processing unit 32 includes a microprocessor, a memory, and the like, and captures image data for one screen displayed on the image display unit 37 from the OS that operates the teacher terminal device 30. Further, the image capture processing unit 32 divides image data for one screen by a predetermined division unit, compresses the image for each division unit, adds display position information, and, for example, 1 per second via the transmission / reception processing unit 31. Image data for up to two screens is transmitted to the network 20.
[0029]
The operation input unit 33 includes a keyboard and a pointing device such as a mouse, a trackball, and a pen, and performs key input and image drawing.
[0030]
The event processing unit 34 includes a microprocessor, a memory, and the like, acquires a signal operated by the operation input unit 33, and outputs the acquired operation signal to the transmission / reception processing unit 31 and the transfer operation GUI unit 36. ing. In addition, the event processing unit 34 receives an operation signal operated for remote operation in another terminal device via the transmission / reception processing unit 31 by TCP communication based on the first communication protocol, and the transfer operation GUI unit 36. To output.
[0031]
The image drawing processing unit 35 is configured by a microprocessor, a memory, and the like. After the divided image data received by the transmission / reception processing unit 31 by multicast communication based on UDP is expanded for each division unit, the image data is processed based on the display position information. It is to be stored in the memory.
[0032]
The transfer operation GUI unit 36 includes a microprocessor, a memory, and the like, displays images such as predetermined windows and icons on the image display unit 37, and causes the operation input unit 33 to process the images. Further, the transfer operation GUI unit 36 draws characters, symbols, cursors, and the like on the image display unit 37 based on the operation signal output from the event processing unit 34. Further, the event processing unit 34 receives an operation signal operated for remote operation in another terminal device via the transmission / reception processing unit 31, and outputs the operation signal to the transfer operation GUI unit 36.
[0033]
The image display unit 37 is composed of, for example, a liquid crystal display, and displays an image drawn by the image drawing processing unit 35 and images such as windows and icons drawn by the transfer operation GUI unit 36. In addition, you may comprise the image display part 37 with the liquid crystal display provided with the touch panel.
[0034]
The voice input / output unit 38 is configured by a headset having a microphone and a speaker, an amplifier, and the like. Yes. The audio input / output unit 38 amplifies the audio data received by the transmission / reception processing unit 31 and outputs it to the audio input / output unit 38. The volume of the sound can be adjusted by operating the volume icon displayed by the transfer operation GUI unit 36 with the operation input unit 33. Note that the audio data may be either monaural or stereo.
[0035]
The audio data processing unit 39 includes an amplifier, a filter, a microprocessor, a memory, and the like, and compresses the teacher's voice input by the audio input / output unit 38 and outputs the compressed voice to the transmission / reception processing unit 31. The audio data processing unit 39 is input with audio data compressed by the transmission / reception processing unit 31 and decompresses the audio data. Note that the audio data processing unit 39 executes audio compression and audio expansion based on, for example, an MPEG (Moving Picture Coding Experts Group) system.
[0036]
As shown in FIG. 3, the learner's terminal device 40 is displayed on the image display unit 47 and the transmission / reception processing unit 41 that communicates with the network 20 based on TCP and transmits / receives image data based on UDP, respectively. An image capture processing unit 42 that captures image data and divides it into a plurality of divided image data in a predetermined division unit, an operation input unit 43 that inputs an operation signal, and an operation signal output from the operation input unit 43 An event processing unit 44 that performs image drawing processing, a transfer operation GUI unit 46 that displays a predetermined image on the image display unit 47, and causes the operation input unit 43 to perform image data transfer operations. And an image display unit 47 for displaying an image.
[0037]
The transmission / reception processing unit 41 includes a data transmission / reception circuit, a microprocessor, a memory, and the like, and has a unique address on the network 20. The transmission / reception processing unit 41 communicates with a device connected to the network 20 by a communication control command based on TCP, and transmits / receives divided image data by multicast communication based on UDP. Note that the transmission / reception processing unit 41 divides the communication control command and the divided image data into packets of a predetermined data size and communicates with other devices.
[0038]
The image capture processing unit 42 includes a microprocessor, a memory, and the like, and captures image data for one screen displayed on the image display unit 47 from an OS that operates the learner's terminal device 40. The image capture processing unit 42 divides image data for one screen in a predetermined division unit, compresses the image for each division unit, adds display position information, and, for example, 1 per second via the transmission / reception processing unit 41. Image data for up to two screens is transmitted to the network 20.
[0039]
The operation input unit 43 includes a keyboard and a pointing device such as a mouse, a trackball, and a pen, and performs key input and image drawing.
[0040]
The event processing unit 44 is configured by a microprocessor, a memory, and the like, acquires a signal operated by the operation input unit 43, and outputs the acquired operation signal to the transmission / reception processing unit 41 and the transfer operation GUI unit 46. ing. Also, the event processing unit 44 receives an operation signal operated for remote operation in another terminal device via the transmission / reception processing unit 41 by TCP communication based on the first communication protocol, and performs a transfer operation GUI unit 46. To output.
[0041]
The image drawing processing unit 45 includes a microprocessor, a memory, and the like. After the divided image data received by the transmission / reception processing unit 41 by multicast communication based on UDP is expanded for each division unit, the image data is processed based on the display position information. It is to be stored in the memory.
[0042]
The transfer operation GUI unit 46 includes a microprocessor, a memory, and the like, and displays images such as predetermined windows and icons on the image display unit 47 and causes the operation input unit 43 to process them. The transfer operation GUI unit 46 displays characters, symbols, cursors, and the like on the image display unit 47 based on the operation signal output from the event processing unit 44.
[0043]
The image display unit 47 is configured by a liquid crystal display, for example, and displays an image drawn by the image drawing processing unit 45 and an image such as a window and an icon drawn by the transfer operation GUI unit 46. . In addition, you may comprise the image display part 47 with the liquid crystal display provided with the touch panel.
[0044]
The voice input / output unit 48 includes a headset having a microphone and a speaker, an amplifier, and the like. The voice input / output unit 48 inputs voice uttered by the learner, and the teacher terminal device 30 and other learner terminals via the transmission / reception processing unit 41. Output to at least one of the devices 40. The audio input / output unit 48 amplifies the audio data received by the transmission / reception processing unit 41 and outputs the amplified audio data to the audio input / output unit 48. The volume of the sound can be adjusted by operating the volume icon displayed by the transfer operation GUI unit 46 with the operation input unit 43.
[0045]
The voice data processing unit 49 includes an amplifier, a filter, a microprocessor, a memory, and the like, and compresses the voice of the teacher input by the voice input / output unit 48 and outputs the compressed voice to the transmission / reception processing unit 41. The audio data processing unit 49 receives the audio data compressed by the transmission / reception processing unit 41 and expands the audio. The audio data processing unit 49 executes audio compression and audio expansion based on, for example, the MPEG system.
[0046]
As shown in FIG. 4, the control device 50 includes a transmission / reception processing unit 51 that communicates with the network 20 based on TCP, a data storage unit 52 that stores data, an operation input unit 53 that inputs an operation signal, and an operation input. An event processing unit 54 that processes an operation signal output from the unit 53, a system control GUI unit 55 that displays a predetermined image on the image display unit 56 and controls the system on the operation input unit 53, and an image And an image display unit 56.
[0047]
The transmission / reception processing unit 51 includes a data transmission / reception circuit, a microprocessor, a memory, and the like, and has a unique address on the network 20. The transmission / reception processing unit 51 communicates with a device connected to the network 20 by a communication control command based on TCP. The transmission / reception processing unit 51 divides the communication control command into packets having a predetermined data size and communicates with other devices.
[0048]
The data storage unit 52 includes a hard disk drive, a magneto-optical disk drive, and the like, and stores learner information, process priority setting data, class data, and the like.
[0049]
Here, the learner information refers to information such as a user ID, a password, a name, and face photo data of a learner who uses the learner's terminal device 40. The process priority setting data refers to data for setting a predetermined process priority. In addition, lesson data refers to image data and audio data used by teachers in class.
[0050]
The operation input unit 53 includes a keyboard and a pointing device such as a mouse, a trackball, and a pen, and performs key input and image drawing.
[0051]
The event processing unit 54 includes a microprocessor, a memory, and the like, acquires a signal operated by the operation input unit 53, and outputs the signal to the system control GUI unit 55. In addition, the event processing unit 54 outputs the operation signal received by the transmission / reception processing unit 51 to the system control GUI unit 55.
[0052]
The system control GUI unit 55 is configured by a microprocessor, a memory, and the like, and displays images such as predetermined windows and icons on the image display unit 56 and causes the operation input unit 53 to process them. In addition, the system control GUI unit 55 displays characters, symbols, cursors, and the like on the image display unit 56 based on the operation signal output from the event processing unit 54. Further, the system control GUI unit 55 acquires the operating information of the OS in the terminal device to which the divided image data has been transferred or transferred, or the terminal device to which the audio data has been transmitted and received, and the transfer is performed based on the operating information of the OS. The priority of the process relating to the processing of the divided image data that has been transmitted or transferred, or the process relating to the processing of the transmitted / received audio data is set.
[0053]
Here, the process related to the processing of the transferred or transferred divided image data means that the terminal device to which the divided image data is transferred or transferred displays an image based on the divided image data after receiving the divided image data. This is a process that is executed at the same time from when the image data for one screen is captured to when it is sent to the network (hereinafter simply referred to as a reception display process or an image data transmission process). The reception display process includes an image data reception process, an image data expansion process, and an image data display process. The image data transmission process includes an image data capture process, an image data division process, an image data compression process, and an image data transmission process.
[0054]
In addition, the process related to the processing of the audio data means that the audio input / output unit 38 or the audio input / output unit 48 outputs the audio based on the audio data after the transmission / reception processing unit 31 or the transmission / reception processing unit 41 receives the audio data. Process (hereinafter simply referred to as voice process). The audio process includes an audio data reception process, an audio data decompression process, and an audio data output process.
[0055]
The OS that operates the teacher terminal device 30 and the learner terminal device 40 has a scheduler that processes a process having a high priority first. The system control GUI unit 55 changes the priority of at least one of the image process and the audio process while referring to the scheduler so as to reliably receive the divided image data and the audio data without missing the received divided image data. In addition, the teacher terminal device 30 and the learner terminal device 40 are controlled so that the processing of the voice data is efficiently performed.
[0056]
The image display unit 56 is configured by a liquid crystal display, for example, and displays images such as windows and icons drawn by the system control GUI unit 55. In addition, you may comprise the image display part 56 with the liquid crystal display provided with the touch panel.
[0057]
Next, the operation of the image data transfer system 10 of this embodiment will be described.
[0058]
5, first, a selection image for selecting a terminal device is drawn by the system control GUI unit 55 and displayed on the image display unit 56 (step S11). Next, the operation input unit 53 designates a transfer source terminal device to which image data is transferred (step S12). Further, the operation input unit 53 designates a transfer destination terminal device to which the image data is transferred (step S13).
[0059]
For example, when the image data displayed on the image display unit 37 of the teacher terminal device 30 is transferred to all the learner terminal devices 40, the teacher terminal device 30 transfers the data in step S12 by the operation input unit 53. Designated as the original terminal device, all the learner terminal devices 40 are designated as the transfer destination terminal devices in step S13. In the following description, it is assumed that the transfer source terminal device is the teacher terminal device 30 and the transfer destination terminal devices are all the learner terminal devices 40. It is also assumed that the voice data of the teacher's voice is transmitted to the learner's terminal device 40 together with the image data transferred from the teacher's terminal device 30.
[0060]
Subsequently, based on a designation signal designating the transfer source terminal device received by the system control GUI unit 55 via the event processing unit 54, the image data transfer instruction command is transmitted to the teacher terminal device by TCP. It is transmitted to the terminal device 30 (step S14). At this time, the system control GUI unit 55 transmits the transfer destination of the image data, that is, the multicast IP (Internet Protocol) address information of all the learner terminal devices 40 to the teacher terminal device 30 by a communication control command based on TCP. Is done. Incidentally, a predetermined address may be used.
[0061]
Further, based on the designation signal designating the transfer destination terminal device received via the event processing unit 54 by the system control GUI unit 55, all the image data reception instruction commands by TCP are all the transfer destination terminal devices. It is transmitted to the terminal device for learner 40 (step S15).
[0062]
Then, an image data transfer process (step S16) and an image data reception process (step S17), which will be described later, are executed.
[0063]
Next, the image data transfer process will be described with reference to FIG.
[0064]
In FIG. 6, first, image data displayed on the image display unit 37 is captured from the OS by the image capture processing unit 32 of the teacher terminal device 30 (step S21). Subsequently, the image capture processing unit 32 divides the image data into predetermined division units, for example, every 16 kilobytes (step S22). Further, the image capture processing unit 32 compresses the divided image data for each division unit by, for example, JPEG (Joint Photographic Coding Experts Group) method (step S23). Thereafter, display position information is added for each division unit (step S24).
[0065]
Then, the transmission / reception processing unit 31 transfers the divided image data, which is image-compressed for each division unit by multicast communication based on UDP, to all the learner's terminal devices 40 designated by the multicast IP address (step S25). ).
[0066]
Next, the audio data transmission process executed simultaneously with the above-described image data transfer process will be described with reference to FIG.
[0067]
In FIG. 7, first, a teacher's voice is input by the voice input / output means 38 (step S31). Next, the audio data processing unit 39 compresses the audio data by, for example, the MPEG method (step S32). Then, the transmission / reception processing unit 31 transmits the voice data to all the learner terminal devices 40 (step S33).
[0068]
Next, image data reception processing will be described with reference to FIG.
[0069]
In FIG. 8, first, the transmission / reception processing units 41 of all the learner terminal devices 40 receive the divided image data transferred by multicast communication (step S41). Next, the image drawing processing unit 45 decompresses the divided image data for each division unit (step S42), acquires image display position information, and determines the image display position (step S43). Further, the image drawing processing unit 45 stores the image data in the memory (step S44). Then, the image display unit 47 reads out the image data stored in the memory and displays the image (step S45).
[0070]
Next, the audio data receiving process executed simultaneously with the above-described image data receiving process will be described with reference to FIG.
[0071]
In FIG. 9, the transmission / reception processing unit 41 receives the audio data transmitted from the teacher terminal device 30 (step S51). Next, the audio data processing unit 49 decompresses the audio data by, for example, the MPEG method (step S52). Then, the voice of the teacher is output by the voice input / output unit 48 (step S53).
[0072]
As described above, the divided image data transmitted from the teacher terminal device 30 is simultaneously transferred to all the learner terminal devices 40 by multicast communication based on UDP, and is transmitted to the image display unit 37 of the teacher terminal device 30. An image synchronized with the displayed image is displayed on the image display unit 47 of all the learner terminal devices 40. The voice data transmitted from the teacher terminal device 30 is transmitted to all the learner terminal devices 40 based on a predetermined communication protocol, and is output to the voice input / output unit 48.
[0073]
Next, the priority control processing of the image process and the audio process executed by the system control GUI unit 55 by the communication control command based on TCP will be described with reference to FIG. The priority control processing of both processes is executed together with the start of the above-described image data reception processing in each learner's terminal device 40 that is the transfer destination of the image data.
[0074]
In FIG. 10, first, an initial value of process priority is set based on process priority setting data read in advance from the data storage unit 52 (step S61). When the process priority is set in 32 steps from 0 to 31 in which the priority increases as the numerical value increases, the priority of each process included in the image process and the audio process is initially set to 16, for example. . The system control GUI unit 55 may be configured to display a priority setting window for the image process and the audio process so that the priorities of both processes are initially set by operating the operation input unit 53.
[0075]
Subsequently, OS operation information is acquired for each learner's terminal device 40 by referring to the OS scheduler (step S62).
[0076]
Subsequently, it is determined whether the audio data is being processed (step S63). If it is determined that the audio data is being processed, the priority of the audio process is increased (step S64), and the priority of the image process is decreased (step S65). That is, in the learner's terminal device 40, when the audio data and the image data are received simultaneously, the system control GUI unit 55 gives priority to the audio data processing over the image data processing, and the audio is interrupted. Both processes are controlled so as not to generate any.
[0077]
On the other hand, if it is not determined in step S63 that the audio data is being processed, the priority of the image process is increased (step S66). That is, when only the image data is received in the learner's terminal device 40, the system process GUI unit 55 gives priority to the processing of the image data and controls the image process so that the maximum performance can be exhibited. .
[0078]
In addition, when changing the priority of the image process or the audio process, the priority of each process included in both processes may be changed for each process, or the priority of the image process or the audio process is collectively set to the same priority. It may be set to degrees.
[0079]
Subsequently, it is determined whether or not the reception of the image data has ended (step S67). If it is determined that the reception of the image data has ended, the priority control process of the process is ended, and the reception of the image data is ended. If it is not determined that the process has been performed, the process returns to step S62.
[0080]
In addition, as shown in FIG. 11, it is good also as a structure provided with the control apparatus 60 comprised by integrating the above-mentioned teacher terminal device 30 and the control apparatus 50, and comprised with one personal computer. With this configuration, the teacher can perform lessons and transfer control of image data with a single computer.
[0081]
The above-described TCP and UDP are examples for explaining the present embodiment, and the present invention is not limited to these. Further, the divided image data may be transferred to a specific terminal device by unicast communication instead of multicast communication.
[0082]
Further, the image drawing processing unit 35 or the image drawing processing unit 45 constitutes an image expansion unit. The image display unit 37 or the image display unit 47 constitutes an image display unit. The image capture processing unit 32 or the image capture processing unit 42 constitutes an image data capturing unit and an image compression unit. The system control GUI unit 55 constitutes transfer control means and priority control means. The transmission / reception processing unit 31 or the transmission / reception processing unit 41 constitutes a terminal-side communication unit, and the transmission / reception processing unit 51 constitutes a control-side communication unit.
[0083]
As described above, according to the image data transfer system 10 of the present embodiment, the transmission / reception processing unit 31 and the transmission / reception processing unit 41 communicate with each terminal device connected to the network 20 by a communication control command based on TCP, Since the divided image data is transmitted / received by multicast communication based on UDP and the audio data is transmitted / received based on a predetermined communication protocol, even when image data and audio data are transmitted / received simultaneously between terminal devices, The image data can be transferred without causing interruptions.
[0084]
Further, according to the image data transfer system 10 of the present embodiment, the image capture processing unit 32 and the image capture processing unit 42 are configured to divide the image data for each predetermined division unit. It is possible to make the image data packet 37 less likely to be affected by the loss of the image data packet, and to reduce the disturbance of the images displayed on the image display unit 37 and the image display unit 47.
[0085]
Furthermore, according to the image data transfer system 10 of the present embodiment, the image capture processing unit 32 and the image capture processing unit 42 transmit the image-compressed divided image data to the network 20, thereby reducing the load on the network 20. can do.
[0086]
Furthermore, according to the image data transfer system 10 of the present embodiment, the teacher terminal device 30 and the control device 50 can be configured by one or two personal computers, so the system configuration is determined flexibly. be able to.
[0087]
In the description of the operation of the image data transfer system 10 according to the present embodiment, it is assumed that the transfer source terminal device is the teacher terminal device 30 and the transfer destination terminal device is all the learner terminal devices 40. Although described, it is not limited to this combination. For example, when the transfer source terminal device is one of the learner terminal devices 40 and the transfer destination terminal device is another one of the learner terminal devices 40 or a plurality of learner terminal devices 40, the above-described effects can be obtained. Similar effects can be obtained.
[0088]
【The invention's effect】
As described above, according to the present invention, it is possible to provide an image data transfer system that can transfer image data without causing sound interruption.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image data transfer system according to an embodiment of the present invention. FIG. 2 is a block diagram of a teacher terminal device according to an embodiment of the present invention. FIG. 4 is a block diagram of a control apparatus according to an embodiment of the present invention. FIG. 5 is a flowchart of each step of the image data transfer system according to the embodiment of the present invention. Flowchart [FIG. 7] Flowchart of audio data transmission processing [FIG. 8] Flowchart of image data reception processing [FIG. 9] Flowchart of audio data reception processing [FIG. 10] Flowchart of process priority control processing [FIG. Block diagram showing an example in which the device 30 and the control device 50 are configured by one personal computer.
DESCRIPTION OF SYMBOLS 10 Image data transfer system 20 Network 30 Teacher terminal device 31, 41 Transmission / reception processing part (communication means, terminal side communication means)
51 Transmission / reception processor (control-side communication means)
32, 42 Image capture processing unit (image data capturing means, image compression means, terminal side image compression means)
33, 43, 53 Operation input unit 34, 44, 54 Event processing unit 35, 45 Image drawing processing unit (image expansion means, terminal side image expansion means)
36, 46 Transfer operation GUI units 37, 47, 56 Image display unit (image display means)
38, 48 Audio input / output unit 39, 49 Audio data processing unit 40 Learner's terminal device 50, 60 Control device 52 Data storage unit 55 System control GUI unit (control means, priority control means)

Claims

An image display means for displaying an image, an image data capturing means for capturing the image data and dividing it into a plurality of divided image data in a predetermined division unit, and a first communication protocol including an error correction procedure in data communication And a communication means for communicating with the network based on the second communication protocol not including the error correction procedure and transmitting / receiving the divided image data based on a predetermined communication protocol. A terminal device characterized by the above.

A terminal device connected to the network and a control device for controlling the transfer of image data;
The terminal device includes image display means for displaying an image, image data capturing means for capturing the data of the image and dividing the image data into a plurality of divided image data, and an error correction procedure in data communication. A terminal that communicates with the network based on one communication protocol, transmits / receives the divided image data based on a second communication protocol that does not include the error correction procedure, and transmits / receives audio data based on a predetermined communication protocol Side communication means,
The image data transfer characterized in that the control device comprises a control side communication means for communicating with the terminal device based on the first communication protocol, and a transfer control means for controlling the transfer of the divided image data. system.

The terminal device includes image compression means for compressing the divided image data for each division unit, and image expansion means for expanding the image-compressed divided image data for each division unit. The image data transfer system according to claim 2.

The control device controls priority of a process related to processing of at least one of the divided image data and the audio data in the terminal device to which the divided image data has been transferred according to a predetermined condition. 4. The image data transfer system according to claim 2, further comprising means.

A terminal device connected to the network and a control device for controlling the transfer of image data;
The terminal device includes a terminal-side image display unit that displays an image, a terminal-side image data capturing unit that captures the data of the image and divides the image data into a plurality of divided image data, and error correction in data communication The communication with the network is performed based on a first communication protocol including a procedure, the divided image data is transmitted / received based on a second communication protocol not including the error correction procedure, and the audio data is transmitted based on a predetermined communication protocol. A terminal side communication means for transmitting and receiving
The control device includes: a control-side image display unit that displays an image; a control-side image data capturing unit that captures the image data and divides the image data into a plurality of divided image data; and error correction in data communication The communication with the network is performed based on a first communication protocol including a procedure, the divided image data is transmitted / received based on a second communication protocol not including the error correction procedure, and the audio data is transmitted based on a predetermined communication protocol. An image data transfer system comprising: a control-side communication unit that transmits / receives image data; and a transfer control unit that controls transfer of the divided image data.

The terminal device and the control device include: an image compression unit that compresses the divided image data for each division unit; and a terminal-side image expansion unit that decompresses the image-compressed divided image data for each division unit. The image data transfer system according to claim 5, further comprising:

The control device controls priority of a process related to processing of at least one of the divided image data and the audio data in the terminal device and the control device to which the divided image data is transferred according to a predetermined condition. 7. The image data transfer system according to claim 5, further comprising a priority control unit for controlling the image data.