JP2005338510A - Lecturer's terminal apparatus, trainee's terminal apparatus and server apparatus in remote teaching system - Google Patents

Lecturer's terminal apparatus, trainee's terminal apparatus and server apparatus in remote teaching system Download PDF

Info

Publication number
JP2005338510A
JP2005338510A JP2004158336A JP2004158336A JP2005338510A JP 2005338510 A JP2005338510 A JP 2005338510A JP 2004158336 A JP2004158336 A JP 2004158336A JP 2004158336 A JP2004158336 A JP 2004158336A JP 2005338510 A JP2005338510 A JP 2005338510A
Authority
JP
Japan
Prior art keywords
document
stroke data
audio
video
lecture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004158336A
Other languages
Japanese (ja)
Inventor
Junko Shimizu
淳子 志水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Solutions Corp filed Critical Toshiba Corp
Priority to JP2004158336A priority Critical patent/JP2005338510A/en
Publication of JP2005338510A publication Critical patent/JP2005338510A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a lecturer's terminal apparatus, a trainee's terminal apparatus and a server apparatus in a remote teaching system which can suppress out-of-synchronization among lecturer's image and voice and the movement of a pointing image on the trainee's terminal to a degree of problem-free in human senses. <P>SOLUTION: The lecturer's terminal prepares the stroke data of a pointing image, adds information (time stamp) of elapsed time from the transfer start of images and sounds of a lecture to the stroke data and transfers the information-added stroke data to a server. Whereas, the trainee's terminal compares the time stamp added to the stroke data received through the server with internal clock and starts the plotting of the pointing image based on the stroke data at timing that the current time of the inner clock reaches the time of the time stamp. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、講義者端末と受講者端末との間で遠隔授業を行うシステムに係り、特に、講義者端末から受講者端末に、講義の映像・音声と、教材としてのドキュメントと、このドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡を示すストロークデータとを独立して転送する遠隔授業システムの講義者端末装置、受講者端末装置及びサーバ装置に関する。   The present invention relates to a system for conducting a remote lesson between a lecturer terminal and a student terminal, and in particular, from a lecturer terminal to a student terminal, a lecture video / audio, a document as a teaching material, The present invention relates to a lecturer terminal device, a student terminal device, and a server device of a remote lesson system that independently transfers stroke data indicating a movement trajectory of a pointing image for pointing an arbitrary position.

ネットワークを通じて講義者端末と受講者端末との間で遠隔授業を行うシステムでは、双方の端末を中継するサーバは、教材ドキュメントを講義者端末と受講者端末の双方に配信し、各々の表示部に表示させている。また、この種の遠隔授業を行うシステムでは、講義者の映像と音声のデータを受講者端末に配信することで、ライブ形式で遠隔授業で受けられる仕組みも実現されている(たとえば特許文献1を参照)。さらに、このライブ形式の遠隔授業システムでは、表示中のドキュメントの説明位置や注目位置を講義者から受講者に伝えるためのポインティングイメージのイメージを、講義者が講義画面上で動かした通りに受講画面上でも移動させる仕組みも実現されている。
特開2002−202941号公報
In a system in which a remote lesson is performed between a lecturer terminal and a student terminal through a network, a server that relays both terminals distributes teaching material documents to both the lecturer terminal and the student terminal, and displays them on each display unit. It is displayed. In addition, in this type of distance learning system, a mechanism for receiving a remote lesson in a live format is realized by distributing the video and audio data of the lecturer to the student terminal (for example, see Patent Document 1). reference). In addition, in this live-type remote lesson system, the image of the pointing image that conveys the explanation position and the attention position of the displayed document from the lecturer to the student is displayed as the lecturer moves on the lecture screen. There is also a mechanism for moving it up.
JP 2002-202941 A

しかしながら、講義者の映像・音声の受講者端末への伝送と、ポインティングイメージの移動の軌跡データであるストロークデータの伝送とを独立して行う構成とした場合、各々のデータの伝送時間の差により、受講者端末の画面上での講義者の映像・音声とポインティングイメージの動きとの間に無視できない程度の同期ずれが発生し、遠隔授業の品質が低下するおそれがあった。   However, when the transmission of the lecturer's video / audio to the student terminal and the transmission of the stroke data, which is the trajectory data of the pointing image, are performed independently, due to the difference in the transmission time of each data There was a possibility that the synchronism of the lecturer's video / audio on the screen of the student's terminal and the movement of the pointing image could not be ignored, and the quality of the distance learning was degraded.

本発明は、このような課題を解決するためになされたものであり、受講者端末装置上での講義者の映像・音声とポインティングイメージの動きとの同期ずれを、人間の感覚上問題の無い程度に抑えることのできる遠隔授業システムの講義者端末装置、受講者端末装置及びサーバ装置を提供することを目的としている。   The present invention has been made in order to solve such a problem, and there is no problem in terms of human sensation in synchronization between the video / audio of the lecturer and the movement of the pointing image on the student terminal device. It is an object of the present invention to provide a lecturer terminal device, a student terminal device, and a server device of a remote lesson system that can be suppressed to a degree.

かかる目的を達成するために、本発明の講義者端末装置は、講義者端末装置から受講者端末装置に、講義の映像・音声と、教材としてのドキュメント及びこのドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡データであるストロークデータとを独立して転送する遠隔授業システムの講義者端末装置であって、ドキュメント及びポインティングイメージを表示可能な表示手段と、ポインティングイメージを移動させるための入力を受け付ける入力手段と、ポインティングイメージの移動の軌跡を示すストロークデータを作成するとともに、この作成したストロークデータに、講義の映像・音声の転送開始からの経過時間の情報を付加して転送するストロークデータ作成手段とを具備することを特徴とする。   In order to achieve such an object, the lecturer terminal device of the present invention points from the lecturer terminal device to the student terminal device to indicate the video / audio of the lecture, the document as the teaching material, and any position on the document. A lecturer terminal device for a distance learning system that independently transfers stroke data, which is a movement data of a pointing image, and a display means capable of displaying a document and a pointing image, and for moving the pointing image Stroke to be transferred with input means that accepts input and stroke data indicating the movement trajectory of the pointing image, and with information on the elapsed time from the start of video / audio transfer of the lecture added to the created stroke data And a data creation means.

また、本発明の受講者端末装置は、講義者端末装置から受講者端末装置に、講義の映像・音声と、教材としてのドキュメント及びこのドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡データであるストロークデータとを独立して転送する遠隔授業システムの受講者端末装置であって、ドキュメント及びポインティングイメージを表示可能な表示手段と、受信した講義の映像・音声を再生するとともに、受信したポインティングイメージのストロークデータに付加されている講義の映像・音声の転送開始からの経過時間と内部時計とを比較し、この比較結果に基づき、ポインティングイメージのストロークデータによる描画のタイミングを制御する受講画面・音声処理手段とを具備することを特徴とする。   In addition, the student terminal device of the present invention can move a lecture video / audio, a document as a teaching material, and a pointing image for pointing to an arbitrary position on the document from the lecturer terminal device to the student terminal device. A remote lesson system student terminal device that independently transfers stroke data, which is trajectory data, and display means capable of displaying documents and pointing images, as well as playing and receiving received lecture video and audio Compare the elapsed time from the start of video and audio transfer of the lecture attached to the stroke data of the pointing image and the internal clock, and based on the comparison result, take the lecture to control the timing of drawing with the stroke data of the pointing image And a screen / audio processing means.

また、この発明の受講者端末装置は、内部時計の時刻を現在の講義の映像・音声の再生時刻で調整する手段をさらに有するものとしてもよい。   In addition, the student terminal device of the present invention may further include means for adjusting the time of the internal clock with the video / audio playback time of the current lecture.

さらに、本発明のサーバ装置は、講義者端末装置から受講者端末装置に、講義の映像・音声と、教材としてのドキュメント及びこのドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡データであるストロークデータとを独立して転送する遠隔授業システムのサーバ装置であって、講義者端末装置から転送された、講義の映像・音声の転送開始からの経過時間の情報が付加されたストロークデータを取得し、受講者端末装置に配信するストロークデータ取得・配信手段を具備することを特徴とする。   Furthermore, the server device of the present invention provides a lecture video / audio, a document as a teaching material, and pointing image movement trajectory data for pointing an arbitrary position on the document from the lecturer terminal device to the student terminal device. Is a server device of a remote lesson system that independently transfers the stroke data, which is transferred from the lecturer terminal device, the stroke data to which information on the elapsed time from the start of the transfer of lecture video / audio is added It is characterized by comprising stroke data acquisition / distribution means for acquiring and distributing to a student terminal device.

本発明の遠隔授業システムの講義者端末装置、受講者端末装置及びサーバ装置によれば、受講者端末装置上での講義者の映像・音声とポインティングイメージの動きとの同期ずれを、人間の感覚上問題の無い程度に抑えることができる。   According to the lecturer terminal device, the student terminal device, and the server device of the distance learning system of the present invention, the synchronization deviation between the video / audio of the lecturer and the movement of the pointing image on the student terminal device is detected by human senses. It can be suppressed to the extent that there is no problem.

以下、図面を参照して本発明の実施の形態について説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図1は本発明の一実施形態にかかる遠隔授業システムの構成を示すブロック図である。   FIG. 1 is a block diagram showing a configuration of a remote lesson system according to an embodiment of the present invention.

同図に示すように、遠隔授業システム100は、教材ドキュメント配信サーバ1、講義者端末3、受講者端末5、ビデオ・オーディオエンコーダ7、ビデオ・オーディオ配信サーバ9とを備えて構成される。これらの装置は、インターネットなどのネットワーク48を通じて接続される。   As shown in the figure, the distance learning system 100 includes a teaching material document distribution server 1, a lecturer terminal 3, a student terminal 5, a video / audio encoder 7, and a video / audio distribution server 9. These devices are connected through a network 48 such as the Internet.

教材ドキュメント配信サーバ1は、講義者端末3及び受講者端末5に対して教材となるドキュメントのデータの配信を行うとともに、講義者端末3より講義画面に表示中のドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡データであるストロークデータを取得して受講者端末5に転送するサービスを行うためのサーバである。   The educational material document distribution server 1 distributes document data serving as educational materials to the lecturer terminal 3 and the student terminal 5, and indicates an arbitrary position on the document displayed on the lecture screen from the lecturer terminal 3. It is a server for performing a service for acquiring stroke data, which is the locus data of the pointing image movement, and transferring it to the student terminal 5.

講義者端末3は、講義者が講義を行うための環境を提供する端末である。講義者端末3は、表示部11、マウスなどの入力部13、講義画面処理部15及びストロークデータ作成部17とを備えている。なお、講義画面処理部15及びストロークデータ作成部17は図示しない処理演算装置とメインメモリと処理演算装置とにより実行されるプログラムとで実現される。   The lecturer terminal 3 is a terminal that provides an environment for the lecturer to give a lecture. The lecturer terminal 3 includes a display unit 11, an input unit 13 such as a mouse, a lecture screen processing unit 15, and a stroke data creation unit 17. The lecture screen processing unit 15 and the stroke data creation unit 17 are realized by a processing arithmetic device (not shown), a main memory, and a program executed by the processing arithmetic device.

講義画面処理部15は、教材ドキュメント配信サーバ1よりドキュメントデータをネットワーク48を通じてダウンロードし、たとえば図2に示すように、ダウンロードしたドキュメント81を含む講義画面82を作成して表示部11の画面に表示する処理を行う。この講義画面82には、講義者がマウス、キーボードやタッチパネル等の入力部13を操作することによって移動させることが可能なポインティングイメージ(差し棒)83と、ビデオ・オーディオデコーダ25によりデコードされたビデオデータを処理再生した結果としての講義者の講義映像84が表示される。さらに、講義画面82には、講義者からのドキュメントの更新要求などを受け付けるためのボタン85、86、87、88、89が表示される。ドキュメントの更新要求には、表示中のドキュメントの次のドキュメントの要求、前のドキュメントの要求、先頭のドキュメントの要求、最後尾のドキュメントの要求などがあるが、ドキュメントの更新要求の種類としては特にこれらの要求に限られない。   The lecture screen processing unit 15 downloads document data from the teaching material document distribution server 1 through the network 48, and creates a lecture screen 82 including the downloaded document 81 and displays it on the screen of the display unit 11, for example, as shown in FIG. Perform the process. The lecture screen 82 includes a pointing image 83 that can be moved by the lecturer operating the input unit 13 such as a mouse, a keyboard, and a touch panel, and a video decoded by the video / audio decoder 25. A lecture video 84 of the lecturer as a result of processing and reproducing the data is displayed. Furthermore, buttons 85, 86, 87, 88, and 89 for receiving a document update request from a lecturer are displayed on the lecture screen 82. Document update requests include requests for the next document after the displayed document, requests for the previous document, requests for the first document, requests for the last document, etc. It is not limited to these requests.

ストロークデータ作成部17は、入力部13を用いて講義者によって移動操作されるポインティングイメージの座標を所定の時間をもって周期的にサンプリングし、この座標のサンプリング結果からポインティングイメージのストロークデータを作成し、このストロークデータに講義画面82の位置に対応するタイムスタンプを付加して教材ドキュメント配信サーバ1にネットワーク48を通じて転送する処理を行う。このタイムスタンプは、教材ドキュメント配信サーバ1に問い合わせした講義開始(講義の映像・音声の転送開始)からの経過時間を基に設定された内部時計の時刻から作成されたものである。すなわち、内部時計の時刻は、講義者端末3がリアルタイムで知り得る講義開始からの経過時間を示す。   The stroke data creation unit 17 periodically samples the coordinates of the pointing image moved by the lecturer using the input unit 13 with a predetermined time, creates the stroke data of the pointing image from the sampling result of the coordinates, A process of adding a time stamp corresponding to the position of the lecture screen 82 to the stroke data and transferring it to the teaching material document distribution server 1 through the network 48 is performed. This time stamp is created from the time of the internal clock set based on the elapsed time from the start of the lecture inquired to the teaching material document distribution server 1 (start of transfer of lecture video / audio). That is, the time of the internal clock indicates the elapsed time from the start of the lecture that the lecturer terminal 3 can know in real time.

受講者端末5は、受講者が講義を受講するための環境を提供する端末である。受講者端末5は、表示部21、音声出力部22、マウス、キーボードやタッチパネル等の入力部23、ビデオ・オーディオデコーダ25及び受講画面・音声処理部27を備える。なお、ビデオ・オーディオデコーダ25及び受講画面・音声処理部27は図示しない処理演算装置とメインメモリと処理演算装置とにより実行されるプログラムとで実現される。   The student terminal 5 is a terminal that provides an environment for the student to take a lecture. The student terminal 5 includes a display unit 21, an audio output unit 22, an input unit 23 such as a mouse, a keyboard and a touch panel, a video / audio decoder 25, and a attendance screen / audio processing unit 27. The video / audio decoder 25 and the attendance screen / audio processing unit 27 are realized by a processing arithmetic device (not shown), a main memory, and a program executed by the processing arithmetic device.

受講画面・音声処理部27は、教材ドキュメント配信サーバ1よりドキュメントデータと、タイムスタンプ付きのストロークデータをネットワーク48を通じてダウンロードし、ダウンロードしたドキュメントデータを含む受講画面を作成して表示部21に表示するとともに、ダウンロードしたタイムスタンプ付きのストロークデータに基づいて受講画面上にポインティングイメージを動的に描画する処理などを行う。   The attendance screen / audio processing unit 27 downloads document data and stroke data with a time stamp from the teaching material document distribution server 1 through the network 48, creates a attendance screen including the downloaded document data, and displays it on the display unit 21. Along with the downloaded stroke data with a time stamp, a process of dynamically drawing a pointing image on the attendance screen is performed.

ビデオ・オーディオデコーダ25は、講義者の講義の様子を映像と音声で捕らえたデータをビデオ・オーディオ配信サーバ9よりネットワーク48を通じてダウンロードしてデコードする。受講画面・音声処理部27は、図2に示したように、ビデオ・オーディオデコーダ25より与えられたビデオデータを処理して受講画面82に講義映像84を表示するとともに、同じくビデオ・オーディオデコーダ25より与えられたオーディオデータを処理して音声出力部22を通して可聴音として出力する。   The video / audio decoder 25 downloads data obtained by capturing the lecturer's lecture with video and audio from the video / audio distribution server 9 through the network 48 and decodes the data. As shown in FIG. 2, the attendance screen / audio processing unit 27 processes the video data supplied from the video / audio decoder 25 and displays the lecture video 84 on the attendance screen 82, and also the video / audio decoder 25. The given audio data is processed and output as an audible sound through the audio output unit 22.

ビデオ・オーディオエンコーダ7は、たとえばPCなどの情報処理装置を用いて実現される。ビデオ・オーディオエンコーダ7は、マイク付きビデオカメラ29でとらえた講義者の講義映像及び音声を伝送に適したデータ形式にエンコードし、ネットワーク48を通じてビデオ・オーディオ配信サーバ9に転送する。   The video / audio encoder 7 is realized by using an information processing apparatus such as a PC. The video / audio encoder 7 encodes the lecture video and audio of the lecturer captured by the video camera 29 with microphone into a data format suitable for transmission, and transfers the encoded video to the video / audio distribution server 9 through the network 48.

ビデオ・オーディオ配信サーバ9は、ビデオ・オーディオエンコーダ7より転送されたビデオ・オーディオデータを、受講者端末5に配信する機能を有する。   The video / audio distribution server 9 has a function of distributing the video / audio data transferred from the video / audio encoder 7 to the student terminal 5.

図3は、上記の教材ドキュメント配信サーバ1のより詳細な構成を講義者端末3及び受講者端末5との関係において示すブロック図である。   FIG. 3 is a block diagram showing a more detailed configuration of the teaching material document distribution server 1 in relation to the lecturer terminal 3 and the student terminal 5.

教材ドキュメント配信サーバ1は、ドキュメント提供部31とストロークデータ取得・配信部33とを有する。   The teaching material document distribution server 1 includes a document providing unit 31 and a stroke data acquisition / distribution unit 33.

ドキュメント提供部31は、ドキュメント順番定義ファイル35、ドキュメント管理部37、ドキュメントデータベース(DB)39、及びドキュメント配信部41を備える。   The document providing unit 31 includes a document order definition file 35, a document management unit 37, a document database (DB) 39, and a document distribution unit 41.

ドキュメント順番定義ファイル35は、講義の進行に沿ったドキュメントの順番が具体的に定義されたファイルである。このドキュメント順番定義ファイル35には、具体的には、ドキュメント名、ドキュメントデータの置き場所を示すURLなどのアドレス情報、順番などからなるドキュメントに関するデータのセットがドキュメント数分記述されている。   The document order definition file 35 is a file in which the order of documents along the course of the lecture is specifically defined. In the document order definition file 35, specifically, a set of data relating to a document including a document name, address information such as a URL indicating a place where document data is placed, and the order is described for the number of documents.

ドキュメント管理部37は、講義者端末3からのドキュメントの更新要求に応じて、その講義者端末3に最後に配信したドキュメントの、次のドキュメント、一つ前の順番のドキュメント、先頭のドキュメント、最後尾のドキュメントなど、講義者が指定したドキュメントデータのアドレス情報をドキュメント順番定義ファイル35より読み込み、講義者端末3に応答する。   In response to a document update request from the lecturer terminal 3, the document management unit 37 receives the next document, the previous document, the first document, and the last document of the last document delivered to the lecturer terminal 3. The address information of the document data designated by the lecturer such as the tail document is read from the document order definition file 35 and responds to the lecturer terminal 3.

ドキュメントデータベース39は、上記のアドレス情報によって個々に選択可能なドキュメントのデータ群が格納されたデータベースである。ドキュメントのデータは、たとえばHTML形式の文書データなどである。   The document database 39 is a database in which data groups of documents that can be individually selected by the above address information are stored. The document data is, for example, HTML format document data.

ドキュメント配信部41は、講義者端末3からの配信要求に応じてドキュメントデータベース39から該当するドキュメントデータを読み出して講義者端末3に配信する。ドキュメント配信部41が講義者端末3より受信する配信要求には、講義者端末3がドキュメント管理部37を通じて取得したドキュメントの置き場所を示すアドレス情報が含まれている。ドキュメント配信部41はこのアドレス情報に基づいて該当するドキュメントデータをドキュメントデータベース39から読み込み、講義者端末3に配信する。   In response to a distribution request from the lecturer terminal 3, the document distribution unit 41 reads out the corresponding document data from the document database 39 and distributes it to the lecturer terminal 3. The distribution request received from the lecturer terminal 3 by the document distribution unit 41 includes address information indicating the location of the document acquired by the lecturer terminal 3 through the document management unit 37. Based on this address information, the document distribution unit 41 reads the corresponding document data from the document database 39 and distributes it to the lecturer terminal 3.

ストロークデータ取得・配信部33は、講義者端末3のストロークデータ作成部17にて作成されたポインティングイメージのタイムスタンプ付きのストロークデータをネットワーク48を通じて受信するストロークデータ取得部43と、ストロークデータ取得部43にて受信したタイムスタンプ付きのストロークデータを一時的に格納するメモリ45と、メモリ45に格納されたタイムスタンプ付きのストロークデータを受講者端末5に配信するストロークデータ配信部47とを備える。   The stroke data acquisition / distribution unit 33 includes a stroke data acquisition unit 43 that receives the time-stamped stroke data of the pointing image created by the stroke data creation unit 17 of the lecturer terminal 3 through the network 48, and a stroke data acquisition unit. The memory 45 temporarily stores the time-stamped stroke data received at 43, and the stroke data distribution unit 47 that distributes the time-stamped stroke data stored in the memory 45 to the student terminal 5.

次に、この遠隔授業システム100において、受講画面上の講義映像とポインティングイメージの動きとの同期をとる処理の流れを参照して説明する。   Next, description will be made with reference to a flow of processing for synchronizing the lecture video on the attendance screen and the movement of the pointing image in the remote lesson system 100.

図4は講義者端末3と教材ドキュメント配信サーバ1との間での処理の流れを示すシーケンス図である。   FIG. 4 is a sequence diagram showing a flow of processing between the lecturer terminal 3 and the teaching material document distribution server 1.

まず、講義者端末3において、講義者が入力部13を使って表示部11の講義画面上で開始ボタンを押すなどして講義開始を指定する情報が講義画面処理部15に与えられると(ステップ401)、講義画面処理部15は教材ドキュメント配信サーバ1に講義開始の通知情報を送る(ステップ402)。   First, in the lecturer terminal 3, when the lecturer uses the input unit 13 to press the start button on the lecture screen of the display unit 11 to give information specifying the lecture start to the lecture screen processing unit 15 (steps). 401), the lecture screen processing section 15 sends lecture start notification information to the teaching material document distribution server 1 (step 402).

教材ドキュメント配信サーバ1のストロークデータ取得部43は、講義開始の通知情報を受け取ると(ステップ403)、ビデオ・オーディオエンコーダ7に起動を要求し(ステップ404)、起動時の現在時刻をビデオ・オーディオエンコーダ7がエンコードを開始した時刻(以下「講義開始時刻」という)として、内部時計にセットする(ステップ405)。この後、教材ドキュメント配信サーバ1は、ドキュメント提供部31のドキュメント配信部41により、ドキュメントデータベース39の先頭のドキュメントデータを読み込み、講義者端末3に送信する(ステップ406)。   Upon receiving the lecture start notification information (step 403), the stroke data acquisition unit 43 of the learning material document distribution server 1 requests the video / audio encoder 7 to start (step 404), and the current time at the start is determined by video / audio. The time when the encoder 7 starts encoding (hereinafter referred to as “lecture start time”) is set in the internal clock (step 405). Thereafter, the teaching material document distribution server 1 reads the first document data in the document database 39 by the document distribution unit 41 of the document providing unit 31 and transmits it to the lecturer terminal 3 (step 406).

講義者端末3の講義画面処理部15は、教材ドキュメント配信サーバ1からのドキュメントデータを取得すると(ステップ407)、このドキュメントデータを用いて講義画面を作成して表示部11に表示し(ステップ408)、教材ドキュメント配信サーバ1にセットされた内部時計に対して、講義開始時刻からの経過時間を問い合わせる(ステップ409)。教材ドキュメント配信サーバ1のストロークデータ取得部43は、講義者端末3の講義画面処理部15からの講義開始時刻からの経過時間の問い合わせを受信し(ステップ410)、講義開始時刻からの経過時間を講義者端末3に応答する(ステップ411)。講義者端末3の講義画面処理部15は、応答を受けた経過時間を講義者端末3の内部時計にセットする(ステップ412)。   When the lecture screen processing unit 15 of the lecturer terminal 3 acquires the document data from the teaching material document distribution server 1 (step 407), a lecture screen is created using the document data and displayed on the display unit 11 (step 408). ) Inquires the elapsed time from the lecture start time to the internal clock set in the teaching material document distribution server 1 (step 409). The stroke data acquisition unit 43 of the teaching material document distribution server 1 receives an inquiry about the elapsed time from the lecture start time from the lecture screen processing unit 15 of the lecturer terminal 3 (step 410), and calculates the elapsed time from the lecture start time. It responds to the lecturer terminal 3 (step 411). The lecture screen processing unit 15 of the lecturer terminal 3 sets the elapsed time when the response is received in the internal clock of the lecturer terminal 3 (step 412).

講義者端末3において、入力部13を使って講義者によりポインティングイメージの操作が行われると(ステップ413)、ストロークデータ作成部17にてストロークデータの作成が行われる(ステップ414)。   In the lecturer terminal 3, when the pointing image is operated by the lecturer using the input unit 13 (step 413), the stroke data creation unit 17 creates stroke data (step 414).

ストロークデータの作成は、たとえば次のように行われる。図5は、このストロークデータ作成の処理手順を示すフローチャートである。   For example, the stroke data is created as follows. FIG. 5 is a flowchart showing a processing procedure for creating the stroke data.

ストロークデータ作成部17は、講義画面上でポインティングイメージを移動させるための操作入力を監視しており、ポインティングイメージの移動操作中、ポインティングイメージの座標を周期的にサンプリングし(ステップ501)、この座標のサンプリング結果からポインティングイメージのストロークデータを作成し(ステップ502)、講義者端末3内のメモリに蓄積する(ステップ503)。次に、メモリ上に蓄積されたストロークデータを、ポインティングイメージの座標サンプリング周期のN倍の単位でまとめて伝送用のデータブロックを作成する(ステップ504)。Nは自然数とする。   The stroke data creation unit 17 monitors the operation input for moving the pointing image on the lecture screen, and periodically samples the coordinates of the pointing image during the moving operation of the pointing image (step 501). The stroke data of the pointing image is created from the sampling result (step 502) and stored in the memory in the lecturer terminal 3 (step 503). Next, the stroke data stored in the memory is collected in units of N times the coordinate sampling period of the pointing image to create a data block for transmission (step 504). N is a natural number.

図4において、ストロークデータ作成部17は、ストロークデータを作成した後、作成したストロークデータのデータブロックに、上記の内部時計の現在時刻の情報(以下「タイムスタンプ」という)を付加し、教材ドキュメント配信サーバ1に転送する(図4のステップ415)。すなわち、この内部時計の現在時刻は、講義の映像・音声の転送開始からの経過時間に相当する。   In FIG. 4, after creating the stroke data, the stroke data creation unit 17 adds information on the current time of the internal clock (hereinafter referred to as “time stamp”) to the data block of the created stroke data, and the teaching material document. Transfer to the distribution server 1 (step 415 in FIG. 4). That is, the current time of the internal clock corresponds to the elapsed time from the start of lecture video / audio transfer.

図6は講義者端末3から教材ドキュメント配信サーバ1へ送信されるデータパケットの構成を示す図である。同図に示すように、このデータパケットは、IPヘッド、TCPヘッダ、HTTPヘッダ、独自ヘッダ、RTPヘッダ、そしてT.126ヘッダで構成される。T.126ヘッダは、タイムスタンプ、ストロークデータのデータブロック、その他で構成される。
教材ドキュメント配信サーバ1は、ストロークデータ取得部43にて講義者端末3から送信されたタイムスタンプ付のストロークデータを取得して、ストロークデータ取得・配信部33のメモリ45に書き込む(ステップ416)。
FIG. 6 is a diagram showing a configuration of a data packet transmitted from the lecturer terminal 3 to the teaching material document distribution server 1. As shown in the figure, the data packet includes an IP head, a TCP header, an HTTP header, a unique header, an RTP header, and a T.264 packet. It consists of 126 headers. T.A. The 126 header includes a time stamp, a data block of stroke data, and the like.
The teaching material document distribution server 1 acquires the stroke data with the time stamp transmitted from the lecturer terminal 3 by the stroke data acquisition unit 43 and writes it in the memory 45 of the stroke data acquisition / distribution unit 33 (step 416).

次に、図7を参照して、受講者端末5と教材ドキュメント配信サーバ1との間での処理の流れを説明する。   Next, the flow of processing between the student terminal 5 and the learning material document distribution server 1 will be described with reference to FIG.

受講者端末5では、受講者が入力部23を使って表示部21の受講画面で開始ボタンを押すなどして受講開始を指定する情報が受講画面・音声処理部27に与えられると(ステップ701)、受講画面・音声処理部27は、ビデオ・オーディオデコーダ25を起動するとともに、教材ドキュメント配信サーバ1に受講開始の通知情報を送る(ステップ702)。   In the student terminal 5, when the student uses the input unit 23 to press the start button on the attendance screen of the display unit 21 to give information specifying start of attendance to the attendance screen / voice processing unit 27 (step 701). ), The attendance screen / audio processing unit 27 activates the video / audio decoder 25 and sends notice information of the start of attendance to the teaching material document distribution server 1 (step 702).

教材ドキュメント配信サーバ1は、受講者端末5より受講開始の通知情報を受け取ると(ステップ703)、ドキュメント提供部31のドキュメント配信部41により、ドキュメントデータベース39の先頭のドキュメントデータを読み込み、受講者端末5に送信する(ステップ704)。   When the learning material document distribution server 1 receives the notification information of the start of the course from the student terminal 5 (step 703), the document distribution unit 41 of the document providing unit 31 reads the first document data in the document database 39, and the student terminal 5 (step 704).

受講者端末5の受講画面・音声処理部27は、教材ドキュメント配信サーバ1よりドキュメントデータを受信すると(ステップ705)、このドキュメントデータを含む受講画面を受講者端末5の表示部21に表示する(ステップ706)。一方、ビデオ・オーディオデコーダ25は、起動後、ビデオ・オーディオ配信サーバ9からビデオ・オーディオデータの配信を要求し、受信したビデオ・オーディオデータをデコードし、受講画面・音声処理部27へ送る。受講画面・音声処理部27は、ビデオ・オーディオデコーダ25からのビデオ・オーディオデータをそれぞれ処理して、表示部21に講義者の講義映像を表示させるとともに、音声出力部22より講義の音声を出力させる(ステップ706)。   Upon receiving the document data from the teaching material document distribution server 1 (step 705), the attendance screen / audio processing unit 27 of the student terminal 5 displays the attendance screen including the document data on the display unit 21 of the student terminal 5 ( Step 706). On the other hand, after activation, the video / audio decoder 25 requests distribution of video / audio data from the video / audio distribution server 9, decodes the received video / audio data, and sends it to the attendance screen / audio processing unit 27. The attendance screen / audio processing unit 27 processes the video / audio data from the video / audio decoder 25 to display the lecture video of the lecturer on the display unit 21, and outputs the audio of the lecture from the audio output unit 22. (Step 706).

この後、受講者端末5の受講画面・音声処理部27は、ビデオ・オーディオデコーダ25から現在のビデオ・オーディオの再生時刻を取得し、取得したビデオ・オーディオ再生時刻で内部時計を調整する(ステップ707)。この内部時計の調整は、たとえば、定期的(たとえば5秒間隔)に行われることが好ましい。ビデオ・オーディオデコーダ25は講義開始からのビデオ・オーディオデータの再生時間(再生時刻)を管理する機能を有しており、受講画面・音声処理部27からの要求に対して現在の再生時刻を応答することができる。   Thereafter, the attendance screen / audio processing unit 27 of the student terminal 5 acquires the current video / audio playback time from the video / audio decoder 25 and adjusts the internal clock based on the acquired video / audio playback time (step). 707). The internal clock is preferably adjusted regularly (for example, at intervals of 5 seconds). The video / audio decoder 25 has a function of managing the reproduction time (reproduction time) of video / audio data from the start of the lecture, and responds to the request from the attendance screen / audio processing unit 27 with the current reproduction time. can do.

受講画面の表示後、受講者端末5の受講画面・音声処理部27は、教材ドキュメント配信サーバ1のストロークデータ配信部47に対してポインティングイメージのストロークデータを要求する(ステップ708)。教材ドキュメント配信サーバ1のストロークデータ配信部47は、この要求を受けると(ステップ709)、メモリ45に保持してあるタイムスタンプ付きストロークデータを応答する(ステップ710)。   After the attendance screen is displayed, the attendance screen / audio processing unit 27 of the student terminal 5 requests the stroke data of the pointing image from the stroke data distribution unit 47 of the teaching material document distribution server 1 (step 708). When receiving the request (step 709), the stroke data distribution unit 47 of the learning material document distribution server 1 responds with the time-stamped stroke data stored in the memory 45 (step 710).

受講者端末5の受講画面・音声処理部27は、ストロークデータを受信すると(ステップ511)、このストロークデータに付加されているタイムスタンプが示す時刻と内部時計の時刻とを比較する(ステップ712)。ここで、講義者端末3から受講者端末5へのビデオ・オーディオデータの転送に要する時間の平均はポインティングイメージのストロークデータの転送に要する平均の時間よりも長い。このため、ストロークデータに付加されているタイムスタンプの時刻と内部時計の現在時刻とを比較すると、タイムスタンプの時刻は内部時計の現在時刻よりも進んでいる場合が殆どである。   Upon receiving the stroke data (step 511), the attendance screen / audio processing unit 27 of the student terminal 5 compares the time indicated by the time stamp added to the stroke data with the time of the internal clock (step 712). . Here, the average time required to transfer the video / audio data from the lecturer terminal 3 to the student terminal 5 is longer than the average time required to transfer the stroke data of the pointing image. Therefore, when the time stamp added to the stroke data is compared with the current time of the internal clock, the time of the time stamp is almost ahead of the current time of the internal clock.

そこで、この場合、受講者端末5の受講画面・音声処理部27は、内部時計の現在時刻がタイムスタンプの時刻に達するまで、受信したストロークデータに基づくポインティングイメージの描画を待機し、内部時計の現在時刻がタイムスタンプの時刻に達したところで受信したストロークデータに基づくポインティングイメージの描画を行う(ステップ713)。なお、タイムスタンプの時刻が内部時計の現在時刻よりもはじめから遅れている場合には、たとえば即座にストロークデータを受講画面に描画するようにしてもよいし、描画せずに廃棄してもよい。   Therefore, in this case, the attendance screen / audio processing unit 27 of the student terminal 5 waits for the drawing of the pointing image based on the received stroke data until the current time of the internal clock reaches the time of the time stamp. When the current time reaches the time stamp, a pointing image is drawn based on the received stroke data (step 713). When the time of the time stamp is delayed from the beginning of the current time of the internal clock, for example, the stroke data may be immediately drawn on the attendance screen, or may be discarded without being drawn. .

以上により、受講者端末5上で再生される講義者の映像・音声とポインティングイメージの動きとの同期ずれを、人間の感覚上問題の無い程度に抑えることができ、遠隔授業の品質の向上を図ることができる。   As described above, the synchronization between the video / audio of the lecturer reproduced on the student terminal 5 and the movement of the pointing image can be suppressed to the extent that there is no problem in human sense, and the quality of the distance learning is improved. You can plan.

なお、本発明は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。   It should be noted that the present invention is not limited to the illustrated examples described above, and it is needless to say that various modifications can be made without departing from the scope of the present invention.

本発明の一実施形態にかかる遠隔授業システムの全体的な構成を示すブロック図である。It is a block diagram which shows the whole structure of the distance learning system concerning one Embodiment of this invention. 講義者端末の講義画面の例を示す図である。It is a figure which shows the example of the lecture screen of a lecturer terminal. 教材ドキュメント配信サーバのより詳細な構成を示すブロック図である。It is a block diagram which shows the more detailed structure of a learning material document delivery server. 講義者端末と教材ドキュメント配信サーバとの間での処理の流れを示すシーケンス図である。It is a sequence diagram which shows the flow of a process between a lecturer terminal and a teaching material document delivery server. ストロークデータの作成の手順を示すフローチャートである。It is a flowchart which shows the procedure of creation of stroke data. 講義者端末から教材ドキュメント配信サーバへ送信されるデータパケットの構成を示す図である。It is a figure which shows the structure of the data packet transmitted to a teaching material document delivery server from a lecturer terminal. 受講者端末と教材ドキュメント配信サーバとの間での処理の流れを示すシーケンス図である。It is a sequence diagram which shows the flow of a process between a student terminal and a teaching material document delivery server.

符号の説明Explanation of symbols

1…教材ドキュメント配信サーバ、3…講義者端末、5…受講者端末、7…ビデオ・オーディオエンコーダ、9…ビデオ・オーディオ配信サーバ、11…表示部、13…入力部、15…講義画面処理部、17…ストロークデータ作成部、21…表示部、22…音声出力部、23…入力部、25…ビデオ・オーディオデコーダ、27…受講画面・音声処理部、29…マイク付きビデオカメラ、31…ドキュメント提供部、33…ストロークデータ取得・配信部、43…ストロークデータ取得部、45…メモリ、47…ストロークデータ配信部。   DESCRIPTION OF SYMBOLS 1 ... Teaching material document delivery server, 3 ... Lecturer terminal, 5 ... Student terminal, 7 ... Video / audio encoder, 9 ... Video / audio delivery server, 11 ... Display part, 13 ... Input part, 15 ... Lecture screen processing part , 17 ... Stroke data creation section, 21 ... Display section, 22 ... Audio output section, 23 ... Input section, 25 ... Video / audio decoder, 27 ... Attendance screen / audio processing section, 29 ... Video camera with microphone, 31 ... Document Providing unit, 33 ... stroke data acquisition / distribution unit, 43 ... stroke data acquisition unit, 45 ... memory, 47 ... stroke data distribution unit.

Claims (4)

講義者端末装置から受講者端末装置に、講義の映像・音声と、教材としてのドキュメント及びこのドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡データであるストロークデータとを独立して転送する遠隔授業システムの講義者端末装置であって、
前記ドキュメント及び前記ポインティングイメージを表示可能な表示手段と、
前記ポインティングイメージを移動させるための入力を受け付ける入力手段と、
前記ポインティングイメージの移動の軌跡を示すストロークデータを作成するとともに、この作成したストロークデータに、前記講義の映像・音声の転送開始からの経過時間の情報を付加して転送するストロークデータ作成手段と
を具備することを特徴とする講義者端末装置。
From lecturer terminal device to student terminal device, the video and audio of the lecture and the stroke data that is the trajectory data of the movement of the document as the teaching material and the pointing image to point to any position on this document A lecturer terminal device of a remote lesson system to be transferred,
Display means capable of displaying the document and the pointing image;
Input means for receiving an input for moving the pointing image;
Stroke data creating means for creating stroke data indicating the movement trajectory of the pointing image, and adding the information on the elapsed time from the start of video / audio transfer of the lecture to the created stroke data; and A lecturer terminal device characterized by comprising.
講義者端末装置から受講者端末装置に、講義の映像・音声と、教材としてのドキュメント及びこのドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡を示すストロークデータとを独立して転送する遠隔授業システムの受講者端末装置であって、
前記ドキュメント及び前記ポインティングイメージを表示可能な表示手段と、
受信した前記講義の映像・音声を再生するとともに、受信した前記ポインティングイメージの前記ストロークデータに付加されている前記講義の映像・音声の転送開始からの経過時間と内部時計とを比較し、この比較結果に基づき、前記ポインティングイメージの前記ストロークデータによる描画のタイミングを制御する受講画面・音声処理手段と
を具備することを特徴とする受講者端末装置。
Independently transfer lecture video / audio and stroke data indicating the movement of the document as teaching material and pointing image to point to any position on this document from the lecturer terminal to the student terminal A student terminal device for a remote lesson system,
Display means capable of displaying the document and the pointing image;
The received video / audio of the lecture is reproduced, and the elapsed time from the start of the video / audio transfer of the lecture added to the stroke data of the received pointing image is compared with the internal clock. A student terminal device comprising: a attendance screen / audio processing means for controlling a drawing timing of the pointing image based on the stroke data based on the result.
前記内部時計の時刻を、現在の講義の映像・音声の再生時刻で調整する手段をさらに有することを特徴とする請求項2に記載の受講者端末装置。   The student terminal device according to claim 2, further comprising means for adjusting the time of the internal clock by the reproduction time of the video / audio of the current lecture. 講義者端末装置から受講者端末装置に、講義の映像・音声と、教材としてのドキュメント及びこのドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡を示すストロークデータとを独立して転送する遠隔授業システムのサーバ装置であって、
前記講義者端末装置から転送された、前記講義の映像・音声の転送開始からの経過時間の情報が付加されたストロークデータを取得し、前記受講者端末装置に配信するストロークデータ取得・配信手段を具備することを特徴とするサーバ装置。
Independently transfer lecture video / audio and stroke data indicating the movement of the document as teaching material and pointing image to point to any position on this document from the lecturer terminal to the student terminal A remote lesson system server device,
Stroke data acquisition / distribution means for acquiring stroke data transferred from the lecturer terminal device to which information on the elapsed time from the start of video / audio transfer of the lecture is added and distributed to the student terminal device A server device comprising the server device.
JP2004158336A 2004-05-27 2004-05-27 Lecturer's terminal apparatus, trainee's terminal apparatus and server apparatus in remote teaching system Withdrawn JP2005338510A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004158336A JP2005338510A (en) 2004-05-27 2004-05-27 Lecturer's terminal apparatus, trainee's terminal apparatus and server apparatus in remote teaching system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004158336A JP2005338510A (en) 2004-05-27 2004-05-27 Lecturer's terminal apparatus, trainee's terminal apparatus and server apparatus in remote teaching system

Publications (1)

Publication Number Publication Date
JP2005338510A true JP2005338510A (en) 2005-12-08

Family

ID=35492160

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004158336A Withdrawn JP2005338510A (en) 2004-05-27 2004-05-27 Lecturer's terminal apparatus, trainee's terminal apparatus and server apparatus in remote teaching system

Country Status (1)

Country Link
JP (1) JP2005338510A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014150497A (en) * 2013-02-04 2014-08-21 Ricoh Co Ltd Information processing system, information processing apparatus, and program
JP2015046708A (en) * 2013-08-27 2015-03-12 日本電信電話株式会社 Communication system, communication method, transmission-side synchronous signal distribution device, transmission-side synchronous control device, reception-side synchronous signal distribution device, reception-side synchronous control device and program
JP2015080006A (en) * 2013-10-01 2015-04-23 株式会社教育情報サービス Video content production terminal, video content creation method, and video content production terminal program
WO2016117480A1 (en) * 2015-01-19 2016-07-28 シャープ株式会社 Telecommunication system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014150497A (en) * 2013-02-04 2014-08-21 Ricoh Co Ltd Information processing system, information processing apparatus, and program
JP2015046708A (en) * 2013-08-27 2015-03-12 日本電信電話株式会社 Communication system, communication method, transmission-side synchronous signal distribution device, transmission-side synchronous control device, reception-side synchronous signal distribution device, reception-side synchronous control device and program
JP2015080006A (en) * 2013-10-01 2015-04-23 株式会社教育情報サービス Video content production terminal, video content creation method, and video content production terminal program
WO2016117480A1 (en) * 2015-01-19 2016-07-28 シャープ株式会社 Telecommunication system

Similar Documents

Publication Publication Date Title
WO2020103203A1 (en) Method and apparatus for synchronizing whiteboard with video, computing device, and storage medium
US7085842B2 (en) Line navigation conferencing system
US8437409B2 (en) System and method for capturing, editing, searching, and delivering multi-media content
US20030191805A1 (en) Methods, apparatus, and systems for on-line seminars
JP2009212768A (en) Visible light communication light transmitter, information provision device, and information provision system
GB2363936A (en) Method and apparatus for surveillance using an image server
CN106971635B (en) Teaching training method and system
US10521178B2 (en) Method of controlling mobile devices in concert during a mass spectators event
JP2009294625A (en) Remote educational system and display control method of multimedia content
EP3742742A1 (en) Method, apparatus and system for synchronously playing message stream and audio/video stream
CN106095905B (en) Internet interaction platform based on PPT playing
CN112235530B (en) Method and device for realizing teleconference, electronic device and storage medium
JP2005338510A (en) Lecturer&#39;s terminal apparatus, trainee&#39;s terminal apparatus and server apparatus in remote teaching system
WO2014034195A1 (en) Content provision device, content provision method, program, information storage medium, broadcast station device, and data structure
JP2008096482A (en) Receiving terminal, network learning support system, receiving method, and network learning support method
KR20120133011A (en) System and method for providing to storytelling type area information of panorama image base
KR101702013B1 (en) Smart education service system with video having function of sharing content of a variety of formats and Smart education method with video using thereof
JP2004304665A (en) Moving image meta-data teaching material distribution apparatus, moving image meta-data teaching material reproducing apparatus, moving image meta-data teaching material reproducing method and image meta-data teaching material reproducing program
JPH09222847A (en) Remote lecture system method
JP4872317B2 (en) Information processing system
CN107852523B (en) Method, terminal and equipment for synchronizing media rendering between terminals
JP2006279294A (en) Content reproduction system, content reproduction method, and computer program
JP2013150096A (en) Information processor, information processing method, and program
KR101845390B1 (en) Online learning coaching apparatus and method based on learning video file obtained using electronic pen
TW201243788A (en) Interactive video teaching method

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070807