JP2005338510A - Lecturer's terminal apparatus, trainee's terminal apparatus and server apparatus in remote teaching system - Google Patents

Lecturer's terminal apparatus, trainee's terminal apparatus and server apparatus in remote teaching system Download PDF

Info

Publication number
JP2005338510A
JP2005338510A JP2004158336A JP2004158336A JP2005338510A JP 2005338510 A JP2005338510 A JP 2005338510A JP 2004158336 A JP2004158336 A JP 2004158336A JP 2004158336 A JP2004158336 A JP 2004158336A JP 2005338510 A JP2005338510 A JP 2005338510A
Authority
JP
Japan
Prior art keywords
document
stroke data
audio
video
lecture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004158336A
Other languages
Japanese (ja)
Inventor
Junko Shimizu
淳子 志水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Solutions Corp filed Critical Toshiba Corp
Priority to JP2004158336A priority Critical patent/JP2005338510A/en
Publication of JP2005338510A publication Critical patent/JP2005338510A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Digital Computer Display Output (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a lecturer's terminal apparatus, a trainee's terminal apparatus and a server apparatus in a remote teaching system which can suppress out-of-synchronization among lecturer's image and voice and the movement of a pointing image on the trainee's terminal to a degree of problem-free in human senses. <P>SOLUTION: The lecturer's terminal prepares the stroke data of a pointing image, adds information (time stamp) of elapsed time from the transfer start of images and sounds of a lecture to the stroke data and transfers the information-added stroke data to a server. Whereas, the trainee's terminal compares the time stamp added to the stroke data received through the server with internal clock and starts the plotting of the pointing image based on the stroke data at timing that the current time of the inner clock reaches the time of the time stamp. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、講義者端末と受講者端末との間で遠隔授業を行うシステムに係り、特に、講義者端末から受講者端末に、講義の映像・音声と、教材としてのドキュメントと、このドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡を示すストロークデータとを独立して転送する遠隔授業システムの講義者端末装置、受講者端末装置及びサーバ装置に関する。   The present invention relates to a system for conducting a remote lesson between a lecturer terminal and a student terminal, and in particular, from a lecturer terminal to a student terminal, a lecture video / audio, a document as a teaching material, The present invention relates to a lecturer terminal device, a student terminal device, and a server device of a remote lesson system that independently transfers stroke data indicating a movement trajectory of a pointing image for pointing an arbitrary position.

ネットワークを通じて講義者端末と受講者端末との間で遠隔授業を行うシステムでは、双方の端末を中継するサーバは、教材ドキュメントを講義者端末と受講者端末の双方に配信し、各々の表示部に表示させている。また、この種の遠隔授業を行うシステムでは、講義者の映像と音声のデータを受講者端末に配信することで、ライブ形式で遠隔授業で受けられる仕組みも実現されている（たとえば特許文献１を参照）。さらに、このライブ形式の遠隔授業システムでは、表示中のドキュメントの説明位置や注目位置を講義者から受講者に伝えるためのポインティングイメージのイメージを、講義者が講義画面上で動かした通りに受講画面上でも移動させる仕組みも実現されている。
特開２００２−２０２９４１号公報 In a system in which a remote lesson is performed between a lecturer terminal and a student terminal through a network, a server that relays both terminals distributes teaching material documents to both the lecturer terminal and the student terminal, and displays them on each display unit. It is displayed. In addition, in this type of distance learning system, a mechanism for receiving a remote lesson in a live format is realized by distributing the video and audio data of the lecturer to the student terminal (for example, see Patent Document 1). reference). In addition, in this live-type remote lesson system, the image of the pointing image that conveys the explanation position and the attention position of the displayed document from the lecturer to the student is displayed as the lecturer moves on the lecture screen. There is also a mechanism for moving it up.
JP 2002-202941 A

しかしながら、講義者の映像・音声の受講者端末への伝送と、ポインティングイメージの移動の軌跡データであるストロークデータの伝送とを独立して行う構成とした場合、各々のデータの伝送時間の差により、受講者端末の画面上での講義者の映像・音声とポインティングイメージの動きとの間に無視できない程度の同期ずれが発生し、遠隔授業の品質が低下するおそれがあった。   However, when the transmission of the lecturer's video / audio to the student terminal and the transmission of the stroke data, which is the trajectory data of the pointing image, are performed independently, due to the difference in the transmission time of each data There was a possibility that the synchronism of the lecturer's video / audio on the screen of the student's terminal and the movement of the pointing image could not be ignored, and the quality of the distance learning was degraded.

本発明は、このような課題を解決するためになされたものであり、受講者端末装置上での講義者の映像・音声とポインティングイメージの動きとの同期ずれを、人間の感覚上問題の無い程度に抑えることのできる遠隔授業システムの講義者端末装置、受講者端末装置及びサーバ装置を提供することを目的としている。   The present invention has been made in order to solve such a problem, and there is no problem in terms of human sensation in synchronization between the video / audio of the lecturer and the movement of the pointing image on the student terminal device. It is an object of the present invention to provide a lecturer terminal device, a student terminal device, and a server device of a remote lesson system that can be suppressed to a degree.

かかる目的を達成するために、本発明の講義者端末装置は、講義者端末装置から受講者端末装置に、講義の映像・音声と、教材としてのドキュメント及びこのドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡データであるストロークデータとを独立して転送する遠隔授業システムの講義者端末装置であって、ドキュメント及びポインティングイメージを表示可能な表示手段と、ポインティングイメージを移動させるための入力を受け付ける入力手段と、ポインティングイメージの移動の軌跡を示すストロークデータを作成するとともに、この作成したストロークデータに、講義の映像・音声の転送開始からの経過時間の情報を付加して転送するストロークデータ作成手段とを具備することを特徴とする。   In order to achieve such an object, the lecturer terminal device of the present invention points from the lecturer terminal device to the student terminal device to indicate the video / audio of the lecture, the document as the teaching material, and any position on the document. A lecturer terminal device for a distance learning system that independently transfers stroke data, which is a movement data of a pointing image, and a display means capable of displaying a document and a pointing image, and for moving the pointing image Stroke to be transferred with input means that accepts input and stroke data indicating the movement trajectory of the pointing image, and with information on the elapsed time from the start of video / audio transfer of the lecture added to the created stroke data And a data creation means.

また、本発明の受講者端末装置は、講義者端末装置から受講者端末装置に、講義の映像・音声と、教材としてのドキュメント及びこのドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡データであるストロークデータとを独立して転送する遠隔授業システムの受講者端末装置であって、ドキュメント及びポインティングイメージを表示可能な表示手段と、受信した講義の映像・音声を再生するとともに、受信したポインティングイメージのストロークデータに付加されている講義の映像・音声の転送開始からの経過時間と内部時計とを比較し、この比較結果に基づき、ポインティングイメージのストロークデータによる描画のタイミングを制御する受講画面・音声処理手段とを具備することを特徴とする。   In addition, the student terminal device of the present invention can move a lecture video / audio, a document as a teaching material, and a pointing image for pointing to an arbitrary position on the document from the lecturer terminal device to the student terminal device. A remote lesson system student terminal device that independently transfers stroke data, which is trajectory data, and display means capable of displaying documents and pointing images, as well as playing and receiving received lecture video and audio Compare the elapsed time from the start of video and audio transfer of the lecture attached to the stroke data of the pointing image and the internal clock, and based on the comparison result, take the lecture to control the timing of drawing with the stroke data of the pointing image And a screen / audio processing means.

また、この発明の受講者端末装置は、内部時計の時刻を現在の講義の映像・音声の再生時刻で調整する手段をさらに有するものとしてもよい。   In addition, the student terminal device of the present invention may further include means for adjusting the time of the internal clock with the video / audio playback time of the current lecture.

さらに、本発明のサーバ装置は、講義者端末装置から受講者端末装置に、講義の映像・音声と、教材としてのドキュメント及びこのドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡データであるストロークデータとを独立して転送する遠隔授業システムのサーバ装置であって、講義者端末装置から転送された、講義の映像・音声の転送開始からの経過時間の情報が付加されたストロークデータを取得し、受講者端末装置に配信するストロークデータ取得・配信手段を具備することを特徴とする。   Furthermore, the server device of the present invention provides a lecture video / audio, a document as a teaching material, and pointing image movement trajectory data for pointing an arbitrary position on the document from the lecturer terminal device to the student terminal device. Is a server device of a remote lesson system that independently transfers the stroke data, which is transferred from the lecturer terminal device, the stroke data to which information on the elapsed time from the start of the transfer of lecture video / audio is added It is characterized by comprising stroke data acquisition / distribution means for acquiring and distributing to a student terminal device.

本発明の遠隔授業システムの講義者端末装置、受講者端末装置及びサーバ装置によれば、受講者端末装置上での講義者の映像・音声とポインティングイメージの動きとの同期ずれを、人間の感覚上問題の無い程度に抑えることができる。   According to the lecturer terminal device, the student terminal device, and the server device of the distance learning system of the present invention, the synchronization deviation between the video / audio of the lecturer and the movement of the pointing image on the student terminal device is detected by human senses. It can be suppressed to the extent that there is no problem.

以下、図面を参照して本発明の実施の形態について説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図１は本発明の一実施形態にかかる遠隔授業システムの構成を示すブロック図である。   FIG. 1 is a block diagram showing a configuration of a remote lesson system according to an embodiment of the present invention.

同図に示すように、遠隔授業システム１００は、教材ドキュメント配信サーバ１、講義者端末３、受講者端末５、ビデオ・オーディオエンコーダ７、ビデオ・オーディオ配信サーバ９とを備えて構成される。これらの装置は、インターネットなどのネットワーク４８を通じて接続される。   As shown in the figure, the distance learning system 100 includes a teaching material document distribution server 1, a lecturer terminal 3, a student terminal 5, a video / audio encoder 7, and a video / audio distribution server 9. These devices are connected through a network 48 such as the Internet.

教材ドキュメント配信サーバ１は、講義者端末３及び受講者端末５に対して教材となるドキュメントのデータの配信を行うとともに、講義者端末３より講義画面に表示中のドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡データであるストロークデータを取得して受講者端末５に転送するサービスを行うためのサーバである。   The educational material document distribution server 1 distributes document data serving as educational materials to the lecturer terminal 3 and the student terminal 5, and indicates an arbitrary position on the document displayed on the lecture screen from the lecturer terminal 3. It is a server for performing a service for acquiring stroke data, which is the locus data of the pointing image movement, and transferring it to the student terminal 5.

講義者端末３は、講義者が講義を行うための環境を提供する端末である。講義者端末３は、表示部１１、マウスなどの入力部１３、講義画面処理部１５及びストロークデータ作成部１７とを備えている。なお、講義画面処理部１５及びストロークデータ作成部１７は図示しない処理演算装置とメインメモリと処理演算装置とにより実行されるプログラムとで実現される。   The lecturer terminal 3 is a terminal that provides an environment for the lecturer to give a lecture. The lecturer terminal 3 includes a display unit 11, an input unit 13 such as a mouse, a lecture screen processing unit 15, and a stroke data creation unit 17. The lecture screen processing unit 15 and the stroke data creation unit 17 are realized by a processing arithmetic device (not shown), a main memory, and a program executed by the processing arithmetic device.

講義画面処理部１５は、教材ドキュメント配信サーバ１よりドキュメントデータをネットワーク４８を通じてダウンロードし、たとえば図２に示すように、ダウンロードしたドキュメント８１を含む講義画面８２を作成して表示部１１の画面に表示する処理を行う。この講義画面８２には、講義者がマウス、キーボードやタッチパネル等の入力部１３を操作することによって移動させることが可能なポインティングイメージ（差し棒）８３と、ビデオ・オーディオデコーダ２５によりデコードされたビデオデータを処理再生した結果としての講義者の講義映像８４が表示される。さらに、講義画面８２には、講義者からのドキュメントの更新要求などを受け付けるためのボタン８５、８６、８７、８８、８９が表示される。ドキュメントの更新要求には、表示中のドキュメントの次のドキュメントの要求、前のドキュメントの要求、先頭のドキュメントの要求、最後尾のドキュメントの要求などがあるが、ドキュメントの更新要求の種類としては特にこれらの要求に限られない。   The lecture screen processing unit 15 downloads document data from the teaching material document distribution server 1 through the network 48, and creates a lecture screen 82 including the downloaded document 81 and displays it on the screen of the display unit 11, for example, as shown in FIG. Perform the process. The lecture screen 82 includes a pointing image 83 that can be moved by the lecturer operating the input unit 13 such as a mouse, a keyboard, and a touch panel, and a video decoded by the video / audio decoder 25. A lecture video 84 of the lecturer as a result of processing and reproducing the data is displayed. Furthermore, buttons 85, 86, 87, 88, and 89 for receiving a document update request from a lecturer are displayed on the lecture screen 82. Document update requests include requests for the next document after the displayed document, requests for the previous document, requests for the first document, requests for the last document, etc. It is not limited to these requests.

ストロークデータ作成部１７は、入力部１３を用いて講義者によって移動操作されるポインティングイメージの座標を所定の時間をもって周期的にサンプリングし、この座標のサンプリング結果からポインティングイメージのストロークデータを作成し、このストロークデータに講義画面８２の位置に対応するタイムスタンプを付加して教材ドキュメント配信サーバ１にネットワーク４８を通じて転送する処理を行う。このタイムスタンプは、教材ドキュメント配信サーバ１に問い合わせした講義開始（講義の映像・音声の転送開始）からの経過時間を基に設定された内部時計の時刻から作成されたものである。すなわち、内部時計の時刻は、講義者端末３がリアルタイムで知り得る講義開始からの経過時間を示す。   The stroke data creation unit 17 periodically samples the coordinates of the pointing image moved by the lecturer using the input unit 13 with a predetermined time, creates the stroke data of the pointing image from the sampling result of the coordinates, A process of adding a time stamp corresponding to the position of the lecture screen 82 to the stroke data and transferring it to the teaching material document distribution server 1 through the network 48 is performed. This time stamp is created from the time of the internal clock set based on the elapsed time from the start of the lecture inquired to the teaching material document distribution server 1 (start of transfer of lecture video / audio). That is, the time of the internal clock indicates the elapsed time from the start of the lecture that the lecturer terminal 3 can know in real time.

受講者端末５は、受講者が講義を受講するための環境を提供する端末である。受講者端末５は、表示部２１、音声出力部２２、マウス、キーボードやタッチパネル等の入力部２３、ビデオ・オーディオデコーダ２５及び受講画面・音声処理部２７を備える。なお、ビデオ・オーディオデコーダ２５及び受講画面・音声処理部２７は図示しない処理演算装置とメインメモリと処理演算装置とにより実行されるプログラムとで実現される。   The student terminal 5 is a terminal that provides an environment for the student to take a lecture. The student terminal 5 includes a display unit 21, an audio output unit 22, an input unit 23 such as a mouse, a keyboard and a touch panel, a video / audio decoder 25, and a attendance screen / audio processing unit 27. The video / audio decoder 25 and the attendance screen / audio processing unit 27 are realized by a processing arithmetic device (not shown), a main memory, and a program executed by the processing arithmetic device.

受講画面・音声処理部２７は、教材ドキュメント配信サーバ１よりドキュメントデータと、タイムスタンプ付きのストロークデータをネットワーク４８を通じてダウンロードし、ダウンロードしたドキュメントデータを含む受講画面を作成して表示部２１に表示するとともに、ダウンロードしたタイムスタンプ付きのストロークデータに基づいて受講画面上にポインティングイメージを動的に描画する処理などを行う。   The attendance screen / audio processing unit 27 downloads document data and stroke data with a time stamp from the teaching material document distribution server 1 through the network 48, creates a attendance screen including the downloaded document data, and displays it on the display unit 21. Along with the downloaded stroke data with a time stamp, a process of dynamically drawing a pointing image on the attendance screen is performed.

ビデオ・オーディオデコーダ２５は、講義者の講義の様子を映像と音声で捕らえたデータをビデオ・オーディオ配信サーバ９よりネットワーク４８を通じてダウンロードしてデコードする。受講画面・音声処理部２７は、図２に示したように、ビデオ・オーディオデコーダ２５より与えられたビデオデータを処理して受講画面８２に講義映像８４を表示するとともに、同じくビデオ・オーディオデコーダ２５より与えられたオーディオデータを処理して音声出力部２２を通して可聴音として出力する。   The video / audio decoder 25 downloads data obtained by capturing the lecturer's lecture with video and audio from the video / audio distribution server 9 through the network 48 and decodes the data. As shown in FIG. 2, the attendance screen / audio processing unit 27 processes the video data supplied from the video / audio decoder 25 and displays the lecture video 84 on the attendance screen 82, and also the video / audio decoder 25. The given audio data is processed and output as an audible sound through the audio output unit 22.

ビデオ・オーディオエンコーダ７は、たとえばＰＣなどの情報処理装置を用いて実現される。ビデオ・オーディオエンコーダ７は、マイク付きビデオカメラ２９でとらえた講義者の講義映像及び音声を伝送に適したデータ形式にエンコードし、ネットワーク４８を通じてビデオ・オーディオ配信サーバ９に転送する。   The video / audio encoder 7 is realized by using an information processing apparatus such as a PC. The video / audio encoder 7 encodes the lecture video and audio of the lecturer captured by the video camera 29 with microphone into a data format suitable for transmission, and transfers the encoded video to the video / audio distribution server 9 through the network 48.

ビデオ・オーディオ配信サーバ９は、ビデオ・オーディオエンコーダ７より転送されたビデオ・オーディオデータを、受講者端末５に配信する機能を有する。   The video / audio distribution server 9 has a function of distributing the video / audio data transferred from the video / audio encoder 7 to the student terminal 5.

図３は、上記の教材ドキュメント配信サーバ１のより詳細な構成を講義者端末３及び受講者端末５との関係において示すブロック図である。   FIG. 3 is a block diagram showing a more detailed configuration of the teaching material document distribution server 1 in relation to the lecturer terminal 3 and the student terminal 5.

教材ドキュメント配信サーバ１は、ドキュメント提供部３１とストロークデータ取得・配信部３３とを有する。   The teaching material document distribution server 1 includes a document providing unit 31 and a stroke data acquisition / distribution unit 33.

ドキュメント提供部３１は、ドキュメント順番定義ファイル３５、ドキュメント管理部３７、ドキュメントデータベース（ＤＢ）３９、及びドキュメント配信部４１を備える。   The document providing unit 31 includes a document order definition file 35, a document management unit 37, a document database (DB) 39, and a document distribution unit 41.

ドキュメント順番定義ファイル３５は、講義の進行に沿ったドキュメントの順番が具体的に定義されたファイルである。このドキュメント順番定義ファイル３５には、具体的には、ドキュメント名、ドキュメントデータの置き場所を示すＵＲＬなどのアドレス情報、順番などからなるドキュメントに関するデータのセットがドキュメント数分記述されている。   The document order definition file 35 is a file in which the order of documents along the course of the lecture is specifically defined. In the document order definition file 35, specifically, a set of data relating to a document including a document name, address information such as a URL indicating a place where document data is placed, and the order is described for the number of documents.

ドキュメント管理部３７は、講義者端末３からのドキュメントの更新要求に応じて、その講義者端末３に最後に配信したドキュメントの、次のドキュメント、一つ前の順番のドキュメント、先頭のドキュメント、最後尾のドキュメントなど、講義者が指定したドキュメントデータのアドレス情報をドキュメント順番定義ファイル３５より読み込み、講義者端末３に応答する。   In response to a document update request from the lecturer terminal 3, the document management unit 37 receives the next document, the previous document, the first document, and the last document of the last document delivered to the lecturer terminal 3. The address information of the document data designated by the lecturer such as the tail document is read from the document order definition file 35 and responds to the lecturer terminal 3.

ドキュメントデータベース３９は、上記のアドレス情報によって個々に選択可能なドキュメントのデータ群が格納されたデータベースである。ドキュメントのデータは、たとえばＨＴＭＬ形式の文書データなどである。   The document database 39 is a database in which data groups of documents that can be individually selected by the above address information are stored. The document data is, for example, HTML format document data.

ドキュメント配信部４１は、講義者端末３からの配信要求に応じてドキュメントデータベース３９から該当するドキュメントデータを読み出して講義者端末３に配信する。ドキュメント配信部４１が講義者端末３より受信する配信要求には、講義者端末３がドキュメント管理部３７を通じて取得したドキュメントの置き場所を示すアドレス情報が含まれている。ドキュメント配信部４１はこのアドレス情報に基づいて該当するドキュメントデータをドキュメントデータベース３９から読み込み、講義者端末３に配信する。   In response to a distribution request from the lecturer terminal 3, the document distribution unit 41 reads out the corresponding document data from the document database 39 and distributes it to the lecturer terminal 3. The distribution request received from the lecturer terminal 3 by the document distribution unit 41 includes address information indicating the location of the document acquired by the lecturer terminal 3 through the document management unit 37. Based on this address information, the document distribution unit 41 reads the corresponding document data from the document database 39 and distributes it to the lecturer terminal 3.

ストロークデータ取得・配信部３３は、講義者端末３のストロークデータ作成部１７にて作成されたポインティングイメージのタイムスタンプ付きのストロークデータをネットワーク４８を通じて受信するストロークデータ取得部４３と、ストロークデータ取得部４３にて受信したタイムスタンプ付きのストロークデータを一時的に格納するメモリ４５と、メモリ４５に格納されたタイムスタンプ付きのストロークデータを受講者端末５に配信するストロークデータ配信部４７とを備える。   The stroke data acquisition / distribution unit 33 includes a stroke data acquisition unit 43 that receives the time-stamped stroke data of the pointing image created by the stroke data creation unit 17 of the lecturer terminal 3 through the network 48, and a stroke data acquisition unit. The memory 45 temporarily stores the time-stamped stroke data received at 43, and the stroke data distribution unit 47 that distributes the time-stamped stroke data stored in the memory 45 to the student terminal 5.

次に、この遠隔授業システム１００において、受講画面上の講義映像とポインティングイメージの動きとの同期をとる処理の流れを参照して説明する。   Next, description will be made with reference to a flow of processing for synchronizing the lecture video on the attendance screen and the movement of the pointing image in the remote lesson system 100.

図４は講義者端末３と教材ドキュメント配信サーバ１との間での処理の流れを示すシーケンス図である。   FIG. 4 is a sequence diagram showing a flow of processing between the lecturer terminal 3 and the teaching material document distribution server 1.

まず、講義者端末３において、講義者が入力部１３を使って表示部１１の講義画面上で開始ボタンを押すなどして講義開始を指定する情報が講義画面処理部１５に与えられると（ステップ４０１）、講義画面処理部１５は教材ドキュメント配信サーバ１に講義開始の通知情報を送る（ステップ４０２）。   First, in the lecturer terminal 3, when the lecturer uses the input unit 13 to press the start button on the lecture screen of the display unit 11 to give information specifying the lecture start to the lecture screen processing unit 15 (steps). 401), the lecture screen processing section 15 sends lecture start notification information to the teaching material document distribution server 1 (step 402).

教材ドキュメント配信サーバ１のストロークデータ取得部４３は、講義開始の通知情報を受け取ると（ステップ４０３）、ビデオ・オーディオエンコーダ７に起動を要求し（ステップ４０４）、起動時の現在時刻をビデオ・オーディオエンコーダ７がエンコードを開始した時刻（以下「講義開始時刻」という）として、内部時計にセットする（ステップ４０５）。この後、教材ドキュメント配信サーバ１は、ドキュメント提供部３１のドキュメント配信部４１により、ドキュメントデータベース３９の先頭のドキュメントデータを読み込み、講義者端末３に送信する（ステップ４０６）。   Upon receiving the lecture start notification information (step 403), the stroke data acquisition unit 43 of the learning material document distribution server 1 requests the video / audio encoder 7 to start (step 404), and the current time at the start is determined by video / audio. The time when the encoder 7 starts encoding (hereinafter referred to as “lecture start time”) is set in the internal clock (step 405). Thereafter, the teaching material document distribution server 1 reads the first document data in the document database 39 by the document distribution unit 41 of the document providing unit 31 and transmits it to the lecturer terminal 3 (step 406).

講義者端末３の講義画面処理部１５は、教材ドキュメント配信サーバ１からのドキュメントデータを取得すると（ステップ４０７）、このドキュメントデータを用いて講義画面を作成して表示部１１に表示し（ステップ４０８）、教材ドキュメント配信サーバ１にセットされた内部時計に対して、講義開始時刻からの経過時間を問い合わせる（ステップ４０９）。教材ドキュメント配信サーバ１のストロークデータ取得部４３は、講義者端末３の講義画面処理部１５からの講義開始時刻からの経過時間の問い合わせを受信し（ステップ４１０）、講義開始時刻からの経過時間を講義者端末３に応答する（ステップ４１１）。講義者端末３の講義画面処理部１５は、応答を受けた経過時間を講義者端末３の内部時計にセットする（ステップ４１２）。   When the lecture screen processing unit 15 of the lecturer terminal 3 acquires the document data from the teaching material document distribution server 1 (step 407), a lecture screen is created using the document data and displayed on the display unit 11 (step 408). ) Inquires the elapsed time from the lecture start time to the internal clock set in the teaching material document distribution server 1 (step 409). The stroke data acquisition unit 43 of the teaching material document distribution server 1 receives an inquiry about the elapsed time from the lecture start time from the lecture screen processing unit 15 of the lecturer terminal 3 (step 410), and calculates the elapsed time from the lecture start time. It responds to the lecturer terminal 3 (step 411). The lecture screen processing unit 15 of the lecturer terminal 3 sets the elapsed time when the response is received in the internal clock of the lecturer terminal 3 (step 412).

講義者端末３において、入力部１３を使って講義者によりポインティングイメージの操作が行われると（ステップ４１３）、ストロークデータ作成部１７にてストロークデータの作成が行われる（ステップ４１４）。   In the lecturer terminal 3, when the pointing image is operated by the lecturer using the input unit 13 (step 413), the stroke data creation unit 17 creates stroke data (step 414).

ストロークデータの作成は、たとえば次のように行われる。図５は、このストロークデータ作成の処理手順を示すフローチャートである。   For example, the stroke data is created as follows. FIG. 5 is a flowchart showing a processing procedure for creating the stroke data.

ストロークデータ作成部１７は、講義画面上でポインティングイメージを移動させるための操作入力を監視しており、ポインティングイメージの移動操作中、ポインティングイメージの座標を周期的にサンプリングし（ステップ５０１）、この座標のサンプリング結果からポインティングイメージのストロークデータを作成し（ステップ５０２）、講義者端末３内のメモリに蓄積する（ステップ５０３）。次に、メモリ上に蓄積されたストロークデータを、ポインティングイメージの座標サンプリング周期のＮ倍の単位でまとめて伝送用のデータブロックを作成する（ステップ５０４）。Ｎは自然数とする。   The stroke data creation unit 17 monitors the operation input for moving the pointing image on the lecture screen, and periodically samples the coordinates of the pointing image during the moving operation of the pointing image (step 501). The stroke data of the pointing image is created from the sampling result (step 502) and stored in the memory in the lecturer terminal 3 (step 503). Next, the stroke data stored in the memory is collected in units of N times the coordinate sampling period of the pointing image to create a data block for transmission (step 504). N is a natural number.

図４において、ストロークデータ作成部１７は、ストロークデータを作成した後、作成したストロークデータのデータブロックに、上記の内部時計の現在時刻の情報（以下「タイムスタンプ」という）を付加し、教材ドキュメント配信サーバ１に転送する（図４のステップ４１５）。すなわち、この内部時計の現在時刻は、講義の映像・音声の転送開始からの経過時間に相当する。   In FIG. 4, after creating the stroke data, the stroke data creation unit 17 adds information on the current time of the internal clock (hereinafter referred to as “time stamp”) to the data block of the created stroke data, and the teaching material document. Transfer to the distribution server 1 (step 415 in FIG. 4). That is, the current time of the internal clock corresponds to the elapsed time from the start of lecture video / audio transfer.

図６は講義者端末３から教材ドキュメント配信サーバ１へ送信されるデータパケットの構成を示す図である。同図に示すように、このデータパケットは、ＩＰヘッド、ＴＣＰヘッダ、ＨＴＴＰヘッダ、独自ヘッダ、ＲＴＰヘッダ、そしてＴ．１２６ヘッダで構成される。Ｔ．１２６ヘッダは、タイムスタンプ、ストロークデータのデータブロック、その他で構成される。
教材ドキュメント配信サーバ１は、ストロークデータ取得部４３にて講義者端末３から送信されたタイムスタンプ付のストロークデータを取得して、ストロークデータ取得・配信部３３のメモリ４５に書き込む（ステップ４１６）。 FIG. 6 is a diagram showing a configuration of a data packet transmitted from the lecturer terminal 3 to the teaching material document distribution server 1. As shown in the figure, the data packet includes an IP head, a TCP header, an HTTP header, a unique header, an RTP header, and a T.264 packet. It consists of 126 headers. T.A. The 126 header includes a time stamp, a data block of stroke data, and the like.
The teaching material document distribution server 1 acquires the stroke data with the time stamp transmitted from the lecturer terminal 3 by the stroke data acquisition unit 43 and writes it in the memory 45 of the stroke data acquisition / distribution unit 33 (step 416).

次に、図７を参照して、受講者端末５と教材ドキュメント配信サーバ１との間での処理の流れを説明する。   Next, the flow of processing between the student terminal 5 and the learning material document distribution server 1 will be described with reference to FIG.

受講者端末５では、受講者が入力部２３を使って表示部２１の受講画面で開始ボタンを押すなどして受講開始を指定する情報が受講画面・音声処理部２７に与えられると（ステップ７０１）、受講画面・音声処理部２７は、ビデオ・オーディオデコーダ２５を起動するとともに、教材ドキュメント配信サーバ１に受講開始の通知情報を送る（ステップ７０２）。   In the student terminal 5, when the student uses the input unit 23 to press the start button on the attendance screen of the display unit 21 to give information specifying start of attendance to the attendance screen / voice processing unit 27 (step 701). ), The attendance screen / audio processing unit 27 activates the video / audio decoder 25 and sends notice information of the start of attendance to the teaching material document distribution server 1 (step 702).

教材ドキュメント配信サーバ１は、受講者端末５より受講開始の通知情報を受け取ると（ステップ７０３）、ドキュメント提供部３１のドキュメント配信部４１により、ドキュメントデータベース３９の先頭のドキュメントデータを読み込み、受講者端末５に送信する（ステップ７０４）。   When the learning material document distribution server 1 receives the notification information of the start of the course from the student terminal 5 (step 703), the document distribution unit 41 of the document providing unit 31 reads the first document data in the document database 39, and the student terminal 5 (step 704).

受講者端末５の受講画面・音声処理部２７は、教材ドキュメント配信サーバ１よりドキュメントデータを受信すると（ステップ７０５）、このドキュメントデータを含む受講画面を受講者端末５の表示部２１に表示する（ステップ７０６）。一方、ビデオ・オーディオデコーダ２５は、起動後、ビデオ・オーディオ配信サーバ９からビデオ・オーディオデータの配信を要求し、受信したビデオ・オーディオデータをデコードし、受講画面・音声処理部２７へ送る。受講画面・音声処理部２７は、ビデオ・オーディオデコーダ２５からのビデオ・オーディオデータをそれぞれ処理して、表示部２１に講義者の講義映像を表示させるとともに、音声出力部２２より講義の音声を出力させる（ステップ７０６）。   Upon receiving the document data from the teaching material document distribution server 1 (step 705), the attendance screen / audio processing unit 27 of the student terminal 5 displays the attendance screen including the document data on the display unit 21 of the student terminal 5 ( Step 706). On the other hand, after activation, the video / audio decoder 25 requests distribution of video / audio data from the video / audio distribution server 9, decodes the received video / audio data, and sends it to the attendance screen / audio processing unit 27. The attendance screen / audio processing unit 27 processes the video / audio data from the video / audio decoder 25 to display the lecture video of the lecturer on the display unit 21, and outputs the audio of the lecture from the audio output unit 22. (Step 706).

この後、受講者端末５の受講画面・音声処理部２７は、ビデオ・オーディオデコーダ２５から現在のビデオ・オーディオの再生時刻を取得し、取得したビデオ・オーディオ再生時刻で内部時計を調整する（ステップ７０７）。この内部時計の調整は、たとえば、定期的（たとえば５秒間隔）に行われることが好ましい。ビデオ・オーディオデコーダ２５は講義開始からのビデオ・オーディオデータの再生時間（再生時刻）を管理する機能を有しており、受講画面・音声処理部２７からの要求に対して現在の再生時刻を応答することができる。   Thereafter, the attendance screen / audio processing unit 27 of the student terminal 5 acquires the current video / audio playback time from the video / audio decoder 25 and adjusts the internal clock based on the acquired video / audio playback time (step). 707). The internal clock is preferably adjusted regularly (for example, at intervals of 5 seconds). The video / audio decoder 25 has a function of managing the reproduction time (reproduction time) of video / audio data from the start of the lecture, and responds to the request from the attendance screen / audio processing unit 27 with the current reproduction time. can do.

受講画面の表示後、受講者端末５の受講画面・音声処理部２７は、教材ドキュメント配信サーバ１のストロークデータ配信部４７に対してポインティングイメージのストロークデータを要求する（ステップ７０８）。教材ドキュメント配信サーバ１のストロークデータ配信部４７は、この要求を受けると（ステップ７０９）、メモリ４５に保持してあるタイムスタンプ付きストロークデータを応答する（ステップ７１０）。   After the attendance screen is displayed, the attendance screen / audio processing unit 27 of the student terminal 5 requests the stroke data of the pointing image from the stroke data distribution unit 47 of the teaching material document distribution server 1 (step 708). When receiving the request (step 709), the stroke data distribution unit 47 of the learning material document distribution server 1 responds with the time-stamped stroke data stored in the memory 45 (step 710).

受講者端末５の受講画面・音声処理部２７は、ストロークデータを受信すると（ステップ５１１）、このストロークデータに付加されているタイムスタンプが示す時刻と内部時計の時刻とを比較する（ステップ７１２）。ここで、講義者端末３から受講者端末５へのビデオ・オーディオデータの転送に要する時間の平均はポインティングイメージのストロークデータの転送に要する平均の時間よりも長い。このため、ストロークデータに付加されているタイムスタンプの時刻と内部時計の現在時刻とを比較すると、タイムスタンプの時刻は内部時計の現在時刻よりも進んでいる場合が殆どである。   Upon receiving the stroke data (step 511), the attendance screen / audio processing unit 27 of the student terminal 5 compares the time indicated by the time stamp added to the stroke data with the time of the internal clock (step 712). . Here, the average time required to transfer the video / audio data from the lecturer terminal 3 to the student terminal 5 is longer than the average time required to transfer the stroke data of the pointing image. Therefore, when the time stamp added to the stroke data is compared with the current time of the internal clock, the time of the time stamp is almost ahead of the current time of the internal clock.

そこで、この場合、受講者端末５の受講画面・音声処理部２７は、内部時計の現在時刻がタイムスタンプの時刻に達するまで、受信したストロークデータに基づくポインティングイメージの描画を待機し、内部時計の現在時刻がタイムスタンプの時刻に達したところで受信したストロークデータに基づくポインティングイメージの描画を行う（ステップ７１３）。なお、タイムスタンプの時刻が内部時計の現在時刻よりもはじめから遅れている場合には、たとえば即座にストロークデータを受講画面に描画するようにしてもよいし、描画せずに廃棄してもよい。   Therefore, in this case, the attendance screen / audio processing unit 27 of the student terminal 5 waits for the drawing of the pointing image based on the received stroke data until the current time of the internal clock reaches the time of the time stamp. When the current time reaches the time stamp, a pointing image is drawn based on the received stroke data (step 713). When the time of the time stamp is delayed from the beginning of the current time of the internal clock, for example, the stroke data may be immediately drawn on the attendance screen, or may be discarded without being drawn. .

以上により、受講者端末５上で再生される講義者の映像・音声とポインティングイメージの動きとの同期ずれを、人間の感覚上問題の無い程度に抑えることができ、遠隔授業の品質の向上を図ることができる。   As described above, the synchronization between the video / audio of the lecturer reproduced on the student terminal 5 and the movement of the pointing image can be suppressed to the extent that there is no problem in human sense, and the quality of the distance learning is improved. You can plan.

なお、本発明は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。   It should be noted that the present invention is not limited to the illustrated examples described above, and it is needless to say that various modifications can be made without departing from the scope of the present invention.

本発明の一実施形態にかかる遠隔授業システムの全体的な構成を示すブロック図である。It is a block diagram which shows the whole structure of the distance learning system concerning one Embodiment of this invention. 講義者端末の講義画面の例を示す図である。It is a figure which shows the example of the lecture screen of a lecturer terminal. 教材ドキュメント配信サーバのより詳細な構成を示すブロック図である。It is a block diagram which shows the more detailed structure of a learning material document delivery server. 講義者端末と教材ドキュメント配信サーバとの間での処理の流れを示すシーケンス図である。It is a sequence diagram which shows the flow of a process between a lecturer terminal and a teaching material document delivery server. ストロークデータの作成の手順を示すフローチャートである。It is a flowchart which shows the procedure of creation of stroke data. 講義者端末から教材ドキュメント配信サーバへ送信されるデータパケットの構成を示す図である。It is a figure which shows the structure of the data packet transmitted to a teaching material document delivery server from a lecturer terminal. 受講者端末と教材ドキュメント配信サーバとの間での処理の流れを示すシーケンス図である。It is a sequence diagram which shows the flow of a process between a student terminal and a teaching material document delivery server.

符号の説明Explanation of symbols

１…教材ドキュメント配信サーバ、３…講義者端末、５…受講者端末、７…ビデオ・オーディオエンコーダ、９…ビデオ・オーディオ配信サーバ、１１…表示部、１３…入力部、１５…講義画面処理部、１７…ストロークデータ作成部、２１…表示部、２２…音声出力部、２３…入力部、２５…ビデオ・オーディオデコーダ、２７…受講画面・音声処理部、２９…マイク付きビデオカメラ、３１…ドキュメント提供部、３３…ストロークデータ取得・配信部、４３…ストロークデータ取得部、４５…メモリ、４７…ストロークデータ配信部。   DESCRIPTION OF SYMBOLS 1 ... Teaching material document delivery server, 3 ... Lecturer terminal, 5 ... Student terminal, 7 ... Video / audio encoder, 9 ... Video / audio delivery server, 11 ... Display part, 13 ... Input part, 15 ... Lecture screen processing part , 17 ... Stroke data creation section, 21 ... Display section, 22 ... Audio output section, 23 ... Input section, 25 ... Video / audio decoder, 27 ... Attendance screen / audio processing section, 29 ... Video camera with microphone, 31 ... Document Providing unit, 33 ... stroke data acquisition / distribution unit, 43 ... stroke data acquisition unit, 45 ... memory, 47 ... stroke data distribution unit.

Claims (4)

講義者端末装置から受講者端末装置に、講義の映像・音声と、教材としてのドキュメント及びこのドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡データであるストロークデータとを独立して転送する遠隔授業システムの講義者端末装置であって、
前記ドキュメント及び前記ポインティングイメージを表示可能な表示手段と、
前記ポインティングイメージを移動させるための入力を受け付ける入力手段と、
前記ポインティングイメージの移動の軌跡を示すストロークデータを作成するとともに、この作成したストロークデータに、前記講義の映像・音声の転送開始からの経過時間の情報を付加して転送するストロークデータ作成手段と
を具備することを特徴とする講義者端末装置。 From lecturer terminal device to student terminal device, the video and audio of the lecture and the stroke data that is the trajectory data of the movement of the document as the teaching material and the pointing image to point to any position on this document A lecturer terminal device of a remote lesson system to be transferred,
Display means capable of displaying the document and the pointing image;
Input means for receiving an input for moving the pointing image;
Stroke data creating means for creating stroke data indicating the movement trajectory of the pointing image, and adding the information on the elapsed time from the start of video / audio transfer of the lecture to the created stroke data; and A lecturer terminal device characterized by comprising. 講義者端末装置から受講者端末装置に、講義の映像・音声と、教材としてのドキュメント及びこのドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡を示すストロークデータとを独立して転送する遠隔授業システムの受講者端末装置であって、
前記ドキュメント及び前記ポインティングイメージを表示可能な表示手段と、
受信した前記講義の映像・音声を再生するとともに、受信した前記ポインティングイメージの前記ストロークデータに付加されている前記講義の映像・音声の転送開始からの経過時間と内部時計とを比較し、この比較結果に基づき、前記ポインティングイメージの前記ストロークデータによる描画のタイミングを制御する受講画面・音声処理手段と
を具備することを特徴とする受講者端末装置。 Independently transfer lecture video / audio and stroke data indicating the movement of the document as teaching material and pointing image to point to any position on this document from the lecturer terminal to the student terminal A student terminal device for a remote lesson system,
Display means capable of displaying the document and the pointing image;
The received video / audio of the lecture is reproduced, and the elapsed time from the start of the video / audio transfer of the lecture added to the stroke data of the received pointing image is compared with the internal clock. A student terminal device comprising: a attendance screen / audio processing means for controlling a drawing timing of the pointing image based on the stroke data based on the result. 前記内部時計の時刻を、現在の講義の映像・音声の再生時刻で調整する手段をさらに有することを特徴とする請求項２に記載の受講者端末装置。   The student terminal device according to claim 2, further comprising means for adjusting the time of the internal clock by the reproduction time of the video / audio of the current lecture. 講義者端末装置から受講者端末装置に、講義の映像・音声と、教材としてのドキュメント及びこのドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡を示すストロークデータとを独立して転送する遠隔授業システムのサーバ装置であって、
前記講義者端末装置から転送された、前記講義の映像・音声の転送開始からの経過時間の情報が付加されたストロークデータを取得し、前記受講者端末装置に配信するストロークデータ取得・配信手段を具備することを特徴とするサーバ装置。 Independently transfer lecture video / audio and stroke data indicating the movement of the document as teaching material and pointing image to point to any position on this document from the lecturer terminal to the student terminal A remote lesson system server device,
Stroke data acquisition / distribution means for acquiring stroke data transferred from the lecturer terminal device to which information on the elapsed time from the start of video / audio transfer of the lecture is added and distributed to the student terminal device A server device comprising the server device.
JP2004158336A 2004-05-27 2004-05-27 Lecturer's terminal apparatus, trainee's terminal apparatus and server apparatus in remote teaching system Withdrawn JP2005338510A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004158336A JP2005338510A (en) 2004-05-27 2004-05-27 Lecturer's terminal apparatus, trainee's terminal apparatus and server apparatus in remote teaching system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004158336A JP2005338510A (en) 2004-05-27 2004-05-27 Lecturer's terminal apparatus, trainee's terminal apparatus and server apparatus in remote teaching system

Publications (1)

Publication Number Publication Date
JP2005338510A true JP2005338510A (en) 2005-12-08

Family

ID=35492160

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004158336A Withdrawn JP2005338510A (en) 2004-05-27 2004-05-27 Lecturer's terminal apparatus, trainee's terminal apparatus and server apparatus in remote teaching system

Country Status (1)

Country Link
JP (1) JP2005338510A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014150497A (en) * 2013-02-04 2014-08-21 Ricoh Co Ltd Information processing system, information processing apparatus, and program
JP2015046708A (en) * 2013-08-27 2015-03-12 日本電信電話株式会社 Communication system, communication method, transmission-side synchronous signal distribution device, transmission-side synchronous control device, reception-side synchronous signal distribution device, reception-side synchronous control device and program
JP2015080006A (en) * 2013-10-01 2015-04-23 株式会社教育情報サービス Video content production terminal, video content creation method, and video content production terminal program
WO2016117480A1 (en) * 2015-01-19 2016-07-28 シャープ株式会社 Telecommunication system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014150497A (en) * 2013-02-04 2014-08-21 Ricoh Co Ltd Information processing system, information processing apparatus, and program
JP2015046708A (en) * 2013-08-27 2015-03-12 日本電信電話株式会社 Communication system, communication method, transmission-side synchronous signal distribution device, transmission-side synchronous control device, reception-side synchronous signal distribution device, reception-side synchronous control device and program
JP2015080006A (en) * 2013-10-01 2015-04-23 株式会社教育情報サービス Video content production terminal, video content creation method, and video content production terminal program
WO2016117480A1 (en) * 2015-01-19 2016-07-28 シャープ株式会社 Telecommunication system

Similar Documents

Publication Publication Date Title
WO2020103203A1 (en) Method and apparatus for synchronizing whiteboard with video, computing device, and storage medium
CN106971635B (en) Teaching training method and system
CN108074431B (en) System and method for applying VR (virtual reality) technical lecture practical training
US20030191805A1 (en) Methods, apparatus, and systems for on-line seminars
US20080137756A1 (en) System and method for capturing, editing, searching, and delivering multi-media content
EP3742742A1 (en) Method, apparatus and system for synchronously playing message stream and audio/video stream
JP2009212768A (en) Visible light communication light transmitter, information provision device, and information provision system
CN112235530B (en) Method and device for realizing teleconference, electronic device and storage medium
GB2363936A (en) Method and apparatus for surveillance using an image server
CN106095905B (en) Internet interaction platform based on PPT playing
US10521178B2 (en) Method of controlling mobile devices in concert during a mass spectators event
CN111723558A (en) Document display method and device, electronic equipment and storage medium
JP2009294625A (en) Remote educational system and display control method of multimedia content
KR101702013B1 (en) Smart education service system with video having function of sharing content of a variety of formats and Smart education method with video using thereof
WO2014034195A1 (en) Content provision device, content provision method, program, information storage medium, broadcast station device, and data structure
JP2008096482A (en) Receiving terminal, network learning support system, receiving method, and network learning support method
JP2005338510A (en) Lecturer&#39;s terminal apparatus, trainee&#39;s terminal apparatus and server apparatus in remote teaching system
JPH09222847A (en) Remote lecture system method
US20060267789A1 (en) Multimedia tour system
CN114584811B (en) Method and system for synchronizing streaming media video based on RTP (real-time transport protocol)
CN110798640A (en) Full high-definition recording and broadcasting method
KR101845390B1 (en) Online learning coaching apparatus and method based on learning video file obtained using electronic pen
JP2003241630A (en) Method for distributing animation, system for displaying the same, education model, user interface, and manual operation procedure
JP2003337783A (en) Communication system, communication device and communication method
Chabot et al. Interactive application to control and rapid-prototype in a collaborative immersive environment

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070807