JP2016057709A - Electronic conference system, and display control method and program in electronic conference system - Google Patents

Electronic conference system, and display control method and program in electronic conference system Download PDF

Info

Publication number
JP2016057709A
JP2016057709A JP2014181728A JP2014181728A JP2016057709A JP 2016057709 A JP2016057709 A JP 2016057709A JP 2014181728 A JP2014181728 A JP 2014181728A JP 2014181728 A JP2014181728 A JP 2014181728A JP 2016057709 A JP2016057709 A JP 2016057709A
Authority
JP
Japan
Prior art keywords
terminal
screen
image
switching
switching signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014181728A
Other languages
Japanese (ja)
Other versions
JP6405809B2 (en
Inventor
鈴木 傑
Takashi Suzuki
傑 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murata Machinery Ltd
Original Assignee
Murata Machinery Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murata Machinery Ltd filed Critical Murata Machinery Ltd
Priority to JP2014181728A priority Critical patent/JP6405809B2/en
Publication of JP2016057709A publication Critical patent/JP2016057709A/en
Application granted granted Critical
Publication of JP6405809B2 publication Critical patent/JP6405809B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To improve efficiency and convenience of communication between terminals in a bidirectional real-time communication.SOLUTION: A video chat system includes a supporter terminal 10A and a worker terminal 10C that can transmit/receive data to/from the supporter terminal 10A. The worker terminal 10C transmits a screen switching completion notice representing kinds of a switched screen to the supporter terminal 10A when switching an image displayed on the worker terminal 10C. The supporter terminal 10A displays the kind of the image displayed on the worker terminal 10C in a distinguishable manner on the basis of the received screen switching completion notice.SELECTED DRAWING: Figure 5

Description

本発明は、例えば、複数の情報端末間で情報の共有をリアルタイムに行う電子会議システムに関する。   The present invention relates to an electronic conference system for sharing information between a plurality of information terminals in real time, for example.

従来、複数のコンピュータ端末を用いた電子会議システムが知られている。例えば、通信回線を介して、インストラクタと受講者が、ビデオ映像等のマルチメディア教材を共有しながら双方向通信でレッスンを行う教育サービスシステムが開示されている(例えば、特許文献1参照)。
また、このような電子会議システムにおいては、自己の撮影動画画像を含むコントロール画像、相手側の撮影動画画像、相手側画像、イメージオーガナイザが、それぞれ独立のウィンドウとしてディスプレイに表示される(例えば、特許文献2参照)。
Conventionally, an electronic conference system using a plurality of computer terminals is known. For example, an education service system is disclosed in which an instructor and a student take lessons by interactive communication while sharing multimedia teaching materials such as video images via a communication line (see, for example, Patent Document 1).
Further, in such an electronic conference system, a control image including a captured video image of the user, a captured video image of the other party, the other party image, and an image organizer are displayed on the display as independent windows (for example, patents). Reference 2).

特開2007−11389号公報JP 2007-11389 A 特開2007−116527号公報JP 2007-116527 A

電子会議システムにおいては、通信回線で互いに接続される各端末の画面に動画、静止画、テキストデータといった複数の種別の画像が表示される。そして、各ユーザーは端末の画面を見ながら、他のユーザーと会話する。例えば、遠隔にいる作業者(ユーザー)が、作業現場で作業をしながら、支援者(ユーザー)と端末の画面を見ながら打合せを行い、作業や打合せの効率化を図ることができる。
このとき、各端末の表示画面には、メイン表示領域を設け、当該メイン表示領域に、対象となる画像を表示する。メイン表示領域に表示する画像は、端末間で共有されるデータであり、例えば、カメラ映像、テキストデータ、様々なファイル形式のデータを表示させることができるホワイトボードである。一の端末のユーザーは、他端末のユーザーと会議を行うときに、このメイン表示領域内の画面を適宜切り替える。
In an electronic conference system, a plurality of types of images such as moving images, still images, and text data are displayed on the screens of terminals connected to each other via a communication line. Each user talks with other users while watching the terminal screen. For example, a worker (user) who is remote can make a meeting with a supporter (user) while looking at the screen of the terminal while working at the work site, thereby improving the efficiency of the work and the meeting.
At this time, a main display area is provided on the display screen of each terminal, and a target image is displayed in the main display area. The image displayed in the main display area is data shared between terminals, for example, a whiteboard that can display camera video, text data, and data in various file formats. When a user of one terminal has a meeting with a user of another terminal, the screen in the main display area is appropriately switched.

しかし、各端末のユーザーは、他端末の画面にどの種別の画像が表示されているかを把握できない。例えば、一の端末のユーザーがホワイトボードの画像を見ながら会話をしているときに、会話の相手である他端末のユーザーがホワイトボードの画像以外(例えば、カメラ映像)を見ていることは、一の端末のユーザーには分からない。このため、一の端末からの音声の内容とその音声の内容に従って作業する他端末の表示内容とが一致せず、ユーザー間のコミュニケーションがうまくとれないという不都合が生じる。
そこで、本発明は、端末間のコミュニケーションの効率性及び利便性を向上させる電子会議システム、電子会議システムにおける表示制御方法及びプログラムを提供することを目的とする。
However, the user of each terminal cannot grasp what type of image is displayed on the screen of another terminal. For example, when a user of one terminal is talking while looking at a whiteboard image, the user of another terminal who is the other party of the conversation is watching a non-whiteboard image (for example, a camera image) , One terminal user does not know. For this reason, the content of the sound from one terminal and the display content of the other terminal that works according to the content of the sound do not match, resulting in inconvenience that communication between users cannot be performed well.
Therefore, an object of the present invention is to provide an electronic conference system, a display control method in the electronic conference system, and a program that improve the efficiency and convenience of communication between terminals.

以下に、課題を解決するための手段として複数の態様を説明する。これら態様は、必要に応じて任意に組み合せることができる。
本発明の一見地に係る電子会議システムは、第1の端末と、第1の端末とデータの送受信が可能な第2の端末と、を備える。第2の端末は、第2の端末で表示されている画像を切り替える場合には、切り替えた画像の種別を示す第1の切替信号を第1の端末に送信する。第1の端末は、受信した第1の切替信号に基づき、第2の端末で表示されている画像の種別を識別可能に表示する。
ここでは、第1の端末のユーザーは、他の端末のユーザーがいずれの画像を見ているかをすぐに把握することができるので、コミュニケーションの効率性及び利便性を向上している。
第2の端末は、第2の端末で表示されている画像のうち、メイン表示画面の画像を切り替えた場合に、第1の端末に第1の切替信号を送信するようにしてもよい。
また、第1の端末は、第2の端末の表示画面を切り替える第2の切替信号を第2の端末に送信し、第2の端末は、第2の切替信号を受信すると、表示画面を第2の切替信号で指定された種別の画像に切り替えるようにしてもよい。
さらに、第1の端末は、第2の端末のメイン表示画面を切り替える第2の切替信号を第2の端末に送信し、第2の端末は、第2の切替信号を受信すると、メイン表示画面を第2の切替信号で指定された種別の画像に切り替えるようにしてもよい。
第1の端末と第2の端末は、画像を構成する要素データをWebSocketを介して送受信するようにしてもよい。
第1の端末は複数であってもよい。この場合、第2の端末は、第2の端末で表示されている画像を切り替える場合には、切り替えた画像の種別を示す第1の切替信号を複数の第1の端末に送信し、複数の第1の端末は、受信した第1の切替信号に基づき、第2の端末で表示されている画像の種別を識別可能に表示する。
Hereinafter, a plurality of modes will be described as means for solving the problems. These aspects can be arbitrarily combined as necessary.
An electronic conference system according to an aspect of the present invention includes a first terminal and a second terminal capable of transmitting and receiving data to and from the first terminal. When switching the image displayed on the second terminal, the second terminal transmits a first switching signal indicating the type of the switched image to the first terminal. Based on the received first switching signal, the first terminal displays the type of image displayed on the second terminal so as to be identifiable.
Here, since the user of the first terminal can immediately grasp which image the user of the other terminal is viewing, the efficiency and convenience of communication are improved.
The second terminal may transmit the first switching signal to the first terminal when the image on the main display screen is switched among the images displayed on the second terminal.
In addition, the first terminal transmits a second switching signal for switching the display screen of the second terminal to the second terminal. When the second terminal receives the second switching signal, the first terminal displays the display screen on the second screen. The image may be switched to the type of image designated by the second switching signal.
Further, the first terminal transmits a second switching signal for switching the main display screen of the second terminal to the second terminal. When the second terminal receives the second switching signal, the main terminal displays the main display screen. May be switched to the type of image designated by the second switching signal.
The first terminal and the second terminal may transmit / receive element data constituting an image via WebSocket.
There may be a plurality of first terminals. In this case, when the second terminal switches the image displayed on the second terminal, the second terminal transmits a first switching signal indicating the type of the switched image to the plurality of first terminals. Based on the received first switching signal, the first terminal displays the type of image displayed on the second terminal so as to be identifiable.

本発明の他の見地に係る表示制御方法は、第1の端末と、第1の端末とデータの送受信が可能な第2の端末とを用いた電子会議システムにおける表示制御方法である。この方法は、第2の端末において表示されている画像を切り替える場合に、切り替えた画像の種別を示す第1の切替信号を第2端末から第1の端末に送信し、第1の端末において、受信した第1の切替信号に基づき第2の端末で表示されている画像の種別を識別可能に表示する。
本発明のさらに他の見地に係る表示制御プログラムは、第1の端末と、第1の端末とデータの送受信が可能な第2の端末とを用いた電子会議システムにおける表示制御プログラムである。このプログラムは、第2の端末において表示されている画像を切り替える場合に、切り替えた画像の種別を示す第1の切替信号を第2端末から第1の端末に送信し、第1の端末において、受信した第1の切替信号に基づき第2の端末で表示されている画像の種別を識別可能に表示する。
A display control method according to another aspect of the present invention is a display control method in an electronic conference system using a first terminal and a second terminal capable of transmitting and receiving data to and from the first terminal. In this method, when switching the image displayed on the second terminal, the first switching signal indicating the type of the switched image is transmitted from the second terminal to the first terminal, and in the first terminal, Based on the received first switching signal, the type of image displayed on the second terminal is displayed in an identifiable manner.
A display control program according to still another aspect of the present invention is a display control program in an electronic conference system using a first terminal and a second terminal capable of transmitting / receiving data to / from the first terminal. When switching the image displayed on the second terminal, the program transmits a first switching signal indicating the type of the switched image from the second terminal to the first terminal. Based on the received first switching signal, the type of image displayed on the second terminal is displayed in an identifiable manner.

本発明は、双方向リアルタイム通信において端末間のコミュニケーションの効率性及び利便性を向上させる。   The present invention improves the efficiency and convenience of communication between terminals in bidirectional real-time communication.

実施の形態1に係る電子会議システムの概略構成図。1 is a schematic configuration diagram of an electronic conference system according to Embodiment 1. FIG. 電子会議システムを構成する端末の概略構成図。The schematic block diagram of the terminal which comprises an electronic conference system. 電子会議システムを構成するサーバーの概略構成図。The schematic block diagram of the server which comprises an electronic conference system. 端末のディスプレイの画面表示例示す図。The figure which shows the example of a screen display of the display of a terminal. 電子会議システムによる画面切替動作のシーケンス図。The sequence diagram of the screen switching operation | movement by an electronic conference system. 端末のディスプレイの画面を簡略化して示す図。The figure which simplifies and shows the screen of the display of a terminal. 端末のディスプレイの画面を簡略化して示す図。The figure which simplifies and shows the screen of the display of a terminal. 端末のディスプレイの画面を簡略化して示す図。The figure which simplifies and shows the screen of the display of a terminal. 実施の形態2に係る電子会議システムによる画面切替動作のシーケンス図。FIG. 10 is a sequence diagram of a screen switching operation by the electronic conference system according to Embodiment 2.

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of already well-known matters and repeated descriptions for substantially the same configuration may be omitted. This is to avoid the following description from becoming unnecessarily redundant and to facilitate understanding by those skilled in the art.
The inventor provides the accompanying drawings and the following description in order for those skilled in the art to fully understand the present disclosure, and is not intended to limit the subject matter described in the claims. Absent.

(実施の形態1)
[1−1.構成]
[1−1−1.システムの構成]
図1は、本実施形態に係るビデオチャットシステム1(電子会議システムの一例)の概略構成を示す。このビデオチャットシステム1は、複数の情報端末間で情報の共有を行い、リアルタイムに例えば映像、音声、テキストを用いてリアルタイムのコミュニケーションを実現するものである。
なお、以下の例においては、工場の作業現場にいる作業者が用いる端末(作業者端末)と、その作業を支援する支援者が用いる端末(支援者端末)との間のコミュニケーションを例に挙げているが、これはあくまで使用例であり、本発明はこの例に限定されるものではない。
(Embodiment 1)
[1-1. Constitution]
[1-1-1. System configuration]
FIG. 1 shows a schematic configuration of a video chat system 1 (an example of an electronic conference system) according to the present embodiment. The video chat system 1 shares information between a plurality of information terminals, and realizes real-time communication using, for example, video, audio, and text in real time.
In the following example, communication between a terminal (worker terminal) used by a worker at a factory work site and a terminal (supporter terminal) used by a supporter supporting the work is taken as an example. However, this is just an example of use, and the present invention is not limited to this example.

ビデオチャットシステム1は、複数の端末10と、これらの端末10に接続されるサーバー20とを含む。端末10とサーバー20との間は、ネットワーク(例えば、WAN、LAN、インターネット)を介して接続される。また、端末10同士の間は、サーバー20を介さないブラウザ間において、WebRTC等を利用して映像や音声の送受信を行う。
複数の端末10は、支援者端末10A(第1の端末の一例)と、支援者端末10Bと、作業者端末10C(第2の端末の一例)とを含む。支援者端末10A、10Bは、支援者が利用する端末である。支援者は、遠隔にいる作業者の支援を行う。一方、作業者端末10Cは、作業者が利用する端末である。作業者は、遠隔にいる支援者からのサポートを受けながら作業を行う。
なお、一つのルームに入室している端末10の数は3に限られず、2以下であっても4以上であってもよい。また、支援者端末10A、10Bの数及び作業者端末10Cの数も図示例より多くても少なくてもよい。
The video chat system 1 includes a plurality of terminals 10 and a server 20 connected to these terminals 10. The terminal 10 and the server 20 are connected via a network (for example, WAN, LAN, Internet). Further, between the terminals 10, video and audio are transmitted and received between browsers not via the server 20 using WebRTC or the like.
The plurality of terminals 10 include a supporter terminal 10A (an example of a first terminal), a supporter terminal 10B, and a worker terminal 10C (an example of a second terminal). The supporter terminals 10A and 10B are terminals used by the supporter. The supporter supports the worker who is remote. On the other hand, the worker terminal 10C is a terminal used by the worker. The worker works while receiving support from a remote supporter.
Note that the number of terminals 10 entering a room is not limited to 3, and may be 2 or less or 4 or more. Further, the number of supporter terminals 10A and 10B and the number of worker terminals 10C may be more or less than the illustrated example.

[1−1−2.端末の構成]
図2は、各端末10の概略構成を示す。各端末10は、例えば、パーソナルコンピュータ(PC)、タブレット端末、スマートホン、ウェアラブルデバイス(スマートグラス、スマートウオッチ、ヘッドマウントディスプレイ)といった、ディスプレイを備えたコンピュータ装置である。端末10は、コントローラ11、RAM12、ROM13、グラフィックコントローラ14、ディスプレイ15、入出力部16、通信部17を備え、更に記憶装置18に接続される。
コントローラ11は、所定のプログラムに従って、端末10による処理を実行する。コントローラ11は、バス19により各部と接続され、各部の動作を制御・実行する。
[1-1-2. Device configuration]
FIG. 2 shows a schematic configuration of each terminal 10. Each terminal 10 is a computer device having a display such as a personal computer (PC), a tablet terminal, a smart phone, or a wearable device (smart glasses, smart watch, head mounted display). The terminal 10 includes a controller 11, a RAM 12, a ROM 13, a graphic controller 14, a display 15, an input / output unit 16, and a communication unit 17, and is further connected to a storage device 18.
The controller 11 executes processing by the terminal 10 according to a predetermined program. The controller 11 is connected to each unit by a bus 19 and controls and executes the operation of each unit.

RAM12は、いわゆるワークメモリである。RAM12には、コントローラ11によって実行される上記所定のプログラムが展開される。ROM13は、端末10の起動時のプログラム及びデータを格納するメモリである。
グラフィックコントローラ14は、ディスプレイ15に表示される画像データを生成し、ディスプレイ15の表示動作を制御する。
The RAM 12 is a so-called work memory. The predetermined program executed by the controller 11 is expanded in the RAM 12. The ROM 13 is a memory that stores a program and data when the terminal 10 is activated.
The graphic controller 14 generates image data to be displayed on the display 15 and controls the display operation of the display 15.

ディスプレイ15は、グラフィックコントローラ14によって生成された画像データを表示する画面150(図4)を提供する、例えば液晶パネルや有機ELパネルである。
なお、ディスプレイ15は、後述する入力デバイスとしてのタッチパネルを含んでいてもよい。タッチパネルは、操作する者の指の接触を所定の検出回路により検出することにより、情報を入力する。
入出力部16は、入力デバイスや出力デバイスと端末10との接続インターフェースである。入力デバイスは、例えば、マウス161、キーボード162、映像を撮像するカメラ163及びマイクロホン165である。出力デバイスは、例えば、音声を出力するスピーカ164である。
The display 15 is, for example, a liquid crystal panel or an organic EL panel that provides a screen 150 (FIG. 4) that displays image data generated by the graphic controller 14.
The display 15 may include a touch panel as an input device described later. The touch panel inputs information by detecting the contact of the finger of the operator with a predetermined detection circuit.
The input / output unit 16 is a connection interface between the input device or output device and the terminal 10. The input devices are, for example, a mouse 161, a keyboard 162, a camera 163 that captures an image, and a microphone 165. The output device is, for example, a speaker 164 that outputs sound.

通信部17は、ネットワークや、パーソナルコンピュータへの通信を可能にする通信回路である。通信部17は、有線であっても無線であってもよい。通信部17を介してサーバー20や他の端末10との間で、映像、音声、テキストデータといった各種データを送受信する。
バス19は、端末10の各構成要素を相互に接続し、信号を授受可能にする信号線である。
記憶装置18は、例えば、磁気テープ、CD、光ディスク、ハードディスク、DVD、フラッシュメモリを含み、コンピュータプログラム及び送受信データを格納する。
The communication unit 17 is a communication circuit that enables communication with a network or a personal computer. The communication unit 17 may be wired or wireless. Various data such as video, audio, and text data are transmitted / received to / from the server 20 and other terminals 10 via the communication unit 17.
The bus 19 is a signal line that connects the components of the terminal 10 to each other and enables transmission and reception of signals.
The storage device 18 includes, for example, a magnetic tape, a CD, an optical disk, a hard disk, a DVD, and a flash memory, and stores a computer program and transmission / reception data.

[1−1−3.サーバーの構成]
図3は、サーバー20の概略構成を示す。サーバー20は、コンピュータ装置であり、コントローラ21、RAM22、ROM23、通信部27を備え、更に記憶装置28に接続される。
コントローラ21は、所定のプログラムに従って、サーバー20による処理を実行する。コントローラ21は、バス29により各部と接続され、各部の動作を制御・実行する。
RAM22は、いわゆるワークメモリである。RAM22には、コントローラ21によって実行される上記所定のプログラムが展開される。ROM23は、サーバー20の起動時のプログラム及びデータを格納するメモリである。
[1-1-3. Server configuration]
FIG. 3 shows a schematic configuration of the server 20. The server 20 is a computer device, and includes a controller 21, a RAM 22, a ROM 23, and a communication unit 27, and is further connected to a storage device 28.
The controller 21 executes processing by the server 20 according to a predetermined program. The controller 21 is connected to each unit by a bus 29, and controls and executes the operation of each unit.
The RAM 22 is a so-called work memory. The predetermined program executed by the controller 21 is expanded in the RAM 22. The ROM 23 is a memory that stores a program and data when the server 20 is started up.

通信部27は、ネットワークやパーソナルコンピュータへの通信を可能にする通信回路である。コントローラ21は、通信部17を介して各端末10との間で、映像、音声、テキストデータといった各種データを送受信する。
バス29は、サーバー20の各構成要素を相互に接続し、信号を授受可能にする信号線である。
記憶装置28は、例えば、磁気テープ、ハードディスク、フラッシュメモリを含み、コンピュータプログラムや送受信データを格納する。
The communication unit 27 is a communication circuit that enables communication with a network or a personal computer. The controller 21 transmits and receives various data such as video, audio, and text data to and from each terminal 10 via the communication unit 17.
The bus 29 is a signal line that connects the components of the server 20 to each other and enables transmission and reception of signals.
The storage device 28 includes, for example, a magnetic tape, a hard disk, and a flash memory, and stores computer programs and transmission / reception data.

なお、図示例では、サーバー20は単独で示されているがこれに限定されない。サーバー20は複数の装置により構成されていてもよい。例えば、サーバー20は、Webサーバー、ICEサーバー、WebSocketサーバーから構成されていてもよい。Webサーバーは、各端末10との間でHTMLデータの送受信を行う。ICEサーバー(STUN/TURNサーバー)は、端末10同士間の音声や映像の双方向リアルタイムタイムIP通信を実現する。STUNサーバーは、端末に外側のネットワークアドレスを教える機能を有し、TURNサーバーは直接(P2Pの)通信ができなかった場合に、通信を中継する機能を有することにより、P2Pの通信を可能にする。   In the illustrated example, the server 20 is shown alone, but is not limited thereto. The server 20 may be composed of a plurality of devices. For example, the server 20 may be configured from a Web server, an ICE server, and a WebSocket server. The Web server transmits / receives HTML data to / from each terminal 10. The ICE server (STUN / TURN server) realizes bidirectional real-time IP communication of audio and video between the terminals 10. The STUN server has the function of teaching the outside network address to the terminal, and the TURN server has the function of relaying communication when direct (P2P) communication is not possible, thereby enabling P2P communication. .

[1−1−4.画面構成]
図4は、各端末10のディスプレイ15に表示される画面150の構成を示す。画面150は、本ビデオチャットシステム1により実行される電子会議中に表示される画面である。画面150は、上述したグラフィックコントローラ14により生成され、ディスプレイ15に表示される。画面150は、主にメイン表示領域151と、グループ表示領域152と、操作ボタン表示領域153と、グループ画面用アイコン表示領域154と、を含む。
メイン表示領域151は、当該端末10に関連する情報を表示するための画面であり、例えば、カメラ画面、チャット画面、ホワイトボード画面のうちいずれかの種別の画面を表示する。
[1-1-4. screen structure]
FIG. 4 shows the configuration of the screen 150 displayed on the display 15 of each terminal 10. A screen 150 is a screen displayed during an electronic conference executed by the video chat system 1. The screen 150 is generated by the graphic controller 14 described above and displayed on the display 15. The screen 150 mainly includes a main display area 151, a group display area 152, an operation button display area 153, and a group screen icon display area 154.
The main display area 151 is a screen for displaying information related to the terminal 10, and displays, for example, any type of screen among a camera screen, a chat screen, and a whiteboard screen.

カメラ画面は、端末10に接続されたカメラ163が撮像する映像を表示し、ユーザーの操作によりカメラの撮像動作(例えば、パン、チルト、ズーム)により映像を取得する。チャット画面は、各ユーザーが端末10に入力したテキストデータをリアルタイムに表示し、ユーザー間のテキストチャットによるコミュニケーションが実現する。ホワイトボード画面は、画面上の所定の枠(例えば、イメージオーガナイザ枠)内に、ユーザーが入力した文字情報又は画像情報を表示する。
メイン表示領域151に表示される画像は、各端末ユーザーの操作により切り替えることができる。メイン表示領域151は、ユーザーが表示される情報を把握しやすいようにある程度の大きさ(解像度)を有するように構成される。
The camera screen displays an image captured by the camera 163 connected to the terminal 10 and acquires the image by an image capturing operation (for example, pan, tilt, zoom) of the camera by a user operation. The chat screen displays text data input to the terminal 10 by each user in real time, thereby realizing communication by text chat between users. The whiteboard screen displays character information or image information input by the user in a predetermined frame (for example, an image organizer frame) on the screen.
The image displayed in the main display area 151 can be switched by the operation of each terminal user. The main display area 151 is configured to have a certain size (resolution) so that the user can easily grasp information displayed.

グループ表示領域152は、複数の表示セクション152A〜152Dからなる。各画面枠は、現在会議に参加している(以下、ルームに入室しているとも言う)端末の各画面を表示する。表示セクション152Aは、本端末10の画面である(本例では、支援者端末10Aとする)。表示セクション152B、152C、152Dは、接続されている他の端末10の画面である。なお、図示例では、接続される端末10の画面を最大4表示しているが、電子会議に参加可能な端末の数に応じてこれよりも少なくても多くてもよい。また、図示例では、表示セクション152Dに対応する端末は、ルームに入室していないものとする。
操作ボタン表示領域153は、本端末10の操作指示を入力するためのボタンやアイコンを表示する。操作ボタン表示領域153は、図4に示すように、後述するプレゼンター権限を取得するためのプレゼンターボタン1531と、後述する他の端末10への画面切替指示を出すための画面切替ボタン1532と、を表示する。
The group display area 152 includes a plurality of display sections 152A to 152D. Each screen frame displays each screen of the terminal that is currently participating in the conference (hereinafter also referred to as entering the room). The display section 152A is a screen of the terminal 10 (in this example, the supporter terminal 10A). The display sections 152B, 152C, and 152D are screens of other connected terminals 10. In the illustrated example, a maximum of four screens of the connected terminal 10 are displayed. However, the number may be smaller or larger depending on the number of terminals that can participate in the electronic conference. In the illustrated example, it is assumed that the terminal corresponding to the display section 152D has not entered the room.
The operation button display area 153 displays buttons and icons for inputting operation instructions of the terminal 10. As shown in FIG. 4, the operation button display area 153 includes a presenter button 1531 for acquiring a presenter authority to be described later, and a screen switch button 1532 for issuing a screen switching instruction to another terminal 10 to be described later. indicate.

グループ画面用アイコン表示領域154は、ルームに入室している各端末の画面に表示されている画像の種別を識別可能に表示するアイコンを表示する。具体的には、グループ画面用アイコン表示領域154は、プレゼンター権限を有することを示すプレゼンターアイコン1541と、メイン表示領域151がカメラ画面であることを示すカメラ映像アイコン1542と、メイン表示領域151がチャット画面であることを示すテキストチャットアイコン(以下、TCアイコンという)1543と、メイン表示領域151がホワイトボードであることを示すホワイトボードアイコン(以下、WBアイコンという)1544とを表示する。グループ画面用アイコン表示領域154はまた、各端末のユーザー名(-user)や所属名(-Group)を表示する。
なお、図示例においては、説明を容易にするため、グループ画面用アイコンを全て表示しているが、これらのアイコンは、ルームに入室している端末の画面に対してのみ表示される。
画像の種別を識別可能に表示するアイコンは、図示されているものに限定されず、記号、数字、その他図柄であってもよい。
The group screen icon display area 154 displays an icon for displaying the type of the image displayed on the screen of each terminal entering the room in an identifiable manner. Specifically, the group screen icon display area 154 includes a presenter icon 1541 indicating that the presenter has authority, a camera video icon 1542 indicating that the main display area 151 is a camera screen, and the main display area 151 indicating chat. A text chat icon (hereinafter referred to as a TC icon) 1543 that indicates a screen and a whiteboard icon (hereinafter referred to as a WB icon) 1544 that indicate that the main display area 151 is a whiteboard are displayed. The group screen icon display area 154 also displays the user name (-user) and affiliation name (-Group) of each terminal.
In the illustrated example, all group screen icons are displayed for ease of explanation, but these icons are displayed only on the screen of the terminal entering the room.
The icon that displays the image type in an identifiable manner is not limited to that shown in the figure, and may be a symbol, a number, or another design.

[1−2.動作]
図5から図8を参照して、本実施形態に係るビデオチャットシステム1の動作について、端末10間における画面切替動作を中心に説明する。
最初に概略的説明を行う。本ビデオチャットシステム1においては、各端末10は、サーバー20との接続(セッションの確立)を行う。具体的には、所定のログイン画面からユーザーがサーバー20へのログイン操作を行う。このとき、例えば、ユーザーIDとパスワード、役割(支援者又は作業者)といった各種情報を入力する。サーバー20からユーザー認証の通知を受けた後、各端末10は、画面150上に表示されるルームリストから参加するルーム(会議)を選択する。各端末10は、入室するルームを選択すると、当該ルームへの入室が完了し、同ルームに入室した他の端末とのコミュニケーションが可能となる。その後、画面150は本ビデオチャットシステム1の初期画面(図4)に遷移する。なお、この初期画面は、参加したユーザーが支援者か作業者かで異なる画面にしてもよい。
[1-2. Operation]
With reference to FIGS. 5 to 8, the operation of the video chat system 1 according to the present embodiment will be described focusing on the screen switching operation between the terminals 10.
First, a brief explanation will be given. In the video chat system 1, each terminal 10 performs connection (establishment of a session) with the server 20. Specifically, the user performs a login operation to the server 20 from a predetermined login screen. At this time, for example, various information such as a user ID, a password, and a role (supporter or worker) are input. After receiving the user authentication notification from the server 20, each terminal 10 selects a room (conference) to join from a room list displayed on the screen 150. When each terminal 10 selects a room to enter, entry into the room is completed, and communication with other terminals that have entered the room becomes possible. Thereafter, the screen 150 changes to the initial screen (FIG. 4) of the video chat system 1. The initial screen may be a different screen depending on whether the participating user is a supporter or a worker.

続いて、図5の動作について説明する。図5においては、支援者端末10Aが作業者端末10Cの画面を切り替える動作例を示す。
S101:支援者端末10Aは、プレゼンターの権限を取得する。具体的には、支援者端末10AのユーザーAが、図6(a)に示すプレゼンターボタン1531を選択すると、支援者端末10Aは、サーバー20に対しプレゼンターの権限を要求する。サーバー20は、プレゼンターの権限が取得可能かどうかを判断し、取得可能であればプレゼンターの権限を支援者端末10Aに付与する。
Next, the operation of FIG. 5 will be described. FIG. 5 shows an operation example in which the supporter terminal 10A switches the screen of the worker terminal 10C.
S101: The supporter terminal 10A acquires the authority of the presenter. Specifically, when the user A of the supporter terminal 10A selects the presenter button 1531 shown in FIG. 6A, the supporter terminal 10A requests the authority of the presenter from the server 20. The server 20 determines whether or not the authority of the presenter can be acquired. If the authority of the presenter can be acquired, the server 20 grants the authority of the presenter to the supporter terminal 10A.

なお、サーバー20がプレゼンター権限を許可しない場合とは、例えば、プレゼンター権限が支援者端末のみに許可されている場合において、作業者端末からプレゼンターの権限の要求があった場合である。
プレゼンター権限を取得した支援者端末10Aにおいては、図6(b)に示すように、支援者端末10Aに対応するグループ画面表示領域の表示セクション152Aに対して、支援者端末10Aがプレゼンター権限を有していることを示すプレゼンターアイコン1541を表示させる。
The case where the server 20 does not permit the presenter authority is, for example, a case where the presenter authority is requested from the worker terminal when the presenter authority is permitted only to the supporter terminal.
In the supporter terminal 10A that has acquired the presenter authority, as shown in FIG. 6B, the supporter terminal 10A has the presenter authority for the display section 152A of the group screen display area corresponding to the supporter terminal 10A. A presenter icon 1541 indicating that the user is currently operating is displayed.

S102:支援者端末10Aは、サーバー20に対し、作業者端末10Cの画面切替指示を送信する。
具体的には、支援者端末10AのユーザーAが、図6(b)に示す画面切替ボタン1532を選択する。すると、図7(a)に示すように、画面切替対象となる端末(ユーザー)の選択を促すダイアログ155が画面150に表示される。本例におけるルーム入室中のユーザーは、ユーザーAの他に、支援者端末10BのユーザーB、作業者端末10CのユーザーCの3人であるとする。ユーザーAはその中からユーザーを選択する。
S <b> 102: The supporter terminal 10 </ b> A transmits a screen switching instruction for the worker terminal 10 </ b> C to the server 20.
Specifically, the user A of the supporter terminal 10A selects the screen switching button 1532 shown in FIG. Then, as illustrated in FIG. 7A, a dialog 155 that prompts the user to select a terminal (user) that is a screen switching target is displayed on the screen 150. In this example, it is assumed that there are three users who are entering the room, that is, the user B of the support terminal 10B and the user C of the worker terminal 10C in addition to the user A. User A selects a user from among them.

ユーザーAが、いずれかのユーザ(本例では、ユーザーC)を選択すると、図7(b)に示すように切り替える画像の種別の選択を促すダイアログ156が、画面150に表示される。ここで、画像の種別は、上述したカメラ画面、チャット画面、ホワイトボード画面のいずれかである。本例では、作業者端末10Cの画面がチャット画面であり、それをホワイトボード画面に切り替えるものとする。ユーザーAは、ダイアログ156におけるホワイトボード画面を選択する。
以上の選択動作に基づき、支援者端末10Aは、画面切替指示(第2の切替信号の一例)を生成し、サーバー20に送信する。ここで、画面切替指示は、画面切替対象の端末のID(ここでは、作業者端末10CのID)と、切り替える画面の種類(ここでは、ホワイトボード画面)を特定する情報とを含む。
When the user A selects one of the users (in this example, the user C), a dialog 156 that prompts the user to select the type of image to be switched is displayed on the screen 150 as shown in FIG. Here, the type of the image is any one of the above-described camera screen, chat screen, and whiteboard screen. In this example, the screen of the worker terminal 10C is a chat screen, and it is switched to a whiteboard screen. User A selects the whiteboard screen in dialog 156.
Based on the above selection operation, the supporter terminal 10 </ b> A generates a screen switching instruction (an example of a second switching signal) and transmits the screen switching instruction to the server 20. Here, the screen switching instruction includes the ID of the terminal that is the screen switching target (here, the ID of the worker terminal 10C) and information that specifies the type of screen to be switched (here, the whiteboard screen).

S103:サーバー20は、画面切替指示に基づいて、作業者端末10Cに画面切替指示を送信する。
S104:作業者端末10Cは、メイン表示領域151を、チャット画面からホワイトボード画面に切り替える。
S103: The server 20 transmits a screen switching instruction to the worker terminal 10C based on the screen switching instruction.
S104: The worker terminal 10C switches the main display area 151 from the chat screen to the whiteboard screen.

S105:作業者端末10Cは、画面切替えが完了したことを知らせる通知(画面切替完了通知;第1の切替信号の一例)を、サーバー20に送信する。画面切替完了通知は、画面切替対象の端末のID(ここでは、作業者端末10CのID)と、切り替えた画像の種別(ここでは、ホワイトボード画面)を特定する情報とを含む。
S106:サーバー20は、入室中の他の端末の一つである支援者端末10Bに対し、作業者端末10Cの画面切替えが完了したことを知らせる通知である画面切替完了通知を送信する。
S105: The worker terminal 10C transmits a notification (screen switching completion notification; an example of a first switching signal) notifying that the screen switching is completed to the server 20. The screen switching completion notification includes the ID of the screen switching target terminal (here, the ID of the worker terminal 10C) and information for specifying the type of the switched image (here, the whiteboard screen).
S106: The server 20 transmits a screen switching completion notification, which is a notification notifying that the screen switching of the worker terminal 10C has been completed, to the supporter terminal 10B, which is one of the other terminals entering the room.

S107:支援者端末10Bは、画面切替完了通知に基づいて、支援者端末10Bの画面150に表示されるグループ表示領域152において、作業者端末10Cの画面に対応するアイコン表示を変更する。具体的には、TCアイコン1543(図6(a)及び図6(b))からWBアイコン1544(図8)に変更する。
S108:同時に、サーバー20は、支援者端末10Aに対し、同様に画面切替完了通知を送信する。
S107: The supporter terminal 10B changes the icon display corresponding to the screen of the worker terminal 10C in the group display area 152 displayed on the screen 150 of the supporter terminal 10B based on the screen switching completion notification. Specifically, the TC icon 1543 (FIGS. 6A and 6B) is changed to the WB icon 1544 (FIG. 8).
S108: At the same time, the server 20 similarly transmits a screen switching completion notification to the supporter terminal 10A.

S109:支援者端末10Aは、画面切替完了通知に基づいて、支援者端末10Aの画面150に表示されるグループ表示領域152において、作業者端末10Cの画面に対応するアイコン表示を変更する。具体的には、TCアイコン1543(図6(a)及び図6(b))からWBアイコン1544(図8)に変更する。
なお、図5において、点線100で囲まれた処理(S106〜S107、S108〜S109)は、同時に並行して行われるものとする。
S109: The supporter terminal 10A changes the icon display corresponding to the screen of the worker terminal 10C in the group display area 152 displayed on the screen 150 of the supporter terminal 10A based on the screen switching completion notification. Specifically, the TC icon 1543 (FIGS. 6A and 6B) is changed to the WB icon 1544 (FIG. 8).
In FIG. 5, it is assumed that the processes surrounded by the dotted line 100 (S106 to S107, S108 to S109) are simultaneously performed in parallel.

[1−3.効果等]
本実施形態に係るビデオチャットシステム1は、支援者端末10Aと、支援者端末10Aとデータの送受信が可能な作業者端末10Cと、を備え、作業者端末10Cは、作業者端末10Cで表示されている画像を切り替える場合には、画面切替完了通知を支援者端末10Aに送信し、支援者端末10Aは、受信した画面切替完了通知に基づき、作業者端末10Cで表示されている画像の種別を識別可能に表示する。
このため、支援者端末10Aにおいては、ユーザーAは、他の端末のユーザーがいずれの画像(カメラ画面、チャット画面、ホワイトボード画面のいずれか)を見ているかをすぐに把握することができるため、コミュニケーションの効率性及び利便性を向上させることができる。
[1-3. Effect etc.]
The video chat system 1 according to the present embodiment includes a supporter terminal 10A and a worker terminal 10C capable of transmitting / receiving data to / from the supporter terminal 10A, and the worker terminal 10C is displayed on the worker terminal 10C. In the case of switching an image being displayed, a screen switching completion notification is transmitted to the supporter terminal 10A, and the supporter terminal 10A determines the type of image displayed on the worker terminal 10C based on the received screen switching completion notification. Display identifiable.
For this reason, in the supporter terminal 10A, the user A can immediately grasp which image (a camera screen, a chat screen, or a whiteboard screen) a user of another terminal is viewing. The efficiency and convenience of communication can be improved.

更に、本実施形態に係るビデオチャットシステム1では、作業者端末10Cは、作業者端末10Cで表示されている画像のうち、メイン表示画面(メイン表示領域151の画面)の画像を切り替えた場合に、支援者端末10Aに画面切替完了通知を送信する。
このため、支援者端末10Aにおいては、ユーザーAは、他の端末のユーザーが見ている画面のうち主要な画面においてどの画像を見ているかをすぐに把握することができるので、コミュニケーションの効率性及び利便性を一層向上させることができる。
Furthermore, in the video chat system 1 according to the present embodiment, when the worker terminal 10C switches the image of the main display screen (the screen of the main display area 151) among the images displayed on the worker terminal 10C. Then, a screen switching completion notification is transmitted to the supporter terminal 10A.
For this reason, in the supporter terminal 10A, the user A can immediately grasp which image is viewed on the main screen among the screens viewed by users of other terminals. In addition, convenience can be further improved.

本実施形態に係るビデオチャットシステム1では、さらに、支援者端末10Aは、作業者端末10Cのメイン表示画面を切り替える画面切替指示を作業者端末10Cに送信し、作業者端末10Cは、画面切替指示を受信すると、メイン表示画面を画面切替指示で指定された種別の画像に切り替える。
このため、支援者端末10Aにおいては、ユーザーAは、他の端末のユーザーが見ている主要な画面の画像を直接変更させることができる。よって、ユーザーCが作業をしながら会議に参加する場合、すぐに端末を操作できない、つまり画面を切り替えることができない場合であっても、ユーザーAが操作することによりメイン表示画面を切り替えることができる。よって、コミュニケーションの効率性及び利便性を一層向上させることができる。
In the video chat system 1 according to the present embodiment, the supporter terminal 10A further transmits a screen switching instruction for switching the main display screen of the worker terminal 10C to the worker terminal 10C, and the worker terminal 10C receives the screen switching instruction. Is received, the main display screen is switched to the type of image designated by the screen switching instruction.
For this reason, in the supporter terminal 10 </ b> A, the user A can directly change the image of the main screen viewed by the user of the other terminal. Therefore, when the user C joins the conference while working, even if the terminal cannot be operated immediately, that is, the screen cannot be switched, the user A can switch the main display screen. . Therefore, the efficiency and convenience of communication can be further improved.

(実施の形態2)
前記実施形態では作業者端末からサーバーへの画面切替完了通知の送信は、支援者端末及びサーバーからの画面切替指示によって、作業者端末が画面切替を行った後に実行された。しかし、作業者端末からサーバーへの画面切替完了通知の送信は、作業者端末が自発的に(画面切替指示を受けることなく)画面切替を行った後に実行されてもよい。
以下、実施の形態2に係るビデオチャットシステムについて説明する。
[2−1.構成]
本実施形態に係るビデオチャットシステムの構成は、実施の形態1に係るビデオチャットシステム1(図1〜図4)と同様である。よって、必要に応じてこれらの図及び符号を用いて説明する。
(Embodiment 2)
In the embodiment, the transmission of the screen switching completion notification from the worker terminal to the server is executed after the worker terminal performs the screen switching by the screen switching instruction from the supporter terminal and the server. However, the transmission of the screen switching completion notification from the worker terminal to the server may be executed after the worker terminal performs screen switching spontaneously (without receiving a screen switching instruction).
Hereinafter, the video chat system according to Embodiment 2 will be described.
[2-1. Constitution]
The configuration of the video chat system according to the present embodiment is the same as that of the video chat system 1 (FIGS. 1 to 4) according to the first embodiment. Therefore, it demonstrates using these figures and code | symbols as needed.

[2−2.動作]
図9を参照して、本実施形態に係るビデオチャットシステム1の動作について、他端末の画面切替動作を中心に説明する。
なお、本ビデオチャットシステム1においては、実施の形態1と同様に、各端末はサーバー20との接続を行い、所定のルームに入室している状態である。その後、他端末の画面切替えを行う場合に、図9に示す動作を行う。
S201:作業者端末10Cにおいて、画面切替動作が行われる。この切替処理は、ユーザーCの操作により実行される。
[2-2. Operation]
With reference to FIG. 9, operation | movement of the video chat system 1 which concerns on this embodiment is demonstrated centering on the screen switching operation | movement of another terminal.
In the video chat system 1, each terminal is connected to the server 20 and enters a predetermined room, as in the first embodiment. Thereafter, when the screen of another terminal is switched, the operation shown in FIG. 9 is performed.
S201: A screen switching operation is performed on the worker terminal 10C. This switching process is executed by the operation of the user C.

S202:作業者端末10Cは、S201の画面切替動作が完了すると、画面切替えが完了したことを知らせる通知(画面切替完了通知;第1の切替信号の一例)をサーバー20に送信する。画面切替完了通知は、画面切替対象の端末のID(ここでは、作業者端末10CのID)と、切り替えた画像の種別を特定する情報とを含む。
S203:サーバー20は、入室中の他の端末の一つである支援者端末10Bに対し、作業者端末10Cの画面切替えが完了したことを知らせる通知である画面切替完了通知を送信する。
S202: When the screen switching operation in S201 is completed, the worker terminal 10C transmits a notification (screen switching completion notification; an example of a first switching signal) to notify the server 20 that the screen switching has been completed. The screen switching completion notification includes the ID of the screen switching target terminal (here, the ID of the worker terminal 10C) and information for specifying the type of the switched image.
S203: The server 20 transmits a screen switching completion notification that is a notification notifying that the screen switching of the worker terminal 10C has been completed to the supporter terminal 10B, which is one of the other terminals entering the room.

S204:支援者端末10Bは、S203の通知を受けて、支援者端末10Bの画面150に表示されるグループ表示領域152において、作業者端末10Cの画面に対応するアイコン表示を変更する。具体的には、TCアイコン1543(図6(a)及び図6(b))からWBアイコン1544(図8)に変更する。
S205:同時に、サーバー20は、支援者端末10Aに対し、同様に画面切替完了通知を送信する。
S204: Upon receiving the notification of S203, the supporter terminal 10B changes the icon display corresponding to the screen of the worker terminal 10C in the group display area 152 displayed on the screen 150 of the supporter terminal 10B. Specifically, the TC icon 1543 (FIGS. 6A and 6B) is changed to the WB icon 1544 (FIG. 8).
S205: At the same time, the server 20 similarly transmits a screen switching completion notification to the supporter terminal 10A.

S206:支援者端末10Aは、S205の通知を受けて、支援者端末10Aの画面150に表示されるグループ表示領域152において、作業者端末10Cの画面に対応するアイコン表示を変更する。具体的には、TCアイコン1543(図6(a)及び図6(b))からWBアイコン1544(図8)に変更する。
なお、図9において、点線200で囲まれた処理(S203〜S204、S205〜S206)は、同時に並行して行われるものとする。
S206: Upon receiving the notification in S205, the supporter terminal 10A changes the icon display corresponding to the screen of the worker terminal 10C in the group display area 152 displayed on the screen 150 of the supporter terminal 10A. Specifically, the TC icon 1543 (FIGS. 6A and 6B) is changed to the WB icon 1544 (FIG. 8).
In FIG. 9, it is assumed that the processes surrounded by the dotted line 200 (S203 to S204, S205 to S206) are simultaneously performed in parallel.

[2−3.効果等]
本実施形態に係るビデオチャットシステム1は、作業者端末10Cが、画面切替指示を受けることなく自発的に画面の切替操作を行った場合であっても、他の端末10A、10Bに一の端末10Cの画面が切り替わったことを通知し、他の端末10A、10Bはその通知に応じて自身の画面において一の端末10Cが表示する画面の画像の種別を表示させる。
このため、ユーザーは、他の端末のユーザーが見ている画面のうち主要な画面においてどの画像を見ているかをリアルタイムに把握することができるため、コミュニケーションの効率性及び利便性を向上させることができる。
[2-3. Effect etc.]
In the video chat system 1 according to the present embodiment, even if the worker terminal 10C performs a screen switching operation spontaneously without receiving a screen switching instruction, it is one terminal among the other terminals 10A and 10B. The other terminals 10A and 10B notify the switching of the screen of 10C, and display the image type of the screen displayed by the one terminal 10C on their screens in response to the notification.
For this reason, since the user can grasp in real time which image is viewed on the main screen among the screens viewed by users of other terminals, the efficiency and convenience of communication can be improved. it can.

(実施形態の共通の内容)
上記の実施の形態1及び実施の形態2は、下記の構成及び機能を共通に有している。
電子会議システム(例えば、ビデオチャットシステム1)は、第1の端末(例えば、支援者端末10A)と、第1の端末とデータの送受信が可能な第2の端末(例えば、作業者端末10C)と、を備える。
第2の端末は、第2の端末で表示されている画像を切り替える場合には、切り替えた画像の種別を示す第1の切替信号を第1の端末に送信する(例えば、図5のS105:画面切替完了通知、図9のS202:画面切替完了通知)。
第1の端末は、受信した第1の切替信号に基づき、第2の端末で表示されている画像の種別を識別可能に表示する(例えば、図5のS109:作業者端末10Cの表示画面アイコン切替、図9のS206:作業者端末10Cの表示画面アイコン切替)。
ここでは、第1の端末のユーザーは、他の端末のユーザーがいずれの画像を見ているかをすぐに把握することができるので、コミュニケーションの効率性及び利便性を向上している。
(Common contents of the embodiment)
The first embodiment and the second embodiment have the following configurations and functions in common.
An electronic conference system (for example, video chat system 1) includes a first terminal (for example, supporter terminal 10A) and a second terminal (for example, worker terminal 10C) capable of transmitting and receiving data to and from the first terminal. And comprising.
When switching the image displayed on the second terminal, the second terminal transmits a first switching signal indicating the type of the switched image to the first terminal (for example, S105 in FIG. 5: Screen switching completion notification, S202 in FIG. 9: Screen switching completion notification).
Based on the received first switching signal, the first terminal displays the type of image displayed on the second terminal in an identifiable manner (for example, S109 in FIG. 5: display screen icon of the worker terminal 10C) Switching, S206 in FIG. 9: Display screen icon switching of worker terminal 10C).
Here, since the user of the first terminal can immediately grasp which image the user of the other terminal is viewing, the efficiency and convenience of communication are improved.

(その他実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1及び2を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1及び2で説明した各構成要素及び機能を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
(Other embodiments)
As described above, Embodiments 1 and 2 have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed. In addition, it is possible to combine the components and functions described in the first and second embodiments to form a new embodiment.
Therefore, other embodiments will be exemplified below.

[1]
上記実施の形態においては、ビデオチャットシステム1は、複数の端末10とサーバー20とを備えているが、これに限定されない。サーバー20を設けず、いずれか一つの又は複数の端末10が上記サーバーの機能を備えていてもよい。
[1]
In the above embodiment, the video chat system 1 includes the plurality of terminals 10 and the server 20, but is not limited thereto. Without providing the server 20, any one or a plurality of terminals 10 may have the function of the server.

[2]
また、上記実施の形態においては、切り替える画像の種別として、カメラ画面、チャット画面、ホワイトボード画面、を挙げていたが、これに限定されない。その他の種別に係る画像の選択を可能にしてもよい。
[2]
Moreover, in the said embodiment, although the camera screen, the chat screen, and the whiteboard screen were mentioned as a classification of the image to switch, it is not limited to this. You may enable selection of the image which concerns on another classification.

[3]
また、上記実施の形態においては、プレゼンター権限は、他の端末の画面を切り替える権限として説明したが、これに限定されない。プレゼンター権限を有する端末10は、例えば端末10間で共有するホワイトボード画面の変更を行う権限を含んでいてもよい。その場合、プレゼンター権限を有する端末10の操作のみによって、画面上の画像が削除、変更、追記可能となる。
[3]
In the above embodiment, the presenter authority has been described as the authority to switch the screen of another terminal, but is not limited to this. The terminal 10 having the presenter authority may include an authority to change the whiteboard screen shared among the terminals 10, for example. In this case, the image on the screen can be deleted, changed, and additionally written only by operating the terminal 10 having the presenter authority.

[4]
また、上記実施の形態における処理(図5及び図9)の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
[4]
Further, the execution order of the processes (FIGS. 5 and 9) in the above embodiment is not necessarily limited to the description of the above embodiment, and the execution order may be changed without departing from the gist of the invention. It can be done.

[5]
本発明は、電子会議システムの形態により実施されることに限られない。電子会議システムにより実行される表示制御方法や、ビデオチャットシステム1により実行されるコンピュータプログラム、かかるプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標)Disc)、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワークを経由して伝送されるものであってもよい。
[5]
The present invention is not limited to being implemented in the form of an electronic conference system. A display control method executed by the electronic conference system, a computer program executed by the video chat system 1, and a computer-readable recording medium recording such a program are included in the scope of the present invention. Here, examples of the computer-readable recording medium include a flexible disk, a hard disk, a CD-ROM, an MO, a DVD, a DVD-ROM, a DVD-RAM, a BD (Blu-ray (registered trademark) Disc), and a semiconductor memory. Can be mentioned.
The computer program is not limited to the one recorded on the recording medium, and may be transmitted via a telecommunication line, a wireless or wired communication line, or a network represented by the Internet.

本発明は、双方向リアル通信を実行可能な電子会議システム等として利用可能である。   The present invention can be used as an electronic conference system or the like that can execute bidirectional real communication.

1 ビデオチャットシステム
10 端末
10A 支援者端末
10B 支援者端末
10C 作業者端末
11 コントローラ
12 RAM
13 ROM
14 グラフィックコントローラ
15 ディスプレイ
16 入出力部
17 通信部
18 記憶装置
19 バス
20 サーバー
21 コントローラ
22 RAM
23 ROM
27 通信部
28 記憶装置
29 バス
150 画面
151 メイン表示領域
152 グループ表示領域
153 操作ボタン表示領域
154 グループ画面用アイコン表示領域
1 video chat system 10 terminal 10A supporter terminal 10B supporter terminal 10C worker terminal 11 controller 12 RAM
13 ROM
14 graphic controller 15 display 16 input / output unit 17 communication unit 18 storage device 19 bus 20 server 21 controller 22 RAM
23 ROM
27 Communication Unit 28 Storage Device 29 Bus 150 Screen 151 Main Display Area 152 Group Display Area 153 Operation Button Display Area 154 Group Screen Icon Display Area

Claims (8)

第1の端末と、
前記第1の端末とデータの送受信が可能な第2の端末と、
を備え、
前記第2の端末は、前記第2の端末で表示されている画像を切り替える場合には、切り替えた画像の種別を示す第1の切替信号を前記第1の端末に送信し、
前記第1の端末は、受信した第1の切替信号に基づき、前記第2の端末で表示されている画像の種別を識別可能に表示することを特徴とする、
電子会議システム。
A first terminal;
A second terminal capable of transmitting and receiving data to and from the first terminal;
With
When switching the image displayed on the second terminal, the second terminal transmits a first switching signal indicating the type of the switched image to the first terminal,
The first terminal displays the type of image displayed on the second terminal in an identifiable manner based on the received first switching signal.
Electronic conference system.
前記第2の端末は、前記第2の端末で表示されている画像のうち、メイン表示画面の画像を切り替えた場合に、前記第1の端末に前記第1の切替信号を送信する、
請求項1に記載の電子会議システム。
The second terminal transmits the first switching signal to the first terminal when the image on the main display screen is switched among the images displayed on the second terminal.
The electronic conference system according to claim 1.
前記第1の端末は、前記第2の端末の表示画面を切り替える第2の切替信号を前記第2の端末に送信し、
前記第2の端末は、前記第2の切替信号を受信すると、前記表示画面を第2の切替信号で指定された種別の画像に切り替える、
請求項1に記載の電子会議システム。
The first terminal transmits a second switching signal for switching a display screen of the second terminal to the second terminal;
When the second terminal receives the second switching signal, the second terminal switches the display screen to an image of a type specified by the second switching signal.
The electronic conference system according to claim 1.
前記第1の端末は、前記第2の端末のメイン表示画面を切り替える第2の切替信号を前記第2の端末に送信し、
前記第2の端末は、前記第2の切替信号を受信すると、前記メイン表示画面を第2の切替信号で指定された種別の画像に切り替える、
請求項2に記載の電子会議システム。
The first terminal transmits a second switching signal for switching a main display screen of the second terminal to the second terminal;
When the second terminal receives the second switching signal, the second terminal switches the main display screen to an image of a type specified by the second switching signal.
The electronic conference system according to claim 2.
前記第1の端末と前記第2の端末は、画像を構成する要素データをWebSocketを介して送受信することを特徴とする、
請求項1から4のいずれかに記載の電子会議システム。
The first terminal and the second terminal transmit and receive element data constituting an image via a WebSocket.
The electronic conference system according to claim 1.
前記第1の端末は複数であり、
前記第2の端末は、前記第2の端末で表示されている画像を切り替える場合には、切り替えた画像の種別を示す第1の切替信号を前記複数の第1の端末に送信し、
前記複数の第1の端末は、受信した第1の切替信号に基づき、前記第2の端末で表示されている画像の種別を識別可能に表示することを特徴とする、
請求項1から5のいずれかに記載の電子会議システム。
A plurality of the first terminals;
When switching the image displayed on the second terminal, the second terminal transmits a first switching signal indicating the type of the switched image to the plurality of first terminals,
The plurality of first terminals display the type of image displayed on the second terminal in an identifiable manner based on the received first switching signal.
The electronic conference system according to claim 1.
第1の端末と、前記第1の端末とデータの送受信が可能な第2の端末とを用いた電子会議システムにおける表示制御方法であって、
前記第2の端末において表示されている画像を切り替える場合に、切り替えた画像の種別を示す第1の切替信号を前記第2の端末から前記第1の端末に送信し、
前記第1の端末において、受信した第1の切替信号に基づき、前記第2の端末で表示されている画像の種別を識別可能に表示する、
表示制御方法。
A display control method in an electronic conference system using a first terminal and a second terminal capable of transmitting and receiving data to and from the first terminal,
When switching the image displayed on the second terminal, a first switching signal indicating the type of the switched image is transmitted from the second terminal to the first terminal,
In the first terminal, based on the received first switching signal, the type of image displayed on the second terminal is displayed in an identifiable manner.
Display control method.
第1の端末と、前記第1の端末とデータの送受信が可能な第2の端末とを用いた電子会議システムにおける表示制御プログラムであって、
前記第2の端末において表示されている画像を切り替える場合に、切り替えた画像の種別を示す第1の切替信号を前記第2の端末から前記第1の端末に送信し、
前記第1の端末において、受信した第1の切替信号に基づき、前記第2の端末で表示されている画像の種別を識別可能に表示する、
表示制御プログラム。
A display control program in an electronic conference system using a first terminal and a second terminal capable of transmitting and receiving data to and from the first terminal,
When switching the image displayed on the second terminal, a first switching signal indicating the type of the switched image is transmitted from the second terminal to the first terminal,
In the first terminal, based on the received first switching signal, the type of image displayed on the second terminal is displayed in an identifiable manner.
Display control program.
JP2014181728A 2014-09-05 2014-09-05 Electronic conference system, display control method and program in electronic conference system Active JP6405809B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014181728A JP6405809B2 (en) 2014-09-05 2014-09-05 Electronic conference system, display control method and program in electronic conference system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014181728A JP6405809B2 (en) 2014-09-05 2014-09-05 Electronic conference system, display control method and program in electronic conference system

Publications (2)

Publication Number Publication Date
JP2016057709A true JP2016057709A (en) 2016-04-21
JP6405809B2 JP6405809B2 (en) 2018-10-17

Family

ID=55757011

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014181728A Active JP6405809B2 (en) 2014-09-05 2014-09-05 Electronic conference system, display control method and program in electronic conference system

Country Status (1)

Country Link
JP (1) JP6405809B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154460A (en) * 2019-03-18 2020-09-24 株式会社リコー Communication terminal, image communication system, presentation method and program
JP2022011115A (en) * 2020-06-29 2022-01-17 株式会社ステラリンク System and method for real time distribution
CN114584822A (en) * 2022-03-03 2022-06-03 北京字跳网络技术有限公司 Synchronous playing method, device, terminal equipment and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11344920A (en) * 1998-06-02 1999-12-14 Kyasuto:Kk Teaching system, its program medium and apparatus therefor
CN102761564A (en) * 2011-04-25 2012-10-31 阿里巴巴集团控股有限公司 Graphic sharing method, system and terminal

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11344920A (en) * 1998-06-02 1999-12-14 Kyasuto:Kk Teaching system, its program medium and apparatus therefor
CN102761564A (en) * 2011-04-25 2012-10-31 阿里巴巴集团控股有限公司 Graphic sharing method, system and terminal
WO2012148825A1 (en) * 2011-04-25 2012-11-01 Alibaba Group Holding Limited Graphic sharing
US20130046813A1 (en) * 2011-04-25 2013-02-21 Alibaba Group Holding Limited Graphic Sharing
JP2014519635A (en) * 2011-04-25 2014-08-14 アリババ・グループ・ホールディング・リミテッド Graphics sharing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
炭野重雄,岩本哲夫: "大画面ディスプレイを用いた遠隔型集合教育システムの検討", 電子情報通信学会技術研究報告, vol. 第96巻,第578号, JPN6018018807, 15 March 1997 (1997-03-15), JP, pages 41 - 48 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154460A (en) * 2019-03-18 2020-09-24 株式会社リコー Communication terminal, image communication system, presentation method and program
JP7205323B2 (en) 2019-03-18 2023-01-17 株式会社リコー Communication terminal, image communication system, display method, and program
JP2022011115A (en) * 2020-06-29 2022-01-17 株式会社ステラリンク System and method for real time distribution
CN114584822A (en) * 2022-03-03 2022-06-03 北京字跳网络技术有限公司 Synchronous playing method, device, terminal equipment and storage medium
CN114584822B (en) * 2022-03-03 2023-09-15 北京字跳网络技术有限公司 Synchronous playing method and device, terminal equipment and storage medium

Also Published As

Publication number Publication date
JP6405809B2 (en) 2018-10-17

Similar Documents

Publication Publication Date Title
US9485465B2 (en) Picture control method, terminal, and video conferencing apparatus
JP6285615B2 (en) Remote assistance method, client, program, and recording medium
CA3053980A1 (en) Task management based on instant communication message
KR20170063793A (en) Session history horizon control
CN105159578A (en) Video display mode switching method and apparatus
WO2012169157A1 (en) Supported device, support device, inter-equipment guide system, recording medium, and integrated circuit
JP2018093361A (en) Communication terminal, communication system, video output method, and program
JP6484934B2 (en) COMMUNICATION DEVICE, COMMUNICATION SYSTEM, COMMUNICATION MANAGEMENT SYSTEM, COMMUNICATION CONTROL METHOD, AND PROGRAM
JP6405809B2 (en) Electronic conference system, display control method and program in electronic conference system
JP2015056870A (en) Transmission management system, management method and program
JP2017092844A (en) Communication terminal, communication system, communication control method, and program
JP2016039633A (en) Communication management system, communication system, relay device control method, and program
JP2017069936A (en) Communication terminal, communication system, output method, and program
JP6471434B2 (en) Electronic conference system
JP2021060739A (en) Communication system, data sharing method, program, and communication terminal
WO2015182183A1 (en) Information processing device, information processing system, information processing method, and program
JP2023026478A (en) Information processing device, program, method, and system
JP6524732B2 (en) Communication device, communication system, control method of communication device and program
JP2015104108A (en) Management system, program, program providing system, and maintenance system
KR102082433B1 (en) Remote collaboration system with projector-camera based robot device and head mounted display and remote interaction method using the same
JP2017092845A (en) Control system, communication system, communication control method, and program
US10015055B2 (en) Management system, communication terminal, communication system, method of management, and computer program product
JP2016118958A (en) Communication terminal, display control system, and display control method
CN103677708A (en) Method and display apparatus for processing an input signal
JP2016057713A (en) Server device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180903

R150 Certificate of patent or registration of utility model

Ref document number: 6405809

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250