JP2022130117A - Online conference system - Google Patents

Online conference system Download PDF

Info

Publication number
JP2022130117A
JP2022130117A JP2021029100A JP2021029100A JP2022130117A JP 2022130117 A JP2022130117 A JP 2022130117A JP 2021029100 A JP2021029100 A JP 2021029100A JP 2021029100 A JP2021029100 A JP 2021029100A JP 2022130117 A JP2022130117 A JP 2022130117A
Authority
JP
Japan
Prior art keywords
terminal device
image
sub
terminal
online conference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021029100A
Other languages
Japanese (ja)
Other versions
JP7141143B2 (en
Inventor
智顕 湯尾
Tomoaki Yuo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CI CO Ltd
Original Assignee
CI CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CI CO Ltd filed Critical CI CO Ltd
Priority to JP2021029100A priority Critical patent/JP7141143B2/en
Publication of JP2022130117A publication Critical patent/JP2022130117A/en
Application granted granted Critical
Publication of JP7141143B2 publication Critical patent/JP7141143B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide an online conference system for sharing, in real time, an image of a material on a host user side on a screen of a terminal device not only by an action of the host user but also by an action of a guest user.SOLUTION: An online conference system includes: a first terminal device; a second terminal device; a control device that can transmit and receive information between the first terminal device and the second terminal device and performs a predetermined control operation; and a storage device that performs streaming distribution of a sub-image stored therein to the first terminal device and the second terminal device. The first terminal device and the second terminal device transmit, to the control device, content of an operation related to viewing the sub-image performed by a user. The control device generates instruction information corresponding to the content of the operation received from the first terminal device and the second terminal device. The storage device distributes the sub-image corresponding to the instruction information to the first terminal device and the second terminal device.SELECTED DRAWING: Figure 1

Description

特許法第30条第2項適用申請有り [公開事由1]株式会社CI(自社)のウェブサイトでの公開 掲載年月日 :令和2年11月1日 掲載アドレス:https://sales-lp.onmee.jp/ [公開事由2]ソーシャルワイヤー株式会社(プレスリリース代行会社)のウェブサイトでの公開 掲載年月日 :令和2年11月18日 掲載アドレス:https://www.atpress.ne.jp/news/235637 [公開事由3]エキサイト株式会社(ニュースメディア)のウェブサイトでの公開 掲載年月日 :令和2年11月18日 掲載アドレス:https://www.excite.co.jp/news/article/Atpress_235637/There is an application for application of Article 30, Paragraph 2 of the Patent Act [Reason for publication 1] Publication on the website of CI Co., Ltd. (our company) Date of publication: November 1, 2020 Publication address: https://sales- lp. onmee. jp/ [Reason for publication 2] Publication on the website of Social Wire Co., Ltd. (press release agency) Publication date: November 18, 2020 Publication address: https://www. at press. ne. jp/news/235637 [Reason for publication 3] Publication on the website of Excite Co., Ltd. (news media) Date of publication: November 18, 2020 Publication address: https://www. excite. co. jp/news/article/Atpress_235637/

本発明は、オンライン会議システムに関する。 The present invention relates to an online conference system.

従来、複数のパソコンをオンラインで相互に接続することにより、パソコンのユーザ同士が画面を介して互いの顔を見ながら会議を行うオンライン会議が行われている(たとえば特許文献1を参照)。近年においては、オンライン会議が普及してきており、会議の参加者同士がパソコンの画面上においてリアルタイムで資料の画像(たとえば、動画およびスライド画像など)を共有できるようになってきている。 2. Description of the Related Art Conventionally, by connecting a plurality of personal computers online, users of personal computers hold online conferences while looking at each other's faces through screens (see Patent Document 1, for example). In recent years, online conferences have become popular, and it has become possible for conference participants to share images of materials (for example, moving images and slide images) in real time on the screens of personal computers.

特開平5-122689号公報JP-A-5-122689

しかしながら、上述した近年のオンライン会議においては、たとえば、ホストユーザ側の資料のうち、ホストユーザが指定した部分の画像(たとえば、指定された再生位置の動画および指定されたページのスライド画像など)が、ホストユーザ側の画面およびゲストユーザ側の画面において共有されるに過ぎず、ホストユーザ側の資料のうち、ゲストユーザが見たい部分が共有されるものではなかった。 However, in recent online conferences as described above, for example, images of parts specified by the host user (for example, video at specified playback position and slide image on specified page) in materials on the host user side However, only the host user's screen and the guest user's screen are shared, and the portion of the material on the host user's side that the guest user wants to see is not shared.

このため、オンライン会議において、ホストユーザからのアクションに限らず、ゲストユーザからのアクションによっても、画面上においてリアルタイムで資料の画像を共有することができる技術が望まれている。 Therefore, in an online conference, there is a demand for a technology that enables real-time sharing of material images on the screen, not only by the actions of the host user, but also by the actions of the guest users.

本発明は、かかる問題点に鑑みて、オンライン会議において、ホストユーザ側の資料の画像を、ホストユーザからのアクションに限らず、ゲストユーザからのアクションによっても、端末装置の画面上においてリアルタイムで共有することができるオンライン会議システムを提供することを目的とする。 In view of such problems, the present invention provides an image of a host user's material in an online conference to be shared in real time on the screen of a terminal device not only by the action of the host user but also by the action of the guest user. The purpose is to provide an online conference system capable of

本発明に係るオンライン会議システムは、複数の端末装置がオンラインで接続されることにより、前記複数の端末装置間での会議を行うことが可能なオンライン会議システムであって、撮像部および表示部を有する第1端末装置と、前記第1端末装置との間で情報の送受信が可能であり、撮像部および表示部を有する第2端末装置と、前記第1端末装置および前記第2端末装置との間で情報の送受信が可能であり、所定の制御動作を行う制御装置と、自己に保存されているサブ画像を前記第1端末装置および前記第2端末装置へストリーミング配信する保存装置とを備え、前記第1端末装置および前記第2端末装置は、自己の前記撮像部が撮像したメイン画像を自己以外の端末装置へ送信し、前記第1端末装置および前記第2端末装置は、ユーザにより自己に対して行われた前記サブ画像の視聴に関する操作の内容を前記制御装置へ送信し、前記制御装置は、前記第1端末装置および前記第2端末装置から受信した前記操作の内容に対応する指示情報を生成し、前記保存装置は、前記指示情報に対応する前記サブ画像を前記第1端末装置および前記第2端末装置へ配信し、前記第1端末装置および前記第2端末装置は、自己以外の端末装置から受信した前記メイン画像、および前記保存装置から受信した前記サブ画像を前記表示部において表示する。 An online conference system according to the present invention is an online conference system that enables a conference to be held between a plurality of terminal devices by connecting the plurality of terminal devices online, wherein an imaging unit and a display unit are included. Information can be transmitted and received between the first terminal device and the first terminal device, and a second terminal device having an imaging unit and a display unit and A control device capable of transmitting and receiving information between the devices and performing a predetermined control operation; The first terminal device and the second terminal device transmit the main image captured by the imaging unit of the self to a terminal device other than the self. to the control device, and the control device transmits instruction information corresponding to the content of the operation received from the first terminal device and the second terminal device. and the storage device distributes the sub-image corresponding to the instruction information to the first terminal device and the second terminal device, and the first terminal device and the second terminal device generate The main image received from the terminal device and the sub-image received from the storage device are displayed on the display unit.

本発明においては、前記サブ画像は動画またはスライド画像であり、前記操作は、前記サブ画像の表示開始、前記サブ画像の表示停止、前記サブ画像の表示位置の戻し、および前記サブ画像の表示位置の送りであることが好ましい。 In the present invention, the sub-image is a moving image or a slide image, and the operation includes starting display of the sub-image, stopping display of the sub-image, returning the display position of the sub-image, and returning the display position of the sub-image. is preferably sent.

本発明においては、前記制御装置は、前記第1端末装置および前記第2端末装置の一方から前記操作の内容を受信した後、前記第1端末装置および前記第2端末装置の一方または他方から新たな前記操作の内容を受信した場合、前記新たな操作の内容に対応する新たな前記指示情報を生成し、前記保存装置は、配信する内容を、前記新たな指示情報に対応する前記サブ画像に更新することが好ましい。 In the present invention, after receiving the content of the operation from one of the first terminal device and the second terminal device, the control device receives a new command from one or the other of the first terminal device and the second terminal device. When the content of the operation is received, the new instruction information corresponding to the content of the new operation is generated, and the storage device distributes the content to be distributed to the sub-image corresponding to the new instruction information. preferably updated.

本発明においては、前記サブ画像は、前記第1端末装置または前記第2端末装置から前記保存装置にアップロードされた画像であることが好ましい。 In the present invention, it is preferable that the sub-image is an image uploaded from the first terminal device or the second terminal device to the storage device.

本発明によれば、オンライン会議において、ホストユーザ側の資料の画像を、ホストユーザからのアクションに限らず、ゲストユーザからのアクションによっても、端末装置の画面上においてリアルタイムで共有することができる。 According to the present invention, in an online conference, an image of a host user's material can be shared in real time on the screen of a terminal device not only by an action by the host user but also by an action by a guest user.

本発明の一実施形態に係るオンライン会議システムの構成の一例を模式的に示す図である。1 is a diagram schematically showing an example of the configuration of an online conference system according to one embodiment of the present invention; FIG. 本発明の一実施形態に係るオンライン会議システムにおける第1端末装置の画面に表示される画像の一例を模式的に示す図である。FIG. 4 is a diagram schematically showing an example of an image displayed on the screen of the first terminal device in the online conference system according to one embodiment of the present invention; 本発明の一実施形態に係るオンライン会議システムにおける第2端末装置の画面に表示される画像の一例を模式的に示す図である。FIG. 4 is a diagram schematically showing an example of an image displayed on the screen of the second terminal device in the online conference system according to one embodiment of the present invention; 本発明の一実施形態に係るオンライン会議システムが行う処理手順の一例を示すシーケンス図である。FIG. 4 is a sequence diagram showing an example of a processing procedure performed by the online conference system according to one embodiment of the present invention;

以下、本発明の一実施形態に係るオンライン会議システムについて図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。また、以下に記載する実施形態の少なくとも一部同士を任意に組み合わせてもよい。また、以下に示す実施形態はあくまで例にすぎず、本発明のオンライン会議システムは、以下の例に限定されることはない。 An online conference system according to an embodiment of the present invention will be described below with reference to the drawings. The same or corresponding parts in the drawings are denoted by the same reference numerals, and the description thereof will not be repeated. Also, at least some of the embodiments described below may be combined arbitrarily. Also, the embodiments shown below are merely examples, and the online conference system of the present invention is not limited to the following examples.

図1は、本発明の一実施形態に係るオンライン会議システムの構成の一例を模式的に示す図である。なお、図1に示される複数の通信経路は模式的に図示されたものであり、当該複数の通信経路は、実際には共通の通信経路で構成されていてもよい。 FIG. 1 is a diagram schematically showing an example of the configuration of an online conference system according to one embodiment of the present invention. Note that the plurality of communication paths shown in FIG. 1 are schematic illustrations, and the plurality of communication paths may actually be configured as a common communication path.

図1に示されるオンライン会議システム1は、複数の端末装置2、3がオンラインで接続されることにより、複数の端末装置2、3間での会議を行うことが可能な会議システムである。本実施形態では、たとえば、第1端末装置2はホストユーザ側の端末装置であり、第2端末装置3はゲストユーザ側の端末装置である。なお、第1端末装置2がゲストユーザ側の端末装置であり、第2端末装置3がホストユーザ側の端末装置であってもよい。本明細書において、「ホストユーザ」とは、オンライン会議の主催者として会議に参加するユーザである。また、「ゲストユーザ」とは、オンライン会議にゲストとして参加するユーザである。以下では、第1端末装置2がホストユーザ側の端末装置であり、第2端末装置3がゲストユーザ側の端末装置である場合について説明する。 An online conference system 1 shown in FIG. 1 is a conference system that enables a conference between a plurality of terminal devices 2 and 3 by connecting the plurality of terminal devices 2 and 3 online. In this embodiment, for example, the first terminal device 2 is a terminal device on the host user's side, and the second terminal device 3 is a terminal device on the guest user's side. The first terminal device 2 may be a terminal device on the guest user side, and the second terminal device 3 may be a terminal device on the host user side. As used herein, a "host user" is a user who participates in an online conference as a host. A "guest user" is a user who participates in the online conference as a guest. Below, the case where the 1st terminal device 2 is a terminal device by the side of a host user, and the 2nd terminal device 3 is a terminal device by the side of a guest user is demonstrated.

図1に示される例では、1つの第1端末装置2と、複数の第2端末装置3とが、インターネット等の公衆回線を介して相互に接続されることにより、複数の端末装置2、3間においてWeb(World Wide Web)会議を行うことが可能となっている。なお、図1に示される例では、第2端末装置3の数は4つであるが、これに限定されるものではなく、1つ、2つ、3つ、または5つ以上であってもよい。 In the example shown in FIG. 1, one first terminal device 2 and a plurality of second terminal devices 3 are connected to each other via a public line such as the Internet, whereby a plurality of terminal devices 2, 3 It is possible to have a Web (World Wide Web) conference between them. Although the number of the second terminal devices 3 is four in the example shown in FIG. good.

本実施形態では、オンライン会議が行われる際に、ホストユーザ側の資料の画像が、複数の端末装置2、3の各画面において共有される。なお、本実施形態では、オンライン会議が行われる際に、ゲストユーザ側の資料の画像が、複数の端末装置2、3の各画面において共有されてもよい。本明細書において、「資料の画像」とは、たとえば、資料の内容を示す動画および静止画など、予め用意され、保存された、端末装置2、3に表示可能な各種の画像である。資料の内容を示す静止画は、たとえば、ワード(Microsoft Word:登録商標)、エクセル(Microsoft Excel:登録商標)、およびパワーポイント(Microsoft PowerPoint:登録商標)等のソフトウェアにより作成されたドキュメント(文書ファイル)の画像、PDF(Portable Document Format)等のソフトウェアにより作成された画像、写真、その他の静止した状態で表示される画像を含む。また、資料の内容を示す静止画は、たとえば、1つの静止画であってもよいし、複数の静止画が順に並べられたもの(複数のスライド画像)、および自動的に順次表示される複数のスライド画像(スライドショー画像)であってもよい。 In this embodiment, when an online conference is held, the image of the host user's document is shared on each screen of the plurality of terminal devices 2 and 3 . Note that, in the present embodiment, the image of the document on the guest user side may be shared on each screen of the plurality of terminal devices 2 and 3 when the online conference is held. In this specification, the term “material image” refers to various images that can be displayed on the terminal devices 2 and 3 and that are prepared and stored in advance, such as moving images and still images showing the content of the material. Still images showing the contents of materials are documents (document files) created by software such as Word (Microsoft Word: registered trademark), Excel (Microsoft Excel: registered trademark), and PowerPoint (Microsoft PowerPoint: registered trademark). images, images created by software such as PDF (Portable Document Format), photographs, and other images displayed in a static state. Further, the still image showing the content of the material may be, for example, one still image, a plurality of still images arranged in order (a plurality of slide images), or a plurality of slide images that are automatically displayed in sequence. may be slide images (slide show images).

また、本明細書において、「共有」とは、複数の端末装置2、3において、各々の画面に表示される画像をリアルタイム(実時間)で共有することである。すなわち、本実施形態においては、共有の対象となる画像が、複数の端末装置2、3の各々の画面において同期して表示される。なお、本実施形態では、画像の共有に加えて、画像に付随する音声(スピーカから出力される)がリアルタイムで共有されてもよい。 Further, in this specification, “sharing” means sharing images displayed on respective screens in a plurality of terminal devices 2 and 3 in real time. That is, in the present embodiment, images to be shared are synchronously displayed on the respective screens of the plurality of terminal devices 2 and 3 . Note that in this embodiment, in addition to sharing images, audio accompanying images (output from a speaker) may be shared in real time.

次に、オンライン会議システム1の構成について、図1を参照して説明する。図1に示されるオンライン会議システム1は、第1端末装置2と、第2端末装置3と、制御装置4と、保存装置5とを備えている。 Next, the configuration of the online conference system 1 will be described with reference to FIG. The online conference system 1 shown in FIG. 1 includes a first terminal device 2 , a second terminal device 3 , a control device 4 and a storage device 5 .

第1端末装置2は、撮像部(図示せず)および表示部21を有する情報機器である。第1端末装置2は、たとえば、カメラ機能を備えた、または、ウェブカメラ等の外付けカメラを接続可能な、携帯電話やスマートフォン、タブレットPC(Personal Computer)、ノートPC、ウェアラブルデバイス、またはディスプレイを備えたPC等の情報家電である。図1においては、第1端末装置2の一例として、カメラ機能を備えたノートPCが示されている。 The first terminal device 2 is information equipment having an imaging section (not shown) and a display section 21 . The first terminal device 2 is, for example, a mobile phone, a smart phone, a tablet PC (Personal Computer), a notebook PC, a wearable device, or a display that has a camera function or can be connected to an external camera such as a web camera. It is an information home appliance such as a PC equipped with. FIG. 1 shows a notebook PC with a camera function as an example of the first terminal device 2 .

第1端末装置2の表示部21の画面211に表示される画像の一例について、図1および図2を参照して説明する。図2は、本発明の一実施形態に係るオンライン会議システムにおける第1端末装置の画面に表示される画像の一例を模式的に示す図である。 An example of an image displayed on the screen 211 of the display unit 21 of the first terminal device 2 will be described with reference to FIGS. 1 and 2. FIG. FIG. 2 is a diagram schematically showing an example of an image displayed on the screen of the first terminal device in the online conference system according to one embodiment of the present invention.

図2に示されるように、第1端末装置2の撮像部(カメラ)は、ホストユーザHuの顔などの画像をメイン画像MG1として撮像することができる。また、本実施形態では、第1端末装置2の表示部21は、ホストユーザHu側のメイン画像MG1、ゲストユーザGu側のメイン画像MG2(たとえば、ゲストユーザGuの顔などの画像)、および保存装置5に保存されているサブ画像SGなど、複数の画像MG1、MG2、SGを同時に表示することができる。また、本実施形態では、第1端末装置2の表示部21は、サブ画像SGに代えて、第1端末装置2に保存されている画像(図示せず)、および第2端末装置3に保存されている画像(図示せず)を表示することができる。すなわち、第1端末装置2の表示部21は、サブ画像SGに代えて、後述する画面共有の画像を表示することができる。 As shown in FIG. 2, the imaging unit (camera) of the first terminal device 2 can capture an image such as the face of the host user Hu as a main image MG1. In addition, in the present embodiment, the display unit 21 of the first terminal device 2 displays a main image MG1 on the side of the host user Hu, a main image MG2 on the side of the guest user Gu (for example, an image such as the face of the guest user Gu), and a stored image. Multiple images MG1, MG2, SG, such as sub-images SG stored in device 5, can be displayed simultaneously. Further, in this embodiment, the display unit 21 of the first terminal device 2 displays an image (not shown) saved in the first terminal device 2 and an image (not shown) saved in the second terminal device 3 instead of the sub-image SG. An image (not shown) being displayed can be displayed. That is, the display unit 21 of the first terminal device 2 can display a screen sharing image, which will be described later, instead of the sub-image SG.

本実施形態では、図2に示されるように、画面211の左上部にホスト表示領域R1が示され、右上部に資料表示領域R2が示されている。また、画面211の左中央部にファイル選択ボタンB1、ファイル選択解除ボタンB2、および共有URL表示領域R3が示されている。また、画面211の下部にゲスト表示領域R4、音声調整領域R5、ミュートボタンB3、ビデオボタンB4、画面共有ボタンB5、参加者リストボタンB6、設定ボタンB7、および退出ボタンB8が示されている。なお、図2および図3に表示された画面211、311は一例であり、図2および図3とは異なる配置、構成であってもよく、各ボタン、表示領域は、必須ではない。 In this embodiment, as shown in FIG. 2, the host display area R1 is shown in the upper left part of the screen 211, and the material display area R2 is shown in the upper right part. In addition, a file selection button B1, a file selection cancellation button B2, and a shared URL display area R3 are displayed in the left center portion of the screen 211. FIG. A guest display area R4, a sound adjustment area R5, a mute button B3, a video button B4, a screen sharing button B5, a participant list button B6, a setting button B7, and an exit button B8 are displayed at the bottom of the screen 211. FIG. Note that the screens 211 and 311 shown in FIGS. 2 and 3 are examples, and the layout and configuration may be different from those in FIGS. 2 and 3, and each button and display area are not essential.

図2に示される例では、ホスト表示領域R1には、第1端末装置2の撮像部によって撮像された画像(ホストユーザHuの画像)が表示されている。資料表示領域R2には、保存装置5から配信された画像(資料の内容を示す画像)が表示されている。なお、資料表示領域R2には、サブ画像SGに代えて、第1端末装置2に保存されている画像、および第2端末装置3に保存されている画像が表示されてもよい。共有URL表示領域R3には、オンライン会議(Web会議)に参加する際にアクセスするWebページのURL(uniform resource locator)が表示されている。ゲスト表示領域R4には、第2端末装置3の撮像部によって撮像された画像(ゲストユーザGuの画像)が表示される。図2に示される例では、1つの第1端末装置2および2つの第2端末装置3が、通信経路T1(図1に二点鎖線で示す)を経由してオンライン会議のWebページにアクセスしてオンライン会議に参加しており、その2つの第2端末装置3の各撮像部によって撮像された画像が、ゲスト表示領域R4において横方向に並んで表示されている。音声調整領域R5には、第1端末装置2のスピーカから発せられる音声の大きさを調整するためのスライダS1が表示されている。通信経路T1では、複数の端末装置2、3の間で、たとえば、WebRTC(Web Real-Time Communication)を用いたP2P(peer-to-peer)による双方向通信が行われる。 In the example shown in FIG. 2, an image captured by the imaging unit of the first terminal device 2 (image of the host user Hu) is displayed in the host display area R1. An image distributed from the storage device 5 (an image showing the content of the material) is displayed in the material display area R2. An image saved in the first terminal device 2 and an image saved in the second terminal device 3 may be displayed in the material display area R2 instead of the sub-image SG. The shared URL display area R3 displays the URL (uniform resource locator) of the web page to be accessed when participating in the online conference (web conference). An image captured by the imaging unit of the second terminal device 3 (image of the guest user Gu) is displayed in the guest display area R4. In the example shown in FIG. 2, one first terminal device 2 and two second terminal devices 3 access the web page of the online conference via communication path T1 (indicated by a two-dot chain line in FIG. 1). are participating in the online conference, and the images captured by the imaging units of the two second terminal devices 3 are displayed side by side in the guest display area R4. A slider S1 for adjusting the volume of the sound emitted from the speaker of the first terminal device 2 is displayed in the sound adjustment region R5. On the communication path T1, two-way communication by P2P (peer-to-peer) using WebRTC (Web Real-Time Communication) is performed between the plurality of terminal devices 2 and 3, for example.

ファイル選択ボタンB1は、保存装置5に保存されている1または複数の画像の中から、第1端末装置2および第2端末装置3へ配信する画像を選択するために操作されるボタンである。以下、保存装置5に保存されている画像の中から選択された画像を第1選択画像とも称する。第1選択画像は、保存装置5から第1端末装置2および第2端末装置3へストリーミング配信される(ストリーミング配信については後述する)。また、ファイル選択ボタンB1は、自己の端末装置(たとえば第1端末装置2)に保存されている1または複数の画像の中から、他の端末装置(たとえば第2端末装置3)へ送信する画像を選択するために操作されるボタンである。以下、自己の端末装置(たとえば第1端末装置2)に保存されている画像の中から選択された画像を第2選択画像とも称する。ファイル選択解除ボタンB2は、ファイル選択ボタンB1の操作によるファイルの選択を解除するためのボタンである。ミュートボタンB3は、第1端末装置2のマイク(図示せず)をオフ状態にするためのボタンである。ビデオボタンB4は、オンライン会議を録画するためのボタンである。 The file selection button B1 is a button operated to select an image to be distributed to the first terminal device 2 and the second terminal device 3 from one or more images saved in the storage device 5 . Hereinafter, the image selected from among the images stored in the storage device 5 will also be referred to as a first selected image. The first selected image is streamed from the storage device 5 to the first terminal device 2 and the second terminal device 3 (streaming delivery will be described later). Also, the file selection button B1 is an image to be transmitted to another terminal device (for example, the second terminal device 3) from among one or a plurality of images saved in its own terminal device (for example, the first terminal device 2). is a button operated to select Hereinafter, the image selected from among the images saved in its own terminal device (for example, the first terminal device 2) will also be referred to as a second selected image. The file selection cancellation button B2 is a button for canceling the selection of a file by operating the file selection button B1. The mute button B3 is a button for turning off the microphone (not shown) of the first terminal device 2 . The video button B4 is a button for recording the online conference.

画面共有ボタンB5は、ファイル選択ボタンB1の操作によって、自己の端末装置(たとえば第1端末装置2)に保存されている1または複数の画像の中から選択された画像(上述の第2選択画像)を、オンライン会議に参加している端末装置2、3の各資料表示領域R2において共有する(画面共有)ためのボタンである。すなわち、画面共有ボタンB5の操作によって共有される画像は、保存装置5からストリーミング配信された画像ではなく、自己の端末装置(たとえば第1端末装置2)に保存されている画像である。たとえば、ホストユーザHuが第1端末装置2の画面共有ボタンB5を操作して画面共有ボタンB5をアクティブ状態にすることにより、第1端末装置2に保存されている画像の中から選択された第2選択画像が、オンライン会議に参加しているすべての第2端末装置3へ通信経路T1を経由して送信され、第1端末装置2および第2端末装置3の各資料表示領域R2において第2選択画像が共有される。すなわち、画面共有ボタンB5をアクティブ状態にする操作を行うことにより、第1端末装置2に保存されている画像の中から選択された第2選択画像が、第1端末装置2および第2端末装置3の各資料表示領域R2において同期して表示される。また、たとえば、第1端末装置2の画面共有ボタンB5がアクティブ状態になっている場合において、ホストユーザHuが第1端末装置2の画面共有ボタンB5を操作して非アクティブ状態にする操作を行うか、または、第1端末装置2のファイル選択解除ボタンB2を操作して画像の選択を解除することにより、第1端末装置2から第2端末装置3への第2選択画像の送信が停止され、第1端末装置2および第2端末装置3における第2選択画面の共有が中止される。第2選択画像の共有が中止されることにより、第1端末装置2および第2端末装置3の各資料表示領域R2は非共有状態となり、たとえば、第2選択画像が表示されていない状態となる。 The screen share button B5 is an image selected from among one or more images saved in its own terminal device (for example, the first terminal device 2) (the second selected image described above) by operating the file selection button B1. ) in each material display area R2 of the terminal devices 2 and 3 participating in the online conference (screen sharing). That is, the image shared by operating the screen share button B5 is not the image streamed from the storage device 5, but the image saved in the own terminal device (for example, the first terminal device 2). For example, when the host user Hu operates the screen sharing button B5 of the first terminal device 2 to activate the screen sharing button B5, the image selected from the images saved in the first terminal device 2 is displayed. 2 selected image is transmitted to all the second terminal devices 3 participating in the online conference via the communication path T1, and is displayed in each material display area R2 of the first terminal device 2 and the second terminal device 3. Selected images are shared. That is, by performing an operation to activate the screen sharing button B5, the second selected image selected from the images saved in the first terminal device 2 can be shared with the first terminal device 2 and the second terminal device. 3 are synchronously displayed in each material display area R2. Further, for example, when the screen sharing button B5 of the first terminal device 2 is in the active state, the host user Hu operates the screen sharing button B5 of the first terminal device 2 to deactivate it. Alternatively, the transmission of the second selected image from the first terminal device 2 to the second terminal device 3 is stopped by operating the file selection cancellation button B2 of the first terminal device 2 to cancel the selection of the image. , the sharing of the second selection screen in the first terminal device 2 and the second terminal device 3 is stopped. By stopping the sharing of the second selected image, each material display area R2 of the first terminal device 2 and the second terminal device 3 enters a non-sharing state, for example, a state in which the second selected image is not displayed. .

参加者リストボタンB6は、オンライン会議に参加しているユーザの一覧を表示するためのボタンである。参加者リストボタンB6を操作してアクティブ状態にすることにより、オンライン会議に参加しているユーザの一覧が表示される。設定ボタンB7は、オンライン会議に関する種々の条件を設定するためのボタンである。退出ボタンB8は、オンライン会議を終了する際に、オンライン会議の部屋から退出するためのボタンである。 The participant list button B6 is a button for displaying a list of users participating in the online conference. By operating the participant list button B6 to activate it, a list of users participating in the online conference is displayed. The setting button B7 is a button for setting various conditions regarding the online conference. The exit button B8 is a button for exiting the online conference room when ending the online conference.

第1端末装置2(図1参照)は、自己の撮像部が撮像したメイン画像MG1(図2参照)を自己以外の端末装置へ送信する。すなわち、第1端末装置2は、第1端末装置2の撮像部が撮像したメイン画像(たとえば、ホストユーザHuの画像)を第2端末装置3へ送信する。詳細には、第1端末装置2は、オンライン会議に参加しているすべてのゲストユーザGuの第2端末装置3へメイン画像MG1を送信する。たとえば、1つの第1端末装置2および複数の第2端末装置3がオンライン会議に参加している場合には、第1端末装置2は、自己の撮像部が撮像したメイン画像MG1をオンライン会議に参加しているすべての第2端末装置3へ送信する。 The first terminal device 2 (see FIG. 1) transmits the main image MG1 (see FIG. 2) captured by its own imaging unit to terminal devices other than itself. That is, the first terminal device 2 transmits the main image (for example, the image of the host user Hu) captured by the imaging unit of the first terminal device 2 to the second terminal device 3 . Specifically, the first terminal device 2 transmits the main image MG1 to the second terminal devices 3 of all guest users Gu participating in the online conference. For example, when one first terminal device 2 and a plurality of second terminal devices 3 participate in the online conference, the first terminal device 2 transmits the main image MG1 captured by its own imaging unit to the online conference. It is transmitted to all participating second terminal devices 3 .

第1端末装置2は、ユーザにより自己(第1端末装置2)に対して行われたサブ画像SGの視聴に関する操作の内容を制御装置4へ送信する。サブ画像SGは、保存装置5に保存されている画像である。本実施形態では、サブ画像SGは、オンライン会議において用いられる資料の内容を示す画像(資料の画像)である。詳細には、サブ画像SGは、たとえば、動画または静止画であり、上述の第1選択画像である。サブ画像SGの視聴に関する操作は、たとえば、サブ画像SGの表示開始、サブ画像SGの表示停止、サブ画像SGの表示位置の戻し、およびサブ画像SGの表示位置の送りである。なお、サブ画像SGの視聴に関する操作は、上述の操作に限定されるものではなく、他の種類の操作であってもよい。また、本実施形態では、サブ画像SGは、第1端末装置2から保存装置5にアップロードされた画像である。図1に示される例では、サブ画像SGは、有線または無線の通信経路T2(実線で示す)を経由してアップロードされている。なお、サブ画像SGは、第2端末装置3から保存装置5にアップロードされた画像であってもよい。なお、サブ画像SGは、第1端末装置2または第2端末装置3から保存装置5にアップロードされた画像に限定されるものではなく、たとえば、USB(Universal Serial Bus)メモリなどの記憶媒体から保存装置5に保存された画像であってもよい。また、サブ画像SGは、たとえば、アップロード時の画像と実質的に同じ内容であれば、アップロード時の画像に対してPDFの形式に変換する等の処理を保存装置5において行った画像であってもよい。 The first terminal device 2 transmits to the control device 4 the content of the operation related to viewing the sub-image SG performed by the user on itself (the first terminal device 2 ). The sub-image SG is an image stored in the storage device 5 . In this embodiment, the sub-image SG is an image (material image) showing the content of the material used in the online conference. Specifically, the sub-image SG is, for example, a moving image or a still image, and is the first selected image described above. The operations related to viewing the sub-image SG are, for example, starting display of the sub-image SG, stopping display of the sub-image SG, returning the display position of the sub-image SG, and advancing the display position of the sub-image SG. Note that the operation for viewing the sub-image SG is not limited to the operation described above, and may be another type of operation. Also, in this embodiment, the sub-image SG is an image uploaded from the first terminal device 2 to the storage device 5 . In the example shown in FIG. 1, the sub-image SG is uploaded via a wired or wireless communication path T2 (indicated by a solid line). Note that the sub-image SG may be an image uploaded from the second terminal device 3 to the storage device 5 . The sub-image SG is not limited to the image uploaded from the first terminal device 2 or the second terminal device 3 to the storage device 5. For example, the sub-image SG is stored from a storage medium such as USB (Universal Serial Bus) memory. It may be an image stored in device 5 . Further, if the sub-image SG is substantially the same as the image at the time of uploading, for example, the image at the time of uploading is an image that has undergone processing such as conversion into a PDF format in the storage device 5. good too.

図2に示されるように、第1端末装置2は、自己以外の端末装置(第2端末装置3)から受信したメイン画像MG2、および保存装置5から受信したサブ画像SGを表示部21の画面211において表示する。たとえば、オンライン会議に1つの第1端末装置2および複数の第2端末装置3が参加している場合には、第1端末装置2は、第2端末装置3から受信したメイン画像MG2、および保存装置5から受信したサブ画像SGを表示部21の画面211において同時に表示する。また、図2に示される例では、第1端末装置2は、自己の撮像部が撮像したメイン画像MG1を、上述のメイン画像MG2およびサブ画像SGと同時に画面211において表示する。 As shown in FIG. 2, the first terminal device 2 displays a main image MG2 received from a terminal device other than itself (the second terminal device 3) and a sub-image SG received from the storage device 5 on the screen of the display unit 21. 211. For example, when one first terminal device 2 and a plurality of second terminal devices 3 are participating in the online conference, the first terminal device 2 receives the main image MG2 from the second terminal device 3 and stores The sub-image SG received from the device 5 is simultaneously displayed on the screen 211 of the display unit 21 . Further, in the example shown in FIG. 2, the first terminal device 2 displays the main image MG1 captured by its own imaging unit on the screen 211 at the same time as the main image MG2 and the sub-image SG described above.

第2端末装置3の表示部の画面に表示される画像の一例について、図1および図3を参照して説明する。図3は、本発明の一実施形態に係るオンライン会議システムにおける第2端末装置の画面に表示される画像の一例を模式的に示す図である。 An example of an image displayed on the screen of the display unit of the second terminal device 3 will be described with reference to FIGS. 1 and 3. FIG. FIG. 3 is a diagram schematically showing an example of an image displayed on the screen of the second terminal device in the online conference system according to one embodiment of the present invention.

第2端末装置3(図1参照)は、第1端末装置2との間で情報の送受信が可能であり、撮像部(図示せず)および表示部31を有する。本実施形態では、第2端末装置3は、撮像部(カメラ)による撮像を行うことができる情報端末である。撮像部は、たとえば、ゲストユーザGuの顔などの画像を、メイン画像MG2として撮像することができる。第2端末装置3の種類は、特に限定されるものではなく、第1端末装置2と同様、種々の種類を採用することができる。 The second terminal device 3 (see FIG. 1) is capable of transmitting and receiving information to and from the first terminal device 2 and has an imaging section (not shown) and a display section 31 . In this embodiment, the second terminal device 3 is an information terminal capable of capturing an image using an imaging unit (camera). The imaging unit can, for example, capture an image such as the face of the guest user Gu as the main image MG2. The type of the second terminal device 3 is not particularly limited, and as with the first terminal device 2, various types can be adopted.

図3に示されるように、第2端末装置3の撮像部(カメラ)は、ゲストユーザGuの顔などの画像をメイン画像MG2として撮像することができる。また、本実施形態では、第2端末装置3の表示部31は、ホストユーザHu側のメイン画像MG1、ゲストユーザGu側のメイン画像MG2(たとえば、ゲストユーザGuの顔などの画像)、および保存装置5に保存されているサブ画像SGなど、複数の画像MG1、MG2、SGを同時に表示することができる。 As shown in FIG. 3, the imaging unit (camera) of the second terminal device 3 can capture an image such as the face of the guest user Gu as a main image MG2. Further, in the present embodiment, the display unit 31 of the second terminal device 3 displays a main image MG1 on the side of the host user Hu, a main image MG2 on the side of the guest user Gu (for example, an image such as the face of the guest user Gu), and a stored image. Multiple images MG1, MG2, SG, such as sub-images SG stored in device 5, can be displayed simultaneously.

本実施形態では、図3に示されるように、画面311の左上部にホスト表示領域R1が示され、右上部に資料表示領域R2が示されている。また、画面311の下部にゲスト表示領域R4、音声調整領域R5、ミュートボタンB3、ビデオボタンB4、画面共有ボタンB5、参加者リストボタンB6、設定ボタンB7、および退出ボタンB8が示されている。なお、図3に示される例では、図2に示されるファイル選択ボタンB1、ファイル選択解除ボタンB2、および共有URL表示領域R3が示されていないが、これらのボタンB1、B2および共有URL表示領域R3が示されていてもよい。画面311においてファイル選択ボタンB1が示される場合、ファイル選択ボタンB1は、保存装置5に保存されている1または複数の画像の中から、第1端末装置2および第2端末装置3へ配信する画像を選択するために操作されるボタンである。保存装置5に保存されている画像の中から選択された画像(第1選択画像)は、保存装置5から第1端末装置2および第2端末装置3へストリーミング配信される。 In this embodiment, as shown in FIG. 3, the host display area R1 is shown in the upper left part of the screen 311, and the material display area R2 is shown in the upper right part. A guest display area R4, a sound adjustment area R5, a mute button B3, a video button B4, a screen sharing button B5, a participant list button B6, a setting button B7, and an exit button B8 are displayed at the bottom of the screen 311. FIG. Note that the example shown in FIG. 3 does not show the file selection button B1, the file selection cancellation button B2, and the shared URL display area R3 shown in FIG. R3 may be indicated. When the file selection button B1 is displayed on the screen 311, the file selection button B1 selects an image to be distributed to the first terminal device 2 and the second terminal device 3 from among one or a plurality of images stored in the storage device 5. is a button operated to select An image (first selected image) selected from the images stored in the storage device 5 is streamed from the storage device 5 to the first terminal device 2 and the second terminal device 3 .

また、画面311においてファイル選択ボタンB1が示される場合、ファイル選択ボタンB1は、自己の端末装置(第2端末装置3)に保存されている1または複数の画像の中から、他の端末装置(第1端末装置2および他の第2端末装置3)へ送信する画像を選択するために操作されるボタンである。第2端末装置3においてファイル選択ボタンB1を操作して、自己の端末装置(第2端末装置3)に保存されている1または複数の画像の中から画像を選択し、画面共有ボタンB5を操作して画面共有ボタンB5をアクティブ状態にすることにより、第1端末装置2および第2端末装置3の各資料表示領域R2において第2選択画像(第2端末装置3に保存されている画像の中から選択された画像)が共有される。 In addition, when the file selection button B1 is displayed on the screen 311, the file selection button B1 can be used to select one or more images stored in the own terminal device (second terminal device 3) from another terminal device ( This button is operated to select an image to be transmitted to the first terminal device 2 and the other second terminal device 3). By operating the file selection button B1 on the second terminal device 3, an image is selected from among one or more images stored in one's own terminal device (second terminal device 3), and the screen sharing button B5 is operated. to activate the screen share button B5, the second selected image (among the images saved in the second terminal device 3) is displayed in each material display area R2 of the first terminal device 2 and the second terminal device 3. ) are shared.

第2端末装置3(図1参照)は、自己の撮像部が撮像したメイン画像MG2を自己以外の端末装置へ送信する。たとえば、1つの第1端末装置2および複数の第2端末装置3がオンライン会議に参加している場合には、第2端末装置3は、自己の撮像部が撮像したメイン画像MG2を、オンライン会議に参加している第1端末装置2および他のすべての第2端末装置3へ送信する。 The second terminal device 3 (see FIG. 1) transmits the main image MG2 captured by its own imaging unit to terminal devices other than itself. For example, when one first terminal device 2 and a plurality of second terminal devices 3 are participating in an online conference, the second terminal device 3 displays the main image MG2 captured by its own imaging unit as the online conference. to the first terminal device 2 and all other second terminal devices 3 participating in the .

第2端末装置3は、ユーザにより自己(第2端末装置3)に対して行われたサブ画像SGの視聴に関する操作の内容を制御装置4へ送信する。サブ画像SGの視聴に関する操作の内容は、第1端末装置2において行われる上述した操作の内容と同様である。 The second terminal device 3 transmits to the control device 4 the content of the operation related to viewing the sub-image SG performed by the user on itself (the second terminal device 3). The content of the operation for viewing the sub-image SG is the same as the content of the above-described operation performed in the first terminal device 2 .

第2端末装置3は、自己以外の端末装置から受信したメイン画像、および保存装置5から受信したサブ画像SGを表示部31の画面311において表示する。たとえば、オンライン会議に1つの第1端末装置2および複数の第2端末装置3が参加している場合には、第2端末装置3は、第1端末装置2から受信したメイン画像MG1および他の第2端末装置3から受信したメイン画像MG2、および保存装置5から受信したサブ画像SGを表示部31の画面311において同時に表示する。また、図3に示される例では、第2端末装置3は、自己の撮像部が撮像したメイン画像MG2を、上述のメイン画像MG1、メイン画像MG2およびサブ画像SGと同時に画面311において表示する。図3に示される例では、自己の撮像部が撮像したメイン画像MG2は、ゲスト表示領域R4において左から2番目の位置に表示されている。 The second terminal device 3 displays the main image received from the terminal device other than itself and the sub-image SG received from the storage device 5 on the screen 311 of the display unit 31 . For example, when one first terminal device 2 and a plurality of second terminal devices 3 participate in the online conference, the second terminal device 3 receives the main image MG1 from the first terminal device 2 and other The main image MG2 received from the second terminal device 3 and the sub-image SG received from the storage device 5 are simultaneously displayed on the screen 311 of the display unit 31 . In the example shown in FIG. 3, the second terminal device 3 displays the main image MG2 captured by its own imaging unit on the screen 311 at the same time as the main image MG1, the main image MG2 and the sub-image SG described above. In the example shown in FIG. 3, the main image MG2 captured by the own imaging unit is displayed at the second position from the left in the guest display area R4.

制御装置4(図1参照)は、第1端末装置2および第2端末装置3との間で情報の送受信が可能であり、所定の制御動作を行う。詳細には、制御装置4は、第1端末装置2および第2端末装置3から受信した操作の内容に対応する指示情報を生成する。本実施形態では、指示情報は、たとえば、制御装置4が第1端末装置2および第2端末装置3から受信した操作の内容に対応する画像(以下、操作対応画像とも称する)を、保存装置5からストリーミング配信させる指示を保存装置5に対して直接的または間接的に行うための情報である。制御装置4は、第1端末装置2および第2端末装置3との間で通信経路T3(図1に一点鎖線で示す)を経由して、たとえば、WebSocketを用いた双方向通信を行う。本実施形態では、制御装置4はSocketサーバ(第2サーバ)である。 The control device 4 (see FIG. 1) can transmit and receive information between the first terminal device 2 and the second terminal device 3, and performs predetermined control operations. Specifically, the control device 4 generates instruction information corresponding to the content of the operation received from the first terminal device 2 and the second terminal device 3 . In this embodiment, the instruction information is, for example, an image corresponding to the content of the operation received by the control device 4 from the first terminal device 2 and the second terminal device 3 (hereinafter also referred to as an operation corresponding image). This information is information for directly or indirectly instructing the storage device 5 to perform streaming distribution from the storage device 5 . The control device 4 performs two-way communication using WebSocket, for example, with the first terminal device 2 and the second terminal device 3 via the communication path T3 (indicated by the dashed-dotted line in FIG. 1). In this embodiment, the control device 4 is a Socket server (second server).

まず、指示情報が、操作対応画像をストリーミング配信させる指示を保存装置5に対して直接的に行うための情報である場合について説明する。たとえば、第1端末装置2において動画の再生開始の操作(たとえば、後述する再生ボタンB9をアクティブ状態にする操作)が行われた場合には、制御装置4は動画の再生開始の操作の内容を第1端末装置2から受信し、制御装置4は、オンライン会議に参加しているすべての端末装置2、3へ動画をストリーミング配信するように保存装置5に対して指示する。また、第1端末装置2において動画の再生停止の操作が行われた場合には、制御装置4は動画の再生停止の操作の内容を第1端末装置2から受信し、制御装置4は、オンライン会議に参加しているすべての端末装置2、3への動画のストリーミング配信を停止するように保存装置5に対して指示する。また、第1端末装置2において動画の再生位置の戻しの操作が行われた場合には、制御装置4は動画の再生位置の戻しの操作の内容を第1端末装置2から受信し、制御装置4は、オンライン会議に参加しているすべての端末装置2、3へ、再生位置の戻しの指示に対応する動画(戻された再生位置からの動画)をストリーミング配信するように保存装置5に対して指示する。また、第1端末装置2において動画の再生位置の送りの操作が行われた場合には、制御装置4は動画の再生位置の送りの操作の内容を第1端末装置2から受信し、制御装置4は、オンライン会議に参加しているすべての端末装置2、3へ、再生位置の送りの指示に対応する動画(送られた再生位置からの動画)をストリーミング配信するように保存装置5に対して指示する。第2端末装置3において動画の再生開始の操作、動画の再生停止の操作、動画の再生位置の戻しの操作、および動画の再生位置の送りの操作が行われた場合についても同様である。 First, a case will be described where the instruction information is information for directly instructing the storage device 5 to stream-deliver the operation corresponding image. For example, when an operation to start reproducing a moving image (for example, an operation to activate a later-described reproduction button B9) is performed on the first terminal device 2, the control device 4 changes the content of the operation to start reproducing the moving image. Upon receipt from the first terminal device 2, the control device 4 instructs the storage device 5 to stream the video to all the terminal devices 2, 3 participating in the online conference. Further, when an operation to stop reproducing the moving image is performed on the first terminal device 2, the control device 4 receives the content of the operation to stop reproducing the moving image from the first terminal device 2, and the control device 4 performs the online The storage device 5 is instructed to stop the streaming distribution of moving images to all the terminal devices 2 and 3 participating in the conference. Further, when an operation to return the playback position of the moving image is performed in the first terminal device 2, the control device 4 receives the content of the operation to return the playback position of the moving image from the first terminal device 2, and 4 instructs the storage device 5 to stream the video corresponding to the instruction to return the playback position (the video from the returned playback position) to all the terminal devices 2 and 3 participating in the online conference. to indicate. Further, when an operation to advance the reproduction position of the moving image is performed in the first terminal device 2, the control device 4 receives the details of the operation to advance the reproduction position of the moving image from the first terminal device 2, and the control device 4 instructs the storage device 5 to stream the video corresponding to the instruction to transfer the playback position (video from the sent playback position) to all the terminal devices 2 and 3 participating in the online conference. to indicate. The same is true when an operation to start reproducing a moving image, an operation to stop reproducing a moving image, an operation to return a moving image reproduction position, and an operation to advance a moving image reproduction position are performed on the second terminal device 3 .

次に、指示情報が、操作対応画像をストリーミング配信させる指示を保存装置5に対して間接的に行うための情報である場合について説明する。たとえば、第1端末装置2において、動画の再生ボタンB9をアクティブ状態にする操作が行われた場合には、制御装置4は動画の再生ボタンB9をアクティブ状態にする操作の内容を第1端末装置2から受信し、制御装置4は、オンライン会議に参加しているすべての第2端末装置3へ再生ボタンB9をアクティブ状態にする指示を行う。「再生ボタンB9をアクティブ状態にする操作」は、たとえば、ノートPCにおいては、非アクティブ状態にある再生ボタンB9をマウスでクリックする操作であり、スマートフォンにおいては、非アクティブ状態にある再生ボタンB9を指などでタッチする操作である。また、第2端末装置3は、受信した指示に基づいて、自己の再生ボタンB9をアクティブ状態にするとともに、動画をストリーミング配信するように保存装置5に対して指示する。また、第1端末装置2において、動画の再生ボタンB9を非アクティブ状態にする操作が行われた場合には、制御装置4は動画の再生ボタンB9を非アクティブ状態にする操作の内容を第1端末装置2から受信し、制御装置4は、オンライン会議に参加しているすべての第2端末装置3へ再生ボタンB9を非アクティブ状態にする指示を行う。「再生ボタンB9を非アクティブ状態にする操作」は、たとえば、ノートPCにおいては、アクティブ状態にある再生ボタンB9をマウスでクリックする操作であり、スマートフォンにおいては、アクティブ状態にある再生ボタンB9を指などでタッチする操作である。第2端末装置3は、受信した指示に基づいて、自己の再生ボタンB9を非アクティブ状態にするとともに、動画のストリーミング配信を停止するように保存装置5に対して指示する。また、第1端末装置2において、動画のシークバーB10の位置を戻す(動画の再生位置を戻す)操作が行われた場合には、制御装置4は動画のシークバーB10の位置を戻す(動画の再生位置を戻す)操作の内容を第1端末装置2から受信し、制御装置4は、オンライン会議に参加しているすべての第2端末装置3へ動画のシークバーB10の位置を戻す指示を行う。第2端末装置3は、受信した指示に基づいて、自己のシークバーB10の位置を戻すとともに、シークバーB10を戻した位置から動画をストリーミング配信するように保存装置5に対して指示する。また、第1端末装置2において、動画のシークバーB10の位置を送る(動画の再生位置を送る)操作が行われた場合には、制御装置4は動画のシークバーB10の位置を送る(動画の再生位置を送る)操作の内容を第1端末装置2から受信し、制御装置4は、オンライン会議に参加しているすべての第2端末装置3へ動画のシークバーB10の位置を送る指示を行う。第2端末装置3は、受信した指示に基づいて、自己のシークバーB10の位置を送るとともに、シークバーB10を送った位置から動画をストリーミング配信するように保存装置5に対して指示する。第2端末装置3において動画の再生ボタンB9をアクティブ状態にする操作、動画の再生ボタンB9を非アクティブ状態にする操作、動画のシークバー10の位置を戻す操作、動画のシークバー10の位置を送る操作が行われた場合についても同様である。 Next, a case where the instruction information is information for indirectly instructing the storage device 5 to perform streaming distribution of the operation corresponding image will be described. For example, in the first terminal device 2, when an operation to activate the video playback button B9 is performed, the control device 4 sets the content of the operation to activate the video playback button B9 to the first terminal device. 2, the control device 4 instructs all the second terminal devices 3 participating in the online conference to activate the play button B9. The "operation to activate the play button B9" is, for example, an operation of clicking the play button B9 in the inactive state with a mouse in a notebook PC, and clicking the play button B9 in the inactive state in a smartphone. This is an operation of touching with a finger or the like. Further, the second terminal device 3 activates its own play button B9 based on the received instruction, and instructs the storage device 5 to perform streaming distribution of the moving image. Further, in the first terminal device 2, when an operation to deactivate the video playback button B9 is performed, the control device 4 sets the details of the operation to deactivate the video playback button B9 to the first terminal device 2. Received from the terminal device 2, the control device 4 instructs all the second terminal devices 3 participating in the online conference to deactivate the play button B9. The “operation to deactivate the play button B9” is, for example, an operation of clicking the play button B9 in the active state with a mouse in a notebook PC, and pointing to the play button B9 in the active state in a smartphone. It is an operation to touch with . Based on the received instruction, the second terminal device 3 deactivates its own play button B9 and instructs the storage device 5 to stop the streaming distribution of the moving image. Further, in the first terminal device 2, when an operation to return the position of the video seek bar B10 (to return the video playback position) is performed, the control device 4 returns the position of the video seek bar B10 (to return the video playback position). Return position) receives the details of the operation from the first terminal device 2, and the control device 4 instructs all the second terminal devices 3 participating in the online conference to return the position of the video seek bar B10. The second terminal device 3 returns the position of its own seek bar B10 based on the received instruction, and instructs the storage device 5 to stream the video from the position where the seek bar B10 was returned. Further, in the first terminal device 2, when an operation to send the position of the video seek bar B10 (send the playback position of the video) is performed, the control device 4 sends the position of the video seek bar B10 (send the video playback position). Send position) operation content is received from the first terminal device 2, and the control device 4 instructs all the second terminal devices 3 participating in the online conference to send the position of the video seek bar B10. Based on the received instruction, the second terminal device 3 sends the position of its own seek bar B10 and instructs the storage device 5 to stream the video from the position where the seek bar B10 was sent. Operation to activate the video play button B9 on the second terminal device 3, operation to deactivate the video play button B9, operation to return the position of the video seek bar 10, operation to send the position of the video seek bar 10 is performed.

制御装置4は、第1端末装置2および第2端末装置3の一方から操作の内容を受信した後、第1端末装置2および第2端末装置3の一方または他方から新たな操作の内容を受信した場合、新たな操作の内容に対応する新たな指示情報を生成する。すなわち、制御装置4は、端末装置2、3から操作の内容を受信し、受信した操作の内容に対応する指示を行った後、先に受信した操作の内容とは異なる操作の内容を端末装置2、3から新たに受信した場合、制御装置4は、新たに受信した操作の内容に対応する指示を行う。たとえば、制御装置4は、第1端末装置2から再生ボタンB9をアクティブ状態にする操作の内容を受信して、第2端末装置3へ再生ボタンB9をアクティブ状態にする指示を行った後、第2端末装置3からシークバーB10の位置を戻す操作の内容を受信した場合、制御装置4はシークバーB10の位置を戻す指示を第1端末装置2および第2端末装置3に対して行う。また、たとえば、制御装置4は、第2端末装置3からシークバーB10の位置を変更する(たとえば戻し)操作の内容を受信して、第1端末装置2および他の第2端末装置3へシークバーB10の位置を変更する指示を行った後、第1端末装置2からシークバーB10の位置を新たに変更する(たとえば送り)操作の内容を受信した場合、制御装置4はシークバーB10の位置を送る新たな指示を第2端末装置3に対して行う。 After receiving the details of the operation from one of the first terminal device 2 and the second terminal device 3, the control device 4 receives new details of the operation from one or the other of the first terminal device 2 and the second terminal device 3. If so, new instruction information corresponding to the content of the new operation is generated. That is, the control device 4 receives operation details from the terminal devices 2 and 3, issues an instruction corresponding to the received operation details, and then sends the operation details different from the previously received operation details to the terminal devices. 2 and 3, the control device 4 issues an instruction corresponding to the content of the newly received operation. For example, the control device 4 receives from the first terminal device 2 the content of the operation to activate the play button B9, and instructs the second terminal device 3 to activate the play button B9. When the content of the operation to return the position of the seek bar B10 is received from the second terminal device 3, the control device 4 instructs the first terminal device 2 and the second terminal device 3 to return the position of the seek bar B10. Further, for example, the control device 4 receives from the second terminal device 3 the content of the operation to change (for example, return) the position of the seek bar B10, and moves the seek bar B10 to the first terminal device 2 and the other second terminal device 3. After the instruction to change the position of the seek bar B10 is received from the first terminal device 2, the control device 4 sends a new position of the seek bar B10. An instruction is given to the second terminal device 3 .

保存装置5は、制御装置4が生成した指示情報に対応するサブ画像SGを第1端末装置2および第2端末装置3へ配信する。本実施形態では、保存装置5はストリーミング配信を行うストリーミングサーバ(第1サーバ)である。たとえば、制御装置4が保存装置5から操作対応画像をストリーミング配信させる指示を保存装置5に対して直接的に行う場合には、保存装置5は、制御装置4から受信した指示に基づいて、操作対象画像を第1端末装置2および第2端末装置3へストリーミング配信する。また、制御装置4が保存装置5から操作対応画像をストリーミング配信させる指示を保存装置5に対して間接的に行う場合には、保存装置5は、第1端末装置2および第2端末装置3から受信した指示に基づいて、操作対象画像を第1端末装置2および第2端末装置3へストリーミング配信する。また、上述のように、制御装置4が新たな指示情報を生成し、この新たな指示情報に基づいて直接的または間接的に保存装置5に指示を行った場合、保存装置5は、配信する内容を、新たな指示情報に対応するサブ画像に更新する。たとえば、保存装置5は、制御装置4から直接的または間接的に動画再生の指示を受けて動画の配信を行っている間に、制御装置4から直接的または間接的に動画再生位置の戻しの指示を受けた場合、戻しの指示に対応する再生位置から動画の配信を行う。ストリーミング配信を行う際には、インターネット回線の通信速度(帯域幅)および受信側の端末(第1端末装置2および第2端末装置3)の処理速度に応じて、配信する画像の品質を調整することができるので、端末装置2、3に配信される画像を同期して表示することがより容易となる。 The storage device 5 distributes the sub-image SG corresponding to the instruction information generated by the control device 4 to the first terminal device 2 and the second terminal device 3 . In this embodiment, the storage device 5 is a streaming server (first server) that performs streaming distribution. For example, when the control device 4 directly instructs the storage device 5 to stream the operation corresponding image from the storage device 5 , the storage device 5 receives the instruction received from the control device 4 to perform the operation. A target image is streamed to the first terminal device 2 and the second terminal device 3 . Further, when the control device 4 indirectly instructs the storage device 5 to stream the operation corresponding image from the storage device 5 , the storage device 5 receives the The operation target image is streamed to the first terminal device 2 and the second terminal device 3 based on the received instruction. Further, as described above, when the control device 4 generates new instruction information and instructs the storage device 5 directly or indirectly based on this new instruction information, the storage device 5 distributes The contents are updated to sub-images corresponding to the new instruction information. For example, while the storage device 5 receives an instruction to reproduce a moving image directly or indirectly from the control device 4 and distributes the moving image, the storage device 5 may directly or indirectly return the moving image reproduction position from the control device 4. When the instruction is received, the video is distributed from the playback position corresponding to the return instruction. When performing streaming distribution, the quality of the image to be distributed is adjusted according to the communication speed (bandwidth) of the Internet line and the processing speed of the receiving terminal (the first terminal device 2 and the second terminal device 3). Therefore, it becomes easier to synchronously display the images distributed to the terminal devices 2 and 3 .

次に、オンライン会議システムが行う処理手順について、図4を参照して説明する。図4は、本発明の一実施形態に係るオンライン会議システムが行う処理手順の一例を示すシーケンス図である。 Next, a processing procedure performed by the online conference system will be described with reference to FIG. FIG. 4 is a sequence diagram showing an example of processing procedures performed by the online conference system according to one embodiment of the present invention.

本実施形態では、図示しないWebサーバにおいて、オンライン会議を行うためのWebページがホストユーザHuによって予め構築されているものとする。また、ホストユーザHuおよびゲストユーザGuは、上記Webページにアクセスしてオンライン会議の部屋に入室するためのURLを認識しているものとする。また、ここでは、第1端末装置2および複数の第2端末装置3が上記Webページにアクセスすることにより、ホストユーザHuおよび複数のゲストユーザGuは、上記Webページにおいて構築されたオンライン会議の部屋に入室しているものとする。また、第1端末装置2および複数の第2端末装置3の間では、P2Pによる双方向通信が確立されているものとする。また、第1端末装置2および制御装置4の間、および、第2端末装置3および制御装置4の間では、WebSocketによる双方向通信が確立されているものとする。また、第1端末装置2から保存装置5へのサブ画像SGのアップロードが既に行われているものとする。 In this embodiment, it is assumed that a web page for holding an online conference has been created in advance by the host user Hu on a web server (not shown). It is also assumed that the host user Hu and the guest user Gu know the URL for accessing the web page and entering the online conference room. Further, here, the first terminal device 2 and the plurality of second terminal devices 3 access the web page, thereby allowing the host user Hu and the plurality of guest users Gu to access the online conference room constructed on the web page. It is assumed that you are in the room. It is also assumed that P2P two-way communication has been established between the first terminal device 2 and the plurality of second terminal devices 3 . It is also assumed that two-way communication by WebSocket has been established between the first terminal device 2 and the control device 4 and between the second terminal device 3 and the control device 4 . It is also assumed that the sub-image SG has already been uploaded from the first terminal device 2 to the storage device 5 .

図4に示される例では、まず、第1端末装置2および第2端末装置3の間において、音声、ビデオストリームの送受信が行われる。詳細には、ホストユーザHuおよびゲストユーザGuが発した音声、ホストユーザHuの撮像動画(メイン画像MG1)およびゲストユーザGuの撮像動画(メイン画像MG2)の送受信が行われる。そして、第1端末装置2の画面211において、たとえば、図2に示されるようにメイン画像MG1およびメイン画像MG2が表示される。また、第2端末装置3の画面311において、たとえば、図3に示されるようにメイン画像MG1およびメイン画像MG2が表示される(ステップS101、S102)。 In the example shown in FIG. 4, first, audio and video streams are transmitted and received between the first terminal device 2 and the second terminal device 3 . Specifically, voices uttered by the host user Hu and the guest user Gu, the moving image captured by the host user Hu (main image MG1) and the moving image captured by the guest user Gu (main image MG2) are transmitted and received. Then, on the screen 211 of the first terminal device 2, for example, a main image MG1 and a main image MG2 are displayed as shown in FIG. Also, on the screen 311 of the second terminal device 3, for example, a main image MG1 and a main image MG2 are displayed as shown in FIG. 3 (steps S101 and S102).

つぎに、第1端末装置2において、オンライン会議で使用したい画像(たとえば動画)が入っているファイルが、ファイル選択ボタンB1の操作によって選択される。そして、第1端末装置2において、再生ボタンB9をアクティブ状態にする操作が行われる。具体的には、たとえば、ノートPCにおいては、非アクティブ状態にある再生ボタンB9をマウスでクリックする操作が行われ、スマートフォンにおいては、非アクティブ状態にある再生ボタンB9を指などでタッチする操作が行われる。これにより、制御装置4は、選択されたファイルに入っている画像(第1選択画像)を保存装置5にストリーミング配信させる指示を保存装置5へ送信する。保存装置5は、受信した指示に基づいて、第1端末装置2およびオンライン会議に参加しているすべての第2端末装置3へ第1選択画像(サブ画像SG)をストリーミング配信する(ステップS103)。 Next, in the first terminal device 2, a file containing an image (for example, moving image) desired to be used in the online conference is selected by operating the file selection button B1. Then, in the first terminal device 2, an operation is performed to activate the play button B9. Specifically, for example, in a notebook PC, an operation of clicking the inactive play button B9 with a mouse is performed, and in a smartphone, an operation of touching the inactive play button B9 with a finger or the like is performed. done. As a result, the control device 4 transmits to the storage device 5 an instruction to stream-deliver the image (first selected image) contained in the selected file to the storage device 5 . Based on the received instruction, the storage device 5 streams the first selected image (sub-image SG) to the first terminal device 2 and all the second terminal devices 3 participating in the online conference (step S103). .

つぎに、第1端末装置2および第2端末装置3は、保存装置5からストリーミング配信された第1選択画像を各々の画面211、311において同期して再生する(ステップS104、S105)。 Next, the first terminal device 2 and the second terminal device 3 synchronously reproduce the first selected image streamed from the storage device 5 on their respective screens 211 and 311 (steps S104 and S105).

つぎに、第1端末装置2において、第1選択画像の再生位置を変更する操作が行われる(ビデオ操作)。詳細には、たとえば、第1端末装置2において、シークバーB10の再生位置を変更(戻しまたは送り)する操作が行われる。具体的には、たとえば、動画で2分30秒の位置へシークバーB10を移動させる操作が行われる。第1端末装置2は、シークバーB10の再生位置を変更した内容を制御装置4へ送信する。(ステップS106)。 Next, in the first terminal device 2, an operation is performed to change the playback position of the first selected image (video operation). Specifically, for example, in the first terminal device 2, an operation is performed to change (return or forward) the playback position of the seek bar B10. Specifically, for example, an operation is performed to move the seek bar B10 to the position of 2 minutes and 30 seconds in the moving image. The first terminal device 2 transmits to the control device 4 the contents of the changed reproduction position of the seek bar B10. (Step S106).

つぎに、制御装置4は、第1端末装置2からシークバーB10の再生位置の変更内容を受信する(ステップS107)。つぎに、制御装置4は、受信した内容に合わせて、シークバーB10の位置を変更する指示を、会議に参加しているすべての第2端末装置3へ送信する(ステップS108)。 Next, the control device 4 receives the changed contents of the reproduction position of the seek bar B10 from the first terminal device 2 (step S107). Next, the control device 4 transmits an instruction to change the position of the seek bar B10 according to the received content to all the second terminal devices 3 participating in the conference (step S108).

つぎに、第2端末装置3は、制御装置4から、シークバーB10の位置を変更する指示を受信する(ステップS109)。つぎに、第2端末装置3は、自己のシークバーB10の位置を変更するとともに、シークバーB10の位置に対応した再生位置から第1選択画像をストリーミング配信させる指示を保存装置5へ送信する。具体的には、たとえば、第2端末装置3のシークバーB10が、動画で1分30秒の位置にあっても、第2端末装置3が制御装置4からの指示を受けることで、シークバーB10が2分30秒の位置へ移動する(ステップS110)。 Next, the second terminal device 3 receives an instruction to change the position of the seek bar B10 from the control device 4 (step S109). Next, the second terminal device 3 changes the position of its own seek bar B10 and transmits to the storage device 5 an instruction to stream-distribute the first selected image from the reproduction position corresponding to the position of the seek bar B10. Specifically, for example, even if the seek bar B10 of the second terminal device 3 is at the position of 1 minute and 30 seconds in the moving image, the second terminal device 3 receives an instruction from the control device 4 so that the seek bar B10 It moves to the position of 2 minutes and 30 seconds (step S110).

つぎに、保存装置5は、第2端末装置3から受信した指示に基づいて、シークバーB10の位置に対応した再生位置から第1選択画像を、第1端末装置2およびオンライン会議に参加しているすべての第2端末装置3へストリーミング配信する(ステップS111)。 Next, based on the instruction received from the second terminal device 3, the storage device 5 reproduces the first selected image from the playback position corresponding to the position of the seek bar B10, the first terminal device 2, and the online conference. Streaming distribution is performed to all the second terminal devices 3 (step S111).

つぎに、第1端末装置2および第2端末装置3は、シークバーB10の修正位置からの第1選択画像を保存装置5から受信し、同期して再生する。具体的には、たとえば、第1端末装置2および第2端末装置3は、動画を2分30秒の位置から同期して再生する(ステップS112、S113)。 Next, the first terminal device 2 and the second terminal device 3 receive the first selected image from the corrected position of the seek bar B10 from the storage device 5, and reproduce it in synchronization. Specifically, for example, the first terminal device 2 and the second terminal device 3 synchronously reproduce the video from the position of 2 minutes and 30 seconds (steps S112 and S113).

以上説明したように、本実施形態に係るオンライン会議システム1では、第1端末装置に保存されている画像を第1端末装置2および第2端末装置3において画面共有するのではなく、第1端末装置2および第2端末装置3とは別に設けられた保存装置5(たとえばサーバ)に保存されているサブ画像SGを、保存装置5から第1端末装置2および第2端末装置3へ配信させて共有するので、ホストユーザHu側の第1端末装置2に限らず、ゲストユーザGu側の第2端末装置3から、制御装置4を介して、サブ画像SGにおいて見たい部分を指定して第1端末装置2および第2端末装置3へ同期して配信することができる。したがって、オンライン会議において、ホストユーザHu側の資料の画像(サブ画像SG)を、ホストユーザHuからのアクション(操作)に限らず、ゲストユーザGuからのアクションによっても、端末装置2、3の画面上においてリアルタイムで共有することができる。また、従来のように、ホストユーザ側の端末装置の画面がそのまま共有されるのではなく、ストリーミング配信される画像に対してホストユーザHuおよびゲストユーザGuが行った操作(たとえば、資料の表示位置の変更、動画の再生位置の変更、動画再生、動画停止といった動作を行わせるための操作)を同期させることができる。また、本実施形態では、サーバ上(クラウド上)にアップロードされているサブ画像SG(画像ファイル)が端末装置2、3へ配信されることによりサブ画像SGが共有されるので、サブ画像SGの確証性を容易に担保することができる。詳細には、従来は、端末装置(たとえばパソコン)に保存されている画像が当該端末装置の画面に表示(投影)され、その画像が他の端末装置の画面にも表示されることで画像の共有(画面共有)が行われていた。この画面共有において共有される画像の確証性は、画像が保存されている端末装置および当該端末装置のユーザに依存する。このため、従来の画面共有によって共有された画像は、画像が保存されている端末装置において画面共有後にいくらでも書き換えることが可能であり、共有された画像の確証性を担保することが難しい。これに対し、本実施形態では、サーバ上(クラウド上)にアップロードされているサブ画像SG(画像ファイル)が端末装置2、3へ配信されることにより画像が共有されており、サーバ上(クラウド上)にアップロードされている画像を端末装置側で書き換えることは容易ではない。したがって、本実施形態では、共有された画像の確証性を容易に担保することができる。また、本実施形態では、サーバ上(クラウド上)にアップロードされているサブ画像SGに対して、視聴に関する操作を行うので、端末装置2、3をその種類(パソコンだけでなく、タブレット、スマートフォンなど)および性能を問わずに使用することができ、オンライン会議システムの利便性をより高めることができる。また、ホストユーザHu側の端末装置2およびゲストユーザGu側の端末装置3において、サブ画像SGの表示開始、サブ画像SGの表示停止、サブ画像SGの表示位置の戻し、およびサブ画像SGの表示位置の送りなど、サブ画像SGの視聴に関する多様な操作を行い、その操作に対応した画像(操作対応画像)の共有をリアルタイムで行うことにより、ホストユーザHuおよびゲストユーザGuの双方において、オンライン会議をより効率よく、よりスムーズに行うことができる。 As described above, in the online conference system 1 according to the present embodiment, instead of screen-sharing an image saved in the first terminal device between the first terminal device 2 and the second terminal device 3, The sub-image SG stored in a storage device 5 (for example, a server) provided separately from the device 2 and the second terminal device 3 is distributed from the storage device 5 to the first terminal device 2 and the second terminal device 3. Since it is shared, the desired part of the sub-image SG is specified via the control device 4 not only from the first terminal device 2 on the host user Hu side but also from the second terminal device 3 on the guest user Gu side, and is displayed on the first terminal device 2 . Synchronous distribution to the terminal device 2 and the second terminal device 3 is possible. Therefore, in the online conference, the image (sub-image SG) of the material on the side of the host user Hu can be displayed on the screens of the terminal devices 2 and 3 not only by the action (operation) of the host user Hu, but also by the action of the guest user Gu. can be shared in real time. In addition, unlike the conventional method, the screen of the terminal device on the host user side is not shared as it is. , changing the playback position of the video, playing the video, and stopping the video)) can be synchronized. Further, in the present embodiment, the sub-image SG (image file) uploaded on the server (on the cloud) is distributed to the terminal devices 2 and 3 so that the sub-image SG is shared. Verifiability can be easily secured. In detail, conventionally, an image stored in a terminal device (for example, a personal computer) is displayed (projected) on the screen of the terminal device, and the image is also displayed on the screen of another terminal device, so that the image can be reproduced. Sharing (screen sharing) was performed. The credibility of the image shared in this screen sharing depends on the terminal device in which the image is stored and the user of the terminal device. For this reason, images shared by conventional screen sharing can be rewritten as many times as desired after screen sharing in the terminal device in which the images are stored, and it is difficult to ensure the certainty of the shared images. On the other hand, in the present embodiment, sub-images SG (image files) uploaded to the server (cloud) are distributed to the terminal devices 2 and 3 to share the image. It is not easy for the terminal device to rewrite the images uploaded in (above). Therefore, in this embodiment, it is possible to easily ensure the credibility of the shared image. In addition, in the present embodiment, since operations related to viewing are performed on the sub-image SG uploaded on the server (on the cloud), the terminal devices 2 and 3 can be of any type (not only a personal computer but also a tablet, a smartphone, etc.). ) and can be used regardless of performance, and the convenience of the online conference system can be further enhanced. Also, in the terminal device 2 on the host user Hu side and the terminal device 3 on the guest user Gu side, the display of the sub-image SG is started, the display of the sub-image SG is stopped, the display position of the sub-image SG is returned, and the sub-image SG is displayed. By performing various operations related to viewing the sub-image SG, such as moving the position, and sharing the image corresponding to the operation (image corresponding to the operation) in real time, both the host user Hu and the guest user Gu can hold an online conference. can be done more efficiently and smoothly.

また、本実施形態では、ストリーミング配信される画像を第1端末装置2の画面211および第2端末装置3の画面311において共有するので、たとえば、インターネット回線の通信速度(帯域幅)および受信側の端末(第1端末装置2および第2端末装置3)の処理速度に応じて、配信する画像の品質を調整(最適化)することにより、オンライン会議において、ホストユーザHu側の第1端末装置2およびゲストユーザGu側の第2端末装置3の各画面における資料の同期した表示をより容易かつ確実に行うことができる。 In addition, in the present embodiment, since images to be streamed are shared on the screen 211 of the first terminal device 2 and the screen 311 of the second terminal device 3, for example, the communication speed (bandwidth) of the Internet line and the By adjusting (optimizing) the quality of images to be distributed according to the processing speed of the terminals (the first terminal device 2 and the second terminal device 3), the first terminal device 2 on the host user Hu side in the online conference Also, synchronized display of materials on each screen of the second terminal device 3 on the side of the guest user Gu can be performed more easily and reliably.

また、本実施形態では、第1端末装置2および第2端末装置3にアプリケーションソフトをインストールして画像の同期を行うのではなく、Webベースで動作する制御装置4の制御によって第1端末装置2および第2端末装置3に画像を配信して画像を共有するので、パソコンだけでなく、タブレット、スマートフォンなど、利用する端末装置の種類を問わすに画像を共有することができる。 Further, in this embodiment, instead of installing application software in the first terminal device 2 and the second terminal device 3 to synchronize images, the first terminal device 2 is controlled by the control device 4 that operates on a Web basis. Since images are shared by distributing them to the second terminal device 3, images can be shared regardless of the type of terminal device used, such as not only a personal computer but also a tablet and a smartphone.

1 オンライン会議システム
2 第1端末装置
21、31 表示部
211、311 画面
3 第2端末装置
4 制御装置
5 保存装置
B1 ファイル選択ボタン
B2 ファイル選択解除ボタン
B3 ミュートボタン
B4 ビデオボタン
B5 画面共有ボタン
B6 参加者リストボタン
B7 設定ボタン
B8 退出ボタン
B9 再生ボタン
B10 シークバー
Gu ゲストユーザ
Hu ホストユーザ
MG1 第1端末装置において撮像されたメイン画像
MG2 第2端末装置において撮像されたメイン画像
R1 ホスト表示領域
R2 資料表示領域
R3 共有URL表示領域
R4 ゲスト表示領域
R5 音声調整領域
SG サブ画像
T1~T3 通信経路
1 online conference system 2 first terminal device 21, 31 display unit 211, 311 screen 3 second terminal device 4 control device 5 storage device B1 file selection button B2 file selection cancellation button B3 mute button B4 video button B5 screen sharing button B6 participation User list button B7 Set button B8 Exit button B9 Playback button B10 Seek bar Gu Guest user Hu Host user MG1 Main image captured by the first terminal device MG2 Main image captured by the second terminal device R1 Host display area R2 Material display area R3 Shared URL display area R4 Guest display area R5 Audio adjustment area SG Sub image T1 to T3 Communication path

Claims (4)

複数の端末装置がオンラインで接続されることにより、前記複数の端末装置間での会議を行うことが可能なオンライン会議システムであって、
撮像部および表示部を有する第1端末装置と、
前記第1端末装置との間で情報の送受信が可能であり、撮像部および表示部を有する第2端末装置と、
前記第1端末装置および前記第2端末装置との間で情報の送受信が可能であり、所定の制御動作を行う制御装置と、
自己に保存されているサブ画像を前記第1端末装置および前記第2端末装置へストリーミング配信する保存装置とを備え、
前記第1端末装置および前記第2端末装置は、自己の前記撮像部が撮像したメイン画像を自己以外の端末装置へ送信し、
前記第1端末装置および前記第2端末装置は、ユーザにより自己に対して行われた前記サブ画像の視聴に関する操作の内容を前記制御装置へ送信し、
前記制御装置は、前記第1端末装置および前記第2端末装置から受信した前記操作の内容に対応する指示情報を生成し、
前記保存装置は、前記指示情報に対応する前記サブ画像を前記第1端末装置および前記第2端末装置へ配信し、
前記第1端末装置および前記第2端末装置は、自己以外の端末装置から受信した前記メイン画像、および前記保存装置から受信した前記サブ画像を前記表示部において表示する、
オンライン会議システム。
An online conference system capable of holding a conference between a plurality of terminal devices by connecting the plurality of terminal devices online,
a first terminal device having an imaging unit and a display unit;
a second terminal device capable of transmitting and receiving information to and from the first terminal device and having an imaging unit and a display unit;
a control device capable of transmitting and receiving information between the first terminal device and the second terminal device and performing a predetermined control operation;
a storage device that streams sub-images stored in itself to the first terminal device and the second terminal device;
the first terminal device and the second terminal device transmit the main image captured by the imaging unit of the self to a terminal device other than the self;
The first terminal device and the second terminal device transmit to the control device details of an operation related to viewing of the sub-image performed by the user on itself, and
The control device generates instruction information corresponding to the content of the operation received from the first terminal device and the second terminal device,
The storage device distributes the sub-image corresponding to the instruction information to the first terminal device and the second terminal device,
The first terminal device and the second terminal device display the main image received from a terminal device other than itself and the sub-image received from the storage device on the display unit.
Online meeting system.
前記サブ画像は動画またはスライド画像であり、
前記操作は、前記サブ画像の表示開始、前記サブ画像の表示停止、前記サブ画像の表示位置の戻し、および前記サブ画像の表示位置の送りである、請求項1に記載のオンライン会議システム。
the sub-image is a moving image or a slide image;
2. The online conference system according to claim 1, wherein said operation is start of display of said sub-image, stop of display of said sub-image, return of display position of said sub-image, and shift of display position of said sub-image.
前記制御装置は、前記第1端末装置および前記第2端末装置の一方から前記操作の内容を受信した後、前記第1端末装置および前記第2端末装置の一方または他方から新たな前記操作の内容を受信した場合、前記新たな操作の内容に対応する新たな前記指示情報を生成し、
前記保存装置は、配信する内容を、前記新たな指示情報に対応する前記サブ画像に更新する、請求項1または2に記載のオンライン会議システム。
After receiving the content of the operation from one of the first terminal device and the second terminal device, the control device receives new content of the operation from one or the other of the first terminal device and the second terminal device. is received, generating new instruction information corresponding to the content of the new operation,
3. The online conference system according to claim 1, wherein said storage device updates the content to be delivered to said sub-image corresponding to said new instruction information.
前記サブ画像は、前記第1端末装置または前記第2端末装置から前記保存装置にアップロードされた画像である、請求項1~3のいずれか1項に記載のオンライン会議システム。 4. The online conference system according to claim 1, wherein said sub-image is an image uploaded from said first terminal device or said second terminal device to said storage device.
JP2021029100A 2021-02-25 2021-02-25 online meeting system Active JP7141143B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021029100A JP7141143B2 (en) 2021-02-25 2021-02-25 online meeting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021029100A JP7141143B2 (en) 2021-02-25 2021-02-25 online meeting system

Publications (2)

Publication Number Publication Date
JP2022130117A true JP2022130117A (en) 2022-09-06
JP7141143B2 JP7141143B2 (en) 2022-09-22

Family

ID=83150787

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021029100A Active JP7141143B2 (en) 2021-02-25 2021-02-25 online meeting system

Country Status (1)

Country Link
JP (1) JP7141143B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012195644A (en) * 2011-03-15 2012-10-11 Konica Minolta Business Technologies Inc Communication terminal device, communication control method and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012195644A (en) * 2011-03-15 2012-10-11 Konica Minolta Business Technologies Inc Communication terminal device, communication control method and program

Also Published As

Publication number Publication date
JP7141143B2 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
US10033967B2 (en) System and method for interactive video conferencing
US11444990B1 (en) System and method of enabling a non-host, participant-initiated breakout session in a videoconferencing system utilizing a virtual space, and simultaneously displaying a session view of a videoconferencing session and the participant-initiated breakout session
CN101617304B (en) A shared home media platform to support multi-user control
US8112490B2 (en) System and method for providing a virtual environment with shared video on demand
KR101326739B1 (en) Information processing system and information processing device
CN110597774A (en) File sharing method, system, device, computing equipment and terminal equipment
US10715344B2 (en) Method of establishing a video call using multiple mobile communication devices
JP2009530923A (en) Group content presentation and system and method for organizing group communications during group content presentation
US11910048B2 (en) Synchronizing video content among clients in a collaboration system
JP2021177625A (en) Method, system, and computer program for displaying reaction during telephone call based on internet telephone
WO2019107274A1 (en) Information processing device and game image distribution method
JP2009284055A (en) Program, information storage medium, and motion picture distributing system
JP2014082582A (en) Viewing device, content provision device, viewing program, and content provision program
EP3342158A1 (en) System and method for interactive video conferencing
JP2021175191A (en) Method, system and computer program for sharing content during internet phone-based call
JP7141143B2 (en) online meeting system
WO2019107275A1 (en) Information processing device and game image distribution method
JP2023026344A (en) Content sharing method, computer program, and user terminal for sharing content during call via instant messaging application
TWI461925B (en) Method and system for sharing data
JP6426136B2 (en) System, method for distributing moving pictures, and program used therefor
JP2022161245A (en) Information processing device, live distribution system, information processing method and program
JP6442749B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP6610076B2 (en) Information processing apparatus, information processing system, program, and recording medium
WO2018214614A1 (en) A method of establishing a video call using multiple mobile communications devices
KR101650071B1 (en) Online Music Production System And Method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210316

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20210316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220902

R150 Certificate of patent or registration of utility model

Ref document number: 7141143

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350