JP2022167546A - Screen sharing device, screen sharing method, and computer program - Google Patents

Screen sharing device, screen sharing method, and computer program Download PDF

Info

Publication number
JP2022167546A
JP2022167546A JP2021073399A JP2021073399A JP2022167546A JP 2022167546 A JP2022167546 A JP 2022167546A JP 2021073399 A JP2021073399 A JP 2021073399A JP 2021073399 A JP2021073399 A JP 2021073399A JP 2022167546 A JP2022167546 A JP 2022167546A
Authority
JP
Japan
Prior art keywords
terminal
screen
shared
text
customer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021073399A
Other languages
Japanese (ja)
Other versions
JP7046338B1 (en
Inventor
公之 枝
Kimiyuki Eda
公平 田中
Kohei Tanaka
徹 山口
Toru Yamaguchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bellface Inc
Original Assignee
Bellface Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bellface Inc filed Critical Bellface Inc
Priority to JP2021073399A priority Critical patent/JP7046338B1/en
Priority to JP2022037714A priority patent/JP2022167786A/en
Application granted granted Critical
Publication of JP7046338B1 publication Critical patent/JP7046338B1/en
Publication of JP2022167546A publication Critical patent/JP2022167546A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

To enable an operation etc. of a sharing target screen shared among a plurality of terminals even from a terminal side that shares the screen and to appropriately reflect the operation etc. on the sharing target screen.SOLUTION: In an online communication system 1, a screen sharing device 10 configured to be able to communicate with an operator terminal 2 and a customer terminal 3 via a network NW, includes a synchronization processing unit 12 that synchronously displays a sharing target screen being displayed on the operator terminal 2, on the customer terminal 3, an authority setting unit 14 that transfers an operation authority of the sharing target screen on the operator terminal 2 to the customer terminal 3, and a reflection processing unit 16 that reflects, on the sharing target screen of the operator terminal 2, an operation executed on the customer terminal 3 to which the operation authority has been transferred.SELECTED DRAWING: Figure 1

Description

本発明は、複数の端間で行われた、複数端末間での画面共有を行う技術に関する。 The present invention relates to a technology for screen sharing among a plurality of terminals between a plurality of terminals.

近年、インサイドセールスとも称される営業手法において、リアルタイムにウェブページやコンテンツを共有し、当該ウェブページやコンテンツに基づいて商談等を行うためのシステムが広く提供されている(特許文献1、2参照)。 In recent years, in a sales method called inside sales, a system for sharing web pages and contents in real time and conducting business negotiations based on the web pages and contents has been widely provided (see Patent Documents 1 and 2). ).

また、商談等に限らず、複数端末間でのオンラインコミュニケーションツールでは、端末間で画面を共有することにより、情報の共有を容易にしている。オンラインコミュニケーションにおける画面共有では通常、画面共有の操作を行った端末側に操作権限があり、画面を共有されている端末側では、共有されている共有対象画面を参照するだけである。しかしながら、画面を共有されている端末側からも共有対象画面の操作等を行えれば便利な場合がある(特許文献3-5参照)。 In addition to business negotiations, online communication tools between multiple terminals facilitate information sharing by sharing screens between terminals. In screen sharing in online communication, the terminal side that performs the screen sharing operation usually has the operation authority, and the terminal side with which the screen is shared only refers to the shared shared screen. However, it may be convenient if the shared screen can also be operated from the terminal that shares the screen (see Patent Documents 3 to 5).

特許第6128668号公報Japanese Patent No. 6128668 特許第6120422号公報Japanese Patent No. 6120422 特開2020-177403号公報Japanese Patent Application Laid-Open No. 2020-177403 特開2019-149630号公報JP 2019-149630 A 特開2019-139276号公報JP 2019-139276 A

この点、画面を共有されている端末側からも共有対象画面の操作等を可能とする場合において、操作性の向上と、操作を適切且つ十分に反映することが求められている。 In this regard, in the case where it is possible to operate the screen to be shared from the terminal that shares the screen, it is required to improve the operability and appropriately and sufficiently reflect the operation.

そこで、本発明は、複数端末間での画面共有において、画面を共有されている端末側からも共有対象画面の操作等を可能とすると共に、当該操作等を共有対象画面に適切に反映させることを目的の一つとする。 Therefore, in the screen sharing between a plurality of terminals, the present invention enables the operation of the screen to be shared from the side of the terminal that shares the screen, and appropriately reflects the operation etc. on the screen to be shared. is one of the purposes.

上記目的を達成するため、本発明の一の観点に係る画面共有装置は、第一端末と、第二端末と、ネットワークを介して通信可能に構成され、前記第一端末上に表示されている共有対象画面を前記第二端末上に同期表示させる同期処理部と、前記第一端末における共有対象画面の操作権限を前記第二端末に移譲させる権限設定部と、前記操作権限の委譲を受けた前記第二端末上で実行された操作を前記第一端末の前記共有対象画面上に反映させる反映処理部と、を有する。 To achieve the above object, a screen sharing device according to one aspect of the present invention is configured to be able to communicate with a first terminal and a second terminal via a network, and is displayed on the first terminal. a synchronization processing unit for synchronously displaying a screen to be shared on the second terminal; an authority setting unit for transferring an operation authority of the screen to be shared on the first terminal to the second terminal; and receiving the transfer of the operation authority. a reflection processing unit that reflects an operation performed on the second terminal on the shared screen of the first terminal.

なお、本発明は、画面を共有する第一端末と、画面が共有される第一端末以外の複数の端末で構成され、ここでは、第一端末が共有する画面に対する操作を移譲される端末を第二端末と称している。 The present invention is composed of a first terminal that shares a screen and a plurality of terminals other than the first terminal that shares the screen. It is called the second terminal.

前記第二端末の画面構成に応じて、前記第一端末の画面上に前記共有対象画面を表示させる表示制御部、をさらに有するものとしてもよい。 It may further include a display control unit that displays the shared screen on the screen of the first terminal according to the screen configuration of the second terminal.

前記表示制御部は、前記第二端末のアスペクト比に応じた比率により、前記第一端末の画面上に前記共有対象画面を表示させるものとしてもよい。 The display control unit may display the shared screen on the screen of the first terminal at a ratio corresponding to the aspect ratio of the second terminal.

前記操作権限の委譲を受けた前記第二端末の操作に応じて、前記共有対象画面内のテキスト入力欄へのテキストの入力待機状態を検出する検出処理部と、前記第二端末において、前記テキスト入力欄にテキストを入力するための入力用ダイアログを生成させるダイアログ生成部と、をさらに有し、前記反映処理部はさらに、前記共有対象画面内のテキスト入力欄に、前記入力用ダイアログで入力されたテキストを入力させるものとしてもよい。 a detection processing unit that detects a text input standby state in a text input field in the shared screen in accordance with an operation of the second terminal to which the operation authority has been transferred; and a dialog generation unit for generating an input dialog for inputting text into the input field, wherein the reflection processing unit further includes a text input field in the shared screen for inputting text in the input dialog. It is also possible to input the text

前記入力用ダイアログには、テキストの入力を受け付けるテキスト受付欄と、当該テキスト受付欄に入力されたテキストの内容を確定する確定ボタンと、が設けられているものとしてもよい。 The input dialog may include a text acceptance field for accepting text input and a confirm button for confirming the contents of the text entered in the text acceptance field.

本発明の別の観点に係る画面共有方法は、第一端末と、第二端末と、ネットワークを介して通信可能に構成されたコンピュータが、前記第一端末上に表示されている共有対象画面を前記第二端末上に同期表示させる同期処理と、前記第一端末における共有対象画面の操作権限を前記第二端末に移譲させる権限設定処理と、前記操作権限の委譲を受けた前記第二端末上で実行された操作を前記第一端末の前記共有対象画面上に反映させる反映処理部と、を実行する。 In a screen sharing method according to another aspect of the present invention, a computer configured to be able to communicate with a first terminal, a second terminal, and a network shares a screen to be shared displayed on the first terminal. Synchronization processing for synchronous display on the second terminal, authority setting processing for transferring the operation authority of the screen to be shared on the first terminal to the second terminal, and on the second terminal to which the operation authority has been transferred and a reflection processing unit that reflects the operation executed in on the shared screen of the first terminal.

本発明のさらに別の観点に係るコンピュータプログラムは、第一端末と、第二端末と、ネットワークを介して通信可能に構成されたコンピュータに対し、前記第一端末上に表示されている共有対象画面を前記第二端末上に同期表示させる同期処理と、前記第一端末における共有対象画面の操作権限を前記第二端末に移譲させる権限設定と、前記操作権限の委譲を受けた前記第二端末上で実行された操作を前記第一端末の前記共有対象画面上に反映させる反映処理部と、を実行させる。 A computer program according to still another aspect of the present invention provides a computer configured to be able to communicate with a first terminal, a second terminal, and a network via a network. Synchronization processing for synchronously displaying on the second terminal, authority setting for transferring the operation authority of the screen to be shared on the first terminal to the second terminal, and on the second terminal that has received the transfer of the operation authority and a reflection processing unit that reflects the operation executed in on the shared screen of the first terminal.

なお、コンピュータプログラムは、インターネット等のネットワークを介したダウンロードによって提供したり、CD-ROMなどのコンピュータ読取可能な各種の記録媒体に記録して提供したりすることができる。 The computer program can be provided by downloading via a network such as the Internet, or can be provided by being recorded on various computer-readable recording media such as a CD-ROM.

本発明によれば、複数端末間での画面共有において、画面を共有されている端末側からも共有対象画面の操作等を可能とすると共に、当該操作等を共有対象画面に適切に反映させることができる。 According to the present invention, in screen sharing among a plurality of terminals, it is possible to operate a shared screen even from the side of the terminal that shares the screen, and appropriately reflect the operation or the like on the shared screen. can be done.

本発明の実施形態に係る画面共有装置が備える機能を示した機能ブロック図である。FIG. 2 is a functional block diagram showing functions of the screen sharing device according to the embodiment of the present invention; 本実施形態に係る画面共有装置によって実行される処理の流れを示した処理フロー図である。FIG. 4 is a processing flow diagram showing the flow of processing executed by the screen sharing device according to the embodiment; 本実施形態に係る画面共有装置によって実行される処理の流れを示した処理フロー図である。FIG. 4 is a processing flow diagram showing the flow of processing executed by the screen sharing device according to the embodiment; 本実施形態に係る画面共有装置によって実行される処理の流れを示した処理フロー図である。FIG. 4 is a processing flow diagram showing the flow of processing executed by the screen sharing device according to the embodiment; 本実施形態に係る画面共有装置によって画面共有が行われている状態において、(a)オペレータ端末上に表示される画面の一例、(b)顧客端末上に表示される画面の一例を示した図である。(a) An example of a screen displayed on an operator terminal and (b) an example of a screen displayed on a customer terminal in a state in which screen sharing is performed by the screen sharing apparatus according to the present embodiment. is. 本実施形態に係る画面共有装置によって画面共有が行われている状態において、(a)オペレータ端末上に表示される画面の一例、(b)顧客端末上に表示される画面の一例を示した図である。(a) An example of a screen displayed on an operator terminal and (b) an example of a screen displayed on a customer terminal in a state in which screen sharing is performed by the screen sharing apparatus according to the present embodiment. is. 本実施形態に係る画面共有装置によって画面共有が行われている状態において、(a)オペレータ端末上に表示される画面の一例、(b)顧客端末上に表示される画面の一例を示した図である。(a) An example of a screen displayed on an operator terminal and (b) an example of a screen displayed on a customer terminal in a state in which screen sharing is performed by the screen sharing apparatus according to the present embodiment. is. 本実施形態に係る画面共有装置によって画面共有が行われている状態において、(a)オペレータ端末上に表示される画面の一例、(b)顧客端末上に表示される画面の一例を示した図である。(a) An example of a screen displayed on an operator terminal and (b) an example of a screen displayed on a customer terminal in a state in which screen sharing is performed by the screen sharing apparatus according to the present embodiment. is.

以下、本発明の実施形態に係る画面共有装置について、図を参照して説明する。
図1に示される本実施形態に係る画面共有装置10は、複数の端末間におけるオンラインコミュニケーションにおいて画面共有を可能とする装置であり、オンラインコミュニケーションシステム1の機能の一部を構成する。
ここにいうオンラインコミュニケーションとは例えば、Zoom(登録商標)、teams(登録商標)、skype(登録商標)、WebEx(登録商標)、bellFace(登録商標)などのシステムに代表されるネットワーク上でのビデオ通話であり、ビデオチャット、ビデオ会議などとも称されるものである。
A screen sharing apparatus according to an embodiment of the present invention will be described below with reference to the drawings.
A screen sharing device 10 according to the present embodiment shown in FIG. 1 is a device that enables screen sharing in online communication between a plurality of terminals, and constitutes part of the functions of the online communication system 1 .
Online communication here means video on networks represented by systems such as Zoom (registered trademark), teams (registered trademark), skype (registered trademark), WebEx (registered trademark), bellFace (registered trademark), etc. Calls are also called video chats, video conferences, and the like.

なお、以下では、オペレータと顧客の商談の場で、本実施形態に係る画面共有装置10を備えたオンラインコミュニケーションシステム1が利用されている場面を想定して説明する。ここでは、オペレータと顧客はそれぞれ、オペレータ端末2と顧客端末3を用い、オペレータ端末2がホストとなって顧客端末3とオンラインコミュニケーションを行う。 In the following description, it is assumed that the online communication system 1 equipped with the screen sharing device 10 according to the present embodiment is used in a business meeting between an operator and a customer. Here, an operator and a customer use an operator terminal 2 and a customer terminal 3, respectively, and the operator terminal 2 serves as a host for online communication with the customer terminal 3. FIG.

また、オンラインコミュニケーションにおける画面共有について、端末間で共有する対象として指定された所定の端末上の画面を共有対象画面と称することがある。また、当該所定の端末以外の端末において表示された画面であって、当該共有対象画面に基づいて生成され、当該共有対象画面と同一の内容を表示した画面を共有画面と称することがある。 In addition, regarding screen sharing in online communication, a screen on a predetermined terminal that is designated as an object to be shared between terminals may be referred to as a screen to be shared. Also, a screen displayed on a terminal other than the predetermined terminal, which is generated based on the shared screen and displays the same content as the shared screen, may be referred to as a shared screen.

●機能構成
オンラインコミュニケーションシステム1は、オペレータ端末2及び顧客端末3と、インターネット等のネットワークNWを介して通信可能に構成されている。
●Functional Configuration The online communication system 1 is configured to be able to communicate with the operator terminal 2 and the customer terminal 3 via a network NW such as the Internet.

このオンラインコミュニケーションシステム1は、CPU(Central Processing Unit)などの演算装置、CPUによって実行されるコンピュータプログラム、RAM(Random Access Memory)やROM(Read Only Memory)等の内部メモリ等を備える。このオンラインコミュニケーションシステム1に実装され、その一機能を実現する画面共有装置10はこれにより、端末情報取得部11、同期処理部12、表示制御部13、権限設定部14、検出処理部15、反映処理部16、ダイアログ生成部17からなる機能ブロックを構成する。
また、オンラインコミュニケーションシステム1は通信処理部18を備え、画面共有装置10は、機能の実現において当該通信処理部18の機能実行を必要とする。
The online communication system 1 includes an arithmetic unit such as a CPU (Central Processing Unit), a computer program executed by the CPU, internal memories such as RAM (Random Access Memory) and ROM (Read Only Memory), and the like. The screen sharing device 10 implemented in the online communication system 1 and realizing one function thereof includes a terminal information acquisition unit 11, a synchronization processing unit 12, a display control unit 13, an authority setting unit 14, a detection processing unit 15, a reflection A functional block composed of a processing unit 16 and a dialog generation unit 17 is configured.
The online communication system 1 also includes a communication processing unit 18, and the screen sharing device 10 requires the communication processing unit 18 to execute the functions in order to realize the functions.

なお、オンラインコミュニケーションシステム1によるオンラインコミュニケーションは例えば、WebSocket規格に準拠したセッションを介して実現されるが、このことはWebSocket以外の通信規格、例えばHTTP,WebRTCなどの規格を用いることを否定するものではなく、これらの規格に準拠したセッションをオペレータ端末2と顧客端末3の間で確立するように構成することができる。また、オンラインコミュニケーションシステム1は、オンラインコミュニケーションを実現するための資源として、STUNサーバやTURNサーバ、シグナリングサーバ等を適宜に備える。 Online communication by the online communication system 1 is realized, for example, through a session conforming to the WebSocket standard, but this does not deny the use of communication standards other than WebSocket, such as HTTP and WebRTC. Instead, it is possible to establish a session between the operator terminal 2 and the customer terminal 3 that conforms to these standards. The online communication system 1 also appropriately includes a STUN server, a TURN server, a signaling server, and the like as resources for realizing online communication.

端末情報取得部11は、オペレータ端末2と顧客端末3から端末情報を取得する。
端末情報には少なくとも、後述する表示制御部の制御に必要な画面構成に関わる情報として、各端末が備えるディスプレイのアスペクト比に係る情報のほか、各端末のブラウザプログラムのバージョン情報やレンダリングモードの情報等が含まれる。ただし、端末情報にはこのほか、各端末が備えるウェブカメラやマイクといったデバイスや、これらのデバイスやOSを制御するドライバ、あるいはアプリケーションプログラムに係る情報など、オンラインコミュニケーションや画面共有に際して端末に必要とされる情報が適宜に含まれる。
The terminal information acquisition unit 11 acquires terminal information from the operator terminal 2 and the customer terminal 3 .
In the terminal information, at least, as information related to the screen configuration necessary for controlling the display control unit described later, information related to the aspect ratio of the display provided in each terminal, browser program version information and rendering mode information of each terminal etc. are included. However, in addition to this, terminal information includes devices such as webcams and microphones that each terminal has, drivers that control these devices and the OS, information related to application programs, etc., which are required by the terminal for online communication and screen sharing. where appropriate.

同期処理部12は、オペレータ端末2から画面共有の指示を受け付けると、オペレータ端末2上に表示されている共有対象画面を顧客端末3上に共有画面として同期表示させる。
画面共有において、オペレータは、オペレータ端末2上のアプリケーションプログラムやディスプレイ、ウィンドウといった単位で共有対象画面を指定し、これを顧客端末3に共有させることができる。
同期処理部12はこれに応じて、オペレータ端末2に表示されている共有対象画面を表示するための表示領域を顧客端末3の画面内に生成する。そして、オペレータ端末2に表示されている共有対象画面をストリーミングしたデータを当該表示領域に表示させる。
Upon receiving a screen sharing instruction from the operator terminal 2, the synchronization processing unit 12 synchronously displays the shared screen displayed on the operator terminal 2 on the customer terminal 3 as a shared screen.
In screen sharing, the operator can designate a screen to be shared in units of application programs, displays, and windows on the operator terminal 2 and allow the customer terminal 3 to share the screen.
In response to this, the synchronization processing unit 12 generates a display area for displaying the shared screen displayed on the operator terminal 2 within the screen of the customer terminal 3 . Then, data obtained by streaming the shared screen displayed on the operator terminal 2 is displayed in the display area.

表示制御部13は、顧客端末3の画面構成に応じて、オペレータ端末2の画面上に共有対象画面を表示させる。
この表示制御部13は例えば、顧客端末3のアスペクト比に応じた比率により、オペレータ端末2の画面上に共有対象画面を表示させる。即ち、端末情報取得部11によって取得されたオペレータ端末2と顧客端末3の画面それぞれのアスペクト比を参照して、共有対象画面を顧客端末3の画面のアスペクト比に変換してオペレータ端末2上に表示させる。これにより、操作権限が顧客端末3に移譲された場合において、共有画面を見ながら行う顧客の操作が共有対象画面に的確に反映される。また、オペレータは、顧客が見ている共有画面と同じように共有対象画面を見ることができるので、顧客がどのように共有画面を見ているかを意識しながらコミュニケーションを取ることができる。
また、表示制御部13はさらに、オペレータ端末2の画面上に共有対象画面を表示させる際、顧客端末3のブラウザ種別やオペレータ端末1のレンダリングモードの切り替え等を加味してもよい。これにより、オペレータ端末2と顧客端末3に実装されているブラウザ、あるいはオペレータ端末2と顧客端末3を構成するデバイス(スマートフォンあるいは所謂パーソナルコンピュータなど)の相違にかかわらず、オペレータ端末2の他面上に的確に共有対象画面を表示させることができる。
The display control unit 13 displays the screen to be shared on the screen of the operator terminal 2 according to the screen configuration of the customer terminal 3 .
The display control unit 13 displays the screen to be shared on the screen of the operator terminal 2 at a ratio corresponding to the aspect ratio of the customer terminal 3, for example. That is, by referring to the aspect ratios of the screens of the operator terminal 2 and the customer terminal 3 acquired by the terminal information acquisition unit 11, the screen to be shared is converted into the aspect ratio of the screen of the customer terminal 3 and displayed on the operator terminal 2. display. As a result, when the operation authority is transferred to the customer terminal 3, the operation performed by the customer while viewing the shared screen is accurately reflected on the shared screen. In addition, since the operator can view the shared screen in the same way as the shared screen viewed by the customer, the operator can communicate while being aware of how the customer views the shared screen.
Further, when the display control unit 13 displays the screen to be shared on the screen of the operator terminal 2, the browser type of the customer terminal 3, the switching of the rendering mode of the operator terminal 1, and the like may be taken into account. As a result, regardless of differences in the browsers installed in the operator terminal 2 and the customer terminal 3, or the devices (smartphones, so-called personal computers, etc.) that constitute the operator terminal 2 and the customer terminal 3, the other side of the operator terminal 2 can accurately display the screen to be shared.

権限設定部14は、オペレータ端末2における共有対象画面の操作権限を顧客端末3に移譲させる。
ここで、オペレータ端末2からの要求に応じて画面共有を開始した後、操作権限の委譲が行われるまでは、操作権限はオペレータ端末2にある。これに対し、オペレータはオペレータ端末2により、共有対象画面の操作権限をオペレータ端末2から顧客端末3に移譲させる命令を画面共有装置10に送信することができる。これに応じて画面共有装置10は、オペレータ端末2上における共有対象画面の操作権限を顧客端末3に移譲させる。これにより、反映処理部16の機能が有効化され、顧客端末3上で共有画面を見ながら行われている顧客の操作が共有対象画面上に反映される。
なお、本実施形態においては、オペレータ端末2から顧客端末3側に操作権限の委譲が行われた場合、オペレータによる共有対象画面に対する操作は無効化されるが、これにかかわらず、顧客による操作とオペレータによる操作が競合しない限りはオペレータによる操作が有効に扱われてもよい。
The authority setting unit 14 transfers the operation authority of the shared screen on the operator terminal 2 to the customer terminal 3 .
Here, after screen sharing is started in response to a request from the operator terminal 2, the operation authority remains with the operator terminal 2 until the operation authority is transferred. On the other hand, the operator can use the operator terminal 2 to transmit to the screen sharing apparatus 10 a command to transfer the operation authority of the screen to be shared from the operator terminal 2 to the customer terminal 3 . In response to this, the screen sharing device 10 transfers the operation authority of the shared screen on the operator terminal 2 to the customer terminal 3 . As a result, the function of the reflection processing unit 16 is activated, and the customer's operation performed while viewing the shared screen on the customer terminal 3 is reflected on the shared screen.
In this embodiment, when the operation authority is transferred from the operator terminal 2 to the customer terminal 3 side, the operator's operation on the shared screen is invalidated. Operator actions may be treated as valid as long as they do not conflict.

検出処理部15は、共有対象画面の操作権限が顧客端末3に移譲されている状態において、顧客端末3で実行された顧客の操作を検出し、検出した操作に係る操作情報を取得する。 The detection processing unit 15 detects the customer's operation performed on the customer terminal 3 in a state where the operation authority for the shared screen is transferred to the customer terminal 3, and acquires operation information related to the detected operation.

ここでいう顧客の操作は例えば、マウス等のポインティングデバイスの操作であって、カーソルによって示される指示位置の移動、ページのスクロール、及び所定の位置でのクリック操作による押下を含む。そして、これらの操作に係る操作情報は、顧客端末3上に設定された座標系における指示位置の移動前後の座標情報、スクロール量、押下に応じた命令等によって構成される。
操作の結果は、後述する反映処理部16によって共有対象画面上に具現化される。
The customer's operation here is, for example, an operation of a pointing device such as a mouse, and includes movement of a pointing position indicated by a cursor, scrolling of a page, and pressing down by a click operation at a predetermined position. The operation information related to these operations is composed of coordinate information before and after movement of the designated position in the coordinate system set on the customer terminal 3, scroll amount, commands according to pressing, and the like.
The result of the operation is embodied on the shared screen by the reflection processing unit 16, which will be described later.

検出処理部15はまた、共有対象画面の操作権限が顧客端末3に移譲されている状態において、共有対象画面内のテキスト入力欄へのテキストの入力待機状態を検出する。即ち、共有対象画面中にテキスト入力欄が設けられている場合に、顧客が当該テキスト入力欄を指定した結果、テキストの入力が可能な状態になると、検出処理部15はこれをテキストの入力待機状態として検出する。 The detection processing unit 15 also detects a state of waiting for input of text in the text input field in the shared screen in a state where the operation authority of the shared screen has been transferred to the customer terminal 3 . That is, when a text input field is provided in the screen to be shared, and as a result of the customer specifying the text input field, the detection processing unit 15 waits for text input. Detect as a state.

反映処理部16は、操作権限の委譲を受けた顧客端末3上で実行された操作をオペレータ端末2の共有対象画面上に反映させる。即ち、反映処理部16は、検出処理部15によって検出されると共に取得された操作情報に基づき、当該操作情報に応じた操作を共有対象画面上に再現する。 The reflection processing unit 16 reflects the operation executed on the customer terminal 3 to which the operation authority has been transferred on the shared screen of the operator terminal 2 . That is, based on the operation information detected and acquired by the detection processing unit 15, the reflection processing unit 16 reproduces the operation corresponding to the operation information on the shared screen.

反映処理部16はまた、顧客端末3に操作権限が委譲されている場合において、顧客が後述するテキストの入力用ダイアログから入力したテキストを受け付け、共有対象画面内のテキスト入力欄に当該テキストを入力させる。 The reflection processing unit 16 also receives text input by the customer from a text input dialog (to be described later) when the operation authority is delegated to the customer terminal 3, and inputs the text in the text input field in the shared screen. Let

ダイアログ生成部17は、検出処理部15により、共有対象画面内のテキスト入力欄へのテキストの入力待機状態が検出されると、共有対象画面中のテキスト入力欄にテキストを入力するための入力用ダイアログを顧客端末3上に生成させる。
入力用ダイアログには例えば、テキストの入力を受け付けるテキスト受付欄と、当該テキスト受付欄から受け付けたテキストの内容を確定する確定ボタンとが設けられている。
確定ボタンが押下されるまで、顧客はテキスト受付欄に入力したテキストを適宜に編集あるいは変換することができ、顧客はテキスト受付欄において編集あるいは変換を行った後のテキストを、テキスト入力欄に入力する内容とすることができる。
なお、共有対象画面内のテキスト入力欄に既にテキストが入力されていた場合には、入力用ダイアログの生成時、テキスト受付欄に対し、テキスト入力欄に入力済みのテキストを挿入するようにしてもよい。これにより、テキスト入力欄に入力済みのテキストを顧客側で編集して内容を確定させることができる。
When the detection processing unit 15 detects that the text entry standby state in the text entry field in the shared screen is detected, the dialog generation part 17 generates an input dialog for entering text in the text entry field in the shared screen. A dialog is generated on the customer terminal 3.
The input dialog includes, for example, a text acceptance field for accepting text input, and a confirm button for confirming the content of the text received from the text acceptance field.
Until the confirmation button is pressed, the customer can edit or convert the text entered in the text reception field as appropriate, and the customer enters the text after editing or conversion in the text reception field into the text input field. It can be the content to be done.
In addition, if text has already been entered in the text input field in the shared screen, when creating the input dialog, it is possible to insert the text that has already been entered in the text input field for the text reception field. good. This allows the customer to edit the text already entered in the text input field and fix the content.

通信処理部18は、オペレータ端末2や顧客端末3とインターネット等のネットワークNWを介してデータの送受信処理を実行する。 The communication processing unit 18 performs data transmission/reception processing with the operator terminal 2 or the customer terminal 3 via the network NW such as the Internet.

なお、上述した画面共有装置10が備える機能の一部は、オンラインコミュニケーションを実現するための機能と重複する場合もあり、必ずしも画面共有に特有の機能として備えられるとは限らない。 Some of the functions provided by the screen sharing apparatus 10 described above may overlap with functions for realizing online communication, and are not necessarily provided as functions specific to screen sharing.

オペレータ端末2は、オペレータが使用する第一端末であって、例えば所謂パーソナルコンピュータやタブレット端末、スマートフォン等のスマートデバイスによって実現される。
このオペレータ端末2は少なくとも、ディスプレイ、マウス、キーボード又はタッチパネルディスプレイ等、情報の入出力を可能とする入出力手段を備えるほか、ネットワークNWを介してデータの送受信を可能とする通信処理部としてWebブラウザを備える。このWebブラウザは例えば、Google Chrome(登録商標)、Microsoft Edge(登録商標)、Mozilla Firefox(登録商標)、Opera(登録商標)などである。
The operator terminal 2 is a first terminal used by an operator, and is implemented by a smart device such as a so-called personal computer, tablet terminal, or smart phone.
The operator terminal 2 includes at least input/output means for inputting/outputting information such as a display, a mouse, a keyboard, or a touch panel display. Prepare. This web browser is, for example, Google Chrome (registered trademark), Microsoft Edge (registered trademark), Mozilla Firefox (registered trademark), Opera (registered trademark), or the like.

顧客端末3は、顧客が使用する第二端末であって、オペレータ端末2と同様、例えば所謂パーソナルコンピュータやタブレット端末、スマートフォン等のスマートデバイスによって実現される。
また、顧客端末3も、ディスプレイ、マウス、キーボード等、情報の入出力を可能とする入出力手段を備えるほか、ネットワークNWを介してデータの送受信を可能とする通信処理部としてWebブラウザを備える。
The customer terminal 3 is a second terminal used by the customer, and like the operator terminal 2 is implemented by a smart device such as a so-called personal computer, tablet terminal, or smart phone.
The customer terminal 3 also has input/output means such as a display, a mouse, a keyboard, etc. for inputting/outputting information, and also has a Web browser as a communication processing unit for transmitting/receiving data via the network NW.

なお、本実施形態では、オペレータ端末2や顧客端末3に専用のソフトウェアを端末にインストールさせることなく、ブラウザプログラムにより、オンラインコミュニケーションと当該オンラインコミュニケーションでの画面共有を実現している。もっとも、専用のソフトウェアによってオンラインコミュニケーションが実行される場合にも、本実施形態に係る画面共有装置10による画面共有は当該オンラインコミュニケーション上に実現できる。 In this embodiment, online communication and screen sharing in the online communication are realized by a browser program without installing dedicated software in the operator terminal 2 or the customer terminal 3 . However, even when online communication is executed by dedicated software, screen sharing by the screen sharing apparatus 10 according to the present embodiment can be realized on the online communication.

なお、オペレータ端末2、及び顧客端末3は、上述した機能部のほか、映像や音声を介したオンラインコミュニケーションを実行するためのカメラやマイク、スピーカ等を適宜に備え、オンラインコミュニケーションシステム1はこれに応じて、映像データや音声データを処理するための機能部を備えている。 In addition to the functional units described above, the operator terminal 2 and the customer terminal 3 are appropriately equipped with cameras, microphones, speakers, etc. for executing online communication via video and audio. Accordingly, it has functional units for processing video data and audio data.

●処理フロー
次に、オンラインコミュニケーションシステム1によって実行される処理の流れの一例について、図2乃至図4を参照して説明する。
まず、図2により、オペレータ端末2と顧客端末3の間でオンラインコミュニケーションが行われるところから説明する。
オペレータ端末2と顧客端末3の間でセッションが確立され、オンラインコミュニケーションが開始する(S101)。セッションを確立する態様は特に限られないが、例えば、オペレータ端末2と顧客端末3、いずれか一方の端末からの要求に応じて所定のURLを発行し、当該URLにアクセスした他方の端末を認識してセッションを確立する。
●Processing Flow Next, an example of the flow of processing executed by the online communication system 1 will be described with reference to FIGS. 2 to 4. FIG.
First, the online communication between the operator terminal 2 and the customer terminal 3 will be described with reference to FIG.
A session is established between the operator terminal 2 and the customer terminal 3, and online communication starts (S101). Although the mode of establishing a session is not particularly limited, for example, a predetermined URL is issued in response to a request from one of the operator terminal 2 and the customer terminal 3, and the other terminal that has accessed the URL is recognized. to establish a session.

画面共有装置10は、オペレータ端末2から画面共有の開始要求を受信すると(S102)、端末情報取得部11により、顧客端末3から当該顧客端末3の画面構成に係る情報を含む端末情報を取得する(S103)。
なお、画面共有の開始要求の際、オペレータはアプリケーションプログラムやディスプレイ、ウィンドウといった単位で共有対象画面を指定する。
また、本実施形態では、画面共有の開始要求を受信したタイミングで端末情報を取得しているが、これに限らず、オンラインコミュニケーションのセッション確立時等のタイミングで端末情報を取得してもよい。
When the screen sharing apparatus 10 receives a screen sharing start request from the operator terminal 2 (S102), the terminal information acquisition unit 11 acquires terminal information including information related to the screen configuration of the customer terminal 3 from the customer terminal 3. (S103).
When requesting the start of screen sharing, the operator designates the screen to be shared in units of application programs, displays, and windows.
Further, in the present embodiment, the terminal information is acquired at the timing of receiving the screen sharing start request, but the terminal information may be acquired at the timing of establishing an online communication session or the like.

画面共有の開始要求に応じて、同期処理部12は顧客端末3上に所定の表示領域を生成させ、当該所定の表示領域内に、オペレータ端末2上に表示されている共有対象画面を共有画面として同期表示させる(S104)。 In response to the screen sharing start request, the synchronization processing unit 12 generates a predetermined display area on the customer terminal 3, and displays the shared screen displayed on the operator terminal 2 in the predetermined display area. is synchronously displayed as (S104).

また、表示制御部13はこのとき、オペレータ端末2上の共有対象画面を顧客端末3の画面構成に応じたものに変換する。
この表示制御部13は具体的に、端末情報取得部11によって取得されたオペレータ端末2と顧客端末3それぞれの画面のアスペクト比やブラウザのバージョン等を参照して、共有対象画面を顧客端末3の画面のアスペクト比やブラウザのバージョンに応じて変換してオペレータ端末2上に表示させる。
Also, at this time, the display control unit 13 converts the screen to be shared on the operator terminal 2 into one corresponding to the screen configuration of the customer terminal 3 .
Specifically, the display control unit 13 refers to the aspect ratio of the screens of the operator terminal 2 and the customer terminal 3 acquired by the terminal information acquisition unit 11, the version of the browser, etc., and selects the shared screen of the customer terminal 3. It is displayed on the operator terminal 2 after being converted according to the aspect ratio of the screen and the version of the browser.

画面共有の開始時、共有対象画面の操作権限は、画面共有を要求したオペレータ端末2側にあり、オペレータは共有対象画面を操作しながら顧客と商談等を行う。
そして、顧客に共有対象画面の操作をしてほしい場面では、オペレータが所定のメニューボタン等を押下するなどして、画面共有装置10に対して操作権限の委譲を要求する(S105)。
オペレータ端末2から操作権限の委譲要求を受信した画面共有装置10は、権限設定部14により、共有対象画面の操作権限を顧客端末3に移譲させる(S106)。
At the start of screen sharing, the operator terminal 2 that requested the screen sharing has the authority to operate the screen to be shared, and the operator conducts business negotiations with the customer while operating the screen to be shared.
Then, when the customer wants the customer to operate the screen to be shared, the operator presses a predetermined menu button or the like to request the screen sharing apparatus 10 to transfer the operation authority (S105).
The screen sharing apparatus 10, which receives the operation authority transfer request from the operator terminal 2, causes the authority setting unit 14 to transfer the operation authority of the shared screen to the customer terminal 3 (S106).

図3に示されるように、操作権限がオペレータ端末2から顧客端末3に移譲させられると、検出処理部15は、顧客が共有画面を参照しながら顧客端末3上で実行した操作を検出すると共に、検出した操作に係る操作情報を取得する(S107)。 As shown in FIG. 3, when the operation authority is transferred from the operator terminal 2 to the customer terminal 3, the detection processing unit 15 detects the operation performed by the customer on the customer terminal 3 while referring to the shared screen. , the operation information related to the detected operation is acquired (S107).

反映処理部16はこれに応じて、操作権限の委譲を受けた顧客端末3上で実行された操作をオペレータ端末2の共有対象画面上に反映させる(S108)。
ここで、例えば、顧客端末3で実行された操作がポインティングデバイスによる指示位置の移動であれば、共有対象画面上でこれに応じた指示位置の移動を再現し、所定の指示位置における押下であれば、共有対象画面上において対応する所定の指示位置で押下を再現する。
In response, the reflection processing unit 16 reflects the operation executed on the customer terminal 3 to which the operation authority has been transferred on the shared screen of the operator terminal 2 (S108).
Here, for example, if the operation executed on the customer terminal 3 is a movement of the designated position by the pointing device, the movement of the designated position corresponding to this is reproduced on the shared screen, and if it is pressed at the predetermined designated position, For example, pressing is reproduced at a corresponding predetermined designated position on the shared screen.

一方、共有対象画面内にテキスト入力欄が設けられていた場合において、共有対象画面に顧客の操作を反映した結果、テキスト入力欄が指定されると、検出処理部15によってテキストの入力待機状態が検出される(S109)。これに応じてダイアログ生成部17は、顧客端末3上にテキストの入力用ダイアログを生成する(S110)。 On the other hand, in the case where a text input field is provided in the shared screen, when the text input field is specified as a result of reflecting the customer's operation on the shared screen, the detection processing unit 15 puts the text input standby state into a state. It is detected (S109). In response to this, the dialog generation unit 17 generates a text input dialog on the customer terminal 3 (S110).

顧客がテキストの入力用ダイアログにテキストを入力し、当該テキストが画面共有装置10に送信されると(S111)、反映処理部16はオペレータ端末2に対し、当該テキストをテキスト入力欄に入力することを要求する(S112)。これに応じて、オペレータ端末2上では、顧客から受け付けたテキストがテキスト入力欄に入力される。 When the customer enters text into the text entry dialog and the text is sent to the screen sharing device 10 (S111), the reflection processing unit 16 instructs the operator terminal 2 to enter the text into the text entry field. (S112). In response to this, on the operator terminal 2, the text received from the customer is entered in the text entry field.

以上のように、共有対象画面の操作権限が顧客端末3に移譲させられている間(S113)、顧客の操作が共有対象画面に反映される。 As described above, while the operation authority for the shared screen is being transferred to the customer terminal 3 (S113), the customer's operation is reflected on the shared screen.

操作権限の委譲の解除は、オペレータ端末2あるいは顧客端末3のいずれから行えるようになっていてもよく、いずれかの端末からの指示に応じて操作権限の委譲が解除されると、操作権限がオペレータ端末2に戻る(S114)。 The delegation of the operational authority may be canceled from either the operator terminal 2 or the customer terminal 3. When the delegation of the operational authority is canceled in response to an instruction from either terminal, the operational authority is canceled. Return to the operator terminal 2 (S114).

操作権限がオペレータ端末2に戻った場合でも、図4に示されるように、画面共有の状態は維持されており、オペレータは必要に応じてこの状態を継続する(S115)。
画面共有は、画面共有操作を開始したオペレータの操作によって終了し(S116)、セッションの終了がオペレータ端末2あるいは顧客端末3から指示されると(S117)、これに応じてセッションが終了する(S118)。
Even when the operation authority is returned to the operator terminal 2, the screen sharing state is maintained as shown in FIG. 4, and the operator continues this state as necessary (S115).
The screen sharing is ended by the operator who started the screen sharing operation (S116), and when the operator terminal 2 or the customer terminal 3 instructs to end the session (S117), the session ends accordingly (S118). ).

●GUI
以上の流れで行われるオンラインコミュニケーションにおいて、オペレータ端末2及び顧客端末3上に表示される画面及びその遷移の一例を図5乃至図8により説明する。
●GUI
An example of screens displayed on the operator terminal 2 and the customer terminal 3 and their transitions in the online communication performed according to the above flow will be described with reference to FIGS. 5 to 8. FIG.

図5は、画面共有機能の実行時におけるオペレータ端末2と顧客端末3の画面例を示している。ここで、図5(a)は、オペレータ端末2上に表示されている共有対象画面G2である。一方、図5(b)は、顧客端末3上に表示されている共有画面G3である。 FIG. 5 shows examples of screens of the operator terminal 2 and the customer terminal 3 when the screen sharing function is executed. Here, FIG. 5A shows a shared screen G2 displayed on the operator terminal 2. FIG. On the other hand, FIG. 5B shows a shared screen G3 displayed on the customer terminal 3. As shown in FIG.

図5の例では、オペレータがインターネット上のウェブページを共有している場合を示している。より具体的に、共有対象画面G2を構成するウェブページはウェブ検索のためのページであって、検索用のテキストを入力可能なテキスト入力欄G21、当該テキスト入力欄G21に入力されたテキストによるウェブ検索の実行要求を受け付ける実行ボタンG22が設けられている。一方、共有画面G3においても、テキスト入力欄G21に対応するテキスト入力欄G31、実行ボタンG22に対応する実行ボタンG32が表示されているが、共有画面G3は共有対象画面G2をもとに生成された画像データであり、共有画面G3上において直接、テキスト入力欄G31への入力や実行ボタンG32の押下を実行できるわけではない。 The example of FIG. 5 shows a case where the operator shares a web page on the Internet. More specifically, the web page that constitutes the shared screen G2 is a page for web search, and includes a text input field G21 in which search text can be input, and a web page based on the text input in the text input field G21. An execution button G22 is provided for accepting a search execution request. On the other hand, the shared screen G3 also displays a text input field G31 corresponding to the text input field G21 and an execute button G32 corresponding to the execute button G22, but the shared screen G3 is generated based on the shared screen G2. However, it is not possible to directly input data into the text input field G31 or press the execution button G32 on the shared screen G3.

このほか、共有対象画面G2には、オペレータ端末2が備えるポインティングデバイスの指示位置を示すカーソルG20が表示され、また、共有画面G3には、これに対応したカーソルG30が表示されている。 In addition, the shared screen G2 displays a cursor G20 indicating the pointing position of the pointing device of the operator terminal 2, and the shared screen G3 displays a corresponding cursor G30.

ここで例えば、オペレータがポインティングデバイスを操作し、共有対象画面G2上でカーソルG20を移動させると、顧客は共有画面G3上において、カーソルG30が同様に移動する様子を確認できる。 Here, for example, when the operator operates the pointing device to move the cursor G20 on the shared screen G2, the customer can confirm how the cursor G30 similarly moves on the shared screen G3.

また、操作権限がオペレータ端末2から顧客端末3に移譲させられると、顧客は顧客端末3上から共有対象画面G2を操作できるようになる。これにより、顧客は共有画面G3を参照しながら、あたかもカーソルG30を移動させるが如く、共有対象画面G2中のカーソルG20を移動させる操作等を行えるようになる。 Further, when the operation authority is transferred from the operator terminal 2 to the customer terminal 3, the customer can operate the shared screen G2 from the customer terminal 3. As a result, while referring to the shared screen G3, the customer can perform operations such as moving the cursor G20 in the shared screen G2 as if moving the cursor G30.

図6は、操作権限がオペレータ端末2から顧客端末3に移譲された場合において、顧客の操作により、共有対象画面G2中のウェブページでテキスト入力欄G21が指定された状態を示している。
図6(a)に示すように、顧客の操作によって共有対象画面G2中のテキスト入力欄G21が指定されると、検出処理部15によってテキストの入力待機状態が検出される。ダイアログ生成部17はこれに応じて、図6(b)に示すように、顧客端末3上にテキストの入力用ダイアログG33を生成する。なお、入力用ダイアログG33は、共有画面G3中に表示されているテキスト入力欄G31の近傍に表示されるのが好適である。
FIG. 6 shows a state in which the text input field G21 is specified on the web page in the shared screen G2 by the customer's operation when the operation authority is transferred from the operator terminal 2 to the customer terminal 3.
As shown in FIG. 6A, when the text input field G21 in the shared screen G2 is specified by the customer's operation, the detection processing unit 15 detects a text input waiting state. In response to this, the dialog generator 17 generates a text input dialog G33 on the customer terminal 3 as shown in FIG. 6(b). The input dialog G33 is preferably displayed near the text input field G31 displayed in the shared screen G3.

テキストの入力用ダイアログG33には、顧客端末3からテキストの入力を受け付けるテキスト受付欄G331と、テキスト受付欄G331により受け付けたテキストの内容を確定し、共有対象画面G2中のテキスト入力欄G31に当該テキストの入力を要求する確定ボタンG332と、入力をキャンセルするキャンセルボタンG333が設けられている。 The text input dialog G33 includes a text reception field G331 for receiving text input from the customer terminal 3, and a text reception field G331 for confirming the content of the text received by the text reception field G331, and entering the text input field G31 in the shared screen G2. A confirmation button G332 for requesting text input and a cancel button G333 for canceling the input are provided.

図7(b)は、顧客が、顧客端末3が備えるキーボード(タッチパネルディスプレイ上に表示された仮想的なキーボードを含む)等により、テキスト受付欄G331にテキストを入力した状態を示している。図7(a)に示すように、顧客がテキスト受付欄G331にテキストを入力しただけの状態では未だ、テキスト入力欄G21には当該テキストが反映されてない。
テキスト受付欄G331にテキストを入力し終えた顧客は、確定ボタンG332を押下し、これにより画面共有装置10に対し、テキスト入力欄G21に当該テキストを入力することを要求することができる。
FIG. 7(b) shows a state in which the customer has entered text into the text reception field G331 using the keyboard (including the virtual keyboard displayed on the touch panel display) provided in the customer terminal 3, or the like. As shown in FIG. 7A, when the customer has just entered the text into the text entry field G331, the text has not yet been reflected in the text entry field G21.
The customer who has finished entering the text in the text entry field G331 can press the confirmation button G332, thereby requesting the screen sharing device 10 to enter the text in the text entry field G21.

ここで、確定ボタンG332が押下されるまで、顧客はテキスト受付欄G331に入力したテキストを編集することができる。そのため、顧客は入力したテキストを漢字等に適宜に変換してから確定ボタンG332を押下することで、当該変換後のテキストをテキスト入力欄G21に入力させることができる。
図8(a)は、このようにテキスト受付欄G331から受け付けられたテキストがテキスト入力欄G21に反映された状態を示している。テキスト受付欄G331にテキストが入力されるたびにテキスト入力欄G21にテキストが反映されるのとは異なり、テキスト受付欄G331においてテキストを編集してからテキスト入力欄G21にテキストを反映させることができるため、漢字の入力等も可能である。
Here, the customer can edit the text entered in the text reception column G331 until the confirmation button G332 is pressed. Therefore, the customer can input the converted text into the text input field G21 by appropriately converting the input text into Chinese characters or the like and pressing the confirm button G332.
FIG. 8A shows a state in which the text received from the text reception field G331 is reflected in the text input field G21. Unlike the text that is reflected in the text input field G21 each time the text is input in the text reception field G331, the text can be edited in the text reception field G331 and then reflected in the text input field G21. Therefore, it is also possible to input kanji characters.

なお、図7(b)から図8(b)への画面遷移に示されるように、本実施形態では、入力用ダイアログG33中の確定ボタンG332が押下されるのに応じて、入力用ダイアログG33を閉じているが、これに限らず、入力用ダイアログG33を閉じるボタンを別途、設け、入力用ダイアログG33を閉じる操作が行われるまで、入力用ダイアログG33からテキストを受け付けると共に、確定ボタンG332の押下に応じてテキストをテキスト入力欄G21に入力するようになっていてもよい。 As shown in the screen transition from FIG. 7(b) to FIG. 8(b), in this embodiment, when the enter button G332 in the input dialog G33 is pressed, the input dialog G33 is closed, but not limited to this, a button for closing the input dialog G33 is separately provided, and text is accepted from the input dialog G33 until an operation to close the input dialog G33 is performed, and the confirmation button G332 is pressed. The text may be input in the text input field G21 in response to the request.

以上の本実施形態に係る画面共有装置10によれば、複数端末間での画面共有において、画面を共有されている顧客端末3側からも共有対象画面の操作等が可能である。これにより、オペレータに代わって、顧客のみが把握しているパスワードや個人情報等の情報を共有対象画面中に入力してもらうといったことができる。また、ウェブ上に表示されている契約書等を顧客の操作によって顧客に確認してもらうといったことも可能である。 According to the screen sharing apparatus 10 according to the present embodiment described above, in screen sharing among a plurality of terminals, it is possible to operate a screen to be shared even from the side of the customer terminal 3 that shares the screen. As a result, instead of the operator, it is possible to have the customer input information such as a password and personal information that only the customer knows into the shared screen. It is also possible to ask the customer to confirm the contract or the like displayed on the web by the customer's operation.

また、共有対象画面と共有画面がそのアスペクト比やブラウザプログラム等に応じて調整されるため、顧客端末3上で共有画面を見ながら行われる顧客の操作等が共有対象画面に適切に反映される。
また、共有対象画面中のテキスト入力欄には、顧客が適宜に編集したテキストを入力させることができるため、適切且つ多様なテキスト入力が可能である。
In addition, since the screen to be shared and the screen to be shared are adjusted according to the aspect ratio, browser program, etc., the operations performed by the customer while viewing the shared screen on the customer terminal 3 are appropriately reflected on the screen to be shared. .
In addition, since the customer can enter the text edited appropriately by the customer in the text entry field in the shared screen, it is possible to enter appropriate and diverse texts.

なお、以上の本実施形態においては、オペレータと顧客による商談という場面を想定したが、本実施形態に係る画面共有装置10の利用場面はこれに限られず、複数端末間での画面共有であれば、本実施形態に係る画面共有装置10を適用することができる。 In the present embodiment described above, it is assumed that an operator and a customer are negotiating business. , the screen sharing device 10 according to the present embodiment can be applied.

また、表示制御部13は、オペレータ端末2上の共有対象画面を顧客端末3の画面構成に応じたものに変換してオペレータ端末2の画面上に表示させるものとしたが、逆に、顧客端末3上の共有画面をオペレータ端末2の画面構成に応じたものに変換して顧客端末3の画面上に表示させることもできる。 In addition, the display control unit 13 converts the screen to be shared on the operator terminal 2 into one corresponding to the screen configuration of the customer terminal 3 and displays it on the screen of the operator terminal 2. It is also possible to convert the shared screen on 3 into one corresponding to the screen configuration of the operator terminal 2 and display it on the screen of the customer terminal 3 .

また、画面共有を行う端末の数は特に限られず、3つ以上の端末間でも適用可能である。このように3つ以上の端末間で画面共有が行われる場合、共有対象画面の操作権限の委譲では、操作権限の委譲を要求する端末により、操作権限の委譲先となる端末が指定されるようになっているとよい。 Also, the number of terminals that perform screen sharing is not particularly limited, and the present invention can be applied among three or more terminals. When screen sharing is performed between three or more terminals in this way, in transferring the operation authority of the screen to be shared, the terminal requesting the transfer of the operation authority specifies the terminal to which the operation authority is transferred. It should be

また、以上の本実施形態では、顧客端末3に生成した入力用ダイアログにより、顧客からテキスト入力欄に入力するテキストを受け付けたが、他の実施形態では、タッチペン等による署名や顧客端末3に格納されている画像、あるいは顧客端末3が備えるカメラによって撮像された画像等、テキスト以外のデータを受け付けるためのダイアログを顧客端末3上に生成し、当該テキスト以外のデータを共有対象画面に反映することもできる。 In the above-described embodiment, the input dialog generated on the customer terminal 3 accepts the text to be input from the customer in the text input field. or an image taken by a camera provided in the customer terminal 3, or a dialog for accepting data other than text is generated on the customer terminal 3, and the data other than the text is reflected on the screen to be shared. can also

1 :オンラインコミュニケーションシステム
2 :オペレータ端末
3 :顧客端末
10 :画面共有装置
11 :端末情報取得部
12 :同期処理部
13 :表示制御部
14 :権限設定部
15 :検出処理部
16 :反映処理部
17 :ダイアログ生成部
18 :通信処理部
G2 :共有対象画面
G20 :カーソル
G21 :テキスト入力欄
G22 :実行ボタン
G3 :共有画面
G30 :カーソル
G31 :テキスト入力欄
G32 :実行ボタン
G33 :入力用ダイアログ
G331 :テキスト受付欄
G332 :確定ボタン
NW :ネットワーク
1: Online communication system 2: Operator terminal 3: Customer terminal 10: Screen sharing device 11: Terminal information acquisition unit 12: Synchronization processing unit 13: Display control unit 14: Authority setting unit 15: Detection processing unit 16: Reflection processing unit 17 : Dialog generation unit 18 : Communication processing unit G2 : Screen to be shared G20 : Cursor G21 : Text entry field G22 : Execution button G3 : Shared screen G30 : Cursor G31 : Text entry field G32 : Execution button G33 : Dialog for input G331 : Text Reception column G332: Confirmation button NW: Network

Claims (7)

第一端末と、第二端末と、ネットワークを介して通信可能に構成され、
前記第一端末上に表示されている共有対象画面を前記第二端末上に同期表示させる同期処理部と、
前記第一端末における共有対象画面の操作権限を前記第二端末に移譲させる権限設定部と、
前記操作権限の委譲を受けた前記第二端末上で実行された操作を前記第一端末の前記共有対象画面上に反映させる反映処理部と、を有する、
画面共有装置。
configured to communicate with the first terminal and the second terminal via a network,
a synchronization processing unit for synchronously displaying the shared screen displayed on the first terminal on the second terminal;
an authority setting unit for transferring the operation authority of the screen to be shared in the first terminal to the second terminal;
a reflection processing unit that reflects the operation performed on the second terminal to which the operation authority has been transferred on the shared screen of the first terminal;
Screen sharing device.
前記第二端末の画面構成に応じて、前記第一端末の画面上に前記共有対象画面を表示させる表示制御部、をさらに有する、
請求項1記載の画面共有装置。
further comprising a display control unit that displays the shared screen on the screen of the first terminal according to the screen configuration of the second terminal;
The screen sharing device according to claim 1.
前記表示制御部は、前記第二端末のアスペクト比に応じた比率により、前記第一端末の画面上に前記共有対象画面を表示させる、
請求項2記載の画面共有装置。
The display control unit displays the shared screen on the screen of the first terminal at a ratio corresponding to the aspect ratio of the second terminal.
3. The screen sharing device according to claim 2.
前記操作権限の委譲を受けた前記第二端末の操作に応じて、前記共有対象画面内のテキスト入力欄へのテキストの入力待機状態を検出する検出処理部と、
前記第二端末において、前記テキスト入力欄にテキストを入力するための入力用ダイアログを生成させるダイアログ生成部と、をさらに有し、
前記反映処理部はさらに、前記共有対象画面内のテキスト入力欄に、前記入力用ダイアログで入力されたテキストを入力させる、
請求項1乃至3いずれかの項に記載の画面共有装置。
a detection processing unit that detects a text input standby state in a text input field in the shared screen according to the operation of the second terminal to which the operation authority has been transferred;
the second terminal further comprising a dialog generating unit for generating an input dialog for inputting text into the text input field;
The reflection processing unit further causes the text input field in the shared screen to input the text input in the input dialog.
The screen sharing device according to any one of claims 1 to 3.
前記入力用ダイアログには、テキストの入力を受け付けるテキスト受付欄と、当該テキスト受付欄に入力されたテキストの内容を確定する確定ボタンと、が設けられている、
請求項4記載の画面共有装置。
The input dialog is provided with a text acceptance field for accepting text input and a confirmation button for confirming the contents of the text entered in the text acceptance field.
5. The screen sharing device according to claim 4.
第一端末と、第二端末と、ネットワークを介して通信可能に構成されたコンピュータが、
前記第一端末上に表示されている共有対象画面を前記第二端末上に同期表示させる同期処理と、
前記第一端末における共有対象画面の操作権限を前記第二端末に移譲させる権限設定処理と、
前記操作権限の委譲を受けた前記第二端末上で実行された操作を前記第一端末の前記共有対象画面上に反映させる反映処理部と、を実行する、
画面共有方法。
A computer configured to communicate with a first terminal, a second terminal, and a network,
Synchronization processing for synchronously displaying the shared screen displayed on the first terminal on the second terminal;
an authority setting process for transferring the operation authority of the screen to be shared in the first terminal to the second terminal;
a reflection processing unit that reflects the operation performed on the second terminal to which the operation authority has been transferred on the shared screen of the first terminal;
Screen sharing method.
第一端末と、第二端末と、ネットワークを介して通信可能に構成されたコンピュータに対し、
前記第一端末上に表示されている共有対象画面を前記第二端末上に同期表示させる同期処理と、
前記第一端末における共有対象画面の操作権限を前記第二端末に移譲させる権限設定と、
前記操作権限の委譲を受けた前記第二端末上で実行された操作を前記第一端末の前記共有対象画面上に反映させる反映処理部と、を実行させる、
コンピュータプログラム。
For a computer configured to be able to communicate with a first terminal, a second terminal, and a network,
Synchronization processing for synchronously displaying the shared screen displayed on the first terminal on the second terminal;
setting authority for transferring the operation authority of the screen to be shared on the first terminal to the second terminal;
a reflection processing unit that reflects the operation performed on the second terminal to which the operation authority has been transferred on the shared screen of the first terminal;
computer program.
JP2021073399A 2021-04-23 2021-04-23 Screen sharing device, screen sharing method, and computer program Active JP7046338B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021073399A JP7046338B1 (en) 2021-04-23 2021-04-23 Screen sharing device, screen sharing method, and computer program
JP2022037714A JP2022167786A (en) 2021-04-23 2022-03-11 Screen sharing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021073399A JP7046338B1 (en) 2021-04-23 2021-04-23 Screen sharing device, screen sharing method, and computer program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022037714A Division JP2022167786A (en) 2021-04-23 2022-03-11 Screen sharing method

Publications (2)

Publication Number Publication Date
JP7046338B1 JP7046338B1 (en) 2022-04-04
JP2022167546A true JP2022167546A (en) 2022-11-04

Family

ID=81256610

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021073399A Active JP7046338B1 (en) 2021-04-23 2021-04-23 Screen sharing device, screen sharing method, and computer program
JP2022037714A Pending JP2022167786A (en) 2021-04-23 2022-03-11 Screen sharing method

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022037714A Pending JP2022167786A (en) 2021-04-23 2022-03-11 Screen sharing method

Country Status (1)

Country Link
JP (2) JP7046338B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018092479A (en) * 2016-12-06 2018-06-14 矢崎総業株式会社 Work instruction system
JP6935436B2 (en) * 2019-01-15 2021-09-15 株式会社アドバンスクリエイト Insurance product presentation system and insurance product presentation program
CN111612639B (en) * 2020-05-21 2023-10-27 青岛华滋生物科技有限公司 Synchronous communication method and system applied to insurance scheme

Also Published As

Publication number Publication date
JP2022167786A (en) 2022-11-04
JP7046338B1 (en) 2022-04-04

Similar Documents

Publication Publication Date Title
US10868923B2 (en) Communication management system, communication system, communication control method, and recording medium
US20190253570A1 (en) Information providing device, image forming device, and transmission system for providing image data to a transmission terminal that performs video communication
US11539764B2 (en) Communication management system, communication system, communication management device, image processing method, and non-transitory computer-readable medium
US20160283184A1 (en) Content item presentation system
US8160564B1 (en) Remote control of computing device applications using mobile device
US11003353B2 (en) Method and system of enhanced interaction with a shared screen
CN106028106A (en) Television control method and device
KR20020016648A (en) Card type network interface, network conference terminal device and network conference system
CN113741837B (en) Information processing method, device, system and storage medium
JP7073868B2 (en) Information processing equipment and programs
KR20060033433A (en) Remote conference method of sharing work space
JP7101313B2 (en) Providing virtual desktops within a computing environment
JP7046338B1 (en) Screen sharing device, screen sharing method, and computer program
JP7188024B2 (en) Information processing device, information processing system, information processing method and program
CN116056076B (en) Communication system, method and electronic equipment
JP2018041240A (en) Display device, display method, and display program
JP5395028B2 (en) Mobile terminal conference system and method
JP6390575B2 (en) Program and remote conference system
JP2007004656A (en) Server device, method and program
US20240330392A1 (en) Method and system for a web interaction with objects and remote display technologies
CN114371899B (en) Multi-signal-source interface interaction system
WO2019082725A1 (en) System for setting and the like of peripheral device, control method, control program
KR20180108165A (en) Remote meeting method using web object
US20240319952A1 (en) Display system, display method, and non-transitory recording medium
WO2021072974A1 (en) Terminal control method, system and apparatus, computer device, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210914

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220311

R150 Certificate of patent or registration of utility model

Ref document number: 7046338

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350