JP2022167546A - Screen sharing device, screen sharing method, and computer program - Google Patents
Screen sharing device, screen sharing method, and computer program Download PDFInfo
- Publication number
- JP2022167546A JP2022167546A JP2021073399A JP2021073399A JP2022167546A JP 2022167546 A JP2022167546 A JP 2022167546A JP 2021073399 A JP2021073399 A JP 2021073399A JP 2021073399 A JP2021073399 A JP 2021073399A JP 2022167546 A JP2022167546 A JP 2022167546A
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- screen
- shared
- text
- customer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004590 computer program Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 title claims description 5
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012790 confirmation Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 abstract description 36
- 238000012546 transfer Methods 0.000 abstract description 10
- 230000004044 response Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、複数の端間で行われた、複数端末間での画面共有を行う技術に関する。 The present invention relates to a technology for screen sharing among a plurality of terminals between a plurality of terminals.
近年、インサイドセールスとも称される営業手法において、リアルタイムにウェブページやコンテンツを共有し、当該ウェブページやコンテンツに基づいて商談等を行うためのシステムが広く提供されている(特許文献1、2参照)。 In recent years, in a sales method called inside sales, a system for sharing web pages and contents in real time and conducting business negotiations based on the web pages and contents has been widely provided (see Patent Documents 1 and 2). ).
また、商談等に限らず、複数端末間でのオンラインコミュニケーションツールでは、端末間で画面を共有することにより、情報の共有を容易にしている。オンラインコミュニケーションにおける画面共有では通常、画面共有の操作を行った端末側に操作権限があり、画面を共有されている端末側では、共有されている共有対象画面を参照するだけである。しかしながら、画面を共有されている端末側からも共有対象画面の操作等を行えれば便利な場合がある(特許文献3-5参照)。
In addition to business negotiations, online communication tools between multiple terminals facilitate information sharing by sharing screens between terminals. In screen sharing in online communication, the terminal side that performs the screen sharing operation usually has the operation authority, and the terminal side with which the screen is shared only refers to the shared shared screen. However, it may be convenient if the shared screen can also be operated from the terminal that shares the screen (see
この点、画面を共有されている端末側からも共有対象画面の操作等を可能とする場合において、操作性の向上と、操作を適切且つ十分に反映することが求められている。 In this regard, in the case where it is possible to operate the screen to be shared from the terminal that shares the screen, it is required to improve the operability and appropriately and sufficiently reflect the operation.
そこで、本発明は、複数端末間での画面共有において、画面を共有されている端末側からも共有対象画面の操作等を可能とすると共に、当該操作等を共有対象画面に適切に反映させることを目的の一つとする。 Therefore, in the screen sharing between a plurality of terminals, the present invention enables the operation of the screen to be shared from the side of the terminal that shares the screen, and appropriately reflects the operation etc. on the screen to be shared. is one of the purposes.
上記目的を達成するため、本発明の一の観点に係る画面共有装置は、第一端末と、第二端末と、ネットワークを介して通信可能に構成され、前記第一端末上に表示されている共有対象画面を前記第二端末上に同期表示させる同期処理部と、前記第一端末における共有対象画面の操作権限を前記第二端末に移譲させる権限設定部と、前記操作権限の委譲を受けた前記第二端末上で実行された操作を前記第一端末の前記共有対象画面上に反映させる反映処理部と、を有する。 To achieve the above object, a screen sharing device according to one aspect of the present invention is configured to be able to communicate with a first terminal and a second terminal via a network, and is displayed on the first terminal. a synchronization processing unit for synchronously displaying a screen to be shared on the second terminal; an authority setting unit for transferring an operation authority of the screen to be shared on the first terminal to the second terminal; and receiving the transfer of the operation authority. a reflection processing unit that reflects an operation performed on the second terminal on the shared screen of the first terminal.
なお、本発明は、画面を共有する第一端末と、画面が共有される第一端末以外の複数の端末で構成され、ここでは、第一端末が共有する画面に対する操作を移譲される端末を第二端末と称している。 The present invention is composed of a first terminal that shares a screen and a plurality of terminals other than the first terminal that shares the screen. It is called the second terminal.
前記第二端末の画面構成に応じて、前記第一端末の画面上に前記共有対象画面を表示させる表示制御部、をさらに有するものとしてもよい。 It may further include a display control unit that displays the shared screen on the screen of the first terminal according to the screen configuration of the second terminal.
前記表示制御部は、前記第二端末のアスペクト比に応じた比率により、前記第一端末の画面上に前記共有対象画面を表示させるものとしてもよい。 The display control unit may display the shared screen on the screen of the first terminal at a ratio corresponding to the aspect ratio of the second terminal.
前記操作権限の委譲を受けた前記第二端末の操作に応じて、前記共有対象画面内のテキスト入力欄へのテキストの入力待機状態を検出する検出処理部と、前記第二端末において、前記テキスト入力欄にテキストを入力するための入力用ダイアログを生成させるダイアログ生成部と、をさらに有し、前記反映処理部はさらに、前記共有対象画面内のテキスト入力欄に、前記入力用ダイアログで入力されたテキストを入力させるものとしてもよい。 a detection processing unit that detects a text input standby state in a text input field in the shared screen in accordance with an operation of the second terminal to which the operation authority has been transferred; and a dialog generation unit for generating an input dialog for inputting text into the input field, wherein the reflection processing unit further includes a text input field in the shared screen for inputting text in the input dialog. It is also possible to input the text
前記入力用ダイアログには、テキストの入力を受け付けるテキスト受付欄と、当該テキスト受付欄に入力されたテキストの内容を確定する確定ボタンと、が設けられているものとしてもよい。 The input dialog may include a text acceptance field for accepting text input and a confirm button for confirming the contents of the text entered in the text acceptance field.
本発明の別の観点に係る画面共有方法は、第一端末と、第二端末と、ネットワークを介して通信可能に構成されたコンピュータが、前記第一端末上に表示されている共有対象画面を前記第二端末上に同期表示させる同期処理と、前記第一端末における共有対象画面の操作権限を前記第二端末に移譲させる権限設定処理と、前記操作権限の委譲を受けた前記第二端末上で実行された操作を前記第一端末の前記共有対象画面上に反映させる反映処理部と、を実行する。 In a screen sharing method according to another aspect of the present invention, a computer configured to be able to communicate with a first terminal, a second terminal, and a network shares a screen to be shared displayed on the first terminal. Synchronization processing for synchronous display on the second terminal, authority setting processing for transferring the operation authority of the screen to be shared on the first terminal to the second terminal, and on the second terminal to which the operation authority has been transferred and a reflection processing unit that reflects the operation executed in on the shared screen of the first terminal.
本発明のさらに別の観点に係るコンピュータプログラムは、第一端末と、第二端末と、ネットワークを介して通信可能に構成されたコンピュータに対し、前記第一端末上に表示されている共有対象画面を前記第二端末上に同期表示させる同期処理と、前記第一端末における共有対象画面の操作権限を前記第二端末に移譲させる権限設定と、前記操作権限の委譲を受けた前記第二端末上で実行された操作を前記第一端末の前記共有対象画面上に反映させる反映処理部と、を実行させる。 A computer program according to still another aspect of the present invention provides a computer configured to be able to communicate with a first terminal, a second terminal, and a network via a network. Synchronization processing for synchronously displaying on the second terminal, authority setting for transferring the operation authority of the screen to be shared on the first terminal to the second terminal, and on the second terminal that has received the transfer of the operation authority and a reflection processing unit that reflects the operation executed in on the shared screen of the first terminal.
なお、コンピュータプログラムは、インターネット等のネットワークを介したダウンロードによって提供したり、CD-ROMなどのコンピュータ読取可能な各種の記録媒体に記録して提供したりすることができる。 The computer program can be provided by downloading via a network such as the Internet, or can be provided by being recorded on various computer-readable recording media such as a CD-ROM.
本発明によれば、複数端末間での画面共有において、画面を共有されている端末側からも共有対象画面の操作等を可能とすると共に、当該操作等を共有対象画面に適切に反映させることができる。 According to the present invention, in screen sharing among a plurality of terminals, it is possible to operate a shared screen even from the side of the terminal that shares the screen, and appropriately reflect the operation or the like on the shared screen. can be done.
以下、本発明の実施形態に係る画面共有装置について、図を参照して説明する。
図1に示される本実施形態に係る画面共有装置10は、複数の端末間におけるオンラインコミュニケーションにおいて画面共有を可能とする装置であり、オンラインコミュニケーションシステム1の機能の一部を構成する。
ここにいうオンラインコミュニケーションとは例えば、Zoom(登録商標)、teams(登録商標)、skype(登録商標)、WebEx(登録商標)、bellFace(登録商標)などのシステムに代表されるネットワーク上でのビデオ通話であり、ビデオチャット、ビデオ会議などとも称されるものである。
A screen sharing apparatus according to an embodiment of the present invention will be described below with reference to the drawings.
A
Online communication here means video on networks represented by systems such as Zoom (registered trademark), teams (registered trademark), skype (registered trademark), WebEx (registered trademark), bellFace (registered trademark), etc. Calls are also called video chats, video conferences, and the like.
なお、以下では、オペレータと顧客の商談の場で、本実施形態に係る画面共有装置10を備えたオンラインコミュニケーションシステム1が利用されている場面を想定して説明する。ここでは、オペレータと顧客はそれぞれ、オペレータ端末2と顧客端末3を用い、オペレータ端末2がホストとなって顧客端末3とオンラインコミュニケーションを行う。
In the following description, it is assumed that the online communication system 1 equipped with the
また、オンラインコミュニケーションにおける画面共有について、端末間で共有する対象として指定された所定の端末上の画面を共有対象画面と称することがある。また、当該所定の端末以外の端末において表示された画面であって、当該共有対象画面に基づいて生成され、当該共有対象画面と同一の内容を表示した画面を共有画面と称することがある。 In addition, regarding screen sharing in online communication, a screen on a predetermined terminal that is designated as an object to be shared between terminals may be referred to as a screen to be shared. Also, a screen displayed on a terminal other than the predetermined terminal, which is generated based on the shared screen and displays the same content as the shared screen, may be referred to as a shared screen.
●機能構成
オンラインコミュニケーションシステム1は、オペレータ端末2及び顧客端末3と、インターネット等のネットワークNWを介して通信可能に構成されている。
●Functional Configuration The online communication system 1 is configured to be able to communicate with the
このオンラインコミュニケーションシステム1は、CPU(Central Processing Unit)などの演算装置、CPUによって実行されるコンピュータプログラム、RAM(Random Access Memory)やROM(Read Only Memory)等の内部メモリ等を備える。このオンラインコミュニケーションシステム1に実装され、その一機能を実現する画面共有装置10はこれにより、端末情報取得部11、同期処理部12、表示制御部13、権限設定部14、検出処理部15、反映処理部16、ダイアログ生成部17からなる機能ブロックを構成する。
また、オンラインコミュニケーションシステム1は通信処理部18を備え、画面共有装置10は、機能の実現において当該通信処理部18の機能実行を必要とする。
The online communication system 1 includes an arithmetic unit such as a CPU (Central Processing Unit), a computer program executed by the CPU, internal memories such as RAM (Random Access Memory) and ROM (Read Only Memory), and the like. The
The online communication system 1 also includes a
なお、オンラインコミュニケーションシステム1によるオンラインコミュニケーションは例えば、WebSocket規格に準拠したセッションを介して実現されるが、このことはWebSocket以外の通信規格、例えばHTTP,WebRTCなどの規格を用いることを否定するものではなく、これらの規格に準拠したセッションをオペレータ端末2と顧客端末3の間で確立するように構成することができる。また、オンラインコミュニケーションシステム1は、オンラインコミュニケーションを実現するための資源として、STUNサーバやTURNサーバ、シグナリングサーバ等を適宜に備える。
Online communication by the online communication system 1 is realized, for example, through a session conforming to the WebSocket standard, but this does not deny the use of communication standards other than WebSocket, such as HTTP and WebRTC. Instead, it is possible to establish a session between the
端末情報取得部11は、オペレータ端末2と顧客端末3から端末情報を取得する。
端末情報には少なくとも、後述する表示制御部の制御に必要な画面構成に関わる情報として、各端末が備えるディスプレイのアスペクト比に係る情報のほか、各端末のブラウザプログラムのバージョン情報やレンダリングモードの情報等が含まれる。ただし、端末情報にはこのほか、各端末が備えるウェブカメラやマイクといったデバイスや、これらのデバイスやOSを制御するドライバ、あるいはアプリケーションプログラムに係る情報など、オンラインコミュニケーションや画面共有に際して端末に必要とされる情報が適宜に含まれる。
The terminal
In the terminal information, at least, as information related to the screen configuration necessary for controlling the display control unit described later, information related to the aspect ratio of the display provided in each terminal, browser program version information and rendering mode information of each terminal etc. are included. However, in addition to this, terminal information includes devices such as webcams and microphones that each terminal has, drivers that control these devices and the OS, information related to application programs, etc., which are required by the terminal for online communication and screen sharing. where appropriate.
同期処理部12は、オペレータ端末2から画面共有の指示を受け付けると、オペレータ端末2上に表示されている共有対象画面を顧客端末3上に共有画面として同期表示させる。
画面共有において、オペレータは、オペレータ端末2上のアプリケーションプログラムやディスプレイ、ウィンドウといった単位で共有対象画面を指定し、これを顧客端末3に共有させることができる。
同期処理部12はこれに応じて、オペレータ端末2に表示されている共有対象画面を表示するための表示領域を顧客端末3の画面内に生成する。そして、オペレータ端末2に表示されている共有対象画面をストリーミングしたデータを当該表示領域に表示させる。
Upon receiving a screen sharing instruction from the
In screen sharing, the operator can designate a screen to be shared in units of application programs, displays, and windows on the
In response to this, the
表示制御部13は、顧客端末3の画面構成に応じて、オペレータ端末2の画面上に共有対象画面を表示させる。
この表示制御部13は例えば、顧客端末3のアスペクト比に応じた比率により、オペレータ端末2の画面上に共有対象画面を表示させる。即ち、端末情報取得部11によって取得されたオペレータ端末2と顧客端末3の画面それぞれのアスペクト比を参照して、共有対象画面を顧客端末3の画面のアスペクト比に変換してオペレータ端末2上に表示させる。これにより、操作権限が顧客端末3に移譲された場合において、共有画面を見ながら行う顧客の操作が共有対象画面に的確に反映される。また、オペレータは、顧客が見ている共有画面と同じように共有対象画面を見ることができるので、顧客がどのように共有画面を見ているかを意識しながらコミュニケーションを取ることができる。
また、表示制御部13はさらに、オペレータ端末2の画面上に共有対象画面を表示させる際、顧客端末3のブラウザ種別やオペレータ端末1のレンダリングモードの切り替え等を加味してもよい。これにより、オペレータ端末2と顧客端末3に実装されているブラウザ、あるいはオペレータ端末2と顧客端末3を構成するデバイス(スマートフォンあるいは所謂パーソナルコンピュータなど)の相違にかかわらず、オペレータ端末2の他面上に的確に共有対象画面を表示させることができる。
The
The
Further, when the
権限設定部14は、オペレータ端末2における共有対象画面の操作権限を顧客端末3に移譲させる。
ここで、オペレータ端末2からの要求に応じて画面共有を開始した後、操作権限の委譲が行われるまでは、操作権限はオペレータ端末2にある。これに対し、オペレータはオペレータ端末2により、共有対象画面の操作権限をオペレータ端末2から顧客端末3に移譲させる命令を画面共有装置10に送信することができる。これに応じて画面共有装置10は、オペレータ端末2上における共有対象画面の操作権限を顧客端末3に移譲させる。これにより、反映処理部16の機能が有効化され、顧客端末3上で共有画面を見ながら行われている顧客の操作が共有対象画面上に反映される。
なお、本実施形態においては、オペレータ端末2から顧客端末3側に操作権限の委譲が行われた場合、オペレータによる共有対象画面に対する操作は無効化されるが、これにかかわらず、顧客による操作とオペレータによる操作が競合しない限りはオペレータによる操作が有効に扱われてもよい。
The
Here, after screen sharing is started in response to a request from the
In this embodiment, when the operation authority is transferred from the
検出処理部15は、共有対象画面の操作権限が顧客端末3に移譲されている状態において、顧客端末3で実行された顧客の操作を検出し、検出した操作に係る操作情報を取得する。
The
ここでいう顧客の操作は例えば、マウス等のポインティングデバイスの操作であって、カーソルによって示される指示位置の移動、ページのスクロール、及び所定の位置でのクリック操作による押下を含む。そして、これらの操作に係る操作情報は、顧客端末3上に設定された座標系における指示位置の移動前後の座標情報、スクロール量、押下に応じた命令等によって構成される。
操作の結果は、後述する反映処理部16によって共有対象画面上に具現化される。
The customer's operation here is, for example, an operation of a pointing device such as a mouse, and includes movement of a pointing position indicated by a cursor, scrolling of a page, and pressing down by a click operation at a predetermined position. The operation information related to these operations is composed of coordinate information before and after movement of the designated position in the coordinate system set on the
The result of the operation is embodied on the shared screen by the
検出処理部15はまた、共有対象画面の操作権限が顧客端末3に移譲されている状態において、共有対象画面内のテキスト入力欄へのテキストの入力待機状態を検出する。即ち、共有対象画面中にテキスト入力欄が設けられている場合に、顧客が当該テキスト入力欄を指定した結果、テキストの入力が可能な状態になると、検出処理部15はこれをテキストの入力待機状態として検出する。
The
反映処理部16は、操作権限の委譲を受けた顧客端末3上で実行された操作をオペレータ端末2の共有対象画面上に反映させる。即ち、反映処理部16は、検出処理部15によって検出されると共に取得された操作情報に基づき、当該操作情報に応じた操作を共有対象画面上に再現する。
The
反映処理部16はまた、顧客端末3に操作権限が委譲されている場合において、顧客が後述するテキストの入力用ダイアログから入力したテキストを受け付け、共有対象画面内のテキスト入力欄に当該テキストを入力させる。
The
ダイアログ生成部17は、検出処理部15により、共有対象画面内のテキスト入力欄へのテキストの入力待機状態が検出されると、共有対象画面中のテキスト入力欄にテキストを入力するための入力用ダイアログを顧客端末3上に生成させる。
入力用ダイアログには例えば、テキストの入力を受け付けるテキスト受付欄と、当該テキスト受付欄から受け付けたテキストの内容を確定する確定ボタンとが設けられている。
確定ボタンが押下されるまで、顧客はテキスト受付欄に入力したテキストを適宜に編集あるいは変換することができ、顧客はテキスト受付欄において編集あるいは変換を行った後のテキストを、テキスト入力欄に入力する内容とすることができる。
なお、共有対象画面内のテキスト入力欄に既にテキストが入力されていた場合には、入力用ダイアログの生成時、テキスト受付欄に対し、テキスト入力欄に入力済みのテキストを挿入するようにしてもよい。これにより、テキスト入力欄に入力済みのテキストを顧客側で編集して内容を確定させることができる。
When the
The input dialog includes, for example, a text acceptance field for accepting text input, and a confirm button for confirming the content of the text received from the text acceptance field.
Until the confirmation button is pressed, the customer can edit or convert the text entered in the text reception field as appropriate, and the customer enters the text after editing or conversion in the text reception field into the text input field. It can be the content to be done.
In addition, if text has already been entered in the text input field in the shared screen, when creating the input dialog, it is possible to insert the text that has already been entered in the text input field for the text reception field. good. This allows the customer to edit the text already entered in the text input field and fix the content.
通信処理部18は、オペレータ端末2や顧客端末3とインターネット等のネットワークNWを介してデータの送受信処理を実行する。
The
なお、上述した画面共有装置10が備える機能の一部は、オンラインコミュニケーションを実現するための機能と重複する場合もあり、必ずしも画面共有に特有の機能として備えられるとは限らない。
Some of the functions provided by the
オペレータ端末2は、オペレータが使用する第一端末であって、例えば所謂パーソナルコンピュータやタブレット端末、スマートフォン等のスマートデバイスによって実現される。
このオペレータ端末2は少なくとも、ディスプレイ、マウス、キーボード又はタッチパネルディスプレイ等、情報の入出力を可能とする入出力手段を備えるほか、ネットワークNWを介してデータの送受信を可能とする通信処理部としてWebブラウザを備える。このWebブラウザは例えば、Google Chrome(登録商標)、Microsoft Edge(登録商標)、Mozilla Firefox(登録商標)、Opera(登録商標)などである。
The
The
顧客端末3は、顧客が使用する第二端末であって、オペレータ端末2と同様、例えば所謂パーソナルコンピュータやタブレット端末、スマートフォン等のスマートデバイスによって実現される。
また、顧客端末3も、ディスプレイ、マウス、キーボード等、情報の入出力を可能とする入出力手段を備えるほか、ネットワークNWを介してデータの送受信を可能とする通信処理部としてWebブラウザを備える。
The
The
なお、本実施形態では、オペレータ端末2や顧客端末3に専用のソフトウェアを端末にインストールさせることなく、ブラウザプログラムにより、オンラインコミュニケーションと当該オンラインコミュニケーションでの画面共有を実現している。もっとも、専用のソフトウェアによってオンラインコミュニケーションが実行される場合にも、本実施形態に係る画面共有装置10による画面共有は当該オンラインコミュニケーション上に実現できる。
In this embodiment, online communication and screen sharing in the online communication are realized by a browser program without installing dedicated software in the
なお、オペレータ端末2、及び顧客端末3は、上述した機能部のほか、映像や音声を介したオンラインコミュニケーションを実行するためのカメラやマイク、スピーカ等を適宜に備え、オンラインコミュニケーションシステム1はこれに応じて、映像データや音声データを処理するための機能部を備えている。
In addition to the functional units described above, the
●処理フロー
次に、オンラインコミュニケーションシステム1によって実行される処理の流れの一例について、図2乃至図4を参照して説明する。
まず、図2により、オペレータ端末2と顧客端末3の間でオンラインコミュニケーションが行われるところから説明する。
オペレータ端末2と顧客端末3の間でセッションが確立され、オンラインコミュニケーションが開始する(S101)。セッションを確立する態様は特に限られないが、例えば、オペレータ端末2と顧客端末3、いずれか一方の端末からの要求に応じて所定のURLを発行し、当該URLにアクセスした他方の端末を認識してセッションを確立する。
●Processing Flow Next, an example of the flow of processing executed by the online communication system 1 will be described with reference to FIGS. 2 to 4. FIG.
First, the online communication between the
A session is established between the
画面共有装置10は、オペレータ端末2から画面共有の開始要求を受信すると(S102)、端末情報取得部11により、顧客端末3から当該顧客端末3の画面構成に係る情報を含む端末情報を取得する(S103)。
なお、画面共有の開始要求の際、オペレータはアプリケーションプログラムやディスプレイ、ウィンドウといった単位で共有対象画面を指定する。
また、本実施形態では、画面共有の開始要求を受信したタイミングで端末情報を取得しているが、これに限らず、オンラインコミュニケーションのセッション確立時等のタイミングで端末情報を取得してもよい。
When the
When requesting the start of screen sharing, the operator designates the screen to be shared in units of application programs, displays, and windows.
Further, in the present embodiment, the terminal information is acquired at the timing of receiving the screen sharing start request, but the terminal information may be acquired at the timing of establishing an online communication session or the like.
画面共有の開始要求に応じて、同期処理部12は顧客端末3上に所定の表示領域を生成させ、当該所定の表示領域内に、オペレータ端末2上に表示されている共有対象画面を共有画面として同期表示させる(S104)。
In response to the screen sharing start request, the
また、表示制御部13はこのとき、オペレータ端末2上の共有対象画面を顧客端末3の画面構成に応じたものに変換する。
この表示制御部13は具体的に、端末情報取得部11によって取得されたオペレータ端末2と顧客端末3それぞれの画面のアスペクト比やブラウザのバージョン等を参照して、共有対象画面を顧客端末3の画面のアスペクト比やブラウザのバージョンに応じて変換してオペレータ端末2上に表示させる。
Also, at this time, the
Specifically, the
画面共有の開始時、共有対象画面の操作権限は、画面共有を要求したオペレータ端末2側にあり、オペレータは共有対象画面を操作しながら顧客と商談等を行う。
そして、顧客に共有対象画面の操作をしてほしい場面では、オペレータが所定のメニューボタン等を押下するなどして、画面共有装置10に対して操作権限の委譲を要求する(S105)。
オペレータ端末2から操作権限の委譲要求を受信した画面共有装置10は、権限設定部14により、共有対象画面の操作権限を顧客端末3に移譲させる(S106)。
At the start of screen sharing, the
Then, when the customer wants the customer to operate the screen to be shared, the operator presses a predetermined menu button or the like to request the
The
図3に示されるように、操作権限がオペレータ端末2から顧客端末3に移譲させられると、検出処理部15は、顧客が共有画面を参照しながら顧客端末3上で実行した操作を検出すると共に、検出した操作に係る操作情報を取得する(S107)。
As shown in FIG. 3, when the operation authority is transferred from the
反映処理部16はこれに応じて、操作権限の委譲を受けた顧客端末3上で実行された操作をオペレータ端末2の共有対象画面上に反映させる(S108)。
ここで、例えば、顧客端末3で実行された操作がポインティングデバイスによる指示位置の移動であれば、共有対象画面上でこれに応じた指示位置の移動を再現し、所定の指示位置における押下であれば、共有対象画面上において対応する所定の指示位置で押下を再現する。
In response, the
Here, for example, if the operation executed on the
一方、共有対象画面内にテキスト入力欄が設けられていた場合において、共有対象画面に顧客の操作を反映した結果、テキスト入力欄が指定されると、検出処理部15によってテキストの入力待機状態が検出される(S109)。これに応じてダイアログ生成部17は、顧客端末3上にテキストの入力用ダイアログを生成する(S110)。
On the other hand, in the case where a text input field is provided in the shared screen, when the text input field is specified as a result of reflecting the customer's operation on the shared screen, the
顧客がテキストの入力用ダイアログにテキストを入力し、当該テキストが画面共有装置10に送信されると(S111)、反映処理部16はオペレータ端末2に対し、当該テキストをテキスト入力欄に入力することを要求する(S112)。これに応じて、オペレータ端末2上では、顧客から受け付けたテキストがテキスト入力欄に入力される。
When the customer enters text into the text entry dialog and the text is sent to the screen sharing device 10 (S111), the
以上のように、共有対象画面の操作権限が顧客端末3に移譲させられている間(S113)、顧客の操作が共有対象画面に反映される。 As described above, while the operation authority for the shared screen is being transferred to the customer terminal 3 (S113), the customer's operation is reflected on the shared screen.
操作権限の委譲の解除は、オペレータ端末2あるいは顧客端末3のいずれから行えるようになっていてもよく、いずれかの端末からの指示に応じて操作権限の委譲が解除されると、操作権限がオペレータ端末2に戻る(S114)。
The delegation of the operational authority may be canceled from either the
操作権限がオペレータ端末2に戻った場合でも、図4に示されるように、画面共有の状態は維持されており、オペレータは必要に応じてこの状態を継続する(S115)。
画面共有は、画面共有操作を開始したオペレータの操作によって終了し(S116)、セッションの終了がオペレータ端末2あるいは顧客端末3から指示されると(S117)、これに応じてセッションが終了する(S118)。
Even when the operation authority is returned to the
The screen sharing is ended by the operator who started the screen sharing operation (S116), and when the
●GUI
以上の流れで行われるオンラインコミュニケーションにおいて、オペレータ端末2及び顧客端末3上に表示される画面及びその遷移の一例を図5乃至図8により説明する。
●GUI
An example of screens displayed on the
図5は、画面共有機能の実行時におけるオペレータ端末2と顧客端末3の画面例を示している。ここで、図5(a)は、オペレータ端末2上に表示されている共有対象画面G2である。一方、図5(b)は、顧客端末3上に表示されている共有画面G3である。
FIG. 5 shows examples of screens of the
図5の例では、オペレータがインターネット上のウェブページを共有している場合を示している。より具体的に、共有対象画面G2を構成するウェブページはウェブ検索のためのページであって、検索用のテキストを入力可能なテキスト入力欄G21、当該テキスト入力欄G21に入力されたテキストによるウェブ検索の実行要求を受け付ける実行ボタンG22が設けられている。一方、共有画面G3においても、テキスト入力欄G21に対応するテキスト入力欄G31、実行ボタンG22に対応する実行ボタンG32が表示されているが、共有画面G3は共有対象画面G2をもとに生成された画像データであり、共有画面G3上において直接、テキスト入力欄G31への入力や実行ボタンG32の押下を実行できるわけではない。 The example of FIG. 5 shows a case where the operator shares a web page on the Internet. More specifically, the web page that constitutes the shared screen G2 is a page for web search, and includes a text input field G21 in which search text can be input, and a web page based on the text input in the text input field G21. An execution button G22 is provided for accepting a search execution request. On the other hand, the shared screen G3 also displays a text input field G31 corresponding to the text input field G21 and an execute button G32 corresponding to the execute button G22, but the shared screen G3 is generated based on the shared screen G2. However, it is not possible to directly input data into the text input field G31 or press the execution button G32 on the shared screen G3.
このほか、共有対象画面G2には、オペレータ端末2が備えるポインティングデバイスの指示位置を示すカーソルG20が表示され、また、共有画面G3には、これに対応したカーソルG30が表示されている。
In addition, the shared screen G2 displays a cursor G20 indicating the pointing position of the pointing device of the
ここで例えば、オペレータがポインティングデバイスを操作し、共有対象画面G2上でカーソルG20を移動させると、顧客は共有画面G3上において、カーソルG30が同様に移動する様子を確認できる。 Here, for example, when the operator operates the pointing device to move the cursor G20 on the shared screen G2, the customer can confirm how the cursor G30 similarly moves on the shared screen G3.
また、操作権限がオペレータ端末2から顧客端末3に移譲させられると、顧客は顧客端末3上から共有対象画面G2を操作できるようになる。これにより、顧客は共有画面G3を参照しながら、あたかもカーソルG30を移動させるが如く、共有対象画面G2中のカーソルG20を移動させる操作等を行えるようになる。
Further, when the operation authority is transferred from the
図6は、操作権限がオペレータ端末2から顧客端末3に移譲された場合において、顧客の操作により、共有対象画面G2中のウェブページでテキスト入力欄G21が指定された状態を示している。
図6(a)に示すように、顧客の操作によって共有対象画面G2中のテキスト入力欄G21が指定されると、検出処理部15によってテキストの入力待機状態が検出される。ダイアログ生成部17はこれに応じて、図6(b)に示すように、顧客端末3上にテキストの入力用ダイアログG33を生成する。なお、入力用ダイアログG33は、共有画面G3中に表示されているテキスト入力欄G31の近傍に表示されるのが好適である。
FIG. 6 shows a state in which the text input field G21 is specified on the web page in the shared screen G2 by the customer's operation when the operation authority is transferred from the
As shown in FIG. 6A, when the text input field G21 in the shared screen G2 is specified by the customer's operation, the
テキストの入力用ダイアログG33には、顧客端末3からテキストの入力を受け付けるテキスト受付欄G331と、テキスト受付欄G331により受け付けたテキストの内容を確定し、共有対象画面G2中のテキスト入力欄G31に当該テキストの入力を要求する確定ボタンG332と、入力をキャンセルするキャンセルボタンG333が設けられている。
The text input dialog G33 includes a text reception field G331 for receiving text input from the
図7(b)は、顧客が、顧客端末3が備えるキーボード(タッチパネルディスプレイ上に表示された仮想的なキーボードを含む)等により、テキスト受付欄G331にテキストを入力した状態を示している。図7(a)に示すように、顧客がテキスト受付欄G331にテキストを入力しただけの状態では未だ、テキスト入力欄G21には当該テキストが反映されてない。
テキスト受付欄G331にテキストを入力し終えた顧客は、確定ボタンG332を押下し、これにより画面共有装置10に対し、テキスト入力欄G21に当該テキストを入力することを要求することができる。
FIG. 7(b) shows a state in which the customer has entered text into the text reception field G331 using the keyboard (including the virtual keyboard displayed on the touch panel display) provided in the
The customer who has finished entering the text in the text entry field G331 can press the confirmation button G332, thereby requesting the
ここで、確定ボタンG332が押下されるまで、顧客はテキスト受付欄G331に入力したテキストを編集することができる。そのため、顧客は入力したテキストを漢字等に適宜に変換してから確定ボタンG332を押下することで、当該変換後のテキストをテキスト入力欄G21に入力させることができる。
図8(a)は、このようにテキスト受付欄G331から受け付けられたテキストがテキスト入力欄G21に反映された状態を示している。テキスト受付欄G331にテキストが入力されるたびにテキスト入力欄G21にテキストが反映されるのとは異なり、テキスト受付欄G331においてテキストを編集してからテキスト入力欄G21にテキストを反映させることができるため、漢字の入力等も可能である。
Here, the customer can edit the text entered in the text reception column G331 until the confirmation button G332 is pressed. Therefore, the customer can input the converted text into the text input field G21 by appropriately converting the input text into Chinese characters or the like and pressing the confirm button G332.
FIG. 8A shows a state in which the text received from the text reception field G331 is reflected in the text input field G21. Unlike the text that is reflected in the text input field G21 each time the text is input in the text reception field G331, the text can be edited in the text reception field G331 and then reflected in the text input field G21. Therefore, it is also possible to input kanji characters.
なお、図7(b)から図8(b)への画面遷移に示されるように、本実施形態では、入力用ダイアログG33中の確定ボタンG332が押下されるのに応じて、入力用ダイアログG33を閉じているが、これに限らず、入力用ダイアログG33を閉じるボタンを別途、設け、入力用ダイアログG33を閉じる操作が行われるまで、入力用ダイアログG33からテキストを受け付けると共に、確定ボタンG332の押下に応じてテキストをテキスト入力欄G21に入力するようになっていてもよい。 As shown in the screen transition from FIG. 7(b) to FIG. 8(b), in this embodiment, when the enter button G332 in the input dialog G33 is pressed, the input dialog G33 is closed, but not limited to this, a button for closing the input dialog G33 is separately provided, and text is accepted from the input dialog G33 until an operation to close the input dialog G33 is performed, and the confirmation button G332 is pressed. The text may be input in the text input field G21 in response to the request.
以上の本実施形態に係る画面共有装置10によれば、複数端末間での画面共有において、画面を共有されている顧客端末3側からも共有対象画面の操作等が可能である。これにより、オペレータに代わって、顧客のみが把握しているパスワードや個人情報等の情報を共有対象画面中に入力してもらうといったことができる。また、ウェブ上に表示されている契約書等を顧客の操作によって顧客に確認してもらうといったことも可能である。
According to the
また、共有対象画面と共有画面がそのアスペクト比やブラウザプログラム等に応じて調整されるため、顧客端末3上で共有画面を見ながら行われる顧客の操作等が共有対象画面に適切に反映される。
また、共有対象画面中のテキスト入力欄には、顧客が適宜に編集したテキストを入力させることができるため、適切且つ多様なテキスト入力が可能である。
In addition, since the screen to be shared and the screen to be shared are adjusted according to the aspect ratio, browser program, etc., the operations performed by the customer while viewing the shared screen on the
In addition, since the customer can enter the text edited appropriately by the customer in the text entry field in the shared screen, it is possible to enter appropriate and diverse texts.
なお、以上の本実施形態においては、オペレータと顧客による商談という場面を想定したが、本実施形態に係る画面共有装置10の利用場面はこれに限られず、複数端末間での画面共有であれば、本実施形態に係る画面共有装置10を適用することができる。
In the present embodiment described above, it is assumed that an operator and a customer are negotiating business. , the
また、表示制御部13は、オペレータ端末2上の共有対象画面を顧客端末3の画面構成に応じたものに変換してオペレータ端末2の画面上に表示させるものとしたが、逆に、顧客端末3上の共有画面をオペレータ端末2の画面構成に応じたものに変換して顧客端末3の画面上に表示させることもできる。
In addition, the
また、画面共有を行う端末の数は特に限られず、3つ以上の端末間でも適用可能である。このように3つ以上の端末間で画面共有が行われる場合、共有対象画面の操作権限の委譲では、操作権限の委譲を要求する端末により、操作権限の委譲先となる端末が指定されるようになっているとよい。 Also, the number of terminals that perform screen sharing is not particularly limited, and the present invention can be applied among three or more terminals. When screen sharing is performed between three or more terminals in this way, in transferring the operation authority of the screen to be shared, the terminal requesting the transfer of the operation authority specifies the terminal to which the operation authority is transferred. It should be
また、以上の本実施形態では、顧客端末3に生成した入力用ダイアログにより、顧客からテキスト入力欄に入力するテキストを受け付けたが、他の実施形態では、タッチペン等による署名や顧客端末3に格納されている画像、あるいは顧客端末3が備えるカメラによって撮像された画像等、テキスト以外のデータを受け付けるためのダイアログを顧客端末3上に生成し、当該テキスト以外のデータを共有対象画面に反映することもできる。
In the above-described embodiment, the input dialog generated on the
1 :オンラインコミュニケーションシステム
2 :オペレータ端末
3 :顧客端末
10 :画面共有装置
11 :端末情報取得部
12 :同期処理部
13 :表示制御部
14 :権限設定部
15 :検出処理部
16 :反映処理部
17 :ダイアログ生成部
18 :通信処理部
G2 :共有対象画面
G20 :カーソル
G21 :テキスト入力欄
G22 :実行ボタン
G3 :共有画面
G30 :カーソル
G31 :テキスト入力欄
G32 :実行ボタン
G33 :入力用ダイアログ
G331 :テキスト受付欄
G332 :確定ボタン
NW :ネットワーク
1: Online communication system 2: Operator terminal 3: Customer terminal 10: Screen sharing device 11: Terminal information acquisition unit 12: Synchronization processing unit 13: Display control unit 14: Authority setting unit 15: Detection processing unit 16: Reflection processing unit 17 : Dialog generation unit 18 : Communication processing unit G2 : Screen to be shared G20 : Cursor G21 : Text entry field G22 : Execution button G3 : Shared screen G30 : Cursor G31 : Text entry field G32 : Execution button G33 : Dialog for input G331 : Text Reception column G332: Confirmation button NW: Network
Claims (7)
前記第一端末上に表示されている共有対象画面を前記第二端末上に同期表示させる同期処理部と、
前記第一端末における共有対象画面の操作権限を前記第二端末に移譲させる権限設定部と、
前記操作権限の委譲を受けた前記第二端末上で実行された操作を前記第一端末の前記共有対象画面上に反映させる反映処理部と、を有する、
画面共有装置。 configured to communicate with the first terminal and the second terminal via a network,
a synchronization processing unit for synchronously displaying the shared screen displayed on the first terminal on the second terminal;
an authority setting unit for transferring the operation authority of the screen to be shared in the first terminal to the second terminal;
a reflection processing unit that reflects the operation performed on the second terminal to which the operation authority has been transferred on the shared screen of the first terminal;
Screen sharing device.
請求項1記載の画面共有装置。 further comprising a display control unit that displays the shared screen on the screen of the first terminal according to the screen configuration of the second terminal;
The screen sharing device according to claim 1.
請求項2記載の画面共有装置。 The display control unit displays the shared screen on the screen of the first terminal at a ratio corresponding to the aspect ratio of the second terminal.
3. The screen sharing device according to claim 2.
前記第二端末において、前記テキスト入力欄にテキストを入力するための入力用ダイアログを生成させるダイアログ生成部と、をさらに有し、
前記反映処理部はさらに、前記共有対象画面内のテキスト入力欄に、前記入力用ダイアログで入力されたテキストを入力させる、
請求項1乃至3いずれかの項に記載の画面共有装置。 a detection processing unit that detects a text input standby state in a text input field in the shared screen according to the operation of the second terminal to which the operation authority has been transferred;
the second terminal further comprising a dialog generating unit for generating an input dialog for inputting text into the text input field;
The reflection processing unit further causes the text input field in the shared screen to input the text input in the input dialog.
The screen sharing device according to any one of claims 1 to 3.
請求項4記載の画面共有装置。 The input dialog is provided with a text acceptance field for accepting text input and a confirmation button for confirming the contents of the text entered in the text acceptance field.
5. The screen sharing device according to claim 4.
前記第一端末上に表示されている共有対象画面を前記第二端末上に同期表示させる同期処理と、
前記第一端末における共有対象画面の操作権限を前記第二端末に移譲させる権限設定処理と、
前記操作権限の委譲を受けた前記第二端末上で実行された操作を前記第一端末の前記共有対象画面上に反映させる反映処理部と、を実行する、
画面共有方法。 A computer configured to communicate with a first terminal, a second terminal, and a network,
Synchronization processing for synchronously displaying the shared screen displayed on the first terminal on the second terminal;
an authority setting process for transferring the operation authority of the screen to be shared in the first terminal to the second terminal;
a reflection processing unit that reflects the operation performed on the second terminal to which the operation authority has been transferred on the shared screen of the first terminal;
Screen sharing method.
前記第一端末上に表示されている共有対象画面を前記第二端末上に同期表示させる同期処理と、
前記第一端末における共有対象画面の操作権限を前記第二端末に移譲させる権限設定と、
前記操作権限の委譲を受けた前記第二端末上で実行された操作を前記第一端末の前記共有対象画面上に反映させる反映処理部と、を実行させる、
コンピュータプログラム。 For a computer configured to be able to communicate with a first terminal, a second terminal, and a network,
Synchronization processing for synchronously displaying the shared screen displayed on the first terminal on the second terminal;
setting authority for transferring the operation authority of the screen to be shared on the first terminal to the second terminal;
a reflection processing unit that reflects the operation performed on the second terminal to which the operation authority has been transferred on the shared screen of the first terminal;
computer program.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021073399A JP7046338B1 (en) | 2021-04-23 | 2021-04-23 | Screen sharing device, screen sharing method, and computer program |
JP2022037714A JP2022167786A (en) | 2021-04-23 | 2022-03-11 | Screen sharing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021073399A JP7046338B1 (en) | 2021-04-23 | 2021-04-23 | Screen sharing device, screen sharing method, and computer program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022037714A Division JP2022167786A (en) | 2021-04-23 | 2022-03-11 | Screen sharing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7046338B1 JP7046338B1 (en) | 2022-04-04 |
JP2022167546A true JP2022167546A (en) | 2022-11-04 |
Family
ID=81256610
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021073399A Active JP7046338B1 (en) | 2021-04-23 | 2021-04-23 | Screen sharing device, screen sharing method, and computer program |
JP2022037714A Pending JP2022167786A (en) | 2021-04-23 | 2022-03-11 | Screen sharing method |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022037714A Pending JP2022167786A (en) | 2021-04-23 | 2022-03-11 | Screen sharing method |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7046338B1 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018092479A (en) * | 2016-12-06 | 2018-06-14 | 矢崎総業株式会社 | Work instruction system |
JP6935436B2 (en) * | 2019-01-15 | 2021-09-15 | 株式会社アドバンスクリエイト | Insurance product presentation system and insurance product presentation program |
CN111612639B (en) * | 2020-05-21 | 2023-10-27 | 青岛华滋生物科技有限公司 | Synchronous communication method and system applied to insurance scheme |
-
2021
- 2021-04-23 JP JP2021073399A patent/JP7046338B1/en active Active
-
2022
- 2022-03-11 JP JP2022037714A patent/JP2022167786A/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2022167786A (en) | 2022-11-04 |
JP7046338B1 (en) | 2022-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10868923B2 (en) | Communication management system, communication system, communication control method, and recording medium | |
US20190253570A1 (en) | Information providing device, image forming device, and transmission system for providing image data to a transmission terminal that performs video communication | |
US11539764B2 (en) | Communication management system, communication system, communication management device, image processing method, and non-transitory computer-readable medium | |
US20160283184A1 (en) | Content item presentation system | |
US8160564B1 (en) | Remote control of computing device applications using mobile device | |
US11003353B2 (en) | Method and system of enhanced interaction with a shared screen | |
CN106028106A (en) | Television control method and device | |
KR20020016648A (en) | Card type network interface, network conference terminal device and network conference system | |
CN113741837B (en) | Information processing method, device, system and storage medium | |
JP7073868B2 (en) | Information processing equipment and programs | |
KR20060033433A (en) | Remote conference method of sharing work space | |
JP7101313B2 (en) | Providing virtual desktops within a computing environment | |
JP7046338B1 (en) | Screen sharing device, screen sharing method, and computer program | |
JP7188024B2 (en) | Information processing device, information processing system, information processing method and program | |
CN116056076B (en) | Communication system, method and electronic equipment | |
JP2018041240A (en) | Display device, display method, and display program | |
JP5395028B2 (en) | Mobile terminal conference system and method | |
JP6390575B2 (en) | Program and remote conference system | |
JP2007004656A (en) | Server device, method and program | |
US20240330392A1 (en) | Method and system for a web interaction with objects and remote display technologies | |
CN114371899B (en) | Multi-signal-source interface interaction system | |
WO2019082725A1 (en) | System for setting and the like of peripheral device, control method, control program | |
KR20180108165A (en) | Remote meeting method using web object | |
US20240319952A1 (en) | Display system, display method, and non-transitory recording medium | |
WO2021072974A1 (en) | Terminal control method, system and apparatus, computer device, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210914 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7046338 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |