JP2022060797A - Electronic device, control method, and program - Google Patents

Electronic device, control method, and program Download PDF

Info

Publication number
JP2022060797A
JP2022060797A JP2020168487A JP2020168487A JP2022060797A JP 2022060797 A JP2022060797 A JP 2022060797A JP 2020168487 A JP2020168487 A JP 2020168487A JP 2020168487 A JP2020168487 A JP 2020168487A JP 2022060797 A JP2022060797 A JP 2022060797A
Authority
JP
Japan
Prior art keywords
client
speech
display
user
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020168487A
Other languages
Japanese (ja)
Inventor
敏行 須藤
Toshiyuki Sudo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020168487A priority Critical patent/JP2022060797A/en
Publication of JP2022060797A publication Critical patent/JP2022060797A/en
Pending legal-status Critical Current

Links

Images

Abstract

To provide an electronic device for a remote conference, etc. for supporting participants to speak smoothly.SOLUTION: An electronic device 2 used for a remote conference among a plurality of users comprises: control means 15 which controls display of a display unit; and obtaining means 12 which obtains information regarding an utterance request of each user in the remote conference. The control means 15 controls the display unit to display a user who made the utterance request and information regarding an elapsed time after the user made the utterance request in association with each other when the obtaining means 12 has obtained the information regarding the utterance request.SELECTED DRAWING: Figure 5

Description

本発明は、主として遠隔会議に用いられる電子機器に関する。 The present invention relates mainly to electronic devices used for teleconferencing.

ネットワークを介して行われる遠隔会議を支援するシステムが種々知られている。 Various systems are known to support remote conferences held over a network.

遠隔会議では、対面での会議に比べて発言のタイミングをはかるのが難しい場合があった。 In teleconferencing, it was sometimes more difficult to time the remarks than in face-to-face meetings.

特許文献1には発言意志を通知する手段を設けることによって司会者に対して参加者が発言の意思表示できるようにした遠隔会議システムが開示されている。 Patent Document 1 discloses a teleconferencing system that allows participants to express their intention to speak to the moderator by providing a means for notifying the intention to speak.

特開2012-217068号公報Japanese Unexamined Patent Publication No. 2012-2170668

しかしながら、特許文献1に開示された発明では、参加者が発言の意思を通知した場合に、その通知がいつされたのかという情報は全く通知されない。それゆえ、発言意思を通知してから長時間待っている参加者と、発言意思を通知して間もない参加者を区別することができなかった。この結果、遠隔会議の支援が不十分となる場合があった。 However, in the invention disclosed in Patent Document 1, when the participant notifies the intention to speak, the information as to when the notification was given is not notified at all. Therefore, it was not possible to distinguish between a participant who has been waiting for a long time after notifying the intention to speak and a participant who has just notified the intention to speak. As a result, support for teleconferencing may be inadequate.

そこで、本発明は参加者が円滑に発言できるよう支援するための遠隔会議用の電子機器等を提供することを目的とする。 Therefore, an object of the present invention is to provide an electronic device for a remote conference to support participants so that they can speak smoothly.

本発明の電子機器は、複数のユーザー間での遠隔会議に用いられる電子機器であって、表示部の表示を制御する制御手段と、前記遠隔会議における各ユーザーの発言要求に関する情報を取得する取得手段と、を有し、前記制御手段は、前記取得手段が前記発言要求に関する情報を取得した場合、前記発言要求をしたユーザーと、該ユーザーが前記発言要求をしてからの経過時間に関する情報とが対応付けられて前記表示部に表示されるよう、前記表示部を制御することを特徴とする。 The electronic device of the present invention is an electronic device used for a remote conference between a plurality of users, and is a control means for controlling the display of a display unit and acquisition of information regarding a speech request of each user in the remote conference. The control means has means, and when the acquisition means acquires the information regarding the speech request, the user who has made the speech request and the information regarding the elapsed time since the user made the speech request. It is characterized in that the display unit is controlled so that is associated with the display unit and displayed on the display unit.

本発明によれば、参加者が円滑に発言できるよう支援するための遠隔会議用の電子機器等を実現できる。 According to the present invention, it is possible to realize an electronic device for a remote conference for assisting a participant to speak smoothly.

遠隔会議システムのブロック図である。It is a block diagram of a teleconferencing system. 遠隔会議システムのクライアントの一例を示す図である。It is a figure which shows an example of the client of a remote conference system. サーバーのブロック図である。It is a block diagram of a server. クライアントのブロック図である。It is a block diagram of a client. クライアントによる表示の一例を示す図である。It is a figure which shows an example of the display by a client. クライアントによって行われるユーザーの発言意思表示に関する処理を表す図である。It is a figure which shows the process about the user's intention display performed by a client. サーバーによって行われる発言待ち表示フラグの設定に関する処理を表す図である。It is a figure which shows the process about the setting of the speech waiting display flag performed by a server. クライアントによって行われる発言待ち表示に関する処理を表す図である。It is a figure which shows the process about the speech waiting display performed by a client. サーバーによって行われる発言待ち時間関連処理を表す図である。It is a figure which shows the speech waiting time related processing performed by a server. クライアントによる表示の変形例を示す図である。It is a figure which shows the transformation example of the display by a client. サーバーによって行われる発言継続時間に関する処理を表す図である。It is a figure which shows the process about the speech duration performed by a server. クライアントによって行われる発言継続時間に関する処理を表す図である。It is a figure which shows the process about the speech duration performed by a client.

以下、本発明の電子機器を含む遠隔会議システムについて添付の図面に基づいて説明する。なお、各図において同じ構成要素には同一の符号を付し、重複する説明は省略する。 Hereinafter, the remote conference system including the electronic device of the present invention will be described with reference to the accompanying drawings. In each figure, the same components are designated by the same reference numerals, and duplicate description will be omitted.

図1は本実施形態の遠隔会議システムの基本的構成を説明する図である。本実施形態の遠隔会議システムは複数のユーザー間で行われる遠隔会議を実現するためのシステムである。 FIG. 1 is a diagram illustrating a basic configuration of the remote conference system of the present embodiment. The remote conference system of the present embodiment is a system for realizing a remote conference held between a plurality of users.

本実施形態の遠隔会議システムは、システム全体を統合管理する遠隔会議サーバー1と、複数の遠隔会議クライアント(2-1、2-2、・・・)とで構成される。図1にはクライアントは2-1と2-2のみを代表して示しているが、多数のクライアントが遠隔会議システムに参加することができる。以下では遠隔会議システムに参加する各クライアントを代表する1つのクライアントを「クライアント2」と称することがある。 The remote conference system of the present embodiment is composed of a remote conference server 1 that manages the entire system in an integrated manner, and a plurality of remote conference clients (2-1, 2-2, ...). Although the clients are shown on behalf of only 2-1 and 2-2 in FIG. 1, a large number of clients can participate in the teleconferencing system. Hereinafter, one client representing each client participating in the remote conference system may be referred to as "client 2".

サーバー1とクライアント2は、ネットワーク5によって接続されており、互いに通信を行うことが可能となっている。サーバー1としては、サーバー用のワークステーションなどが用いられる。クライアント2としては、ネットワーク接続可能なパソコン、スマートフォン、タブレット端末などが用いられる。 The server 1 and the client 2 are connected by the network 5 and can communicate with each other. As the server 1, a workstation for a server or the like is used. As the client 2, a personal computer, a smartphone, a tablet terminal, or the like that can be connected to a network is used.

クライアント2には情報入力装置3と情報出力装置4が接続されており、遠隔会議を行うのに必要な情報を入力したり出力したりすることができる。図1の例では、クライアント2-1には情報入力装置3-1と情報出力装置4-1が接続されており、クライアント2-2には情報入力装置3-2と情報出力装置4-2が接続されている。 An information input device 3 and an information output device 4 are connected to the client 2, and information necessary for holding a remote conference can be input and output. In the example of FIG. 1, the information input device 3-1 and the information output device 4-1 are connected to the client 2-1 and the information input device 3-2 and the information output device 4-2 are connected to the client 2-2. Is connected.

クライアント2、情報入力装置3、情報出力装置4は一体で構成されていても良いし、別体で構成されていても良い。 The client 2, the information input device 3, and the information output device 4 may be integrally configured or may be configured separately.

情報入力装置3としては例えばキーボード、マウス、カメラ、音声マイクなどがある。情報出力装置4としてはディスプレイ、音声スピーカーなどがある。なお、情報出力装置4としてのディスプレイをタッチパネル式のディスプレイを用いて、情報入力装置3としてのキーボードやマウスの機能を兼ね備えさせても良い。 The information input device 3 includes, for example, a keyboard, a mouse, a camera, a voice microphone, and the like. The information output device 4 includes a display, a voice speaker, and the like. The display as the information output device 4 may be a touch panel type display, and may have the functions of a keyboard and a mouse as the information input device 3.

図2はクライアント2-1を用いて参加者が遠隔会議に参加している時の具体的状況を示した図である。参加者はこのクライアント2-1に対峙しており、情報入力装置であるカメラ3-1-aで自身の顔を撮影し、顔画像データとしてサーバー1に送信する。また、マイク3-2-bで自身の声を録音し、音声データとしてサーバー1に送信する。情報出力装置であるディスプレイ4-1-aには他の参加者の顔画像や会議用の画像インターフェース情報が表示され、スピーカー4-1-bからは他の参加者の音声データや効果音などが再生される。 FIG. 2 is a diagram showing a specific situation when a participant is participating in a remote conference using client 2-1. Participants face this client 2-1 and take a picture of their own face with the camera 3-1a, which is an information input device, and send it to the server 1 as face image data. In addition, the microphone 3-2-b records its own voice and transmits it to the server 1 as voice data. The display 4-1a, which is an information output device, displays facial images of other participants and image interface information for meetings, and the speaker 4-1b displays voice data and sound effects of other participants. Is played.

図3は遠隔会議サーバー1が有する演算・処理部を示すブロック図である。図3のブロック図に示す各機能は、サーバー1の有するCPUなどのプロセッサやメモリで構成されるコンピュータにより制御・実行される。 FIG. 3 is a block diagram showing a calculation / processing unit included in the remote conference server 1. Each function shown in the block diagram of FIG. 3 is controlled and executed by a computer including a processor such as a CPU of the server 1 and a memory.

データ送受信部6は情報ネットワーク5を介してクライアント2とのデータ送受信を行う。パラメータ操作部7は後に示す各種処理において各種パラメータを操作する。パラメータ判別部8は各種パラメータを判別して各種判断を下す。音声解析部9はどのクライアントが現在発言しているか等といった情報を把握するために各クライアントから送られる音声データを解析する。計測部10は所定の指示に従って時間を計測する。表示制御部11は各クライアントに送信するべき遠隔会議の映像や画像に対して処理を行う。 The data transmission / reception unit 6 transmits / receives data to / from the client 2 via the information network 5. The parameter operation unit 7 operates various parameters in various processes shown later. The parameter discrimination unit 8 discriminates various parameters and makes various judgments. The voice analysis unit 9 analyzes the voice data sent from each client in order to grasp information such as which client is currently speaking. The measuring unit 10 measures the time according to a predetermined instruction. The display control unit 11 processes the video or image of the remote conference to be transmitted to each client.

図4はクライアント2が有する演算・処理部を示すブロック図である。図4のブロック図に示す各機能は、クライアント2の有するCPUなどのプロセッサやメモリで構成されるコンピュータにより制御・実行される。 FIG. 4 is a block diagram showing a calculation / processing unit possessed by the client 2. Each function shown in the block diagram of FIG. 4 is controlled and executed by a computer including a processor such as a CPU of the client 2 and a memory.

データ送受信部12はネットワーク5を介してサーバー1とデータの送受信を行う。すなわち、データ送受信部12はクライアントが外部機器から情報を取得する取得手段としての機能を備える。パラメータ操作部13は後に示す各種処理において各種パラメータを操作する。パラメータ判別部14は前記パラメータを判別して各種判断を下す。表示制御部15はクライアント2の情報出力装置4としての表示部(ディスプレイ)の画面表示を制御する制御手段としての機能を有する。 The data transmission / reception unit 12 transmits / receives data to / from the server 1 via the network 5. That is, the data transmission / reception unit 12 has a function as an acquisition means for the client to acquire information from an external device. The parameter operation unit 13 operates various parameters in various processes shown later. The parameter discriminating unit 14 discriminates the parameters and makes various determinations. The display control unit 15 has a function as a control means for controlling the screen display of the display unit (display) as the information output device 4 of the client 2.

図3,4の機能構成は、本発明における一例であって、他の機能構成を採って本発明を実施しても良い。 The functional configurations shown in FIGS. 3 and 4 are examples of the present invention, and the present invention may be carried out by adopting other functional configurations.

次に、本実施形態の遠隔会議システムにより行われる処理について図5を用いて説明する。 Next, the processing performed by the remote conference system of the present embodiment will be described with reference to FIG.

図5はあるクライアント2のディスプレイ4-1-aに表示されたグラフィカル・ユーザー・インターフェース(GUI)画面である。画面枠101の中の情報共有エリア102には発表者のプレゼンテーション資料などが表示される。 FIG. 5 is a graphical user interface (GUI) screen displayed on the display 4-1a of a client 2. Presentation materials and the like of the presenter are displayed in the information sharing area 102 in the screen frame 101.

103~106を付した各操作領域は、各種操作用のGUIである。 Each operation area with 103 to 106 is a GUI for various operations.

103はチャット用テキストボックス、104はチャット用送信ボタンである。これらを用いて他の参加者とテキストでのやり取りを行うことができる。 103 is a text box for chat, and 104 is a send button for chat. These can be used to communicate textually with other participants.

105は発言意志を表示させるため(発言要求をするため)の挙手ボタン、106は発言意思を取り消すためのキャンセルボタンである。 105 is a hand-raising button for displaying the intention to speak (to make a request for speech), and 106 is a cancel button for canceling the intention to speak.

また、画面枠101には参加者の顔画像表示エリア(F-1~F-6)、参加者の名前表示エリア(N-1~N-6)が設けられている。以下では、自然数nを用いて「n番目の参加者」の顔画像が領域F-nに、名前が領域N-nに表示されている、などと表すことがある。 Further, the screen frame 101 is provided with a participant's face image display area (F-1 to F-6) and a participant's name display area (N-1 to N-6). In the following, it may be expressed that the face image of the "nth participant" is displayed in the area Fn, the name is displayed in the area Nn, etc. using the natural number n.

本実施形態では参加者6人のケースが示されているが、参加人数が変化した場合も、人数に応じて各顔画像表示エリアと名前表示エリアを拡大・縮小する調整を行って、全参加者の情報を配置することができる。また、遠隔会議システムの全参加者のうち、自分の顔画像は表示されていなくても良い。 In this embodiment, a case of 6 participants is shown, but even if the number of participants changes, adjustments are made to enlarge / reduce each face image display area and name display area according to the number of participants, and all participants participate. Information can be placed. Also, of all the participants in the teleconferencing system, their face image may not be displayed.

本実施形態において会議の参加者は6名いるが、このうち1番目の参加者が発言の意志を表明したいものとする。このとき1番目の参加者は自身の操作するクライアント2を用いて挙手ボタン105を押下(マウスクリックまたはタッチパネル操作)する。 In this embodiment, there are six participants in the conference, and it is assumed that the first participant wants to express his / her will to speak. At this time, the first participant presses the raise hand button 105 (mouse click or touch panel operation) using the client 2 operated by the first participant.

すると、1番目の参加者の顔画像表示エリアF-1の枠線が太い点線表示107に変わり他の参加者との差別化が図られるので、他の参加者は1番目の参加者が発言をしたがっていることを画像から認識することができる。 Then, the frame line of the face image display area F-1 of the first participant changes to the thick dotted line display 107, and differentiation from other participants is achieved. Therefore, the first participant speaks to the other participants. You can recognize from the image that you want to.

なお、このような挙手ボタン105の操作に応じた画面遷移は1番目の参加者以外の参加者のクライアント2上で生じることとしても良い。 It should be noted that such a screen transition corresponding to the operation of the hand raising button 105 may occur on the client 2 of a participant other than the first participant.

ここでは顔画像表示エリアの枠線を変更することで表示上の差別化を図っているが、差別化ができれば他の表現方法でもよい。例えば顔写真に重畳して「挙手」を模したイラストアイコンを表示してもよい。 Here, the frame line of the face image display area is changed to differentiate the display, but if it can be differentiated, other expression methods may be used. For example, an illustration icon imitating a "raised hand" may be displayed by superimposing it on a face photograph.

また、発言の意志表明は複数の参加者が同時に行ってもよい。図5では1番目の参加者と5番目の参加者の2名が発言の意志を表明した「発言待ち」状態を示している。 In addition, a plurality of participants may express their intention to speak at the same time. FIG. 5 shows a “waiting for speech” state in which two participants, the first participant and the fifth participant, have expressed their intention to speak.

さらに、本実施形態の遠隔会議システムでは参加者が発言の意志を表明してからの経過時間に関する情報を、発言要求をしたユーザーに対応付けて表示する。このため、本実施形態の遠隔会議システムでは、参加者によって挙手ボタン105が操作されてからの経過時間を計測部10が計測する。計測部10で計測された経過時間は、各クライアントにデータとして送信される。 Further, in the remote conference system of the present embodiment, information on the elapsed time since the participant expresses his / her intention to speak is displayed in association with the user who requested the speech. Therefore, in the remote conference system of the present embodiment, the measuring unit 10 measures the elapsed time from the operation of the hand raising button 105 by the participants. The elapsed time measured by the measuring unit 10 is transmitted as data to each client.

図5におけるインジケーター108は、参加者が挙手ボタン105を操作してからの経過時間を表している。インジケーター108は、経過時間が長くなるほどその高さが高くなるように表示される。例えば、棒グラフの積み上げブロックの1個が10秒を表すとすると、図5の例では経過時間は30秒以上40秒未満ということがわかる。同様に、5番目の参加者の棒グラフから、経過時間は10秒以上、20秒未満ということがわかる。つまり、本実施形態に示したGUIによれば、1番目の参加者は挙手ボタンを押してから30秒程度経っており、5番目の参加者は挙手ボタンを押してから10秒程度経っている、ということが参加者にとって一目で理解できるようになる。 The indicator 108 in FIG. 5 represents the elapsed time since the participant operated the hand raising button 105. The indicator 108 is displayed so that its height increases as the elapsed time increases. For example, if one of the stacked blocks of the bar graph represents 10 seconds, it can be seen that the elapsed time is 30 seconds or more and less than 40 seconds in the example of FIG. Similarly, from the bar graph of the fifth participant, it can be seen that the elapsed time is 10 seconds or more and less than 20 seconds. That is, according to the GUI shown in the present embodiment, about 30 seconds have passed since the first participant pressed the raised hand button, and about 10 seconds have passed since the fifth participant pressed the raised hand button. Participants will be able to understand at a glance.

なお、ここでは経過時間を棒グラフで表示しているが、経過時間が判別できるのであれば別の表示手段でも構わない。例えば顔写真に重畳して経過時間を数字で表示するのでもよい。よりグラフィカルに、「顔」アイコンの表情変化で経過時間を表現してもよい。例えば、経過時間が長くなるにつれて、「顔」アイコンをイライラした表情や、立腹しているような表情に変化させても良い。その他、色の濃さで経過時間を表示することもできる。 Although the elapsed time is displayed as a bar graph here, another display means may be used as long as the elapsed time can be determined. For example, the elapsed time may be displayed numerically by superimposing it on the face photograph. More graphically, the elapsed time may be expressed by changing the facial expression of the "face" icon. For example, as the elapsed time increases, the "face" icon may be changed to a frustrated or angry expression. In addition, the elapsed time can be displayed by the color depth.

さらに、発言待ちの経過時間(「挙手」ボタンを押下してからの経過時間)があらかじめ定めた基準時間を超過した場合、時間超過状態であることを示しても良い。具体的には時間超過となった参加者の顔画像表示エリアの枠線が点滅したり、顔画像表示エリア全体が赤く着色されたりする。こうすることで、その参加者が長時間発言を待っているということをより明瞭に示すことができる。 Further, when the elapsed time of waiting for speech (the elapsed time after pressing the "raise hand" button) exceeds a predetermined reference time, it may indicate that the time has been exceeded. Specifically, the frame line of the face image display area of the participant who has exceeded the time may blink, or the entire face image display area may be colored red. By doing this, it is possible to more clearly show that the participant has been waiting for a speech for a long time.

このように、本実施形態では単に「発言待ち」状態を示すだけでなく、その人が「発言待ち」の状態になってからの経過時間に関する情報が各参加者に共有される。このため、次に誰が発言すべきか、そろそろ発言者を切り替えるべきかどうか、など会議の議事進行の判断を促すことができる。すなわち、本実施形態の遠隔会議システムは、「発言待ち」の状態になってからの経過時間に関する情報を各参加者に共有することによって、参加者による円滑な発言を支援することができるのである。 As described above, in the present embodiment, not only the "waiting for speech" state is shown, but also the information regarding the elapsed time since the person is in the "waiting for speech" state is shared with each participant. For this reason, it is possible to prompt the decision on the proceedings of the meeting, such as who should speak next and whether the speaker should be switched soon. That is, the remote conference system of the present embodiment can support smooth speech by the participants by sharing information on the elapsed time from the state of "waiting for speech" to each participant. ..

次に上述した本実施形態の遠隔会議システムを実現するための遠隔会議サーバー1側および遠隔会議クライアント2側での処理について説明する。 Next, the processing on the remote conference server 1 side and the remote conference client 2 side for realizing the remote conference system of the present embodiment described above will be described.

図6は各参加者が発言意思を表明または取下げる際にクライアント2で行われる処理を説明するフローチャートである。図中の「S」はステップ(工程)を表している。本フローチャートに係る処理は遠隔会議システムを構成するコンピュータに実行されるプログラムとして実現することができる。 FIG. 6 is a flowchart illustrating a process performed by the client 2 when each participant expresses or withdraws his / her intention to speak. "S" in the figure represents a step (process). The process according to this flowchart can be realized as a program executed by the computer constituting the remote conference system.

なお、以下の説明で「フラグ」という用語が繰り返し出てくるが、これは真か偽かといった2種類の状態を表す2値の変数を意味する。ここではON(1)とOFF(0)の2種類の値を有する。例えば、クライアントが自らの発言を待っている状態は「発言待ち」フラグ=ONで表し、特に発言を待っていない状態は「発言待ち」フラグ=OFFというように表す。以下の処理においてこれらのフラグの値の設定はパラメータ操作部7やパラメータ操作部13で行われ、これらのフラグの値の判別はパラメータ判別部8やパラメータ判別部14で行われる。 In the following explanation, the term "flag" is used repeatedly, which means a binary variable representing two types of states such as true or false. Here, it has two types of values, ON (1) and OFF (0). For example, the state in which the client is waiting for his / her own remark is represented by the “waiting for remark” flag = ON, and the state in which the client is not waiting for remark is represented as the “waiting for remark” flag = OFF. In the following processing, the setting of the values of these flags is performed by the parameter operation unit 7 and the parameter operation unit 13, and the determination of the values of these flags is performed by the parameter determination unit 8 and the parameter determination unit 14.

図6(a)は参加者が発言意思を表明したい場合にクライアント2で行われる処理である。図6(a)の処理は、参加者が画面上の挙手ボタン105を押下したタイミングから開始される(S101)。 FIG. 6A is a process performed by the client 2 when the participant wants to express his / her intention to speak. The process of FIG. 6A is started from the timing when the participant presses the hand raising button 105 on the screen (S101).

S102では、パラメータ判別部14が現在のクライアント2における発言待ちフラグの状態を判断する。発言待ちフラグがOFFであった場合にはS103に進み、発言待ちフラグがONであった場合にはS104に進む。S104に進んだ場合、二重処理の防止のために特になにもせず処理を終了する。 In S102, the parameter determination unit 14 determines the state of the speech waiting flag in the current client 2. If the speech waiting flag is OFF, the process proceeds to S103, and if the speech waiting flag is ON, the process proceeds to S104. If the process proceeds to S104, the process is terminated without doing anything in order to prevent the double process.

S103では、パラメータ操作部13は発言待ちフラグをONに変更する。 In S103, the parameter operation unit 13 changes the speech waiting flag to ON.

S105では、クライアント2はデータ送受信部12を介して発言待ちフラグの状態を表す信号(データ)をサーバー1へ送信する。 In S105, the client 2 transmits a signal (data) indicating the state of the speech waiting flag to the server 1 via the data transmission / reception unit 12.

図6(b)は発言意思を表明した参加者が発言意思を取り下げる場合にクライアント2で行われる処理である。図6(b)の処理は、参加者が画面上のキャンセルボタン106を押下したタイミングから開始される(S201)。 FIG. 6B is a process performed by the client 2 when the participant who has expressed his / her intention to speak withdraws his / her intention to speak. The process of FIG. 6B is started from the timing when the participant presses the cancel button 106 on the screen (S201).

S202では、パラメータ判別部14が現在のクライアント2における発言待ちフラグの状態を判断する。発言待ちフラグがONであった場合にはS203に進み、発言待ちフラグがOFFであった場合にはS204に進む。S204に進んだ場合、二重処理の防止のために特になにもせず処理を終了する。 In S202, the parameter determination unit 14 determines the state of the speech waiting flag in the current client 2. If the speech waiting flag is ON, the process proceeds to S203, and if the speech waiting flag is OFF, the process proceeds to S204. If the process proceeds to S204, the process is terminated without doing anything in order to prevent the double process.

S203では、パラメータ操作部13は発言待ちフラグをOFFに変更する。 In S203, the parameter operation unit 13 changes the speech waiting flag to OFF.

S205では、クライアント2はデータ送受信部12を介して発言待ちフラグの状態を表す信号(データ)をサーバー1へ送信する。 In S205, the client 2 transmits a signal (data) indicating the state of the speech waiting flag to the server 1 via the data transmission / reception unit 12.

図6(a)(b)に示す処理により、遠隔会議の参加者はクライアント2を介して発言意思の表明あるいは取下げをすることが可能となる。 By the process shown in FIGS. 6 (a) and 6 (b), the participants of the remote conference can express or withdraw their intention to speak through the client 2.

図7は発言待ちフラグに関するサーバー1側の処理を表したものである。図7の処理はサーバー1がクライアント2からの発言待ちフラグ信号を受信したタイミングから開始される(S301)。 FIG. 7 shows the processing on the server 1 side regarding the speech waiting flag. The process of FIG. 7 is started from the timing when the server 1 receives the speech waiting flag signal from the client 2 (S301).

S302では、サーバー1はS301で取得した発言待ちフラグ信号を送信しているクライアントNo.を取得する。ここではクライアントNo.としてnを取得したとする。 In S302, the server 1 sends the client No. 1 that is transmitting the speech waiting flag signal acquired in S301. To get. Here, the client No. It is assumed that n is acquired as.

S303では、サーバー1のパラメータ判別部8は、受信した発言待ちフラグの値をチェックする。発言待ちフラグがONの場合にはS304に、OFFの場合にはS309に進む。 In S303, the parameter determination unit 8 of the server 1 checks the value of the received speech waiting flag. If the speech waiting flag is ON, the process proceeds to S304, and if it is OFF, the process proceeds to S309.

S304ではサーバー1のパラメータ判別部8がクライアントNo.=nのクライアントの前回の発言待ちフラグの状態をチェックする。前回の発言待ちフラグの状態がOFFであった場合にはS305に、ONであった場合にはS306に進む。 In S304, the parameter determination unit 8 of the server 1 is the client No. Check the status of the previous speech waiting flag of the client with = n. If the state of the previous speech waiting flag is OFF, the process proceeds to S305, and if it is ON, the process proceeds to S306.

S305ではサーバー1がクライアントNo.=nのクライアントの待ち時間に関連する処理を開始する。待ち時間に関連する処理とは、例えば待ち時間の計測や、待ち時間が規定の時間を超過していなかどうかのチェックが含まれ得る。待ち時間に関連する処理の詳細については後述する。 In S305, the server 1 is the client No. = Start the process related to the waiting time of the client of n. The processing related to the waiting time may include, for example, measuring the waiting time and checking whether the waiting time exceeds the specified time. The details of the processing related to the waiting time will be described later.

S307では、サーバー1のパラメータ操作部7がクライアントNo.=nのクライアントの発言待ち表示フラグをONに設定する。 In S307, the parameter operation unit 7 of the server 1 is the client No. = Set the client's waiting display flag of n to ON.

一方、S304からS306に進んだ場合には、サーバー1は既に過去に開始されているクライアントNo.=nのクライアントの待ち時間に関連する処理を継続する。 On the other hand, when proceeding from S304 to S306, the server 1 has already started the client No. 1 in the past. = Continue processing related to the client wait time of n.

また、S303がNoである場合、S309ではサーバー1はクライアントNo.=nのクライアントの待ち時間に関連する処理を終了する。 Further, when S303 is No, in S309, the server 1 is the client No. = Ends the process related to the waiting time of the client of n.

S310ではサーバー1のパラメータ操作部7はクライアントNo.=nのクライアントの発言待ち表示フラグをOFFに設定する。 In S310, the parameter operation unit 7 of the server 1 is the client No. = Set the client's waiting display flag of n to OFF.

S308では、サーバー1はデータ送受信部6を用いて各クライアントの発言待ち表示フラグの情報と、発言待ち時間の情報をクライアントに送信する。すなわち、サーバー1は各クライアントに対して、どのクライアントを発言待ち表示すれば良いか、クライアントが発言待ち状態となってからどれくらいの時間が経過したか、という情報を送信する。S308ではサーバー1は全クライアントに対してこの情報を送信しても良いし、クライアントNo.=nのクライアント以外のクライアントに対してのみ送信しても良い。また、S308で送信する情報に後述する待ち時間超過表示フラグの情報を含めても良い。 In S308, the server 1 uses the data transmission / reception unit 6 to transmit the information of the speech waiting display flag of each client and the information of the speech waiting time to the client. That is, the server 1 transmits to each client information as to which client should be displayed in the waiting state and how long has passed since the client was in the waiting state. In S308, the server 1 may transmit this information to all clients, and the client No. It may be transmitted only to clients other than the client of = n. Further, the information of the waiting time excess display flag described later may be included in the information transmitted in S308.

図8は、発言待ちに関する情報をサーバー1から取得したクライアントが、表示画面を変更する際の処理を示したフローチャートである。図8の処理はクライアント2がサーバー1からの発言待ち表示フラグ情報を受信したタイミングから開始される(S401)。発言待ち表示フラグ情報はクライアント2に対して参加者による発言要求に関する情報として機能する。 FIG. 8 is a flowchart showing a process when a client who has acquired information on waiting for speech from the server 1 changes the display screen. The process of FIG. 8 is started from the timing when the client 2 receives the speech waiting display flag information from the server 1 (S401). The speech waiting display flag information functions as information regarding a speech request by a participant to the client 2.

S402ではクライアント2はS401で取得した発言待ち表示フラグ情報がどのクライアントのものかを確認する。ここでは、受信した発言待ち表示フラグ情報がクライアントNo.=mのものであったとする。 In S402, the client 2 confirms which client the speech waiting display flag information acquired in S401 belongs to. Here, the received speech waiting display flag information is the client No. = M.

S403ではクライアント2のパラメータ判別部14がS401で受信した発言待ち表示フラグをチェックする。発言待ち表示フラグがONである場合にはS404に進み、OFFである場合にはS405に進む。 In S403, the parameter determination unit 14 of the client 2 checks the speech waiting display flag received in S401. If the waiting display flag is ON, the process proceeds to S404, and if it is OFF, the process proceeds to S405.

S404において、クライアント2の表示制御部15は、クライアントNo.=mのクライアントが発言待ち状態であることを示す表示となるように情報出力装置4-1の表示を制御する。発言待ち状態であることを示す表示とは、例えば図5で説明したように、顔画像表示エリアの枠線を他のユーザーと異ならせ、そのユーザーが発言待ち状態となってからの経過時間を示すインジケーターを示した表示であり得る。ここで、クライアント2が後述する待ち時間超過フラグの情報をサーバー1から受信していた場合、クライアント2はクライアントNo.=mのクライアントに対する待ち時間超過表示をさらに行っても良い。待ち時間超過表示とは例えば顔画像表示エリアの枠線を点滅させる表示等であり得る。 In S404, the display control unit 15 of the client 2 is the client No. The display of the information output device 4-1 is controlled so that the display indicates that the client with = m is in the waiting state. The display indicating that the user is in the waiting state is, for example, as described in FIG. 5, the elapsed time since the user is in the waiting state by making the frame line of the face image display area different from that of other users. It can be a display showing an indicator. Here, when the client 2 has received the information of the waiting time excess flag described later from the server 1, the client 2 has the client No. The waiting time excess display for the client of = m may be further performed. The waiting time excess display may be, for example, a display in which the frame line of the face image display area is blinked.

一方、S405では、クライアント2の表示制御部15はクライアントNo.=mのクライアントが発言待ち状態であることを示す表示を終了する。すなわち、顔画像表示エリアの強調や待ち時間のインジケーターの表示が解除される。 On the other hand, in S405, the display control unit 15 of the client 2 has the client No. = Ends the display indicating that the client with m is waiting for speech. That is, the emphasis of the face image display area and the display of the waiting time indicator are canceled.

次に、図7のS305で行われる待ち時間に関連する処理について図9を用いて説明する。図9に示す処理は図7におけるS303、S305、S309で行われる処理と実質的に等価である。 Next, the process related to the waiting time performed in S305 of FIG. 7 will be described with reference to FIG. The process shown in FIG. 9 is substantially equivalent to the process performed in S303, S305, and S309 in FIG. 7.

S502はS303と実質的に等価である。 S502 is substantially equivalent to S303.

S503では、サーバー1の計測部10が待ち時間関連処理が開始してから現在までの経過時間(すなわちクライアントの待ち時間)を取得(計測)する。 In S503, the measurement unit 10 of the server 1 acquires (measures) the elapsed time (that is, the waiting time of the client) from the start of the waiting time-related processing to the present.

S505では、サーバー1はS503で取得した待ち時間が予め設定された基準時間を超過しているか否か判断する。超過している場合にはS506に進み、超過していない場合にはS507に進む。 In S505, the server 1 determines whether or not the waiting time acquired in S503 exceeds the preset reference time. If it is exceeded, the process proceeds to S506, and if it is not exceeded, the process proceeds to S507.

S506ではサーバー1のパラメータ操作部7は待ち時間超過表示フラグをONに設定する。 In S506, the parameter operation unit 7 of the server 1 sets the waiting time excess display flag to ON.

一方S507ではサーバー1のパラメータ操作部7は待ち時間超過表示フラグをOFFに設定する。 On the other hand, in S507, the parameter operation unit 7 of the server 1 sets the waiting time excess display flag to OFF.

S508はS308と実質的に等価としても良いし、S308とは別の制御周期で行われるようにしても良い。S508においてサーバー1は各クライアントに対してクライアントNo.=nの待ち時間および待ち時間超過表示フラグの情報を送信する。 S508 may be substantially equivalent to S308, or may be performed in a control cycle different from that of S308. In S508, the server 1 has the client No. 1 for each client. = N Wait time and wait time excess display flag information is transmitted.

その後S502に戻り、クライアントNo.=nのクライアントの発言待ちフラグがOFFとなるまで上述の処理を繰り返す。 After that, the process returns to S502, and the client No. The above process is repeated until the speech waiting flag of the client with = n is turned off.

S504はS309と実質的に等価である。サーバー1はS503の待ち時間計測を停止する。 S504 is substantially equivalent to S309. The server 1 stops the waiting time measurement of S503.

本実施形態では、以上のような処理により「発言待ち」状態の可視化を行っている。これにより、円滑な遠隔会議(例えば参加者全員が十分な発言機会を得ること)を行えるように支援することが可能となる。 In the present embodiment, the "waiting for speech" state is visualized by the above processing. This makes it possible to support smooth remote conferences (for example, all participants have sufficient opportunities to speak).

なお、本実施形態のサーバー1は音声解析部9を備えて構成されている。音声解析部9はどのクライアントが現在発言しているか把握する機能を有する。このため、発言待ち状態のクライアントがキャンセルボタン106を操作することなく発言を開始したと判断した場合には、パラメータ操作部7が当該クライアントの発言待ちフラグをONからOFFに変更する割り込み処理を行っても良い。これにより、各クライアントにおける発言待ち状態の解除のための操作負荷を減らすことができる。 The server 1 of the present embodiment is configured to include a voice analysis unit 9. The voice analysis unit 9 has a function of grasping which client is currently speaking. Therefore, when it is determined that the client in the speech waiting state has started speaking without operating the cancel button 106, the parameter operation unit 7 performs an interrupt process for changing the speech waiting flag of the client from ON to OFF. May be. As a result, it is possible to reduce the operation load for canceling the speech waiting state in each client.

さらに、本実施形態では音声解析部9をサーバー1に設ける例について述べたが、音声解析部9の機能をクライアント2に設けても良い。この場合、発言待ち状態のクライアントがキャンセルボタン106を操作することなく発言を開始した場合、クライアント2は図6(b)の処理を開始しても良い。このように音声解析部9をクライアント2側に設けることで、サーバー1の処理負荷を減じることができる。 Further, in the present embodiment, the example in which the voice analysis unit 9 is provided in the server 1 has been described, but the function of the voice analysis unit 9 may be provided in the client 2. In this case, if the client waiting to speak starts speaking without operating the cancel button 106, the client 2 may start the process of FIG. 6B. By providing the voice analysis unit 9 on the client 2 side in this way, the processing load of the server 1 can be reduced.

また、本実施形態では計測部10をサーバー1側に設けているが、クライアント2側に設けてデータ送受信部12が計測部10による計測結果をサーバー1に送信するようにしても良い。これによってもサーバー1の処理負荷を減じることができる。 Further, although the measurement unit 10 is provided on the server 1 side in the present embodiment, the measurement unit 10 may be provided on the client 2 side so that the data transmission / reception unit 12 transmits the measurement result by the measurement unit 10 to the server 1. This can also reduce the processing load of the server 1.

[変形例]
次に上述した本実施形態の変形例について説明する。本変形例では、上述した発言待ちの表示に加えて発言継続中の表示を行う。
[Modification example]
Next, a modified example of the present embodiment described above will be described. In this modification, in addition to the above-mentioned display of waiting for remarks, the display of continuous remarks is performed.

図10は発言待ちの表示に加えて発言継続中の表示を行った例を示す図である。 FIG. 10 is a diagram showing an example in which, in addition to the display of waiting for speech, the display of continuous speech is performed.

図10に示す例では、6番目の参加者はサーバー1の音声解析部9により「発言中」と判定されている。この時、6番目の参加者の顔写真表示エリアF-6の枠線は太い実線表示109に変わり他の参加者との差別化が図られる。他の参加者は6番目の参加者が発言中であることを画像からも認識することができる。 In the example shown in FIG. 10, the sixth participant is determined to be "speaking" by the voice analysis unit 9 of the server 1. At this time, the frame line of the 6th participant's face photo display area F-6 is changed to a thick solid line display 109 to differentiate from other participants. Other participants can also recognize from the image that the sixth participant is speaking.

なお、図10に示す例では顔画像表示エリアの枠線を変更することで表示上の差別化を図っているが、差別化ができれば他の表現方法でもよい。例えば顔写真に重畳して「唇」を模したイラストアイコンを表示してもよい。 In the example shown in FIG. 10, the frame line of the face image display area is changed to differentiate the display, but other expression methods may be used as long as the differentiation can be achieved. For example, an illustration icon imitating "lips" may be displayed by superimposing it on a face photograph.

また、音声解析部9によって発言中と判断された参加者について、計測部10は発言の継続時間を計測する。計測部10による計測は音声解析部9によって発言中と判断されている間中継続して行われる。 Further, the measuring unit 10 measures the duration of the speech for the participants determined by the voice analysis unit 9 to be speaking. The measurement by the measuring unit 10 is continuously performed while the voice analysis unit 9 determines that the voice is being spoken.

計測部10によって計測された発言の継続時間は、インジケーター110のように可視化される。 The duration of the remark measured by the measuring unit 10 is visualized like the indicator 110.

なお、ここでは発言継続時間を棒グラフ様のインジケーター110で表示しているが、発言の継続時間が判別できるのであれば別の表示でも良い。例えば顔写真に重畳して発言継続時間を数字で表示しても良い。また、発言中を示すアイコン(例えば「唇」を模したイラストアイコン)の大きさを徐々に大きくしていくような表現でもよい。 Here, the duration of speech is displayed by the bar graph-like indicator 110, but another display may be used as long as the duration of speech can be determined. For example, the duration of speech may be displayed numerically by superimposing it on a face photograph. Further, the size of the icon indicating that the person is speaking (for example, an illustration icon imitating "lips") may be gradually increased.

さらに、発言の継続時間があらかじめ定めた基準時間を超過した場合、時間超過状態であることを示しても良い。具体的には時間超過となった参加者の顔画像表示エリアの枠線が点滅したり、顔画像表示エリア全体が赤く着色されたりしても良い。こうすることで、その参加者が長時間発言を継続しているということを明瞭に表すことができる。 Further, when the duration of speech exceeds a predetermined reference time, it may indicate that the time has been exceeded. Specifically, the frame line of the face image display area of the participant who has exceeded the time may blink, or the entire face image display area may be colored red. By doing this, it can be clearly shown that the participant has been speaking for a long time.

このように参加者が発言をどの程度継続しているかという情報を視覚的に参加者に提示することで、円滑な遠隔会議(例えば参加者全員が十分な発言機会を得ること)の進行を支援することが可能となる。 By visually presenting information to participants on how long they continue to speak in this way, it supports the smooth progress of remote conferences (for example, all participants have sufficient opportunities to speak). It becomes possible to do.

次に、上述した本変形例の表示を行うためのサーバー1側での処理について説明する。 Next, the process on the server 1 side for displaying the above-described modified example will be described.

図11はクライアントが発言中か否かを判別するために一定の周期毎に行われる処理である。 FIG. 11 is a process performed at regular intervals to determine whether or not the client is speaking.

S601では、サーバー1の音声解析部9はデータ送受信部6を介して取得した各クライアントの音声情報の解析を開始する。 In S601, the voice analysis unit 9 of the server 1 starts the analysis of the voice information of each client acquired via the data transmission / reception unit 6.

S602では、サーバー1は発言中のクライアントが居るか否か判断する。発言中のクライアントが居る場合にはS603に進み、いない場合にはS604に進む。 In S602, the server 1 determines whether or not there is a client who is speaking. If there is a speaking client, the process proceeds to S603, and if not, the process proceeds to S604.

S603では、サーバー1は発言中のクライアントのクライアントNo.を取得する。ここでは、クライアントNo.=pのクライアントが発言を行っているとする。 In S603, the server 1 is the client No. of the client who is speaking. To get. Here, the client No. It is assumed that the client of = p is speaking.

S605では、サーバー1のパラメータ判別部8がクライアントNo.=pのクライアントの前回の発言継続中表示フラグの状態をチェックする。前回の発言継続中表示フラグの状態がOFFであった場合にはS606に、ONであった場合にはS608に進む。 In S605, the parameter determination unit 8 of the server 1 is the client No. = Check the status of the client's previous remark ongoing display flag of p. If the state of the previous remark continuous display flag is OFF, the process proceeds to S606, and if it is ON, the process proceeds to S608.

S606では、サーバー1のパラメータ操作部7がクライアントNo.=pのクライアントに対して発言継続中表示フラグをONに設定する。 In S606, the parameter operation unit 7 of the server 1 is the client No. = Set the continuous speech display flag to ON for the client with p.

S607では、サーバー1の計測部10はクライアントNo.=pのクライアントの発言継続時間の計測を開始する。 In S607, the measurement unit 10 of the server 1 is the client No. = Start measuring the duration of the client's remarks at p.

一方、S608では、サーバー1の計測部10はクライアントNo.=pのクライアントの発言継続時間の計測を継続する。 On the other hand, in S608, the measurement unit 10 of the server 1 is the client No. = Continue measuring the client's remark duration of p.

S609では、サーバー1は計測部10によって計測された発言継続時間が、予め設定された基準の時間を超過しているか否か判定する。超過している場合にはS610に進み、超過していない場合にはS611に進む。 In S609, the server 1 determines whether or not the speech duration measured by the measuring unit 10 exceeds a preset reference time. If it is exceeded, the process proceeds to S610, and if it is not exceeded, the process proceeds to S611.

S610では、パラメータ操作部7はクライアントNo.=pのクライアントに対して発言継続時間の超過表示フラグをONに設定する。 In S610, the parameter operation unit 7 is the client No. = Set the overtime display flag for the duration of speech to ON for the client with p.

S611では、パラメータ操作部7はクライアントNo.=pのクライアントに対して発言継続時間の超過表示フラグをOFFに設定する。 In S611, the parameter operation unit 7 is the client No. = Set the overtime display flag for the duration of speech to OFF for the client with p.

S602においてNoと判断された場合、S604ではサーバー1のパラメータ操作部7はクライアントNo.=pのクライアントに対して発言継続中表示フラグをOFFに設定する。 When No is determined in S602, in S604, the parameter operation unit 7 of the server 1 is the client No. = Set the continuous speech display flag to OFF for the client with p.

S612では、サーバー1の計測部10は発言継続時間の計測を停止する。 In S612, the measurement unit 10 of the server 1 stops the measurement of the speech duration.

S613では、サーバー1のパラメータ操作部7はクライアントNo.=pのクライアントに対しての発言継続時間の超過表示フラグをOFFに設定する。 In S613, the parameter operation unit 7 of the server 1 is the client No. = Set the excess display flag of the duration of speech to the client of p to OFF.

S614では、サーバー1は各クライアントに対して、クライアントNo.=pのクライアントの発言継続時間に関する関連情報(発言継続中表示フラグ、発言継続時間、超過表示フラグを含む)を送信する。 In S614, the server 1 has a client number for each client. = Sends related information about the client's speech duration (including the speech continuation display flag, speech duration, and excess display flag).

図12は、発言継続時間に関する関連情報をサーバー1から取得したクライアントが、表示画面を変更する際の処理を示したフローチャートである。図12の処理はクライアント2がサーバー1からの発言継続時間に関する関連情報を受信したタイミングから開始される(S701)。 FIG. 12 is a flowchart showing a process when a client who has acquired related information regarding the duration of speech from the server 1 changes the display screen. The process of FIG. 12 is started from the timing when the client 2 receives the related information regarding the speech duration from the server 1 (S701).

S702では、ではクライアント2はS701で取得した発言継続時間に関する関連情報がどのクライアントのものかを確認する。ここでは、ここでは受信した発言待ち表示フラグ情報がクライアントNo.=qのものであったとする。 In S702, the client 2 confirms which client has the related information regarding the speech duration acquired in S701. Here, the received speech waiting display flag information is the client No. It is assumed that = q.

S703では、クライアント2のパラメータ判別部14がS701で受信した発言継続中表示フラグをチェックする。発言継続中表示フラグがOFFである場合にはS704に進む。 In S703, the parameter determination unit 14 of the client 2 checks the continuous speech display flag received in S701. If the continuous speech display flag is OFF, the process proceeds to S704.

S704では、クライアント2はクライアントNo.=qのクライアントに対する発言継続中表示をOFFにする。そして、S705ではクライアント2はクライアントNo.=qのクライアントに対する発言継続時間のインジケーター表示をOFFにする。 In S704, the client 2 is the client No. = Turn off the continuous display for the client with q. Then, in S705, the client 2 is the client No. Turn off the indicator display of the duration of speech to the client with = q.

一方、S703で発言継続中表示フラグがONであった場合、S706に進む。 On the other hand, if the continuous speech display flag is ON in S703, the process proceeds to S706.

S706では、クライアント2の表示制御部15は、クライアントNo.=qのクライアントが発言継続中であることを示す表示となるように情報出力装置4-1の表示を制御する。発言継続中であることを示す表示とは、例えば図5で説明したように、顔画像表示エリアの枠線を他のユーザーと異ならせた表示であり得る。 In S706, the display control unit 15 of the client 2 has the client No. The display of the information output device 4-1 is controlled so that the display indicating that the client with = q is continuing to speak is displayed. The display indicating that the speech is being continued may be a display in which the frame line of the face image display area is different from that of other users, for example, as described with reference to FIG.

S707では、クライアント2の表示制御部15は、クライアントNo.=qのクライアントの発言継続時間が示されるように情報出力装置4-1の表示を制御する。例えば、クライアントNo.=qのユーザーが発言継続中となってからの経過時間を示すインジケーターを表示させる。 In S707, the display control unit 15 of the client 2 has the client No. The display of the information output device 4-1 is controlled so that the speech duration of the client with = q is shown. For example, the client No. = Display an indicator showing the elapsed time since the user of q has been speaking continuously.

S708では、クライアント2のパラメータ判別部14はクライアントNo.=qのクライアントの発言待ち表示フラグがONであるか否かを判断する。ここでは発言待ち表示フラグに代えて発言待ちフラグの状態を判断しても良い。クライアントNo.=qのクライアントの発言待ち表示フラグがONであった場合、S709に進み、OFFであった場合にはS711に進む。 In S708, the parameter determination unit 14 of the client 2 is the client No. It is determined whether or not the message waiting display flag of the client with = q is ON. Here, the state of the speech waiting flag may be determined instead of the speech waiting display flag. Client No. If the message waiting display flag of the client with = q is ON, the process proceeds to S709, and if it is OFF, the process proceeds to S711.

S709では、クライアント2のパラメータ操作部13はクライアントNo.=qのクライアントの発言待ち表示フラグをOFFに設定する。なお、サーバー1が発言中のクライアントに対して発言待ち表示フラグをOFFにするような処理を行う場合にはS709は行わなくても良い。 In S709, the parameter operation unit 13 of the client 2 is the client No. = Set the client's waiting display flag of q to OFF. Note that S709 may not be performed when the server 1 performs a process of turning off the speech waiting display flag for the client who is speaking.

S710では、クライアント2の表示制御部15はクライアントNo.=qのクライアントの発言待ち表示を終了する。 In S710, the display control unit 15 of the client 2 has the client No. = Ends the client's waiting display for speech.

S711では、クライアント2のパラメータ判別部14はクライアントNo.=qのクライアントの発言継続時間の超過表示フラグがONか否か判断する。 In S711, the parameter determination unit 14 of the client 2 is the client No. = It is determined whether or not the excess display flag of the client's remark duration of q is ON.

S712ではクライアント2の表示制御部15はクライアントNo.=qのクライアントに対して発言継続時間の超過表示をONにする。S712ではクライアント2の表示制御部15はクライアントNo.=qのクライアントに対して発言継続時間の超過表示をOFFにする。 In S712, the display control unit 15 of the client 2 is the client No. Turn on the display of excess of speech duration for clients with = q. In S712, the display control unit 15 of the client 2 is the client No. Turn off the display of excess of speech duration for clients with = q.

以上の処理により、参加者が発言をどの程度継続しているかという情報を視覚的に参加者に提示することが可能となる。これによって、さらに円滑な遠隔会議(例えば参加者全員が十分な発言機会を得ること)の進行を支援することが可能となる。 Through the above processing, it is possible to visually present to the participant information on how long the participant continues to speak. This makes it possible to support the smooth progress of remote conferences (for example, all participants have sufficient opportunities to speak).

以上、本発明の好ましい実施形態およびその変形例について説明したが、本発明はこれらの形態に限定されず、その要旨の範囲内で種々の組合せ、変形及び変更が可能である。 Although the preferred embodiments of the present invention and examples of modifications thereof have been described above, the present invention is not limited to these embodiments, and various combinations, modifications and modifications can be made within the scope of the gist thereof.

2、2-1、2-2 クライアント(電子機器)
15 表示制御部(制御手段)
12 データ送受信部(取得手段)
2,2-1, 2-2 Client (electronic device)
15 Display control unit (control means)
12 Data transmission / reception unit (acquisition means)

Claims (10)

複数のユーザー間での遠隔会議に用いられる電子機器であって、
表示部の表示を制御する制御手段と、
前記遠隔会議における各ユーザーの発言要求に関する情報を取得する取得手段と、
を有し、
前記制御手段は、前記取得手段が前記発言要求に関する情報を取得した場合、前記発言要求をしたユーザーと、該ユーザーが前記発言要求をしてからの経過時間に関する情報とが対応付けられて前記表示部に表示されるよう、前記表示部を制御することを特徴とする電子機器。
An electronic device used for remote conferences between multiple users.
Control means to control the display of the display unit,
An acquisition means for acquiring information regarding each user's request for speech in the remote conference, and
Have,
When the acquisition means acquires the information regarding the speech request, the control means displays the user who made the speech request and the information about the elapsed time since the user made the speech request in association with each other. An electronic device characterized in that the display unit is controlled so as to be displayed on the unit.
前記制御手段は、前記発言要求をしてからの経過時間が基準時間を超過した場合に、前記発言要求をしたユーザーに対する表示を変更することを特徴とする請求項1に記載の電子機器。 The electronic device according to claim 1, wherein the control means changes the display to the user who made the speech request when the elapsed time from the speech request exceeds the reference time. 前記電子機器は、外部機器と情報を通信するための送受信部を有し、
前記送受信部は、前記外部機器から送信された前記発言要求に関する情報を受信することを特徴とする請求項1または2に記載の電子機器。
The electronic device has a transmission / reception unit for communicating information with an external device.
The electronic device according to claim 1 or 2, wherein the transmission / reception unit receives information related to the speech request transmitted from the external device.
前記電子機器は、外部機器と情報を通信するための送受信部を有し、
前記送受信部は、前記発言要求に関する情報を前記外部機器に対して送信することを特徴とする請求項1乃至3のいずれか一項に記載の電子機器。
The electronic device has a transmission / reception unit for communicating information with an external device.
The electronic device according to any one of claims 1 to 3, wherein the transmission / reception unit transmits information related to the speech request to the external device.
前記制御手段は、前記発言要求をしたユーザーが発言を開始した場合に前記経過時間に関する情報の表示を終了するように前記表示を制御することを特徴とする請求項1乃至4のいずれか一項に記載の電子機器。 One of claims 1 to 4, wherein the control means controls the display so as to end the display of the information regarding the elapsed time when the user who has made the speech request starts speaking. The electronic device described in. 前記制御手段は、ユーザーが前記発言要求を行うための操作領域を前記表示部に表示するように前記表示部を制御することを特徴とする請求項1乃至5のいずれか一項に記載の電子機器。 The electronic according to any one of claims 1 to 5, wherein the control means controls the display unit so that the operation area for the user to make a speech request is displayed on the display unit. machine. 前記制御手段は、発言中のユーザーと、該ユーザーが前記発言を開始してからの経過時間に関する情報とを対応付けて前記表示部に表示されるよう、前記表示部を制御することを特徴とする請求項1乃至6のいずれか一項に記載の電子機器。 The control means is characterized in that the display unit is controlled so that the user who is speaking and the information regarding the elapsed time since the user starts speaking are displayed on the display unit in association with each other. The electronic device according to any one of claims 1 to 6. 前記制御手段は、前記発言を開始してからの経過時間が基準時間を超過した場合に、前記発言中のユーザーに対する表示を変更することを特徴とする請求項7に記載の電子機器。 The electronic device according to claim 7, wherein the control means changes the display to the user who is speaking when the elapsed time from the start of the speaking exceeds the reference time. 複数のユーザー間での遠隔会議に用いられる電子機器の制御方法であって、
前記遠隔会議における各ユーザーの発言要求に関する情報を取得する工程と、
前記発言要求に関する情報が取得された場合に、前記発言要求をしたユーザーと、該ユーザーが前記発言要求をしてからの経過時間に関する情報とが対応付けられて前記電子機器の表示部に表示されるよう、前記表示部を制御する工程と、
を有することを特徴とする制御方法。
A control method for electronic devices used for remote conferences between multiple users.
The process of acquiring information regarding each user's request for speech in the remote conference, and
When the information regarding the speech request is acquired, the user who made the speech request and the information regarding the elapsed time since the user made the speech request are associated and displayed on the display unit of the electronic device. The process of controlling the display unit and
A control method characterized by having.
複数のユーザー間での遠隔会議に用いられる電子機器に、
前記遠隔会議における各ユーザーの発言要求に関する情報を取得する工程と、
前記発言要求に関する情報が取得された場合に、前記発言要求をしたユーザーと、該ユーザーが前記発言要求をしてからの経過時間に関する情報とが対応付けられて前記電子機器の表示部に表示されるよう、前記表示部を制御する工程と、
を実行させることを特徴とするプログラム。
For electronic devices used for remote conferences between multiple users
The process of acquiring information regarding each user's request for speech in the remote conference, and
When the information regarding the speech request is acquired, the user who made the speech request and the information regarding the elapsed time since the user made the speech request are associated and displayed on the display unit of the electronic device. The process of controlling the display unit and
A program characterized by executing.
JP2020168487A 2020-10-05 2020-10-05 Electronic device, control method, and program Pending JP2022060797A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020168487A JP2022060797A (en) 2020-10-05 2020-10-05 Electronic device, control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020168487A JP2022060797A (en) 2020-10-05 2020-10-05 Electronic device, control method, and program

Publications (1)

Publication Number Publication Date
JP2022060797A true JP2022060797A (en) 2022-04-15

Family

ID=81125120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020168487A Pending JP2022060797A (en) 2020-10-05 2020-10-05 Electronic device, control method, and program

Country Status (1)

Country Link
JP (1) JP2022060797A (en)

Similar Documents

Publication Publication Date Title
JP6992870B2 (en) Information processing systems, control methods, and programs
US10057542B2 (en) System for immersive telepresence
US5491743A (en) Virtual conference system and terminal apparatus therefor
EP0715467B1 (en) Communication conference system and communication conference apparatus
US10586131B2 (en) Multimedia conferencing system for determining participant engagement
JP2014225801A (en) Conference system, conference method and program
JP2007104354A (en) Tv conference system and method, and tv conference terminal device
US20160294892A1 (en) Storage Medium Storing Program, Server Apparatus, and Method of Controlling Server Apparatus
JP2539153B2 (en) Virtual conference system terminal device and virtual conference system
JPH08298653A (en) Video conference system and its terminal equipment
KR20170124758A (en) Method for providing conference service and apparatus thereof
JPH04339484A (en) Remote conference device
JP2022060797A (en) Electronic device, control method, and program
US20230093298A1 (en) Voice conference apparatus, voice conference system and voice conference method
JP5217877B2 (en) Conference support device
JP2009253625A (en) Apparatus, method and program for information collection-video conference implementation control and video conference system
JP2009065336A (en) Video conference system
KR101768364B1 (en) Method of proceedings-defined multi-party teleconference
JP3706660B2 (en) Multipoint communication system and communication terminal device
JP7370545B1 (en) Conference management device, conference management method and program
US20230379435A1 (en) Meeting management apparatus, meeting management method, and non-transitory computer-readable medium
JP2005151002A (en) Remote conference system
US20230100767A1 (en) Information processing device, information processing method, and non-transitory computer readable medium
KR20200112481A (en) Computer program, electronic device, and system for controlling conference
JP7424675B1 (en) Conference server, how the server works, and programs