JP2022060797A - Electronic device, control method, and program - Google Patents
Electronic device, control method, and program Download PDFInfo
- Publication number
- JP2022060797A JP2022060797A JP2020168487A JP2020168487A JP2022060797A JP 2022060797 A JP2022060797 A JP 2022060797A JP 2020168487 A JP2020168487 A JP 2020168487A JP 2020168487 A JP2020168487 A JP 2020168487A JP 2022060797 A JP2022060797 A JP 2022060797A
- Authority
- JP
- Japan
- Prior art keywords
- client
- speech
- display
- user
- electronic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、主として遠隔会議に用いられる電子機器に関する。 The present invention relates mainly to electronic devices used for teleconferencing.
ネットワークを介して行われる遠隔会議を支援するシステムが種々知られている。 Various systems are known to support remote conferences held over a network.
遠隔会議では、対面での会議に比べて発言のタイミングをはかるのが難しい場合があった。 In teleconferencing, it was sometimes more difficult to time the remarks than in face-to-face meetings.
特許文献1には発言意志を通知する手段を設けることによって司会者に対して参加者が発言の意思表示できるようにした遠隔会議システムが開示されている。
しかしながら、特許文献1に開示された発明では、参加者が発言の意思を通知した場合に、その通知がいつされたのかという情報は全く通知されない。それゆえ、発言意思を通知してから長時間待っている参加者と、発言意思を通知して間もない参加者を区別することができなかった。この結果、遠隔会議の支援が不十分となる場合があった。
However, in the invention disclosed in
そこで、本発明は参加者が円滑に発言できるよう支援するための遠隔会議用の電子機器等を提供することを目的とする。 Therefore, an object of the present invention is to provide an electronic device for a remote conference to support participants so that they can speak smoothly.
本発明の電子機器は、複数のユーザー間での遠隔会議に用いられる電子機器であって、表示部の表示を制御する制御手段と、前記遠隔会議における各ユーザーの発言要求に関する情報を取得する取得手段と、を有し、前記制御手段は、前記取得手段が前記発言要求に関する情報を取得した場合、前記発言要求をしたユーザーと、該ユーザーが前記発言要求をしてからの経過時間に関する情報とが対応付けられて前記表示部に表示されるよう、前記表示部を制御することを特徴とする。 The electronic device of the present invention is an electronic device used for a remote conference between a plurality of users, and is a control means for controlling the display of a display unit and acquisition of information regarding a speech request of each user in the remote conference. The control means has means, and when the acquisition means acquires the information regarding the speech request, the user who has made the speech request and the information regarding the elapsed time since the user made the speech request. It is characterized in that the display unit is controlled so that is associated with the display unit and displayed on the display unit.
本発明によれば、参加者が円滑に発言できるよう支援するための遠隔会議用の電子機器等を実現できる。 According to the present invention, it is possible to realize an electronic device for a remote conference for assisting a participant to speak smoothly.
以下、本発明の電子機器を含む遠隔会議システムについて添付の図面に基づいて説明する。なお、各図において同じ構成要素には同一の符号を付し、重複する説明は省略する。 Hereinafter, the remote conference system including the electronic device of the present invention will be described with reference to the accompanying drawings. In each figure, the same components are designated by the same reference numerals, and duplicate description will be omitted.
図1は本実施形態の遠隔会議システムの基本的構成を説明する図である。本実施形態の遠隔会議システムは複数のユーザー間で行われる遠隔会議を実現するためのシステムである。 FIG. 1 is a diagram illustrating a basic configuration of the remote conference system of the present embodiment. The remote conference system of the present embodiment is a system for realizing a remote conference held between a plurality of users.
本実施形態の遠隔会議システムは、システム全体を統合管理する遠隔会議サーバー1と、複数の遠隔会議クライアント(2-1、2-2、・・・)とで構成される。図1にはクライアントは2-1と2-2のみを代表して示しているが、多数のクライアントが遠隔会議システムに参加することができる。以下では遠隔会議システムに参加する各クライアントを代表する1つのクライアントを「クライアント2」と称することがある。
The remote conference system of the present embodiment is composed of a
サーバー1とクライアント2は、ネットワーク5によって接続されており、互いに通信を行うことが可能となっている。サーバー1としては、サーバー用のワークステーションなどが用いられる。クライアント2としては、ネットワーク接続可能なパソコン、スマートフォン、タブレット端末などが用いられる。
The
クライアント2には情報入力装置3と情報出力装置4が接続されており、遠隔会議を行うのに必要な情報を入力したり出力したりすることができる。図1の例では、クライアント2-1には情報入力装置3-1と情報出力装置4-1が接続されており、クライアント2-2には情報入力装置3-2と情報出力装置4-2が接続されている。
An
クライアント2、情報入力装置3、情報出力装置4は一体で構成されていても良いし、別体で構成されていても良い。
The
情報入力装置3としては例えばキーボード、マウス、カメラ、音声マイクなどがある。情報出力装置4としてはディスプレイ、音声スピーカーなどがある。なお、情報出力装置4としてのディスプレイをタッチパネル式のディスプレイを用いて、情報入力装置3としてのキーボードやマウスの機能を兼ね備えさせても良い。
The
図2はクライアント2-1を用いて参加者が遠隔会議に参加している時の具体的状況を示した図である。参加者はこのクライアント2-1に対峙しており、情報入力装置であるカメラ3-1-aで自身の顔を撮影し、顔画像データとしてサーバー1に送信する。また、マイク3-2-bで自身の声を録音し、音声データとしてサーバー1に送信する。情報出力装置であるディスプレイ4-1-aには他の参加者の顔画像や会議用の画像インターフェース情報が表示され、スピーカー4-1-bからは他の参加者の音声データや効果音などが再生される。
FIG. 2 is a diagram showing a specific situation when a participant is participating in a remote conference using client 2-1. Participants face this client 2-1 and take a picture of their own face with the camera 3-1a, which is an information input device, and send it to the
図3は遠隔会議サーバー1が有する演算・処理部を示すブロック図である。図3のブロック図に示す各機能は、サーバー1の有するCPUなどのプロセッサやメモリで構成されるコンピュータにより制御・実行される。
FIG. 3 is a block diagram showing a calculation / processing unit included in the
データ送受信部6は情報ネットワーク5を介してクライアント2とのデータ送受信を行う。パラメータ操作部7は後に示す各種処理において各種パラメータを操作する。パラメータ判別部8は各種パラメータを判別して各種判断を下す。音声解析部9はどのクライアントが現在発言しているか等といった情報を把握するために各クライアントから送られる音声データを解析する。計測部10は所定の指示に従って時間を計測する。表示制御部11は各クライアントに送信するべき遠隔会議の映像や画像に対して処理を行う。
The data transmission /
図4はクライアント2が有する演算・処理部を示すブロック図である。図4のブロック図に示す各機能は、クライアント2の有するCPUなどのプロセッサやメモリで構成されるコンピュータにより制御・実行される。
FIG. 4 is a block diagram showing a calculation / processing unit possessed by the
データ送受信部12はネットワーク5を介してサーバー1とデータの送受信を行う。すなわち、データ送受信部12はクライアントが外部機器から情報を取得する取得手段としての機能を備える。パラメータ操作部13は後に示す各種処理において各種パラメータを操作する。パラメータ判別部14は前記パラメータを判別して各種判断を下す。表示制御部15はクライアント2の情報出力装置4としての表示部(ディスプレイ)の画面表示を制御する制御手段としての機能を有する。
The data transmission / reception unit 12 transmits / receives data to / from the
図3,4の機能構成は、本発明における一例であって、他の機能構成を採って本発明を実施しても良い。 The functional configurations shown in FIGS. 3 and 4 are examples of the present invention, and the present invention may be carried out by adopting other functional configurations.
次に、本実施形態の遠隔会議システムにより行われる処理について図5を用いて説明する。 Next, the processing performed by the remote conference system of the present embodiment will be described with reference to FIG.
図5はあるクライアント2のディスプレイ4-1-aに表示されたグラフィカル・ユーザー・インターフェース(GUI)画面である。画面枠101の中の情報共有エリア102には発表者のプレゼンテーション資料などが表示される。
FIG. 5 is a graphical user interface (GUI) screen displayed on the display 4-1a of a
103~106を付した各操作領域は、各種操作用のGUIである。 Each operation area with 103 to 106 is a GUI for various operations.
103はチャット用テキストボックス、104はチャット用送信ボタンである。これらを用いて他の参加者とテキストでのやり取りを行うことができる。 103 is a text box for chat, and 104 is a send button for chat. These can be used to communicate textually with other participants.
105は発言意志を表示させるため(発言要求をするため)の挙手ボタン、106は発言意思を取り消すためのキャンセルボタンである。 105 is a hand-raising button for displaying the intention to speak (to make a request for speech), and 106 is a cancel button for canceling the intention to speak.
また、画面枠101には参加者の顔画像表示エリア(F-1~F-6)、参加者の名前表示エリア(N-1~N-6)が設けられている。以下では、自然数nを用いて「n番目の参加者」の顔画像が領域F-nに、名前が領域N-nに表示されている、などと表すことがある。
Further, the
本実施形態では参加者6人のケースが示されているが、参加人数が変化した場合も、人数に応じて各顔画像表示エリアと名前表示エリアを拡大・縮小する調整を行って、全参加者の情報を配置することができる。また、遠隔会議システムの全参加者のうち、自分の顔画像は表示されていなくても良い。 In this embodiment, a case of 6 participants is shown, but even if the number of participants changes, adjustments are made to enlarge / reduce each face image display area and name display area according to the number of participants, and all participants participate. Information can be placed. Also, of all the participants in the teleconferencing system, their face image may not be displayed.
本実施形態において会議の参加者は6名いるが、このうち1番目の参加者が発言の意志を表明したいものとする。このとき1番目の参加者は自身の操作するクライアント2を用いて挙手ボタン105を押下(マウスクリックまたはタッチパネル操作)する。
In this embodiment, there are six participants in the conference, and it is assumed that the first participant wants to express his / her will to speak. At this time, the first participant presses the raise hand button 105 (mouse click or touch panel operation) using the
すると、1番目の参加者の顔画像表示エリアF-1の枠線が太い点線表示107に変わり他の参加者との差別化が図られるので、他の参加者は1番目の参加者が発言をしたがっていることを画像から認識することができる。
Then, the frame line of the face image display area F-1 of the first participant changes to the thick dotted
なお、このような挙手ボタン105の操作に応じた画面遷移は1番目の参加者以外の参加者のクライアント2上で生じることとしても良い。
It should be noted that such a screen transition corresponding to the operation of the
ここでは顔画像表示エリアの枠線を変更することで表示上の差別化を図っているが、差別化ができれば他の表現方法でもよい。例えば顔写真に重畳して「挙手」を模したイラストアイコンを表示してもよい。 Here, the frame line of the face image display area is changed to differentiate the display, but if it can be differentiated, other expression methods may be used. For example, an illustration icon imitating a "raised hand" may be displayed by superimposing it on a face photograph.
また、発言の意志表明は複数の参加者が同時に行ってもよい。図5では1番目の参加者と5番目の参加者の2名が発言の意志を表明した「発言待ち」状態を示している。 In addition, a plurality of participants may express their intention to speak at the same time. FIG. 5 shows a “waiting for speech” state in which two participants, the first participant and the fifth participant, have expressed their intention to speak.
さらに、本実施形態の遠隔会議システムでは参加者が発言の意志を表明してからの経過時間に関する情報を、発言要求をしたユーザーに対応付けて表示する。このため、本実施形態の遠隔会議システムでは、参加者によって挙手ボタン105が操作されてからの経過時間を計測部10が計測する。計測部10で計測された経過時間は、各クライアントにデータとして送信される。
Further, in the remote conference system of the present embodiment, information on the elapsed time since the participant expresses his / her intention to speak is displayed in association with the user who requested the speech. Therefore, in the remote conference system of the present embodiment, the measuring
図5におけるインジケーター108は、参加者が挙手ボタン105を操作してからの経過時間を表している。インジケーター108は、経過時間が長くなるほどその高さが高くなるように表示される。例えば、棒グラフの積み上げブロックの1個が10秒を表すとすると、図5の例では経過時間は30秒以上40秒未満ということがわかる。同様に、5番目の参加者の棒グラフから、経過時間は10秒以上、20秒未満ということがわかる。つまり、本実施形態に示したGUIによれば、1番目の参加者は挙手ボタンを押してから30秒程度経っており、5番目の参加者は挙手ボタンを押してから10秒程度経っている、ということが参加者にとって一目で理解できるようになる。
The
なお、ここでは経過時間を棒グラフで表示しているが、経過時間が判別できるのであれば別の表示手段でも構わない。例えば顔写真に重畳して経過時間を数字で表示するのでもよい。よりグラフィカルに、「顔」アイコンの表情変化で経過時間を表現してもよい。例えば、経過時間が長くなるにつれて、「顔」アイコンをイライラした表情や、立腹しているような表情に変化させても良い。その他、色の濃さで経過時間を表示することもできる。 Although the elapsed time is displayed as a bar graph here, another display means may be used as long as the elapsed time can be determined. For example, the elapsed time may be displayed numerically by superimposing it on the face photograph. More graphically, the elapsed time may be expressed by changing the facial expression of the "face" icon. For example, as the elapsed time increases, the "face" icon may be changed to a frustrated or angry expression. In addition, the elapsed time can be displayed by the color depth.
さらに、発言待ちの経過時間(「挙手」ボタンを押下してからの経過時間)があらかじめ定めた基準時間を超過した場合、時間超過状態であることを示しても良い。具体的には時間超過となった参加者の顔画像表示エリアの枠線が点滅したり、顔画像表示エリア全体が赤く着色されたりする。こうすることで、その参加者が長時間発言を待っているということをより明瞭に示すことができる。 Further, when the elapsed time of waiting for speech (the elapsed time after pressing the "raise hand" button) exceeds a predetermined reference time, it may indicate that the time has been exceeded. Specifically, the frame line of the face image display area of the participant who has exceeded the time may blink, or the entire face image display area may be colored red. By doing this, it is possible to more clearly show that the participant has been waiting for a speech for a long time.
このように、本実施形態では単に「発言待ち」状態を示すだけでなく、その人が「発言待ち」の状態になってからの経過時間に関する情報が各参加者に共有される。このため、次に誰が発言すべきか、そろそろ発言者を切り替えるべきかどうか、など会議の議事進行の判断を促すことができる。すなわち、本実施形態の遠隔会議システムは、「発言待ち」の状態になってからの経過時間に関する情報を各参加者に共有することによって、参加者による円滑な発言を支援することができるのである。 As described above, in the present embodiment, not only the "waiting for speech" state is shown, but also the information regarding the elapsed time since the person is in the "waiting for speech" state is shared with each participant. For this reason, it is possible to prompt the decision on the proceedings of the meeting, such as who should speak next and whether the speaker should be switched soon. That is, the remote conference system of the present embodiment can support smooth speech by the participants by sharing information on the elapsed time from the state of "waiting for speech" to each participant. ..
次に上述した本実施形態の遠隔会議システムを実現するための遠隔会議サーバー1側および遠隔会議クライアント2側での処理について説明する。
Next, the processing on the
図6は各参加者が発言意思を表明または取下げる際にクライアント2で行われる処理を説明するフローチャートである。図中の「S」はステップ(工程)を表している。本フローチャートに係る処理は遠隔会議システムを構成するコンピュータに実行されるプログラムとして実現することができる。
FIG. 6 is a flowchart illustrating a process performed by the
なお、以下の説明で「フラグ」という用語が繰り返し出てくるが、これは真か偽かといった2種類の状態を表す2値の変数を意味する。ここではON(1)とOFF(0)の2種類の値を有する。例えば、クライアントが自らの発言を待っている状態は「発言待ち」フラグ=ONで表し、特に発言を待っていない状態は「発言待ち」フラグ=OFFというように表す。以下の処理においてこれらのフラグの値の設定はパラメータ操作部7やパラメータ操作部13で行われ、これらのフラグの値の判別はパラメータ判別部8やパラメータ判別部14で行われる。
In the following explanation, the term "flag" is used repeatedly, which means a binary variable representing two types of states such as true or false. Here, it has two types of values, ON (1) and OFF (0). For example, the state in which the client is waiting for his / her own remark is represented by the “waiting for remark” flag = ON, and the state in which the client is not waiting for remark is represented as the “waiting for remark” flag = OFF. In the following processing, the setting of the values of these flags is performed by the
図6(a)は参加者が発言意思を表明したい場合にクライアント2で行われる処理である。図6(a)の処理は、参加者が画面上の挙手ボタン105を押下したタイミングから開始される(S101)。
FIG. 6A is a process performed by the
S102では、パラメータ判別部14が現在のクライアント2における発言待ちフラグの状態を判断する。発言待ちフラグがOFFであった場合にはS103に進み、発言待ちフラグがONであった場合にはS104に進む。S104に進んだ場合、二重処理の防止のために特になにもせず処理を終了する。
In S102, the parameter determination unit 14 determines the state of the speech waiting flag in the
S103では、パラメータ操作部13は発言待ちフラグをONに変更する。
In S103, the
S105では、クライアント2はデータ送受信部12を介して発言待ちフラグの状態を表す信号(データ)をサーバー1へ送信する。
In S105, the
図6(b)は発言意思を表明した参加者が発言意思を取り下げる場合にクライアント2で行われる処理である。図6(b)の処理は、参加者が画面上のキャンセルボタン106を押下したタイミングから開始される(S201)。
FIG. 6B is a process performed by the
S202では、パラメータ判別部14が現在のクライアント2における発言待ちフラグの状態を判断する。発言待ちフラグがONであった場合にはS203に進み、発言待ちフラグがOFFであった場合にはS204に進む。S204に進んだ場合、二重処理の防止のために特になにもせず処理を終了する。
In S202, the parameter determination unit 14 determines the state of the speech waiting flag in the
S203では、パラメータ操作部13は発言待ちフラグをOFFに変更する。
In S203, the
S205では、クライアント2はデータ送受信部12を介して発言待ちフラグの状態を表す信号(データ)をサーバー1へ送信する。
In S205, the
図6(a)(b)に示す処理により、遠隔会議の参加者はクライアント2を介して発言意思の表明あるいは取下げをすることが可能となる。
By the process shown in FIGS. 6 (a) and 6 (b), the participants of the remote conference can express or withdraw their intention to speak through the
図7は発言待ちフラグに関するサーバー1側の処理を表したものである。図7の処理はサーバー1がクライアント2からの発言待ちフラグ信号を受信したタイミングから開始される(S301)。
FIG. 7 shows the processing on the
S302では、サーバー1はS301で取得した発言待ちフラグ信号を送信しているクライアントNo.を取得する。ここではクライアントNo.としてnを取得したとする。
In S302, the
S303では、サーバー1のパラメータ判別部8は、受信した発言待ちフラグの値をチェックする。発言待ちフラグがONの場合にはS304に、OFFの場合にはS309に進む。
In S303, the parameter determination unit 8 of the
S304ではサーバー1のパラメータ判別部8がクライアントNo.=nのクライアントの前回の発言待ちフラグの状態をチェックする。前回の発言待ちフラグの状態がOFFであった場合にはS305に、ONであった場合にはS306に進む。
In S304, the parameter determination unit 8 of the
S305ではサーバー1がクライアントNo.=nのクライアントの待ち時間に関連する処理を開始する。待ち時間に関連する処理とは、例えば待ち時間の計測や、待ち時間が規定の時間を超過していなかどうかのチェックが含まれ得る。待ち時間に関連する処理の詳細については後述する。
In S305, the
S307では、サーバー1のパラメータ操作部7がクライアントNo.=nのクライアントの発言待ち表示フラグをONに設定する。
In S307, the
一方、S304からS306に進んだ場合には、サーバー1は既に過去に開始されているクライアントNo.=nのクライアントの待ち時間に関連する処理を継続する。
On the other hand, when proceeding from S304 to S306, the
また、S303がNoである場合、S309ではサーバー1はクライアントNo.=nのクライアントの待ち時間に関連する処理を終了する。
Further, when S303 is No, in S309, the
S310ではサーバー1のパラメータ操作部7はクライアントNo.=nのクライアントの発言待ち表示フラグをOFFに設定する。
In S310, the
S308では、サーバー1はデータ送受信部6を用いて各クライアントの発言待ち表示フラグの情報と、発言待ち時間の情報をクライアントに送信する。すなわち、サーバー1は各クライアントに対して、どのクライアントを発言待ち表示すれば良いか、クライアントが発言待ち状態となってからどれくらいの時間が経過したか、という情報を送信する。S308ではサーバー1は全クライアントに対してこの情報を送信しても良いし、クライアントNo.=nのクライアント以外のクライアントに対してのみ送信しても良い。また、S308で送信する情報に後述する待ち時間超過表示フラグの情報を含めても良い。
In S308, the
図8は、発言待ちに関する情報をサーバー1から取得したクライアントが、表示画面を変更する際の処理を示したフローチャートである。図8の処理はクライアント2がサーバー1からの発言待ち表示フラグ情報を受信したタイミングから開始される(S401)。発言待ち表示フラグ情報はクライアント2に対して参加者による発言要求に関する情報として機能する。
FIG. 8 is a flowchart showing a process when a client who has acquired information on waiting for speech from the
S402ではクライアント2はS401で取得した発言待ち表示フラグ情報がどのクライアントのものかを確認する。ここでは、受信した発言待ち表示フラグ情報がクライアントNo.=mのものであったとする。
In S402, the
S403ではクライアント2のパラメータ判別部14がS401で受信した発言待ち表示フラグをチェックする。発言待ち表示フラグがONである場合にはS404に進み、OFFである場合にはS405に進む。
In S403, the parameter determination unit 14 of the
S404において、クライアント2の表示制御部15は、クライアントNo.=mのクライアントが発言待ち状態であることを示す表示となるように情報出力装置4-1の表示を制御する。発言待ち状態であることを示す表示とは、例えば図5で説明したように、顔画像表示エリアの枠線を他のユーザーと異ならせ、そのユーザーが発言待ち状態となってからの経過時間を示すインジケーターを示した表示であり得る。ここで、クライアント2が後述する待ち時間超過フラグの情報をサーバー1から受信していた場合、クライアント2はクライアントNo.=mのクライアントに対する待ち時間超過表示をさらに行っても良い。待ち時間超過表示とは例えば顔画像表示エリアの枠線を点滅させる表示等であり得る。
In S404, the
一方、S405では、クライアント2の表示制御部15はクライアントNo.=mのクライアントが発言待ち状態であることを示す表示を終了する。すなわち、顔画像表示エリアの強調や待ち時間のインジケーターの表示が解除される。
On the other hand, in S405, the
次に、図7のS305で行われる待ち時間に関連する処理について図9を用いて説明する。図9に示す処理は図7におけるS303、S305、S309で行われる処理と実質的に等価である。 Next, the process related to the waiting time performed in S305 of FIG. 7 will be described with reference to FIG. The process shown in FIG. 9 is substantially equivalent to the process performed in S303, S305, and S309 in FIG. 7.
S502はS303と実質的に等価である。 S502 is substantially equivalent to S303.
S503では、サーバー1の計測部10が待ち時間関連処理が開始してから現在までの経過時間(すなわちクライアントの待ち時間)を取得(計測)する。
In S503, the
S505では、サーバー1はS503で取得した待ち時間が予め設定された基準時間を超過しているか否か判断する。超過している場合にはS506に進み、超過していない場合にはS507に進む。
In S505, the
S506ではサーバー1のパラメータ操作部7は待ち時間超過表示フラグをONに設定する。
In S506, the
一方S507ではサーバー1のパラメータ操作部7は待ち時間超過表示フラグをOFFに設定する。
On the other hand, in S507, the
S508はS308と実質的に等価としても良いし、S308とは別の制御周期で行われるようにしても良い。S508においてサーバー1は各クライアントに対してクライアントNo.=nの待ち時間および待ち時間超過表示フラグの情報を送信する。
S508 may be substantially equivalent to S308, or may be performed in a control cycle different from that of S308. In S508, the
その後S502に戻り、クライアントNo.=nのクライアントの発言待ちフラグがOFFとなるまで上述の処理を繰り返す。 After that, the process returns to S502, and the client No. The above process is repeated until the speech waiting flag of the client with = n is turned off.
S504はS309と実質的に等価である。サーバー1はS503の待ち時間計測を停止する。
S504 is substantially equivalent to S309. The
本実施形態では、以上のような処理により「発言待ち」状態の可視化を行っている。これにより、円滑な遠隔会議(例えば参加者全員が十分な発言機会を得ること)を行えるように支援することが可能となる。 In the present embodiment, the "waiting for speech" state is visualized by the above processing. This makes it possible to support smooth remote conferences (for example, all participants have sufficient opportunities to speak).
なお、本実施形態のサーバー1は音声解析部9を備えて構成されている。音声解析部9はどのクライアントが現在発言しているか把握する機能を有する。このため、発言待ち状態のクライアントがキャンセルボタン106を操作することなく発言を開始したと判断した場合には、パラメータ操作部7が当該クライアントの発言待ちフラグをONからOFFに変更する割り込み処理を行っても良い。これにより、各クライアントにおける発言待ち状態の解除のための操作負荷を減らすことができる。
The
さらに、本実施形態では音声解析部9をサーバー1に設ける例について述べたが、音声解析部9の機能をクライアント2に設けても良い。この場合、発言待ち状態のクライアントがキャンセルボタン106を操作することなく発言を開始した場合、クライアント2は図6(b)の処理を開始しても良い。このように音声解析部9をクライアント2側に設けることで、サーバー1の処理負荷を減じることができる。
Further, in the present embodiment, the example in which the voice analysis unit 9 is provided in the
また、本実施形態では計測部10をサーバー1側に設けているが、クライアント2側に設けてデータ送受信部12が計測部10による計測結果をサーバー1に送信するようにしても良い。これによってもサーバー1の処理負荷を減じることができる。
Further, although the
[変形例]
次に上述した本実施形態の変形例について説明する。本変形例では、上述した発言待ちの表示に加えて発言継続中の表示を行う。
[Modification example]
Next, a modified example of the present embodiment described above will be described. In this modification, in addition to the above-mentioned display of waiting for remarks, the display of continuous remarks is performed.
図10は発言待ちの表示に加えて発言継続中の表示を行った例を示す図である。 FIG. 10 is a diagram showing an example in which, in addition to the display of waiting for speech, the display of continuous speech is performed.
図10に示す例では、6番目の参加者はサーバー1の音声解析部9により「発言中」と判定されている。この時、6番目の参加者の顔写真表示エリアF-6の枠線は太い実線表示109に変わり他の参加者との差別化が図られる。他の参加者は6番目の参加者が発言中であることを画像からも認識することができる。
In the example shown in FIG. 10, the sixth participant is determined to be "speaking" by the voice analysis unit 9 of the
なお、図10に示す例では顔画像表示エリアの枠線を変更することで表示上の差別化を図っているが、差別化ができれば他の表現方法でもよい。例えば顔写真に重畳して「唇」を模したイラストアイコンを表示してもよい。 In the example shown in FIG. 10, the frame line of the face image display area is changed to differentiate the display, but other expression methods may be used as long as the differentiation can be achieved. For example, an illustration icon imitating "lips" may be displayed by superimposing it on a face photograph.
また、音声解析部9によって発言中と判断された参加者について、計測部10は発言の継続時間を計測する。計測部10による計測は音声解析部9によって発言中と判断されている間中継続して行われる。
Further, the measuring
計測部10によって計測された発言の継続時間は、インジケーター110のように可視化される。
The duration of the remark measured by the measuring
なお、ここでは発言継続時間を棒グラフ様のインジケーター110で表示しているが、発言の継続時間が判別できるのであれば別の表示でも良い。例えば顔写真に重畳して発言継続時間を数字で表示しても良い。また、発言中を示すアイコン(例えば「唇」を模したイラストアイコン)の大きさを徐々に大きくしていくような表現でもよい。
Here, the duration of speech is displayed by the bar graph-
さらに、発言の継続時間があらかじめ定めた基準時間を超過した場合、時間超過状態であることを示しても良い。具体的には時間超過となった参加者の顔画像表示エリアの枠線が点滅したり、顔画像表示エリア全体が赤く着色されたりしても良い。こうすることで、その参加者が長時間発言を継続しているということを明瞭に表すことができる。 Further, when the duration of speech exceeds a predetermined reference time, it may indicate that the time has been exceeded. Specifically, the frame line of the face image display area of the participant who has exceeded the time may blink, or the entire face image display area may be colored red. By doing this, it can be clearly shown that the participant has been speaking for a long time.
このように参加者が発言をどの程度継続しているかという情報を視覚的に参加者に提示することで、円滑な遠隔会議(例えば参加者全員が十分な発言機会を得ること)の進行を支援することが可能となる。 By visually presenting information to participants on how long they continue to speak in this way, it supports the smooth progress of remote conferences (for example, all participants have sufficient opportunities to speak). It becomes possible to do.
次に、上述した本変形例の表示を行うためのサーバー1側での処理について説明する。
Next, the process on the
図11はクライアントが発言中か否かを判別するために一定の周期毎に行われる処理である。 FIG. 11 is a process performed at regular intervals to determine whether or not the client is speaking.
S601では、サーバー1の音声解析部9はデータ送受信部6を介して取得した各クライアントの音声情報の解析を開始する。
In S601, the voice analysis unit 9 of the
S602では、サーバー1は発言中のクライアントが居るか否か判断する。発言中のクライアントが居る場合にはS603に進み、いない場合にはS604に進む。
In S602, the
S603では、サーバー1は発言中のクライアントのクライアントNo.を取得する。ここでは、クライアントNo.=pのクライアントが発言を行っているとする。
In S603, the
S605では、サーバー1のパラメータ判別部8がクライアントNo.=pのクライアントの前回の発言継続中表示フラグの状態をチェックする。前回の発言継続中表示フラグの状態がOFFであった場合にはS606に、ONであった場合にはS608に進む。
In S605, the parameter determination unit 8 of the
S606では、サーバー1のパラメータ操作部7がクライアントNo.=pのクライアントに対して発言継続中表示フラグをONに設定する。
In S606, the
S607では、サーバー1の計測部10はクライアントNo.=pのクライアントの発言継続時間の計測を開始する。
In S607, the
一方、S608では、サーバー1の計測部10はクライアントNo.=pのクライアントの発言継続時間の計測を継続する。
On the other hand, in S608, the
S609では、サーバー1は計測部10によって計測された発言継続時間が、予め設定された基準の時間を超過しているか否か判定する。超過している場合にはS610に進み、超過していない場合にはS611に進む。
In S609, the
S610では、パラメータ操作部7はクライアントNo.=pのクライアントに対して発言継続時間の超過表示フラグをONに設定する。
In S610, the
S611では、パラメータ操作部7はクライアントNo.=pのクライアントに対して発言継続時間の超過表示フラグをOFFに設定する。
In S611, the
S602においてNoと判断された場合、S604ではサーバー1のパラメータ操作部7はクライアントNo.=pのクライアントに対して発言継続中表示フラグをOFFに設定する。
When No is determined in S602, in S604, the
S612では、サーバー1の計測部10は発言継続時間の計測を停止する。
In S612, the
S613では、サーバー1のパラメータ操作部7はクライアントNo.=pのクライアントに対しての発言継続時間の超過表示フラグをOFFに設定する。
In S613, the
S614では、サーバー1は各クライアントに対して、クライアントNo.=pのクライアントの発言継続時間に関する関連情報(発言継続中表示フラグ、発言継続時間、超過表示フラグを含む)を送信する。
In S614, the
図12は、発言継続時間に関する関連情報をサーバー1から取得したクライアントが、表示画面を変更する際の処理を示したフローチャートである。図12の処理はクライアント2がサーバー1からの発言継続時間に関する関連情報を受信したタイミングから開始される(S701)。
FIG. 12 is a flowchart showing a process when a client who has acquired related information regarding the duration of speech from the
S702では、ではクライアント2はS701で取得した発言継続時間に関する関連情報がどのクライアントのものかを確認する。ここでは、ここでは受信した発言待ち表示フラグ情報がクライアントNo.=qのものであったとする。
In S702, the
S703では、クライアント2のパラメータ判別部14がS701で受信した発言継続中表示フラグをチェックする。発言継続中表示フラグがOFFである場合にはS704に進む。
In S703, the parameter determination unit 14 of the
S704では、クライアント2はクライアントNo.=qのクライアントに対する発言継続中表示をOFFにする。そして、S705ではクライアント2はクライアントNo.=qのクライアントに対する発言継続時間のインジケーター表示をOFFにする。
In S704, the
一方、S703で発言継続中表示フラグがONであった場合、S706に進む。 On the other hand, if the continuous speech display flag is ON in S703, the process proceeds to S706.
S706では、クライアント2の表示制御部15は、クライアントNo.=qのクライアントが発言継続中であることを示す表示となるように情報出力装置4-1の表示を制御する。発言継続中であることを示す表示とは、例えば図5で説明したように、顔画像表示エリアの枠線を他のユーザーと異ならせた表示であり得る。
In S706, the
S707では、クライアント2の表示制御部15は、クライアントNo.=qのクライアントの発言継続時間が示されるように情報出力装置4-1の表示を制御する。例えば、クライアントNo.=qのユーザーが発言継続中となってからの経過時間を示すインジケーターを表示させる。
In S707, the
S708では、クライアント2のパラメータ判別部14はクライアントNo.=qのクライアントの発言待ち表示フラグがONであるか否かを判断する。ここでは発言待ち表示フラグに代えて発言待ちフラグの状態を判断しても良い。クライアントNo.=qのクライアントの発言待ち表示フラグがONであった場合、S709に進み、OFFであった場合にはS711に進む。
In S708, the parameter determination unit 14 of the
S709では、クライアント2のパラメータ操作部13はクライアントNo.=qのクライアントの発言待ち表示フラグをOFFに設定する。なお、サーバー1が発言中のクライアントに対して発言待ち表示フラグをOFFにするような処理を行う場合にはS709は行わなくても良い。
In S709, the
S710では、クライアント2の表示制御部15はクライアントNo.=qのクライアントの発言待ち表示を終了する。
In S710, the
S711では、クライアント2のパラメータ判別部14はクライアントNo.=qのクライアントの発言継続時間の超過表示フラグがONか否か判断する。
In S711, the parameter determination unit 14 of the
S712ではクライアント2の表示制御部15はクライアントNo.=qのクライアントに対して発言継続時間の超過表示をONにする。S712ではクライアント2の表示制御部15はクライアントNo.=qのクライアントに対して発言継続時間の超過表示をOFFにする。
In S712, the
以上の処理により、参加者が発言をどの程度継続しているかという情報を視覚的に参加者に提示することが可能となる。これによって、さらに円滑な遠隔会議(例えば参加者全員が十分な発言機会を得ること)の進行を支援することが可能となる。 Through the above processing, it is possible to visually present to the participant information on how long the participant continues to speak. This makes it possible to support the smooth progress of remote conferences (for example, all participants have sufficient opportunities to speak).
以上、本発明の好ましい実施形態およびその変形例について説明したが、本発明はこれらの形態に限定されず、その要旨の範囲内で種々の組合せ、変形及び変更が可能である。 Although the preferred embodiments of the present invention and examples of modifications thereof have been described above, the present invention is not limited to these embodiments, and various combinations, modifications and modifications can be made within the scope of the gist thereof.
2、2-1、2-2 クライアント(電子機器)
15 表示制御部(制御手段)
12 データ送受信部(取得手段)
2,2-1, 2-2 Client (electronic device)
15 Display control unit (control means)
12 Data transmission / reception unit (acquisition means)
Claims (10)
表示部の表示を制御する制御手段と、
前記遠隔会議における各ユーザーの発言要求に関する情報を取得する取得手段と、
を有し、
前記制御手段は、前記取得手段が前記発言要求に関する情報を取得した場合、前記発言要求をしたユーザーと、該ユーザーが前記発言要求をしてからの経過時間に関する情報とが対応付けられて前記表示部に表示されるよう、前記表示部を制御することを特徴とする電子機器。 An electronic device used for remote conferences between multiple users.
Control means to control the display of the display unit,
An acquisition means for acquiring information regarding each user's request for speech in the remote conference, and
Have,
When the acquisition means acquires the information regarding the speech request, the control means displays the user who made the speech request and the information about the elapsed time since the user made the speech request in association with each other. An electronic device characterized in that the display unit is controlled so as to be displayed on the unit.
前記送受信部は、前記外部機器から送信された前記発言要求に関する情報を受信することを特徴とする請求項1または2に記載の電子機器。 The electronic device has a transmission / reception unit for communicating information with an external device.
The electronic device according to claim 1 or 2, wherein the transmission / reception unit receives information related to the speech request transmitted from the external device.
前記送受信部は、前記発言要求に関する情報を前記外部機器に対して送信することを特徴とする請求項1乃至3のいずれか一項に記載の電子機器。 The electronic device has a transmission / reception unit for communicating information with an external device.
The electronic device according to any one of claims 1 to 3, wherein the transmission / reception unit transmits information related to the speech request to the external device.
前記遠隔会議における各ユーザーの発言要求に関する情報を取得する工程と、
前記発言要求に関する情報が取得された場合に、前記発言要求をしたユーザーと、該ユーザーが前記発言要求をしてからの経過時間に関する情報とが対応付けられて前記電子機器の表示部に表示されるよう、前記表示部を制御する工程と、
を有することを特徴とする制御方法。 A control method for electronic devices used for remote conferences between multiple users.
The process of acquiring information regarding each user's request for speech in the remote conference, and
When the information regarding the speech request is acquired, the user who made the speech request and the information regarding the elapsed time since the user made the speech request are associated and displayed on the display unit of the electronic device. The process of controlling the display unit and
A control method characterized by having.
前記遠隔会議における各ユーザーの発言要求に関する情報を取得する工程と、
前記発言要求に関する情報が取得された場合に、前記発言要求をしたユーザーと、該ユーザーが前記発言要求をしてからの経過時間に関する情報とが対応付けられて前記電子機器の表示部に表示されるよう、前記表示部を制御する工程と、
を実行させることを特徴とするプログラム。 For electronic devices used for remote conferences between multiple users
The process of acquiring information regarding each user's request for speech in the remote conference, and
When the information regarding the speech request is acquired, the user who made the speech request and the information regarding the elapsed time since the user made the speech request are associated and displayed on the display unit of the electronic device. The process of controlling the display unit and
A program characterized by executing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020168487A JP2022060797A (en) | 2020-10-05 | 2020-10-05 | Electronic device, control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020168487A JP2022060797A (en) | 2020-10-05 | 2020-10-05 | Electronic device, control method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022060797A true JP2022060797A (en) | 2022-04-15 |
Family
ID=81125120
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020168487A Pending JP2022060797A (en) | 2020-10-05 | 2020-10-05 | Electronic device, control method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022060797A (en) |
-
2020
- 2020-10-05 JP JP2020168487A patent/JP2022060797A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6992870B2 (en) | Information processing systems, control methods, and programs | |
US10057542B2 (en) | System for immersive telepresence | |
US5491743A (en) | Virtual conference system and terminal apparatus therefor | |
EP0715467B1 (en) | Communication conference system and communication conference apparatus | |
US10586131B2 (en) | Multimedia conferencing system for determining participant engagement | |
JP2014225801A (en) | Conference system, conference method and program | |
JP2007104354A (en) | Tv conference system and method, and tv conference terminal device | |
US20160294892A1 (en) | Storage Medium Storing Program, Server Apparatus, and Method of Controlling Server Apparatus | |
JP2539153B2 (en) | Virtual conference system terminal device and virtual conference system | |
JPH08298653A (en) | Video conference system and its terminal equipment | |
KR20170124758A (en) | Method for providing conference service and apparatus thereof | |
JPH04339484A (en) | Remote conference device | |
JP2022060797A (en) | Electronic device, control method, and program | |
US20230093298A1 (en) | Voice conference apparatus, voice conference system and voice conference method | |
JP5217877B2 (en) | Conference support device | |
JP2009253625A (en) | Apparatus, method and program for information collection-video conference implementation control and video conference system | |
JP2009065336A (en) | Video conference system | |
KR101768364B1 (en) | Method of proceedings-defined multi-party teleconference | |
JP3706660B2 (en) | Multipoint communication system and communication terminal device | |
JP7370545B1 (en) | Conference management device, conference management method and program | |
US20230379435A1 (en) | Meeting management apparatus, meeting management method, and non-transitory computer-readable medium | |
JP2005151002A (en) | Remote conference system | |
US20230100767A1 (en) | Information processing device, information processing method, and non-transitory computer readable medium | |
KR20200112481A (en) | Computer program, electronic device, and system for controlling conference | |
JP7424675B1 (en) | Conference server, how the server works, and programs |