JP2021184189A - オンライン会議システム - Google Patents

オンライン会議システム Download PDF

Info

Publication number
JP2021184189A
JP2021184189A JP2020089565A JP2020089565A JP2021184189A JP 2021184189 A JP2021184189 A JP 2021184189A JP 2020089565 A JP2020089565 A JP 2020089565A JP 2020089565 A JP2020089565 A JP 2020089565A JP 2021184189 A JP2021184189 A JP 2021184189A
Authority
JP
Japan
Prior art keywords
terminal
online conference
conference system
terminals
online
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020089565A
Other languages
English (en)
Inventor
哲也 木村
Tetsuya Kimura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
I Smart Technologies Corp
Original Assignee
I Smart Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by I Smart Technologies Corp filed Critical I Smart Technologies Corp
Priority to JP2020089565A priority Critical patent/JP2021184189A/ja
Priority to TW110113590A priority patent/TWI795759B/zh
Priority to PCT/JP2021/015672 priority patent/WO2021235148A1/ja
Publication of JP2021184189A publication Critical patent/JP2021184189A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Abstract

【課題】 オンライン会議システムの利便性を、一層向上させる。【解決手段】 サーバによって構築されるオンライン会議システムは、ネットワークに接続された複数の端末間で、音声を含む画像データを相互に配信して、オンライン会議を実現する。会議中に、図6(a)に示すように一人の参加者が、参加者Aに対して、ダイレクトトークをリクエストし、これが承認されると、図6(b)に示すようにリンク56が表示され、参加者Aとの会話は、他の参加者には配信されない状態となる。また、全員での会話中に、参加者の発言に対して、他の参加者はスタンプを送信することができ、発言を妨げることなく、各自の反応、感想を発言者に届けることができる。さらに、会議後は、発言時間、発言割合などの分析結果を表示することができる。これらの機能により、オンライン会議システムの利便性を向上させることができる。【選択図】 図6

Description

本発明は、複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムに関する。
オンライン会議システムでは、複数の端末をインターネットで接続し、端末間で音声データおよび画像データを相互に配信することでオンライン会議を実現する。オンライン会議の各参加者の端末には、他の参加者の画像が表示され、音声を聞き取ることができる。かかるシステムを利用することにより、多人数間で相互に会議、会話を行うことができる。
オンライン会議システムにおいては、その利便性を向上させるために、種々のアイディアが提案されている。例えば、特許文献1は、オンライン会議において人工知能を導入し、音声認識、レポート作成、感情分析などを行わせる技術を開示している。特許文献2は、オンライン会議において、ステレオ音声の左右の音量を調整することにより、画面上の参加者のアイコンの位置に応じた方向から音声を出力させる技術を開示している。特許文献3は、ウェブ会議システムにおいて、ノイズ音量が一定以上のときは、テキストを入力するよう利用者に促す技術を開示している。
特開2008−63699号公報 特開平6−175942号公報 特開2019−117998号公報
しかし、オンライン会議システムは、未だ種々の面で改善の余地が残されていた。
本発明は、オンライン会議システムの利便性を、一層向上させることを目的とする。
本発明は、第1の構成として、
複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
複数の前記端末間で音声データおよび画像データを相互に配信する配信制御部を有し、
前記配信制御部は、
前記オンライン会議中に、いずれかの前記端末から、該端末を含む前記複数の端末の一部を特定端末として指定し、該特定端末の間でのみ会話を行う限定会話指示を受けた場合は、該特定端末との間で授受される音声データを、その他の端末で再生可能な状態で配信することを禁止する限定配信を行うオンライン会議システムとすることができる。
従来のオンライン会議システムでは、多人数でオンライン会議を行っているとき、ミュートに設定し、自身の発言が誰にも聞かれない状態にするか、その会議に参加している他の参加者全員に聞かれる状態にするか、の選択しかなかった。オンライン会議のホストが、いくつかの会議室に分け、それぞれの会議室で会話をする機能も用意されているが、各会議室における発言については、同様であった。
しかし、現実の会議では、必ずしも全員に対して発言をする場面のみとは限らない。例えば、隣の参加者と小声で協議をすることもある。特に、会社同士の会議などでは、社内の参加者のみで協議をした上で発言する場合もある。従来のオンライン会議システムは、かかる要求に応えることはできなかった。
また、昨今では、オンライン会議システムを利用した懇親会が開催されることもあるが、オンライン会議システムではない現実の懇親会では、参加者の中に数名のグループが形成され、いくつかの会話が混在して行われることもある。参加者は、自分の意思で、ある会話に加わっては、また別の会話に加わり、というように様々な参加者と自由に会話を楽しむことができた。従来のオンライン会議システムでは、このような参加者の一部だけでの会話を、それぞれの参加者の意思で成立させることもできなかった。
これに対し、本発明によれば、オンライン会議中に、いずれかの参加者が自身の端末から、限定会話指示をすることにより、特定端末との間で授受される音声データは、他の端末で再生可能な状態では配信されなくなる。即ち、特定端末間でのみ会話を成立させることができる。従って、例えば、オンライン会議中に、一部の参加者間のみで協議等をすることが可能となる。また、懇親会などでは、複数のグループに分かれて、自由に会話することができる。
さらに、現実の会議や懇親会では、自分の近くにいる者との会話に制限されがちであるが、オンライン会議システムでは、こうした場所的制約を受けずに会話を成立させることができる利点がある。即ち、第1の構成によれば、場所的制約を回避できる点で、現実の会議や懇親会にはない利点を提供することができる。
他の端末で再生可能な状態での配信を禁止するとは、音声データの配信自体を禁止する方法と、禁止対象となっている端末での再生を禁止するフラグ等を付した音声データを配信する方法が含まれる。また、画像データと音声データとが一体となっている場合は、音声付きの画像データと、音声なしの画像データを生成し、これらを使い分けても良い。
第1の構成においては、例えば、ある端末が、他の端末に対して限定会話指示を送信した時点で限定配信を成立させてもよい。また、限定会話指示を送信した後、宛先となる端末から承諾が得られた時点で限定配信を成立させてもよい。
第1の構成においては、画像データについても、音声データと同様に限定配信を行ってもよい。こうすることで、限定配信による会話の様子を、他の参加者に見られることを回避できる。
また、他の態様として、画像データについては、通常通り、全参加者に配信してもよい。こうすることで、限定配信中も、他の参加者に対して配信される画面から消えることがなくなるため、他の参加者から違和感を抱かれることなく限定配信による会話を行うことができる。
第1の構成において、特定端末の指定は、種々の方法で行うことができる。例えば、オンライン会議に参加している参加者、即ちこれらの参加者が利用しているそれぞれの端末を、個別に指定する方法としてもよい。
また、特定端末の指定は、
前記端末の一部を予めグループとするグループデータを記憶する会議データベースを有し、
前記配信制御部は、前記グループを対象とする限定会話指示を受けた場合には、当該グループに属する端末を前記特定端末として扱うものとしてもよい。
こうすれば、グループ単位で、簡易に限定会話指示を行うことができる。
上記態様において、限定会話指示を送信すると同時に、当該グループ内での限定配信を成立させるようにしてもよいし、グループ内の各参加者から承諾が得られた場合にのみ限定配信を成立させるようにしてもよい。この場合、グループ内の全参加者から承諾が得られた場合に限定配信を成立させてもよいし、一部の承諾が得られた参加者との間でのみ限定配信を成立させてもよい。
上記態様においては、予め複数種類のグループを設定可能としてもよい。こうすることで、オンライン会議の場面ごとに、グループを選択して限定配信を行うことが可能となる。
第1の構成においては、
前記限定配信を行っている間でも、前記特定端末以外の端末からの音声データを、前記特定端末の少なくとも一部に配信するものとしてもよい。
こうすることにより、限定配信中も、他の端末からの音声を聞くことができる。即ち、限定配信中も、オンライン会議全体の進行状況を把握することが可能となる。
上記態様における音声データは、特定端末間での音量と同じとしてもよいし、これよりも小さい音量としてもよい。また、受信している端末側で、特定端末とは独立して音量を調整可能としてもよい。
第1の構成においては、
前記配信制御部は、
前記限定配信を行っている間に、前記特定端末以外の端末から、前記特定端末の一部を指定して新たな限定会話指示を受け付けた場合には、
前記限定会話指示で指定されたか否かにかかわらず前記特定端末の全体に対して、当該限定会話指示を承認するか否かの問合せを行うものとしてもよい。
限定配信を行っている場合、そこに新たに参加を希望する参加者が現れることがある。かかる場合に、不用意に参加を承認すると、限定配信中の一部の参加者は、新たな参加者を認識しないまま会話を続けるおそれが生じ、会話の内容が意図しない者に漏えいしてしまうおそれも生じる。
これに対し、上記態様では、限定配信を行っている端末に対して、新たな参加者から限定会話指示を受け付けた場合には、それを限定配信中の全員に、参加を承認するか否かの問合せを行うため、全員が認識の上で新たな参加を認めることができ、上述の課題を回避することができる。
上記態様においては、問合せをした全端末から承認が得られたときに新たな参加を認めるようにしてもよいし、一部の承認が得られた段階で認めるようにしてもよい。また、一部の承認しか得られない場合、承認しなかった特定端末は、特定端末の指定を解除してもよい。
第1の構成においては、
前記端末からの画像データに該端末を前記特定端末として指定するための指示アイコンを重畳した画面を生成する画面生成部を有するものとしてもよい。
こうすることにより、各人の端末には、他の端末から送られてくる他の参加者の画像とともに、その画像内に指示アイコンが表示される。従って、指示アイコンを操作することにより、容易に個別に参加者を選択して、限定会話指示を送信しやすくなる。
指示アイコンは、例えば、選択用のボタンとしてもよい。また、画像全体をクリック可能とすることで、指示アイコンとして活用してもよい。
第1の構成においては、
前記限定配信を行っている場合、前記端末に表示される画面において、前記特定端末からの画像同士を関連づけるとともに、該限定配信を解除する指示を行うことが可能な解除アイコンを表示した画面を生成する画面生成部を有するものとしてもよい。
こうすることにより、各人の端末には、他の端末から送られてくる他の参加者の画像が表示されるとともに、限定配信の対象となっている特定端末同士を関連づける線などの画像が表示されるため、どの参加者と限定配信による会話を行っているかを容易に認識することができる。
また、線などの画像は、その特定配信の解除用の解除アイコンも表示されるため、その操作により、容易かつ誤りなく特定の参加者との間の限定配信を解除することができ、操作性が向上する。
特定端末同士を関連づける画像としては、例えば、これらを結ぶ線としてもよいし、これらを枠で囲むなどの態様としてもよい。
本発明は、第2の構成として、
複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
複数の前記端末間で音声データおよび画像データを相互に配信する配信制御部と、
前記端末の画像データに重畳して、当該端末の音量を個別に指定するボリュームアイコンを表示させる画面生成部を備えるオンライン会議システムとすることができる。
従来のオンライン会議システムでは、多人数でオンライン会議を行っているとき、他の参加者からの音声は、一様の音量で聞くしかなかった。
しかし、オンライン会議システムは、種々の用途に利用されることがあり、昨今では、オンライン会議システムを利用した懇親会が開催されることもある。現実の懇親会では、参加者の中に数名のグループがいくつも形成され、様々な話題での会話が混在していることがある。また、自身も、いずれかの話題に加わりながら、他の話題に興味を抱いたときには、そちらの会話に参加することもある。従来のオンライン会議システムでは、他の参加者の会話が、一様な音量で聞こえるため、このような状況での会話は成立させづらかった。
これに対し、第2の構成によれば、オンライン会議の各参加者の発言を自由に調整して聞くことが可能となる。従って、種々の会話が混在している状況でも支障なく会話に参加することが可能となる。
また、第2の構成では、自身の端末で、他の端末からの音量を調整するだけで済むため、他の端末からの承認などを受ける必要がない点で、手軽であるという利点もある。
第2の構成は、種々の態様で実現することができる。
例えば、それぞれの端末からの音声データが、オンライン会議システムで統合されることなく独立のデータとして配信されている場合は、各端末においても、それぞれの端末からの音声データを独立に再生すればよい。こうすることにより、ボリュームアイコンでの指示に従って、それぞれの音声データの音量を容易に調整することが可能となる。端末として、スマートフォン、タブレット、コンピュータなどを利用する場合には、複数の音声データを個別に再生し、音量を調整する機能が、いわゆるOS(Operating System)によって提供されることがあるため、かかる場合には、第2の構成としては、ボリュームアイコンには、その操作結果に基づいて、OSに対する音量の指示を与える機能を持たせれば足りる。
また、別の態様として、それぞれの端末からの音声データを、ボリュームアイコンでの指示に従った音量で合成した上で再生するようにしても差し支えない。この合成は、オンライン会議システムで行ってもよいし、受信した端末で行ってもよい。
本発明は、第3の構成として、
複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
複数の前記端末間で音声データおよび画像データを相互に配信する配信制御部と、
いずれかの前記端末からいずれかの他の端末に宛てたリアクションを受け取り、該リアクションを該他の端末に表示させる画面生成部を備えるオンライン会議システムとすることができる。
現実の会議では、発言をしている参加者は、他の参加者の表情や様子から自身の発言に対する賛否等を推測している。オンライン会議システムにおいても、同様であり、自身の端末に表示される他の参加者の表情などから、自分の発言に対する賛否等を推測することはできる。
しかし、オンライン会議システムでは、自身の端末に映し出される他の参加者の画像から把握できる事項には限界がある。従来、オンライン会議システムにおいて、自分の発言に対する他の参加者の賛否等を効果的に把握する方法については、あまり考慮されていなかった。
これに対し、第3の構成によれば、オンライン会議の各参加者は、一の端末から他の端末に対して個別に「リアクション」を届けることができる。こうすることにより、参加者の端末には、発言中に、他の参加者の当該発言に対するリアクションが表示される。従って、発言者は、自身の発言に対する他の参加者の反応を容易かつ客観的に把握することが可能となる。
また、第3の構成は、逆に見れば、発言者以外の参加者にとっても利点があると言える。即ち、現実の会議または従来のオンライン会議システムでは、発言中の発言者に対して、自身の「リアクション」を届けることはできないが、第3の構成によれば、これが可能となるのである。例えば、良い発言だと思えば、その発言を遮ることなく、「賛成」というリアクションを当該発言者に示すことができるのである。この点で、第3の構成は、オンライン会議システムならではの利点を提供するものであるとも言える。
第3の構成においては、「リアクション」は種々の態様をとることができ、
前記リアクションは、予め用意されたマークまたはテキストで表される情報であるものとしてもよい。
予め用意されたマークとしては、例えば、意見に対する賛成を表すマーク、反対を表すマーク、意外や驚きという反応を表すマークなどとすることができる。SNSなどで利用されている種々のスタンプを活用してもよい。これらのマークを利用すれば、いずれかを選択するだけで、簡易な操作でリアクションを届けることができる。
また、テキストを送ることができるようにすれば、具体的な意見を発言者に届けることが可能となる。
第3の構成において、マークやテキストを送るためのインタフェースは、種々の態様が考えられる。例えば、自身の端末に表示される発言者の画面に、用意されたマークの一覧を表示し、その中のいずれかを選択することで、当該マークを送るようにしてもよい。また、各端末の画像が表示される領域外に、マークの一覧を表示し、その中のいずれかを選択し、発言者の画面にドラッグするようにしてもよい。
第3の構成においては、
前記端末からの画像データに基づいて、該端末の利用者の感情分析を行う感情分析部を有し、
前記リアクションは、該感情分析の結果であるものとしてもよい。
こうすることにより、各参加者が何も操作をしなくても、リアクションを得ることができる。
感情分析の方法は、表情から感情を分析する種々の技術を適用することができる。
感情分析の結果は、例えば、賛成、反対など予め用意されたマーク、テキスト、点数で表現してもよい。例えば、画面の明るさや色などで表現してもよい。
感情分析の内容および利用方法は、種々の態様が考えられる。例えば、表情から感情を分析する際に、その視線に着目してもよい。利用者の視線が、画面から外れたか否かを評価し、その回数や頻度に応じて、利用者の発言に対する好感度を判断することができる。発言に対する好感度は、上述した種々の態様で発言者にフィードバックすることが好ましい。
視線は、例えば、利用者の顔を撮影した画像内での瞳の位置で判断することができる。瞳が眼の周辺の所定範囲に入ったときは、画面から外れたと認識するのである。この場合、利用者の端末のカメラは、必ずしも画面中央に位置するとは限らないため、オンライン会議の開始時に、画面中央を見た状態の瞳の位置を基準位置として記憶させておいてもよい。この初期位置から、瞳が所定距離だけ離れたときに画面から外れたと判断する方法をとることができる。
また、利用者の眼の開き具合や頭部の揺れなどに基づいて、利用者が居眠りしているか否かを判定するようにしてもよい。この場合は、発言が退屈であることを示すものと扱って発言者にフィードバックすることもできるし、利用者に対して、目を覚ますよう警告を出すようにしてもよい。
さらに、これらの感情分析は、オンライン会議の参加者全員を対象として行うことができるため、例えば、居眠りをするなど、集中力が欠如したと判断される参加者の割合が増加したときには、主催者または全員に対して、休憩を促す表示等を行うようにしてもよい。
第3の構成においては、
前記画面生成部は、前記端末の利用者の画像データに、他の端末からのリアクションを重畳して表示させるものとしてもよい。
こうすることにより、各端末の利用者は、自身に対する他の参加者のリアクションを知ることができる。
オンライン会議中には、自身の端末には、自身の画像だけでなく、各参加者の画像が表示されているが、他の参加者の画像にも、それぞれの参加者に対するリアクションを表示するようにしてもよい。こうすることにより、他の参加者に対する各参加者の反応と、自身に対する各参加者の反応を比較することが可能となる。
また、第3の構成においては、
前記画面生成部は、前記端末に対する他の端末からのリアクションを、該リアクションの発信者である他の端末の画像に重畳して表示させるものとしてもよい。
自身の端末には、各参加者の画像が表示されている。上記態様では、ある参加者が、自身に対してリアクションを送ったとき、そのリアクションを当該参加者の画像に表示するのである。こうすることにより、自身に対するリアクションを誰が発信したかを容易に把握することが可能となる。
本発明は、第4の構成として、
複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
それぞれの前記端末の利用者が発言している時間、および沈黙している時間の一方または双方を集計する分析処理部と、
前記集計結果を前記端末に表示する画面生成部を備えるオンライン会議システムとすることができる。
会議においては、参加者の発言は、一部の参加者に偏ることがある。
しかし、従来のオンライン会議システムでは、参加者の間で、音声および画像を相互に配信し、会議を行うことはできたが、その会議の実績を客観的に把握することはできなかった。
これに対し、第4の構成によれば、端末ごとの発言の時間、および沈黙の時間の一方または双方を集計することができる。従って、各参加者が、どの程度発言しているかを把握することができる。この結果、会議の質の向上に寄与することができる。
第4の構成においては、自分の集計結果のみを表示するようにしてもよいし、他人の集計結果を併せて表示するようにしてもよい。
また、集計結果の表示は、オンライン会議中に行ってもよいし、オンライン会議後のレビューとして行っても良い。
集計の内容は、例えば、発言ごとの時間、平均の発言時間、総発言時間などとすることができる。沈黙の時間についても同様である。
第4の構成においては、
前記分析処理部は、前記端末の利用者の1回当たりの発言時間を提示するものとしてもよい。
こうすることにより、各参加者は、自身の話の長さが、どのような傾向にあるのかを判断することができる。この結果、発言の内容・質を向上させることができる。また、例えば、長すぎる発言を短くまとめることができれば、他の発言者に発言の機会を与えることも可能となり、会議全体の質向上に寄与することができる。
第4の構成においては、発言時間の提示は、オンライン会議中に行っても良い。こうすることにより、発言の質、およびオンライン会議の質を、随時、改善することが可能となる。
第4の構成においては、1回当たりの発言時間を、他の参加者と比較可能な形で提示してもよい。
また、発言時間と発言回数との分布の形で提示してもよい。こうすることにより、短い発言を多数回繰り返す傾向や、長い発言を比較的少数回行う傾向など、発言の傾向を、より詳細に把握することが可能となる。
第4の構成においては、
前記分析処理部は、前記オンライン会議における各端末からの発言時間の割合を求めるものとしてもよい。
こうすることにより、オンライン会議において、各参加者の発言のバランスを把握することができ、オンライン会議全体の質向上に寄与することができる。
発言時間の割合は、種々の形で算出することができる。例えば、オンライン会議全体の時間に対する発言時間の割合を求めても良い。また、発言時間の総和の中の割合を求めても良い。さらに、単純な返事などを除外するため、発言時間を計算する際には、所定の長さ以上の発言のみを対象としてもよい。
本発明は、第5の構成として、
複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
前記端末から音声データを入力する音声データ入力部と、
該音声データに含まれるキーワードを抽出するキーワード抽出部と、
該キーワードを前記音声データと対応づけて前記端末に表示する画面生成部を備えるオンライン会議システムとすることができる。
従来、オンライン会議システムにおいては、会議中の発言を音声データとして記録しておくことは可能であった。
しかし、これらの発言を後から確認しようとすれば、その内容を全て聞き直す必要があり、負担が大きかった。
これに対し、第5の構成によれば、発言の音声データに基づいてキーワードを抽出し、音声データと対応づけて表示することができる。従って、後から、キーワードによって、それぞれの発言の内容を推測することができ、議事録の作成や音声データの確認の効率化を図ることができる。
抽出されたキーワードは、音声データと対応づけて記憶させておいてもよい。
第5の構成において、キーワードは、種々の方法で抽出することができる。例えば、人工知能を用いてもよい。
また、別の方法として、音声データを音声認識してテキストデータに変換し、形態素解析によって単語を抽出し、さらに、抽出された単語を所定の規則でランキングしてキーワードを抽出する方法としてもよい。
キーワードの抽出は、種々のタイミングで行うことができる。
例えば、オンライン会議中にキーワードを抽出し、参加者全員に提示するようにすれば、発言内容を理解する助けとなる。
また、オンライン会議後にキーワードを抽出する場合には、その処理に時間をかけられる分、より精度の高い抽出を行うことが可能となる。
本発明は、第6の構成として、
複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
前記オンライン会議における各端末からなされたそれぞれの発言の開始時刻、終了時刻を会議データとして記憶する会議データベースと、
前記会議データに基づいて、時間軸に従って、前記発言がなされている期間を、前記端末ごとに区分して描いたガントチャートを表示する画面生成部を備えるオンライン会議システムとすることができる。
会議において、その効率、質を向上することは常に課題とされている。その一つとして、会議における各参加者の発言の実績を把握することは重要である。
しかし、従来のオンライン会議システムにおいては、会議における発言実績の把握については、あまり考慮されていなかった。
これに対し、第6の構成によれば、各発言の開始時刻、終了時刻を、発言ごとに記憶しており、端末ごと、即ちそれを利用する参加者ごとに区分してガントチャートで表示することができる。こうすることにより、会議中に、どの参加者が、どのような頻度で、どのような時間、発言をなしたのかを視覚的に把握することが可能となる。この結果、発言が長い参加者に、発言を要約するよう促したり、全く発言をしていない参加者に発言を促したりすることができ、全体の会議の質を向上させることができる。
第6の構成において、上述のガントチャートは、会議中に表示してもよいし、会議後に表示してもよい。
第6の構成においては、
前記画面生成部は、一の端末における発言がなされている期間に、他の端末からの発言が開始されたときは、他の端末の発言のうち、前記一の端末による発言と時間的に重なる部分を強調表示するものとしてもよい。
こうすることにより、他人の発言が終了しないうちに、発言を開始した箇所を視覚的かつ客観的に把握することができる。このような態様で発言をなすことは、他人の発言の機会を奪うとともに、会議の円滑・公平な進行を妨げるものでもある。従って、かかる不適切な発言を視覚化することにより、会議の効率および質の向上を図ることが可能となる。
強調表示は、色による強調、ハッチングその他の模様を付す態様、太線の枠囲みとする態様、点滅など、種々の態様で行うことができる。
第6の構成においては、
前記会議データベースには、前記発言に対して、他の端末からのリアクションが関連づけて記憶されており、
前記画面生成部は、前記リアクションを前記発言に関連づけて表示するものとしてもよい。
こうすることにより、各発言して他の参加者からなされたリアクションを視覚的、客観的に把握することができる。従って、各発言が、賛同を得られていたものか、そうでないのか、などを判断でき、オンライン会議のレビューをする際に、重要な発言を抽出しやすくなる利点がある。
リアクションについては、先に説明した通り、マーク、テキスト、感情分析の結果など、種々の態様を用いることが可能である。
第6の構成においては、
前記画面生成部は、前記会議データベースに基づいて特定されるそれぞれの発言のキーワードを、該発言に対応づけて表示するものとしてもよい。
こうすることにより、キーワードによって各発言の内容を推測することができ、オンライン会議のレビューをする際に、音声データの内容を確認すべき発言など、重要な発言を抽出しやすくなる利点がある。
キーワードの抽出は、先に説明した種々の方法を適用可能である。キーワードの抽出は、ガントチャートを描く時点で行ってもよいし、ガントチャートの描画以前に行い、結果を記憶しておくようにしてもよい。
本発明は、上述した種々の特徴を全て備えている必要はなく、適宜、その一部を省略してり組み合わせたりすることができる。
また、本発明は、上述のオンライン会議システムとしての構成の他、コンピュータによってオンライン会議を実現するオンライン会議方法として構成することもできる。また、本発明は、オンライン会議を実現するための機能をコンピュータに実現させるためのコンピュータプログラム、およびかかるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体として構成することもできる。
オンライン会議システムの構成を示す説明図である。 データベース構造を示す説明図である。 配信制御処理のフローチャートである。 配信データ管理処理のフローチャートである。 配信制御の考え方を示す説明図である。 オンライン会議システムにおけるダイレクトトークの画面例を示す説明図である。 参加者画面生成処理のフローチャートである。 オンライン会議システムにおける画面例を示す説明図である。 会議レビュー処理のフローチャートである。 キーワード抽出処理のフローチャートである。 ガントチャートの表示例を示す説明図である。 分析レポートの表示例を示す説明図である。
本発明の実施例としてのオンライン会議システムについて、以下の順序で説明する。
A.システム構成:
B.ダイレクトトーク機能:
C.会議促進機能:
D.会議レビュー機能:
E.効果:
A.システム構成:
図1は、オンライン会議システムの構成を示す説明図である。実施例のオンライン会議システム100は、インターネットに接続されたサーバによって構成されており、同じくインターネットに接続された複数の端末10の間で、画像および音声を相互に配信することで、オンライン会議、オンライン懇親会(以下、双方を含めてオンライン会議と称する)などを実現することができる。端末10としては、インターネットに接続する機能を有するタブレット、スマートフォン、携帯電話、パソコン、ノートパソコンその他の機器を利用することができる。オンライン会議に参加する端末数は、何台であってもよい。
端末10は、内部にCPU、メモリを有するコンピュータであり、図示する機能がそれぞれコンピュータプログラムによってソフトウェア的に構築されている。図中の各機能の一部または全部はハードウェア的に構築しても良い。
送受信部11は、インターネットを介して情報を授受する機能を奏する。本実施例では、オンライン会議における画像データ、音声データ等の情報が含まれる。
音声入力部12は、端末10に備えられているマイク等を利用して、その利用者、即ちオンライン会議の参加者の音声を入力する。
画像撮影部13は、端末10に備えられているカメラ等を利用して、その利用者、即ちオンライン会議の参加者の画像を入力する。
コマンド入力部16は、端末10のタッチパネル、キーボードなどから、種々のコマンドを入力する。コマンドとしては、オンライン会議の画像の表示モード、音量の調節などの他、本実施例に固有の機能に関するものも含まれる。
表示制御部17は、端末10のディスプレイへの画面表示を制御する。本実施例では、オンライン会議において他の端末10から受信した画像等が表示されることになる。
音声出力制御部18は、端末10からの音声出力を制御する。本実施例では、オンライン会議における他の端末10から受信した音声等が出力されることになる。
端末10には、ブラウザ14が備えられており、オンライン会議システム100が生成したオンライン会議の画面その他のデータをブラウザ14が実行することにより、オンライン会議のための種々の機能が提供される。
ブラウザ14には、音量調整部15が組み込まれている。音量調整部15は、オンライン会議において、ブラウザ14で表示されるインタフェースを利用して、他の端末10から受信した音量を個別に調整する機能を提供する。即ち、ブラウザ14で表示される音量調整用のインタフェースを利用者が操作すると、音量調整部15は、その操作結果に基づいて、音声出力制御部18に音量調整指示を出力する機能を奏することになる。
ブラウザ14および音量調整部15に代えて、オンライン会議用の専用アプリケーションを端末10にインストールする方法をとってもよい。
オンライン会議システム100は、CPU、メモリ等を備えるサーバで構成されており、図示する各機能がそれぞれコンピュータプログラムによってソフトウェア的に構築されている。図中の各機能の一部または全部はハードウェア的に構築しても良い。また、オンライン会議システム100の各機能は、全てを1台のサーバで提供するものに限らず、複数のサーバによる分散システムによって提供してもよい。
以下、各機能について説明する。
オンライン会議システム100には、3つのデータベースが備えられている。各データベースの構造については、後で詳述する。
ユーザデータベース170は、利用者の氏名等の情報を記録している。オンライン会議への参加履歴も併せて記録する。
会議データベース171は、オンライン会議ごとにレコードが作成され、参加者その他の情報を記録する。
画像データベース172は、オンライン会議で各端末10から送信された画像データを記録する。本実施例では、画像データ、音声データが一体となった形式を利用しているため、画像データベース172には、音声も併せて記録されることになる。画像データと音声データとを別のファイルで構成してもよく、この場合は、画像データベース172には、画像データ、音声データを関連づけて記録することになる。
送受信部110は、インターネットを介して情報を授受する機能を奏する。本実施例では、オンライン会議における画像データ、音声データ等の情報が含まれる。
画像入力部140は、端末10から画像データを入力する。本実施例では、音声データも併せて入力されることになる。
配信制御部120は、オンライン会議に参加している端末10の間で、画像データ、音声データなどオンライン会議に関するデータを配信する。配信制御部120は、2つの意味での配信制御を行うことになる。実施例では、複数のオンライン会議が並行して開催される可能性があり、それぞれの会議に参加する複数の端末10が接続されている。配信制御部120は、一つ目の制御処理として、これらのオンライン会議を区別して、それぞれのオンライン会議に参加している端末10間でのみ配信をするよう制御する。二つ目の制御処理は、各オンライン会議内での配信制御である。即ち、基本的には、オンライン会議に参加している複数の端末10全体で、相互にデータの送受信を行うように配信するのであるが、後述する本実施例に特徴的な機能においては、一部の端末間での配信を禁止等する。かかる制御がオンライン会議内での配信制御として実行されることになる。
スタンプ処理部150は、端末10の間で、スタンプを送受信する機能を奏する。スタンプとは、オンライン会議中に、他の参加者の発言に対して、賛成、反対などの意見・感想を簡易に表現するための図形等である。テキストのメッセージも含めても良い。
画面生成部130は、端末10に画面を表示させる機能を奏する。具体的には、各端末10に画面を表示するためのデータをHTML等の形式で生成するのである。このデータが端末10に送信され、ブラウザ14で表示されることになる。
分析処理部160は、オンライン会議における参加者の発言や反応を分析する機能を奏する。分析は、オンライン会議中にリアルタイムに行っても良いし、オンライン会議の終了後にレビューしてもよい。分析内容としては、例えば、発言時間や各参加者の発言比率などが挙げられる。
また、分析処理部160には、感情分析部161、キーワード抽出部162が備えられている。
感情分析部161は、端末10から得られるオンライン会議の参加者の表情に基づいて、発言に対する反応を分析する。表情による感情の分析には、人工知能の利用など、周知の種々の技術を適用することができる。この意味で、感情分析部161は、例えば、クラウドで提供されているサービスを利用する形で実現してもよい。
キーワード抽出部162は、オンライン会議の発言を解析して、キーワードを抽出する。キーワードの抽出も、人工知能の利用など、周知の種々の技術を適用することができる。従って、キーワード抽出部162も、感情分析部161と同様、例えば、クラウドで提供されているサービスを利用する形で実現してもよい。
図1に示したオンライン会議システム100および端末10の機能は、一例に過ぎず、他にも種々の構成が実現可能である。図示した機能の一部を省略、または統合してもよい。また、図示した以外の機能を設けても差し支えない。
図2は、データベース構造を示す説明図である。
右上に、ユーザデータベース170のデータ構造を示した。ユーザデータベース170は、利用者ごとに、固有の識別情報としてのユーザIDを付したレコードが作成される。レコードには、利用者の氏名、メールその他の連絡先、および利用者が参加したオンライン会議の履歴等が記録される。本実施例では、履歴には、会議データベース171において、会議ごとに付される識別情報である会議IDを記録するものとした。
右下に、画像データベース172のデータ構造を示した。画像データベース172には、画像データが、それぞれ固有の識別情報である画像IDを付して記録されている。さらに、ユーザIDや日時などを関連づけて記録するようにしてもよい。
左側に、会議データベース171のデータ構造を示した。会議データベース171は、オンライン会議ごとに、固有の識別情報である会議IDを付したレコードが作成される。
各レコードには、オンライン会議の「タイトル」、日付、開始時刻、終了時刻などの情報が記録される。これらの情報は、オンライン会議を主催した利用者が、端末10から登録することができる。
また、オンライン会議への参加者として、ユーザデータベース170のユーザIDが記録される。オンライン会議には、一つの端末10を複数人が利用することも考えられるが、本実施例では、各端末10からオンライン会議システム100にサインインした利用者のみが記録されるものとした。以下の説明では、表現が煩雑となることを回避するため、一つの端末10を一人が利用しているものとして、説明することとする。
「グループ」とは、オンライン会議に参加する利用者をグループ化する情報である。この情報は、オンライン会議への参加者が任意に登録することができる。図の例えは、グループ1、グループ2の2つのグループが登録されており、それぞれのグループに所属する参加者のユーザIDが記録されている。一人のユーザが複数のグループに重複して登録されることを許容しても差し支えない。本実施例では、後述する通り、オンライン会議の参加者の一部だけで会話することができるダイレクトトーク機能を設けており、グループは、かかる機能での会話相手の指定等で利用することができる。
「発言ログ」とは、オンライン会議中の各参加者の発言の記録である。発言された時刻、発言を行った参加者のユーザID、およびその画像データが関連づけて記録されている。画像データについては、画像データベース172の画像IDを記録するものとした。発言ログを参照すれば、オンライン会議の発言を再生することが可能となる。
「スタンプログ」は、オンライン会議中に参加者間で授受されたスタンプの記録である。スタンプを送信した時刻、送信者、受信者、スタンプの内容が関連づけて記録されている。送信者、受信者はそれぞれユーザIDが記録される。スタンプの内容は、スタンプを表すIDなどを記録すればよい。テキストのメッセージを送受信可能とする場合は、テキストの内容を記録してもよい。
「配信データログ」は、オンライン会議中の配信制御の結果の記録である。後述する通り、本実施例では、オンライン会議に参加している複数の端末10間で画像データを送受信する際に、全端末間で配信するだけでなく、一部の端末間でのみ配信することも可能となっている。このようにどの端末間で画像データを配信するかを制御するためのデータとして、本実施例では、配信データを用いている。配信データログでは、この配信データを時刻と対応づけて記録しておくのである。こうすることにより、オンライン会議中の各時点での画像データの配信状況を再現することが可能となる。
図2に示したデータ構造は、一例に過ぎず、他にも種々の構造をとることができる。図2に示したデータの一部を省略してもよいし、この他のデータを各データベースに記録するようにしてもよい。
B.ダイレクトトーク機能:
実施例のオンライン会議システムにおいて実現されるダイレクトトーク機能について説明する。ダイレクトトーク機能とは、オンライン会議中に、一部の参加者間でのみ会話を行う限定配信機能である。例えば、ダイレクトトークが、参加者A、参加者Bの間で行われているとき、AB間の会話は、他の参加者には配信されない。ただし、他の参加者は、会話を制限される訳ではなく、他の参加者間での会話は通常通り行うことができる。
例えば、オンライン会議システムを利用して懇親会を開催する場合を考える。現実の懇親会では、一部の参加者間での会話が並行して行われることが多いが、オンライン会議システムでは、通常は、一人の発言は全員に配信されるため、複数の会話が並行して行いづらい状態にある。かかる場合に、ダイレクトトーク機能を利用すれば、一部の参加者間でのみ会話をすることができるため、懇親会における会話をより円滑に行うことが可能となる。
また、会社間の協議にオンライン会議システムを利用する場合を考える。かかる会議では、途中で会社内のみで協議をした上で、相手方に回答をする必要が生じることがある。また、協議というほど大げさなものでないにしても、会議の進行中に、その進行を妨げない程度に、仲間内で疑問点などを確認しておきたい場面もある。通常のオンライン会議システムでは、このような仲間内での協議等を行うことができなかったが、本実施例では、ダイレクトトーク機能を用いることにより、これを実現することが可能となる。
以下、ダイレクトトーク機能を実現するための制御処理について説明する。
図3は、配信制御処理のフローチャートである。主として配信制御部120(図1参照)が実行する処理であり、ハードウェア的にはオンライン会議システム100を構成するサーバが実行する処理である。この処理は、オンライン会議中、繰り返し実行される。
処理を開始すると、サーバは、各端末10から音声も含む画像データを入力する(ステップS10)。
そして、配信データに基づいて配信先を特定する(ステップS11)。図中に配信データの例を示した。配信データは、どの端末から受信したデータを、どの端末に配信するかを定義するデータである。図の例では、各行が発信端末を表し、各列が受信端末を表している。発信端末Aの行は、受信端末Dのみが「○」となっているから、端末Aから受信した画像データは、端末Dにのみ配信されることになる。逆に、端末Dから受信した画像データは、端末Aにのみ配信されることになる。即ち、端末AD間で、ダイレクトトークが行われている状態となる。
ダイレクトトークが行われている間、他の端末B、Cの会話が制限される訳ではない。従って、端末Bから受信した画像データは、端末Cに配信される。また、端末Cから受信した画像データは、端末B、Dに配信される。端末AD間ではダイレクトトークが行われているため、AD間の会話は端末B、Cには配信されないが、端末A、Dは設定次第で他の端末の会話を聞くことは可能である。端末Dは、端末Cの会話も聞くことができるよう設定しているため、ダイレクトトーク中であっても、端末Cからの画像データは、端末Dに配信されるのである。
このように配信データの設定次第で、全端末間で通常通り会話を行う状態、一部の端末間でダイレクトトークを行う状態などを制御することが可能となる。
サーバは、ステップS11の結果に従って、各端末に画像データを配信し(ステップS12)、会議データベースに配信データを格納して、データベースの内容を更新する(ステップSS13)。
実施例の処理では、音声を含む画像データの配信を制御しているため、ダイレクトトーク中は、音声だけでなく画像の配信も制限されることとなる。即ち、ダイレクトトーク中の参加者は、他の参加者の画像は、端末には表示されない状態となる。
これに代え、ダイレクトトークを音声データにのみ適用するものとしてもよい。つまり、音声を含まない画像データについては、配信データに依らず、常に全端末間で相互に配信するようにし、音声データのみ配信データに基づいて配信制御するようにしてもよい。画像データと音声データとが別々のデータとして扱われている場合には、それぞれを配信データによって配信制御すれば足りる。これに対し、音声を含む画像データとして一体的にデータが構成されている場合には、2つの方法が考えられる。一つは、音声データと画像データとを分離した上でそれぞれを個別に配信制御する方法である。もう一つは、両者を一体として配信するのであるが、配信データにおいて音声の配信が禁止されている端末に対しては、音声の再生を禁止するフラグを画像データに付した上で配信する方法である。端末は、音声を含む画像データを受信することになるが、フラグが付されているため、音声を消去して画像データのみを再生する。こうすることにより、実質的に音声を配信していないのと同じ効果を得ることができる。
図4は、配信データ管理処理のフローチャートである。この処理は、配信先を制御するための配信データの内容を、オンライン会議の参加者の端末10の操作に従って決定する処理である。主として配信制御部120(図1参照)が実行する処理であり、ハードウェア的にはオンライン会議システム100を構成するサーバが実行する処理である。この処理は、オンライン会議中、繰り返し実行される。
処理を開始するとサーバは、参加者が各自の端末10に表示された画面を操作したか否かを検出する。特に操作が行われていない場合は(ステップS20)、配信データを変更する必要はないため、サーバは何も処理をすることなく配信データ管理処理を終了する。操作が行われた場合は(ステップS20)、その内容に応じて、それぞれの操作内容に応じた処理を実行する。
操作内容が、ダイレクトトークリクエストである場合(ステップS20)、即ち、いずれかの参加者が、他の参加者を指定して、ダイレクトトークの開催をリクエストした場合は、以下の処理を行う。
サーバは、操作内容に基づき、リクエスト元、リクエスト先を特定する。本実施例では、指名リクエスト、グループリクエストの2通りのリクエストの方法をとることができるものとした。
指名リクエストとは、他の参加者を個別に指定して行うリクエストである。この場合は、リクエスト先は、指定された参加者が利用する端末10ということになる。
グループリクエストとは、参加者が属するグループを指定して行うリクエストである。オンライン会議の参加者は、任意にグループを形成し、予め登録しておくことができる(図2の会議データベース171の「グループ」参照)。グループリクエストでは、このグループのいずれかを指定して、ダイレクトトークのリクエストをするのである。例えば、会社同士の会議では、同じ会社の参加者をグループとしておけば、個別に指名するまでなくグループ内の参加者に簡易にダイレクトトークのリクエストを送ることが可能となる。
次に、サーバは、ダイレクトトーク中の相手をリクエスト先に追加する(ステップS22)。例えば、参加者AB間でダイレクトトークをしている最中に、参加者Cから参加者Aに対してダイレクトトークのリクエストが発信された場合を考える。このとき、参加者Cがダイレクトトークに参加するためには、参加者Bの承認も得るべきである。かかる観点から、サーバは、ダイレクトトークのリクエスト先(上述の例では参加者A)が、既にダイレクトトーク中である場合には、その相手先(上述の例では参加者B)もリクエスト先に追加するのである。
サーバは、ダイレクトトークの送信、および承認の結果をリクエストデータとして管理している。従って、サーバは、以上の処理に基づいて、新たに送信されることになるリクエストを追加することで、リクエストデータを更新する(ステップS23)。
そして、リクエストの送信先となる各端末の画面に、承認要求ボタンを表示させる(ステップS24)。
操作内容が、リクエストの承認、またはボリュームの調整である場合は(ステップS20)、以下の処理を行う。リクエストの承認とは、先にステップS24で説明した「承認要求ボタン」が表示された端末の参加者が、これをクリック等して承認することを言う。リクエストが承認されると、サーバは、ダイレクトトークを成立させるよう配信データを変更する必要が生じる。
また、ボリュームの調整とは、参加者が他の参加者からの音量を個別に調整する操作のことを言う。ダイレクトトークが設定されると、一旦は、他の参加者の音声が配信されなくなる。例えば、参加者AB間でダイレクトトークが開始されると、他の参加者の音声は、一旦は、参加者ABには配信されない設定となる。しかし、本実施例では、ダイレクトトーク中でも他の参加者の会話を聞くことは許容されている。そこで、ダイレクトトーク中の参加者Aまたは参加者Bが、参加者Cの会話を聞けるように音量を調整したときには、サーバは参加者Cの音声を配信するように配信データを変更する必要が生じる。
以下で説明するのは、このように配信データを変更するための処理である。
なお、ダイレクトトークが設定されたときに、他の参加者の音声を消去するのではなく、引き続き配信されるものとしてもよい。ダイレクトトークを開始した参加者は、必要に応じて、端末上で他の参加者の音量を小さくし、消音するようにしてもよい。かかる場合には、音量の調整に応じて配信データを変更する必要はなくなるため、以下の処理を省略するようにしても差し支えない。
処理を開始すると、サーバは、操作に従って、リクエストデータを更新する(ステップS30)。即ち、ダイレクトトークが承認された場合は、リクエストデータにおいて、対応するリクエストの記録を検索し、その状態を、「承認」に書き換えることになる。ボリュームの調整時は、リクエストの承認とは無関係であるため、リクエストデータの更新は必要ない。
リクエストがまだ全員に承認されていない場合には(ステップS31)、承認が得られた一部の参加者の間でのみダイレクトトークを成立させるべきではないため、サーバは、特に処理を行うことなく配信データ管理処理を終了する。この処理は、次のように場合を分けて行っても良い。例えば、未だダイレクトトークが成立していない状態で、グループリクエストのように、複数の参加者にリクエストを送信している場合は、その一部から承認が得られた段階で部分的にダイレクトトークを成立させても差し支えないと考えられる。一方、既にダイレクトトークを行っているときに、新たな参加者からのリクエストがなされた場合には、既存のダイレクトトークの参加者全員の承認が必要と言える。従って、ステップS31を、既にダイレクトトークがなされている場合と、そうでない場合に分けて処理するようにしても良い。
リクエストについて全員の承認が得られたときは(ステップS31)、サーバは、承認が得られたダイレクトトークを成立させるように配信データを更新する(ステップS32)。ボリュームの調整時も、全員の承認が得られたものとして、同様の処理を行う。こうすることで、操作に従った音声の配信が実現される。
操作内容が、ダイレクトトークの解除またはクリアの承認である場合は(ステップS20)、以下の処理を行う。解除とは、個別のダイレクトトークを終了させることを言い、クリアとは、自身が関係している全てのダイレクトトークを終了させることを言う。例えば、参加者Aが参加者B、Cとダイレクトトークを行っているとき、参加者Aは、参加者Bまたは参加者Cとのダイレクトトークを個別に「解除」することもできるし、参加者B、Cとのダイレクトトークを「クリア」して一括して終了させることもできる。
サーバは、処理を開始すると、まず解除またはクリアの操作に応じて、リクエストデータを更新する(ステップS40)。本実施例では、解除またはクリアされたダイレクトトークに対応するリクエストデータを削除するものとした。
次に、サーバは、配信データを更新する(ステップS41)。解除の場合は、指定されたダイレクトトークに関係していた端末の音声を他の端末にも配信するよう配信データを更新することになる。また、クリアの場合は、関係する全ダイレクトトークについて同様の処理を行うことになる。ただし、これは解除またはクリアを指示した端末から送信される音声についての処理であり、他の端末間でなされているダイレクトトークまで解除されるという趣旨ではない。
こうすることで、ダイレクトトークが解除またはクリアされ、他の端末も含めた会話が可能となる。
図5は、配信制御の考え方を示す説明図である。配信データおよびリクエストデータの推移の例を示した。
左上の配信データD1は、通常時、即ち全ての端末間で音声が配信されている状態を示している。この状態で、端末Aから端末Dに対して、ダイレクトトークのリクエストが送信されたとする。すると、サーバは、これに対応するリクエストデータR1を生成する。図中のA→Dは、リクエストの発信端末がA、相手先がDであることを示している。
次に、このリクエストに対して端末Dで承認されたとする。サーバは、この操作に応じて、リクエストデータR2のように、リクエストのステータスを「承認」に変更する。図中の「○」が承認を表している。
そして、承認されたリクエストに応じて、端末AD間でダイレクトトークが実現するよう配信データD1を配信データD2のように変更する。
つまり、データD2aに示すように、端末Aからの音声は、端末Dにのみ配信する。端末B、端末C欄が「×」となっているのは、これらの端末への配信が禁止されることを表している。同様に、データD2dに示すように、端末Dからの音声は、端末Aにのみ配信する。
また、端末AD間でダイレクトトークが成立したとき、端末B,Cの音声も、一旦、端末Aおよび端末Dに配信されないように設定される。従って、データD2bに示すように、端末Bから端末Dへの配信は行われない状態となる。
端末Cから端末Dへの配信も、一旦は、「×」とされる。しかし、端末Dの操作で、端末Cからの音声を聞くように、音量を調整した場合は、データD2cに示すように、配信データは「○」に設定されることとなる。
この状態で、端末Bから端末Aに対してダイレクトトークのリクエストが発信されたとする。すると、サーバは、BからAに対するリクエストデータR3を生成する。また、既に端末AD間でダイレクトトークが成立しているため、その相手先である端末Dに対しても、端末Bからのリクエストを追加する。
このリクエストに対して、端末Aで承認されたとすると、サーバは、リクエストデータR4のように、端末Bから端末Aに対するリクエストを「承認」状態とする。しかし、端末Dからの承認が得られていない状態では、全員の承認が得られていないことになるため(図4のステップS31参照)、配信データD2は更新されない。
この状態で、端末AD間のダイレクトトークが解除されたとする。すると、端末Bから端末Aに対するリクエストは承認可能な状態となるため、サーバは、これに応じて配信データD2を配信データD3のように変更する。即ち、端末AB間でダイレクトトークを成立させる。また、端末AD間のダイレクトトークが成立した時点では、端末C、Dの音声も端末A、Bには配信されなくなるため、結果として、端末CD間でもダイレクトトークと同様の状態となっている。
この状態でさらに、端末AB間のダイレクトトークが解除されれば、ダイレクトトークはいずれの端末間にも成立していないこととなるから、配信データD3は、配信データD1の状態に変更され、全端末間での配信が行われることになる。
図6は、オンライン会議システムにおけるダイレクトトークの画面例を示す説明図である。図6(a)にはダイレクトトークの成立前の状態、図6(b)にはダイレクトトーク中の画面を示した。
図6(a)に示す通り、この例では、左上には、自身の画像が表示され、その他の領域には、それぞれ参加者A〜Cの画像が表示されている。自身の画像には、ダイレクトトークのリクエストを、グループ単位で指定するためのボタン51が表示されている。いずれかのボタンをクリックすることにより、グループ1またはグループ2に対するリクエストを発信することができる。
また、各参加者A〜Cの画像には、それぞれ「ダイレクトトーク」と表示したボタン52が表示される。個別の参加者を選択してダイレクトトークをリクエストする際には、このボタンをクリックすればよい。図6(a)の例では、参加者Aに対してダイレクトトークのリクエストを発信したため、参加者Aのボタン52のみ白黒反転して表示されている。
各参加者A〜Cの画面には、音量調整のためのボリューム53が表示されている。オンライン会議中に、ボリューム53をスライドさせることで、各参加者の音量を個別に調整することが可能である。図の例では、参加者Aの音量は大きく、参加者Cの音量は小さく設定され、参加者Bは消音されている。
本実施例では、端末10は、それぞれの参加者の音声を含む画像データを受信して、再生することで音声を再生する。参加者の画像データは、個別のデータとして配信されるため、音量の調整も個別に可能である。即ち、端末10では、複数の音声を再生する処理が、並行して行われることになる。実施例のオンライン会議システム100では、画面に表示されたボリューム53の操作に応じた音量指示が端末10の再生機能に指示されるよう構成することで、個別の音量調整を実現している。
音量調整の方法は、端末10の機能に依存する方法に限らず、サーバ側で実現するようにしてもよい。この場合は、端末から各参加者に対するボリューム53の調整状態をサーバが受信し、これに応じた音量で各参加者の音声を合成した状態で端末に配信するようにすればよい。
ダイレクトトークが成立すると、図6(b)に示すように、ダイレクトトークをしている参加者同士を結ぶリンク56が表示される。図の例では、自身と参加者Aとがダイレクトトークをしていることが示されている。このリンク56は、参加者Aの端末の画面にも同様に表示される。参加者Bおよび参加者Cの端末に表示される画面には、表示されない。こうすることで、自身が参加者Aとダイレクトトークをしていることが、参加者B、Cに認識されるのを回避することができる。
変形例として、ダイレクトトークのリンク56を、関係ない参加者B,Cの端末に表示するようにしてもよいし、かかる表示を行うか否かを選択可能としてもよい。
リンク56の一端には、解除ボタン55が表示されている。これをクリックすることにより、成立しているダイレクトトークを解除することができる。自身が、参加者A、Cとの間でダイレクトトークしている場合のように複数のダイレクトトークが成立しているときは、参加者A、Cとの間に、それぞれリンク56および解除ボタン55が表示されることになるため、解除ボタン55を利用して、ダイレクトトークを個別に解除することが可能である。
また、自身の画面には、「クリア」のためのボタン54が表示される。ボタン54を操作すると、自身が関係しているダイレクトトークを一斉解除することができる。
自身に対するダイレクトトークのリクエストが発信されたときは、図中の参加者Bの画面に示したように「リクエスト」のボタン57が点滅表示される。ボタン57をクリックすることにより、このリクエストを「承認」することができる。実施例では、リクエストを拒絶するための操作は設けなかったが、拒絶可能としてもよい。
以上で説明した処理、および画面表示によって、本実施例のオンライン会議システム100は、参加者の一部でダイレクトトークを実現することができる。
上述の処理、画面表示は、一例に過ぎず、種々の変形例を構成することも可能である。
C.会議促進機能:
次に、会議促進機能について説明する。本実施例では、オンライン会議を効率的・効果的に進行するために会議促進機能を有している。会議促進機能としては、各参加者の発言の程度を表示することで、参加者に対して発言を促す機能;発言中に他の参加者からの反応が表示されることで、発言を促進したり、考えを再考したりする機会を与える機能などが用意されている。以下、これらの機能について説明する。
図7は、参加者画面生成処理のフローチャートである。主として画面生成部130、画像入力部140、スタンプ処理部150、分析処理部160(図1参照)が実行する処理であり、ハードウェア的には、オンライン会議システム100を構成するサーバが実行する処理である。この処理は、オンライン会議の開催中、繰り返し実行される。
処理を開始すると、サーバは、各端末から音声を含む画像データを入力する(ステップS50)。そして、発言と言える音声が含まれている画像データが、いずれの端末から送信されたものであるかを判断することにより、オンライン会議における発言者を特定する(ステップS51)。
また、他の参加者から発言者へのスタンプ情報を入力する(ステップS52)。スタンプ情報としては、発言に対して賛成、驚き、反対などの意見、感想を表すマークを利用することができる。オンライン会議システム100において、これらのスタンプを予め用意しておき、参加者は、これらの一部を選択することで、発言に対して、自身の意見、感想を簡易に、かつ発言を妨げることなく、発信することができる。
スタンプ情報には、各参加者からのテキストデータを含めてもよい。こうすることで、スタンプで表しきれない具体的な意見、感想などを伝えることが可能となる。
スタンプ情報は、発言者に限らず、誰に対しても送信可能としてもよい。ただし、かかる態様でスタンプを発信可能とすると、それぞれのスタンプの趣旨が不明確となるとともに、オンライン会議中に雑多な情報が交換され、かえって会議の進行を阻害するおそれもある。そこで、本実施例では、ステップS51において発言者を特定し、発言者に対するスタンプ情報の発信のみを有効に扱うものとした。
次にサーバは、発言者以外の参加者の感情分析処理を行う(ステップS53)。本実施例では、各参加者の表情に基づいて感情分析することとした。この処理は、各端末から受信した参加者の画像を用い、例えば、人工知能を利用して行うことができる。感情分析は、既に周知の技術が存在しているため、これらを利用してもよい。
感情分析としては、例えば、利用者の視線が、画面から外れたか否かを評価し、その回数や頻度に応じて、利用者の発言に対する好感度を判断するようにしてもよい。
また、利用者の眼の開き具合や頭部の揺れなどに基づいて、利用者が居眠りしているか否かを判定するようにしてもよい。この場合は、発言が退屈であることを示すものと扱って発言者にフィードバックすることもできるし、利用者に対して、目を覚ますよう警告を出すようにしてもよい。
さらに、これらの感情分析は、オンライン会議の参加者全員を対象として行うことができるため、例えば、居眠りをするなど、集中力が欠如したと判断される参加者の割合が増加したときには、主催者または全員に対して、休憩を促す表示等を行うようにしてもよい。
サーバは、また、各参加者の発言時間、サイレント時間を算出する(ステップS54)。発言時間とは、発言の長さである。サイレント時間とは、発言をせずにいる時間、即ち、最終の発言を終えてからの経過時間である。
図中に、発言時間、サイレント時間の算出方法を模式的に示した。図中のハッチングを付した部分が発言をしていることを表している。参加者Aが発言a1をした後、参加者Bが発言b1をし、その後、再び発言者Aが発言a2をしている。ステップS54では、現在の状況を示すため、参加者Aについては、現在行っている発言a2の長さが発言時間となる。発言を継続する限り、発言時間は徐々に増加していくことになる。発言時間が表示されれば、参加者Aは、オンライン会議中に、自分が長時間話し過ぎであることを認識でき、発言をコンパクトに整理して話すように心がけるなど、会議の効率を向上させることが可能となる。
参加者Bについては、発言b1を終えた後の経過時間がサイレント時間となる。発言をしなければ、サイレント時間も徐々に増加することになる。サイレント時間を表示することにより、参加者Bに対して発言を促すことができる。
サーバは、各参加者の発言率も算出する(ステップS55)。発言率は、オンライン会議において、各参加者が、どれだけの割合で発言しているかを示す割合である。本実施例では、「各参加者が発言を行った累計時間/オンライン会議の時間」で発言率を算出するのとした。オンライン会議の時間には、全員が沈黙している時間も含まれる。これに代えて、「各参加者が発言を行った累計時間/全参加者による総発言時間」としてもよい。こうすれば、発言がされている時間のみを対象として、各参加者の割合を把握することができる。また、発言の中には、単なる返事も含まれるため、まとまった意見を述べたと判断される程度の所定の長さを超える発言のみを対象として、発言率を算出してもよい。
サーバは、以上の処理結果を表す画像データを生成し、各端末に送信する(ステップS56)。
なお、この例においてステップS52〜S55で行ったそれぞれの処理は、一部を省略してもよい。
図8は、オンライン会議システムにおける画面例を示す説明図である。左上に自身の画像、他の領域に参加者A〜Cの画像が表示されている。
自身を含め各参加者の画面には、発言時間、サイレント時間のインジケータ61が表示される。自身が発言中は、図示するように発言時間が徐々に増大していくことになる。逆に、発言をしていないときは、破線で示すようにサイレント時間が増大していくことになる。図の例は、自身が発言中の状態を示しているため、参加者A〜Cは、それぞれサイレント時間が表示されている。
自身の画面の右下には、各参加者の発言率を示すチャート62が表示される。チャート62のハッチングを付した部分が自身の発言率を表している。発言率は、全参加者で共通の表示となるため、他の参加者の画面には表示されない。
自身の画面の左側には、スタンプ60が表示される。ハートマークは発言に対する賛成を表すスタンプ、!は驚きを表すスタンプ、NGは反対を表すスタンプである。それぞれ、自身の発言中に、参加者A〜Cが自身に宛てて発信したスタンプである。このようにスタンプが表示されることにより、自身の発言に対する反応を知ることができる利点がある。スタンプの種類は、これらに限られるものではない。また、画面のいずれかの領域に、他の参加者から発信されたテキストを表示可能としてもよい。
逆に、自身が他の参加者に対してスタンプを発信することもできる。スタンプを発信するためのインタフェースは、種々のタイプが考えられる。例えば、各参加者の画面内に、各スタンプを表示しておき、これをクリックすることで、そのスタンプを発信可能としてもよい。また、スタンプを画面外に表示しておき、これを各参加者の画面内にドラッグすることで、発信可能としてもよい。
各参加者の画面には、感情分析の結果が表示される。本実施例では、発言に対する賛成、反対、どちらでもない、分からないなどの意見を感情分析で判断するものとし、その結果を、表情のマーク63で表すものとした。参加者Aの画面には、発言に対して賛成であることを表すマーク63が表示されている。参加者Cのマークは、どちらでもないことを表している。マークは、画面内のいずれの部分に表示してもよく、マーク65のように参加者Bの顔に重ねて表示するようにしてもよい。
実施例のオンライン会議システムによれば、図8に示した表示を行うことにより、各人の発言を促進することができる。また、現実の会議では、発言者に対して、発言中に、発言を妨げることなく意見や感想を送ることは困難であるが、本実施例では、スタンプを有効に活用することにより、これを実現することができる。従って、現実の会議以上に、議論を活性化させることも可能となる。さらに、感情分析を利用することにより、各参加者の本心を推測することができる利点もある。
図8の画面表示は、一例に過ぎず、この一部を省略してもよいし、この他にも種々の表示を行ってもよい。
D.会議レビュー機能:
次に、会議レビュー機能について説明する。会議レビュー機能とは、オンライン会議の終了後に、会議における各参加者の発言の状況を分析して表示する機能である。この機能を活用することにより、各参加者は、自身が会議に消極的であった、自身の発言が長すぎる癖がある、などを評価することができる。かかる評価は、以後のオンライン会議の質向上を図ることが可能となる。以下、会議レビュー機能の処理および表示画面等について説明する。
図9は、会議レビュー処理のフローチャートである。オンライン会議が終了後に、種々の情報を分析するための処理である。この処理は、主として画面生成部130、分析処理部160(図1参照)が行うものであり、ハードウェア的にはオンライン会議システム100を構築するサーバが実行する処理である。この処理は、いずれかの利用者が、起動することで開始される。
処理を開始すると、サーバは、まず処理を起動した利用者のユーザIDを入力する(ステップS60)。そして、この利用者が参加した会議リストを表示し、分析の対象とする会議の選択を受け付ける(ステップS61)。図1で説明した通り、ユーザデータベース170には、オンライン会議への参加履歴が記録されているから、ステップS60で入力されたユーザIDに対応する履歴を参照すればよい。
図中に、会議リストのイメージを示した。会議の日時、タイトル、参加者など、レビューの対象とする会議を選択する助けとなる情報が表示される。利用者は、このリストから、いずれかをクリック等で選択すればよい。
対象となる会議が選択されると、サーバは、会議データを読み込む(ステップS62)。会議データは、会議データベース171に記録されている。
そして、キーワード抽出処理を実行する(ステップS63)。この処理内容は後述するが、各参加者の発言を音声認識し、そこに含まれるキーワードを抽出するのである。キーワードは、発言と対応づけて抽出される。
サーバは、次に分析データ生成処理を実行する(ステップS64)。本実施例では、次の4種類のデータを生成する。
第1に、発言実績として、発言時間と回数の分布を集計する。これは、全参加者について集計してもよいし、本処理を実行している参加者についてのみ行っても良い。この集計により、参加者が、どれくらいの発言時間で発言をすることが多いかを知ることができ、自分が長めに発言する傾向にあるかといった癖を知ることができる。全参加者について集計すれば、他の参加者との比較により、自分の発言時間の傾向をより客観的に知ることが可能となる。
第2に、反応分析として、スタンプの種類ごとに「スタンプ数/発言回数」を算出する。こうすることにより、自身の発言に対して、他の参加者の賛成、驚き、反対などの意見、感想が、どのような傾向にあるのかを知ることができる。反応分析は、この他にも、「賛成」または「反対」のスタンプを最も多く得た回数など、自身の発言を評価できる種々の分析を行うことができる。
第3に、各参加者の発言割合である。これは、さきに図7のステップS55で説明したのと同様の処理により、会議終了後に最終の実績として求めるものである。発言割合を求めることにより、自身が、どの程度、積極的にオンライン会議に参加していたかを評価することができる。
第4に、総合評価である。総合評価は、種々の方法で求めることができる。例えば、第1〜第3の分析結果を、それぞれの基準で点数化し、これを合計して点数を求めても良い。また、総合評価を、積極性、発言長さなどの要素に分け、それぞれの要素ごとに、第1〜第3の分析結果を点数化してもよい。この他、種々の方法で求めることができる。総合評価は、必ずしも理論的に「正当な」評価である必要はない。オンライン会議ごとに、所定の基準で定義された客観的な総合評価が表示されれば、利用者に対して、会議の質を向上させる動機付けとなり得る。
サーバは、以上の分析結果を表す画像データを生成し、端末に出力する(ステップS65).本実施例では、ガントチャート、分析レポートの2種類の画面を用意した。もちろん、出力画面は、これらに限られるものではない。
これらの画面は、利用者が表示切換を指示すれば(ステップS66)、切り換えることができる。以上が、会議レビュー処理の内容である。
図10は、キーワード抽出処理のフローチャートである。会議レビュー処理(図9)のステップS63に相当する処理である。
処理を開始すると、サーバは、音声データを入力する(ステップS70)。音声を含む画像データを用いている場合は、そこから音声部分だけを抜き出せばよい。
そして、音声データに基づいて音声認識処理を行う(ステップS71)。音声認識は、既に周知の技術が存在するので、それを利用すればよい。
次に、音声認識によって得られたテキストデータを形態素解析し、単語を抽出する(ステップS72)。形態素解析も、周知の技術を適用可能である。こうしてキーワードとなる候補の単語が抽出されたことになる。
次にサーバは、非候補単語を除外する(ステップS73)。非候補単語とは、オンライン会議中に頻出するとしても、キーワードとはなり得ない単語である。例えば、代名詞、指示代名詞や、今日、昨日、明日のように日時を表す単語が挙げられる。非候補単語は、これらをデータベースとして登録しておけばよい。また、キーワードを抽出した結果を、オペレータがチェックすることで、非候補単語のデータベースを更新可能としてもよい。
サーバは、抽出された単語にランキングをつける(ステップS74)。本実施例では、使用頻度、固有名詞、インターネットの検索回数、キーワードデータベースなどの基準でランキングをつけるものとした。
使用頻度とは、オンライン会議中に使用される回数である。一人が使用するよりも複数人が使用している方がキーワードとしての重要性は高いと考えられるため、単に使用回数ではなく、使用人数で評価してもよい。
固有名詞は、プロジェクト名、イベント名など、オンライン会議のテーマとして固有名詞が含まれることが多く、また固有名詞は会話の内容を想起したり、特定したりする手がかりとなりやすいため、高ランキングとした。一方、固有名詞は、人名や地名など、キーワードに適さないこともあり得るため、例えば、複数人が共通の固有名詞を使用しているときにのみランキングをつけるようにしてもよい。
インターネットの検索回数は、インターネットの種々の検索エンジンで頻出のキーワードである。これらについては、検索エンジンのサイトなどにアクセスすることにより取得することができる。
また、キーワードデータベースは、利用者が予め登録しておいたキーワードのデータベースである。こうすることにより、特殊な単語であっても、漏れなくキーワードとして抽出することが可能となる。
キーワードの抽出は、上述した他の基準を用いても良い。また、複数の基準については、優先度を設けて適用してもよい。
こうして単語にランキングが付されると、サーバは、その上位所定数をキーワードとして特定し、出力する(ステップS75)。このキーワードは、会議レビュー処理(図9)の画面表示等に活用される。なお、抽出したキーワードは、会議データベース171に発言と対応付けて記録しておいてもよい。
次に、会議レビュー処理における表示画面例について説明する。本実施例では、ガントチャートおよび分析レポートの2つの画面を用意した。以下、順に説明する。
図11は、ガントチャートの表示例を示す説明図である。ガントチャートでは、横軸を時間として、オンライン会議の各参加者の発言が帯状のグラフで表示される。図の例では、参加者A〜参加者Dの4人の発言が表示されている。それぞれ四角の発言枠70などが、発言を行っていることを表している。
それぞれの発言枠70は、音声データと連動させてもよい。例えば、発言枠70をクリックすると、当該発言が再生されたり、発言枠70のクリックする位置に応じて、それに対応した時刻の音声を再生されるようにしてもよい。音声データと併せて画像データを再生可能としてもよい。
会議中は、他人の発言中に、別の参加者が発言を行うこともある。図の例では、発言枠70で示した参加者Aの発言中に、参加者Bが発言を開始している。このような場合、本実施例では、後から開始した発言を開始した場合、他人の発言にかぶっている部分には、図中のハッチングで付した部分のように強調表示72を施す。他のハッチングを施した部分も、同様に、かぶせて発言を行った箇所を表している。他人の発言にかぶせて発言をすることは、会議中はあまり好ましい態度とは言えないため、このように強調表示をすることにより、当該参加者に対して、次回から、かかる発言を控えるよう気づかせる効果がある。
各発言には、発言中に送られたスタンプ71も併せて表示している。こうすることにより、それぞれの発言に対して、他の参加者が、どのように反応したかを視覚的に把握することができ、オンライン会議を通じて、重要と考えられる発言を容易に特定することが可能となる。
また、各参加者の発言枠を表示するエリアの下側には、各発言に対応して抽出されたキーワードを表示している。こうすることにより、それぞれの発言が、どのようなテーマに関するものであったかを、容易に想起することが可能となる。
図12は、分析レポートの表示例を示す説明図である。
左上には、利用者の氏名、および分析対象となった会議の日時、テーマ、参加者などの情報が表示される。
左下には、発言実績が表示されている。本実施例では、発言長さを横軸にとり、それぞれの発言長さに該当する発言回数を棒グラフで表した。発言時間は、1分単位などで量子化して集計すればよい。
発言実績には、併せて自身の発言長さの平均が表示される。他の参加者も含めた全体の平均を示しても良い。こうすることにより、自身の1回当たりの発言が、長めなのか短めなのかの傾向を知ることができ、以後、発言の質を向上させることが可能となる。
また、発言実績には、有効発言率も示した。発言の中には、単純に返事をしたり、相づちを打ったりするなど、意見としてのまとまりのない発言もある。そこで、自身の全発言のうち、所定の時間以上の発言を有効発言とし、その割合を有効発言率として求めた。有効発言か否かの基準となる時間は、任意に決めることができる。
下の中央には、反応分析結果を示した。自身の発言に対して、他の参加者の反応を比率で表している。図の例では、ハートマーク、即ち賛成のスタンプが得られる頻度が、半分弱あったことを表している。
反応分析は、種々の方法で求めることができる。例えば、自身の1回の発言に対して、4人の参加者のうち2人が賛成、1人が反対、1人が反応なし、であったとすれば、賛成50%、反対25%、反応なし25%となる。このような分析を、発言ごとに行った後、全発言について平均を求めるようにしてもよい。
また別の方法として、賛成、反対などのスタンプ全体を100%として、意見ごとの比率を求めても良い。この場合は、「反応なし」の割合は分析結果に表れないことになる。
右下には、オンライン会議における各参加者の発言割合を示した。図中のハッチングを付した部分が自身の発言割合である。算出方法は、参加者画面生成処理(図7)のステップS55で説明した通りである。
右上には、オンライン会議の総合評価を示した。まず、積極性、発言長さ、有効性、説得力、協調性という項目に分けたレーダーチャートが表示される。積極性は、例えば、発言回数、有効発言率、発言割合などに対して、所定の係数を乗じて点数化する方法をとることができる。他の項目についても、同様に、オンライン会議の分析結果に対して、項目に応じた演算式を定義して点数化すればよい。こうして得られた点数をプロットすれば、レーダーチャートを描くことができる。
また、右上には、総合評価として点数を示した。この点数も、種々の方法で算出することができ、例えば、各項目が満点の場合のレーダーチャートの面積を100点とし、実際に得られたレーダーチャートの面積に基づいて点数を定めても良い。
分析レポートは、利用者の特定のオンライン会議についての結果だけでなく、当該利用者の過去のオンライン会議の結果との比較や他の参加者との比較などを表示してもよい。
また、オンライン会議に参加した全員の発言等を集計し、全員をまとめた分析として表示することも可能である。
本実施例では、上述した会議レビュー機能により、オンライン会議を実施した後に、各参加者の発言内容、参加態度、発言の癖などを振り返ることができる。こうしたレビューを踏まえて次のオンライン会議に臨むことにより、会議の効率を向上させることが可能となる。
また、本実施例では、図11に示したように、各発言に他の参加者の反応やキーワードを対応づけて表示するため、オンライン会議中の発言の内容を容易に想起したり、重要な発言を容易に見つけたりすることができる。
実施例では、会議レビュー処理は、オンライン会議の終了後に実施するものとして説明したが、この処理を、会議中に随時、実施するものとしてもよい。こうすれば、会議を行いながら、その質向上を図ることが可能となる。
E.効果:
以上、本発明の実施例について説明した。実施例のオンライン会議システムでは、ダイレクトトーク機能、会議促進機能、会議レビュー機能などの機能により、オンライン会議の有用性、利便性を一層、向上させることができる。また、現実の会議では実現し得ない機能を提供することができ、会議自体の質向上を図ることができる。
実施例で説明した種々の特徴は、必ずしも全てを備えている必要はなく、適宜、その一部を省略したり、組み合わせたりしてもよい。また、本発明は、実施例の他、種々の変形例を構築することもできる。
本発明は、複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムに適用することができる。
10 端末
11 送受信部
12 音声入力部
13 画像撮影部
14 ブラウザ
15 音量調整部
16 コマンド入力部
17 表示制御部
18 音声出力制御部
51 ボタン
52 ボタン
53 ボリューム
54 ボタン
55 解除ボタン
56 リンク
57 ボタン
60 スタンプ
61 インジケータ
62 チャート
63 マーク
65 マーク
70 発言枠
71 スタンプ
72 強調表示
100 オンライン会議システム
110 送受信部
120 配信制御部
130 画面生成部
140 画像入力部
150 スタンプ処理部
160 分析処理部
161 感情分析部
162 キーワード抽出部
170 ユーザデータベース
171 会議データベース
172 画像データベース

Claims (20)

  1. 複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
    複数の前記端末間で音声データおよび画像データを相互に配信する配信制御部を有し、
    前記配信制御部は、
    前記オンライン会議中に、いずれかの前記端末から、該端末を含む前記複数の端末の一部を特定端末として指定し、該特定端末の間でのみ会話を行う限定会話指示を受けた場合は、該特定端末との間で授受される音声データを、その他の端末で再生可能な状態で配信することを禁止する限定配信を行うオンライン会議システム。
  2. 請求項1記載のオンライン会議システムであって、
    前記端末の一部を予めグループとするグループデータを記憶する会議データベースを有し、
    前記配信制御部は、前記グループを対象とする限定会話指示を受けた場合には、当該グループに属する端末を前記特定端末として扱うオンライン会議システム。
  3. 請求項1または2記載のオンライン会議システムであって、
    前記限定配信を行っている間でも、前記特定端末以外の端末からの音声データを、前記特定端末の少なくとも一部に配信するオンライン会議システム。
  4. 請求項1〜3いずれか記載のオンライン会議システムであって、
    前記配信制御部は、
    前記限定配信を行っている間に、前記特定端末以外の端末から、前記特定端末の一部を指定して新たな限定会話指示を受け付けた場合には、
    前記限定会話指示で指定されたか否かにかかわらず前記特定端末の全体に対して、当該限定会話指示を承認するか否かの問合せを行うオンライン会議システム。
  5. 請求項1記載のオンライン会議システムであって、
    前記端末からの画像データに該端末を前記特定端末として指定するための指示アイコンを重畳した画面を生成する画面生成部を有するオンライン会議システム。
  6. 請求項1記載のオンライン会議システムであって、
    前記限定配信を行っている場合、前記端末に表示される画面において、前記特定端末からの画像同士を関連づけるとともに、該限定配信を解除する指示を行うことが可能な解除アイコンを表示した画面を生成する画面生成部を有するオンライン会議システム。
  7. 複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
    複数の前記端末間で音声データおよび画像データを相互に配信する配信制御部と、
    前記端末の画像データに重畳して、当該端末の音量を個別に指定するボリュームアイコンを表示させる画面生成部を備えるオンライン会議システム。
  8. 複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
    複数の前記端末間で音声データおよび画像データを相互に配信する配信制御部と、
    いずれかの前記端末からいずれかの他の端末に宛てたリアクションを受け取り、該リアクションを該他の端末に表示させる画面生成部を備えるオンライン会議システム。
  9. 請求項8記載のオンライン会議システムであって、
    前記リアクションは、予め用意されたマークまたはテキストで表される情報であるオンライン会議システム。
  10. 請求項8記載のオンライン会議システムであって、
    前記端末からの画像データに基づいて、該端末の利用者の感情分析を行う感情分析部を有し、
    前記リアクションは、該感情分析の結果であるオンライン会議システム。
  11. 請求項8〜10いずれか記載のオンライン会議システムであって、
    前記画面生成部は、前記端末の利用者の画像データに、他の端末からのリアクションを重畳して表示させるオンライン会議システム。
  12. 請求項9〜11いずれか記載のオンライン会議システムであって、
    前記画面生成部は、前記端末に対する他の端末からのリアクションを、該リアクションの発信者である他の端末の画像に重畳して表示させるオンライン会議システム。
  13. 複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
    それぞれの前記端末の利用者が発言している時間、および沈黙している時間の一方または双方を集計する分析処理部と、
    前記集計結果を前記端末に表示する画面生成部を備えるオンライン会議システム。
  14. 請求項13記載のオンライン会議システムであって、
    前記分析処理部は、前記端末の利用者の1回当たりの発言時間を提示するオンライン会議システム。
  15. 請求項13記載のオンライン会議システムであって、
    前記分析処理部は、前記オンライン会議における各端末からの発言時間の割合を求めるオンライン会議システム。
  16. 複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
    前記端末から音声データを入力する音声データ入力部と、
    該音声データに含まれるキーワードを抽出するキーワード抽出部と、
    該キーワードを前記音声データと対応づけて前記端末に表示する画面生成部を備えるオンライン会議システム。
  17. 複数の端末とネットワークで接続され、前記端末間でのオンライン会議を実現するオンライン会議システムであって、
    前記オンライン会議における各端末からなされたそれぞれの発言の開始時刻、終了時刻を会議データとして記憶する会議データベースと、
    前記会議データに基づいて、時間軸に従って、前記発言がなされている期間を、前記端末ごとに区分して描いたガントチャートを表示する画面生成部を備えるオンライン会議システム。
  18. 請求項17記載のオンライン会議システムであって、
    前記画面生成部は、一の端末における発言がなされている期間に、他の端末からの発言が開始されたときは、他の端末の発言のうち、前記一の端末による発言と時間的に重なる部分を強調表示するオンライン会議システム。
  19. 請求項17または18記載のオンライン会議システムであって、
    前記会議データベースには、前記発言に対して、他の端末からのリアクションが関連づけて記憶されており、
    前記画面生成部は、前記リアクションを前記発言に関連づけて表示するオンライン会議システム。
  20. 請求項17〜19いずれか記載のオンライン会議システムであって、
    前記画面生成部は、前記会議データベースに基づいて特定されるそれぞれの発言のキーワードを、該発言に対応づけて表示するオンライン会議システム。
JP2020089565A 2020-05-22 2020-05-22 オンライン会議システム Pending JP2021184189A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020089565A JP2021184189A (ja) 2020-05-22 2020-05-22 オンライン会議システム
TW110113590A TWI795759B (zh) 2020-05-22 2021-04-15 線上會議系統
PCT/JP2021/015672 WO2021235148A1 (ja) 2020-05-22 2021-04-16 オンライン会議システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020089565A JP2021184189A (ja) 2020-05-22 2020-05-22 オンライン会議システム

Publications (1)

Publication Number Publication Date
JP2021184189A true JP2021184189A (ja) 2021-12-02

Family

ID=78707779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020089565A Pending JP2021184189A (ja) 2020-05-22 2020-05-22 オンライン会議システム

Country Status (3)

Country Link
JP (1) JP2021184189A (ja)
TW (1) TWI795759B (ja)
WO (1) WO2021235148A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7370545B1 (ja) 2022-05-20 2023-10-30 株式会社ブイキューブ 会議管理装置、会議管理方法及びプログラム
WO2024053893A1 (ko) * 2022-09-08 2024-03-14 삼성전자주식회사 가상 공간 내의 사용자의 음성 데이터의 전달하기 위한 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115086281B (zh) * 2022-06-13 2023-09-19 重庆回形针信息技术有限公司 一种会议系统、方法及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2284968A (en) * 1993-12-18 1995-06-21 Ibm Audio conferencing system
JP2001268078A (ja) * 2000-03-17 2001-09-28 Sony Corp 通信制御装置、その方法およびその提供媒体と通信装置
US7124164B1 (en) * 2001-04-17 2006-10-17 Chemtob Helen J Method and apparatus for providing group interaction via communications networks
JP2008067203A (ja) * 2006-09-08 2008-03-21 Toshiba Corp 映像合成装置、方法およびプログラム
US20100020955A1 (en) * 2006-09-20 2010-01-28 Alcatel Lucent Systems and methods for implementing generalized conferencing
JP2020021025A (ja) * 2018-08-03 2020-02-06 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7370545B1 (ja) 2022-05-20 2023-10-30 株式会社ブイキューブ 会議管理装置、会議管理方法及びプログラム
WO2023223585A1 (ja) * 2022-05-20 2023-11-23 株式会社ブイキューブ 会議管理装置、会議管理方法及びプログラム
WO2024053893A1 (ko) * 2022-09-08 2024-03-14 삼성전자주식회사 가상 공간 내의 사용자의 음성 데이터의 전달하기 위한 장치 및 방법

Also Published As

Publication number Publication date
WO2021235148A1 (ja) 2021-11-25
TWI795759B (zh) 2023-03-11
TW202145775A (zh) 2021-12-01

Similar Documents

Publication Publication Date Title
WO2021235148A1 (ja) オンライン会議システム
JP3644580B2 (ja) 表示制御方法及び装置
Wainfan et al. Challenges in virtual collaboration: Videoconferencing, audioconferencing, and computer-mediated communications
US20140325395A1 (en) Voice link system
JP4391691B2 (ja) コンピュータネットワーク
CN107391521A (zh) 基于消息分类自动扩增消息交换话题
JPWO2008078555A1 (ja) 会議制御方法、システム及びプログラム
JP2007334732A (ja) ネットワークシステム及びネットワーク情報送受信方法
US11212651B1 (en) Complex computing network for handling audio messages during an audio conversation on a mobile application
JP4077656B2 (ja) 発言者特定映像装置
JP5614798B2 (ja) 電話会議システム、通信サーバー、通信端末及び電話会議方法。
JP4250938B2 (ja) コミュニケーション支援方法およびコミュニケーションサーバ
WO2024067597A1 (zh) 线上会议方法、装置、电子设备及可读存储介质
Mehmood et al. Communication apprehension and eye contact anxiety in video conferences involving Teleoperated robot avatars: a subjective evaluation study
JP2002099867A (ja) 役割別マルチシナリオ配信システム
JP2003323388A (ja) 情報提供方法および情報提供システム
JP4069207B2 (ja) コミュニケーション装置
WO2022137547A1 (ja) コミュニケーション支援システム
Mu et al. Whispering through walls: towards inclusive backchannel communication in hybrid meetings
Takahashi et al. Melodic emotional expression increases ease of talking to spoken dialog agents
JP2009093220A (ja) 電子会議システム用管理サーバおよびコンピュータプログラム
JP2001331677A (ja) 通信手段を用いた人物探索方法及び当該方法が利用可能なサーバ(装置)
JP6610076B2 (ja) 情報処理装置、情報処理システム、プログラム、及び記録媒体
CN109559760A (zh) 一种基于语音信息的情感分析方法及系统
JP7393000B2 (ja) 遠隔会議装置、システム、方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240305