JP2022113066A - 支援装置、支援方法及び支援プログラム - Google Patents

Abstract

【課題】オンライン会議において高品質な自動ファシリテートを行うこと。【解決手段】支援装置１０は、オンライン会議に参加しているユーザの端末から音声及び画像を取得する。支援装置１０は、取得した音声及び画像が所定の条件を満たすユーザを特定する。支援装置１０は、特定したユーザの発話を促す。例えば、支援装置１０は、オンライン会議の音声の中に出てきたワードにあらかじめ対応付けられたユーザを特定し、チャット欄にテキストメッセージを出力することで特定したユーザの発話を促すことができる。【選択図】図１

Description

本発明は、支援装置、支援方法及び支援プログラムに関する。

従来、会議のファシリテートを支援するための技術が知られている。例えば、参加者からの投稿文の要約を絵等を併記して分かりやすく提示する技術が知られている（例えば、特許文献１を参照）。また、例えば、発言等から各参加者の会議への寄与度を計測し、当該寄与度に基づいて会議の活性化の状況を測定する技術が知られている（例えば、特許文献２を参照）。

特開２０１８－１３６５９７号公報 特開２００７－０４７４６１号公報

しかしながら、従来の技術には、オンライン会議において高品質な自動ファシリテートを行うことが難しい場合があるという問題がある。

例えば、特許文献１の技術は投稿文の内容を分かりやすく伝えるものであり、投稿文の内容に対する発話を直接的に促すことはできない。また、例えば、特許文献２の技術については、会議への寄与度だけでは活性化の状況を十分に評価できない場合があると考えられる。現実の会議においても、それぞれ専門分野や役職が異なる各参加者が均等に発話するのが良いとは限らない。

上述した課題を解決し目的を達成するために、支援装置は、オンライン会議に参加しているユーザの端末から音声及び画像を取得する取得部と、前記取得部によって取得された音声及び画像が所定の条件を満たすユーザを特定する特定部と、前記特定部によって特定されたユーザの発話を促す促進部と、を有することを特徴とする。

本発明によれば、オンライン会議において高品質な自動ファシリテートを行うことができる。

図１は、第１の実施形態に係る支援システムの構成例を示す図である。 図２は、第１の実施形態に係る支援装置の構成例を示す図である。 図３は、ユーザ情報の例を示す図である。 図４は、画面の例を示す図である。 図５は、第１の実施形態に係る支援装置の処理の流れを示すフローチャートである。 図６は、支援プログラムを実行するコンピュータの一例を示す図である。

以下に、本願に係る支援装置、支援方法及び支援プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。

［第１の実施形態の構成］
まず、図１を用いて、第１の実施形態に係る支援システムの構成について説明する。図１は、第１の実施形態に係る支援システムの構成例を示す図である。図１に示すように、支援システム１は、支援装置１０、端末２０ａ、端末２０ｂ、端末２０ｃ及び端末２０ｄを有する。

支援装置１０は、オンライン会議システムを支援するための装置である。支援装置１０は、各端末を介してユーザＵａ、ユーザＵｂ、ユーザＵｃ、ユーザＵｄの音声及び画像を収集し、収集した音声及び画像を各端末に配信する。支援装置１０は、ネットワークＮを介して各端末と接続されている。ネットワークＮは、例えばインターネットである。

各端末は、支援装置１０から提供された音声及び画像を出力する。例えば、図１の例では、端末２０ａは、支援装置１０から提供された各ユーザの動画像を画面に出力する。また、画面には、各ユーザが入力したテキストメッセージが表示されるチャット欄が設けられている。さらに、端末２０ａは、支援装置１０から提供された各ユーザの音声を出力する。

チャット欄には、テキストを入力したユーザを特定するための情報とともにテキストメッセージが表示される。図１の例では、ユーザＵａが「こんにちは。」というテキストメッセージを発信している。

ここで、チャット欄に表示されている「司会ボット」は、支援装置１０によって自動生成されたテキストメッセージの仮想的な発信主体である。図１の例では、「司会ボット」が「環境問題に詳しいＵｂさんいかがですか？」というテキストメッセージを発信している。

「司会ボット」によるテキストメッセージの発信は、支援装置１０がオンライン会議のファシリテートを支援するための機能の一部である。支援装置１０は、取得した音声及び画像を基に、オンライン会議を活性化させるための出力を行う。例えば、支援装置１０は、図１のようにテキストメッセージを出力してもよいし、音声を出力してもよい。

特に支援装置１０は、会議を活性化させるのに適したユーザの発話を促すことによりオンライン会議を活性化させ、ファシリテートを支援する。支援装置１０は、オンライン会議における各ユーザの音声及び画像をリアルタイムに分析し、発話に適したユーザを特定する。

図１の例では、ユーザＵｂが環境問題に詳しいことが事前にわかっているものとする。また、「Ｕｂさん」はユーザＵｂを指すものとする。例えば、会議中のユーザの音声の中に環境問題又は環境問題に関連するワードが出現した場合、支援装置１０は、テキストメッセージの表示によりユーザＵｂの発話を促す。

また、支援装置１０は、ユーザの音声以外にも様々な情報から発話を促すユーザを特定することができる。支援装置１０による発話を促すユーザの詳細な特定方法については後述する。

ここで、支援装置１０の構成について説明する。図２は、第１の実施形態に係る支援装置の構成例を示す図である。図２に示すように、支援装置１０は、通信部１１、入出力部１２、記憶部１３及び制御部１４を有する。

通信部１１は、ネットワークを介して、他の装置との間でデータ通信を行う。例えば、通信部１１はＮＩＣ（Network Interface Card）である。入出力部１２は、データの入出力を行うためのインタフェースである。入出力部１２は、例えばマウスやキーボード等の入力装置、及びディスプレイ等の出力装置と接続される。

記憶部１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置である。なお、記憶部１３は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部１３は、支援装置１０で実行されるＯＳ（Operating System）や各種プログラムを記憶する。記憶部１３は、モデル情報１３１及びユーザ情報１３２を記憶する。

モデル情報１３１は、発話を促すユーザを特定するためのモデルの構築に関する情報である。例えば、モデル情報１３１は、ニューラルネットワークを構築するための重み行列及びバイアス値等である。モデルを使った処理の詳細については後述する。

ユーザ情報１３２は、ユーザの個人に関する情報である。図３は、ユーザ情報の例を示す図である。図３に示すように、ユーザ情報１３２には、ユーザごとの性別、年齢、及びキーワードが含まれる。性別及び年齢は属性情報の一例である。属性情報には、図示した者以外にも、ユーザの部署、役職、保有するスキル、趣味等が含まれていてもよい。また、キーワードは、例えば各ユーザの専門分野及び得意とする分野に関するワードであり、あらかじめ設定されているものとする。

制御部１４は、支援装置１０全体を制御する。制御部１４は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路である。また、制御部１４は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部１４は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部１４は、取得部１４１、特定部１４２、促進部１４３及び更新部１４４を有する。

取得部１４１は、オンライン会議に参加しているユーザの端末から音声及び画像を取得する。取得部１４１は、取得した音声及び画像を、後段の処理に合わせて変換してもよい。

特定部１４２は、取得部１４１によって取得された音声及び画像が所定の条件を満たすユーザを特定する。例えば、特定部１４２は、モデル情報１３１を基に構築されたモデルに、取得部１４１によって取得された情報を入力して得られた情報を基にユーザを特定する。

モデルは、入力された音声又は画像から、ユーザごとのスコアを出力するモデルであって、ファシリテータであるユーザが実際に発話を促したユーザの傾向を示すデータによって訓練されたモデルである。

例えば、モデルは各ユーザごとのスコアを算出し、特定部１４２は最もスコアが高いユーザを特定する。ここでのスコアは、ユーザごとの発話に対するふさわしさの度合い、ユーザごとの発話をした場合の会議の活性化度合い等と言い換えることができる。

ここで、特定部１４２によるユーザを特定する方法の具体例について説明する。ここで説明する具体例は、機械学習の手法によって訓練されたモデルによって実現されてもよいし、あらかじめ規定されたルールベースのモデルによって実現されてもよい。

特定部１４２は、ユーザのいずれかに対応付けられたキーワードが、取得部１４１によって取得された音声に含まれている場合、キーワードに対応付けられたユーザを特定する。

例えば、取得部１４１が取得した音声の中に「環境問題」というワードが出てきた場合、特定部１４２は、ユーザ情報１３２を参照し、キーワード「環境問題」と対応付けられたユーザＵｂを特定する。なお、特定部１４２は、音声にキーワードが含まれているか否かを、既知の音声認識技術により判定することができる。

また、特定部１４２は、音声の中に出てきたワードそのものだけでなく、当該ワードと類似するワードに対応するユーザを特定してもよい。この場合、特定部１４２は、あらかじめ類似するワード同士を対応付けた類語辞典形式のデータを参照してユーザを特定することができる。例えば、特定部１４２は、音声の中に出てきた「地球温暖化」をキーとして類語辞典形式のデータを検索して得られた「環境問題」に対応するユーザＵｂを特定する。

また、特定部１４２は、音声の中にキーワードとの類似度が大きいワードが出てきた場合、当該キーワードに対応するユーザを特定する。例えば、音声の中に「サッカー」、「オリンピック」といったワードが出てきた場合、特定部１４２は、それらのワードとの類似度が大きい「スポーツ」に対応するユーザＵｄを特定する。なお、ワード間の類似度は、Word2Vec等により計算されるものであってもよい。

特定部１４２は、取得部１４１によって取得された音声を基に、ユーザのうち発話頻度が所定値（閾値）以下であるユーザを特定する。例えば、特定部１４２は、一定の期間における各ユーザの発話時間を記録しておき、最も発話時間が短かったユーザを特定する。また、特定部１４２は、発話時間に限らず、発話したワード数によって発話頻度を計測してもよい。

特定部１４２がユーザを特定するための発話頻度の閾値は、あらかじめ設定された固定値であってもよいし、熟練したファシリテータが実際に発言を促した参加者の発言頻度を基に、機械学習の手法により最適化されたものであってもよい。

特定部１４２は、ユーザのうちミュート機能のオンとオフを一定回数以上繰り返しているユーザを特定する。オンライン会議において、雑音防止等の観点から、発話を行っているユーザ以外はミュート機能をオンにしている場合がある。ミュート機能をオンにしたユーザの端末へ入力された音声は、他のユーザの端末には送信されない。

そして、ミュート機能がオンの場合、ユーザが発話を始めるためにはミュート機能をオフにする必要がある。このとき、ユーザが発話を始めてよいか否かを明確に判断しかねている場合、ミュート機能のオンオフを繰り返す場合がある。例えば、特定部１４２は、例えば５秒間に３回以上ミュート機能のオン又はオフを行ったユーザを特定する。

特定部１４２がユーザを特定するためのミュート機能のオンオフに関する期間及び回数は、「５秒間に３回以上」のようにあらかじめ設定されたものであってもよいし、実際の会議において発言した参加者の発言直前の挙動を基に、機械学習の手法により最適化されたものであってもよい。

特定部１４２は、取得部１４１によって取得された画像を基に、あらかじめ定められた所定の動作を行ったユーザを特定する。例えば、首を傾げる動作や眉をひそめる動作を行ったユーザは、他のユーザの発話に対して反論を希望していると判断することができる。この場合、特定部１４２は、首を傾げる動作又は眉をひそめる動作を行ったユーザを特定する。なお、特定部１４２は、ユーザの動作を既知の画像認識技術により認識することができる。

例えば、特定部１４２は、画像を入力とし、発言を希望する度合いを出力するモデルを用いてユーザを特定する。例えば、このようなモデルは、参加者が所定の動作を行ったときの画像と、当該動作を行ったときに発言を所望していたか否かを参加者から聞き取った結果と、を組み合わせたデータを用いて学習することができる。

促進部１４３は、特定部１４２によって特定されたユーザの発話を促す。促進部１４３は、図１のようにテキストメッセージにより発話を促してもよいし、音声により発話を促してもよい。

また、促進部１４３は、特定部１４２がユーザを特定した方法に応じて、発話を促すメッセージを変化させてもよい。例えば、特定部１４２がミュート機能のオンとオフを一定回数以上繰り返しているユーザとしてユーザＵｃを特定した場合、促進部１４３は、「Ｕｃさん、何か話したいことがあるようですね？」といったメッセージを出力する。

また、促進部１４３は、図４のようにポップアップメッセージによる発話を促してもよい。図４は、画面の例を示す図である。図４の例では、促進部１４３は、ユーザＵｂの発話を促すため、「環境問題についてはＵｂさんが詳しいですよ。」というポップアップメッセージを端末の画面に表示させる。

促進部１４３は、特定する方法ごとに用意されたテンプレートを利用してメッセージを生成してもよい。例えば、促進部１４３は、「ＸＸＸさん、何か話したいことがあるようですね？」というテンプレートの「ＸＸＸ」ユーザの名前に置き換えることでメッセージを生成する。

さらに、促進部１４３は、特定部１４２によって特定されたユーザに関する情報を、ユーザのうちファシリテータとしてあらかじめ指定されたユーザに対して通知する。例えば、促進部１４３は、図４に示すポップアップメッセージを、ファシリテータとしてあらかじめ指定されたユーザＵａの端末２０ａにのみ表示させ、他のユーザの端末には表示させないようにする。

更新部１４４は、モデル情報１３１を更新する。特に、更新部１４４は、機械学習の手法によりモデル情報１３１を更新する。例えば、更新部１４４は、オンライン会議の音声及び画像を入力して得られるユーザごとのスコアと、人手で決定した各ユーザのスコアとの差分が小さくなるようにモデル情報１３１を更新する。

［第１の実施形態の処理］
図５は、第１の実施形態に係る支援装置の処理の流れを示すフローチャートである。まず、支援装置１０は、オンライン会議の音声及び画像を取得する（ステップＳ１０１）。

そして、支援装置１０は、取得した情報を基に、発話を促すユーザを特定する（ステップＳ１０２）。支援装置１０は、特定したユーザの発話を促進する（ステップＳ１０３）。例えば、支援装置１０は、テキストメッセージ又は音声の出力により特定したユーザを通知することで発話を促進する。

［第１の実施形態の効果］
これまで説明してきたように、取得部１４１は、オンライン会議に参加しているユーザの端末から音声及び画像を取得する。特定部１４２は、取得部１４１によって取得された音声及び画像が所定の条件を満たすユーザを特定する。促進部１４３は、特定部１４２によって特定されたユーザの発話を促す。このように、支援装置１０は、オンラインにおける音声及び画像を基に、各時点の状況に応じて発話するのに適したユーザを特定することができる。その結果、本実施形態によれば、オンライン会議において高品質な自動ファシリテートを行うことができる。

特定部１４２は、ユーザのいずれかに対応付けられたキーワードが、取得部１４１によって取得された音声に含まれている場合、キーワードに対応付けられたユーザを特定する。これにより、支援装置１０は、オンライン会議の話題に合わせたユーザの発言を引き出すことができる。

特定部１４２は、取得部１４１によって取得された音声を基に、ユーザのうち発言頻度が所定値以下であるユーザを特定する。このように、支援装置１０は、発言頻度が少ないユーザの発話を促すことで、オンライン会議を活性化させることができる。

特定部１４２は、ユーザのうちミュート機能のオンとオフを一定回数以上繰り返しているユーザを特定する。これにより、支援装置１０は、発話を始めてよいか否かを明確に判断しかねているユーザに発話を促すことができる。

特定部１４２は、取得部１４１によって取得された画像を基に、あらかじめ定められた所定の動作を行ったユーザを特定する。これにより、支援装置１０は、ユーザの心理に応じて発話を促すことができる。

促進部１４３は、特定部１４２によって特定されたユーザに関する情報を、ユーザのうちファシリテータとしてあらかじめ指定されたユーザに対して通知する。これにより、支援装置１０は、ユーザによるファシリテートを支援することができる。

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ（Central Processing Unit）及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。なお、プログラムは、ＣＰＵだけでなく、ＧＰＵ等の他のプロセッサによって実行されてもよい。

また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

［プログラム］
一実施形態として、支援装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の支援処理を実行する支援プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の支援プログラムを情報処理装置に実行させることにより、情報処理装置を支援装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistant）等のスレート端末等がその範疇に含まれる。

また、支援装置１０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の支援処理に関するサービスを提供する支援サーバ装置として実装することもできる。例えば、支援サーバ装置は、オンライン会議の参加者の音声及び画像を入力とし、参加者の発話を促すメッセージを出力とする支援サービスを提供するサーバ装置として実装される。この場合、支援サーバ装置は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の支援処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。

図６は、支援プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ（Random Access Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、支援装置１０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、支援装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid State Drive）により代替されてもよい。

また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０は、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した実施形態の処理を実行する。

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

Ｎ ネットワーク
１ 支援システム
１０ 支援装置
１１ 通信部
１２ 入出力部
１３ 記憶部
１４ 制御部
２０ａ、２０ｂ、２０ｃ、２０ｄ 端末
Ｕａ、Ｕｂ、Ｕｃ、Ｕｄ ユーザ
１３１ モデル情報
１３２ ユーザ情報
１４１ 取得部
１４２ 特定部
１４３ 促進部
１４４ 更新部

Claims (8)

1. オンライン会議に参加しているユーザの端末から音声及び画像を取得する取得部と、
   前記取得部によって取得された音声及び画像が所定の条件を満たすユーザを特定する特定部と、
   前記特定部によって特定されたユーザの発話を促す促進部と、
   を有することを特徴とする支援装置。
2. 前記特定部は、前記ユーザのいずれかに対応付けられたキーワードが、前記取得部によって取得された音声に含まれている場合、前記キーワードに対応付けられたユーザを特定することを特徴とする請求項１に記載の支援装置。
3. 前記特定部は、前記取得部によって取得された音声を基に、前記ユーザのうち発言頻度が所定値以下であるユーザを特定することを特徴とする請求項１又は２に記載の支援装置。
4. 前記特定部は、前記ユーザのうちミュート機能のオンとオフを一定回数以上繰り返しているユーザを特定することを特徴とする請求項１から３のいずれか１項に記載の支援装置。
5. 前記特定部は、前記取得部によって取得された画像を基に、あらかじめ定められた所定の動作を行ったユーザを特定することを特徴とする請求項１から４のいずれか１項に記載の支援装置。
6. 前記促進部は、前記特定部によって特定されたユーザに関する情報を、前記ユーザのうちファシリテータとしてあらかじめ指定されたユーザに対して通知することを特徴とする請求項１から５のいずれか１項に記載の支援装置。
7. 支援装置によって実行される支援方法であって、
   オンライン会議に参加しているユーザの端末から音声及び画像を取得する取得工程と、
   前記取得工程によって取得された音声及び画像が所定の条件を満たすユーザを特定する特定工程と、
   前記特定工程によって特定されたユーザの発話を促す促進工程と、
   を含むことを特徴とする支援方法。
8. コンピュータを請求項１から６のいずれか１項に記載の支援装置として機能させるための支援プログラム。

Images