JP2019186780A - ユーザ支援プログラム、ユーザ支援装置及びユーザ支援方法 - Google Patents

Abstract

【課題】 所定のサービスを利用するユーザが状態量を変えるべきタイミングを、検出できるようにする。【解決手段】 ユーザ支援プログラムは、所定のサービスを利用する複数のユーザを撮影した画像情報に基づいて、前記画像情報に対応する該複数のユーザそれぞれの状態量を算出し、算出された前記複数のユーザそれぞれの状態量の変化量が、所定の閾値以上となるユーザの数を時間帯ごとにカウントし、カウントされた前記ユーザの数が所定の条件を満たす時間帯を検出する、処理をコンピュータに実行させる。【選択図】図４

Description

本発明は、ユーザ支援プログラム、ユーザ支援装置及びユーザ支援方法に関する。

従来より、複数のユーザがネットワークを介して遠隔で会議を行うためのシステムとして、テレビ会議システムが知られている。テレビ会議システムでは、会議サービスを提供する機能に加え、会議サービスを利用する各ユーザ（会議の参加者）を支援するための種々のユーザ支援機能が提案されている。

例えば、下記特許文献１では、テレビ会議システムにおいて会議サービスを利用中の各ユーザを計測し、各ユーザの集中度を判定することで、集中度が低いユーザに刺激を与えるユーザ支援機能が提案されている。

特開２０１０−１４１８４３号公報

しかしながら、上記ユーザ支援機能の場合、ユーザは、常に高い集中度を維持しておくことが求められる。一方で、会議サービスの利用中、各ユーザが常に高い集中度を維持しておくことは困難であり、また、各ユーザにとって重要でない議論がなされている時間帯もある。このため、重要な議論が開始されたタイミング（つまり、集中度を上げるべきタイミング）を検出して通知を行うユーザ支援機能の方が、各ユーザにとっては有益である。

一つの側面では、所定のサービスを利用するユーザが状態量を変えるべきタイミングを、検出できるようにすることを目的としている。

一態様によれば、ユーザ支援プログラムは、
所定のサービスを利用する複数のユーザを撮影した画像情報に基づいて、前記画像情報に対応する該複数のユーザそれぞれの状態量を算出し、
算出された前記複数のユーザそれぞれの状態量の変化量が、所定の閾値以上となるユーザの数を時間帯ごとにカウントし、
カウントされた前記ユーザの数が所定の条件を満たす時間帯を検出する、処理をコンピュータに実行させる。

所定のサービスを利用するユーザが状態量を変えるべきタイミングを、検出することができる。

ユーザ支援システムのシステム構成の一例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。 情報処理装置の機能構成の一例を示す図である。 ユーザ支援部の機能構成の詳細を示す第１の図である。 集中度情報の具体例を示す図である。 変化量算出部による処理の具体例を示す図である。 カウント部による処理の具体例を示す第１の図である。 タイミング検出部による処理の具体例を示す図である。 通知部による処理の具体例を示す図である。 ユーザ支援部によるユーザ支援処理の流れを示す第１のフローチャートである。 ユーザ支援部の機能構成の一例を示す第２の図である。 重み付け部による処理の具体例を示す図である。 カウント部による処理の具体例を示す第２の図である。 ユーザ支援部によるユーザ支援処理の流れを示す第２のフローチャートである。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

［第１の実施形態］
＜ユーザ支援システムのシステム構成＞
はじめに、ユーザ支援システムのシステム構成について説明する。図１は、ユーザ支援システムのシステム構成の一例を示す図である。図１の例は、５台の情報処理装置１１０＿１〜１１０＿５がネットワーク１３０を介して相互に通信可能に接続され、ユーザ１２０＿１〜１２０＿５がそれぞれテレビ会議サービスを利用している様子を示している。

なお、第１の実施形態において、情報処理装置１１０＿１〜１１０＿５は、互いに、同じ機能を有しているものとし、相互に、画像情報（音声情報も含む）の送受信が可能であるとする。このため、図１に示すように、ユーザ１２０＿１〜１２０＿５によるテレビ会議サービスの利用中、情報処理装置１１０＿１〜１１０＿５の表示画面１４０＿１〜１４０＿５には、他のユーザの顔画像が表示されることになる。

例えば、ユーザ１２０＿１の情報処理装置１１０＿１において、表示画面１４０＿１には、ユーザ１２０＿１以外のユーザ（ユーザ１２０＿２〜ユーザ１２０＿５）の顔画像が表示される。

これにより、ユーザ１２０＿１は、遠隔にいるユーザ１２０＿２〜１２０＿５の顔を見ながら、会議を行うことができる。

また、ユーザ１２０＿２の情報処理装置１１０＿２において、表示画面１４０＿２には、ユーザ１２０＿２以外のユーザ（ユーザ１２０＿１、１２０＿３〜１２０＿５）の顔画像が表示される。

これにより、ユーザ１２０＿２は、遠隔にいるユーザ１２０＿１、１２０＿３〜１２０＿５の顔を見ながら、会議を行うことができる。以下、ユーザ１２０＿３、１２０＿４、１２０＿５についても同様である。なお、以下では、説明の簡略化のため、１のユーザの１の情報処理装置について詳説することとする。具体的には、ユーザ１２０＿３を支援対象としてユーザ支援を行う情報処理装置１１０＿３について詳説することとする。

＜情報処理装置のハードウェア構成＞
図２は、情報処理装置のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置１１０＿３は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。

また、情報処理装置１１０＿３は、補助記憶装置２０４、表示装置２０５、操作装置２０６、音声入力装置２０７、音声出力装置２０８、撮像装置２０９、Ｉ／Ｆ（Interface）装置２１０、ドライブ装置２１１を有する。なお、情報処理装置１１０＿３の各ハードウェアは、バス２１２を介して相互に接続されている。

ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、後述する会議サービス提供プログラム、ユーザ支援プログラム等）を実行する演算デバイスである。

ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。

ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

補助記憶装置２０４は、各種プログラムや、各種プログラムが実行されることで取得される情報を格納する補助記憶デバイスである。例えば、後述する集中度情報格納部は、補助記憶装置２０４において実現される。

表示装置２０５は、他のユーザ１２０＿１、１２０＿２、１２０＿４、１２０＿５の顔画像等を表示する表示デバイスである。操作装置２０６は、情報処理装置１１０＿３のユーザ１２０＿３が情報処理装置１１０＿３に対して各種指示を入力する入力デバイスである。

音声入力装置２０７は、ユーザ１２０＿３の音声を検出し、音声信号に変換するデバイスであり、例えば、マイク等が含まれる。音声出力装置２０８は、他のユーザ１２０＿１、１２０＿２、１２０＿４、１２０＿５の音声を出力するデバイスであり、例えば、スピーカ等が含まれる。

撮像装置２０９は、ユーザ１２０＿３を撮影し、ユーザ画像情報を生成する撮像デバイスである。Ｉ／Ｆ装置２１０は、ネットワーク１３０に接続し、情報処理装置１１０＿１、１１０＿２、１１０＿４、１１０＿５等との間で画像情報の送受信を行うための通信デバイスである。

ドライブ装置２１１は記録媒体２２０をセットするためのデバイスである。ここでいう記録媒体２２０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２２０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

なお、補助記憶装置２０４にインストールされる各種プログラムは、例えば、配布された記録媒体２２０がドライブ装置２１１にセットされ、該記録媒体２２０に記録された各種プログラムがドライブ装置２１１により読み出されることでインストールされる。あるいは、補助記憶装置２０４にインストールされる各種プログラムは、Ｉ／Ｆ装置２１０を介して、ネットワーク１３０よりダウンロードされることでインストールされてもよい。

＜情報処理装置の機能構成＞
次に、情報処理装置１１０＿３の機能構成について説明する。上述したとおり、情報処理装置１１０＿３には、会議サービス提供プログラム及びユーザ支援プログラムがインストールされており、当該プログラムが実行されることで、情報処理装置１１０＿３は、会議サービス提供部３１０、ユーザ支援部３２０として機能する。

会議サービス提供部３１０は、情報処理装置１１０＿１、１１０＿２、１１０＿４、１１０＿５との間で、画像情報の送受信を行うことで、ユーザ１２０＿３に対して、テレビ会議サービスを提供する。

ユーザ支援部３２０は、会議サービス提供部３１０により提供されるテレビ会議サービスにおいて、ユーザ１２０＿３を支援するユーザ支援機能を有する。

具体的には、ユーザ支援部３２０は、撮像装置２０９により撮影されたユーザ１２０＿３の画像情報（ユーザ画像情報）を、会議サービス提供部３１０より取得する。また、ユーザ支援部３２０は、会議サービス提供部３１０が情報処理装置１１０＿１、１１０＿２、１１０＿４、１１０＿５より受信した他のユーザ１２０＿１、１２０＿２、１２０＿４、１２０＿５の画像情報（他ユーザ画像情報）を取得する。

また、ユーザ支援部３２０は、取得した各ユーザ１２０＿１〜１２０＿５の画像情報（ユーザ画像情報、他ユーザ画像情報）に基づいて、各ユーザ１２０＿１〜１２０＿５の状態量の一例である集中度を算出し、集中度情報格納部３３０に格納する。

また、ユーザ支援部３２０は、各ユーザ１２０＿１〜１２０＿５の集中度の時間変化を監視し、所定の条件を満たすタイミングを検出する。具体的には、ユーザ支援部３２０は、所定割合のユーザについて、集中度が一定程度、増加方向に変化したタイミングを検出する。これにより、ユーザ支援部３２０では、会議において重要な議論が開始されたタイミング（つまり、ユーザ１２０＿３が集中度を上げるべきタイミング）を検出することができる。

更に、ユーザ支援部３２０は、検出したタイミングにおける、ユーザ１２０＿３の集中度を参照する。そして、ユーザ支援部３２０は、ユーザ１２０＿３の集中度が所定の閾値以下であると判定した場合に、ユーザ１２０＿３に対して、会議において重要な議論が開始されたこと（つまり、ユーザ１２０＿３が集中度を上げるべきタイミングであること）を通知する。

このように、ユーザ支援部３２０によれば、会議において重要な議論が開始されたタイミング（ユーザ１２０＿３が集中度を上げるべきタイミング）を検出し、ユーザ１２０＿３に対して通知することができる。この結果、ユーザ１２０＿３は、会議において重要な議論が開始されたことを認識できるようになる。

＜ユーザ支援部の機能構成の詳細＞
次に、ユーザ支援部３２０の機能構成の詳細について説明する。図４は、ユーザ支援部の機能構成の詳細を示す第１の図である。図４に示すように、ユーザ支援部３２０は、画像取得部４１０、画像取得部４２０、顔検出部４３０、集中度算出部４４０を有する。また、ユーザ支援部３２０は、変化量算出部４５０、カウント部４６０、タイミング検出部４７０、通知部４８０を有する。

画像取得部４１０は、他ユーザ画像情報として、ユーザ１２０＿１、１２０＿２、１２０＿４、１２０＿５の画像情報を会議サービス提供部３１０より取得する。また、画像取得部４１０は、取得した他ユーザ画像情報を、顔検出部４３０に通知する。

画像取得部４２０は、ユーザ画像情報として、撮像装置２０９により撮影されたユーザ１２０＿３の画像情報を会議サービス提供部３１０より取得する。また、画像取得部４２０は、取得したユーザ画像情報を、顔検出部４３０に通知する。

顔検出部４３０は、画像取得部４１０より通知された他ユーザ画像情報より顔領域を検出し、集中度算出部４４０に通知する。また、顔検出部４３０は、画像取得部４２０より通知されたユーザ画像情報より顔領域を検出し、集中度算出部４４０に通知する。

集中度算出部４４０は算出部の一例であり、顔検出部４３０より通知された顔領域について、顔表情解析を行うことで、ユーザ１２０＿１〜１２０＿５の集中度を算出する。また、集中度算出部４４０は、算出したユーザ１２０＿１〜１２０＿５の集中度を、集中度情報として集中度情報格納部３３０に格納する。

図５は、集中度情報の具体例を示す図である。図５に示すように、集中度情報は、各時間における各ユーザの集中度を示す時系列データである。このうち、図５（ａ）は、ユーザ１２０＿１の集中度を示している。また、図５（ｂ）は、ユーザ１２０＿２の集中度を示している。以下、同様に、図５（ｃ）から図５（ｅ）は、ユーザ１２０＿３〜ユーザ１２０＿５の集中度をそれぞれ示している。

図４の説明に戻る。変化量算出部４５０は、集中度情報格納部３３０に格納された集中度情報を読み出し、時間微分を行うことで、各時間における各ユーザの集中度の変化量を算出する。また、変化量算出部４５０は、ユーザ１２０＿１〜１２０＿５の各時間における各ユーザの集中度の変化量の算出結果をカウント部４６０に通知する。

カウント部４６０はカウント部の一例であり、変化量算出部４５０より通知された、各時間における各ユーザの集中度の変化量の算出結果を、所定の変化閾値と対比することで、各ユーザの集中度の変化量が所定の変化閾値以上となる時間帯を検出する。

また、カウント部４６０は、各時間帯において、集中度の変化量が所定の変化閾値以上となるユーザの数をカウントし、各時間帯におけるカウント結果をタイミング検出部４７０に通知する。

タイミング検出部４７０は検出部の一例であり、各時間帯におけるカウント結果から、会議サービスを利用しているユーザ（会議の参加者）のうち、集中度の変化量が所定の変化閾値以上となるユーザの割合が所定の割合閾値以上となる時間帯を検出する。これにより、タイミング検出部４７０は、会議において重要な議論が開始されたタイミング（ユーザ１２０＿３が集中度を上げるべきタイミング）を検出することができる。

また、タイミング検出部４７０は、検出した時間帯において、ユーザ１２０＿３の集中度が所定の集中度閾値以上（状態量が所定の状態量閾値以上）であるか否かを判定する。更に、ユーザ１２０＿３の集中度が所定の集中度閾値以上でないと判定した場合、タイミング検出部４７０は、通知部４８０に対して通知要求を行う。なお、タイミング検出部４７０では、ユーザ１２０＿３の集中度が所定の集中度閾値以上であると判定した場合、通知部４８０に対して通知要求は行わない。

通知部４８０は、タイミング検出部４７０から通知要求があった場合、ユーザ１２０＿３に対して、重要な議論が開始されたことを通知する。

なお、通知部４８０では、タイミング検出部４７０より、通知要求が行われた時間帯において、ユーザ１２０＿３の集中度が所定の閾値以上であると判定した場合には、ユーザ１２０＿３に対して重要な議論が開始されたことの通知は行わない。

＜ユーザ支援部の各部の処理の具体例＞
次に、ユーザ支援部の各部のうち、変化量算出部４５０、カウント部４６０、タイミング検出部４７０、通知部４８０の処理の具体例について説明する。

（１）変化量算出部による処理の具体例
はじめに、変化量算出部４５０による処理の具体例について説明する。図６は、変化量算出部による処理の具体例を示す図である。上述したとおり、変化量算出部４５０では、集中度情報格納部３３０に格納された集中度情報を読み出し、時間微分を行うことで、各時間における各ユーザの集中度の変化量を算出する。図６（ａ）は、図５（ａ）に示すユーザ１２０＿１の集中度を時間微分することで算出した、ユーザ１２０＿１の各時間における集中度の変化量を示している。

同様に、図６（ｂ）は、図５（ｂ）に示すユーザ１２０＿２の集中度を時間微分することで算出した、ユーザ１２０＿２の各時間における集中度の変化量を示している。以下、同様に、図６（ｃ）から図６（ｅ）は、図５（ｃ）から図５（ｅ）に示すユーザ１２０＿３〜１２０＿５の集中度をそれぞれ時間微分することで算出した、ユーザ１２０＿３〜１２０＿５の各時間における集中度の変化量を示している。

（２）カウント部による処理の具体例
次に、カウント部４６０による処理の具体例について説明する。図７は、カウント部による処理の具体例を示す図である。上述したとおり、カウント部４６０は、各時間における各ユーザの集中度の変化量の算出結果を、所定の変化閾値と対比することで、各ユーザの集中度の変化量が所定の変化閾値以上となる時間帯を検出する。

図７（ａ）において、直線７０１は、所定の変化閾値を示している。図７（ａ）によれば、時間帯７１１＿１〜７１１＿３、７１１＿５においては、ユーザ１２０＿１の集中度の変化量の算出結果は、所定の変化閾値未満である。このため、カウント部４６０は、時間帯７１１＿１〜７１１＿３、７１１＿５において、ユーザ１２０＿１の集中度は変化していないと判定する。一方、図７（ａ）によれば、時間帯７１１＿４には、ユーザ１２０＿１の集中度の変化量の算出結果が、所定の変化閾値以上となる時間が含まれる。このため、カウント部４６０は、時間帯７１１＿４において、ユーザ１２０＿１の集中度が増加したと判定する。

また、図７（ｂ）によれば、時間帯７１１＿１〜７１１＿３、７１１＿５においては、ユーザ１２０＿２の集中度の変化量の算出結果が、所定の変化閾値未満である。このため、カウント部４６０は、時間帯７１１＿１〜７１１＿３、７１１＿５において、ユーザ１２０＿２の集中度は変化していないと判定する。一方、図７（ｂ）によれば、時間帯７１１＿４には、ユーザ１２０＿２の集中度の変化量の算出結果が、所定の変化閾値以上となる時間が含まれる。このため、カウント部４６０は、時間帯７１１＿４において、ユーザ１２０＿２の集中度が増加したと判定する。

以下、同様に、図７（ｃ）〜図７（ｅ）に示すように、カウント部４６０は、各時間帯（７１１＿１〜７１１＿５）について、ユーザ１２０＿３〜１２０＿５の集中度が増加したか否かを判定し、集中度の変化量が所定の変化閾値以上となる時間帯を検出する。

また、図７に示すように、カウント部４６０は、各時間帯において、集中度の変化量が所定の変化閾値以上となるユーザの数をカウントする。図７の例では、時間帯７１１＿１〜７１１＿３、７１１＿５においては、集中度の変化量が所定の変化閾値以上となるユーザの数は０人である。一方、時間帯７１１＿４においては、集中度の変化量が所定の変化閾値以上となるユーザの数は４人である。

カウント部４６０では、カウントしたユーザの数を、カウント結果として、時間帯と対応付けて、タイミング検出部４７０に通知する。

（３）タイミング検出部による処理の具体例
次に、タイミング検出部４７０による処理の具体例について説明する。図８は、タイミング検出部による処理の具体例を示す図である。上述したとおり、タイミング検出部４７０は、会議サービスを利用しているユーザのうち、集中度の変化量が所定の変化閾値以上となるユーザの割合が所定の割合閾値以上となる時間帯を検出する。

ここで、所定の割合閾値が"６０％"であったとすると、会議サービスを利用しているユーザの数は５人であることから、タイミング検出部４７０では、カウント部４６０から通知されたカウント結果が３人（＝５人×６０％）以上となる時間帯を検出する。

図８に示すように、カウント結果が３人以上となる時間帯は、時間帯７１１＿４である。したがって、タイミング検出部４７０では、時間帯７１１＿４を、会議において重要な議論が開始された時間帯（ユーザ１２０＿３が集中度を上げるべきタイミング）として検出する。

また、上述したとおり、タイミング検出部４７０は、検出した時間帯において、ユーザ１２０＿３の集中度が所定の集中度閾値以上であるか否かを判定し、所定の集中度閾値以上でないと判定した場合には、通知部４８０に対して通知要求を行う。

図８において、直線８０１は、所定の集中度閾値を示している。図８（ｃ）によれば、時間帯７１１＿４において、ユーザ１２０＿３の集中度は、所定の集中度閾値以上ではない。このため、図８の場合、タイミング検出部４７０は、時間帯７１１＿４において通知部４８０に対して通知要求を行う。

（４）通知部による処理の具体例
次に、通知部４８０による処理の具体例について説明する。図９は、通知部による処理の具体例を示す図である。上述したとおり、タイミング検出部４７０から通知要求があった場合、通知部４８０は、ユーザ１２０＿３に対して、重要な議論が開始されたことを通知する。図９において、メッセージ９０１は、重要な議論が開始されたことを、表示画面１４０＿３上に文字情報として表示した例を示している。

これにより、ユーザ１２０＿３は、重要な議論が開始されたことを認識することができる。

＜ユーザ支援部によるユーザ支援処理の流れ＞
次に、ユーザ支援部３２０によるユーザ支援処理の流れについて説明する。図１０は、ユーザ支援部によるユーザ支援処理の流れを示す第１のフローチャートである。会議サービス提供部３１０が起動し、ユーザ１２０＿３が会議サービスの利用を開始することで、ユーザ支援部３２０では、図１０に示すユーザ支援処理を開始する。

ステップＳ１００１において、画像取得部４２０は、撮像装置２０９により撮影されたユーザ画像情報を会議サービス提供部３１０より取得する。

ステップＳ１００２において、画像取得部４１０は、情報処理装置１１０＿１、１１０＿２、１１０＿４、１１０＿５より送信された他ユーザ画像情報を、会議サービス提供部３１０より取得する。

ステップＳ１００３において、顔検出部４３０は、ユーザ画像情報より、ユーザ１２０＿３の顔領域を検出する。また、顔検出部４３０は、他ユーザ画像情報より、ユーザ１２０＿１、１２０＿２、１２０＿４、１２０＿５の顔領域を検出する。

ステップＳ１００４において、集中度算出部４４０は、顔検出部４３０において検出されたユーザ１２０＿１〜１２０＿５の顔領域に基づいて、ユーザ１２０＿１〜１２０＿５の各時間の集中度を算出し、集中度情報として、集中度情報格納部３３０に格納する。

ステップＳ１００５において、変化量算出部４５０は、集中度情報格納部３３０に格納された、ユーザ１２０＿１〜１２０＿５の集中度情報を読み出し、時間微分を行うことで、各時間における各ユーザの集中度の変化量を算出する。

ステップＳ１００６において、カウント部４６０は、各時間における各ユーザの集中度の変化量の算出結果を、所定の変化閾値と対比することで、各ユーザの集中度の変化量が所定の変化閾値以上となる時間帯を検出する。更に、カウント部４６０は、各時間帯において、集中度の変化量が所定の閾値以上となるユーザの数をカウントする。

ステップＳ１００７において、タイミング検出部４７０は、カウント結果に基づいて、集中度の変化量が所定の変化閾値以上となるユーザの割合が、所定の割合閾値以上であるか否かを判定する。

ステップＳ１００７において、所定の割合閾値以上であると判定した場合（ステップＳ１００７においてＹｅｓの場合）には、ステップＳ１００８に進む。ステップＳ１００８において、タイミング検出部４７０は、会議において重要な議論が開始されたタイミング（ユーザ１２０＿３が集中度を上げるべきタイミング）であると判定する。これにより、タイミング検出部４７０は、会議において重要な議論が開始されたタイミング（ユーザ１２０＿３が集中度を上げるべきタイミング）を検出することができる。

ステップＳ１００９において、タイミング検出部４７０は、ユーザ１２０＿３の現在の集中度が、所定の集中度閾値以上であるか否かを判定する。ステップＳ１００９において、所定の集中度閾値以上でないと判定した場合には（ステップＳ１００９においてＮｏの場合には）、ステップＳ１０１０に進む。

ステップＳ１０１０において、通知部４８０は、ユーザ１２０＿３に対して、重要な議論が開始されたことをメッセージで通知し、ステップＳ１０１１に進む。

一方、ステップＳ１００７において、タイミング検出部４７０が、所定の割合閾値以上でないと判定した場合（ステップＳ１００７においてＮｏの場合）には、直接、ステップＳ１０１１に進む。

ステップＳ１０１１において、画像取得部４２０は、ユーザ支援処理を終了するか否かを判定する。ステップＳ１０１１において、ユーザ支援処理を継続すると判定した場合には（ステップＳ１０１１においてＮｏの場合には）、ステップＳ１００１に戻る。

一方、ステップＳ１０１１において、ユーザ支援処理を終了すると判定した場合には（ステップＳ１０１１においてＹｅｓの場合には）、ユーザ支援処理を終了する。

以上の説明から明らかなように、第１の実施形態に係るユーザ支援システム１００では、ユーザ画像情報及び他ユーザ画像情報に基づいて、各ユーザの集中度を算出し、更に算出した各ユーザの集中度の変化量を算出する。また、第１の実施形態に係るユーザ支援システム１００では、算出した変化量が所定の変化閾値以上となるユーザの数を時間帯ごとにカウントし、カウントしたユーザの数が所定の割合閾値以上となる時間帯を検出する。更に、第１の実施形態に係るユーザ支援システム１００では、検出した時間帯においてユーザの集中度が所定の集中度閾値以上でなかった場合に、当該ユーザに対して通知を行う。

これにより、第１の実施形態に係るユーザ支援システム１００によれば、会議において重要な議論が開始されたタイミング（ユーザが集中度を上げるべきタイミング）を検出することができる。更に、第１の実施形態に係るユーザ支援システム１００によれば、重要な議論が開始された時間帯（ユーザが集中度を上げるべきタイミング）において、ユーザの集中度が上がっていない場合に、ユーザに通知することができる。この結果、第１の実施形態に係るユーザ支援システム１００によれば、テレビ会議サービスを利用するユーザが、集中度を上げるべき（状態量を変えるべき）タイミングを認識できるようになる。

［第２の実施形態］
上記第１の実施形態ではカウント部４６０が、集中度の変化量が所定の閾値以上となるユーザの数を時間帯ごとにカウントし、各時間帯におけるカウント結果をタイミング検出部４７０に通知するものとして説明した。これに対して、第２の実施形態では、カウント部がユーザの数をカウントする際、ユーザごとに予め設定された重み係数を用いて、重み付け加算を行う。これにより、特定のユーザの集中度が上がった場合に、重要な議論が開始された（ユーザが集中度を上げるべきタイミングである）と判定することが可能となる。

この結果、ユーザは、例えば、興味や関心が似ている他のユーザの重み係数を上げることで、興味や関心が高い議論が開始されたタイミングを認識できるようになる。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。

＜ユーザ支援部の機能構成の詳細＞
図１１は、ユーザ支援部の機能構成の詳細を示す第２の図である。上記第１の実施形態において図４を用いて説明した機能構成との相違点は、カウント部１１１０、重み付け部１１２０である。

カウント部１１１０は、変化量算出部４５０より通知された、各時間における集中度の変化量の算出結果を、所定の変化閾値と対比することで、集中度の変化量が所定の変化閾値以上となる時間帯を検出する。

また、カウント部１１１０は、集中度の変化量が所定の変化閾値以上となるユーザの数を、重み付け部１１２０から通知された重み係数を用いて重み付け加算して時間帯ごとにカウントし、各時間帯におけるカウント結果をタイミング検出部４７０に通知する。

重み付け部１１２０は、ユーザ１２０＿３より、ユーザ１２０＿１、１２０＿２、１２０＿４、１２０＿５の少なくとも１のユーザについて、重み係数が入力された場合に、これを受け付ける。また、重み付け部１１２０は、ユーザ１２０＿１〜１２０＿５の重み係数を、カウント部１１１０に通知する。なお、重み付け部１１２０には、ユーザ１２０＿１〜１２０＿５の重み係数のデフォルト値として、"１．０"が保持されているものとする。

＜ユーザ支援部の各部の処理の具体例＞
次に、ユーザ支援部の各部のうち、重み付け部１１２０、カウント部１１１０の処理の具体例について説明する。

（１）重み付け部による処理の具体例
はじめに、重み付け部１１２０による処理の具体例について説明する。図１２は、重み付け部による処理の具体例を示す図である。図１２に示すように、情報処理装置１１０＿３の表示画面１４０＿３には、会議サービスを利用中のユーザ１２０＿１、１２０＿２、１２０＿４、１２０＿５の顔画像が表示される。

そこで、ユーザ１２０＿３は、表示画面１４０＿３に表示されたユーザ１２０＿１、１２０＿２、１２０＿４、１２０＿５の顔画像を指定して、重み係数を入力していく。これにより、重み付け部１１２０では、ユーザ１２０＿１〜１２０＿５の重み係数を、カウント部１１１０に通知することができる。

（２）カウント部による処理の具体例
次に、カウント部１１１０による処理の具体例について説明する。図１３は、カウント部による処理の具体例を示す図である。図１３の例は、重み付け部１１２０により、ユーザ１２０＿１の重み係数として"３"が、ユーザ１２０＿２、１２０＿４、１２０＿５の重み係数として"０．５"が、ユーザ１２０＿３の重み係数として"１．０"がそれぞれ通知された様子を示している。

上述したとおり、カウント部１１１０は、集中度の変化量が所定の閾値以上となるユーザの数を、重み付け部１１２０から通知された重み係数を用いて重み付け加算して時間帯ごとにカウントする。

例えば、時間帯７１１＿４において、集中度の変化量が所定の変化閾値以上となるユーザの数は４人である。このうち、ユーザ１２０＿１の重み係数は"３"であり、ユーザ１２０＿２、１２０＿４、１２０＿５の重み係数は"０．５"であることから、重み付け加算したカウント結果は、
カウント結果＝１×３＋１×０．５＋１×０．５＋１×０．５＝４．５人
となる。

一方、時間帯７１１＿１〜７１１＿３、７１１＿５においては、集中度の変化量が所定の変化閾値以上となるユーザの数は０人である。したがって、重み係数に関わらず、カウント結果は０人となる。

＜ユーザ支援部によるユーザ支援処理の流れ＞
次に、ユーザ支援部３２０によるユーザ支援処理の流れについて説明する。図１４は、ユーザ支援部によるユーザ支援処理の流れを示す第２のフローチャートである。上記第１の実施形態において図１０を用いて説明したフローチャートとの相違点は、ステップＳ１４０１、Ｓ１４０２である。

ステップＳ１４０１において、重み付け部１１２０は、ユーザ１２０＿３より、他ユーザ（ユーザ１２０＿１、１２０＿２、１２０＿４、１２０＿５）それぞれについて入力された重み係数を受け付ける。

ステップＳ１４０２において、カウント部１１１０は、集中度の変化量が所定の変化閾値以上となるユーザの数を、重み係数を用いて重み付け加算してカウントし、カウント結果をタイミング検出部４７０に通知する。

以上の説明から明らかなように、第２の実施形態に係るユーザ支援システム１００では、カウント部がユーザの数をカウントする際、ユーザごとに予め設定された重み係数を用いて重み付け加算を行う。

これにより、第２の実施形態に係るユーザ支援システム１００によれば、特定のユーザの集中度が上がった場合に、重要な議論が開始されたと判定することができる。

この結果、第２の実施形態に係るユーザ支援システム１００によれば、ユーザは、例えば、興味や関心が似ている他のユーザの重み係数を上げることで、興味や関心が高い議論が開始されたタイミングを認識するできるようになる。

［その他の実施形態］
上記第１及び第２の実施形態では、ネットワーク１３０に接続された情報処理装置１１０＿１〜１１０＿５が、それぞれ、ユーザ支援部３２０を有するものとして説明した。しかしながら、ユーザ支援部３２０は、情報処理装置１１０＿１〜１１０＿５のいずれかが有していてもよい。あるいは、情報処理装置１１０＿１〜１１０＿５以外に、別途、情報処理装置を設け、当該情報処理装置がユーザ支援部３２０を有していてもよい。

ただし、１の情報処理装置がユーザ支援部３２０を有する場合、タイミング検出部４７０は、会議において重要な議論が開始されたタイミングを検出した際、ユーザ１２０＿１〜１２０＿５それぞれについて、集中度が所定の集中度閾値以上であるかを判定する。また、通知部４８０は、集中度が所定の集中度閾値以上でないと判定したすべてのユーザに対して、重要な議論が開始されたことを通知する。

なお、１の情報処理装置がユーザ支援部３２０を有する場合にあっては、ユーザ支援部３２０の適用対象のサービスは、上記第１及び第２の実施形態のようなテレビ会議サービスに限定されない。例えば、特定のユーザが、他のユーザに対して一方向に講義を行う遠隔講義サービス等、任意のサービスを適用対象としてもよい。ただし、特定のユーザが他のユーザに対して一方向に講義を行う場合、変化量算出部４５０では、特定のユーザを除く他のユーザについて、集中度の変化量を算出するものとする。

また、上記第１及び第２の実施形態では、１の情報処理装置が、１のユーザと対応するものとして説明した。しかしながら、１の情報処理装置が、複数のユーザと対応していてもよい。

なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
所定のサービスを利用する複数のユーザを撮影した画像情報に基づいて、前記画像情報に対応する該複数のユーザそれぞれの状態量を算出し、
算出された前記複数のユーザそれぞれの状態量の変化量が、所定の閾値以上となるユーザの数を時間帯ごとにカウントし、
カウントされた前記ユーザの数が所定の条件を満たす時間帯を検出する、
処理をコンピュータに実行させるためのユーザ支援プログラム。
（付記２）
前記所定の条件を満たす時間帯における、支援対象のユーザの前記状態量が、所定の状態量閾値以上でないと判定された場合に、該支援対象のユーザに、メッセージを通知する、ことを特徴とする付記１に記載のユーザ支援プログラム。
（付記３）
前記所定の条件を満たす時間帯における、前記複数のユーザのうちのいずれかのユーザの前記状態量が、所定の状態量閾値以上でないと判定された場合、判定されたユーザに、メッセージを通知する、ことを特徴とする付記１に記載のユーザ支援プログラム。
（付記４）
前記複数のユーザのうちの少なくとも１のユーザについて重み係数の入力を受け付け、
前記算出した変化量が所定の閾値以上となるユーザの数を、前記重み係数を用いて重み付け加算することでカウントすることを特徴とする付記１または２に記載のユーザ支援プログラム。
（付記５）
算出された前記複数のユーザそれぞれの状態量を、時間微分することで、前記状態量の変化量を算出することを特徴とする付記１に記載のユーザ支援プログラム。
（付記６）
複数の情報処理装置が接続されるユーザ支援システムであって、
前記複数の情報処理装置のうちの少なくとも１の情報処理装置は、
所定のサービスを利用する複数のユーザを撮影した画像情報に基づいて、前記画像情報に対応する該複数のユーザそれぞれの状態量を算出する算出部と、
算出された前記複数のユーザそれぞれの状態量の変化量が、所定の閾値以上となるユーザの数を時間帯ごとにカウントするカウント部と、
カウントされた前記ユーザの数が所定の条件を満たす時間帯を検出する検出部と
を有することを特徴とするユーザ支援システム。
（付記７）
所定のサービスを利用する複数のユーザを撮影した画像情報に基づいて、前記画像情報に対応する該複数のユーザそれぞれの状態量を算出する算出部と、
算出された前記複数のユーザそれぞれの状態量の変化量が、所定の閾値以上となるユーザの数を時間帯ごとにカウントするカウント部と、
カウントされた前記ユーザの数が所定の条件を満たす時間帯を検出する検出部と
を有することを特徴とするユーザ支援装置。
（付記８）
所定のサービスを利用する複数のユーザを撮影した画像情報に基づいて、前記画像情報に対応する該複数のユーザそれぞれの状態量を算出し、
算出された前記複数のユーザそれぞれの状態量の変化量が、所定の閾値以上となるユーザの数を時間帯ごとにカウントし、
カウントされた前記ユーザの数が所定の条件を満たす時間帯を検出する、
処理をコンピュータが実行するユーザ支援方法。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：ユーザ支援システム
１１０＿１〜１１０＿５ ：情報処理装置
１２０ ：サーバ装置
３１０ ：会議サービス提供部
３２０ ：ユーザ支援部
４１０ ：画像取得部
４２０ ：画像取得部
４３０ ：顔検出部
４４０ ：集中度算出部
４５０ ：変化量算出部
４６０ ：カウント部
４７０ ：タイミング検出部
４８０ ：通知部
９０１ ：メッセージ
１１１０ ：カウント部
１１２０ ：重み付け部

Claims (7)

1. 所定のサービスを利用する複数のユーザを撮影した画像情報に基づいて、前記画像情報に対応する該複数のユーザそれぞれの状態量を算出し、
   算出された前記複数のユーザそれぞれの状態量の変化量が、所定の閾値以上となるユーザの数を時間帯ごとにカウントし、
   カウントされた前記ユーザの数が所定の条件を満たす時間帯を検出する、
   処理をコンピュータに実行させるためのユーザ支援プログラム。
2. 前記所定の条件を満たす時間帯における、支援対象のユーザの前記状態量が、所定の状態量閾値以上でないと判定された場合に、該支援対象のユーザに、メッセージを通知する、ことを特徴とする請求項１に記載のユーザ支援プログラム。
3. 前記所定の条件を満たす時間帯における、前記複数のユーザのうちのいずれかのユーザの前記状態量が、所定の状態量閾値以上でないと判定された場合、判定されたユーザに、メッセージを通知する、ことを特徴とする請求項１に記載のユーザ支援プログラム。
4. 前記複数のユーザのうちの少なくとも１のユーザについて重み係数の入力を受け付け、
   前記算出した変化量が所定の閾値以上となるユーザの数を、前記重み係数を用いて重み付け加算することでカウントすることを特徴とする請求項１または２に記載のユーザ支援プログラム。
5. 算出された前記複数のユーザそれぞれの状態量を、時間微分することで、前記状態量の変化量を算出することを特徴とする請求項１に記載のユーザ支援プログラム。
6. 所定のサービスを利用する複数のユーザを撮影した画像情報に基づいて、前記画像情報に対応する該複数のユーザそれぞれの状態量を算出する算出部と、
   算出された前記複数のユーザそれぞれの状態量の変化量が、所定の閾値以上となるユーザの数を時間帯ごとにカウントするカウント部と、
   カウントされた前記ユーザの数が所定の条件を満たす時間帯を検出する検出部と
   を有することを特徴とするユーザ支援装置。
7. 所定のサービスを利用する複数のユーザを撮影した画像情報に基づいて、前記画像情報に対応する該複数のユーザそれぞれの状態量を算出し、
   算出された前記複数のユーザそれぞれの状態量の変化量が、所定の閾値以上となるユーザの数を時間帯ごとにカウントし、
   カウントされた前記ユーザの数が所定の条件を満たす時間帯を検出する、
   処理をコンピュータが実行するユーザ支援方法。

Images