JP2023036171A - ユーザ行動支援装置、方法およびプログラム - Google Patents

Abstract

【課題】ユーザに対する聴衆の注目度合いを適切に制御することを可能にする。【解決手段】ユーザが複数の聴衆と対面する状態で情報を伝達する行動を支援する際に、前記ユーザの心理状態が反映された第１のセンシング情報を取得すると共に、前記聴衆を含む前記ユーザの視野範囲に相当する撮像映像をもとに前記聴衆の前記ユーザに対する注目状態が反映された第２のセンシング情報を取得する。そして、取得された前記第１のセンシング情報に基づいて、前記ユーザの心理状態が前記聴衆からの影響に対する制御が必要であるか否かを判定すると共に、取得された前記第２のセンシング情報に基づいて、マスク処理の対象となる聴衆を判定し、前記ユーザ状態の判定結果および前記マスク対象の判定結果に基づいて、前記マスク処理の対象と判定された前記聴衆に対し選択的に前記マスク処理を行うための制御を実行する。【選択図】図３

Description

この発明の一態様は、例えば、会議や講演等においてユーザが聴衆に対し対面した状態で情報を伝達する場合の行動を支援するユーザ行動支援装置、方法およびプログラムに関する。

例えば、会議や講演等のプレゼンテーション現場において、発言や発表等を行うユーザは、通常、参加者や受講者等の多くの聴衆から注目される。このため、ユーザによっては、緊張して発言や発表をスムーズに行えなくなったり、最悪の場合パニックを起こして発言や発表を続けられなくなる場合が考えられる。

また、反対に参加者や受講者から注目されていないと感じると、ユーザによっては発言や発表に対する意欲を維持できず、これにより発言や発表に対するパフォーマンスの低下を招くことも予想される。

一方、例えばスマートグラス等と呼ばれるデバイスに拡張現実の技術を適用することで、ユーザが見ている現実の映像に仮想画像を重畳させて表示する技術が提案されている（例えば、特許文献１を参照）。仮に、この技術をプレゼンテーション現場に適用したとすると、例えばユーザの視界に映る聴衆の映像に適切な仮想画像を重畳させることで、ユーザの緊張感を緩和させたり、発言や発表に対するモチベーションの低下を抑える効果が期待される。

特開２００５－２３４７５７号公報

ところが、特許文献１に開示される技術を多数の聴衆を相手にするプレゼンテーション現場にどのように適用して実現するかについては、まだ検討が進んでいないのが現状である。

この発明は上記事情に着目してなされたもので、ユーザに対する聴衆の注目度合いを適切に制御することが可能な技術を提供しようとするものである。

上記課題を解決するためにこの発明に係るユーザ行動支援装置または支援方法の一態様は、ユーザが複数の聴衆と対面する状態で情報を伝達する行動を支援する際に、前記ユーザの心理状態が反映された第１のセンシング情報を取得すると共に、前記聴衆を含む前記ユーザの視野範囲に相当する撮像映像をもとに、前記聴衆の前記ユーザに対する注目状態が反映された第２のセンシング情報を取得する。そして、取得された前記第１のセンシング情報に基づいて、前記ユーザの心理状態が前記聴衆からの影響に対する制御が必要であるか否かを判定すると共に、取得された前記第２のセンシング情報に基づいて、マスク処理の対象となる聴衆を判定し、前記ユーザ状態の判定結果および前記マスク対象の判定結果に基づいて、前記マスク処理の対象と判定された前記聴衆に対し選択的に前記マスク処理を行うための制御を実行するようにしたものである。

この発明の一態様によれば、例えば、ユーザがスマートグラスのような表示デバイスを装着してプレゼンテーションを行う場合に、ユーザに対する聴衆の注目状態をもとにマスク処理の対象とする聴衆が判定されると共に、ユーザの心理状態からユーザに対する聴衆の影響を制御する必要があるか否かが判定される。そして、前記マスク処理の対象と判定された前記聴衆のうち、ユーザに対する影響を制御する必要があると判定された聴衆が選択的にマスク処理される。このためユーザは、複数の聴衆のうち、例えば視線や態度が気になる聴衆、具体的には、ユーザに対する注目の度合いが大きくユーザに対し心理的に過度の緊張感または威圧感を与えている聴衆や、反対にユーザに対する注目の度合いが小さくユーザに不安感を与えたり集中度の低下を生じさせる聴衆が、ユーザの視界から選択的にマスクされた状態でプレゼンテーションを行うことが可能となる。その結果、ユーザは心理状態を良好に維持した状態でプレゼンテーションを続けることが可能となる。

すなわちこの発明の一態様によれば、ユーザに対する聴衆の注目度合いを適切に制御することが可能な技術を提供することができる。

図１は、この発明の第１の実施形態に係るユーザ行動支援装置を含む支援システムの構成を示す図である。 図２は、この発明の第１の実施形態に係るユーザ行動支援装置として機能するサーバ装置のハードウェア構成を示すブロック図である。 図３は、この発明の第１の実施形態に係るユーザ行動支援装置として機能するサーバ装置のソフトウェア構成を示すブロック図である。 図４は、図３に示したサーバ装置の制御部による学習モードにおける処理手順と処理内容の一例を示すフローチャートである。 図５は、図３に示したサーバ装置の制御部によるプレゼンテーションモードにおける処理手順と処理内容の一例を示すフローチャートである。 図６は、この発明の第２の実施形態に係るユーザ行動支援装置として機能するサーバ装置のソフトウェア構成を示すブロック図である。 図７は、図６に示したサーバ装置の制御部によるプレゼンテーションモードにおける処理手順と処理内容の一例を示すフローチャートである。 図８は、プレゼンション現場におけるマスク処理の結果の一例を示す図である。 図９は、野外におけるマスク処理の結果の一例を示す図である。

以下、図面を参照してこの発明に係わる実施形態を説明する。

［第１の実施形態］
（構成例）
（１）システム
図１は、この発明の第１の実施形態に係るユーザ行動支援装置として機能するサーバ装置ＳＶａを備えたプレゼンテーション支援システムの構成を示す図である。

第１の実施形態に係るシステムでは、プレゼンテーションを行うユーザＵＳがスマートグラスＳＧおよびウェアラブル端末ＷＴを装着すると共に携帯端末ＵＴを所持し、この携帯端末ＵＴが上記スマートグラスＳＧおよびウェアラブル端末ＷＴとの間でデータの送受信を行うと共に、サーバ装置ＳＶａとの間でネットワークＮＷを介してデータの送受信を行う。

スマートグラスＳＧは、例えば、画像表示部と、カメラと、マイクロフォンと、通信インタフェース部と、制御部とを備える。画像表示部は、光透過型ディスプレイからなり、ユーザが聴衆の様子を直接視認できるようにその光学像を透過させると共に、当該光学像に後述するマスクパターンを重ねて表示する機能を有する。すなわち、拡張現実（ＡＲ：Augmented Reality）を用いた画像表示が可能な構成を有している。

このうち、カメラは、プレゼンテーション中に聴衆の様子を撮像するために用いられる。マイクロフォンは、ユーザＵＳが発する音声および聴衆の音声等を集音するために用いられる。通信インタフェース部は、携帯端末ＵＴとの間でデータを送受信する機能を有する。

制御部は、上記カメラにより撮像された映像データおよびマイクロフォンにより集音された音声データを通信インタフェース部から携帯端末ＵＴへ送信すると共に、携帯端末ＵＴから送られるマスキングデータをもとに上記画像表示部にマスクパターンを表示させる処理を行う。なお、スマートグラスＳＧは加速度センサ等の動きセンサを備えていてもよい。この場合動きセンサは、ユーザＵＳの頭部の動きやこめかみの動きにより、例えば頭部の動揺や瞬きや震えを検出するために使用され、その検出データはユーザの心理状態を判定する１つの要素として利用可能である。

ウェアラブル端末ＷＴは、例えば、生体センサと、通信インタフェース部と、制御部とを備える。生体センサは、ユーザＵＳのバイタルデータを測定するために用いられる。通信インタフェース部は、上記携帯端末ＵＴとの間でデータの送受信を行うために用いられる。制御部は、上記生体センサにより測定されたバイタルデータを、通信インタフェース部から上記携帯端末ＵＴへ転送する処理を行う。

バイタルデータとしては、例えば心拍、発汗、血中飽和酸素濃度、体温、血圧等のユーザＵＳの心理状態が反映されるデータが用いられる。なお、生体センサは、ウェアラブル端末ＷＴに設けられる以外に、上記スマートグラスＳＧに設けられていてもよく、また例えば衣類に一体的に形成される状態で設けられてもよい。

携帯端末ＵＴは、例えばスマートフォンまたはパーソナルコンピュータからなる。携帯端末ＵＴは、上記スマートグラスＳＧおよびウェアラブル端末ＷＴから送信される映像データ、音声データおよびバイタルデータを受信して、これらのデータをネットワークＮＷを介してサーバ装置ＳＶａへ転送する。また携帯端末ＵＴは、サーバ装置ＳＶａから送信されるマスキングデータを受信してスマートグラスＳＧに転送する。さらに携帯端末ＵＴは、サーバ装置ＳＶａがマスク処理の対象となる聴衆を特定するために使用する学習モデルを作成する際に、ユーザＵＳが教師データを入力するためにも使用される。

スマートグラスＳＧおよびウェアラブル端末ＷＴの通信インタフェース部としては、例えばBluetooth（登録商標）等の小電力無線データ通信規格を採用したインタフェースが使用される。また、携帯端末ＵＴがサーバ装置ＳＶａとの間でデータ伝送を行うために使用する通信インタフェース部としては、WiFi（登録商標）等の無線ＬＡＮ（Local Area Network）や、４Ｇまたは５Ｇ等の公衆移動通信システムに対応した無線インタフェースが使用される。

なお、ウェアラブル端末ＷＴがスマートフォン等と同等の機能を有している場合には、携帯端末ＵＴをウェアラブル端末ＷＴで代用することも可能である。

（２）サーバ装置ＳＶａ
図２および図３は、それぞれサーバ装置ＳＶａのハードウェア構成およびソフトウェア構成を示すブロック図である。

サーバ装置ＳＶａは、例えば会社や団体のローカルネットワークに接続されるローカルサーバからなる。なお、サーバ装置ＳＶａは、エッジサーバや、Ｗｅｂ上またはクラウド上に配置される、サービス事業者が運用するサーバコンピュータであってもよい。

サーバ装置ＳＶａは、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを使用した制御部１ａを備える。そして、この制御部１ａに対し、バス５を介して、プログラム記憶部２ａおよびデータ記憶部３ａを有する記憶ユニットと、通信インタフェース部（以後インタフェースをＩ／Ｆと称する）４を接続したものとなっている。

通信Ｉ／Ｆ部４は、制御部１ａの制御の下、ネットワークＮＷにより定義される通信プロトコルを使用して、上記携帯端末ＵＴとの間でデータの送受信を行う。

プログラム記憶部２ａは、例えば、記憶媒体としてＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて構成したもので、ＯＳ（Operating System）等のミドルウェアに加えて、この発明の第１の実施形態に係る各種制御処理を実行するために必要な各種プログラムを格納する。

データ記憶部３ａは、例えば、記憶媒体として、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリと組み合わせたもので、この発明の第１の実施形態を実施するために必要な主たる記憶領域として、学習モデル記憶部３１と、判定条件記憶部３２と、マスクパターン記憶部３３とを備える。

学習モデル記憶部３１は、マスク処理の対象となる聴衆を特定するために事前に作成された学習モデルと、この学習モデルを作成する際に使用される教材モデルを記憶するために使用される。

判定条件記憶部３２は、ユーザＵＳのバイタルデータをもとにユーザＵＳの心理状態を判定するための第１の判定条件を記憶する。第１の判定条件としては、例えばユーザＵＳの心理状態が過度の緊張や集中度の低下等により不安定な状態となったときに得られるバイタルデータの範囲を示す情報が用いられる。

マスクパターン記憶部３３は、マスク処理の対象となる聴衆の顔または体をマスク処理するためのマスクパターンを記憶する。マスクパターンには、単に画像に塗りつぶし等の網掛け処理を行うだけのパターンと、キャラクタ等のイラスト、画像または写真からなるパターンとが含まれ、これらのパターンは選択的に使用可能となっている。また、マスクパターンとしては、他に聴衆の目の部位のみをマスクするパターンや、塗りつぶし以外のモザイク模様やぼかしを加えるものであってもよい。要するに、少なくともマスク対象の聴衆の視線を隠すものであれば、マスクパターンは如何なるものであってもよい。

制御部１ａは、この発明の第１の実施形態に係る処理機能として、学習モデル作成処理部１１と、バイタルデータ取得処理部１２と、ユーザ状態判定処理部１３と、映像データ取得処理部１４と、マスク対象判定処理部１５と、マスキング処理部１６とを備えている。これらの処理部１１～１６は、何れもプログラム記憶部２ａに格納されたアプリケーション・プログラムを制御部１ａのハードウェアプロセッサに実行させることにより実現される。

学習モデル作成処理部１１は、学習モードが設定された状態で、学習モデル記憶部３１から教材モデル（表情または姿勢が異なる複数の人の画像または映像）を読み出して通信Ｉ／Ｆ部４から携帯端末ＵＴを介してスマートグラスＳＧへ送信して表示させる。そして、学習モデル作成処理部１１は、表示された上記教材モデルに対しユーザＵＳが携帯端末ＵＴにおいて入力したマスク処理の要否を示す回答情報を、携帯端末ＵＴから通信Ｉ／Ｆ部４を介して受信し、受信された上記回答情報と、上記教材モデルから抽出される特徴量とをもとに学習モデルを作成する処理を行う。

バイタルデータ取得処理部１２は、ユーザＵＳのプレゼンテーション中に、上記ウェアラブル端末ＷＴにより測定されたバイタルデータを携帯端末ＵＴからネットワークＮＷを介して受信し、受信されたバイタルデータをユーザ状態判定処理部１３に与える処理を行う。

ユーザ状態判定処理部１３は、上記バイタルデータ取得処理部１２から与えられた上記バイタルデータを、判定条件記憶部３２に記憶されている第１の判定条件と比較することにより、ユーザＵＳの心理状態、例えば緊張度の増加や集中度の低下により不安定になった状態を判定する処理を行う。なお、ユーザＵＳの心理状態の判定は、予め心理状態判定用の学習モデルを作成しておき、この学習モデルを用いて行われるようにしてもよい。

映像データ取得処理部１４は、上記ユーザ状態判定処理部１３により、ユーザの緊張度または集中度が第１の判定条件により示される範囲に該当すると判定された場合に、スマートグラスＳＧにより撮像された聴衆の映像データを携帯端末ＵＴからネットワークＮＷを介して受信し、受信された上記聴衆の映像データをマスク対象判定処理部１５に与える処理を行う。

マスク対象判定処理部１５は、上記映像データ取得処理部１４により取得された映像データから、ユーザＵＳに対する聴衆１人ひとりの注目状態を表す情報を取得する。例えば、マスク対象判定処理部１５は、聴衆１人ひとりの顔画像、もしくは顔を含む上半身または全身の画像を認識し、認識された上記各聴衆の画像から顔の向き、視線方向または姿勢を表す情報を、ユーザＵＳに対する聴衆の注目状態を表す特徴量として抽出する。

またマスク対象判定処理部１５は、抽出された上記特徴量を上記学習モデル記憶部３１に記憶された学習モデルに入力し、学習モデルにより上記聴衆の１人ひとりについてマスク処理の対象であるか否かを判定する処理を行う。

マスキング処理部１６は、マスク処理の対象と判定された聴衆の顔、顔を含む上半身または全身をマスクするためのマスクパターンをマスクパターン記憶部３３から読み出すと共に、上記マスク処理の対象と判定された聴衆の撮像画像中における座標位置を求める。そして、上記マスクパターンおよび上記位置座標を含むマスキングデータを、通信Ｉ／Ｆ部４から携帯端末ＵＴを介してスマートグラスＳＧに送信してマスク処理を実行させるための処理を行う。

（動作例）
次に、以上のように構成されたサーバ装置ＳＶａの動作例を説明する。

（１）学習モデルの作成
サーバ装置ＳＶａの制御部１ａは、サービスの開始に先立ち学習モードを設定し、サービス対象のユーザＵＳについてマスク対象の聴衆を判定するための学習モデルを作成する。なお、学習モデルは、ユーザの個性に応じてユーザＵＳごとに作成されるのが好ましいが、複数のユーザＵＳに対し共通に作成されてもよい。

図４は、サーバ装置ＳＶａの制御部１ａによる学習モデル作成処理の処理手順と処理内容を示すフローチャートである。

サーバ装置ＳＶａの制御部１ａは、学習モデル作成処理部１１の制御の下、先ずステップＳ１０において学習モデル記憶部３１から複数の教材モデルを順次読み出し、読み出された各教材モデルを通信Ｉ／Ｆ部４から携帯端末ＵＴへ送信する。携帯端末ＵＴは、受信された上記教材モデルを、ユーザＵＳが装着しているスマートグラスＳＧへ転送し、その画像表示部に表示させる。

ユーザＵＳは、スマートグラスＳＧに表示された上記教材モデルを見てマスク対象か否かを判断し、その判断結果を回答情報として携帯端末ＵＴに入力する。携帯端末ＵＴは、入力された上記回答情報をサーバ装置ＳＶａへ送信する。

サーバ装置ＳＶａの学習モデル作成処理部１１は、ステップＳ１１により上記ユーザＵＳから送信された回答情報を受信したことを確認すると、ステップＳ１２において、受信された上記回答情報を送信した教材モデルと対応付けて保存する。

以後同様に、サーバ装置ＳＶａから異なる教材モデルが順次送信されてユーザＵＳのスマートグラスＳＧに表示される。そして、表示された各教材モデルに対しユーザＵＳが携帯端末ＵＴにおいて回答情報を入力すると、この回答情報が携帯端末ＵＴからサーバ装置ＳＶａに返送され、送信した教材モデルと対応付けられて保存される。

サーバ装置ＳＶａの制御部１ａは、ステップＳ１３においてすべての教材モデルに対するユーザＵＳからの回答情報の取得が終了すると、引き続き学習モデル作成処理部１１の制御の下、ステップＳ１４においてマスク処理の対象となる教材モデルを分析してその特徴量を抽出する。特徴量としては、例えば性別、年代、顔の向きまたは視線方向、姿勢（腕組みをしている場合や乗り出すようにしている場合等の威圧的な姿勢）が挙げられる。

そして学習モデル作成処理部１１は、ステップＳ１５において、例えば、上記各特徴量を説明変数とし、マスク処理の対象であるか否かを表す判定結果を目的変数とする学習モデルを作成し、作成された上記学習モデルを学習モデル記憶部３１に記憶させる。なお、特徴量を抽出する前の教材モデルをそのまま説明変数とし、学習モデルが上記教材モデルから特徴量を抽出する機能を持つようにしてもよい。また、学習アルゴリズムとしては、例えばロジスティック回帰分析や重回帰分析、教師付ニューラルネットワーク等の既存の学習アルゴリズムを使用することができる。

（２）プレゼンテーションの支援
上記学習モデルの作成が終了し、ユーザＵＳがプレゼンテーションの開始要求を携帯端末ＵＴにおいて入力し、この開始要求が携帯端末ＵＴからサーバ装置ＳＶａに通知されると、サーバ装置ＳＶａの制御部１ａはプレゼンテーションモードを設定する。そして、以下の手順に従いユーザＵＳのプレゼンテーションを支援する処理を実行する。

図５は、サーバ装置ＳＶａの制御部１ａによるプレゼンテーション支援処理の処理手順と処理内容を示すフローチャートである。

（２－１）ユーザＵＳの心理状態の判定
サーバ装置ＳＶａの制御部１ａは、ステップＳ２０において上記プレゼンテーションの開始要求を受信すると、バイタルデータ取得処理部１２の制御の下、ステップＳ２１においてユーザＵＳのバイタルデータを取得する。バイタルデータは、プレゼンテーション中のユーザＵＳのウェアラブル端末ＷＴにより測定され、このウェアラブル端末ＷＴから携帯端末ＵＴを介してサーバ装置ＳＶａに送られる。なお、スマートグラスＳＧにおいて、ユーザＵＳの頭部の動揺や瞬きや震え等のような、ユーザＵＳの心理状態が反映された動きデータが得られる場合、バイタルデータ取得処理部１２は上記動きデータをバイタルデータの１つとして取得するようにしてもよい。

サーバ装置ＳＶａの制御部１ａは、続いてユーザ状態判定処理部１３の制御の下、先ずステップＳ２２において、所定の判定時間ごとに、取得された上記バイタルデータの平均値を求め、この平均値を判定条件記憶部３２に記憶された第１の判定条件と比較する。このとき、判定対象のバイタルデータは、任意の１種類でもよいが複数種類を組合せたものであってもよい。ユーザ状態判定処理部１３は、次にステップＳ２３において、上記バイタルデータが第１の判定条件に示される範囲に該当するか否かを判定する。この判定の結果、バイタルデータが第１の判定条件に示される範囲に該当しなければ、ユーザ状態判定処理部１３は、ユーザＵＳの心理状態は平常状態であると判断し、そのままステップＳ３１によるプレゼンテーションの終了判定に移行する。

これに対し、上記ステップＳ２３による判定の結果、バイタルデータが第１の判定条件に示される範囲に該当したとする。この場合、ユーザ状態判定処理部１３は、ユーザＵＳの心理状態が不安定な状態、例えば緊張度が過度に高くなっていると判断し、聴衆に対するマスク判定処理を実行する。

なお、以上の説明では、第１の判定条件を判定条件記憶部３２に事前に記憶したものとして説明した。しかし、これに限らず、プレゼンテーションの開始前の一定期間分のユーザＵＳのバイタルデータを平常状態のときのバイタルデータとして取得し、取得された上記バイタルデータの平均値を上記第１の判定条件として判定条件記憶部３２に記憶するようにしてもよい。このようにすると、プレゼンテーション期間中のユーザＵＳのバイタルデータの変化、つまりユーザＵＳの心理状態の変化を、より的確に判定することが可能となる。

（２－２）聴衆に対するマスク判定処理
サーバ装置ＳＶａの制御部１ａは、先ずステップＳ２４において、映像データ取得処理部１４の制御の下、聴衆の様子を撮像した映像データを取得する。上記映像データは、スマートグラスＳＧに設けられたカメラにより撮像され、このスマートグラスＳＧから携帯端末ＵＴを介してサーバ装置ＳＶａに送られる。

上記聴衆を撮像した映像データが取得されると、サーバ装置ＳＶａの制御部１ａは、次にマスク対象判定処理部１５の制御の下、先ずステップＳ２５において上記映像データから聴衆を１人ひとり認識してその画像を分離する。そして、マスク対象判定処理部１５は、続いてステップＳ２６において、分離された上記聴衆の１人ひとりの画像からその特徴量を抽出する。このとき、特徴量としては、先に述べた学習モデル作成時と同様に、聴衆の性別、年代、顔の向きまたは視線方向、表情または姿勢を表す情報が抽出される。

なお、性別および年代は、例えば、性別および年代別にその特徴を有する複数の代表的な顔パターンを予めデータ記憶部３ａに記憶しておき、各聴衆の顔画像をそれぞれ上記複数の代表的な顔パターンと照合することにより判別可能である。また、顔の向きおよび姿勢についても、例えば、撮像角度の異なる複数の代表的な顔向きパターンおよび姿勢パターンを予め記憶しておき、各聴衆の顔画像をそれぞれ上記複数の代表的な顔向きパターンおよび姿勢パターンと照合することにより判別可能である。さらに、表情については、聴衆の顔画像を、例えば笑っているときや睨んでいるとき等の代表的な表情のパターンと照合することで判別可能である。一方、視線については、例えば、映像データから聴衆ごとにその目の領域における眼球（例えば瞳孔）の位置を検出することで判別可能である。
なお、上記特徴量の抽出処理は、専用の学習モデルを事前に作成しておき、作成された当該学習モデルを用いて実行するようにしてもよい。

マスク対象判定処理部１５は、次にステップＳ２７において、学習モデル記憶部３１から学習モデルを読み出し、抽出された上記各特徴量を上記学習モデルに入力する。そして、マスク対象判定処理部１５は、学習モデルから出力される判定結果を示す情報をもとに、ステップＳ２８において、マスク処理の対象とする聴衆を特定する。この結果、例えば顔または視線を一定期間以上連続してユーザＵＳに向けている聴衆や、腕組みをしたりユーザＵＳの方に乗り出すようにして、ユーザＵＳに対し心理的に過度の緊張感または威圧感を一定期間以上連続してユーザＵＳに与えている聴衆が、マスク処理の対象として特定される。マスク対象判定処理部１５は、特定された上記マスク処理対象の聴衆の、上記取得された映像データ中の位置座標を求め、この位置座標をマスキング処理部１６に渡す。

（２－３）マスキング処理
上記マスク処理の対象となる聴衆が特定されると、サーバ装置ＳＶａの制御部１ａは、マスキング処理部１６の制御の下、ステップＳ２９によりマスクパターンを読み出す。そして、ステップＳ３０において、上記マスク対象判定処理部１５から渡された、マスク処理の対象となる聴衆の映像データ中の位置座標と、読み出された上記マスクパターンとを含むマスキングデータを生成し、生成されたマスキングデータを通信Ｉ／Ｆ部４から携帯端末ＵＴに向け送信する。

携帯端末ＵＴは、上記マスキングデータを受信すると、受信されたマスキングデータをスマートグラスＳＧへ転送する。この結果、スマートグラスＳＧの画像表示部には上記マスクパターンが表示され、これによりユーザＵＳに対し過度の緊張感または威圧感を与えている聴衆の顔がマスクされる。

図８はその一例を示すものである。この例では、例えばプレゼンテーションに参加している複数の聴衆のうち、ユーザＵＳに対し過度の緊張感または威圧感を与えている聴衆ＰＳ１，ＰＳ２，ＰＳ３の顔部分がマスクされた場合を示している。なお、聴衆のマスク対象部位は、顔だけに限らず、顔を含む上半身または全身であってもよく、さらには聴衆の目の部位だけでもよい。またマスクパターンは、塗りつぶしパターンに限らず、モザイク模様やぼかしを加えるものであってもよく、イラスト等の別の画像に置き換えるものであってもよい。

（２－４）マスク処理後の対応
サーバ装置ＳＶａの制御部１ａは、上記マスキングデータの送信が終了すると、ステップＳ３１においてプレゼンテーションの終了判定を行う。そして、プレゼンテーションが続いていれば、ステップＳ２１に戻ってステップＳ２１～Ｓ３０によるプレゼンテーション支援処理を繰り返し実行する。

従って、サーバ装置ＳＶａの制御部１ａは、上記マスク処理後においても引き続きユーザＵＳの心理状態を監視する。そして、ユーザの心理状態が引き続き不安定な状態であれば、ユーザに影響を及ぼす聴衆に対するマスク処理が継続される。なお、ユーザの心理状態が、例えば一定期間以上連続して安定な状態になった場合には、マスク処理を一旦解除するようにしてもよい。

一方、プレゼンテーションが終了してユーザＵＳが携帯端末ＵＴにおいて終了指示を入力すると、サーバ装置ＳＶａの制御部１ａは、ユーザＵＳに対するプレゼンテーション支援処理を終了する。

（３）その他のマスク処理例
なお、以上の説明では、ユーザＵＳに対し過度の緊張感または威圧感を与えている聴衆をマスクするネガティブモードの場合を例にとって説明した。しかし、その一方でユーザＵＳは、例えば聴衆の居眠りや無表情等といった無関心な受講態度が見られる場合、自身のプレゼンテーションに対し不安感を覚えたり、集中度が低下することも想定される。

そこで、サーバ装置ＳＶａは、ユーザＵＳが集中度を低下させる原因となる聴衆の表情や態度を表す特徴量を聴衆の映像データから抽出して学習モデルに入力し、これにより上記集中度を低下させる原因となる聴衆をマスク処理の対象として特定し、特定された聴衆の顔、顔を含む上半身または全身をマスクパターンによりマスクする、ポジティブモードによるマスク処理を実行するようにしてもよい。

例えば、サーバ装置ＳＶａは、聴衆のユーザに対する注目状態が反映された視線等のセンシング情報に基づいて、上記聴衆のうち、居眠り等により上記ユーザに対し注目状態を一定期間以上継続していない聴衆をマスク処理の対象と判定する。そして、この判定結果に基づいて、上記マスク処理の対象と判定された上記聴衆の顔、顔を含む上半身または全身をマスクパターンによりマスクする。

なお、このときマスク対象部位は、聴衆の目の部位だけでもよく、またマスクパターンは塗りつぶしパターンに限らず、モザイク模様やぼかしを加えるもの、イラスト等の別の画像に置き換えるものであってもよい。

このようにすると、ユーザに不安感を生じさせたりプレゼンテーションへの集中度の低下の原因となる聴衆がマスクされることになり、これによりユーザＵＳのプレゼンテーションに対する不安感を解消すると共に、集中度を適度に維持させることが可能となる。

（作用・効果）
以上述べたように第１の実施形態では、サーバ装置ＳＶａが、ユーザＵＳのプレゼンテーション中に、ユーザＵＳのバイタルデータを取得して、このバイタルデータをもとにユーザＵＳの心理状態を判定する。そして、ユーザＵＳの心理状態が過度の緊張または集中度の低下により不安定な状態にあると判定された場合に、聴衆を撮像した映像データを取得して、この映像データをもとに聴衆１人ひとりの特徴量を抽出し、抽出された特徴量を学習モデルに入力することでマスク処理対象の聴衆を特定する。そして、特定された上記マスク処理対象の聴衆の上記映像データ中の位置座標とマスクパターンとを含むマスキングデータを、携帯端末ＵＴを介してスマートグラスＳＧに送り、スマートグラスＳＧにおいて該当する聴衆をマスクパターンによりマスクするようにしている。

従って、例えばプレゼンテーション中にユーザＵＳが、聴衆の視線或いは威圧的な姿勢により極度に緊張した場合や、聴衆の居眠りや態度により不安感を覚えたり集中度が低下した場合に、緊張が増加する原因となる聴衆、または集中度が低下する原因となる聴衆が視界からマスクされる。このため、ユーザＵＳに生じた過度の緊張や集中度の低下は軽減され、これによりユーザＵＳの心理状態は改善されてプレゼンテーションを継続することが可能となる。

［第２の実施形態］
この発明の第２の実施形態は、プレゼンテーション中のユーザＵＳについて、その心理状態にかかわらず、ユーザＵＳがマスク対象として事前に設定した特徴を有する聴衆に対しマスク処理を行い、この状態でユーザＵＳの心理状態を判定して心理状態が不安定な場合に、上記マスク対象の聴衆に対するマスク処理を変更し、このマスク処理の変更後もユーザＵＳの心理状態が改善されない場合には他の外的な追加対策を実行するようにしたものである。

（構成例）
図６は、この発明の第２の実施形態に係るユーザ装置として機能するサーバ装置ＳＶｂのソフトウェア構成を示すブロック図である。
なお、サーバ装置ＳＶｂのハードウェア構成は第１の実施形態（図２）と同一なので、ここでは説明を省略する。また、サーバ装置ＳＶｂの制御部１ｂが備える各処理部およびデータ記憶部３ｂが備える各記憶部についても、第１の実施形態（図３）と同一部分には同一符号を付し、詳しい説明は省略する。

サーバ装置ＳＶｂのデータ記憶部３ｂには、この発明の第２の実施形態を実施するために必要な主たる記憶領域として、学習モデル記憶部３１と、判定条件記憶部３２と、マスクパターン記憶部３３に加え、追加対策情報記憶部３４が設けられている。

このうち判定条件記憶部３２には第２の判定条件が記憶される。第２の判定条件としては、例えばユーザの心理状態が過度の緊張または集中度の低下により不安定な状態になったときのバイタルデータの範囲と、ユーザの心理状態が上記不安定な状態になっているときの継続期間または判定回数を表す情報が用いられる。

追加対策情報記憶部３４には、マスク処理によりユーザＵＳの心理状態が改善されない場合に備え、外的な追加対策を実施するために必要な情報が記憶されている。追加対策情報としては、例えば自然音や好みの音楽などのリラックス効果がある音楽または音を流すための情報、呼吸方法や飲水、首や肩などを動かすといった、リラックス効果のある動きまたは行動を奨めるレクチャ情報、ハーブや香水などのアロマ材料を発生させるための情報が考えられる。

なお、ユーザＵＳの状態がプレゼンテーションを継続不能な危険状態に陥った場合に備え、ユーザＵＳに中止を奨めたり、他のスタッフにこのときのユーザＵＳの状態を通知するための情報や、救急車両の手配を行うための情報が、上記追加対策情報にさらに含まれていてもよい。

サーバ装置ＳＶｂの制御部１ｂは、この発明の第２の実施形態に係る処理機能として、学習モデル作成処理部１１と、バイタルデータ取得処理部１２と、ユーザ状態判定処理部１３と、映像データ取得処理部１４と、マスク対象判定処理部１５と、マスキング処理部１６に加え、対策追加制御処理部１７をさらに備えている。この対策追加制御処理部１７も、他の各処理部１１～１６と同様に、プログラム記憶部２ｂに格納されたアプリケーション・プログラムを制御部１ｂのハードウェアプロセッサに実行させることにより実現される。

第２の実施形態におけるユーザ状態判定処理部１３は、マスク処理後に取得されたバイタルデータを第２の判定条件と比較する。そしてユーザ状態判定処理部１３は、上記バイタルデータの値が、ユーザＵＳの心理状態が不安定な状態になったときのバイタルデータの範囲に該当するか否かを判定し、該当する場合にはこの状態が一定期間以上継続したか、或いは判定回数が所定回数に達したか否かを判定する。

対策追加制御処理部１７は、聴衆に対するマスク処理後にユーザＵＳの心理状態が上記第２の判定条件に該当する状態になった場合に、追加対策が必要と判定して追加対策処理を実行する。追加対策としては、例えばマスクパターンの変更と、その他の外的対策の実行が用いられる。

（動作例）
次に、以上のように構成されたサーバ装置ＳＶｂの動作例を説明する。

図７は、サーバ装置ＳＶｂの制御部１ｂにより実行されるプレゼンテーション支援処理の処理手順と処理内容の一例を示すフローチャートである。なお、学習モデルの作成処理の一例については、第１の実施形態と同一なので、ここでの説明は省略する。

（１）プレゼンテーションの支援
（１－１）聴衆に対するマスク判定処理
プレゼンテーションの開始要求をステップＳ４０で受信すると、サーバ装置ＳＶｂの制御部１ｂは、先ずステップＳ４１において、映像データ取得処理部１４の制御の下、聴衆の様子を撮像した映像データを取得する。上記映像データは、スマートグラスＳＧに設けられたカメラにより撮像され、このスマートグラスＳＧから携帯端末ＵＴを介してサーバ装置ＳＶａに送られる。

上記聴衆を撮像した映像データが取得されると、サーバ装置ＳＶｂの制御部１ｂは、次にマスク対象判定処理部１５の制御の下、先ずステップＳ４２において上記映像データから聴衆を１人ひとり認識してその画像を分離する。そして、マスク対象判定処理部１５は、続いてステップＳ４３において、分離された上記聴衆の１人ひとりの画像からその特徴量を抽出する。このとき、特徴量としては、先に述べた学習モデル作成時と同様に、聴衆の性別、年代、顔の向きまたは視線方向、姿勢を表す情報が抽出される。

マスク対象判定処理部１５は、次にステップＳ４４において、学習モデル記憶部３１から学習モデルを読み出し、抽出された上記各特徴量を上記学習モデルに入力する。そして、マスク対象判定処理部１５は、学習モデルから出力される判定結果を示す情報をもとに、ステップＳ４５において、マスク処理の対象とする聴衆を特定する。この結果、例えば顔または視線を一定期間以上連続してユーザＵＳに向けている聴衆や、腕組みをしたりユーザＵＳの方に乗り出すようにしてユーザＵＳに過度の緊張感または威圧感を与えている聴衆が、マスク処理の対象として特定される。マスク対象判定処理部１５は、特定された上記マスク処理対象の聴衆の、上記取得された映像データ中の位置座標を求め、この位置座標をマスキング処理部１６に渡す。

（１－２）マスキング処理
上記マスク処理の対象となる聴衆が特定されると、サーバ装置ＳＶｂの制御部１ｂは、マスキング処理部１６の制御の下、ステップＳ４６によりマスクパターンを読み出す。そして、ステップＳ４７において、上記マスク対象判定処理部１５から渡された、マスク処理の対象となる聴衆の映像データ中の位置座標と、読み出された上記マスクパターンとを含むマスキングデータを生成し、生成されたマスキングデータを通信Ｉ／Ｆ部４から携帯端末ＵＴに向け送信する。

携帯端末ＵＴは、上記マスキングデータを受信すると、受信されたマスキングデータをスマートグラスＳＧへ転送する。この結果、スマートグラスＳＧの画像表示部には上記マスクパターンが表示され、これによりユーザＵＳに対し過度の緊張感または威圧感を与えている聴衆の顔がマスクされる。

すなわち、この例では、ユーザＵＳの心理状態にかかわらず、先ずユーザに対し過度の緊張感または威圧感を与えている聴衆がマスク処理される。

（１－３）マスク処理後のユーザＵＳの心理状態の判定
上記聴衆に対するマスク処理が終了すると、サーバ装置ＳＶｂの制御部１ｂは、次にステップＳ４８において、バイタルデータ取得処理部１２の制御の下、ユーザＵＳのバイタルデータを取得する。バイタルデータは、プレゼンテーション中のユーザＵＳのウェアラブル端末ＷＴにより測定され、このウェアラブル端末ＷＴから携帯端末ＵＴを介してサーバ装置ＳＶｂに送られる。

サーバ装置ＳＶｂの制御部１ｂは、続いてユーザ状態判定処理部１３の制御の下、ステップＳ４９において、取得された上記バイタルデータの所定期間の平均値を求め、この平均値を判定条件記憶部３２に記憶された第２の判定条件と比較する。このとき、判定対象のバイタルデータは、任意の１種類でもよいが複数種類を組合せたものであってもよい。ユーザ状態判定処理部１３は、次にステップＳ５０において、上記バイタルデータが第２の判定条件に示される範囲に該当するか否かを判定する。この判定の結果、バイタルデータが第２の判定条件に該当しなければ、ユーザ状態判定処理部１３はユーザＵＳの心理状態が平常状態を維持していると判断し、そのままステップＳ５４によるプレゼンテーションの終了判定に移行する。

なお、上記第２の判定条件は、判定条件記憶部３２に予め記憶しておいたもの以外に、例えばプレゼンテーションの開始前の一定期間分のユーザＵＳのバイタルデータを平常状態のときのバイタルデータとして取得し、取得された上記バイタルデータの平均値を上記第２の判定条件として、判定条件記憶部３２に記憶したものであってもよい。

（１－４）マスクパターンの変更
これに対し、上記バイタルデータが第２の判定条件に該当したとする。すなわち、ユーザＵＳの心理状態が、例えば過度の緊張により不安定な状態になり、かつこの状態が一定期間継続していると判定されたとする。この場合、サーバ装置ＳＶｂの制御部１ｂは、対策追加制御処理部１７の制御の下、ステップＳ５１においてマスクパターンの変更処理が実行済か否かを判定する。そして、まだ変更していなければ、対策追加制御処理部１７はステップＳ５２に移行して、マスキング処理部１６に対しマスクパターンの変更を指示する。

上記変更指示を受けてマスキング処理部１６は、マスクパターン記憶部３３から未使用のマスクパターンを読み出し、この未使用のマスクパターンを含むマスキングデータを携帯端末ＵＴを経由してスマートグラスＳＧへ送信する。この結果、スマートグラスＳＧに表示されているマスクパターンが新たなものに変更される。

例えば、網掛けを用いた単純なマスクパターンから、ユーザＵＳが好きなキャラクタ画像を用いたマスクパターンに変更される。或いは、聴衆の顔だけをマスクするマスクパターンから、聴衆の上半身または全身をマスクするマスクパターンに変更される。

（１－５）他の外的対策の実施
一方、上記ステップＳ５２においてマスクパターンは変更済みと判定されたとする。この場合、対策追加制御処理部１７はステップＳ５３に移行し、追加対策情報記憶部３４から追加対策情報を読み出して、この追加対策情報に従いその他の外的追加対策を実行する。外的追加対策としては、以下のような対策が考えられる。

例えば、スマートグラスＳＧにイヤホンが設けられている場合には、自然音や好みの音楽などのリラックス効果がある音楽または音を、サーバ装置ＳＶｂから携帯端末ＵＴを経由して上記スマートグラスＳＧに送り、そのイヤホンから出力させる。この場合、サーバ装置ＳＶｂから携帯端末ＵＴに対し上記音楽または音の再生指示情報を送り、携帯端末ＵＴが上記指示情報により指定された音楽または音を再生してユーザＵＳのイヤホンから出力させるようにしてもよい。

また、例えば呼吸方法や飲水、首や肩などを動かすといった、リラックス効果のある動きまたは行動を奨めるレクチャ情報を、サーバ装置ＳＶｂから携帯端末ＵＴに対し送信し、スマートグラスＳＧの画像表示部に表示させるようにしてもよい。この場合、例えば携帯端末ＵＴのバイブレータまたはユーザＵＳが所持するマッサージャを振動させるようにしてもよい。

さらに、例えばユーザＵＳがディフューザを所持または用意している場合には、サーバ装置ＳＶｂから携帯端末ＵＴにハーブや香水などのアロマ材料を発生させるための指示情報を送信し、この指示情報に基づいてディフューザからハーブや香水などのアロマ材料を発生させるようにしてもよい。

その他、ユーザＵＳのバイタルデータが予め設定された危険状態に相当する値になった場合には、サーバ装置ＳＶｂから携帯端末ＵＴを経由してスマートグラスＳＧにプレゼンテーションの中止指示を送信し、これによりスマートグラスＳＧの画像表示部に中止を奨めるメッセージを表示させるようにしてもよい。この場合、予め登録した他のスタッフの携帯端末にユーザＵＳの状態を通知したり、場合によっては救急車両の手配を要請する指示メッセージを送るようにしてもよい。

（作用・効果）
以上述べたように第２の実施形態では、プレゼンテーション中のユーザＵＳについて、先ずユーザＵＳがマスク対象として事前に設定した特徴を有する聴衆に対しマスク処理を実行し、この状態でユーザＵＳの心理状態を判定して心理状態が不安定な状態であれば、上記マスク対象の聴衆に対するマスク処理を変更し、変更後もユーザＵＳの心理状態が改善されない場合には他の外的な追加対策を実行するようにしている。

従って、ユーザＵＳの心理状態が不安定な状態になる前に聴衆に対するマスク処理が行われることになり、これによりユーザの緊張を未然に防止することが可能となる。さらに、マスク処理を行っていても、ユーザＵＳの心理状態が不安定であれば、マスクパターンの変更処理と、外的な追加対策が段階的に実行される。このため、ユーザＵＳの心理状態が不安定な状態が長期間続かないようにすることが可能となる。

［その他の実施形態］
前記第１の実施形態においても、前記第２の実施形態と同様に、マスク処理後のユーザＵＳの心理状態の変化に応じて、マスクパターンの変更処理および外的な追加対策を実行するようにしてもよい。

前記第２の実施形態において、マスク処理後またはマスク変更処理後のユーザＵＳの心理状態の判定結果を学習モデル作成処理部１１にフィードバックし、これにより学習モデル作成処理部１１に学習モデルを再学習させるようにしてもよい。

前記第１および第２の実施形態では、いずれもユーザ行動支援装置の全機能をサーバ装置ＳＶａ，ＳＶｂに設けた場合を例にとって説明したが、上記機能の一部または全てを携帯端末ＵＴまたはスマートグラスＳＧに設けるようにしてもよい。

前記第１および第２の実施形態では、例えばユーザＵＳが会議や講演会等においてプレゼンテーションを行う場合を例にとって説明した。しかし、これに限らず、例えばユーザＵＳが野外において演説や商品説明等を行う場合にも、この発明は同様に適用可能である。図９は、野外おいて視線等が気になる聴衆ＰＳ４に対しマスク処理を行った場合を例示した図である。

その他、ユーザ行動支援装置の構成や機能、処理手順と処理内容、マスクパターンの種類、ユーザの心理状態の判定に用いるセンシングデータの種類や数、外的な追加対策の種類等については、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

以上、この発明の各実施形態を詳細に説明してきたが、前述までの説明はあらゆる点においてこの発明の例示に過ぎない。この発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、この発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

ＳＶａ，ＳＶｂ…サーバ装置
ＵＴ…携帯端末
ＳＧ…スマートグラス
ＷＴ…ウェアラブル端末
ＮＷ…ネットワーク
１ａ，１ｂ…制御部
２ａ，２ｂ…プログラム記憶部
３ａ，３ｂ…データ記憶部
４…通信Ｉ／Ｆ部
５…バス
１１…学習モデル作成処理部
１２…バイタルデータ取得処理部
１３…ユーザ状態判定処理部
１４…映像データ取得処理部
１５…マスク対象判定処理部
１６…マスキング処理部
１７…対策追加制御処理部
３１…学習モデル記憶部
３２…判定条件記憶部
３３…マスクパターン記憶部
３４…追加対策情報記憶部

Claims (11)

1. ユーザが複数の聴衆と対面する状態で情報を伝達する行動を支援するユーザ行動支援装置であって、
   前記ユーザの心理状態が反映された第１のセンシング情報を取得する第１の取得処理部と、
   前記聴衆を含む前記ユーザの視野範囲に相当する撮像映像をもとに、前記聴衆の前記ユーザに対する注目状態が反映された第２のセンシング情報を取得する第２の取得処理部と、
   取得された前記第１のセンシング情報に基づいて、前記ユーザの心理状態が前記聴衆からの影響に対する制御が必要であるか否かを判定するユーザ状態判定処理部と、
   取得された前記第２のセンシング情報に基づいて、マスク処理の対象となる聴衆を判定するマスク対象判定処理部と、
   前記ユーザ状態判定処理部の判定結果および前記マスク対象判定処理部の判定結果に基づいて、前記マスク処理の対象と判定された前記聴衆に対し選択的に前記マスク処理を行うための制御を実行するマスキング処理部と
   を具備するユーザ行動支援装置。
2. 前記マスク対象判定処理部は、前記ユーザ状態判定処理部により前記ユーザの心理状態が前記聴衆からの影響に対する制御が必要であると判定された場合に、前記第２のセンシング情報に基づいて前記マスク処理の対象となる聴衆を判定し、
   前記マスキング処理部は、前記マスク対象判定処理部により前記マスク処理の対象と判定された前記聴衆に対し選択的に前記マスク処理を行うための制御を実行する、
   請求項１に記載のユーザ行動支援装置。
3. 前記マスキング処理部は、
   前記マスク対象判定処理部により前記マスク処理の対象と判定された前記聴衆に対し選択的に前記マスク処理を行うための制御を実行する処理部と、
   前記マスク処理が行われた状態で、前記ユーザ状態判定処理部の前記判定結果に基づいて前記マスク処理の維持または変更を行うための制御を実行する処理部と
   を備える、請求項１に記載のユーザ行動支援装置。
4. 前記マスク対象判定処理部は、前記第２のセンシング情報に基づいて、前記聴衆のうち前記ユーザに対し前記注目状態を一定期間以上継続している聴衆を前記マスク処理の対象と判定する、請求項１に記載のユーザ行動支援装置。
5. 前記マスク対象判定処理部は、前記第２のセンシング情報に基づいて、前記聴衆のうち前記ユーザに対し前記注目状態を一定期間以上継続していない聴衆を前記マスク処理の対象と判定する、請求項１に記載のユーザ行動支援装置。
6. 前記第２の取得処理部は、前記第２のセンシング情報として、前記聴衆の前記ユーザに対する顔の向きまたは視線の方向を表す情報と、前記聴衆の前記ユーザに対する表情または姿勢を表す情報との少なくとも一方を取得する、請求項１に記載のユーザ行動支援装置。
7. 前記マスキング処理部は、前記マスク処理の対象と判定された前記聴衆の視認領域を予め用意された代替画像に置換するための制御を実行する、請求項１に記載のユーザ行動支援装置。
8. 前記マスク処理が行われた状態で、前記ユーザ状態判定処理部の前記判定結果に基づいて、前記ユーザの心理状態が予め設定された平常状態に改善したか否かを判定し、前記ユーザの心理状態が前記平常状態に改善しないと判定された場合に、前記ユーザに対し前記心理状態を前記平常状態に改善させるための追加対策に係る制御を実行する対策追加制御処理部をさらに具備する、請求項１に記載のユーザ行動支援装置。
9. 前記対策追加制御処理部は、前記追加対策として、前記ユーザの前記心理状態をリラックスさせるための音、香料、振動およびメッセージの少なくとも１つを前記ユーザに向け出力する、請求項８に記載のユーザ行動支援装置。
10. ユーザが複数の聴衆と対面する状態で情報を伝達する行動を支援する機能を有する情報処理装置が実行するユーザ行動支援方法であって、
    前記ユーザの心理状態が反映された第１のセンシング情報を取得する過程と、
    前記聴衆を含む前記ユーザの視野範囲に相当する撮像映像をもとに、前記聴衆の前記ユーザに対する注目状態が反映された第２のセンシング情報を取得する過程と、
    取得された前記第１のセンシング情報に基づいて、前記ユーザの心理状態が前記聴衆からの影響に対する制御が必要であるか否かを判定するユーザ状態判定過程と、
    取得された前記第２のセンシング情報に基づいて、マスク処理の対象となる聴衆を判定するマスク対象判定過程と、
    前記ユーザ状態判定過程の判定結果および前記マスク対象判定過程の判定結果に基づいて、前記マスク処理の対象と判定された前記聴衆に対し選択的に前記マスク処理を行うための制御を実行する過程と
    を具備するユーザ行動支援方法。
11. 請求項１乃至９のいずれかに記載のユーザ行動支援装置が具備する前記各処理部による処理を、前記ユーザ行動支援装置が備えるプロセッサに実行させるプログラム。

Images