JP2023174524A - 情報処理装置、情報処理システム、支援システム、方法、及びプログラム - Google Patents

Abstract

【課題】参加者の心的負担を軽減しつつコミュニケーションの質を高める。
【解決手段】第１の参加者と第２の参加者とを含む複数の参加者の間で行われるオンラインコミュニケーションにおいて、複数の参加者の間で共有されるリズムを提供するリズム提供装置によって、複数の参加者に対してリズムを提供させる情報処理装置であって、第２の参加者に提供されるリズムの強度について第１の参加者が設定した第１の設定情報、及び第２の参加者に提供されるリズムの強度について第２の参加者が設定した第２の設定情報を取得する取得部と、第１及び第２の設定情報に基づいて、第２の参加者に対して提供させるリズムの強度を調整し、調整したリズムの強度に関する強度情報を生成する調整部と、を備える。
【選択図】図２

Description

本発明は、情報処理装置、情報処理システム、支援システム、方法、及びプログラムに関する。

複数の参加者によるオンライン会議等において、参加者同士のコミュニケーションの質を高めるために、参加者間でリズムを共有させて参加者同士の同調を促す技術がある。例えば、特許文献１には、複数の参加者の音声データと画像データとに基づいて、ロボットに、頷き、身振り手振り等の動作をさせて参加者に示す技術が開示されている。

しかしながら、参加者間の関係性、並びに各参加者の考え方等によって、コミュニケーションにおける参加度および心的状態には個人差が生じうる。特許文献１の技術によれば、会議の主催者等の第三者によって指定された状態へと強制的に促されることで、参加者の中には心的負担を負う者が出る可能性がある。

本発明は、上記に鑑みてなされたものであって、参加者の心的負担を軽減しつつコミュニケーションの質を高めることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、第１の参加者と第２の参加者とを含む複数の参加者の間で行われるオンラインコミュニケーションにおいて、前記複数の参加者の間で共有されるリズムを提供するリズム提供装置によって、前記複数の参加者に対して前記リズムを提供させる情報処理装置であって、前記第２の参加者に提供される前記リズムの強度について前記第１の参加者が設定した第１の設定情報、及び前記第２の参加者に提供される前記リズムの強度について前記第２の参加者が設定した第２の設定情報を取得する取得部と、前記第１及び第２の設定情報に基づいて、前記第２の参加者に対して提供させる前記リズムの強度を調整し、調整した前記リズムの強度に関する強度情報を生成する調整部と、を備える。

本発明によれば、参加者の心的負担を軽減しつつコミュニケーションの質を高めることができる。

図１は、実施形態にかかる情報処理システムを用いて、オンラインコミュニケーションに参加する複数の参加者の様子を示す図である。 図２は、実施形態にかかる情報処理システムの概略構成の一例を示す模式図である。 図３は、実施形態にかかる入出力装置の機能構成の一例を示すブロック図である。 図４は、実施形態にかかる検知装置の機能構成の一例を、情報処理装置の一部構成とともに示すブロック図である。 図５は、実施形態にかかる情報処理装置のハードウェア構成の一例を示すブロック図である。 図６は、実施形態にかかる情報処理装置の機能構成の一例を示すブロック図である。 図７は、実施形態にかかる情報処理装置が時系列データを用いて２人の参加者間の同調の度合いを解析する場合の一例を示す図である。 図８は、実施形態にかかる刺激提供装置の機能構成の一例を示すブロック図である。 図９は、実施形態にかかる刺激提供装置が提供する感覚刺激に関する体系的な説明図である。 図１０は、実施形態にかかる情報処理システムによるリズム提供処理の手順の一例を示すフロー図である。 図１１は、実施形態の変形例にかかる情報処理システムを用いて、オンラインコミュニケーションに参加する複数の参加者の様子を示す図である。 図１２は、実施形態の変形例にかかる情報処理システムの概略構成の一例を示す模式図である。

以下、発明を実施するための最良の形態を、図面に従って詳細に説明する。

（情報処理システムの概略構成例）
複数の参加者が出席するオンライン会議等のコミュニケーションにおいて、複数の参加者に共有させるリズムをこれらの参加者に提供することで、共感度、一体感、信頼感、合意度等のコミュニケーションに対する参加者の心的状態を高めることができる。実施形態では、複数の参加者にこのようなリズムを提供する情報処理装置、情報処理システム、支援システム、方法、及びプログラムについて説明する。

図１は、実施形態にかかる情報処理システムを用いて、オンラインコミュニケーションに参加する複数の参加者ＦＡ，ＰＡの様子を示す図である。

図１に示すように、複数の参加者ＦＡ，ＰＡは、互いにオンライン会議等、オンライン上で行われるコミュニケーションに参加している。第１の参加者としての参加者ＦＡは、会議の主催者、または今現在の発言者等の、オンラインコミュニケーションに能動的に参加している者である。第２の参加者としての参加者ＰＡは、他者が主催した会議の出席者、または今現在他の参加者の発言を聴いている者等の、オンラインコミュニケーションに受動的に参加している者である。

したがって、参加者ＦＡに代わって参加者ＰＡが発言する場合等には、参加者ＦＡ，ＰＡの立場が入れ替わる場合もあり得る。また、複数の参加者ＦＡ，ＰＡ間で議論を行う場合等には、これらの参加者のいずれもが、参加者ＦＡ，ＰＡの両方の立場になり得る。このように、実施形態のオンラインコミュニケーションにおいて、能動的な参加者ＦＡと受動的な参加者ＰＡとは流動的に変化しうる。

また、図１の例では、説明を簡便にするために２名の参加者ＦＡ，ＰＡのみを示しているが、能動的な参加者ＦＡが複数名参加していてもよく、また、受動的な参加者ＰＡが複数名参加していてもよい。

なお、オンライン会議等を含むコミュニケーションでは、１人の話者に対して、複数名の聴衆がいることが通例である場合が多い。このように、実施形態の情報処理システムにおいては、ある瞬間で見た場合に、能動的な参加者ＦＡが１名で、受動的な参加者ＰＡが複数名であることを基本としていてよい。

参加者ＰＡの周囲には、撮像装置１１、バイタルセンサ１２、受音装置１３、視線検知装置１４、光源３１、音声出力装置３２、振動装置３４、表示装置３３，５２，５３、及び入力装置５１等が配置されている。なお、参加者ＦＡの周囲にも、これらの機器が同様に配置されているものとする。

撮像装置１１は、参加者ＰＡを撮像するカメラ等である。バイタルセンサ１２は、参加者ＰＡに装着され、参加者ＰＡの心拍、呼吸、皮膚電位、体温、その他の生体情報を検知可能である。受音装置１３は、参加者ＰＡの音声を受け取って電気信号に変換するマイクロフォン等である。視線検知装置１４は、参加者ＰＡの視線を検知するカメラ等である。

これらの撮像装置１１、バイタルセンサ１２、受音装置１３、及び視線検知装置１４は、後述する検知装置１０（図２参照）の一例である。

また、撮像装置１１が撮像した参加者ＰＡの画像は、ネットワーク等のオンラインシステムを介して参加者ＦＡの表示装置５３等に表示されてもよい。また、受音装置１３が受け取った参加者ＰＡの音声は、ネットワーク等のオンラインシステムを介して参加者ＦＡの音声出力装置３２等から出力されてもよい。

光源３１は、所定のリズムで光を明滅させるライト等である。音声出力装置３２は、所定のリズムで音を発するスピーカ等である。表示装置３３は、所定のリズムで動的に変化するアニメーション、映像エフェクト等を表示するモニタ等である。

振動装置３４は、所定のリズムで振動することで、参加者ＰＡの手指等に振動を伝える装置である。図１の例では、振動装置３４は、参加者ＰＡが各種操作をすることが可能なコントローラとして構成されている。ただし、振動装置３４が、参加者ＰＡが操作したり触れたりする、キーボード、マウス等の入力装置、椅子、または机等の、コントローラ以外の形態を備えていてもよい。

これらの光源３１、音声出力装置３２、表示装置３３、及び振動装置３４は、後述する刺激提供装置３０（図２参照）の一例である。

また、音声出力装置３２が、他の参加者ＦＡの音声を出力可能であってもよい。他の参加者ＦＡの音声は、例えば他の参加者ＦＡの周囲に配置された受音装置１３等によって受音され、ネットワーク等のオンラインシステムを介して参加者ＰＡの音声出力装置３２に送信される。

入力装置５１は、他の参加者ＦＡに提供されるリズムの強度、及び参加者ＰＡ自身に提供されるリズムの強度等の設定を参加者ＰＡが入力可能に構成されており、例えばキーボード、マウス、タッチパネル、その他の入力機器である。

ここで、実施形態の情報処理システムでは、ヒトが視覚、聴覚、体性感覚等によって知覚可能な感覚刺激を所定のリズムで参加者ＰＡに与えることが可能である。このとき、実施形態の情報処理システムは、参加者ＰＡに与える感覚刺激によるリズムの周波数、振幅、及び物理量等を異ならせることで、リズムの強度を調整することができる。このような、リズム、リズムの強度、及び実施形態の情報処理システムがこれらを提供する機構の詳細については後述する。

なお、他の参加者ＦＡも、自分の入力装置５１を介して、これらの設定を入力するものとする。参加者ＰＡ，ＦＡから入力された設定に関する情報は、後述する情報処理装置２０（図２参照）によって取得される。

表示装置５２は、参加者ＰＡが入力した設定情報、及び参加者ＦＡが入力した設定情報等を表示するモニタ等である。

表示装置５３は、他の参加者ＦＡを撮像した画像を表示するモニタ等である。他の参加者ＦＡの画像は、例えば他の参加者ＦＡの周囲に配置された撮像装置１１等によって撮像されて、ネットワーク等のオンラインシステムを介して参加者ＰＡの表示装置５３に送信される。

これらの入力装置５１及び表示装置５２は、後述する入出力装置５０の一例である。また、入力装置５１及び表示装置５２，５３，３３が、参加者ＰＡが使用するパーソナルコンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の端末の一部を構成していてもよい。また、表示装置３３，５２，５３がひとつのモニタとして構成されていてもよい。さらには、撮像装置１１、受音装置１３、音声出力装置３２を含む、上記に挙げた少なくともいずれかの装置が、参加者ＰＡの上記端末と一体に構成されていてもよい。

図２は、実施形態にかかる情報処理システム１の概略構成の一例を示す模式図である。

図２に示すように、情報処理システム１は、検知装置１０、情報処理装置２０、刺激提供装置３０、及び入出力装置５０を備える。なお、図２においては、これらの検知装置１０、情報処理装置２０、刺激提供装置３０、及び入出力装置５０の主な構成の一部を示している。

入出力装置５０は、例えば参加者ＦＡ，ＰＡのそれぞれが使用するローカルのＰＣ等である。

参加者ＦＡの入出力装置５０（ＦＡ）は、例えば送信レベル設定部５０１を備え、参加者ＦＡが、刺激提供装置３０から参加者ＰＡに対して提供させたいリズムの強度を設定可能である。入出力装置５０（ＦＡ）は、参加者ＦＡが入力した設定に応じた第１の設定情報としての送信レベル設定情報ＩＮＦ４１Ｆを生成する。送信レベル設定情報ＩＮＦ４１Ｆは、情報処理装置２０によって取得される。

参加者ＰＡの入出力装置５０（ＰＡ）は、例えば受信レベル設定部５０２を備え、参加者ＰＡ自身に提供されるリズムの強度を参加者ＰＡが設定可能である。入出力装置５０（ＰＡ）は、参加者ＰＡが入力した設定に応じた第２の設定情報としての受信レベル設定情報ＩＮＦ４１Ｐを生成する。受信レベル設定情報ＩＮＦ４１Ｐは、情報処理装置２０によって取得される。

なお、後述するように、これらの入出力装置５０（ＦＡ），５０（ＰＡ）は、いずれもが送信レベル設定部５０１と受信レベル設定部５０２とを備えていてよい。

検知装置１０は、上述のように、例えば撮像装置１１、バイタルセンサ１２、受音装置１３、及び視線検知装置１４の少なくともいずれかであって、参加者ＦＡ，ＰＡの画像情報、生体情報、音声情報、その他の検知情報を、参加者ＦＡ，ＰＡのそれぞれについて検知する。

情報処理装置２０は、検知装置１０、刺激提供装置３０、及び入出力装置５０とネットワーク等のオンラインシステムで接続されたコンピュータ等である。情報処理装置２０は、例えば解析部２０２及び調整部２０３を備える。

解析部２０２は、検知装置１０が検知した検知情報に基づいて、参加者ＦＡ，ＰＡのコミュニケーション状態を示す状態情報ＩＮＦ４２を生成する。参加者ＦＡ，ＰＡのコミュニケーション状態とは、例えば参加者ＦＡ，ＰＡの、共感度、一体感、合意度等のコミュニケーションに対する心的状態、及びコミュニケーションへの参加度等である。

調整部２０３は、入出力装置５０からの送信レベル設定情報ＩＮＦ４１Ｆ及び受信レベル設定情報ＩＮＦ４１Ｐ、並びに解析部２０２からの状態情報ＩＮＦ４２に基づいて、参加者ＰＡに対して刺激提供装置３０から提供させるリズムの強度を調整し、調整したリズムの強度に応じた強度情報ＩＮＦ４３を生成し、刺激提供装置３０へと送出する。

なお、上記の状態情報ＩＮＦ４２及び強度情報ＩＮＦ４３等については、後述の図７以降の説明において詳述する。

リズム提供装置としての刺激提供装置３０は、上述のように、例えば光源３１、音声出力装置３２、表示装置３３、及び振動装置３４の少なくともいずれかであって、複数の参加者ＦＡ，ＰＡ間で共有されるリズムを有する感覚刺激ＳＴＭを参加者ＰＡに提供する。このとき、刺激提供装置３０は、調整部２０３により生成された強度情報ＩＮＦ４３に基づいて、参加者ＰＡに提供するリズムの強度を、調整部２０３が参加者ＰＡ向けに調整した強度に設定する。

ここで、感覚刺激ＳＴＭは、例えばヒトの五感で知覚することが可能な光、音、映像、振動等である。感覚刺激ＳＴＭが有するリズムは、強弱・明暗・遅速などの周期的な反復であり、複数の参加者ＦＡ，ＰＡ間における同調を促す刺激の１つとなり得る。

すなわち、複数の参加者ＦＡ，ＰＡの間で共有されるリズムを有する感覚刺激ＳＴＭが、それぞれの参加者ＦＡ，ＰＡに適した強度で個々の参加者ＦＡ，ＰＡに提供されることで、複数の参加者ＦＡ，ＰＡ間の同調が促され、参加者ＦＡ，ＰＡ間のコミュニケーションが円滑になる。

なお、検知装置１０、刺激提供装置３０、及び入出力装置５０は、参加者ＦＡ，ＰＡの人数分だけ用意される。解析部２０２は、参加者ＦＡ，ＰＡの人数分だけ状態情報ＩＮＦ４２を生成する。

調整部２０３は、複数の参加者ＰＡがいるときは、それらの参加者ＰＡのそれぞれについて強度情報ＩＮＦ４３を生成する。このとき、調整部２０３は、参加者ＦＡ，ＰＡの人数分の状態情報ＩＮＦ４２、参加者ＦＡが複数の参加者ＰＡについて設定した送信レベル設定情報ＩＮＦ４１Ｆ、及び複数の参加者ＰＡがそれぞれ設定した受信レベル設定情報ＩＮＦ４１Ｐに基づいて、複数の参加者ＰＡについての強度情報ＩＮＦ４３をそれぞれ生成する。

また、刺激提供装置３０は、複数の参加者ＰＡのそれぞれに対して感覚刺激ＳＴＭを提供する。このとき、刺激提供装置３０は、複数の参加者ＰＡのそれぞれに対応する強度情報ＩＮＦ４３に基づいて、感覚刺激ＳＴＭが有するリズムを、調整された強度にそれぞれ設定し、複数の参加者ＰＡのそれぞれに応じた感覚刺激ＳＴＭを提供する。

以上のように、参加者ＰＡごとに調整された強度にリズムの強度を設定し、個々の参加者ＰＡに提供することで、参加者ＰＡの心的負担を軽減しつつ質の高いオンラインコミュニケーションが実現される。このように、実施形態の情報処理システム１は、例えば複数の参加者の間で行われるオンラインコミュニケーションを支援する支援システムとして機能する。

（入出力装置の構成例）
次に、図３を用いて、実施形態の入出力装置５０の詳細について説明する。図３は、実施形態にかかる入出力装置５０の機能構成の一例を示すブロック図である。

入出力装置５０は、例えば図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備えるコンピュータとして構成されている。ＣＰＵが、ＲＯＭ等に格納された制御プログラムをＲＡＭに展開して実行することで、入出力装置５０の各種機能が実現される。

図３に示すように、入出力装置５０は、機能構成として、例えば送信レベル設定部５０１、受信レベル設定部５０２、表示制御部５０３、及び記憶部５０４を備える。

送信レベル設定部５０１は、入出力装置５０の使用者である参加者による入力を受け付けて、その参加者が他の参加者に対して提供させたいリズムの強度を表す送信レベル設定情報を生成する。受信レベル設定部５０２は、参加者による入力を受け付けて、その参加者が自身に対して提供させたいリズムの強度を表す受信レベル設定情報を生成する。参加者は、自分以外の他の参加者の人数分、送信レベル及び受信レベルの設定を行うことができる。つまり、他の参加者が複数いるときは、他の参加者に対する送信レベル、及び他の参加者からの受信レベルを参加者ごとに設定することができる。

なお、個々の参加者は、上述のように、異なるタイミングで能動的な参加者ＦＡにも受動的な参加者ＰＡにもなり得る。入出力装置５０の入力者である参加者が、上記において送信レベルを入力する際は、能動的な参加者ＦＡの立場でこれらの送信レベルを決定することとなる。また、参加者が受信レベルを入力する際は、受動的な参加者ＰＡの立場で受信レベルを決定することとなる。

これらの送信レベル設定情報、及び受信レベル設定情報は、入力者である参加者が任意に設定できる情報である。つまり、参加者は、他の参加者にどれだけの強度でリズムを送信するかという意思に基づいて、送信レベル設定情報の設定値を決定することができる。また、参加者は、他の参加者からどれだけの強度でリズムを受信するかという意思に基づいて、受信レベル設定情報の設定値を決定することができる。

したがって、参加者は、他の参加者との関係性等に基づいて、参加者ごとに異なる強度で送信レベル及び受信レベルを設定することも可能である。

また、参加者は、例えばオンラインコミュニケーションの開始前に、送信レベル設定情報、及び受信レベル設定情報の設定値を入力することができる。また、参加者は、１度設定値を入力した後、例えばオンラインコミュニケーションの途中で、これらの設定値を変更することも可能である。このように、参加者は、送信レベル及び受信レベルの設定を複数回に亘って行うことができる。

送信レベル設定情報、及び受信レベル設定情報の設定値としては、下限と上限とを有する数値であってもよく、量的な意味を持つ言語であってもよい。送信レベル設定情報、及び受信レベル設定情報を、数値を用いて設定する場合、例えば下限値を「１」、上限値を「５」などとして、１～５までの整数でこれらの設定を行わせることができる。送信レベル設定情報、及び受信レベル設定情報を、言語を用いて設定する場合、例えば「大」「中」「小」などの３段階の中からこれらの設定を行わせることができる。

参加者による上記のような設定が可能なように、送信レベル設定部５０１及び受信レベル設定部５０２は、物理的な構成として、例えば機械的なスイッチ、ダイヤル、電子的な数値入力機能を備えていることが好ましい。一例として、これらの物理的な構成は、例えば上述の入力装置５１（図１参照）等により実現されてよい。

入出力装置５０の表示制御部５０３は、例えば上述の表示装置５２，５３（図１参照）における各種表示を制御する。

表示制御部５０３は、例えば表示装置５３に、オンライン接続される他の参加者の画像を表示させる。他の参加者の画像は、他の参加者の周囲に配置された撮像装置１１によって撮像され、オンラインを介して送信されてきたものである。

また、表示制御部５０３は、例えば表示装置５２に、送信レベル設定情報、及び受信レベル設定情報の入力画面、及び参加者が入力した後の設定値等を表示させる。入出力装置５０の使用者である参加者は、入力すべき項目を入力画面上で確認しながら送信レベル設定情報、及び受信レベル設定情報の入力を行うことができる。また、参加者は、自身が入力した送信レベル設定情報、及び受信レベル設定情報の設定値を設定値の表示画面上で確認することができる。参加者が、設定値の表示画面上で、他の参加者による設定値を確認可能であってもよい。

入出力装置５０の記憶部５０４には、入出力装置５０の動作に必要な各種パラメータ及び制御プログラム等が格納されている。

（検知装置の構成例）
次に、図４を用いて、実施形態の検知装置１０の詳細について説明する。図４は、実施形態にかかる検知装置１０の機能構成の一例を、情報処理装置２０の一部構成とともに示すブロック図である。

図４に示すように、検知装置１０は、例えば撮像装置１１、バイタルセンサ１２、受音装置１３、及び視線検知装置１４の少なくともいずれかである。これらの検知装置１０は、個々の参加者の周囲にそれぞれ配置され、対応する参加者に関わる情報を検知する。

検知装置１０が検知する検知情報は、例えば参加者を撮像した画像、参加者の音声、生体情報等、参加者に関する各種物理量を検知することで得られる客観的な情報である。検知装置１０による検知情報は、情報処理装置２０が備える認識部２０１へと出力される。

撮像装置１１は、オンラインコミュニケーションにおける参加者の画像を撮像する。参加者の画像は、情報処理装置２０の認識部２０１へと出力されて、認識部２０１の表情認識部２１１及び運動認識部２１２が、参加者の表情および動作を認識する。

バイタルセンサ１２は、例えば心拍センサ、呼吸センサ、皮膚電位センサ、体動センサ、温度センサ、脳波センサ、及び脳血流センサの少なくともいずれかであって、参加者に接触または非接触で装着されて参加者の生体情報を検知する。

心拍センサは、例えば光電式容積脈波記録法、心電図法、血圧計法、心音図法、ひずみ計測法、レーダー測距法、または超音波測距法などにより、参加者の心拍数を検知する。

心拍センサは、検知した参加者の心拍数を周波数解析等により、低周波（ＬＦ：Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ）成分、高周波（ＨＦ：Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ）成分、ＬＦ成分とＨＦ成分との比であるＬＦ／ＨＦ等へと変換してもよく、検知した参加者の心拍数から心拍周期等を算出してもよい。

呼吸センサは、例えばひずみ検出方式、呼吸音検出方式、湿度検出方式、レーダー測距法、パターン照射方式、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）測距法、または温度検出方式などにより、参加者の呼吸数を検知する。呼吸センサは、参加者の心拍数から呼吸数を算出してもよい。

皮膚電位センサは、例えば皮膚電位活動または皮膚抵抗活動などにより参加者の皮膚電位を検知する。

体動センサは、例えばパターン照射方式、レーダー測距方式（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏn ａｎｄ Ｒａｎｇｉｎｇ）、磁気式、機械式、または慣性式などにより、参加者の体動を検知する。体動センサは、加速度センサ等であってもよく、参加者の体動を加速度として検知可能であってもよい。あるいは、体動センサは、参加者を撮像した画像から体動を検知してもよい。

上記に挙げた各種センサのうち、体動センサが撮像装置１１を用いないセンサである場合には、暗所でのセンシング、及びより微細な情報の検知等が可能である。すなわち、ＬｉＤＡＲまたはミリ波レーダー等の電磁波を用いた体動センサであれば、理論上、使用する波長程度の分解能を有し、心拍または呼吸に伴う体の膨張、表情の変化による顔面の筋肉の動き等をも捉えることが可能である。また、加速度センサまたは慣性センサ等を用いた体動センサは、物体の微細な傾き及び振動等の情報を捕捉することに優れ、センシング対象者の姿勢、貧乏ゆすりまたは手の震え等による全身または局部の振動等、参加者の心的状態の表出の少なくとも一部を捉えることができる。

温度センサは、膨張もしくは圧力を利用すること、あるいは熱電対温度、電気抵抗、もしくは放射温度を検知する方式などにより、またはＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）温度センサとして構成されることにより、参加者の体温を検知する。

脳波センサは、参加者の頭、額、または耳に装着され、参加者の脳波を検知する。

脳血流センサは、近赤外光を用いたヘモグロビン量測定方法、ｆＭＲＩ（ｆｕｎｃｔｉｏｎａｌ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）方式、シンチグラフィー方式、または超音波もしくは温度差を利用することなどにより、参加者の脳血流を検知する。

バイタルセンサ１２が検知した各種の生体情報は、情報処理装置２０の認識部２０１へと出力されて、認識部２０１の情動推定部２１３及び生体情報認識部２１４が、参加者の情動および生体情報を認識する。

受音装置１３は、オンラインコミュニケーションにおける参加者の音声を取得する。参加者の音声は、情報処理装置２０の認識部２０１へと出力されて、認識部２０１の音声認識部２１５が、参加者の音声を認識する。

視線検知装置１４は、画像解析方法、角膜反射方式、強膜反射方式、サーチコイル方式、または眼電図方式などにより、参加者の視線を検知する。参加者の視線を検知した検知情報は、情報処理装置２０の認識部２０１へと出力されて、認識部２０１の視線認識部２１６が、参加者の視線を認識する。

（情報処理装置の構成例）
次に、図５～図７を用いて、実施形態の情報処理装置２０の詳細について説明する。情報処理装置２０は、例えばネットワーク等のオンラインシステムに接続されるコンピュータとして構成される。情報処理装置２０が、ネットワーク上に置かれたクラウドサーバ等のサーバとして構成されていてもよい。

図５は、実施形態にかかる情報処理装置２０のハードウェア構成の一例を示すブロック図である。図５に示すように、情報処理装置２０は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、通信Ｉ／Ｆ（インターフェース）２４、及び記憶装置２５を備える。

ＣＰＵ２１は、情報処理装置２０の全体を制御する。ＲＯＭ２２は、情報処理装置２０における保存領域として機能する。ＲＯＭ２２に記憶された情報は、情報処理装置２０の電源が切られても保持される。ＲＡＭ２３は、一次記憶装置として機能し、ＣＰＵ２１の作業領域となる。

ＣＰＵ２１が、例えばＲＯＭ２２に格納されるリズム提供プログラム２２ｐをＲＡＭ２３に展開して実行することで、刺激提供装置３０によって複数の参加者に対してリズムを提供させる情報処理装置２０としての機能が実現される。つまり、リズム提供プログラム２２ｐは、コンピュータ等として構成される情報処理装置２０に、以下に詳述する各種処理を行わせる。

リズム提供プログラム２２ｐは、フレキシブルディスク、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ブルーレイディスク（登録商標）、半導体メモリ等の、コンピュータで読み取り可能な各種の記録媒体に記録されて提供されることができる。

また、リズム提供プログラム２２ｐを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、リズム提供プログラム２２ｐをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

通信Ｉ／Ｆ２４は、例えばインターネット等の無線によるネットワークに接続可能に構成される。通信Ｉ／Ｆ２４により、情報処理装置２０と、検知装置１０、刺激提供装置３０、及び入出力装置５０との間で各種情報の授受が可能となる。

記憶装置２５は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等であり、ＣＰＵ２１の補助記憶装置として機能する。

図６は、実施形態にかかる情報処理装置２０の機能構成の一例を示すブロック図である。図６に示すように、情報処理装置２０は、認識部２０１、解析部２０２、調整部２０３、取得部２０４、送出部２０５、及び記憶部２０６を備える。

認識部２０１は、検知装置１０が検知した検知情報に基づいて、参加者について得られた検知情報を認識し、または計測する。認識部２０１は、上述のように、例えば撮像装置１１、バイタルセンサ１２、受音装置１３、及び視線検知装置１４によって検知されたそれぞれの物理量を認識し、または計測する表情認識部２１１、運動認識部２１２、情動推定部２１３、生体情報認識部２１４、音声認識部２１５、及び視線認識部２１６のうち、検知装置１０に対応する構成を少なくとも備える。

表情認識部２１１及び運動認識部２１２は、撮像装置１１が撮像した参加者の画像から、例えば画像認識技術等を用いて、参加者の表情、視線、体動、姿勢、ジェスチャ、運動量、及び距離情報等を特徴量として抽出する。

情動推定部２１３及び生体情報認識部２１４は、バイタルセンサ１２が取得した参加者の生体情報から、参加者の心拍間隔、心拍波形、及び呼吸波形などを特徴量として抽出する。

音声認識部２１５は、受音装置１３が取得した音声から、例えば音声認識技術等を用いて、参加者の音声の音圧、テンポ、ピッチ、単語の意味、抑揚、明瞭さなどを特徴量として抽出する。

視線認識部２１６は、視線検知装置１４が取得した画像、角膜反射、強膜反射、または眼電図等から、参加者の視線の向き及び動き等を特徴量として抽出する。

認識部２０１は、例えばリズム提供プログラム２２ｐを実行するＣＰＵ２１により実現される。

解析部２０２は、認識部２０１が認識し、または計測した特徴量等の各種情報に基づいて、複数の参加者それぞれのコミュニケーション状態を解析する。より具体的には、解析部２０２は、特定の参加者個人の心的状態および周囲を取り巻く環境状態、並びに特定の参加者と他の参加者間の心的状態を推定する。

参加者個人の心的状態は、例えば集中、緊張、疲労、興奮、快／不快等を含む。参加者の周囲の環境状態は、空間の広さ、明るさ、音響状態、温度、湿度、雑音レベルなどを含む。周囲に他の参加者がいる場合等には、環境情報に参加者間の物理的な距離を含めてもよい。参加者間の心的状態は、注意、警戒、親和、信用、信頼、一体感、期待感、共感、好意、嫌悪などを含む。

複数の参加者間の心的状態を推定する場合、解析部２０２は、例えば音声認識部２１５が参加者ＦＡの発話を認識すると、参加者ＦＡの発話を起点として、他の参加者ＰＡによる一定時間内における運動および音声等から、参加者ＰＡが参加者ＦＡとどの程度同調しているかを解析する。これにより、解析部２０２は、参加者ＦＡ，ＰＡ間の心的状態を評価することができる。

このように、特定の参加者の発話を起点とする以外にも、他の参加者が、他の参加者に視線を向けたタイミング、他の参加者に対して体の向きを変えたタイミング、または他の参加者に対してジェスチャを行ったタイミング等を起点として、複数の参加者間の心的状態を推定することが可能である。

以上、解析部２０２は、１人の参加者について、その参加者自身の心的状態、その参加者の環境状態、及びその参加者と他の参加者との関係性に基づく心的状態等の複数の心的状態を推定してよい。その際、解析部２０２は、複数の参加者について検知装置１０が検知した検知情報のうち、その参加者に関わる検知情報に基づいて、その参加者の状態を推定することができる。

すなわち、その参加者自身の心的状態および環境状態は、その参加者に関わる検知情報として、その参加者自身から取得された検知情報に基づいて推定可能である。その参加者と他の参加者との心的状態は、その参加者に関わる検知情報として、その参加者の検知情報と他の参加者の検知情報とに基づいて推定可能である。

また、他の参加者が複数いる場合、解析部２０２は、１人の参加者と他の複数の参加者それぞれとについて、それら複数の参加者との関係性に基づく心的状態を推定してもよい。

解析部２０２は、参加者個人の心的状態および環境、並びに複数の参加者間の心的状態等を推定したコミュニケーション状態を、入出力装置５０から入力される送信レベル及び受信レベルと同一の指標に換算した状態情報を生成する。

ここで、解析部２０２が生成する状態情報は、例えば上述の図２で示した「状態情報ＩＮＦ４２」に相当し、上述したように、参加者ＦＡ，ＰＡのコミュニケーション状態を示している。より具体的には、解析部２０２は、状態情報として、例えば参加者ＦＡ，ＰＡの、共感度、一体感、合意度等のコミュニケーションに対する心的状態、及びコミュニケーションへの参加度等を定量的な数値等に置き換えて生成する。

このように、状態情報は、例えば参加者の心的状態や意識に一致する。したがって、状態情報は、それを定量化した指標として数値等で表すことができる。一例として、状態情報が例えば１～５までの整数値で表される場合、状態情報が「５」であれば参加者が非常に共感していることを示し、状態情報が「１」であれば参加者が全く共感していないことを示しているなどと定義づけることができる。

このとき、状態情報が示す定量値は、送信レベル設定情報および受信レベル設定情報が示す定量値と対応していることが望ましい。すなわち、上述のように、送信レベル設定情報と受信レベル設定情報とが、例えば１～５までの整数値で表される場合、状態情報も同様に、１～５までの整数値で表される情報であることが望ましい。また、上述のように、送信レベル設定情報と受信レベル設定情報とが、例えば３段階の量的言語で表される場合、状態情報も同様に、３段階の量的言語で表される情報であることが望ましい。

ここで、状態情報は、一般的な参加者から所定のコミュニケーション状態が得られるリズムの強度を示す。つまり、状態情報が例えば「３」である場合、そのときの参加者のコミュニケーション状態が、送信レベル設定情報および受信レベル設定情報における強度が「３」のリズムが提供された場合に、その参加者から得られるコミュニケーション状態と同等であることを意味する。

このような状態情報は、例えば一般的な被験者に、所定強度のリズムを提供するなどして実験的に得られたデータから帰納的に求めることができる。または、状態情報は、例えば機械学習を用いて求めることができる。

解析部２０２は、例えばリズム提供プログラム２２ｐを実行するＣＰＵ２１により実現される。

調整部２０３は、複数の参加者により特定の参加者について設定された送信レベル設定情報と、その特定の参加者により設定された受信レベル設定情報とから、その参加者に対して提供されるリズムの強度を調整し、調整したリズムの強度に関する強度情報を生成する。このとき、調整部２０３は、送信レベル設定情報と受信レベル設定情報とが示すリズムの強度の乖離が最小となるようにリズムの強度を調整する。

例えば、送信レベル設定情報と受信レベル設定情報とが、上述のように、例えば１～５までの整数値で表されるものとする。この場合、送信レベル設定情報と受信レベル設定情報とがともに「３」であれば、調整部２０３は強度情報を「３」とする。また、送信レベル設定情報が「１」、受信レベル設定情報が「５」であれば、調整部２０３は、例えばこれらの平均値を取って強度情報を「３」とする。送信レベル設定情報が「２」、受信レベル設定情報が「５」であれば、調整部２０３は、例えばこれらの平均値を取り、さらに平均値に対して受信レベル設定情報により近い整数値「４」を強度情報として設定する。

また例えば、送信レベル設定情報と受信レベル設定情報とが、上述のように、例えば３段階の量的言語で表されるものとする。この場合、送信レベル設定情報と受信レベル設定情報とがともに「中」であれば、調整部２０３は強度情報を「中」とする。また、送信レベル設定情報が「大」、受信レベル設定情報が「小」であれば、調整部２０３は、例えばこれらの中間量を採用して強度情報を「中」とする。また、送信レベル設定情報が「大」、受信レベル設定情報が「中」であれば、調整部２０３は、例えば受信レベル設定情報を優先して強度情報を「中」とする。

また、調整部２０３は、特定の参加者について調整した強度情報と、解析部２０２が生成した状態情報とが示すリズムの強度に乖離がある場合、調整した強度情報をさらに補正する。

例えば、状態情報が、上述のように、例えば１～５までの整数値で表されるものとした場合、強度情報と状態情報とがともに「３」であれば、調整部２０３は、強度情報の補正を行うことなく強度情報を「３」のままとする。

また、参加者の意思を反映した強度情報が「３」、参加者の実際のコミュニケーション状態を表す状態情報が「２」であれば、状態情報を参加者の意思に近づけるよう強度情報が補正される。強度情報に対する状態情報の乖離の度合いは「－１」であるので、調整部２０３は、送信レベル設定情報と受信レベル設定情報とに基づく強度情報「３」を「＋１」で補正した「４」とする。

また、参加者の意思を反映した強度情報が「２」、参加者の実際のコミュニケーション状態を表す状態情報が「３」であれば、状態情報を参加者の意思に近づけるよう強度情報が補正される。強度情報に対する状態情報の乖離の度合いは「＋１」であるので、調整部２０３は、送信レベル設定情報と受信レベル設定情報とに基づく強度情報「２」を「－１」で補正した「１」とする。

なお、送信レベル設定情報、受信レベル設定情報、及び状態情報に基づいて強度情報を生成する際、調整部２０３が、これらの送信レベル設定情報、受信レベル設定情報、及び状態情報の重みづけを異ならせるなどして、所定の情報を他の情報よりも優先させて採用するようにしてもよい。

調整部２０３は、例えばリズム提供プログラム２２ｐを実行するＣＰＵ２１により実現される。

取得部２０４は、入出力装置５０から参加者が設定した送信レベル設定情報および受信レベル設定情報を取得する。また、取得部２０４は、検知装置１０から検知情報を取得する。取得部２０４は、例えばリズム提供プログラム２２ｐを実行するＣＰＵ２１の制御下で動作する通信Ｉ／Ｆ２４により実現される。

送出部２０５は、調整部２０３が生成した強度情報を刺激提供装置３０へと送出する。送出部２０５は、例えばリズム提供プログラム２２ｐを実行するＣＰＵ２１の制御下で動作する通信Ｉ／Ｆ２４により実現される。

記憶部２０６には、情報処理装置２０の動作に必要な各種パラメータ及びリズム提要プログラム２２ｐ等の制御プログラムが格納されている。記憶部２０６は、例えばリズム提供プログラム２２ｐを実行するＣＰＵ２１の制御下で動作するＲＯＭ２２、ＲＡＭ２３、及び記憶装置２５により実現される。

ここで、解析部２０２によって、複数の参加者間の心的状態を推定する手法について、より詳細に説明する。

複数の参加者間の心的状態を推定する場合、例えば複数の参加者間の同調度合いを推定する手法を用いることができる。複数の参加者間の同調度合いは、動作を伴う所作、心拍間隔、呼吸間隔、並びに音声のテンポ、音圧、及びピッチ等が、複数の参加者間において狭い時間範囲で同じような変化を示すことによって推定することができる。

解析部２０２は、例えば参加者ごとの運動のエネルギーを時系列データとして比較したときに、波形パターンに類似性があったり、所定の時間の範囲内で相関係数が高い値を示したり、あるいはピークもしくはボトムが同時刻に出現したりといった現象が見られた場合に、これらの参加者間における同調の度合いが高いものと推定する。

これを実際の運動における所作に置き換えると、例えば頷き、身振り手振り、体動、表情変化などが短い時間内で複数の参加者において発生している場合、または、これらの所作が周期的に繰り返される場合であって、その位相差が少ない場合には、これらの参加者間において同調が強く発生していると言える。解析部２０２は、認識部２０１が特徴量として抽出したこれらの頷き、身振り手振り、体動、表情変化などから参加者間における同調の度合いを推定する。

また、音声のテンポ、音圧、及びピッチについて、これらの各値を時系列で並べた場合に、参加者同士で相関が見られ、波形が類似しており、あるいは、瞬時的な変化の同期が発生している場合には、これらの参加者間において同調が強く発生していると言える。解析部２０２は、認識部２０１が特徴量として抽出したこれらの音声のテンポ、音圧、及びピッチなどから参加者間における同調の度合いを推定する。

また、心拍の場合であれば、上記に挙げた運動または音声に比べて、比較的長時間での同調が発生すると言われている。したがって、時系列で心拍間隔を並べた場合に、参加者間の波形の類似度が高くなる場合、あるいは相関係数が高くなる場合には、これらの参加者間において同調が強く発生していると言える。解析部２０２は、認識部２０１が特徴量として抽出したこれらの心拍間隔、及び心拍波形などから参加者間における同調の度合いを推定する。

また、呼吸に関しては、瞬時的な変化の同期が発生することもあれば、比較的長時間での時系列データの波形の類似度が高くなったり相関係数が高くなったりすることが知られており、これらの場合に同調が強く発生していると言える。解析部２０２は、認識部２０１が特徴量として抽出した呼吸波形などから参加者間における同調の度合いを推定する。

図７は、実施形態にかかる情報処理装置２０が時系列データを用いて２人の参加者間の同調の度合いを解析する場合の一例を示す図である。

図７（ａ）は、２人の参加者間（Ａ，Ｂ）において高い相関係数を示した特徴量を時系列で示したグラフであり、図７（ｂ）は、２人の参加者間（Ａ，Ｂ）において低い相関係数を示した特徴量を時系列で示したグラフである。図７（ａ）（ｂ）のグラフにおいて、横軸は時間であり縦軸は特徴量の大きさである。

上述のように、特徴量は、それぞれの検知情報が示す物理量であって、例えば認識部２０１によって抽出される。これらの特徴量からは、例えば複数の参加者間における同調の度合い等を推定することが可能である。例えば、顔には部位ごとに変化の特徴があり、それらの特徴量から表情が形成され、怒り、嫌悪、恐れ、喜び、悲しみ、驚き、中立などの心的状態を推定することが可能である。

図７（ａ）に示すように、所定の検知情報から認識部２０１が抽出した所定の特徴量は、２人の参加者（Ａ，Ｂ）において比較的近い時間内に同様の変化を示している。このような特徴量は、参加者間（Ａ，Ｂ）において高い相関係数を示していると言える。

図７（ｂ）に示すように、上記とは異なる所定の検知情報から認識部２０１が抽出した特徴量は、２人の参加者（Ａ，Ｂ）において変化のタイミングが異なっている。このような特徴量は、参加者間（Ａ，Ｂ）において低い相関係数を示していると言える。

図７（ｃ）は、２人の参加者間（Ａ，Ｂ）における所定の特徴量の相関係数と遅延時間との関係を示すグラフである。図７（ｃ）のグラフにおいて、横軸は参加者間（Ａ，Ｂ）における特徴量の変化の遅延時間であり縦軸は相関係数である。

図７（ｃ）の例では、相関係数は、最小値をゼロ、最大値を１とする指標であり、１に近いほど相関が高いことを示す。図７（ｃ）においては、遅延時間ゼロにおいて相関係数が最大のピークを有する。このことは、２人の参加者間（Ａ，Ｂ）で、同時に特徴量の変化が発生したことを示す。

つまり、図７（ｃ）は、例えば頷き等のジェスチャ、あるいは同じ表情への変化等が、同時に同位相で発生したことを示しており、参加者間（Ａ，Ｂ）での同調の度合いが高いことを意味している。このような相関関係は、一体感、共感、信頼感などの参加者の心的状態に結びつけることが可能である。

図７（ｄ）は、相関係数と心的状態とを対応させたテーブルである。図７（ｄ）のテーブルでは一例として、所定の特徴量の相関係数と、その特徴量から推定される心的状態とをそれぞれ段階的に区分けして、これらの区分けを互いに対応させている。また、図７（ｄ）のテーブルでは、推定された心的状態と、その心的状態を得るために必要なリズムの強度の指標である状態情報に対応させている。

図７（ｄ）の例では、相関係数ｒが０≦ｒ＜０．２の場合、心的状態ｍは０≦ｍ＜０．２であると推定される。さらに、一般的な参加者から０≦ｍ＜０．２の心的状態ｍを得るための状態情報ｉは１であると定義づけられている。また、相関係数ｒが０．６≦ｍ＜０．８の場合、心的状態ｍは０．６≦ｍ＜０．８であると推定される。さらに、一般的な参加者から０．６≦ｍ＜０．８の心的状態ｍを得るための状態情報ｉは４であると定義づけられている。

ただし、相関係数と心的状態とをどのように対応付けるかは図７（ｄ）の例に限らない。すなわち、例えば相関係数と心的状態とを比例関係で対応させてもよく、相関係数の累乗を心的状態と対応させてもよい。また、複数の相関関係を用いて、一次式、二次式、または更に高次の推定式により心的状態を推定してもよい。複数の相関関係を用いて１つの心的状態を推定する例としては、例えば運動の同調、及び音声の同調の結合により一体感という心的状態を推定するような場合がある。

上記のように、所定の特徴量の相関係数と、その特徴量から推定される心的状態とを対応させ、更に推定された心的状態をリズムの強度に換算した状態情報に対応させる演算は、情報処理装置２０内において、例えば解析部２０２が行ってもよい。あるいは、図７（ｄ）のような対応テーブルを上述の記憶部２０６に格納しておき、解析部２０２が、算出した所定の特徴量の相関係数から、これに対応する心的状態、及びその心的状態に対応する状態情報を、対応テーブルから導き出してもよい。

以上、解析部２０２は、個々の参加者の検知情報からコミュニケーション状態を可視化し、同町状態を相関係数として算出した後、演算により、あるいは記憶部２０６に格納された対応テーブルにより状態情報を算出する。

（刺激提供装置の構成例）
次に、図８を用いて、実施形態の刺激提供装置３０の詳細について説明する。図８は、実施形態にかかる刺激提供装置３０の機能構成の一例を示すブロック図である。

刺激提供装置３０は、例えば図示しないＣＰＵ、ＲＯＭ、及びＲＡＭ等を備えるコンピュータとして構成されており、上述の通り、例えば光源３１、音声出力装置３２、表示装置３３、及び振動装置３４（図１参照）の少なくともいずれかである。ＣＰＵが、ＲＯＭ等に格納された制御プログラムをＲＡＭに展開して実行することで、刺激提供装置３０の各種機能が実現される。

図８に示すように、刺激提供装置３０は、機能構成として、例えばリズム設定部３０１及びリズム出力部３０２を備える。

リズム設定部３０１は、所定の参加者に提供する感覚刺激のリズムを、情報処理装置２０から送出され、その参加者に対応する強度情報に基づく強度に設定する。

リズム出力部３０２は、情報処理装置２０からの強度情報に対応する参加者ＰＡに、上記設定強度のリズムを有する感覚刺激を提供する。上述の通り、感覚刺激および感覚刺激が有するリズムは、例えば光、音、映像、振動等の、ヒトが視覚、聴覚、体性感覚等によって知覚可能な刺激である。このようなリズムの強度は、リズムの周波数（波長）、振幅（強弱）、及び物理的な量の少なくともいずれかを異ならせることで調整可能である。

より詳細には、刺激提供装置３０が光源３１である場合、例えば光源３１が発する光を周期的に明滅させ、または光の波長、つまり色合いを周期的に変化させることで、感覚刺激である光がリズムを有することとなる。また、明滅させる光の波長、周期的に変化させる光の波長の組み合わせ、または光の強弱、つまり光の光量等を異ならせることにより、感覚刺激である光のリズムの強度を異ならせることができる。

明滅させる光の波長を変えることによってリズムの強度を異ならせる場合、視認性の高い色合いの光を用いることでリズムの強度を強めることができ、視認性の低い色合いの光を用いることでリズムの強度を弱めることができる。また、光の波長の組み合わせを変えることによってリズムの強度を異ならせる場合、コントラストの高い色の組み合わせとすることでリズムの強度を強めることができ、コントラストの低い色の組み合わせとすることでリズムの強度を弱めることができる。また、光量を変えることによってリズムの強度を異ならせる場合、光量を増やせばリズムの強度を強めることができ、光量を減らせばリズムの強度を弱めることができる。

また、刺激提供装置３０が音声出力装置３２である場合、音声出力装置３２が発する音の強弱または音階等を周期的に変化させることで、感覚刺激である音がリズムを有することとなる。また、全体的な音量もしくは音の強弱を異ならせたり、音の周波数、つまり音の高低を異ならせたりすることにより、感覚刺激である音のリズムの強度を異ならせることができる。

音量の変化によってリズムの強度を異ならせる場合、音量を増大させることでリズムの強度を強めることができ、音量を減少させることでリズムの強度を弱めることができる。音の強弱の変化によってリズムの強度を異ならせる場合、音の強弱の幅を広げることでリズムの強度を強めることができ、音の強弱の幅を狭めることでリズムの強度を弱めることができる。音の周波数の変化によってリズムの強度を異ならせる場合、知覚感度の高い音域の音を用いることでリズムの強度を強めることができ、知覚感度の低い音域の音を用いることでリズムの強度を弱めることができる。

また、刺激提供装置３０が表示装置３３である場合、他の参加者の表情もしくは動作を強調するアニメーション、または映像エフェクト等を周期的に変化させて表示装置３３に表示させることで、感覚刺激である映像がリズムを有することとなる。このとき、これらのアニメーション、または映像エフェクトを他の参加者を撮像した画像に重畳して表示させてもよい。あるいは、他の参加者を模した画像、またはロボット等に他の参加者の表情または動作を投影させてもよい。

他の参加者の表情を強調して表示する場合、例えば他の参加者が現在表している表情を文字、記号、または映像等で表してもよく、文字もしくは記号の大きさ、または映像の視認性等を異ならせることにより、感覚刺激である映像のリズムの強度を異ならせることができる。

他の参加者の動作を強調して表示する場合、例えば他の参加者が現在行っている動作を文字、記号、または映像等で表してもよく、文字もしくは記号の大きさ、または映像の視認性等を異ならせることにより、感覚刺激である映像のリズムの強度を異ならせることができる。

これらの文字、記号、または映像等により他の参加者の表情または動作を強調する場合、文字もしくは記号を大きく表示し、または視認性の高い映像を用いることで、リズムの強度を強めることができる。また、文字もしくは記号を小さく表示し、または視認性の低い映像を用いることで、リズムの強度を弱めることができる。

また、刺激提供装置３０が振動装置３４である場合、振動装置３４により周期的な振動を発生させることで、感覚刺激である振動がリズムを有することとなる。また、振動の強弱、つまり振幅を異ならせることにより、感覚刺激である振動のリズムの強度を異ならせることができる。つまり、振幅を大きくすることでリズムの強度を強めることができ、振幅を小さくすることでリズムの強度を弱めることができる。

上述のように、振動装置３４はキーボード、コントローラ、椅子、机等に内蔵され、振動装置３４からの振動は手指、皮膚等を通じて参加者ＰＡに提供される。

以上のように、感覚刺激によるリズム強度は、視覚的には、例えば輝度、大きさ、色情報、画像コントラスト等によって調整することが可能である。また、感覚刺激によるリズム強度は、聴覚的には、例えば音の大きさ若しくはボリューム等の音圧、ピッチ等の周波数によって調整することが可能である。また、感覚刺激によるリズム強度は、体性感覚として、例えば振動の振幅の大きさ、接触物の形状による接触面積の違い等によって調整することが可能である。

複数の参加者間での同調を促す手法について、更に体系的にまとめたものを図９に示す。図９は、実施形態にかかる刺激提供装置３０が提供する感覚刺激に関する体系的な説明図である。

図９に示すように、複数の参加者間での同調を促す場合には、例えば運動量、体動／ジェスチャ、表情、音声音圧、音声ピッチ、音声テンポ、心拍周期、呼吸周期などが同調の対象となり得る。また、これらの対象を同調させる際に利用可能な刺激には、例えば光の明滅、映像による動作の強調、文字情報もしくは記号の表示、音階、周期的な音、振動等がある。また、これらの刺激は、ヒトの五感のうち、主に視覚、聴覚、または体性感覚等によって知覚される。

ここで、運動量の同調とは、単位時間あたりの体動の量、または運動エネルギーの変動が複数の参加者間で同調することである。運動量を同調させる手法として、視覚的には光の明滅による興奮または覚醒状態の調整、他の参加者の動作を強調した表示等を行うことができる。光を明滅させる場合には、単一波長の光源を用いてもよいし、他の参加者を撮像した画像の一部に重畳してもよい。動作を強調する場合には、撮像された他の参加者の姿または動きに重畳された映像エフェクトを用いることができ、または、参加者を模した画像またはロボット等に参加者のジェスチャ等を投影してもよい。

また、体動／ジェスチャの同調とは、姿勢、または非言語的な情報を伝える体動／ジェスチャが複数の参加者間で同調することである。体動／ジェスチャを同調させる手法として、視覚的には光の明滅による興奮または覚醒状態の調整、他の参加者の体動／ジェスチャを強調した表示等を行うことができる。体動／ジェスチャを強調する場合には、撮像された他の参加者の姿または動きに重畳された映像エフェクトを用いることができ、または、参加者を模した画像またはロボット等に参加者の体動／ジェスチャ等を投影してもよい。

また、表情の同調とは、上述の顔の部位ごとの変化を表す特徴量から形成される、怒り、嫌悪、恐れ、喜び、悲しみ、驚き、中立などを表す表情が、複数の参加者間で同調することである。表情を同調させる手法としては、対象となる参加者の表情を強調して表示すること、現在の表情が何であるかを明示する文字情報／記号等を提示することができる。

また、音声音圧の同調とは、声の大きさである音声音圧が複数の参加者間で同調することである。音声音圧を同調させる手法としては、例えば複数の参加者の音声音圧を時系列データ等として比較可能に表示させることができる。このように、刺激提供装置３０は、周期信号以外の刺激であって、複数の参加者の同調を促す刺激を提供可能であってもよい。

また、音声ピッチの同調とは、音声の周波数であり声の高さを表す指標である音声ピッチが複数の参加者間で同調することである。音声ピッチを同調させる手法としては、例えば複数の参加者の音声ピッチを時系列データ等として比較可能に表示させることができる。あるいは、複数の参加者における音声ピッチの周波数の差から和音を算出し、特定の音階を有す音として提供してもよい。

また、音声テンポの同調とは、単位時間あたりの音節数であり、一般的には発話の早さを表す音声テンポが複数の参加者間で同調することである。音声テンポを同調させる手法としては、例えば特定の参加者の発話に同期した周期音を提供し、その後わずかに早めた周期音を提供することで、他の参加者による次の発話を早めることができる。また、特定の参加者の発話に同期した周期音の後、わずかに遅らせた周期音を提供することで、他の参加者による次の発話を遅らせることができる。

また、心拍周期の同調とは、心拍周期が複数の参加者間で同調することである。ここで、例えば心臓ペースメーカは非線形発振器として動作しており、外部からの一定周期の音刺激によって交感神経および副交感神経が制御され、或る範囲で心拍間隔が変化することが一般に知られている。したがって、心拍周期を同調させる手法としては、例えば特定の参加者の心拍周期に同期した周期音を提供することができる。

また、呼吸周期の同調とは、呼吸周期が複数の参加者間で同調することである。ここで、呼吸は、明滅する光信号によって引き込まれることが知られている。また、呼吸は、他者の大きな動きに同調することが知られている。したがって、呼吸周期を同調させる手法としては、例えば他の参加者の体動またはジェスチャを強調して表示することができる。

また、体性感覚で知覚可能な振動等は、上記に挙げた種々の手法における周期と同期させて提供するなど複合的に用いることができる。あるいは、運動量、体動／ジェスチャ、表情、音声音圧、音声ピッチ、音声テンポ、心拍周期、呼吸周期などの同期対象において強調したいポイントで振動を提供してもよい。

（情報処理システムの処理例）
次に、図１０を用いて、実施形態の情報処理システム１によるリズム提供処理の例について説明する。図１０は、実施形態にかかる情報処理システム１によるリズム提供処理の手順の一例を示すフロー図である。

図１０に示すように、情報処理装置２０の取得部２０４は、個々の参加者にそれぞれ割り当てられた入出力装置５０から送信レベル設定情報を取得する（ステップＳ１０１）。また、取得部２０４は、それぞれの入出力装置５０から受信レベル設定情報を取得する（ステップＳ１０２）。ただし、ステップＳ１０１，Ｓ１０２の処理は順不同である。ステップＳ１０１，Ｓ１０２の処理が並行して行われてもよい。

情報処理装置２０の調整部２０３は、所定の参加者から取得した受信レベル設定情報と、他の参加者から取得した送信レベル設定情報とに基づいて、その所定の参加者に対して刺激提供装置３０から提供させるリズムの強度を調整する（ステップＳ１０３）。また、調整部２０３は、調整したリズムの強度に基づいて、その所定の参加者に対応する強度情報を生成する（ステップＳ１０４）。ステップＳ１０３，Ｓ１０４の処理は、全ての参加者について行われる。これにより、参加者ごとに強度情報が生成される。

刺激提供装置３０のリズム設定部３０１は、情報処理装置２０の調整部２０３が生成した強度情報に基づいて、その強度情報に対応する参加者に提供するリズムの強度を設定する（ステップＳ１０５）。刺激提供装置３０のリズム出力部３０２は、所定の参加者向けに強度が設定されたリズムを有する感覚刺激をその参加者に提供する（ステップＳ１０６）。

ステップＳ１０５，Ｓ１０６の処理は、全ての参加者について行われる。これにより、参加者ごとに調整された強度のリズムを有する感覚刺激が、参加者ごとに提供され、これらの参加者に所定のリズムが共有される。

その後、オンラインコミュニケーションが終了すると（ステップＳ１０７：Ｎｏ）、情報処理システム１による処理が終了する。オンラインコミュニケーションが継続している場合（ステップＳ１０７：Ｙｅｓ）、情報処理装置２０の取得部２０４は、検知装置１０が個々の参加者のそれぞれについて検知した検知情報を取得する（ステップＳ１０８）。

情報処理装置２０の解析部２０２は、認識部２０１が認識した検知情報を計測し、またコミュニケーション状態を解析して、個々の参加者のそれぞれについて状態情報を生成する（ステップＳ１０９）。

情報処理装置２０の調整部２０３は、所定の参加者について生成済みの強度情報と、その参加者に関わる状態情報とを比較する（ステップＳ１１０）。また、調整部２０３は、強度情報と状態情報とが乖離しているか否かを判定する（ステップＳ１１１）。

強度情報と状態情報とが乖離していた場合（ステップＳ１１１：Ｙｅｓ）、調整部２０３は、状態情報に基づいて強度情報を補正し（ステップＳ１１２）、刺激提供装置３０に、補正した強度にリズムの強度を設定させ（ステップＳ１０５）、補正した強度のリズムを有する感覚刺激を提供させる（ステップＳ１０６）。

ステップＳ１０８～Ｓ１１１の処理は、全ての参加者について行われる。これにより、個々の参加者ごとに強度情報と状態情報との乖離の有無を判別することができる。そのうえで、強度情報と状態情報とに乖離が見られた全ての参加者に対して、ステップＳ１１２の補正処理が行われ、ステップＳ１０５，Ｓ１０６の処理により、強度補正された感覚刺激が、該当する参加者に対してフィードバックされる。

強度情報と状態情報とが乖離していなかった場合（ステップＳ１１１：Ｎｏ）、調整部２０３は、生成済みの強度情報を補正することなく、刺激提供装置３０に同じ強度のリズムを有する感覚刺激を提供させる（ステップＳ１０６）。

情報処理システム１は、オンラインコミュニケーションが終了するまで（ステップＳ１０７：Ｙｅｓ）、ステップＳ１０５～Ｓ１１２の処理を繰り返す。

以上により、実施形態の情報処理システム１によるリズム提供処理が終了する。

（概括）
オンラインシステムを用いた会議等のオンラインコミュニケーションにおいて、複数の参加者の言語／非言語情報を検知することで、これらの参加者の心的状態を可視化する技術が広く研究・開発されてきた。また、検知した情報に基づいて、これらの参加者へのフィードバックを行う手法が検討されてきている。これにより、例えばオンラインコミュニケーションの参加者にアンケート調査等を行うことなく参加者の心的状態を把握して、コミュニケーションの質を高めることができる。

上記手法においては、コミュニケーションの質を高めるため、これらの参加者における参加度が低いと判定された場合、共感度、一体感、合意度等の参加者の心的状態の評価結果、または、このような評価結果に基づくリズム等をリアルタイムにフィードバックする。

ここで、例えばオンライン会議等においては、特定の参加者の発話等によって一方通行の情報共有のみが行われる場面、複数の参加者が議論によって課題解決を目指す場面等、様々な場面が想定される。この場合、会議の主催者であっても単なる出席者であっても、参加者における参加度を高めて積極的な参加を促したいと感じるのは、複数の参加者が議論によって課題解決を目指す場面等であると考えられる。このように、オンライン会議等における場面ごとに参加度に対する参加者の意思には差異が生じうる。

また、通常、複数の参加者の全員が初対面であることは稀であり、少なくとも幾人かの参加者は、その場に参加する以前に何かしらの関係性を構築している場合が多い。この場合、これらの参加者間の関係性から、これらの参加者間には好意、嫌悪、信頼、影響等の様々な感情が生じている可能性がある。一般的には、好意を抱いている対象とのコミュニケーションには積極的に参加したいと考え、嫌悪を抱いている対象とのコミュニケーションには消極的でいたいと感じるはずである。このように、他の参加者との間で構築された関係によっても参加度に対する参加者の意思には差異が生じうる。

また、コミュニケーションの目的がどうであれ、他者とのコミュニケーションに積極的な人もいれば、消極的な人もいる。この場合にも、「積極的に参加している」と感じる基準には、複数の参加者間で個人差が生じうる。

以上のように、コミュニケーションにおける参加度および心的状態には、個人の意思の違い、及び個人の性格等による個人差が生じうる。本来はこう在りたいという意思、あるいは本来の自分に対して、求められる参加度および心的状態の差が大きくなるほど、参加者の心的資源が多く消費され、参加者が負担を負ってしまうことが考えられる。これまでの技術による介入方法では、本人ではない第三者が指定した状態へと強制的にフィードバックされることで、参加者が心的負担を負う可能性がある。

実施形態の情報処理装置２０によれば、受動的な参加者ＰＡに提供されるリズムの強度について、能動的な参加者ＦＡが設定した送信レベル設定情報と、参加者ＰＡ自身が設定した受信レベル設定情報とに基づいて、刺激提供装置３０によって参加者ＰＡに対して提供させるリズムの強度を調整し、調整したリズムの強度に関する強度情報を生成する。

このように、個々の参加者が、送信レベル設定として、他の参加者に提供されるリズムの強度を設定可能であることによって、例えば会議の主催者等である参加者が、より強く同調してほしいと思う参加者に、リズムの強度を強めた送信レベル設定を行うことなどが可能となる。これにより、例えば所望のコミュニケーション状態を誘起させることが容易となる。

また、個々の参加者が、受信レベル設定として、自分自身に提供されるリズムの強度を設定可能であることによって、例えば特定の参加者との同調を望まない場合等において、その参加者との同調度合いを弱めることができ、自身の心的負担を軽減することができる。また、そのとき議論になっている話題に興味がなかったり、他の参加者の中に苦手な相手がいて積極的に関わりたくなかったりする場合に、受信レベルの設定を下げて心的負担を軽減することができる。

また、送信レベル及び受信レベルは、オンラインコミュニケーションにおいて複数回に亘って設定可能である。したがって、例えば会議の主催者等である参加者が、情報共有のような場面では各参加者に対する送信レベルを低く設定して、他の参加者ではなく情報の方に集中してもらうように、個々の参加者を誘導することが容易になる。この場合、個々の参加者にとっても、他に注意資源を割く必要がなくなり、自分が興味を抱いている情報に集中することができるため、心的負担の低い好ましい状況が得られる。

一方で、議論による課題解決を目指すような場面では各参加者に対する送信レベルを高く設定して、一体感、共感、信頼感などを高めて議論を活性化させることができる。この場合、個々の参加者にとっても、他の参加者との一体感などを感じることで言いたいことが言えるようになったり、衝突することなく円滑に会話をすることができたりと、ストレスが低減する等の効果が生まれる。

このように、個々の参加者が任意に設定することができる送信レベル設定情報と受信レベル設定情報とに基づいて、オンラインコミュニケーションにおけるリズムの強度を調整することで、個々の参加者の意思を反映させて、個々の参加者の心的負担を軽減しつつコミュニケーションの質を高めることができる。

また、例えば能動的な参加者ＦＡが希望する参加度または同調度合いと、受動的な参加者ＰＡが希望する参加度または同調度合いとに乖離がある場合であっても、それを緩和してコミュニケーションを円滑に行うことができる。

このように、複数の参加者におけるオンラインコミュニケーションを支援することが可能である。

実施形態の情報処理装置２０によれば、リズムの周波数、振幅、及び物理的な量の少なくとも１つを調整することにより、リズムの強度を調整する。上記のように、リズムを提供することにより参加者間の同調を促す場合において、ヒトが知覚可能なリズムの振幅または物理量が大きいほど、強く同調を促すことができると考えられる。また、ヒトには同調しやすい周波数があり、その周波数に近づけていくほど強く同調を促すことができる。したがって、リズムの周波数、振幅、物理量等を調整することで、複数の参加者間の同調の度合いを調整して、所望のコミュニケーション状態を誘起させることができる。

実施形態の情報処理装置２０によれば、複数の参加者について検知装置１０が検知した検知情報であって、特定の参加者ＰＡに関わる検知情報を解析し、その参加者ＰＡのコミュニケーション状態を示す状態情報を生成し、生成した状態情報に基づいて、その参加者ＰＡに対して提供させるリズムの強度を調整する。

このように、リズムを提供される参加者ＰＡの、同調、共感、一体感等の複数の参加者ＦＡ，ＰＡ間の関係性に関わる心的状態を可視化し、また、その参加者ＰＡのコミュニケーションへの参加の意欲を定量化して把握することで、その参加者ＰＡにとって適正な強度のリズムをより高い精度に提供することが可能となる。また、その参加者ＰＡのコミュニケーション状態を目標とする状態に近づけることができる。

実施形態の情報処理装置２０によれば、検知装置１０が検知する検知情報は、複数の参加者の発する音声についての音声情報、複数の参加者を撮像した画像情報、及び複数の参加者の生体情報の少なくとも１つを含む。これらの音声情報、画像情報、及び生体情報からは、いずれも参加者個人の心的状態を推定することが可能である。したがって、これらの情報を用いることで、参加者の心的状態を高精度に解析することができる。

実施形態の情報処理システム１によれば、情報処理装置２０と、強度情報に基づく強度に設定したリズムを参加者ＰＡに提供する刺激提供装置３０と、複数の参加者について検知情報を検知する検知装置１０と、を備える。このように、これらの構成が１つのシステムに組み込まれることによって、高精度に低遅延で情報の送受信を行うことができ、また、システム全体を小型化することが可能である。

（変形例）
次に、図１１及び図１２を用いて、実施形態の変形例の情報処理システム２について説明する。変形例の情報処理システム２は、複数の参加者ＦＡ，ＰＡａ，ＰＡｂのうち、対面でコミュニケーションを行う幾人かの参加者ＰＡａ，ＰＡｂに対してもリズムを提供する点が上述の実施形態とは異なる。

以下の図面においては、上述の実施形態と同様の構成には同様の符号を付し、その説明を省略する。

図１１は、実施形態の変形例にかかる情報処理システム２を用いて、オンラインコミュニケーションに参加する複数の参加者ＦＡ，ＰＡａ，ＰＡｂの様子を示す図である。

図１１に示すように、複数の参加者ＦＡ，ＰＡａ，ＰＡｂのうち、第２の参加者としての参加者ＰＡａ，ＰＡｂは同室内等の物理的に近い位置にいて、オンラインを介さずに対面でコミュニケーションを行うことが可能である。参加者ＦＡと、参加者ＰＡａ，ＰＡｂとは、上述の実施形態の参加者ＦＡ，ＰＡと同様、オンラインを介してコミュニケーションを行う。

なお、対面でコミュニケーションを行う参加者ＰＡａ，ＰＡｂは２名に限られず、３名以上であってもよい。参加者ＦＡの側にも、対面でコミュニケーション可能な他の参加者ＦＡ，ＰＡが１名以上いてもよい。

ここで、参加者ＰＡａ，ＰＡｂの周囲には、撮像装置１１、バイタルセンサ１２ａ，１２ｂ、受音装置１３、視線検知装置１４ａ，１４ｂ、光源３１ａ，３１ｂ、音声出力装置３２ａ，３２ｂ、振動装置３４ａ，３４ｂ、表示装置３３ａ，３３ｂ，５２，５３、及び入力装置５１等が配置されている。

図１１の例では、これらの機器のうち、バイタルセンサ１２ａ、視線検知装置１４ａ、光源３１ａ、音声出力装置３２ａ、振動装置３４ａ、及び表示装置３３ａは、参加者ＰＡａ向けに配置されている。バイタルセンサ１２ｂ、視線検知装置１４ｂ、光源３１ｂ、音声出力装置３２ｂ、振動装置３４ｂ、及び表示装置３３ｂは、参加者ＰＡｂ向けに配置されている。

また、撮像装置１１、受音装置１３、表示装置５２，５３、及び入力装置５１は、参加者ＰＡａ，ＰＡｂ間で共有される。ただし、これらの撮像装置１１、受音装置１３、表示装置５２，５３、及び入力装置５１も、参加者ＰＡａ，ＰＡｂの人数分用意されていてもよい。

図１１の例のように、これらの機器のうち少なくとも、刺激提供装置３０の一例である光源３１ａ，３１ｂ、音声出力装置３２ａ，３２ｂ、振動装置３４ａ，３４ｂ、表示装置３３ａ，３３ｂは、参加者ＰＡａ，ＰＡｂの人数分用意されていることが好ましい。

なお、参加者ＦＡの周囲にも、上述の実施形態の参加者ＦＡと同様、撮像装置１１、バイタルセンサ１２、受音装置１３、視線検知装置１４、光源３１、音声出力装置３２、振動装置３４、表示装置３３，５２，５３、及び入力装置５１等が配置されているものとする。

撮像装置１１は、参加者ＰＡａ，ＰＡｂ間で共有され、参加者ＰＡａ，ＰＡｂを撮像する。バイタルセンサ１２ａは、参加者ＰＡａに装着され、参加者ＰＡａの心拍、呼吸、皮膚電位、体温、その他の情報を検知する。バイタルセンサ１２ｂは、参加者ＰＡｂに装着され、参加者ＰＡｂの心拍、呼吸、皮膚電位、体温、その他の情報を検知する。受音装置１３は、参加者ＰＡａ，ＰＡｂ間で共有され、参加者ＰＡａ，ＰＡｂの音声を受け取って電気信号に変換する。視線検知装置１４ａは、参加者ＰＡａの視線を検知する。視線検知装置１４ｂは、参加者ＰＡｂの視線を検知する。

光源３１ａは、所定のリズムで光を明滅させて、参加者ＰＡａ向けに調整された強度で、参加者ＰＡａにリズムを提供する。光源３１ｂは、所定のリズムで光を明滅させて、参加者ＰＡｂ向けに調整された強度で、参加者ＰＡｂにリズムを提供する。これらの光源３１ａ，３１ｂは、カバーで覆ったり、指向性の高い光源を用いたりするなどして、参加者ＰＡａ，ＰＡｂの一方向けのリズムが、参加者ＰＡａ，ＰＡｂの他方に提供されないように構成されていることが望ましい。

音声出力装置３２ａは、所定のリズムで音を発して、参加者ＰＡａ向けに調整された強度で、参加者ＰＡａにリズムを提供する。音声出力装置３２ｂは、所定のリズムで音を発して、参加者ＰＡｂ向けに調整された強度で、参加者ＰＡｂにリズムを提供する。これらの音声出力装置３２ａ，３２ｂは、防音カバーで覆ったり、指向性の高い音源を用いたりするなどして、参加者ＰＡａ，ＰＡｂの一方向けのリズムが、参加者ＰＡａ，ＰＡｂの他方に提供されないように構成されていることが望ましい。

表示装置３３ａは、所定のリズムで動的に変化するアニメーション、映像エフェクト等を表示して、参加者ＰＡａ向けに調整された強度で、参加者ＰＡａにリズムを提供する。表示装置３３ｂは、所定のリズムで動的に変化するアニメーション、映像エフェクト等を表示して、参加者ＰＡｂ向けに調整された強度で、参加者ＰＡｂにリズムを提供する。これらの表示装置３３ａ，３３ｂは、カバーで覆ったり、タブレット等の形態端末のモニタを用いたりするなどして、参加者ＰＡａ，ＰＡｂの一方向けのリズムが、参加者ＰＡａ，ＰＡｂの他方に提供されないように構成されていることが望ましい。

振動装置３４ａは、所定のリズムで振動することで、参加者ＰＡａの手指等に振動を伝えて、参加者ＰＡａ向けに調整された強度で、参加者ＰＡａにリズムを提供する。振動装置３４ｂは、所定のリズムで振動することで、参加者ＰＡｂの手指等に振動を伝えて、参加者ＰＡｂ向けに調整された強度で、参加者ＰＡｂにリズムを提供する。

これらの振動装置３４ａ，３４ｂも、実施形態の振動装置３４と同様、参加者ＰＡａ，ＰＡｂが操作したり触れたりするキーボード等の入力装置、コントローラ、椅子、または机等の形態を備えていてもよいが、参加者ＰＡａ，ＰＡｂの一方向けのリズムが、参加者ＰＡａ，ＰＡｂの他方に提供されないよう、参加者ＰＡａ，ＰＡｂ間で共有される物品以外の形態を取ることが望ましい。

入力装置５１及び表示装置５２，５３は、参加者ＰＡａ，ＰＡｂ間で共有されるＰＣ等の端末の一部を構成していてもよい。参加者ＰＡａ，ＰＡｂは、ローカルのＰＣ等を共有しつつ、このＰＣから送信レベル設定情報および受信レベル設定情報をそれぞれ入力することができる。ただし、入力装置５１及び表示装置５２，５３が携帯端末等として構成されるなどして、上述したように、それぞれの参加者ＰＡａ，ＰＡｂの人数分用意されていてもよい。

図１２は、実施形態の変形例にかかる情報処理システム２の概略構成の一例を示す模式図である。

図１２に示すように、変形例の情報処理システム２は、検知装置１０、情報処理装置１２０、刺激提供装置３０、及び入出力装置５０を備える。なお、図１２においては、これらの検知装置１０、情報処理装置１２０、刺激提供装置３０、及び入出力装置５０の主な構成の一部を示している。

参加者ＦＡは、入出力装置５０（ＦＡ）を用いてそれぞれの参加者ＰＡａ，ＰＡｂについて送信レベル設定を入力し、情報処理装置１２０は、入出力装置５０（ＦＡ）から送信レベル設定情報ＩＮＦ４１Ｆを取得する。

参加者ＰＡａ，ＰＡｂは、入出力装置５０（ＰＡ）を用いて参加者ＰＡａ，ＰＡｂについて受信レベル設定をそれぞれ入力し、情報処理装置１２０は、入出力装置５０（ＰＡ）から受信レベル設定情報ＩＮＦ４１Ｐを取得する。

検知装置１０は、例えば撮像装置１１、バイタルセンサ１２、受音装置１３、及び視線検知装置１４の少なくともいずれかであって、これらのうち、例えば撮像装置１１及び受音装置１３は参加者ＰＡａ，ＰＡｂ間で共有されている。

情報処理装置１２０は、認識部２２１、解析部２０２、調整部２０３、及び対象分別部２２７を備える。

認識部２２１は、上述の実施形態の認識部２０１の構成に加えて、顔認証部２１７及び参加者識別部２１８を備える。

顔認証部２１７は、例えば撮像装置１１が撮像した画像から、参加者ＰＡａ，ＰＡｂについて、怒り、嫌悪、恐れ、喜び、悲しみ、驚き、中立などの表情を形成する顔の部位ごとの変化を特徴量として抽出する。

参加者識別部２１８は、顔認証部２１７が抽出した特徴量に基づいて、例えば撮像装置１１が撮像した同一画像内に含まれる参加者ＰＡａ，ＰＡｂのそれぞれを識別する。このとき、参加者ＰＡａ，ＰＡｂのそれぞれの特徴量を、予めデータベース化して情報処理装置１２０に組み込んでおき、参加者識別部２１８がそのデータベースを参照して参加者ＰＡａ，ＰＡｂを識別してもよい。あるいは、機械学習等によって、参加者識別部２１８に参加者ＰＡａ，ＰＡｂの特徴量等を予め学習させておいてもよい。

また、参加者識別部２１８が、認識部２２１の他の構成が認識した他の特徴量等に基づいて参加者ＰＡａ，ＰＡｂを識別してもよい。一例として、参加者識別部２１８は、音声認識部２１５が抽出した特徴量に基づいて、例えば１つの受音装置１３によって同時に受音された参加者ＰＡａ，ＰＡｂのそれぞれの音声を識別してもよい。

参加者識別部２１８に参加者ＰＡａ，ＰＡｂの音声を識別させる場合、参加者ＰＡａ，ＰＡｂのそれぞれの音声の特徴量を、予めデータベース化して情報処理装置１２０に組み込んでおき、参加者識別部２１８がそのデータベースを参照して参加者ＰＡａ，ＰＡｂの音声を識別してもよい。あるいは、機械学習等によって、参加者識別部２１８に参加者ＰＡａ，ＰＡｂの音声の特徴量等を予め学習させておいてもよい。

また、参加者識別部２１８は、音声認識部２１５または運動認識部２１２等が認識した参加者ＰＡａ，ＰＡｂの発話または運動と、顔認証部２１７が認識した参加者ＰＡａ，ＰＡｂの表情変化とのタイミングの一致度等から、撮像装置１１が撮像した参加者ＰＡａ，ＰＡｂ、及び、受音装置１３が受音した参加者ＰＡａ，ＰＡｂの音声を、総合的に識別することが可能であってもよい。

上記以外にも、検知装置１０の中で参加者ＰＡａ，ＰＡｂ間で共有されているものがあれば、参加者識別部２１８が、これらの参加者ＰＡａ，ＰＡｂに関する検知情報を識別可能であってよい。参加者識別部２１８は、これらの識別結果を示す識別情報を生成する。

解析部２０２は、上述したように、認識部２０１が認識した各種情報に基づいて、複数の参加者それぞれのコミュニケーション状態を解析する。

このとき、例えば撮像装置１１及び受音装置１３のように、一部の検知装置１０が参加者ＰＡａ，ＰＡｂ間で共有されている場合には、解析部２０２は、参加者識別部２１８が、これらの検知情報を参加者ＰＡａ，ＰＡｂごとに識別した識別情報を参照する。これにより、解析部２０２は、個々の参加者ＦＡ，ＰＡａ，ＰＡｂについて、それぞれコミュニケーション状態を解析し、個々の参加者ＦＡ，ＰＡａ，ＰＡｂの心的状態を推定した状態情報ＩＮＦ４２を生成することができる。

調整部２０３は、上述したように、送信レベル設定情報ＩＮＦ４１Ｆ及び受信レベル設定情報ＩＮＦ４１Ｐ、並びに状態情報ＩＮＦ４２に基づいて、参加者ＰＡａ，ＰＡｂごとにリズムの強度が調整された強度情報ＩＮＦ４３を生成する。参加者ＰＡａ，ＰＡｂごとに生成された強度情報ＩＮＦ４３は、参加者ＰＡａ，ＰＡｂそれぞれの刺激提供装置３０に送出される。

対象分別部２２７は、参加者識別部２１８が生成した識別情報に基づいて、調整部２０３が生成した強度情報ＩＮＦ４３の送出先を分別する。これにより、参加者ＰＡａ向けに調整された強度情報ＩＮＦ４３は、参加者ＰＡａに感覚刺激ＳＴＭを提供する刺激提供装置３０に送出される。また、参加者ＰＡｂ向けに調整された強度情報ＩＮＦ４３は、参加者ＰＡｂに感覚刺激ＳＴＭを提供する刺激提供装置３０に送出される。

なお、変形例の情報処理装置１２０も、上述の実施形態の情報処理装置２０と同様、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、通信Ｉ／Ｆ、及び記憶装置等を備えるコンピュータ等として構成されている。情報処理装置１２０の認識部２２１、解析部２０２、調整部２０３、及び対象分別部２２７は、例えばリズム提供プログラムを実行するＣＰＵにより実現される。情報処理装置１２０がこのほか、上述の実施形態の情報処理装置２０と同様、取得部、送出部、及び記憶部を備えていてもよい。

変形例の情報処理装置１２０によれば、オンラインを介さずに対面でコミュニケーションを行う複数の参加者ＰＡａ，ＰＡｂのそれぞれから受信レベル設定情報を取得し、複数の参加者ＰＡａ，ＰＡｂに対して提供させるリズムの強度をそれぞれ調整する。

これにより、それぞれの参加者ＰＡａ，ＰＡｂの希望する強度に応じて、それぞれの参加者ＰＡａ，ＰＡｂに対して適正に設定された強度でリズムを提供できる。よって、それぞれの参加者ＰＡａ，ＰＡｂの心的負担を低減してコミュニケーションを円滑にすることができる。

（付記）
以下、本発明の好ましい態様について付記する。

（付記１）
本発明の一態様によれば、
第１の参加者と第２の参加者とを含む複数の参加者の間で行われるオンラインコミュニケーションにおいて、前記複数の参加者の間で共有されるリズムを提供するリズム提供装置によって、前記複数の参加者に対して前記リズムを提供させる情報処理装置であって、
前記第２の参加者に提供される前記リズムの強度について前記第１の参加者が設定した第１の設定情報、及び前記第２の参加者に提供される前記リズムの強度について前記第２の参加者が設定した第２の設定情報を取得する取得部と、
前記第１及び第２の設定情報に基づいて、前記第２の参加者に対して提供させる前記リズムの強度を調整し、調整した前記リズムの強度に関する強度情報を生成する調整部と、を備える、
情報処理装置が提供される。

（付記２）
上記の付記１の情報処理装置において、
前記第２の参加者は、
オンラインを介さずに対面でコミュニケーションを行う複数の第２の参加者を含み、
前記取得部は、
前記複数の第２の参加者のそれぞれから前記第２の設定情報を取得し、
前記調整部は、
前記複数の第２の参加者に対して提供させる前記リズムの強度をそれぞれ調整する。

（付記３）
上記の付記１または付記２の情報処理装置において、
前記調整部は、
前記リズムの周波数、振幅、及び物理的な量の少なくとも１つを調整することにより前
記リズムの強度を調整する。

（付記４）
上記の付記１乃至付記３のいずれか１つの情報処理装置において、
前記調整部は、
前記第１及び第２の設定情報とともに、前記複数の参加者について検知装置が検知した
検知情報であって前記第２の参加者に関わる検知情報に基づいて、前記第２の参加者に対
して提供させる前記リズムの強度を調整する。

（付記５）
上記の付記４の情報処理装置において、
前記第２の参加者に関わる前記検知情報を解析し、前記第２の参加者のコミュニケーシ
ョン状態を示す状態情報を生成する解析部を更に備え、
前記調整部は、
前記第１及び第２の設定情報とともに、前記状態情報に基づいて前記第２の参加者に対
して提供させる前記リズムの強度を調整する。

（付記６）
上記の付記４または付記５の情報処理装置において、
前記検知装置が検知する前記検知情報は、
前記複数の参加者の発する音声についての音声情報、前記複数の参加者を撮像した画像
情報、及び前記複数の参加者の生体情報の少なくとも１つを含む。

以上、実施形態について説明したが、その各部の具体的な構成、処理の内容等は、実施
形態で説明したものに限るものではない。

１，２ 情報処理システム
１０ 検知装置
２０，１２０ 情報処理装置
２２ｐ リズム提供プログラム
３０ 刺激提供装置
５０ 入出力装置
２０１，２２１ 認識部
２０２ 解析部
２０３ 調整部
２０４ 取得部
２０５ 送出部
２０６ 記憶部
２２７ 対象分別部
３０１ リズム設定部
３０２ リズム出力部
５０１ 送信レベル設定部
５０２ 受信レベル設定部
ＩＮＦ４１Ｆ 送信レベル設定情報
ＩＮＦ４１Ｐ 受信レベル設定情報
ＩＮＦ４２ 状態情報
ＩＮＦ４３ 強度情報
ＳＴＭ 感覚刺激

国際公開第２０１８／１７４０８８号 特開２０２０－１１３１９７号公報 特許第６８６６８６０号公報

Claims (12)

1. 第１の参加者と第２の参加者とを含む複数の参加者の間で行われるオンラインコミュニケーションにおいて、前記複数の参加者の間で共有されるリズムを提供するリズム提供装置によって、前記複数の参加者に対して前記リズムを提供させる情報処理装置であって、
   前記第２の参加者に提供される前記リズムの強度について前記第１の参加者が設定した第１の設定情報、及び前記第２の参加者に提供される前記リズムの強度について前記第２の参加者が設定した第２の設定情報を取得する取得部と、
   前記第１及び第２の設定情報に基づいて、前記第２の参加者に対して提供させる前記リズムの強度を調整し、調整した前記リズムの強度に関する強度情報を生成する調整部と、を備える、
   情報処理装置。
2. 前記第２の参加者は、
   オンラインを介さずに対面でコミュニケーションを行う複数の第２の参加者を含み、
   前記取得部は、
   前記複数の第２の参加者のそれぞれから前記第２の設定情報を取得し、
   前記調整部は、
   前記複数の第２の参加者に対して提供させる前記リズムの強度をそれぞれ調整する、
   請求項１に記載の情報処理装置。
3. 前記調整部は、
   前記リズムの周波数、振幅、及び物理的な量の少なくとも１つを調整することにより前記リズムの強度を調整する、
   請求項１に記載の情報処理装置。
4. 前記調整部は、
   前記第１及び第２の設定情報とともに、前記複数の参加者について検知装置が検知した検知情報であって前記第２の参加者に関わる検知情報に基づいて、前記第２の参加者に対して提供させる前記リズムの強度を調整する、
   請求項１に記載の情報処理装置。
5. 前記第２の参加者に関わる前記検知情報を解析し、前記第２の参加者のコミュニケーション状態を示す状態情報を生成する解析部を更に備え、
   前記調整部は、
   前記第１及び第２の設定情報とともに、前記状態情報に基づいて前記第２の参加者に対して提供させる前記リズムの強度を調整する、
   請求項４に記載の情報処理装置。
6. 前記検知装置が検知する前記検知情報は、
   前記複数の参加者の発する音声についての音声情報、前記複数の参加者を撮像した画像情報、及び前記複数の参加者の生体情報の少なくとも１つを含む、
   請求項４に記載の情報処理装置。
7. 請求項１乃至請求項６のいずれか１項に記載の情報処理装置と、
   前記リズム提供装置と、を備え、
   前記リズム提供装置は、
   前記強度情報に基づく強度に前記リズムを設定するリズム設定部と、
   前記強度が設定された前記リズムを前記第２の参加者に出力するリズム出力部と、を有する、
   情報処理システム。
8. 請求項４乃至請求項６のいずれか１項に記載の情報処理装置と、
   前記強度情報に基づく強度に設定した前記リズムを前記第２の参加者に提供する前記リズム提供装置と、
   前記複数の参加者について前記検知情報を検知する前記検知装置と、を備える、
   情報処理システム。
9. 請求項１乃至請求項６のいずれか１項に記載の情報処理装置と、
   前記リズム提供装置と、を備え、前記複数の参加者の間で行われる前記オンラインコミュニケーションを支援する支援システムであって、
   前記リズム提供装置は、
   前記強度情報に基づく強度に前記リズムを設定するリズム設定部と、
   前記強度が設定された前記リズムを前記第２の参加者に出力するリズム出力部と、を有する、
   支援システム。
10. 請求項４乃至請求項６のいずれか１項に記載の情報処理装置と、
    前記強度情報に基づく強度に設定した前記リズムを前記第２の参加者に提供する前記リズム提供装置と、
    前記複数の参加者について前記検知情報を検知する前記検知装置と、を備え、前記複数の参加者の間で行われる前記オンラインコミュニケーションを支援する、
    支援システム。
11. 第１の参加者と第２の参加者とを含む複数の参加者の間で行われるオンラインコミュニケーションにおいて、前記複数の参加者の間で共有されるリズムを提供するリズム提供装置によって、前記複数の参加者に前記リズムを提供する方法であって、
    前記第２の参加者に提供する前記リズムの強度について前記第１の参加者が設定した第１の設定情報、及び前記第２の参加者に提供する前記リズムの強度について前記第２の参加者が設定した第２の設定情報を取得し、
    前記第１及び第２の設定情報に基づいて、前記第２の参加者に提供する前記リズムの強度を調整し、調整した前記リズムの強度に関する強度情報を生成する、
    方法。
12. コンピュータに、
    第１の参加者と第２の参加者とを含む複数の参加者の間で行われるオンラインコミュニケーションにおいて、前記複数の参加者の間で共有されるリズムを提供するリズム提供装置によって、前記複数の参加者に対して前記リズムを提供させるプログラムであって、
    前記第２の参加者に提供される前記リズムの強度について前記第１の参加者が設定した第１の設定情報、及び前記第２の参加者に提供される前記リズムの強度について前記第２の参加者が設定した第２の設定情報を取得させ、
    前記第１及び第２の設定情報に基づいて、前記第２の参加者に対して提供させる前記リズムの強度を調整し、調整した前記リズムの強度に関する強度情報を生成させる、
    プログラム。

Images