JP2019087257A - 社会的交流をガイドするためのシステムおよび方法 - Google Patents

Abstract

【課題】社会的交流をガイドするためのシステムおよび方法を提供する。【解決手段】社会的キューを解釈し、そのような分析を使用して推奨される反応を提示することによって社会的交流を改善するための社会的交流システムおよびその動作が、提供される。社会的交流システムは、社会的交流の最中に環境内の１名以上の個人の社会的インジケータデータを取得するための１つ以上のセンサを含み、社会的インジケータデータは、１名以上の個人の振る舞いに関する。さらに、社会的交流システムは、社会的インジケータデータを使用して１名以上の個人の社会的状態を判定し、社会的状態の分析に基づいて社会的交流に対する個人の最適な社会的反応を決定するように構成された処理システムを含む。社会的交流システムは、個人に最適な社会的反応を示すフィードバックシステムをさらに含む。【選択図】図１

Description

本発明の実施形態は、広くには、社会的交流（ｓｏｃｉａｌ ｉｎｔｅｒａｃｔｉｏｎ）の解釈および分析に関し、より詳細には、社会的キュー（ｓｏｃｉａｌ ｃｕｅ）を解釈し、そのような分析を使用して推奨される反応を提示することによって社会的交流を改善するための方法および装置に関する。

一般的な社会的キューを認識する個人の能力が、有効かつ有意義なやり方で他者と関わり、相互に交流するための礎石であると理解される。しかしながら、さまざまな理由で、多くの状況において、コミュニケーションを行う個人の間の差異（例えば、文化の違い）によるものであっても、あるいは個人のうちの１名の状態によるものであっても、社会的キューを認識するための個人の能力が妨げられ、あるいはより困難になる可能性があることが知られている。

社会的キューを認識するための能力の主な例は、自閉症スペクトラム障害（ＡＳＤ）を抱える人々に関する。すなわち、ＡＳＤを抱える一部の人々においては、表情および身体表現の背後にある社会的意味を読み取ることができないなど、社会的交流の際に他者が示す社会的キューを認識することが困難であり、したがって、そのような人々は、他者との社会的な交流において困難を抱える可能性がある。社会的キューを認識しない個人は、キューに適切に反応できない可能性が高く、これは、社会的交流に悪影響を及ぼしかねない。

ＡＳＤを抱える個人のための重要な対処の機構として、社会的状況に適切に反応できるよう、一般的な社会的キューを認識する学習が含まれる。例えば、高機能の自閉症者は、社会的交流の際に語られた冗談を認識することを学んでいるかもしれない。彼は、その冗談を面白いと思わないかもしれないが、社会的礼儀として多くの場合に冗談に反応して笑うことが必要であることを学んでいる。高機能の自閉症者にとって、このような社会的交流に関する対処の機構を作り上げるときに、社会的キューを特定する支援が有益となり得る。

ＡＳＤを抱える一部の個人は、さまざまな対処のやり方を学習できるが、ＡＳＤを抱える他の個人は、特定の社会的キューを認識する先天的な能力を欠いている。例えば、ＡＳＤを抱える一部の個人においては、パラ言語のキューの認識が困難である一方で、他の者においては、表情または身体表現の識別が困難である可能性がある。特定の社会的キューを認識する先天的な能力が欠けている場合、個人は、そのキューに関する対処のやり方を作り上げることができないかもしれない。特定の社会的キューを認識する先天的な能力を欠いている個人にとって、社会的交流の際の社会的キューを特定する支援が、有益となり得る。

多くの個人は、一般的な社会的キューを認識することができるが、微妙な社会的キューまたは異文化からの社会的キューを特定する支援を使用することができる。例えば、個人が、多数の人々との社会的交流に関係しているが、或る人物からの重要な社会的キューを、他者に注意を集中させている場合に認識し損ねる可能性がある。さらに、或る者が、外国文化の人々との社会的交流に携わり、その文化の一般的な社会的キューを理解できない可能性がある。社会的キューの特定を支援することで、それらのキューへの個人の適切な反応を手助けし、社会的交流を改善することができる。

したがって、社会的交流を改善するための装置および方法を設計することが、望ましいと考えられる。

本発明は、社会的キューを解釈し、そのような分析を使用して推奨される反応を提示することによって、社会的交流を改善するための方法および装置に関する。

本発明の一態様によれば、社会的交流システムが、社会的交流の最中に環境内の１名以上の個人の社会的インジケータデータを取得するための１つ以上のセンサを含み、社会的インジケータデータは、１名以上の個人の振る舞いに関する。さらに、社会的交流システムは、社会的インジケータデータを使用して１名以上の個人の社会的状態（ｓｏｃｉａｌ ｓｔａｔｅ）を判定し、社会的状態の分析に基づいて社会的交流に対する個人の最適な社会的反応を決定するように構成された処理システムを含む。社会的交流システムは、個人に最適な社会的反応を示すためのフィードバックシステムをさらに含む。

本発明の別の態様によれば、社会的交流においてユーザを支援するシステムが、１名以上の個人の社会的表出（ｓｏｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ）を表すデータを取得する１つ以上のセンサと、社会的表出データから社会的キューを抽出し、１名以上の個人と社会的に交流するユーザを支援するために社会的キューに基づいて社会的反応を決定するようにプログラムされた処理システムとを含み、社会的反応は、社会的帰結（ｓｏｃｉａｌ ｏｕｔｃｏｍｅ）に基づく所定のポリシーを適用することによって決定される。さらに、システムは、社会的反応をユーザへと示すフィードバックシステムを含む。

本発明のさらに別の態様によれば、社会的帰結を最適化するためのコンピュータプログラムを保存した非一時的なコンピュータ可読記憶媒体が開示され、コンピュータプログラムは、プロセッサによって実行されたときに、１つ以上のセンサを使用して社会的交流に関与する１名以上の人物のデータを取得すること、このデータを使用して社会的交流からの社会的キューを抽出すること、社会的交流に関与する１名以上の人物の社会的キューに基づいて社会的状態を推定すること、および社会的帰結に基づいて推奨される行動を最適化するポリシーを使用して、社会的状態を社会的交流に関係する個人の推奨される行動へとマッピングすることを、プロセッサに実行させるインストラクションを含んでいる。

種々の他の特徴および利点が、以下の詳細な説明および図面から明らかになるであろう。

図面は、本発明の実施について現時点で考えられる好ましい実施形態を示す。

壁に取り付けられたセンサを有する本発明の一実施形態による社会的交流システムの絵画図である。 個人によって着用された本発明の一実施形態による社会的交流システムの絵画図である。 個人の社会的交流を支援するために社会的交流システムによって実行される本発明の一実施形態による技術を説明するフロー図である。

本発明の動作の環境が、社会的交流を改善するために個人によって使用される社会的交流システムに関して説明される。しかしながら、本発明が、社会的交流に関連する情報を求める他の人々による使用にも等しく適用可能であることを、当業者であれば理解できるであろう。さらに、本発明は、着用可能な社会的交流システムまたは着用ではない社会的交流システムに関して説明される。しかしながら、当業者であれば、本発明が着用可能なシステムおよび着用ではないシステムの両方からの構成要素を含む社会的交流システムに等しく適用可能であることを、さらに理解できるであろう。

図１を参照すると、社会的交流において個人を支援するための本発明の実施形態による社会的交流システム１０が示されている。社会的交流システム１０は、好ましくは、１つ以上のセンサ１２を使用して、社会的交流の最中に環境１６における１名以上の個人１４の社会的インジケータデータを取得する。１つ以上のセンサ１２は、１名以上の個人１４の振る舞いに関する社会的インジケータデータを取得するための音響センサ１８、視覚センサ２０、生理学的センサ、または任意の他のセンサを含むことができる。社会的インジケータデータを、社会的交流に関与する個人１４または個人のグループからの視覚的、聴覚的、または生理学的なキューを解釈するために使用することができる。社会的交流システム１０は、社会的キューを自動的に解釈することによって、個人の社会的交流への参加を支援することができ、キューに関するフィードバックをリアルタイムで個人へと提供することができる。例えば、社会的交流システム１０を、ＡＳＤを抱える個人のために、自立への移行を促進するように仕立てることが可能である。

一実施形態において、センサ１２は、好ましくは、社会的交流システム１０がセンサを備えていない１名以上の個人１４から社会的インジケータデータを取得するように、非侵襲の離れたセンサ２２である。センサ１２を、環境１６の任意の適切な場所に設置することができ、壁、天井、床、ドア、窓、家具、などに取り付けることができる。設置される環境１６は、システムのユーザが改善しようとする種類の社会的交流が頻繁に行われる施設内の部屋であってよい。例えば、介護付きの生活施設の教室または共用領域が、それらの施設において生じる一般的な社会的交流からの社会的キューを取得するために、マイクロフォン２４およびカメラ２６を備えることができる。他の実施形態において、社会的交流システム１０は、センサを備えた１名以上の個人１４から社会的インジケータデータを取得する。

センサ１２は、図１において、ビデオ、静止画像、または両方を取得することができるカメラ２６として示されている。環境１６は、複数の角度からの観察および環境１６内のすべての人物１４のより容易な観察のために、複数のカメラ２６を備えることができる。一実施形態においては、現場が、最大６人またはそれ以上のグループの複数の人物を観察することができる複数のカメラ２６を備えることができる。カメラ２６は、観察対象のすべての個人１４の高解像度画像の取得を担当するパンチルトズーム（ＰＴＺ）カメラ２７を含むことができる。カメラ２６は、環境１６内の人々１４から音響データを取得するためのマイクロフォン２４を備えることができる。

センサ１２を、処理システム２８へとデータを送信するように通信可能に接続することができる。図１の実施形態は、データをクラウドベースのコンピューティングシステム３０へと送信するように接続されたセンサ１２を示している。さらに、図１の実施形態は、センサ１２を備える環境１６内に配置されたコンピューティングデバイス３２へとデータを送信するように接続されたセンサ１２を示している。しかしながら、センサ１２を、コンピューティングデバイス３２およびクラウドベースのコンピューティングシステム３０のうちの１つだけ、あるいは別のコンピューティングシステムと、データの送信または受信を行うように接続してもよい。クラウドベースのコンピューティングシステム３０またはコンピューティングデバイス３２のいずれかを、予めプログラムされた間隔（例えば、１秒、１０秒、３０秒、１分、１０分、１時間、または１日ごと）でカメラ２６からデータを受信するようにプログラムすることができ、あるいはリアルタイムまたはほぼリアルタイムでセンサ１２からデータを受信するようにプログラムすることができる。

クラウドベースのコンピューティングシステム３０は、１つ以上のサーバ３４と、サーバの外部に位置する１つ以上のデータベース３６とを含むことができる。各々のサーバ３４は、１つ以上のプロセッサ３８および１つ以上のメモリ４０を含むことができる。社会的インジケータデータを、１つ以上のサーバ３４によって受信し、１つ以上のメモリ４０または１つ以上のデータベース３６に保存することができる。さらに、各々のサーバ３４は、サーバ３４、データベース３６、コンピューティングデバイス３２、および／またはセンサ１２の間の有線または無線の通信を容易にするための通信コンポーネント４２を有することができる。サーバ３４は、タスクをより効率的な実行のためにお互いの間で分散させるために、互いに通信することができる。

プロセッサ３８は、コンピュータ実行可能コードを実行することができる１つ以上のコンピュータプロセッサまたはマイクロプロセッサであってよい。コンピュータ実行可能コードを、本明細書に開示の技術を実行するためにプロセッサ３８によって使用され得るプロセッサ実行可能コードを保存することができる任意の適切な非一時的媒体を備えることができるメモリ４０に保存することができる。メモリ４０は、プロセッサ実行可能コード、データ、データの分析結果、などを保存することができる任意の適切な種類のコンピュータ可読媒体であってよい。データベース３６も、プロセッサ実行可能コード、データ、データの分析結果、などを保存することができるコンピュータ可読の非一時的な記憶媒体であってよい。メモリ４０および／またはデータベース３６は、振る舞いの認識分析を実行するためにプロセッサ３８によって使用される認知モデルを保存することができる。センサ１２から受信したデータまたはプロセッサ３８によって処理されたデータの履歴を、メモリ４０またはデータベース３６に保存することができる。

プロセッサ３８は、一般に、センサ１２からのデータを使用して、１名以上の個人１４からの振る舞いを分析する。プロセッサ３８のユニットを、センサ１２を使用して社会的信号を自動的に検出し、さまざまな社会分析を使用して社会的交流の社会的キューを抽出するようにプログラムすることができる。例えば、プロセッサ３８は、社会的交流に関連するセンサ１２からの信号を取得し、そのデータを使用して、交流に関与する人々１４からの視覚的なキューおよび可聴のキューを抽出することができる。プロセッサ３８は、社会的インジケータデータを処理するためにメモリ４０に保存された種々のアプリケーションを実行することができ、プロセッサ３８を、状況認識方法における最新の進歩で更新することができる。プロセッサ３８は、社会的インジケータデータの分析結果をメモリ４０上、データベース３６上に保存することができ、さらには／あるいは分析結果をコンピューティングデバイス３２へと出力することができる。

センサ１２によって取得された音声信号を分析し、皮肉、あえぎ、笑い、または他の可聴のキューなどの意味的に重要な表出およびパラ言語のキューを抽出することができる。社会的交流システム１０は、自然言語処理を使用して、センサ１２によって捕捉された言葉でのキューを抽出することができる。ボイス・トゥ・テキストを使用して、意味的に重要な表出、発声、単語、フレーズ、または他の言葉でのキューを検出することができる。センサ１２によって取得された音声信号に機械学習を適用し、皮肉、あえぎ、笑い、および他の可聴のキューを含むパラ言語のキューを計算することができる。一実施形態において、社会的交流システム１０は、音声認識を実行するためにプロセッサ３８を使用して個人１４の振る舞いを分析する。

センサ１２によって取得された視覚信号を分析して、個人１４の表情、注視方向、身体の動き、身体のジェスチャ、身体の姿勢、および／または位置を含む視覚的なキュー、あるいは他の視覚的なキューを抽出することができる。社会的交流システム１０は、社会的交流からの視覚的なキューを解釈するために、コンピュータビジョン（ＣＶ）技術４４を使用することができる。コンピュータビジョン技術４４は、社会的交流からの視覚信号を表すデータを取得し、このデータを処理して視覚的なキューを抽出するための１つ以上のカメラ２６を含む。例えば、マサチューセッツ州ボストンのＧｅｎｅｒａｌ Ｅｌｅｃｔｒｉｃ Ｃｏｒｐ．のＧＥ Ｓｈｅｒｌｏｃｋシステムを使用して、個人１４または個人のグループからの視覚信号または他の社会的信号を分析することができる。

プロセッサ３８は、社会的表出データを抽出するために、さまざまなコンピュータビジョンアルゴリズムを使用することができる。例えば、社会的インジケータデータを、コンピュータビジョンアルゴリズムを使用して処理し、表出の認識または他の顔分析をもたらすことができる。コンピュータビジョンアルゴリズムは、社会的交流システム１０に選択的に組み込むことができる１つ以上の社会的交流モジュールを含むことができる。モジュールは、観察および近接モジュール、感情ポーズおよびジェスチャモジュール、注視分析モジュール、および眼球４６の分析モジュール、および表情モジュールのうちの１つ以上を含むことができる。

観察および近接モジュールに関しては、検出および追跡（ｄｅｔｅｃｔ−ａｎｄ−ｔｒａｃｋ）パラダイムが、距離カメラまたは赤、緑、青、および深度（ＲＧＢ＋Ｄ）カメラを使用して人物検出のセットを生成することができる。前景動き検出およびスライディングウィンドウ分類器が、フレームごとのやり方で、候補の人物検出のセットを生成する。フレームを比較することによって、候補の人物検出のセットを、各々の人物１４の地面上の軌跡を生成するために使用することができる人物トラッカのセットに関連付けることができる。近接度、速度、定常性、または他の尺度などの尺度を、人物トラッカから抽出することができる。

感情ポーズおよびジェスチャモジュールに関しては、上体４８の高解像度画像が与えられると、頭部５０、肩５２、肘５４、および手５６の位置を検出することによって感情ポーズを抽出することができる。これらの位置を検出することにより、上体４８の一種の骨格モデルが得られる。上体骨格モデルの時間的変化を分析することによって、とりわけ、特定のポーズ位置およびいくつかの社会的ジェスチャを含む社会的キューを検出することができる。深層学習などの機械学習法を用いて、骨格モデルをフレームごとのやり方で抽出することができる。

注視分析モジュールに関しては、顔５８の高解像度画像が与えられると、生成および判別の両方の方法を使用して、顔ランドマークモデルを顔にフィットさせることができる。顔ランドマークモデルの形状を使用して、画像を取り込むカメラ２６に対する顔５８の３Ｄポーズ位置を推定することができる。３Ｄポーズ位置を、注視方向の代用として使用することができる。

眼球４６の分析モジュールに関しては、顔ランドマークモデルが与えられると、個々の眼球領域を特定することができる。眼球４６の白色領域の空間分布をモデル化する画像処理技術を使用して、眼球の動きを検出することができる。眼球４６の動きを、とりわけ、盗み見などの社会的キューまたは強い凝視などの社会的行為を検出するために使用することができる。

顔５８の表情モジュールに関しては、顔ランドマークモデルが与えられると、調整された顔画像を生成することができる。判別法（例えば、深層学習法）を使用して、調整された顔画像を分類し、顔５８のさまざまな表情の認識をもたらすことができる。

処理システム２８は、抽出された社会的キューに基づいて社会的交流に関与する人々１４の社会的状態を決定するための１つ以上の推論エンジン６０を含むことができる。推論エンジン６０を、メモリ４０に保存し、プロセッサ３８によって実行することができる。推論エンジン６０は、コンピュータアルゴリズムを用いて社会的表出データを自動的に分析して、喜び、失望、敵意、興奮、怒り、恐怖、驚き、または任意の他の社会的状態を含む社会的状態を計算することができる。推論エンジン６０は、親密さ状態、相互信頼のレベル、または任意の他の社会的変数を含むユーザと交流する個人１４の社会的状態を判断することができる。推論エンジン６０は、ベイジアン（確率論的）推論エンジン６２であってよく、生成的または判別的なモデル化技術に基づいて、所与の社会的交流の現在の社会的状態を推論することができる。

例えば、処理システム２８は、確率論的推論エンジン６２を使用し、１名以上の個人１４の振る舞いをもたらすと推定される社会的状態を推論することによって、社会的インジケータデータに基づいて社会的状態を判断することができる。また、推論エンジン６０は、グループの親密さのレベルおよびグループの信頼のレベルを含むグループの振る舞いの統計を推定することができる。すなわち、社会状態は、グループの振る舞いの統計に基づいて確率論的推論エンジン６２によって判断されるグループ社会的状態であってよい。以下でさらに説明されるように、推論エンジン６０は、グループレベルの交流への参加を望むＡＳＤの個人のための対処の戦略を作り上げるために使用することができる社会的キューに基づく社会的状態のセットを確立することができる。

一実施形態において、推論エンジン６０は、種々の認知プロセスをモデル化する人工エージェントを使用し、観察された振る舞いを反映させ、各個人の認知状態ならびにグループレベルの認知状態の解釈をもたらす前方シミュレーションの使用を含む推論手法を利用することができる。したがって、視覚信号または他の社会的信号を、その開示の全体が参照によって本明細書に援用される２０１６年１２月６日に出願された米国特許出願第１５／３７０，７３６号に記載の技術を使用して分析することができる。

グループレベルの交流に関して、社会的交流システム１０は、天井に取り付けられたレンジイメージャ６４および壁に取り付けられたＰＴＺカメラ２７のアレイを含む非侵襲の離れたセンサ２２を使用して個人のグループ１４の非言語の社会的交流を自動的に解釈することができるコンピュータビジョン技術４４のセットに基づくことができる。機器を備えた現場に進入すると、すべての個人１４を観察することができる。ＰＴＺカメラ２７は、すべての個人１４の顔５８を自動的に対象とすることができる。顔の表情、注視方向、身体の動き、および／またはグループレベルの動態を、リアルタイムで抽出することができる。例えば、人物１４の特定のキューを表すデータのストリームを、観察される人々１４の数または構成とは無関係の現場レベルの総統計のセットへと純化させる。次いで、正／負の効果、身体活動、従事、模倣、または任意の他の社会的信号を含む社会的信号のセットを計算することができる。ベイジアン推論エンジン６２を、グループの親密さ、相互信頼のレベル、または他の社会的変数を含む種々の社会的変数の状態を判断するために使用することができる。

１名以上の人物１４について検出された振る舞いを、社会的交流システム１０のためのグラフィカルユーザインタフェース（ＧＵＩ）６６として機能することができるコンピューティングデバイス３２を使用して、ユーザへと提示することができる。コンピューティングデバイス３２は、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートフォン、スマートウォッチ、または他のコンピューティングデバイスであってよい。コンピューティングデバイス３２は、クラウドベースのコンピューティングシステム３０から得られたデータまたは結果のフロント・エンド・ディスプレイを提供することができる。例えば、コンピューティングデバイス３２は、クラウドベースのコンピューティングシステム３０から受信した情報を表示するインターネットウェブサイトにアクセスすることができる。また、コンピューティングデバイス３２は、社会的交流システム１０を制御することができる。例えば、コンピューティングデバイス３２は、コンピューティングデバイス３２に保存された、センサ１２および／またはクラウドベースのコンピューティングシステム３０を制御またはプログラムするためのコンピュータアプリケーションを有することができる。他の実施形態において、コンピューティングデバイス３２は、クラウドベースのコンピューティングシステム３０を必要とせずに社会的交流システム１０を動作させるために、１つ以上のサーバ３４および／または１つ以上のデータベース３６の機能を実行することができる。

さらに、コンピューティングデバイス３２は、検出された社会的キューまたは社会的状態に関して、社会的交流システム１０のユーザにフィードバックを提供することができる。フィードバックは、ユーザへと提示される視覚的な表示、可聴な表示、または物理的な表示の形態であってよい。コンピューティングデバイス３２は、他者１４との交流あるいは１つ以上のコンピュータ（例えば、コンピューティングデバイス３２）または他の電子デバイスとの対話において個人を支援するためのフィードバックを提供することができる。一実施形態において、コンピューティングデバイス３２は、個人間のコミュニケーションの際に検出された社会的キューを示すことができるスマートフォンとの対話において個人を支援することができる。別の実施形態においては、ＡＳＤを抱える個人が、コンピューティングデバイス３２に直接アクセスすることができる別の人物からフィードバックを受け取ることができる。コンピューティングデバイス３２から得られた知識を使用して、社会的交流の改善を求めるＡＳＤを抱えた個人のための対処の戦略を作り上げることができる。

認識および案内のためのリアルタイムでの動作に加えて、コンピューティングデバイス３２は、鑑識（ｆｏｒｅｎｓｉｃ）フィードバックモードで動作することができる。鑑識フィードバックモードは、社会的交流の概要を提供することができる。概要は、遭遇者の視覚的概要、観察された社会的キュー／社会的状態の解釈、および任意の導き出された結論の背後にある推論を含むことができる。鑑識フィードバックモードを使用した指導を受けることによって、ＡＳＤを抱える個人について、微妙な社会的キュー／社会的状態を独立して認識する能力を高めることができる。鑑識フィードバックは、人間社会のさまざまな現象についての理解を得るために使用することができ、そのような理解は、ＡＳＤの個人がどのように複雑かつ理解しにくい交流に最も上手く対処できるかについての洞察をもたらすことができる。

ここで図２を参照すると、着用可能な構成要素１０２を有する本発明の一実施形態による社会的交流システム１００が示されている。社会的交流システム１００は、好ましくは、社会的交流においてユーザ１０４を支援する。図１に示されている社会的交流システム１０は、システムの使用者が着用するものではないが、図２は、完全に使用者の携帯デバイスである社会的交流システム１００を示している。あるいは、社会的交流システム１００は、個人１０４によって携帯される一部の構成要素と、個人から離れた場所にある他の構成要素とを含むことができる。社会的交流システム１００の任意の構成要素１０２を、例えばＢｌｕｅｔｏｏｔｈ（登録商標）またはＷｉＦｉ（登録商標）を介する有線リンクまたは無線リンクによる接続など、データの送信および／または受信のために互いに接続することができる。

社会的交流システム１００は、１名以上の個人１０８の社会的表出を示すデータを取得するための１つ以上のセンサ１０６を含むことができる。データを、音響センサ１１０、視覚センサ１１２、または生理学的センサ１１４のうちの少なくとも１つから取り出すことができる。データは、社会的交流に関与する１名以上の人物１０８からの言語または非言語の社会的表出を示すことができる。例えば、コンピュータビジョンアルゴリズムを映像素材に適用して、表情、注視方向、眼球運動（例えば、視線をそらす）、上体の感情ポーズ、上体のジェスチャ、および／または他の社会的キューを含む多数の社会的キューを抽出することができる。センサ１０６は、着用センサ１２０、非着用センサ、または着用センサと非着用センサとの組み合わせであってよい。例えば、センサは、個人によって着用されてよく、あるいは社会的交流の現場に設置されてよい。一実施形態において、１つ以上のセンサは、少なくとも１つの着用センサ１２０を備えることができる。

着用センサ１２０は、個人が社会的交流システム１００を使用している間に移動することを可能にできる。１つ以上のセンサ１０６は、ユーザ１０４または他者１０８が着用することができる少なくとも１つのカメラ１２２、少なくとも１つのマイクロフォン１２４、または少なくとも１つの生理学的センサ１１４を含むことができる。カメラ１２２および／またはマイクロフォン１２４は、個人１０４が着用する身体カメラ装置の一部であってよい。あるいは、着用センサデバイス１２０を、光学ヘッド・マウント・ディスプレイ１２８を有する眼鏡セット１２６に取り付けてもよい。例えば、社会的交流システム１００は、カリフォルニア州Ｍｏｕｎｔａｉｎ ＶｉｅｗのＧｏｏｇｌｅ Ｉｎｃ．によるＧｏｏｇｌｅ Ｇｌａｓｓ（商標）と同様の着用デバイス１２０を使用することができる。着用デバイス１２０は、ユーザ１０４と交流する人々１０８からの社会的信号だけでなく、ユーザ１０４からの社会的信号も検出することができる。例えば、生理学的センサ１１４によって取得された生理学的信号を分析して、血圧、心拍数、または他の生理学的キューを含む生理学的キューを抽出することができる。

処理システム１３０は、図２においては個人１０４が身につけるスマートフォン１３４として示されている着用可能な処理装置１３２であってよい。処理システム１３０は、好ましくは、センサ１０６から受信したデータを分析し、フィードバックシステム１３６へとデータの出力をもたらすために、１つ以上のコンピュータアルゴリズムを実行する。処理ユニット１３２を、センサまたはフィードバックシステムと統合して、単一の構成要素とすることができる。例えば、スマートフォン１３４は、マイクロフォン、カメラ、および／または加速度計を含むセンサを有することができる。さらに、スマートフォン１３４は、ディスプレイ、スピーカ、および／または振動デバイスを含むフィードバックシステムを有することができる。

フィードバックシステム１３６は、着用可能なフィードバックシステムであってよく、図２においては着用可能な拡張現実システムとして示されている。着用可能な拡張現実システム１３６は、リアルタイムで動作し、ヘッドアップディスプレイ１２８を提供するためのスマートグラス１２６と、可聴信号をもたらすためのイヤフォン１３８とを含むことができる。フィードバックは、単語、記号、画像、音色、振動、増幅、強調、または任意の他の適切な表示の形態であってよい。フィードバックは、社会的交流に関与する１名以上の個人１０８について検出された社会的キュー／社会的状態の識別を提示すること（共感の支援）ができ、あるいは望ましい社会的帰結を生じさせるやり方での行動を指示または助言すること（指導）ができる。

社会的交流システム１００は、個人１０４が社会的に交流する人々１０８からの社会的キューを解釈し、さらには／あるいは社会的状態を識別するうえで助けとなる共感エイド（ｅｍｐａｔｈｙ ａｉｄ）１４０として動作することができる。一実施形態において、共感エイド１４０は、センサ１０６を使用して社会的交流に関連するデータを取得し、プロセッサ１３２を使用して社会的キューまたは社会的状態を抽出し、フィードバックシステム１３６を使用して個人１０４へと社会的キューまたは社会的状態を知らせる。フィードバックシステム１３６は、社会的帰結の改善を求める個人１０４のためにリアルタイムで言語または非言語の社会的キューを増幅する拡張現実アシスタント１４２であってよい。共感エイド１４０は、社会的キューを解釈し、個人または個人のグループ１０８の社会的状態を識別することができる。例えば、共感エイド１４０は、複数の人々１０８からの社会的キューまたは社会的状態を示すことができ、あるいはグループ社会的キューおよび／またはグループ社会的状態を示すことができる。共感エイド１４０は、ＡＳＤを抱える人々にとって社会的交流をより良好に理解するうえで助けとなる完全に自動的な装置を提供することができる。例えば、人々のグループの全体が、社会的交流システム１００の特定のユーザに怒りを抱いているかもしれない。このような状況において、社会的交流システム１００からの非友好的なグループレベルの社会的状態の早期の知らせがないと、危険なグループレベルの行動につながる可能性がある。

社会的交流システム１００は、個人１０４を社会的に交流する人々１０８からの社会的キューまたは社会的状態に反応するように指導するためのオラクル（ｏｒａｃｌｅ）１４４として動作することができる。一実施形態において、オラクル１４４は、社会的交流の帰結の改善を求める個人１０４に対して、リアルタイムで、社会的キューまたは社会的状態への反応において推奨される行動を提示することができる。オラクル１４４は、センサ１０６を使用して社会的交流に関連するデータを取得し、プロセッサ１３２を使用して推奨される行動を決定し、推奨される行動をフィードバックシステム１３６を使用して個人１０４へと示す。例えば、処理システム１３０を、社会的インジケータデータを使用して１名以上の個人１０８の社会的状態を判定し、社会的状態の分析に基づいて社会的交流に対する個人１０４の最適な社会的反応を決定するように構成することができる。

オラクル１４４によって提示される推奨される行動は、指示、命令、または信号の形態であってよい。例えば、推奨動作は、社会的交流に関与する他者１０８に対して社会的キューを示す（例えば、微笑む、手を振る、笑う、話す、など）ようにユーザ１０４に指示することができる。さらに、オラクル１４４は、共感エイド１４０を取り入れることによって、個人１０４に社会的キューまたは社会的状態を示すことができる。推奨される行動は、グループレベルの社会的交流への反応であってよい。例えば、推奨される行動は、複数の人々１０８からの社会的キューまたは社会的状態への反応、あるいはグループ社会的キューおよび／またはグループ社会的状態からの反応であってよい。フィードバックシステム１３６は、ユーザ１０４に対して社会的反応を示すことができる。オラクル１４４は、ＡＳＤを抱える人々にとって社会的交流をより良好に解釈して反応するうえで助けとなる完全に自動的な装置を提供することができる。加えて、オラクル１４４は、雇用主、教師、介護者、またはＡＳＤを抱える者と社会的に交流する任意の他の者など、ＡＳＤを抱える者との協働を試みる者にフィードバックを提供することもできる。

社会的キューに対して期待される反応が返されない場合、社会的状況がぎこちないものになりかねないことは承知のとおりであり、したがってＡＳＤを抱える者は、冗談が話された後で笑うなど、特定の振る舞いが期待される社会的状況であることを、オラクル１４４を使用して知ることができる。高機能の自閉症者は、冗談が話されたならば、たとえ自身はその冗談を面白いと思わなくても笑うというルールを作り上げることができる。ＡＳＤを抱える人々のために、オラクル１４４は、社会的キューが存在しており、キューへの反応が期待されていることを、自動的に示すことができる。一実施形態において、オラクル１４４は、センサ１０６を使用して冗談が話されたことを示す言語または非言語の社会的キューを検出し、推論エンジン１４６を使用して社会的状態が笑いに適していると判断し、ＡＳＤを抱える者に対して笑い始めるように指示するフィードバックをもたらすことができる。

社会的キューまたは社会的状態に反応するように個人１０４を指導する動作において、オラクル１４４は、社会的キューまたは社会的状態を、社会的交流を改善するためにユーザ１０４へと提案される社会的反応へとマッピングするために、所定のポリシーを使用することができる。社会的反応を、社会的帰結に基づいて所定のポリシーを適用することによって決定することができる。ポリシーを、ドメイン知識、機械学習、またはポリシーを生成することができる任意の他の技術に基づいて生成することができる。ドメイン知識および機械学習の両者は、社会的キューや社会的状態などの入力を推奨される行動へとマッピングするための自動化された方法を提供することができる。例えば、処理システム１３０を、１名以上の個人１０８と社会的に交流するユーザ１０４を支援するために、社会的表出データから社会的キューを抽出するようプログラムし、社会的キューに基づいて社会的反応を決定することができる。ドメイン知識が、一般的な社会的キューへとマッピングされた所定の動作を提案することができる一方で、機械学習は、これまでの社会的帰結に基づいて推奨される行動を最適化することができる。いくつかの実施形態において、ポリシーは、ドメイン知識と機械学習との組み合わせに基づくことができる。

ドメイン知識に基づくポリシーは、社会的状態と推奨される行動との間の所定の関係を有することができる。一実施形態によれば、社会的反応を決定する際に、処理システム１３０を、マッピングされた社会的キューと社会的反応との間の所定の関係を使用して、社会的キューを社会的反応へとマッピングすることによって、ドメイン知識を使用して所定のポリシーを適用するようにプログラムすることができる。フィードバックシステム１３６を使用して、個人１０４へと最適な社会的反応を示すことができる。別の実施形態によれば、処理システム１３０は、マッピングされた社会的状態と社会的反応との間の所定の関係を有するポリシーを使用して、社会的状態を最適な社会的反応へとマッピングすることによって、最適な社会的反応を決定するためにドメイン知識を使用することができる。

機械学習に基づくポリシーは、これまでの社会的帰結に基づいて今後の推奨される行動を最適化するようにポリシーを駆動することができる。機械学習は、時間の経過とともにポリシーを生成および最適化することができ、長期的な社会的帰結を最適化することもできる強化学習（ＲＬ）などの学習された枠組みを含むことができる。学習の枠組みを、所望の帰結が生じたか否かを判断するために社会的帰結の検出を向上させるためにも使用することができる。例えば、処理システム１３０は、社会的状態を最適な社会的反応へとマッピングするためのポリシーを使用して最適な社会的反応を決定するように処理システムを構成することによって、最適な社会的反応を決定し、最適な社会的反応が社会的交流の所望の社会的帰結をもたらすか否かを判断し、社会的帰結の分析に基づいて将来の社会的反応を最適化するようにポリシーを更新するために、強化学習を使用することができる。

特定の個人の経験に基づくポリシーの作成に加えて、複数のユーザの経験を強化学習の理論的枠組みにおいて集めることで、複数の個人の複数の経験に基づいて作成されたポリシーからの利益を、各々の個人にもたらすことができる。したがって、機械学習は、必ずしも特定のユーザ１０４に限定される必要はなく、多数のユーザに基づくことができる。このようにして、すべてのユーザの経験／帰結に基づいて一般的なポリシーを学習することができ、ユーザの集団の経験の集積からの利益を、各々のユーザにもたらすことができる。

学習の枠組みは、これまでの社会的帰結がどれほど肯定的または否定的であるかに基づいてポリシーを更新することができ、交流から生じる感情状態を含む社会的状態に基づいてポリシーを更新することもできる。例えば、ＡＳＤを抱える者が同僚と交流し、交流の終わりにおいて、同僚の感情状態を表情を用いて推定することができる。推定された感情状態が肯定的である場合、交流は肯定的な帰結を有すると考えることができる。社会的帰結が最適でなかった場合、将来において別の推奨される行動を示すようにポリシーを更新することができる。更新されたポリシーは、ユーザ１０４に対して将来の反応においてより悔恨の情を示すように推奨することができる。推奨される行動についての最良のポリシーを、観察された社会的状態および交流の帰結の両方に基づいて時間の経過とともに学習することができる。

ポリシー生成のための強化学習の枠組みは、好ましくは、状態空間、行動空間、および報酬に基づく。状態空間は、検出された社会的キューに基づく推論による社会的状態を含む。行動空間は、社会的帰結を改善するためにユーザ１０４へと提供されるフィードバックを含む。報酬は、社会的交流の肯定的帰結を含む。社会的反応の決定において、処理システム１３０を、社会的キューから決定された状態空間、状態空間から社会的反応を決定するための行動空間、および社会的反応からもたらされる１名以上の個人１０８と社会的に交流するユーザ１０４の社会的帰結に基づく報酬に基づく機械学習を使用して、所定のポリシーを適用するようにプログラムすることができる。所定のポリシーは、報酬を最大化することによって社会的反応を最適化することができる。状態空間、行動空間、および報酬の組み合わせは、肯定的な社会的帰結の可能性を高めるポリシーを定めるための学習ベースの手法を提供する。

社会的交流システム１００を、特定の部分集団に合わせて仕立てることができる。ポリシーを、集団のうちの最も恩恵を被ると考えられる特定の部分集団を対象とするように生成することができる。例えば、高機能の自閉症者を、ＡＳＤを抱える者の部分集団へと分類することができる。高機能の自閉症者は、再び生じる社会的キューに対する自身の将来の反応に関して試行錯誤によって自身でルールを作り出したと気付くかもしれない。社会的交流システム１００は、試行錯誤によるのではなく、迅速な実行のためのルール作成を自動化することができる。

いくつかの実施形態においては、ポリシーを、異なる種類のユーザ１０４ならびにユーザと交流する異なる種類の人々１０８を考慮するように仕立てることができる。例えば、ポリシーを、警察官、兵士、セールスマン、またはＡＳＤを抱える人々について特定的に生成することができる。

一例として、社会的交流システム１００を、異国の一般市民と交流する兵士を支援するように仕立てることができる。異国の一般市民と社会的に交流するとき、文化特有の言語または非言語の社会的キューを適切に解釈して反応することが、兵士にとって困難であり得る。兵士は、兵士に社会的キューを知らせる共感エイド１４０または外国人との交流への反応において兵士を案内するオラクル１４４を使用して、異国の一般市民との社会的な交流の改善を可能にできるかもしれない。さらに、社会的交流システム１００は、兵士が異国の一般市民との相互対話に必要な技能をどの程度まで取得したかを判断するために使用される心理社会的因子を測定することもできる。

別の例として、社会的交流システム１００を、顧客と交流するセールスマンを支援するように仕立てることができる。共感エイド１４０が、社会的キューを増幅することによってセールスマンを支援することができ、あるいはオラクル１４４が、販売を通じてセールスマンを指導することによってセールスマンを支援することができる。オラクル１４４は、顧客の行動などの報酬に基づく学習の枠組みを使用することができる。例えば、オラクル１４４を使用しているセールスマンと交流しているときの顧客の顔画像を取得し、セールストークを助言することができる。顧客を交流に結び付ける販売時点における顧客の別の顔画像を取得することができる。販売時点からの情報が、販売された品物がオラクル１４４からの提案された行動に関係している旨を示す場合、交流への帰結が肯定的であると判断することができる。品物の購入は、提案された行動から遅れた報酬を構成し、したがってポリシーは、遅れた報酬に基づいて将来の提案される行動を最適化することができる。

さらに別の例として、社会的交流システム１００を、患者と交流する介護者を支援するように仕立てることができる。介護者（例えば、看護師、医師、など）は、多くの場合に、介護を受ける際の協力を得るために、患者と共感または信頼の気持ちを確立させなければならない。例えば、患者は、最初に介護者との信頼または共感が確立されないと、薬の服用や痛みを伴う処置などの介護に抵抗することがある。介護者は、共感エイド１４０を使用して、患者が信頼または共感を覚えている旨の社会的キューを表出しているかどうかを判断することができ、介護者を、オラクル１４４を使用して、患者との信頼または共感の状態に達するように導くこともできる。また、社会的交流システム１００を、介護が肯定的な結果を達成するやり方で与えられることを保証するために、患者との親密さを確立させるために使用することもできる。さらに、患者が、介護者が特定の社会的キューまたは社会的状態を表出しているか否かを判定するために、社会的交流システム１００を使用することができる。例えば、患者は、共感エイド１４０を使用して、介護者が信頼および共感を示す社会的キューを表出していると判断することができ、あるいはオラクル１４４を使用し、介護者との信頼および共感の状態に到達させる患者の案内を支援することができる。

ここで、図１および図２を再び参照しつつ、図３を参照すると、社会的交流の改善を求める個人へとフィードバックを示すために使用される本発明の一実施形態によるプロセス２００のフロー図が示されている。プロセス２００は、ステップ２０２において、社会的交流に関与する人々からの社会的キューを識別することによって開始される。社会的キューを、１名以上の個人の社会的表出を示すデータを取得する１つ以上のセンサから収集されたデータによって識別でき、そのようなセンサは、環境内に配置され、さらには／あるいは個人１０６によって着用されるセンサ１２であってよい。データは、表情、注視方向、眼球運動（例えば、視線をそらす）、上体の感情ポーズ、上体のジェスチャ、ならびに／あるいは個人の振る舞いまたは感情状態を示す他の社会的キューなど、社会的交流に関与する１名以上の者からの言語または非言語の社会的表出を示すことができる。

社会的交流に関与する人々からの社会的キューが識別されると、プロセス２００は、ステップ２０４において、社会的交流に関与する人々の社会的状態を決定することによって続き、社会的状態は、社会的キューに基づいて決定される。すなわち、１つ以上のコンピュータアルゴリズムが、センサから受信したデータおよび識別された社会的キューを分析し、そこから社会的状態を抽出および決定するように機能することができる。社会的状態の決定は、個人または個人のグループの社会的キューを解釈して社会的状態を決定することを含み、個人について考えられる社会的状態として、例えば喜び、失望、敵意、興奮、怒り、恐怖、または驚きが挙げられる。さらに、社会的状態の決定は、例えば親密さの状態または相互信頼のレベルなど、個人間の社会的状態まで広がることができる。

社会的交流に関与する人々の社会的状態の決定は、個人間の社会的交流を促進するための適切な次のステップの特定を可能にする。したがって、プロセス２００は、ステップ２０６において、社会的キューまたは社会的状態に関するフィードバックを、社会的交流の改善を求める個人へと提供することによって続く。一実施形態において、システムは、抽出された社会的キューまたは社会的状態をフィードバックシステム１３６を使用して個人１０４へと表示および中継するための共感エイドとして動作する。一例として、拡張現実アシスタント１４２が、グループの社会的キューおよび／または社会的状態を含む１名以上の者からの社会的キュー／状態などの言語または非言語の社会的キューを、社会的帰結の改善を求める個人１０４のために、リアルタイムで増幅することができる。別の実施形態において、システムは、例えば社会的キューまたは社会的状態への反応において推奨される行動をリアルタイムで個人へと提示することにより、社会的に交流する人々１０８からの社会的キューまたは社会的状態にどのように反応するかについて個人１０４を指導するオラクル１４４として動作する。すなわち、オラクル１４４は、社会的状態の分析に基づいて社会的な交流への個人１０４の最適な社会的反応を決定することができ、分析は、ドメイン知識、機械学習、またはポリシーを生成することができる任意の他の技術に基づき、社会的キューまたは社会的状態を社会的交流を改善するためにユーザへと提案される社会的反応へとマッピングする所定のポリシーによって実行される。次いで、オラクル１４４は、例えば微笑む、手を振る、笑う、話す、など、社会的キューを社会的交流に関与する他者１０８へと示すように個人１０４に指示するなどによって、推奨される行動をインストラクション、命令、または信号の形態で提示することができる。

本開示の方法および装置に関する技術的貢献は、社会的交流から社会的キューを抽出し、社会的交流の改善を求める個人１０４に社会的キューに関するフィードバックを提供するコンピュータによって実行される方法を提供することである。一実施形態においては、非一時的なコンピュータ可読記憶媒体に、社会的帰結を最適化するためのコンピュータプログラムが保存される。コンピュータプログラムは、プロセッサ１３２によって実行されたときに、１つ以上のセンサ１０６を使用して社会的交流に関与する１名以上の人物１０８のデータを取得すること、およびこのデータを使用して社会的交流から社会的キューを抽出することを、プロセッサに実行させるインストラクションを含むことができる。別の実施形態において、コンピュータプログラムは、プロセッサによって実行されたときに、社会的交流に関与する１名以上の人物１０８の社会的キューに基づいて社会的状態を推定すること、および社会的帰結に基づいて推奨される行動を最適化するポリシーを使用して、社会的状態を社会的交流に係わる個人１０４の推奨される行動へとマッピングすることを、プロセッサに実行させるインストラクションを含むことができる。インストラクションは、推奨される行動をフィードバックシステム１３６へと提供することを、プロセッサ１３２に実行させることができる。

当業者であれば、本発明の実施形態について、コンピュータプログラムを保存したコンピュータ可読記憶媒体への接続、または、コンピュータプログラムを保存したコンピュータ可読記憶媒体による制御が可能であることを、理解できるであろう。コンピュータ可読記憶媒体は、電子コンポーネント、ハードウェアコンポーネント、および／またはコンピュータソフトウェアコンポーネントのうちの１つ以上などの複数のコンポーネントを含む。これらのコンポーネントは、一般に、シーケンスの１つ以上の実装または実施形態の１つ以上の部分を実行するためのソフトウェア、ファームウェア、および／またはアセンブリ言語などのインストラクションを保存する１つ以上のコンピュータ可読記憶媒体を含むことができる。これらのコンピュータ可読記憶媒体は、一般に、非一時的および／または有形である。そのようなコンピュータ可読記憶媒体の例として、コンピュータおよび／または記憶装置の記録可能なデータ記憶媒体が含まれる。コンピュータ可読記憶媒体は、例えば、磁気、電気、光学、生物、および／または原子データ記憶媒体のうちの１つ以上を使用することができる。さらに、そのような媒体は、例えば、フロッピーディスク、磁気テープ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスクドライブ、および／または電子メモリの形態をとることができる。列挙されていない他の形態の非一時的および／または有形のコンピュータ可読記憶媒体も、本発明の実施形態において使用することができる。

そのようなコンポーネントのいくつかを、システムの実装において組み合わせることができ、あるいは分割することができる。さらに、そのような構成要素は、当業者であれば理解できるとおり、いくつかのプログラミング言語のいずれかで記述または実装された一式および／または一連のコンピュータインストラクションを含むことができる。さらに、搬送波などの他の形態のコンピュータ可読媒体を使用して、１つ以上のコンピュータによって実行されたときに、シーケンスの１つ以上の実装または実施形態の１つ以上の部分を１つ以上のコンピュータに実行させるインストラクションのシーケンスを表すコンピュータデータ信号を具現化させることができる。

有益なことに、社会的交流システムは、ＡＳＤを抱える個人の社会との共存の能力を高める社会的信号増幅システムを提供することができる。社会的交流システムは、個人またはグループレベルの社会的交流を解釈し、そのような社会的交流に反応する目的で、コンピュータビジョン技術を拡張現実アシスタントと合体させることもできる。さらに、社会的交流システムは、ドメイン知識または機械学習に基づくポリシーを使用して社会的キューを推奨される行動へとマッピングすることによって、肯定的な社会的帰結を得る可能性を高めることができる。また、社会的交流システムは、社会的キューを測定し、社会的帰結の検出を改善することができる。

本明細書に記載の方法、システム、および装置の技術的効果は、社会的キューを解釈し、そのような分析を使用して、推奨される反応を提示することによって社会的交流を改善するためのコンピュータによって実行される技術を含む。

したがって、本発明の一実施形態によれば、社会的交流システムは、社会的交流の最中に環境内の１名以上の個人の社会的インジケータデータを取得するための１つ以上のセンサを含み、社会的インジケータデータは、１名以上の個人の振る舞いに関する。さらに、社会的交流システムは、社会的インジケータデータを使用して１名以上の個人の社会的状態を判定し、社会的状態の分析に基づいて社会的交流に対する個人の最適な社会的反応を決定するように構成された処理システムを含む。社会的交流システムは、個人に最適な社会的反応を示すフィードバックシステムをさらに含む。

本発明の別の実施形態によれば、社会的交流においてユーザを支援するシステムが、１名以上の個人の社会的表出を表すデータを取得する１つ以上のセンサと、社会的表出データから社会的キューを抽出し、１名以上の個人と社会的に交流するユーザを支援するために社会的キューに基づいて社会的反応を決定するようにプログラムされた処理システムとを含み、社会的反応は、社会的帰結に基づく所定のポリシーを適用することによって決定される。さらに、システムは、社会的反応をユーザへと示すフィードバックシステムを含む。

本発明のさらに別の実施形態によれば、社会的帰結を最適化するためのコンピュータプログラムを保存した非一時的なコンピュータ可読記憶媒体が開示され、コンピュータプログラムは、プロセッサによって実行されたときに、１つ以上のセンサを使用して社会的交流に関与する１名以上の人物のデータを取得すること、このデータを使用して社会的交流からの社会的キューを抽出すること、社会的交流に関与する１名以上の人物の社会的キューに基づいて社会的状態を推定すること、および社会的帰結に基づいて推奨される行動を最適化するポリシーを使用して、社会的状態を社会的交流に関係する個人の推奨される行動へとマッピングすることを、プロセッサに実行させるインストラクションを含んでいる。

本明細書は、本発明を最良の態様を含めて開示するとともに、あらゆるデバイスまたはシステムの製作および使用ならびにあらゆる関連の方法の実行を含む本発明の実施を当業者にとって可能にするために、実施例を用いている。本発明の特許可能な範囲は、特許請求の範囲によって定義され、当業者が想到する他の実施例を含むことができる。このような他の実施例は、特許請求の範囲の文言との差がない構造要素を有する場合、または特許請求の範囲の文言との実質的な差がない等価の構造要素を含む場合、特許請求の範囲内にあることが意図される。

１０ 社会的交流システム
１２ センサ
１４ 個人、人物、人間
１６ 環境
１８ 音響センサ
２０ 視覚センサ
２２ センサ
２４ マイクロフォン
２６ カメラ
２７ パンチルトズーム（ＰＴＺ）カメラ
２８ 処理システム
３０ コンピューティングシステム
３２ コンピューティングデバイス
３４ サーバ
３６ データベース
３８ プロセッサ
４０ メモリ
４２ 通信コンポーネント
４４ コンピュータビジョン技術
４６ 眼球
４８ 上体
５０ 頭部
５２ 肩
５４ 肘
５６ 手
５８ 顔
６０ 推論エンジン
６２ ベイジアン推論エンジン、確率論的推論エンジン
６４ レンジイメージャ
６６ グラフィカルユーザインタフェース（ＧＵＩ）
１００ 社会的交流システム
１０２ 着用可能な構成要素
１０４ ユーザ、個人
１０６ センサ
１０８ 個人、人物、人間
１１０ 音響センサ
１１２ 視覚センサ
１１４ 生理学的センサ
１２０ 着用センサ、着用デバイス、着用センサデバイス
１２２ カメラ
１２４ マイクロフォン
１２６ 眼鏡セット、スマートグラス
１２８ 光学ヘッド・マウント・ディスプレイ
１３０ 処理システム
１３２ 着用可能な処理装置、プロセッサ、処理ユニット
１３４ スマートフォン
１３６ フィードバックシステム、拡張現実システム
１３８ イヤフォン
１４０ 共感エイド
１４２ 拡張現実アシスタント
１４４ オラクル
１４６ 推論エンジン

Claims (24)

1. 社会的交流の最中に、環境（１６）内の１名以上の人間（１４、１０８）について、該１名以上の人間（１４、１０８）の振る舞いに関係した社会的インジケータデータを取得するための１つ以上のセンサ（１２、１０６）と、
   前記社会的インジケータデータを使用して、前記１名以上の人間（１４、１０８）の社会的状態を判断し、
   該社会的状態の分析に基づいて、前記社会的交流への個人（１０４）の最適な社会的反応を決定する
   ように構成された処理システム（２８、１３０）と、
   前記個人（１０４）に前記最適な社会的反応を示すためのフィードバックシステム（１３６）と
   を備える、社会的交流システム（１０、１００）。
2. 前記処理システム（２８、１３０）は、強化学習を使用して前記最適な社会的反応を決定し、前記処理システム（２８、１３０）は、
   前記社会的状態を前記最適な社会的反応へとマッピングするポリシーを使用して、前記最適な社会的反応を決定し、
   前記最適な社会的反応が、前記社会的交流の望ましい社会的帰結をもたらすか否かを判断し、
   前記社会的帰結の分析に基づいて将来の社会的反応を最適化するように前記ポリシーを更新する
   ように構成されている、請求項１に記載の社会的交流システム（１０、１００）。
3. 前記処理システム（２８、１３０）は、ドメイン知識を使用し、前記社会的状態の前記最適な社会的反応へのマッピングを、マッピングされた社会的状態と社会的反応との間に所定の関係を有しているポリシーを使用して行うことによって、前記最適な社会的反応を決定する、請求項１に記載の社会的交流システム（１０、１００）。
4. 前記フィードバックシステム（１３６）は、リアルタイムで動作する、請求項１に記載の社会的交流システム（１０、１００）。
5. 前記フィードバックシステム（１３６）は、着用可能な拡張現実システムを備える、請求項４に記載の社会的交流システム（１０、１００）。
6. 前記１つ以上のセンサ（１２、１０６）は、少なくとも１つのカメラまたは少なくとも１つのマイクロフォンを備える、請求項１に記載の社会的交流システム（１０、１００）。
7. 前記１つ以上のセンサ（１２、１０６）は、少なくとも１つの着用可能なセンサを備える、請求項６に記載の社会的交流システム（１０、１００）。
8. 前記処理システム（２８、１３０）は、確率的推論エンジンを使用して、前記１名以上の人間（１４、１０８）の前記振る舞いをもたらすと推定される社会的状態を推論することによって前記社会的インジケータデータに基づいて前記社会的状態を判断する、請求項１に記載の社会的交流システム（１０、１００）。
9. 前記社会的状態は、前記確率的推論エンジンによってグループの振る舞いの統計量に基づいて判断されるグループの社会的状態である、請求項８に記載の社会的交流システム（１０、１００）。
10. 前記処理システム（２８、１３０）は、着用可能な処理装置である、請求項１に記載の社会的交流システム（１０、１００）。
11. 社会的交流においてユーザ（１０４）を支援するためのシステム（１０、１００）であって、
    １名以上の人間（１０８）の社会的表出を表すデータを取得するための１つ以上のセンサ（１２、１０６）と、
    前記社会的表出データから社会的キューを抽出し、
    前記１名以上の人間（１０８）と社会的に交流する前記ユーザ（１０４）を支援するために、前記社会的キューに基づいて社会的反応を社会的帰結に基づく所定のポリシーを適用することによって決定する
    ようにプログラムされた処理システム（２８、１３０）と、
    前記ユーザ（１０４）に前記社会的反応を示すためのフィードバックシステム（１３６）と
    を備えるシステム（１０、１００）。
12. 前記社会的反応の決定において、前記処理システム（２８、１３０）は、ドメイン知識を使用し、前記社会的キューの前記社会的反応へのマッピングを、マッピングされた社会的キューと社会的反応との間の所定の関係を使用して行うことによって、前記所定のポリシーを適用するようにプログラムされている、請求項１１に記載のシステム（１０、１００）。
13. 前記社会的反応の決定において、前記処理システム（２８、１３０）は、
    前記社会的キューから決定された状態空間、
    前記状態空間から前記社会的反応を決定するための行動空間、および
    前記社会的反応からもたらされる前記１名以上の人間（１０８）と社会的に交流する前記ユーザ（１０４）の社会的帰結に基づく報酬
    に基づく機械学習を使用して前記所定のポリシーを適用するようにプログラムされており、
    前記所定のポリシーは、前記報酬を最大化することによって前記社会的反応を最適化する、請求項１１に記載のシステム（１０、１００）。
14. 前記１つ以上のセンサ（１２、１０６）は、音響センサ、視覚センサ、または生理学的センサを備える、請求項１１に記載のシステム（１０、１００）。
15. 前記処理システム（２８、１３０）は、前記社会的キューに基づいて社会的状態を決定するための推論エンジンをさらに備え、
    前記所定のポリシーは、前記社会的状態を前記社会的反応へとマッピングする、請求項１１に記載のシステム（１０、１００）。
16. 前記フィードバックシステム（１３６）は、着用可能なフィードバックシステムである、請求項１１に記載のシステム（１０、１００）。
17. 社会的帰結を最適化するためのコンピュータプログラムを保存した非一時的なコンピュータ可読記憶媒体であって、
    前記コンピュータプログラムは、プロセッサによって実行されたときに、
    １つ以上のセンサ（１２、１０６）を使用して、社会的交流に関与する１名以上の人間（１０８）のデータを取得することと、
    前記データを使用して前記社会的交流からの社会的キューを抽出することと、
    前記社会的交流に関与する前記１名以上の人間（１０８）の前記社会的キューに基づいて社会的状態を推定することと、
    社会的帰結に基づいて推奨される行動を最適化するポリシーを使用して、前記社会的状態を前記社会的交流に関与する個人（１０４）の推奨される行動へとマッピングすることと
    を該プロセッサに実行させるインストラクションを含んでいる、非一時的なコンピュータ可読記憶媒体。
18. 前記ポリシーは、社会的状態と推奨される行動との間の所定の関係を有している、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
19. 前記ポリシーは、これまでの社会的帰結に基づいて将来の推奨される行動を最適化する、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
20. 前記データは、音響センサまたは視覚センサの少なくとも一方から取得される、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
21. 前記データは、言語または非言語の社会的表出を表す、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
22. 前記ポリシーは、遅れた報酬に基づいて将来の推奨される行動を最適化する、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
23. 前記インストラクションは、前記推奨される行動をフィードバックシステム（１３６）へと提供することを前記プロセッサにさらに実行させる、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
24. 前記フィードバックシステム（１３６）は、鑑識フィードバックモードで動作する、請求項２３に記載の非一時的なコンピュータ可読記憶媒体。

Images