JP2021525421A - 観察可能な健康状態の兆候のためのロボット対話 - Google Patents

Abstract

健康状態の兆候、健康を脅かす危険及び／又は健康上の懸念がある状態の兆候を家庭又は職場で観察する支援ロボットを記載する。支援ロボットが、危険な状況を回避する措置を取り、健康上の問題を診断し、援助の要請に応え、人の医学的状態を定期的に処理又は分析してもよい。支援ロボットが、ユーザの習慣を学習するか、その環境内の人間に関する知識を提供されてもよい。支援ロボットが、人の行動及び必要のスケジュール及びコンテキストを理解してもよい。支援ロボットが、支援の提供の前、間又は後に、人々と対話し、人々を理解し、人々とコミュニケーションを取ってもよい。ロボットが、ジェスチャ、衣服、感情、時刻、姿勢認識、動作認識及びその他の観察データを組み合わせて、人々の医学的状態、現在の活動及び今後意図される活動及び意思を理解してもよい。

Description

関連出願の相互参照
本出願は、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｒｏｂｏｔｉｃ Ｉｎｔｅｒａｃｔｉｏｎｓ ｆｏｒ Ｏｂｓｅｒｖａｂｌｅ Ｓｉｇｎｓ ｏｆ Ｃｏｒｅ Ｈｅａｌｔｈ」と題する２０１８年５月２３日出願の米国仮特許出願第６２／６７５，７２９号及び、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｒｏｂｏｔｉｃ Ｉｎｔｅｒａｃｔｉｏｎｓ ｆｏｒ Ｏｂｓｅｒｖａｂｌｅ Ｓｉｇｎｓ ｏｆ Ｉｎｔｅｎｔ」と題する２０１８年５月２３日出願の米国仮特許出願第６２／６７５，７３０号の権利を主張し、これらは双方共に、その開示全体が参照により本明細書中に組み込まれる。

発明の背景
本開示は、概略的にはロボットに関し、詳細には支援ロボットに関する。

人とのつながりは、誰にとっても身体及び精神の健康のために必要である。必要を満たし、支援を提供し、家事を手伝い、人々と対話し、その他の多くの社会的機能を遂行する、信頼でき責任を果たせる同伴者は、費用が高額であり、見つけるのが困難である。技術分野の急激な進歩により、ホームアシスタントが普及しつつある。しかし、従来のホームアシスタントの能力は限定されている。例えば、スマートスピーカは質問や命令に答えるだけであり、ロボット掃除機は床を掃除できるだけである。

発明の概要
本明細書に、家庭、職場、ヘルスケア施設又はその他の施設で、健康状態の兆候、健康を脅かす危険及び／又は健康上の懸念がある状態の兆候を観察する支援ロボットを記載する。支援ロボットが、危険な状況を回避する措置を取り、健康上の問題を診断し、援助の要請に応え、人の医学的状態を定期的に処理又は分析してもよい。本明細書に、一人以上の人（又は動物）の必要を予測する支援ロボットを記載する。支援ロボットが、現在の活動、人の日課に関する知識及びコンテキスト情報を認識してもよい。支援ロボットが、適切なロボット支援の提供又は提供の申し出を行ってもよい。

支援ロボットが、ユーザの習慣を学習するか、その環境内の人間に関する知識を提供されてもよい。支援ロボットが、人の行動及び必要のスケジュール及びコンテキストを理解してもよい。支援ロボットが、支援の提供の前、間又は後に、人々と対話し、人々を理解し、人々とコミュニケーションを取ってもよい。観察認識の例に、ボディランゲージ、認識した物体との人との対話、経時的な日課及び人間の動作が含まれてもよい。ロボットが、ジェスチャ、衣服、感情、時刻、姿勢認識、動作認識及びその他の観察データを組み合わせて、人々の医学的状態、現在の活動及び今後意図される活動及び意思を理解してもよい。

一実施形態に基づく、支援ロボットを管理するためのシステム環境の図である。 一実施形態に基づく、支援ロボットの図である。 一実施形態に基づく、ユーザの健康状態を判定する制御システムを説明するフロー図である。 一実施形態に基づく、訓練データを説明する表である。 一実施形態に基づく、ユーザの意思を判定する制御システムを説明するフロー図である。 一実施形態に基づく、訓練データを説明する表である。

図面は、本発明の実施形態を説明のみを目的として描写したものである。本明細書で説明する構造及び方法の代替的な実施形態を、本明細書に記載の発明の原理から逸脱することなく採用可能であることが、以下の記載から当業者に容易に理解されよう。

発明の詳細な説明
図１は、一実施形態に基づく、支援ロボットを管理するためのシステム環境の図である。システム環境は、支援プラットフォーム１２０、クライアント装置１１０、支援ロボット１０２、装置１０６を含み、これら全てがネットワーク１４０を介して接続されている。別の複数の実施形態では、異なる、及び／又は更なる実体がシステムアーキテクチャ内に含まれてもよい。環境が、住環境、ヘルスケア環境又は職場環境であってもよい。

クライアント装置１１０は、ネットワーク１４０を介してユーザ入力を受信すると共にデータを送信及び／又は受信することの可能な演算装置である。クライアント装置は、スマートフォン、携帯情報端末（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ：ＰＤＡ）、移動電話、タブレット、ラップトップコンピュータ、デスクトップコンピュータ、ウェアラブルコンピュータ（スマートウォッチ、リストバンド、アームバンド、チェストバンドなど）、又はその他の好適な装置などの、コンピュータ機能を有する装置である。一実施形態では、クライアント装置は、クライアント装置１１０のユーザが支援ロボット１０２及び／又は支援プラットフォーム１２０と対話することを可能にするアプリケーションを実行する。例えば、クライアント装置１１０は、ネットワーク１４０を介したクライアント装置１１０と支援プラットフォーム１２０との対話を可能にするブラウザアプリケーションを実行する。個人が、クライアント装置１１０を介して支援ロボット１０２の物理的な移動性及び操作を制御してもよい。個人が支援ロボット１２から離隔していてもよく、別の個人を支援するように支援ロボット１０２を制御することが可能であってもよい。例えば、介護者、緊急連絡先又は医師が、支援ロボット１０２と対話してユーザを支援してもよい。別の一実施形態では、クライアント装置１１０は、ＩＯＳ（登録商標）又はＡＮＤＲＯＩＤ（登録商標）などのクライアント装置のネイティブのオペレーティングシステム上でランするアプリケーション・プログラミング・インターフェース（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ：ＡＰＩ）を介して支援プラットフォーム１２０と対話する。

支援ロボット１２０（以下に図２を参照して詳述する）は、ユーザの健康の監視及び判定、ユーザの意思の監視及び判定、ユーザの健康及び／又は意思に基づいて動作を実行することによるユーザの世話などの支援を提供する。支援ロボット１０２は移動可能であり、例えば家などの空間内を動き回ることができる。支援ロボット１０２が、人及び動物と対話してもよい。例えば、支援ロボット１０２が、数多くの動作の中でも特に、物品をユーザに持って来るか、ユーザに情報を提供するか、又は連絡先に警告を送信してもよい。支援ロボット１０２は、ユーザの身体的外見、行動、精神状態及び動作などのユーザに関する情報並びに、時刻、場所及び温度などの環境に関するデータを記録する。例えば、支援ロボット１０２は、ユーザ及び環境に関するデータを収集するための様々なセンサを含む。支援ロボット１０２は、データを分析して、ユーザの健康状態及び／又はユーザの意思を判定する。支援ロボット１０２が動いてもよく、また、例えば音声、接触などを介してユーザと対話してもよい。

支援プラットフォーム１２０は、支援ロボット１０２やユーザに関する情報、健康に関する情報、人間行動に関する情報を記憶する１つ以上のデータベースを含むコンピュータサーバである。支援ロボット１０２に関する情報が、モデル、構成、性能などを含んでもよい。ユーザに関する情報が、ユーザの統計的情報、地理的な位置、連絡先情報、病歴などを含んでもよい。健康に関する情報が、疾患及び関連する症状を記述する情報、人間行動及び関連する医学的状態を記述する情報、負傷及び関連する人間行動を記述する情報、精神病及び身体的発現を記述する情報などを含んでもよい。人間行動情報が、人間行動及び関連する仕事を記述する情報、人間行動及び関連する目的を記述する情報、環境及びその環境における関連する共通の人間の反応を記述する情報、コンテキスト及びそのコンテキストにおける関連する共通の人間の反応を記述する情報などを含んでもよい。

装置１０６は、環境内のユーザが利用可能な装置である。環境が、住環境、職場環境又はヘルスケア環境であってもよい。装置１０６が、宅内装置、作業装置、ヘルスケア装置又は運搬機器であってもよい。装置の例に、家庭用電気製品（例えば、エアコン、ヒータ、換気装置、冷蔵庫、オーブン、コーヒーマシン、照明、ドアロック、電動ブラインド及びシェード、スタンディングデスク、リクライニングチェア、階段昇降機、音楽プレーヤ、テレビ、ホームシアタ、オーディオプレーヤ、浴室内用電気機器、掃除機など）、オフィス機器（例えば、プリンタ、コピー機、スキャナなど）、運搬機器（例えば、スクータ、自転車、自動車、車椅子など）、ヘルスケア監視装置（例えば血圧モニタ、血糖値測定器、脈拍測定器など）が含まれる。装置１０６が、ここに列挙されていない他の種類の装置を含んでもよい。支援ロボット１０２又は離隔しているユーザが装置１０６と対話できるように、装置１０６がインターフェースを含んでもよい。

ネットワーク１４０は、支援ロボット１０２、クライアント装置１１０、装置１０６及び支援プラットフォーム１２０間の通信インフラストラクチャを提供する。ネットワーク１４０は、ローカル・エリア・ネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＬＡＮ）、広域ネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＷＡＮ）、移動有線又は無線ネットワーク、プライベートネットワーク、仮想プライベートネットワーク、又はこれらの何らかの組み合わせを非限定的に含むいかなるネットワークであってもよい。ネットワーク１４０内のエンティティは、様々な通信プロトコルに基づく有線又は無線データリンクを使用してデータを送受信する。

図２は、一実施形態に基づく支援ロボット１０２の図である。支援ロボット１０２を、以降ロボット１０２としても言及する。ロボット１０２は、ユーザインターフェース１０２、センサシステム２１０、制御システム２２０及び動作システム２５０を含む。他の実施形態では、支援ロボット１０２が、明瞭化の目的で図示されていない様々な用途のための更なる、より少ない、又は異なる構成要素を含んでもよい。例えば、支援ロボット１０２は、ネットワーク１４０とインターフェースするインターフェースを含む。支援ロボット１０２が通信モジュールを含み、これを介して、支援ロボット１０２から離隔していてもよい別のユーザとユーザ２０１とが支援ロボット１０２を監視及び制御してもよい。他方のユーザが、支援ロボット１０２の動作、操作及びその他の物理的な動作を制御してもよい。他方のユーザが、支援ロボット１０２を通じ、映像、音声及びその他の通信モダリティを介してユーザ２０１と通信を行ってもよい。他方のユーザが、支援ロボット１０２を制御して、宅内装置及び健康器具などの他の装置にアクセスしてもよい。

ユーザインターフェース２０２は、ユーザ２０１とインターフェースする。ユーザインターフェース２０２は、ユーザ命令を受信して、更なる質問、応答、推奨される動作などの情報を提示する。いくつかの実施形態では、ユーザインターフェース２０２は、ユーザ２０１が支援ロボット１０２と言語対話することを可能にする音声ユーザインターフェースを含む。ユーザインターフェース２０２は、センサシステム２１０（音声センサ２１６など）から音声入力を受信し、音声入力を処理して、音声入力に含まれる命令又は要求を認識する。ユーザインターフェース２０２は、情報を発話へと合成し、発話をユーザ２０１に向けて出力する。ユーザインターフェース２０２はまた、入出力装置（キーボード、マウス、タッチパッドなど）又はクライアント装置１１０から入力を受信して、明瞭に表現されたグラフィカル出力をディスプレイ上に表示するグラフィック・ユーザ・インターフェースを含んでもよい。ユーザインターフェース２０２はまた、センサシステム２１０（画像センサ２１２など）からジェスチャ入力を受信し、ジェスチャ入力を処理して、ジェスチャ入力に含まれる命令又は要求を認識する、ジェスチャ・ユーザ・インターフェースを含んでもよい。ユーザインターフェース２０２がその他の種類のユーザインターフェースを含んでもよい。

センサシステム２１０は、ユーザ、ロボット２１０の周囲環境及びロボット１０２に関するデータを集合的に生成するセンサを含む。センサシステム２１０は、ユーザ２０１の画像をキャプチャする画像センサ２１２を含む。画像が二次元（２Ｄ）画像であっても、三次元（３Ｄ）画像であってもよい。画像が単色であっても多色であってもよい。画像を、波長４００〜７００ｎｍの範囲内の可視光によって生成しても、波長４００〜７００ｎｍの範囲外の非可視光によって生成してもよい。センサシステム２１０は、ロボット２１０の位置及び／又は動作を測定する位置センサ２１４を含む。位置センサ２１４の例に、並進動作（前／後、上／下、左／右）を測定する加速度計、回転動作（ピッチ、ヨー、ロールなど）を測定するジャイロスコープ、ロボット１０２の位置における地磁気を測定する磁力計、ロボット１２０の位置を測定する地理的位置センサ又はその他の適切な種類の動作を検出するセンサが含まれる。位置センサ２１４が、力、角速度及びロボット１０２の周囲環境のうちの１つ以上を測定する慣性測定ユニット（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ：ＩＭＵ）の一部であってもよい。ＩＭＵは、位置センサ２１４によって生成された測定結果及び／又は深度センサ２１６によって生成された深度情報に基づいて、ロボット１０２の位置データを算出する。

センサシステム２１０は、周囲環境内のユーザ２０１などの物体の深度情報を測定する深度センサ２１６を含む。深度情報は、距離及び相対的な位置を含む。深度センサ２１６が、超音波画像をキャプチャする超音波センサ、飛行時間（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ：ＴｏＦ）カメラ又はライダであってもよい。センサシステム２１０は、周囲環境内の音波をキャプチャするマイクロフォン２１７を含む。

センサシステム２１０が、その他のセンサ２１８を含んでもよい。その他のセンサ２１８が、ロボット１０２によって加えられる圧力の量を感知する圧力センサ、ロボット１０２と、ユーザ２０１などの別の物体との間の接触を検出する接触センサ、周囲環境内の音声及び音源方向をキャプチャするアレイマイクロフォン、周囲環境内の気圧をキャプチャする気圧計及び、周囲環境の周囲温度又はユーザ２０１などの別の物体の温度を測定する温度計を含んでもよい。その他のセンサ２１８が、周囲環境内の湿度を測定する湿度計及び、周囲環境内のガス濃度を測定するガス検出器を更に含んでもよい。その他のセンサ２１８が、筋肉データとしても言及される筋電図（ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙ：ＥＭＧ）信号、心拍データとしても言及される心電図（ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｐｈ）信号、脳波計（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈ：ＥＥＧ）信号、脳磁計（ｍａｇｎｅｔｏｅｎｃｅｐｈａｌｏｇｒａｐｈ：ＭＥＧ）信号及びその他の種類の信号などのユーザ２０１の生理学的データを測定する電極を含んでもよい。その他のセンサ２１６がその他の種類のセンサを含んでもよい。

センサシステム２１０の複数のセンサが、ロボット１０２の構成要素を封入するハウジング内に集積化されていてもよく、又はロボット１０２の物理的本体から離隔していてもよい。例えば、センサがユーザ２０１に取り付けられていても、環境内に配置されていてもよい。センサシステム２１０は、キャプチャされた情報を、更なる処理のためにユーザインターフェース２０２又は制御システム２２０に提供する。

制御システム２２０は、ロボット１０２を制御する。例えば、制御システム２２０は、ロボット１０２が実行する動作を決定する。動作の例に、ユーザ２０１に追従すること、ユーザ２０１の動作を監視すること、ユーザ２０１の命令を認識して、認識した命令に応答すること、ユーザ２０１の健康状態を判定して、判定した健康状態に応答すること、ユーザ２０１の意思を判定して、判定した意思に応答することが含まれる。制御システム２２０は、センサシステム２１０によって生成されたセンサデータを使用して、ユーザ２０１の健康状態を判定する。制御システム２２０は、センサシステム２１０によって生成されたセンサデータを使用して、ユーザ２０１の意思を判定する。様々な実施形態において、制御システム２２０は、センサからセンサデータを収集して分析する。

図示するように、制御システム２２０は、データ処理モジュール２２１、健康モジュール２２２、意思モジュール２２４、応答判定モジュール２２６、動作制御装置２２８、センサデータストア２２９、ユーザデータストア２３０、健康データストア２３１、意思データストア２３２及びモデルデータストア２３３を含む。制御システム２２０のいくつかの実施形態は、本明細書に記載のモジュールとは異なるモジュールを有する。同様に、上述とは異なる方法で、機能をこれらのモジュールに分散させてもよい。

データ処理モジュール２２１は、センサデータストア２２９に記憶された生のセンサデータを処理する。例えば、データ処理モジュール２２２は、画像を処理して、動作（例えば、歩く、座る、物をつかむ、ドアを開ける、犬を可愛がる、物を取るなど）、ジェスチャ（例えば、右手を振る、左手を振る、うなずく、腕をひねるなど）、身体部分（例えば、顔、手、腕など）、顔の表情（例えば、笑う、しかめる、泣く、驚く、怒るなど）、体位（例えば、両足で立つ、左足で立つ、右足で立つ、仰臥、伏臥、右側横臥、左側横臥など）、身体的外見（例えば、発疹などの皮膚の状態、たるんだ顔、衣服など）、物体（例えば、茶碗、犬、猫、スーツケース、鍵など）を認識してもよい。健康モジュール２２２は、音声信号を処理して、発話の内容（例えば、単語、フレーズ、要求など）、発話の特徴（例えば、高さ、音量、速度など）などを認識してもよい。別の一例として、健康モジュール２２２は、動作、ジェスチャ、顔、顔の表情、発話の内容（例えば、単語、フレーズ、要求など）、発話の特徴（例えば、高さ、音量、速度など）などの時間的情報（例えば、開始時刻、終了時刻、時間の長さなど）及び／又は位置情報（例えば、地理的位置、（居間、寝室、台所、トイレ、地下室、階段、事務所などの）建物内の区域、物体に対する相対的な位置など）を判定してもよい。更なる例として、健康モジュール２２２は、特定の動作、ジェスチャ、顔の表情、発話の内容などの時間的特性（例えば、ある時間間隔内の速度、時間の長さなど）を判定する。時間間隔及び時間の長さを、推奨されるガイドラインに従って、ユーザ２０１又は管理者が構成してもよい。時間間隔及び時間の長さが変化してもよい。

データ処理モジュール２２１が、ユーザ２０１の典型的な就寝時間やその他の習慣、ユーザ２０１の居場所の日常的な時間分布などの、ユーザ２０１の日課を判定してもよい。データ処理モジュール２２１が、モデルデータストア２３７内に記憶された１つ以上のデータ処理アルゴリズム、分類器、人工知能モデル、機械学習モデルを使用して、センサデータを上述のように処理してもよい。

健康モジュール２２２は、ユーザ２０１の健康状態を判定する。健康状態は、ユーザ２０１が健康である、不健康である、負傷している、又は健康を脅かされている可能性を含む。健康モジュール２２２は更に、医学的状態の種類を診断してもよい。医学的状態の例に、発熱、息切れ、消化不良、脱水、発作などが含まれる。健康モジュール２２２は、センサシステム２１０によって生成された生のセンサデータ及び／又はデータ処理モジュール２２１によって出力された処理済みのデータを使用して、健康状態を判定する。健康状態が、ユーザデータストア２３０内に記憶されているユーザデータによって更に判定されてもよい。

健康モジュール２２２は、ユーザ２０１が変則的に行動していることを示すセンサデータに基づいて、即ち、ユーザ２０１の行動が通常の行動から逸脱している場合に、ユーザ２０１が健康上の問題を有する可能性があることを検出してもよい。通常の行動は、一般集団に関するデータから判定される一般的な通常の行動であってもよく、又はユーザ２０１の行動履歴に関するデータから判定される固有の通常の行動であってもよい。健康モジュール２２２は、ユーザ２０１の行動とカテゴリ化された既知の状態とを比較することによって、ユーザ２０１の固有の健康状態を更に診断してもよい。例えば、ユーザが新たな通常ではない場所（例えば玄関など）で眠っている（又は意識を失っている）ことをセンサデータが示しており、かつユーザ２０１は通常は一箇所（例えば寝室など）で就寝する場合、健康モジュール２２２は、ユーザが卒倒した可能性があると判定する。ユーザが窓を開ける頻度が高すぎることをセンサデータが示している場合、健康モジュール２２２は、ユーザ２０１が息切れしている可能性があると判定する。ユーザがトイレに行く頻度が高すぎることをセンサデータが示している場合、健康モジュール２２２は、ユーザが消化不良を起こしているか、腎臓疾患にかかっている可能性があると判定する。ユーザ２０１が通常よりも長く眠っている（又は意識を失っている）ことをセンサデータが示している場合、健康モジュール２２２は、ユーザ２０１が発熱、炎症、貧血、甲状腺機能不全又は心臓疾患を起こしている可能性があると判定する。ユーザ２０１の体温が通常よりも高いことをセンサデータが示している場合、健康モジュール２２２は、ユーザ２０１が発熱しているか、炎症を起こしている可能性があると判定する。ユーザ２０１が咳をしていることをセンサデータが示している場合、健康モジュール２２２は、ユーザ２０１が風邪を引いている可能性があると判定する。ユーザ２０１が夜間に就寝時間の間に徘徊していることをセンサデータが示している場合、健康モジュール２２２は、ユーザが夢遊病にかかっている可能性があると判定する。ユーザ２０１がエアコンの温度をいつもの正常な温度よりも高く設定していることをセンサデータが示している場合、健康モジュール２２２は、ユーザ２０１が血管系の問題を起こしている可能性があると判定する。ユーザ２０１がいつも実施する活動を失念していることをセンサデータが示している場合、健康モジュール２２２は、ユーザ２０１が認知症を発症している可能性があると判定する。ユーザ２０１が鼻をかんでいることをセンサデータが示している場合、健康モジュール２２２は、ユーザ２０１が風邪を引いているか、アレルギーを発症している可能性があると判定する。

健康モジュール２２２は、ユーザ２０１が予期しない行動を取っていることを示すセンサデータに基づき、ユーザ２０１が負傷している可能性があると判定してもよい。健康モジュール２２２は、ユーザ２０１の行動とカテゴリ化された既知の状態とを比較することにより、ユーザ２０１の固有の健康状態を更に診断してもよい。ユーザ２０１が悲鳴を上げて倒れたことをセンサデータが示している場合、健康モジュール２２２は、ユーザ２０１が足首をねんざしたか、頭部に怪我を負った可能性があると判定する。ユーザ２０１が息切れを起こして卒倒したことをセンサデータが示している場合、健康モジュール２２２は、ユーザ２０１が心調律障害を起こしている可能性があると判定する。ユーザ２０１の発話の癖の変化又は顔面の非対称性が見られる場合、健康モジュール２２２は、ユーザ２０１が脳卒中を起こしている可能性があると判定する。ユーザ２０１に黄疸が生じていることをセンサデータが示している場合、健康モジュール２２２は、ユーザ２０１が腎臓疾患又は肝炎を起こしている可能性があると判定する。

健康モジュール２２２は、環境が安全ではないことをセンサデータが示していることに基づいて、ユーザ２０１の健康が脅かされていることを検出してもよい。一酸化炭素濃度が上昇しているか、あるいは腐敗物又は黴が存在することをセンサデータが示している場合、健康モジュール２２２は、環境がユーザ２０１にとって安全ではないと判定する。

健康モジュール２２２は、健康状態を判定するために、センサデータを１つ以上の機械学習モデルに提供する。機械学習モデルには、１つ以上の人工知能モデル、分類器（例えば、ロジスティック分類器、サポートベクターマシン及びマルチクラス分類など）、決定木、ニューラルネットワーク、ディープラーニングモデル、又はこれらの任意の組み合わせが含まれる。機械学習モデルは、健康状態とセンサデータとの間の相関を含む。センサデータは、身体状態特徴、精神状態特徴、行動特徴、環境特徴などを含む。いくつかの実施形態では、機械学習モデルは、センサデータに含まれる１つ以上の特徴と健康状態との間の相関を含む。例えば、ロジスティック分類器のモデルパラメータは、センサデータに含まれる異なる特徴に対応するロジスティック関数の係数を含む。

別の一例として、機械学習モデルは、節はセンサデータに含まれる特徴の条件付き検定に対応し、葉は分類結果（即ち、１つ以上の特徴の有無）に対応する有向非周期グラフである決定木モデルを含む。例示的な決定木のパラメータには、（１）決定木の節と葉との間の接続を記述する隣接行列、（２）節ごとの比較対象の特徴、比較閾値及び比較の種類（例えば、より大きい、等しい、より小さいなど）及び／又は（３）どの健康状態が決定木のどの葉に対応するのかを示す葉パラメータが含まれる。

健康モジュール２２２は、訓練データを使用して、（例えばモデルパラメータを決定するなど）機械学習モデルを生成する。訓練データは、特徴でラベル付けされた一連の生の又は分析されたセンサデータを含む。例えば、訓練データは、特徴が（例えば健康モジュール２２２により、ユーザ２０１により、管理者により、専門家により、又はこれらの組み合わせにより）既に特定されているセンサデータである。健康モジュール２２２は、センサデータに関連する健康状態を予測するモデルパラメータを決定する。例えば、健康モジュール２２２は、判定した健康状態と訓練データに示される健康状態との一致率を示す目的関数を求める。健康モジュール２２２は、目的関数を最大化するようにパラメータを変更することにより、予測される健康状態と実際の健康状態との差を小さくする。

ラベル付けされた訓練データの一例を図４に示す。データは、各行がデータのレコード及び関連するラベルである表形式で整理されている。列４０２〜列４０８は、異なるデータタイプであり、列４０９はラベルである。ラベルは、一般的に入手可能な情報に従って作成されてもよく、又は個人的な情報に従って作成されてもよい。一般的に入手可能な検索結果の例には、年齢、民族及び性別などの統計的情報が類似している複数の個人の正常な体温範囲、正常な心拍範囲、正常な血圧範囲、正常な体重範囲が含まれる。個人的な情報の例には、通常の就寝時間、体重履歴などのユーザの習慣又はスケジュールが含まれる。例えば通常の就寝時間及びその他の習慣などの一部の訓練データは、ロボット１０２がユーザ２０１と対話する最初の数日間で構築され、継続的／定期的に更新されてもよい。ロボット１０２が、ユーザ２０１の正常な活動場所の日常的な時間分布を作成してもよい。例えば、ユーザ２０１は、平日午前６〜８時及び午後６〜８時の間は台所で、平日午後８〜１０時の間は居間で、平日午後１０時〜午前６時の間は寝室で過ごす。

健康モジュール２２２は更に、例えばユーザインターフェース２０２及び／又はセンサシステム２１０を介して受信した情報を使用して、機械学習モデル（例えば、機械学習モデルのモデルパラメータなど）を更新する。例えば、ロボット１０２がセンサデータに基づいて健康状態を判定した後に、ロボット１０２は、ユーザ２０１に健康状態を確認する。ユーザ２０１の肯定的なフィードバック（例えば確認など）は、機械学習モデルが正確であることを示し、否定的なフィードバック（例えば不承認など）は、機械学習モデルを改善する必要があることを示す。

意思モジュール２２４は、ユーザの意思を判定する。本明細書に記載の意思には、仕事を完了しようとするユーザの意思又は計画、仕事を完了する必要性又は、いつも行っている完了すべき仕事が含まれる。意思モジュール２２４は、センサシステム２１０によって生成された生のセンサデータ及び／又はデータ処理モジュール２２１によって出力された処理済みのデータを使用して、意思を判定する。意思が、ユーザデータストア２３０に記憶されたユーザデータを更に使用すること及び／又はインターネットを検索することによって判定されてもよい。

意思モジュール２２４は、ユーザ２０１が現在行っている活動、ユーザ２０１の日課及びコンテキスト情報を認識することによって、ユーザの意思を判定してもよい。一例として、意思モジュール２２４は、ユーザ２０１がある物体を指差している場合、ユーザ２０１が物体に対する動作（例えば、水差しを取る、箱を持ち上げる、皿を運ぶなど）を実行することを意図していると判定する。意思モジュール２２４は、ユーザ２０１が朝に起床している場合、ユーザがコーヒーを飲み、シャワーを浴びる可能性があると判定する。意思モジュール２２４は、ユーザ２０１が夜に歯磨きを始めた場合、ユーザ２０１が眠くなっており、ドアを施錠しようとするであろうと判定する。意思モジュール２２４は、ユーザ２０１が朝食を済ませて仕事着に着替えている場合、ユーザ２０１が出勤しようとしており、ラップトップを必要とする可能性があると判定する。意思モジュール２２４は、時刻がユーザのいつもの在宅時間に近づいている場合、ユーザが間もなく帰宅し、エアコンをオンにする可能性があると判定する。

意思モジュール２２４は、ユーザ２０１が仕事後に冷蔵庫から食材を取り出している場合、ユーザ２０１が夕食を調理し始めており、レシピを必要とする可能性があると判定する。意思モジュール２２４は、ユーザ２０１がコンピュータの前であくびをしている場合、ユーザ２０１が仕事中であり、コーヒーを必要とする可能性があると判定する。意思モジュール２２４は、ユーザ２０１がテレビをオンにした場合、ユーザ２０１がテレビを観ようとしており、番組推薦又は軽食を必要とする可能性があると判定する。意思モジュール２２４は、ユーザ２０１が最後に外出する人物である場合、家が無人となり、ユーザ２０１が家電製品をオフにすることを必要とする可能性があると判定する。意思モジュール２２４は、ユーザ２０１がある部屋で靴を履き、別の部屋で鍵を手にした場合、ユーザ２０１が外出しようとしていると判定する。意思モジュール２２４は、雨が降ることをセンサデータが示している場合、ユーザ２０１が傘を必要とする可能性があると判定する。意思モジュール２２４は、ある特定の食品又は日用品の備蓄が少ないことをセンサデータが示している場合、ユーザ２０１がその食品又は日用品を補充する可能性があると判定する。意思モジュール２２４は、ユーザ２０１がいつも注文する商品に関する宣伝が存在する場合、ユーザ２０１がその宣伝を知ることに興味を持つ可能性があると判定する。

加えて、意思モジュール２２４は、ペットのいつもの給餌スケジュールが忘れられている場合、ペットが空腹であり、給餌を必要としていると判定する。意思モジュール２２４は、ユーザ２０１がある植物に毎週水やりをする場合、ユーザ２０１がその植物に水やりをする可能性があると判定する。意思モジュール２２４は、衣類が家／アパートメント中に散乱していることをセンサデータが示している場合、ユーザ２０１が家の掃除をする必要がある可能性があると判定する。意思モジュール２２４は、洗濯かごが一杯であることをセンサデータが示している場合、ユーザ２０１が洗濯をする必要がある可能性があると判定する。意思モジュール２２４は、食器洗い機が一杯であるか、もうすぐ一杯になりそうである場合、ユーザ２０１が食器を洗う必要がある可能性があると判定する。意思モジュール２２４は、人物が汗をかいているか、又は背中を丸めて手をこすり合わせている場合、エアコンを調節する必要があると判定する。意思モジュール２２４は、ある特定の食品がアレルゲンを含むことをセンサデータが示している場合、その食品がユーザ２０１のアレルギーを引き起こす可能性があると判定する。

意思モジュール２２２は、意思を判定するために、センサデータを１つ以上の機械学習モデルに提供してもよい。機械学習モデルには、１つ以上の人工知能モデル、分類器（例えば、ロジスティック分類器、サポートベクターマシン及びマルチクラス分類など）、決定木、ニューラルネットワーク、ディープラーニングモデル、又はこれらの任意の組み合わせが含まれる。機械学習モデルは、意思とセンサデータとの間の相関を含む。センサデータは、活動特徴、スケジュール特徴、行動特徴、環境特徴などを含む。いくつかの実施形態では、機械学習モデルは、センサデータに含まれる１つ以上の特徴と意思との間の相関を含む。例えば、ロジスティック分類器のモデルパラメータは、センサデータに含まれる異なる特徴に対応するロジスティック関数の係数を含む。

別の一例として、機械学習モデルは、節はセンサデータに含まれる特徴の条件付き検定に対応し、葉は分類結果（即ち、１つ以上の特徴の有無）に対応する有向非周期グラフである決定木モデルを含む。例示的な決定木のパラメータには、（１）決定木の節と葉との間の接続を記述する隣接行列、（２）節ごとの比較対象の特徴、比較閾値及び比較の種類（例えば、より大きい、等しい、より小さいなど）及び／又は（３）どの意思が決定木のどの葉に対応するのかを示す葉パラメータが含まれる。

意思モジュール２２４は、訓練データを使用して、（例えばモデルパラメータを決定するなど）機械学習モデルを生成する。訓練データは、特徴でラベル付けされた一連の生の又は分析されたセンサデータを含む。例えば、訓練データは、特徴が（例えば健康モジュール２２４により、ユーザ２０１により、管理者により、専門家により、又はこれらの組み合わせにより）既に特定されているセンサデータである。意思モジュール２２４は、センサデータに関連する意思を予測するモデルパラメータを決定する。例えば、意思モジュール２２２は、判定した意思と訓練データに示される意思との一致率を示す目的関数を求める。健康モジュール２２２^５は、目的関数を最大化するようにパラメータを変更することにより、予測される意思と実際の意思との差を小さくする。

ラベル付けされた訓練データの一例を図６に示す。データは、各行がデータのレコード及び関連するラベルである表形式で整理されている。列６０２〜列６０８は、異なるデータタイプであり、列６０８はラベルである。ラベルは、一般的に入手可能な情報に従って作成されてもよく、又は個人的な情報に従って作成されてもよい。一般的に入手可能な検索結果の例には、ある状況における人間の典型的な行動が含まれる。個人的な情報の例には、通常の就寝時間、勤務時間、場所のスケジュールなどのユーザの習慣又はスケジュールが含まれる。例えば通常の就寝時間及びその他の習慣などの一部の訓練データは、ロボット１０２がユーザ２０１と対話する最初の数日間で構築され、継続的／定期的に更新されてもよい。ロボット１０２が、ユーザ２０１の正常な活動場所の日常的な時間分布を作成してもよい。例えば、ユーザ２０１は、平日午前６〜８時及び午後６〜８時の間は台所で、平日午後８〜１０時の間は居間で、平日午後１０時〜午前６時の間は寝室で過ごす。

意思モジュール２２４は更に、例えばユーザインターフェース２０２を介して受信した情報を使用して、機械学習モデル（例えば、機械学習モデルのモデルパラメータなど）を更新する。例えば、ロボット１０２がセンサデータに基づいて意思を判定した後に、ロボット１０２は、ユーザ２０１に意思を確認する。ユーザ２０１の肯定的なフィードバック（例えば確認など）は、機械学習モデルが正確であることを示し、否定的なフィードバック（例えば不承認など）は、機械学習モデルを改善する必要があることを示す。

応答決定モジュール２２６は、ロボット１０２の応答を、ユーザの健康状態に基づいて、又はユーザの意思に基づいて決定する。例えば、ユーザ２０１が健康上の問題を有する可能性があると健康モジュール２２２が判定した場合、応答決定モジュール２２６は、ユーザ２０１に対し、ユーザ２０１が支援を必要としているか否かを確認すること又は支援を申し出ることを決定する。ユーザ２０１が肯定した場合、応答決定モジュール２２６は、第三者（例えば、医師、緊急連絡先、最寄りの別のユーザなど）に連絡すること及び／又は支援を提供することを決定する。例えば、応答決定モジュール２２６は、ユーザ２０１に対して更なる入力を求め、それにより、ユーザ２０１を診断し、及び／又は、薬、水、ティッシュ又はその他の用品を取ってくることを決定する。応答決定モジュール２２６は、最寄りの別の個人に接近してコミュニケーションを取り、及び／又は、電話かテキストを使用して別の個人を呼ぶ。ユーザ２０１が負傷していると健康モジュール２２２が判定した場合、応答決定モジュール２２６は、ユーザ２０１に対して救急車を呼ぶべきか否かを確認すること及び／又は、各所に救急通報を行うことを決定する。ユーザ２０１が健康上の危険に直面していると健康モジュール２２２が判定した場合、応答決定モジュール２２６は、ユーザ２０１に対して健康上の危険（例えば、一酸化炭素、黴など）について警告し、更なる指示を求める。

応答決定モジュール２２６は、ユーザ２０１の確認、指示及び診断などの情報をセンサデータと更に関連付け、情報をユーザデータストア２３０及び健康データストア２３２に格納してもよい。制御システム２２０が、ロボット又は医療専門家による後の分析のために、健康状態の毎日の観察結果を記録してもよい。

応答決定モジュール２２６は、仕事を完了させて、判定された意思を更に進捗させること及び／又はユーザに確認を行って更なる指示を受け取ることを決定してもよい。例えば、ユーザ２０１が物体に対する動作（例えば、水筒を取る、箱を持ち上げる、皿を運ぶなど）を実行することを意図していると意思モジュール２２４が判定した場合、応答決定モジュール２２６は、その動作を実行することを決定する。ユーザが日課（例えば、起床する、就寝する、出勤する、帰宅する、夕食を作る、テレビを観る、仕事をするなど）を行っていると意思モジュール２２４が判定した場合、応答決定モジュール２２６は、支援（例えば、コーヒーを淹れる、全てのドアを施錠する、家庭用機器をオン又はオフにする、ラップトップを持ってくる、レシピを提供する、テレビ番組を推薦する、軽食を持ってくるなど）を申し出ること又は支援を提供することを決定する。スケジュール（例えば、給餌スケジュール、水やりスケジュール、発注スケジュール、洗濯スケジュールなど）が入っている時刻であると意思モジュール２２４が判定した場合、応答決定モジュール２２６は、支援（例えば、ペットに給餌する、植物に水やりをする、食品ストック又は日用品を発注するなど）を申し出ること又は支援を提供することを決定する。ユーザがある特定の物品（例えば、傘、宣伝、ニューリリースなど）を必要とするか、又はある仕事（例えば、洗濯をする、食器を洗う、エアコンを調節するなど）を行うことを必要とする可能性があると意思モジュールが判定した場合、応答決定モジュール２２６は、支援（例えば、傘を持ってくる、宣伝を知らせる、ニューリリースを知らせる、洗濯かご又は洗濯機に衣服を入れる、食洗機の電源を入れる、食洗機に食器を入れる、食洗機をスタートさせる、食洗機から食器を出すなど）を申し出ること又は支援を提供することを決定する。

制御システム２２０は、応答決定モジュール２２６によって決定された応答に基づいて反応するようにロボット１０２を制御する。動作制御装置２２６^２は、制御システム２２０によって決定された応答に基づいて動作システム２５０が実行する一連の動作を決定する。例えば、ある特定の場所に行くことを応答決定モジュール２２６が決定した場合、動作制御装置２２８は、移動システム２５４（例えば、車輪、脚、トレッドなど）をユーザ２０１の場所へと駆動する命令を生成する。ある動作を実行することを応答決定モジュール２２６が決定した場合、動作制御装置は、ロボットアーム２５２を駆動してその動作を実行させる命令を生成する。制御システム２２０はまた、装置をオン又はオフにする、クライアント装置１１０を介してユーザ２０１に警告を送信する、又は第三者に警告を送信するために、装置１０６又はクライアント装置１１０と通信を行ってもよい。

ユーザデータストア２３０は、ユーザ２０１に関するデータを記憶する。ユーザデータには、例えば、ユーザの個人的な情報（例えば、年齢、身長、体重、性別、顔など）、健康情報（例えば、病歴、健康記録、アレルギーなど）、行動情報（例えば、歩く速さ、話す速さ、姿勢、日課、習慣、位置など）、連絡先情報（例えば、電話番号、電子メールアドレス、住所など）、嗜好（例えば、食べ物、本、趣味など）、所有する衣服（例えば、普段着、作業着、仕事着、特別な場合用など）が含まれる。

健康データストア２３１は、疾患及び関連する症状を記述する情報、人間行動及び関連する医学的状態を記述する情報、負傷及び関連する人間行動を記述する情報、精神病及び関連する身体的発現を記述する情報などの健康状態データを記憶する。意思データストア２３２は、人間行動及び関連する仕事を記述する情報、人間行動及び関連する目的を記述する情報、環境及びその環境における関連する共通の人間の反応を記述する情報、コンテキスト及びそのコンテキストにおける関連する共通の人間の反応を記述する情報などの意思データを記憶する。モデルデータストア２３３は、ロボット１０２によって使用される機械学習モデルを記憶する。機械学習モデル１０２が、ロボット１０２によって訓練されてもよい。機械学習モデル１０２が、支援プラットフォーム１２０によって更に訓練され、ロボット１０２に配備されてもよい。

動作システム２５０は、動作を実行する物理的な構成要素を含む。例えば、ロボットアーム２５２が、物体又は人間に向けて動作を実行してもよい。動作の例に、接触する、つかむ、持つ、動かす、離す、揺り動かす、振る、持ち上げる、落とす、置く、回す、ひねるなどが含まれる。ロボットアーム２５２が多様な動作を行ってもよい。移動システム２５４が動作を実行することにより、ロボットアシスタント１０２を目的の場所まで移動させてもよい。動作システム２５０が、アクチュエータやモータなどのその他の構成要素を含んでもよい。

図３は、一実施例に基づく、ユーザの健康状態を判定する制御システム２２０を説明するフロー図である。プロセス３００は、制御システム２２０が訓練済みの機械学習モデルを使用する動作フェーズ３０１と、制御システム２２０が機械学習モデルを訓練する訓練フェーズ３５０とを含む。制御システム２２０は、センサデータをセンサシステム２１０から受信する（３０２）。制御システム２２０は、センサデータを１つ以上の機械学習モデル３０６に提供する（３０４）。制御システムが、センサデータを機械学習モデルに提供する前にセンサデータを処理してもよい。制御システムが、センサデータの一部のみを機械学習モデルに提供してもよい。制御システム２２０は、１つ以上の機械学習モデル３０６の出力を使用して、ユーザ健康状態を判定する（３０８）。制御システム２２０は、健康状態が認識された健康状態であるか否かを判定する（３１０）。健康状態が、認識された健康状態のうちの１つである場合には、制御システム２２０は動作を実行する（３１２）。健康状態が、認識された健康状態のうちの１つではない場合には、制御システム２２０は、インターネットを検索するか、ユーザに更なる情報を求める確認を行うか、医療専門家に連絡する。

訓練側において、制御システム２２０は、ラベル付けされたデータを含む１つ以上の訓練セットを受信する（３５２）。制御システム２２０は、機械学習モデルによるセンサデータと健康状態との間の相関の判定のために、訓練セットを１つ以上の機械学習モデルに提供する（３５４）。制御システム２２０は、機械学習モデルを使用する前に、訓練済みの機械学習モデルを検証する。例えば、制御システム２２０は、訓練済みの機械学習モデルの出力が正確になるまで、訓練済みの機械学習モデルの検証データセットを提供する。制御システム２２０が、機械学習モデルを動作させながら機械学習モデルを訓練してもよい。

図５は、一実施形態に基づく、ユーザの意思を判定する制御システム２２０を説明するフロー図である。プロセス５００は、制御システム２２０が訓練済みの機械学習モデルを使用する動作フェーズ５０１と、制御システム２２０が機械学習モデルを訓練する訓練フェーズ５５０とを含む。制御システム２２０は、センサデータをセンサシステム２１０から受信する（５０２）。制御システム２２０は、センサデータを１つ以上の機械学習モデル５０６に提供する（５０４）。制御システムが、センサデータを機械学習モデルに提供する前に、センサデータを処理してもよい。制御システムが、センサデータの一部のみを機械学習モデルに提供してもよい。制御システム２２０は、１つ以上の機械学習モデル５０６の出力を使用して、ユーザの意思を判定する（５０８）。制御システム２２０は、意思に従って動作を実行する（３１２）。

訓練側において、制御システム２２０は、ラベル付けされたデータを含む１つ以上の訓練セットを受信する（５５２）。制御システム２２０は、機械学習モデルによるセンサデータと意思との間の相関の判定のために、訓練セットを１つ以上の機械学習モデルに提供する（５５４）。制御システム２２０は、機械学習モデルを使用する前に、訓練済みの機械学習モデルを検証する（５５６）。例えば、制御システム２２０は、訓練済みの機械学習モデルの出力が正確になるまで、訓練済みの機械学習モデルの検証データセットを提供する。制御システム２２０が、機械学習モデルを動作させながら機械学習モデルを訓練してもよい。

本発明の実施形態の以上の記載は、説明を目的としてなされたものであり、全てを網羅している訳ではなく、また、開示されるそのままの形態に本発明を限定するものでもない。様々な修正及び変形を加えることも上記の開示の観点から可能であることは、当業者に理解されよう。

本明細書の一部では、本発明の実施形態を情報処理アルゴリズム及び記号的表現で説明している。これらのアルゴリズムによる説明及び表現は、データ処理分野における当業者がその作業内容を他の当業者に効率的に伝達するために、通常に使用されているものである。これらの処理は、関数、演算又は論理の形で記載されているが、コンピュータプログラム又は同等の電気回路、マイクロコードなどによって実装されるものとして理解される。更に、場合によっては、これらの処理装置を、一般性を失うことなくモジュールとして言及することが適切であることも証明されている。記載の処理及び関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア又は任意のこれらの組み合わせの形で具現化されてもよい。

本明細書に記載の任意の工程、動作又は処理を、１つ以上のハードウェア又はソフトウェアモジュールを単独で又は他の装置と組み合わせて使用して実行又は実施してもよい。一実施形態では、ソフトウェアモジュールは、本明細補に記載の任意の又は全ての工程、動作又は処理を実行するためにコンピュータプロセッサによって実行可能なコンピュータプログラムコードを含むコンピュータ可読非一時的媒体を有するコンピュータプログラム製品を使用して実装される。

本発明の実施形態は、本明細書に記載の演算処理によって製造される製品に関連してもよい。そのような製品は、演算処理から求められ、非一時的な有形のコンピュータ可読記憶媒体に記憶されている情報を含んでもよく、また、本明細書に記載のコンピュータプログラム製品又はその他のデータの組み合わせの任意の実施形態を含んでもよい。

最後に、本明細書で使用する用語は、発明の主題を限定又は制限するためではなく、分かりやすく教示することを主たる目的として選択されている。従って、本発明の範囲は、本明細書の詳細な説明によってではなく、本出願の任意の請求項によってのみ限定されることを意図されている。このように、本発明の実施形態の開示は、以下の請求項に記載の発明の範囲を限定的ではなく説明するものであることを意図されている。

Claims (40)

1. ロボット装置であって、
   複数のセンサであって、
   個人の一連の１つ以上の画像をキャプチャし、
   前記個人の音声信号を記録し、
   前記個人の周囲環境の環境データを生成する、
   ように構成された複数のセンサと、
   プロセッサと、
   メモリであって、前記プロセッサに、
   前記個人によって実行された一連の動作を、前記個人の前記一連の１つ以上の画像から認識することと、
   前記個人からの言語的内容を前記音声信号から認識することと、
   前記個人によって実行された前記一連の動作、前記個人からの前記言語的内容及び前記環境データを分析することにより、健康状態を判定することと、
   前記健康状態が所定の一連の健康状態に含まれると判定することに応答して、前記ロボット装置が実行する一連の動作を、前記健康状態に基づいて決定することと、
   を実行させるように構成された命令を記憶しているメモリと、
   を備える、ロボット装置。
2. 前記健康状態を判定することは、前記個人によって実行された前記一連の動作、前記個人からの前記言語的内容及び前記環境データを機械学習モデルに提供することを含み、前記機械学習モデルは前記健康状態を認識するように訓練される、請求項１に記載のロボット装置。
3. 前記機械学習モデルは、参照健康状態を記述するラベルを含む訓練データを使用することによって訓練される、請求項２に記載のロボット装置。
4. 前記健康状態を判定することは、前記一連の動作が複数の所定の動作に含まれるか否かを判定することを含み、所定の動作は所定の健康状態に対応する、請求項１に記載のロボット装置。
5. 前記健康状態を判定することは、前記言語的内容が複数の言語的内容に含まれるか否かを判定することを含み、所定の言語的内容は所定の医学的状態に対応する、請求項１に記載のロボット装置。
6. 前記個人によって実行された前記一連の動作、前記個人からの前記言語的内容及び前記環境データを分析することは、前記一連の動作のそれぞれの時間的特性を判定することを含み、前記健康状態は、少なくとも前記時間的特性に基づいて判定される、請求項１に記載のロボット装置。
7. 前記環境データは、周囲温度、時刻、場所、物体、前記個人に対する前記物体の位置及びガス濃度のうちの少なくとも１つを含む、請求項１に記載のロボット装置。
8. 前記命令は、前記プロセッサに、
   前記個人を支援するためのユーザコマンドをクライアント装置から受信することと、
   前記ロボット装置によって実行された複数の動作のうちの第２の動作を、前記ユーザコマンドに従って決定することと、
   を実行させるように更に構成されている、請求項１に記載のロボット装置。
9. 前記個人によって実行された前記一連の動作、前記個人からの前記言語的内容及び前記環境データを分析することは、
   コンテキストを判定することと、
   前記一連の動作が前記コンテキストに対応する行動ルーチンから逸脱していると判定することに応答して、前記健康状態を、前記個人が潜在的な健康上の問題を有する可能性があるとして判定することと、
   を含む、請求項１に記載のロボット装置。
10. 前記個人によって実行された前記一連の動作、前記個人からの前記言語的内容及び前記環境データを分析することは、
    前記ユーザが予期しない行動を取っていることを示す前記一連の動作又は前記言語的内容を判定することに応答して、前記個人が負傷している可能性があると判定することを更に含む、
    請求項１に記載のロボット装置。
11. 前記一連の動作は、前記個人に追従すること、前記個人に警告すること、前記個人を監視すること、前記個人を支援すること及び警告を別のユーザに送信することのうちの少なくとも１つを含む、請求項１に記載のロボット装置。
12. 前記一連の動作は、
    前記健康状態を前記個人に提供することと、
    前記個人から確認を受け取ることと、
    前記確認、前記個人によって実行された前記一連の動作、前記個人からの前記言語的内容及び前記環境データを分析することによって、更新された健康状態を判定することと、
    を含む、請求項１に記載のロボット装置。
13. 前記一連の動作は、
    前記健康状態を前記個人に提供することと、
    前記個人から確認を受け取ることと、
    前記個人からの前記確認に基づいて、前記機械学習モデルを更新することと、
    を含む、請求項２に記載のロボット装置。
14. 少なくともロボットアーム及び移動システムを更に備える、請求項１１に記載のロボット装置。
15. 前記複数のセンサは、カメラ、マイクロフォン、位置センサ、深度センサ、圧力センサ、接触センサ、気圧計、温度計、湿度計及びガス検出器のうちの少なくとも１つを含む、請求項１１に記載のロボット装置。
16. 方法であって、
    ロボット装置により、個人の一連の１つ以上の画像をキャプチャすることと、
    前記ロボット装置により、前記個人の音声信号を記録することと、
    前記ロボット装置により、前記個人の周囲環境の環境データを生成することと、
    前記ロボット装置により、前記個人によって実行された一連の動作を、前記個人の前記一連の１つ以上の画像から認識することと、
    前記ロボット装置により、前記個人からの言語的内容を前記音声信号から認識することと、
    前記ロボット装置により、前記個人によって実行された前記一連の動作、前記個人からの前記言語的内容及び前記環境データを分析することによって、健康状態を判定することと、
    前記健康状態が一連の所定の健康状態に含まれると判定することに応答して、前記ロボット装置により、前記健康状態に基づく一連の動作を実行することと、
    を含む方法。
17. 前記健康状態を判定することは、前記個人によって実行された前記一連の動作、前記言語的内容及び前記環境データを機械学習モデルに提供することを含み、前記機械学習モデルは前記健康状態を認識するように訓練されている、請求項１６に記載の方法。
18. 参照健康状態を記述するラベルを含む訓練データを使用することによって前記機械学習モデルを訓練することを更に含む、請求項１７に記載の方法。
19. 前記個人によって実行された前記一連の動作、前記個人からの前記言語的内容及び前記環境データを分析することは、前記一連の動作のそれぞれの時間的特性を判定することを含み、前記健康状態は、少なくとも前記時間的特性に基づいて判定される、請求項１６に記載の方法。
20. 前記個人によって実行された前記一連の動作、前記個人からの前記言語的内容及び前記環境データを分析することは、
    コンテキストを判定することと、
    前記一連の動作が前記コンテキストに対応する行動ルーチンから逸脱していると判定することに応答して、前記健康状態を、前記個人が潜在的な健康上の問題を有する可能性があるとして判定することと、
    を含む、請求項１６に記載の方法。
21. ロボット装置であって、
    複数のセンサであって、
    個人の一連の１つ以上の画像をキャプチャし、
    前記個人の音声信号を記録し、
    前記個人の周囲環境の環境データを生成する、
    ように構成された複数のセンサと、
    プロセッサと、
    メモリであって、前記プロセッサに、
    前記個人によって実行された一連の動作を、前記個人の前記一連の１つ以上の画像から認識することと、
    前記個人からの言語的内容を前記音声信号から認識することと、
    前記個人によって実行された前記一連の動作、前記個人からの前記言語的内容及び前記環境データを分析することにより、前記個人の意思を判定することと、
    前記個人の意思に対応する１つ以上の仕事を特定することと、
    前記ロボット装置が実行する一連の動作を、前記１つ以上の仕事に基づいて決定することと、
    を実行させるように構成された命令を記憶しているメモリと、
    を備える、ロボット装置。
22. 前記個人の意思を判定することは、前記個人によって実行された前記一連の動作、前記言語的内容及び前記環境データを機械学習モデルに提供することを含み、前記機械学習モデルは前記個人の意思を認識するように訓練される、請求項２１に記載のロボット装置。
23. 前記機械学習モデルは、参照意思を記述するラベルを含む訓練データを使用することによって訓練される、請求項２２に記載のロボット装置。
24. 前記意思を判定することは、前記一連の動作が複数の所定の動作に含まれるか否かを判定することを含み、所定の動作は所定の意思に対応する、請求項２１に記載のロボット装置。
25. 前記意思を判定することは、前記言語的内容が複数の所定の言語的内容に含まれるか否かを判定することを含み、所定の言語的内容は所定の意思に対応する、請求項２１に記載のロボット装置。
26. 前記個人によって実行された前記一連の動作、前記個人からの前記言語的内容及び前記環境データを分析することは、前記一連の動作のそれぞれの時間的特性を判定することを含み、前記意思は少なくとも前記時間的特性に基づいて判定される、請求項２１に記載のロボット装置。
27. 前記環境データは、周囲温度、時刻、場所、物体及び、前記個人に対する前記物体の位置のうちの少なくとも１つを含む、請求項２１に記載のロボット装置。
28. 前記個人によって実行された前記一連の動作、前記個人からの前記言語的内容及び前記環境データを分析することは、
    前記一連の動作が前記コンテキストに対応する行動スケジュールに類似していると判定することに応答して、前記意思を前記行動ルーチンに基づいて判定することを含む、
    請求項２１に記載のロボット装置。
29. 前記行動スケジュールを、前記個人の動作履歴、前記個人の言語的内容及び環境データから決定することを更に含む、請求項２８に記載のロボット装置。
30. 前記一連の動作は、前記個人に追従すること、前記個人に警告すること、前記個人を監視すること、前記個人を支援すること及び警告を別のユーザに送信することのうちの少なくとも１つを含む、請求項２１に記載のロボット装置。
31. 前記１つ以上の仕事は、物体を取ってくること、装置をオンにすること、装置をオフにすること、インターネットを検索すること及び、情報を提供することのうちの少なくとも１つを含む、請求項２１に記載のロボット装置。
32. 前記一連の動作は、
    前記１つ以上の仕事を前記個人に提供することと、
    前記個人から確認を受け取ることと、
    前記個人からの前記確認に基づいて、前記機械学習モデルを更新することと、
    を含む、請求項２２に記載のロボット装置。
33. 少なくともロボットアーム及び移動システムを更に備える、請求項３１に記載のロボット装置。
34. 前記複数のセンサは、カメラ、マイクロフォン、位置センサ、深度センサ、圧力センサ、接触センサ、気圧計、温度計、湿度計及びガス検出器のうちの少なくとも１つを含む、請求項３１に記載のロボット装置。
35. 方法であって、
    ロボット装置により、個人の一連の１つ以上の画像をキャプチャすることと、
    前記ロボット装置により、前記個人の音声信号を記録することと、
    前記ロボット装置により、前記個人の周囲環境の環境データを生成することと、
    前記ロボット装置により、前記個人によって実行された一連の動作を、前記個人の前記一連の１つ以上の画像から認識することと、
    前記ロボット装置により、前記個人からの言語的内容を前記音声信号から認識することと、
    前記ロボット装置により、前記個人によって実行された前記一連の動作、前記個人からの前記言語的内容及び前記環境データを分析することによって、前記個人の意思を判定することと、
    前記ロボット装置により、前記個人の意思に対応する１つ以上の仕事を特定することと、
    前記ロボット装置により、前記ロボット装置が実行する一連の動作を、前記１つ以上の仕事に基づいて決定することと、
    を含む方法。
36. 前記個人の意思を判定することは、前記個人によって実行された前記一連の動作、前記言語的内容及び前記環境データを機械学習モデルに提供することを含み、前記機械学習モデルは、前記個人の意思を認識するように訓練される、請求項３５に記載の方法。
37. 参照意思を記述するラベルを含む訓練データを使用することによって前記機械学習モデルを訓練することを更に含む、請求項３６に記載の方法。
38. 前記意思を判定することは、前記言語的内容が複数の所定の言語的内容に含まれるか否かを判定することを含み、所定の言語的内容は所定の意思に対応する、請求項２１に記載の方法。
39. 前記個人によって実行された前記一連の動作、前記個人からの前記言語的内容及び前記環境データを分析することは、
    前記一連の動作が前記コンテキストに対応する行動スケジュールに類似していると判定することに応答して、前記意思を前記行動ルーチンに基づいて判定することを含む、
    請求項３５に記載の方法。
40. 前記行動スケジュールを、前記個人の動作履歴、前記個人の言語的内容及び環境データから決定することを更に含む、請求項３９に記載の方法。

Images