JP2019032843A - 自動車又は携帯電子装置を使用した能動的且つ自動的なパーソナルアシスタンスを提供するコンピュータベースの方法及びシステム - Google Patents

Abstract

【課題】ユーザ及びユーザの周囲環境に関連するデータを検出、分析し、検出及び分析されたデータに基づいて能動的且つ自動的にパーソナルアシスタンスを提供する方法／システムを提供する。【解決手段】少なくとも１つのセンサを用いて、少なくとも１つのセンサの少なくとも１つの近くの、少なくとも１人の人、物体、生物、場所、環境又はこれらの組合せと関連したデータを検出する工程と、プロセッサを用いて、学習データを、データベースに選択的に保存する工程と、プロセッサと接続され又は通信可能な通信ユニット又は出力装置を用いて第１出力データをプロセッサによって受信された要求又はデータベースに保存された所定の若しくは予定されたイベントに応じて受動的に出力する工程と、通信ユニット又は出力装置を用いて第２出力データを能動的且つ自動的に出力する工程と、を含むコンピュータベースの方法による。【選択図】図４

Description

本発明は、概ね、日常活動においてパーソナルアシスタンスを提供するコンピュータベースの方法に関し、更に詳細には、車両又は携帯電子装置を使用し、ユーザ及びユーザの環境に関連する検出されたデータに基づいた能動的且つ自動的なパーソナルアシスタンスを提供する方法及びシステムに関する。

コンピュータの処理能力はこれまでになく進歩している。過去に入手できたよりも大量のデータが、より容易に作成されるであろう。従来の、車両又は携帯電子装置に設置されたパーソナルアシスタンス及び記憶の喚起方法／システムは、ユーザの入力／要求に応じた、又は、データベースに保存された所定の若しくは予定されたイベントの発生に応じた、受動的なデータの出力に大きく依存していた。

しかしながら、近年では、能動的且つ自動的にユーザにパーソナルアシスタンスを提供するコンピュータベースの方法又はシステムが求められている（会話及び状況の合図（cues）で、能動的且つ自動的にユーザにイベントを思い出させる、又は、能動的且つ自動的にユーザにある行為を行うよう促すなど）。そこで、ユーザ及びユーザの周囲環境に関連するデータを検出、分析し、検出及び分析されたデータに基づいて能動的且つ自動的にパーソナルアシスタンスを提供する方法／システムが求められている。

本発明は、概ね、日常活動においてパーソナルアシスタンスを提供するコンピュータベースの方法に関し、更に詳細には、車両又は携帯電子装置を使用し、ユーザ及びユーザの環境に関連する検出されたデータに基づいた能動的且つ自動的なパーソナルアシスタンスを提供する方法及びシステムに関する。

一実施形態では、本発明は、例えば、少なくとも１つのセンサを用いて、該少なくとも１つのセンサの少なくとも１つの近くの、少なくとも１人の人、物体、生物、場所、環境又はこれらの組合せと関連したデータを検出する工程と（detecting, using at least one sensor, a data associated with at least one person, an object, a living being, a place, an environment, or combinations thereof within a proximity of at least one of the at least one sensor）、プロセッサを用いて、前記検出されたデータ、及び、データベースに保存されている予めプログラムされたアルゴリズムに基づいて、学習データを前記データベースに選択的に保存する工程と、前記プロセッサと接続された又は通信可能な通信ユニット又は出力装置を用いて、前記プロセッサが受信した要求に応じて、又は、前記データベースに保存した所定の若しくは予定されたイベントに応じて、第１出力データを受動的に出力する工程と、前記通信ユニット又は前記出力装置を用いて、前記検出されたデータ、前記学習データ、前記予めプログラムされたアルゴリズムに基づいて、第２出力データを能動的且つ自動的に出力する工程と、を有するコンピュータベースの方法であってもよい。

別の実施形態では、この方法は、前記プロセッサを用いて、前記少なくとも１人の人、前記物体、前記生物、前記イベント、前記場所、前記環境又はこれらの組合せに対応する前記学習データに基づいて、前記検出されたデータとを分析することを含み、前記データベースを選択的に保存する工程と、前記第２出力データを能動的且つ自動的に出力する工程は、前記分析したデータに更に基づいていてもよい。また別の実施形態では、この方法は、前記プロセッサを用いて、前記検出されたデータに基づいて会話又はやりとりを分析することを含み、前記第２出力データを能動的且つ自動的に出力する工程が、前記少なくとも１人の人との前記会話又は前記やりとりを能動的且つ自動的に開始するため、又は、前記会話又は前記やりとりに能動的且つ自動的に参加するために、前記通信ユニット又は前記出力装置を用いて、音、画像、映像又はこれらの組合せを能動的且つ自動的に生成すること、及び、前記ユーザに対してリマインダを能動的に通知するために、前記通信ユニット又は前記出力装置を用いて、前記音、前記画像、前記映像又はこれらの組合せを能動的且つ自動的に生成すること、の少なくとも何れかを含んでいてもよい。

また別の実施形態では、本発明は、前記少なくとも１つのセンサの少なくとも１つの近くの運転手、乗客、物体、生物、イベント、場所、環境又はこれらの組合せに関連するデータを検出するよう構成された少なくとも１つのセンサと、予めプログラムされたアルゴリズムを保存するデータベースと、通信ユニットと、前記少なくとも１つのセンサ、データベース、及び、通信ユニットに接続された又は通信可能なプロセッサと、を有する車両で、前記プロセッサは、前記検出されたデータと予めプログラムされたアルゴリズムに基づいて、学習データを前記データベースに選択的に保存し、前記学習データと予めプログラムされたアルゴリズムに基づいて、前記検出されたデータを分析し、前記通信ユニットを用いて、前記プロセッサが受信した要求に応じて、又は、前記データベースに保存した所定の若しくは予定されたイベントに応じて、第１出力データを受動的に出力し、前記通信ユニットを用いて、前記分析データ、前記学習データ、前記予めプログラムされたアルゴリズムに基づいて、第２出力データを能動的且つ自動的に出力するよう構成されていてもよい。

また別の実施形態では、本発明は、前記少なくとも１つのセンサの何れかの近くに存在する、少なくとも１人の人又はユーザ、物体、生物、イベント、場所、環境又はこれらの組合せに関連するデータを検出するよう構成された少なくとも１つのセンサと、予めプログラムされたアルゴリズムを保存するデータベースと、通信ユニットと、前記少なくとも１つのセンサ、データベース、及び通信ユニットに接続された又は通信可能なプロセッサとを有する携帯電子装置で、前記プロセッサは、前記検出されたデータと予めプログラムされたアルゴリズムに基づいて、学習データを前記データベースに選択的に保存し、前記学習データと予めプログラムされたアルゴリズムに基づいて、前記検出されたデータを分析し、前記通信ユニットを用いて、前記プロセッサが受信した要求に応じて、又は、前記データベースに保存した所定の若しくは予定されたイベントに応じて、第１出力データを受動的に出力し、前記通信ユニットを用いて、前記分析データ、前記学習データ、及び、前記予めプログラムされたアルゴリズムに基づいて、第２出力データを能動的且つ自動的に出力するよう構成されていてもよい。

本発明のその他のシステム、方法、特徴、及び利点は、以下の図面及び詳細の説明を精査することで、当業者には明らかである、あるいは、明らかになる。これら追記されたシステム、方法、特徴、及び利点の全ては、本明細書の範囲に含まれ、本発明の範囲に含まれ、付属の特許請求の範囲によって保護されることを意図している。図面に示される構成要素は、本発明の重要な特徴をより良く図解するため、必ずしも実物大ではなく、誇張されていることがある。図面中では、異なる図面間で同様の数字は同様の部分を示す。

本発明の実施形態に係わる、パーソナルアシスタンスを自動的に提供するコンピュータベースの方法／システムのブロック図である。 本発明の実施形態に係わる、会話及びイベントを検出及び処理し、能動的且つ自動的にユーザに案内を提供する、車両に実装されたコンピュータベースの方法／システムを説明する。 本発明の実施形態に係わる、会話及びイベントを検出及び処理し、能動的且つ自動的にユーザに案内を提供する、車両に実装されたコンピュータベースの方法／システムを説明する。 本発明の実施形態に係わる、ユーザにパーソナルアシスタンスを提供するため、能動的且つ自動的にデータを出力する携帯電子装置を説明する。 本発明の実施形態に係わる、検出されたデータに基づいて第１及び第２出力データを出力するコンピュータベースの方法／システムを示す判定フローチャート図を説明する。 本発明の実施形態に係わる、携帯電子装置を用いてユーザに能動的且つ自動的にパーソナルアシスタンスを提供する、コンピュータベースの方法／システムを説明する。 本発明の実施形態に係わる、携帯電子装置を用いてユーザに健康への関心に関するパーソナルアシスタンスを提供する、コンピュータベースの方法／システムを説明する。 本発明の実施形態に係わる、携帯電子装置を用いてユーザに健康への関心に関するパーソナルアシスタンスを提供する、コンピュータベースの方法／システムを説明する。 本発明の実施形態に係わる、検出されたデータを能動的且つ自動的に分析し、保存するコンピュータベースの方法／システムを説明する。 本発明の実施形態に係わる、健康への関心に関するパーソナルアシスタンスをユーザに提供するために、第２出力データを能動的且つ自動的に出力する、携帯電子装置に実装されたコンピュータベースの方法／システムを説明する。 本発明の実施形態に係わる携帯電子装置を用いて、記憶の保持／想起が困難なユーザに、能動的且つ自動的にパーソナルアシスタンスを提供するコンピュータベースの方法／システムを説明する。 本発明の実施形態に係わる平行二輪車を用いて、パーソナルアシスタンスを提供するコンピュータベースの方法／システムを説明する。 本発明の実施形態に係わる、車椅子、又は自動三輪車を用いた、パーソナルアシスタンスを提供するコンピュータベースの方法／システムを説明する。

図１を参照すると、本発明の実施形態に係わる方法／システム１００のブロック図が示される。方法／システム１００は、プロセッサ１０２、通信ユニット１０４、センサ１０６、データベース１１２、及び出力装置１１４を含んでいてもよい。データベース１１２は、メモリ１０８及びクラウドベースのデータベース及びコンピューティング１１０を含んでいてもよい。他の実施形態では、データベース１１２はメモリ１０８のみ、又は、クラウドベースのデータベース及びコンピューティング１１０のみを含むこともある。方法／システム１００の各種構成部分は、制御エリアネットワーク（ＣＡＮ）バスを介した電子信号の伝達によって互いに通信を行っていてもよい。他の実施形態では、制御及び通信が各種その他の種類のシリアル通信接続、有線、デジタル通信バス、無線通信、又は、その他の通信接続及びネットワークを通して行われてもよい。

方法／システム１００では、概して、データベース１１２が予めプログラムされたアルゴリズムを保存する。方法／システム１００は、少なくとも１つのセンサ１０６の近くに存在するユーザ又は人に関連するデータを継続的に検出する。方法／システム１００は、更に、少なくとも１つのセンサ１０６の近くに存在する、静的または動的物体、生物、周辺環境／場所、及びその他の検出可能な事物を検出してもよい。方法／システム１００は、プロセッサ１０２が受信した要求に応じて、又は、データベースに保存した所定のイベントに応じて、（通信ユニット１０４及び／又は出力装置１１４を用いて）第１出力データを出力するのみでなく、（通信ユニット１０４及び／又は出力装置１１４を介して）第２出力データを能動的且つ自動的に出力する。このように、方法／システム１００は、ユーザとユーザの周辺環境に関連するデータを検出し、分析し、保存し、登録し（cataloging）、そして、例えば、後述する適切性アルゴリズム規則（プライバシーに係わるルールも含むが、これに限定されない）によって判定された状況に見合った有用情報を、適宜含むことが可能な第２出力データを出力することで、能動的且つ自動的にパーソナルアシスタンスを提供するよう構成される。プロセッサ１０２は、学習データに基づいて、適切性アルゴリズム規則を修正又は補足してもよい。本明細書中で、分析及び分析の変形例は、分析、解析、登録、又は、検出されたデータを使用して実行されるその他の任意の種類の処理で、後で使用するためのデータの保存、推定のためのデータ分析、データの取り出し、又はデータの出力、を支援する可能性のある処理、を含むことを意味することがあるが、これに限定されない。

方法／システム１００は、特定の装置、ユニット又はプラットフォームに限られない。別の実施形態では、方法／システム１００は車両に統合されている。本明細書中で、車両は、自動車、車椅子、歩行器、平行二輪車、スクーター、自動三輪車、又は、ユーザの交通輸送を可能にする又は支援するその他の各種装置など、任意の種類の輸送装置を含むが、これに限定されない。

図２Ａ及び図２Ｂに図示される実施形態において、コンピュータベースの方法／システムは、本発明の別の実施形態に従って、会話やイベントを検出、分析し、ユーザに能動的且つ自動的に支援と案内を提供するよう車両に実装されている。プロセッサ１０２は、車両の電子制御ユニット（ＥＣＵ）、又は、データ処理が可能な他の任意のプロセッサであってもよい。メモリ１０８は、車両に採用されており、プロセッサ１０２と接続されているか、通信可能でもよい。メモリ１０８は、例えば、ランダムアクセスメモリ（ＲＡＭ）又は読み取り専用メモリ（ＲＯＭ）でもよい。ＥＣＵ又はそれとは別のプロセッサは、インターネットに接続できるか、又は、クラウドベースのデータベース及びコンピューティング１１０と通信可能でもよい。各種のクラウドベースのソリューションが利用されることがあるが、これによって本発明の範囲は限定されない。通信ユニット１０４又は出力装置１１４は、図２Ａに図示される入力／出力インタフェース２１０でもよい。センサ１０６は、データを検出するため、センサ位置２２０に配置されていることがある。

図１を参照すると、また別の実施形態では、方法／システム１００は、携帯電子装置に実装されるソフトウェアプログラム又はアプリケーション（「アプリ」）でもよい。本明細書中で、携帯電子装置は、ラップトップ、携帯電話又はスマートフォンなどの携帯通信機、タブレット、ハンドヘルドＰＣ、ＰＤＡ、スマートブック、及びデータの処理が可能なその他の携帯型電気装置又は携帯型電気機械装置を含むが、これに限定されない。

図１を参照すると、一実施形態では、方法／システム１００は、ユーザの近くでデータを検出するためにセンサを利用することがあり、これによってプロセッサ１０２はユーザの周辺環境を推定することができる。プロセッサ１０２は、次に、検出したデータを分析する。これによって、情報を抽出し、推定を行い、方法／システム１００がリアルタイムにユーザを支援したり、あるいは、後でパーソナルアシスタンスを自動的に提供するために分析データを保存したりすることができる。このような検出されたデータは人、物体、イベント、場所、又は、センサ１０６が検知することがあるその他の情報に関連していてもよく、これによって、プロセッサ１０２は、少なくとも１つのセンサ１０６近くの環境に存在する任意の事物に関して推定を行うことができる。

センサ１０６は変換器を含んでいてもよく、変換器は、物理量を測定し、測定した物理量をプロセッサ１０２が分析又は処理可能な信号に変換する。センサ１０６は、任意の種類の単体センサ、及び／又は、共同で稼動する複数のセンサであってもよい。センサ１０６は、方法／システム１００に統合又は接続されていてもよい。センサ１０６は、方法／システム１００から距離をおいて配置され、センサ１０６がプロセッサ１０２と、例えば、ネットワークを介して通信するようにしてもよい。プロセッサ１０２は、センサ１０６が検出したデータを補足するため外部装置と接続又は通信していてもよい。センサ１０６は、入力／出力通信インタフェース、出力装置１１４、あるいは、その他各種装置又はプラットフォームに統合又は接続されていてもよいが、これによって本発明の範囲は限定されない。例えば、入力／出力通信インタフェースは、車両又は携帯電子装置に統合又は接続されていてもよい。

図２Ａ及び図２Ｂを参照すると、車両に実装された方法／システム２００では、センサ１０６は、車両の内部又は外部のどこかに配置されることがあるが、これによって本発明の範囲は限定されない。例えば、センサ１０６は、図２Ａに示されるセンサ位置２２０に配置されたり、及び／又は、図２Ｂに示されるセンサ位置２３０に配置されてもよい。あるいは、又はそれに加えて、センサ１０６は、車両と通信するか接続された外部装置に実装されてもよい。

同様に、方法／システム１００が携帯電子装置に実装される実施形態では、センサ１０６は携帯電子装置に統合されていてもよい。あるいは、又はそれに加えて、センサ１０６は、携帯電子装置と通信するか接続された外部装置に実装されていてもよい。

本明細書中では、検出データは、プロセッサ１０２がユーザ又は人に関して推定を行うのを支援する任意の検出データを含むが、これに限定されない。検出データは、ユーザまたは複数のうち少なくとも１つのセンサ１０６の近くに存在する少なくとも１人の人またはユーザの外見、動作、やりとり、行為、挙動、会話、特性、位置、同一性、又はその組合せを含むが、これに限定されない。本明細書中で、データはまた、プロセッサ１０２がユーザ又は複数のうち少なくとも１つのセンサ１０６近くの環境に存在する何らかの事物に関して推定を行うのを支援する任意のデータを含むことがある。データは、少なくとも１つのセンサ１０６の近くに存在する、物、生物、周辺の場所／環境、及びその他の事物に関連する特性、位置、状態、種別、又は任意の属性を含むが、これに限定されない。

本明細書中で、「近く」とは、ユーザの周辺領域又は少なくとも１つのセンサ１０６の検出範囲を意味し、この範囲のデータは収集対象となる。しかしながら、データが収集される対象領域となるセンサ１０６の検出範囲や、その他の各種設計、あるいは、実際的要因又は限界により、距離範囲にばらつきがあることが考えられるため、本明細書中の「近く」はある特定の距離範囲に限定されない。別の実施形態では、検出データはユーザ近くの環境に限定されなくてもよい。例えば、一実施形態では、全てのセンサ１０６の検出範囲外の位置に関してＧＰＳデータが検出されることがある。プロセッサ１０２は、検出されたＧＰＳデータを分析し、検出されたＧＰＳデータに基づく第２出力データを出力するよう自動的に通信ユニット１０４に命令してもよい。

一実施形態では、センサ１０６は、発話、会話、又は、音を検出可能なマイクロホンなどの音センサや発話音声センサを含んでいてもよい。本明細書中で、「発話」は、発話、音声、又は情報を伝達するその他の任意の音を意味することがある。また別の実施形態では、発話を検出し、更に検出した発話の音源の位置を特定するため、３Ｄ（３次元）マイクロホンを利用することがある。

例えば、図２Ａを参照すると、マイクロホンは車両の客室のどこに配置されてもよいが、これによって本発明の範囲は限定されない。例えば、マイクロホンはセンサ位置２２０の何れかに配置されることがある。マイクロホンは、例えば、運転ハンドル上、又は運転ハンドルの隣接領域に配置されてもよい。マイクロホン、又は、追加のマイクロホンは、例えば、運転手あるいは乗客の頭上に配置されてもよい。マイクロホンは、ユーザ２０２及び／又は人２０６の発話を検出するために利用されてもよい。図３〜７、９に関連して後述するように、検出された発話は分析されることがある。

センサ１０６は、更に、画像／映像を撮影するために、方法／システム１００と一体化された、接続した、又は、通信可能な画像センサあるいはカメラを含んでいてもよい。携帯電子装置に実装されたある実施形態では、携帯電子装置に組み込まれたカメラを利用して、画像又は映像を撮影してもよい。例えば、方法／システム１００がスマートフォンに実装される場合、携帯アプリケーションを実行することで、カメラに機能を追加したり、カメラが撮影した画像又は映像を処理することもできる。

携帯電子装置に組み込まれたカメラは、時により、視界（vantage points）が限定されたり、視野が遮断されることがある。一実施形態では、ユーザが屋内にいるときに、カメラを外部装置として利用して、データの取得や感知により良い見晴らしがある静止位置に置いてもよい。カメラはプロセッサ１０２と通信し、検出データをプロセッサ１０２に送信してもよい。例えば、カメラが少なくとも１人の人又はユーザの視覚的な顔の特徴を撮影することで、ユーザ／人に関連する検出データを補足してもよい。

図２Ａ及び２Ｂを参照すると、カメラは、例えば、センサ位置２２０に配置されることがある。例えば、カメラはユーザ２０２及び／又は人２０６の画像又は映像を撮影してもよい。あるいは、又はそれに加えて、車両近くの物体、生物、イベント、場所、環境（例えば、急傾斜又は振動などに関連するデータ）、又は、その組合せに関連するデータを検出するため、カメラは車両の外部にあるセンサ位置２３０に配置されてもよい。通常の車両の輸送中、センサ１０６を用いてユーザ２０２又は人２０６に関連するデータを検出し、リアルタイムに、あるいは後から、自動的にパーソナルアシスタンスを提供するよう、データベース１１２に保存してもよい。

センサ１０６は、位置エンコーダ、コンパス、ナビゲーションセンサ、及び、ＧＰＳセンサを含んでいてもよい。方法／システム１００は、検出データを補足するため、ＧＰＳシステムと通信又は接続していてもよい。例えば、方法／システム１００が可搬式装置に搭載されている場合（車両／輸送装置など）、センサ１０６は、慣性測定装置（ＩＭＵ）を含むことがあり、加速度計、コンパス、距離センサ、地磁力センサ、及びジャイロスコープの組合せを用いて、可搬式装置の速さ、向き、重力を検出する。センサ１０６は、各種近接検出器／位置検出装置を含んでいてもよい。

センサ１０６は、更に、静電容量性変位センサ、受動的熱赤外線センサ、光電池（反射）、レーダーセンサ、振動センサ、超音波センサ、のいずれかまたはすべてを含んでいてもよい。センサ１０６は、また、ユーザの現在位置を提供し、近辺の及び／又は一定の地理的範囲内の物体を識別するよう構成されていてもよい。センサ１０６は、周辺監視センサ、又は、紫外線、無線周波数、又は赤外線センサを含んでいてもよい。３次元（３Ｄ）スキャナを採用して３次元の物体又は環境を分析し、その形状や外見のデータ（色など）を収集してもよい。検出データは、次にプロセッサ１０２に伝えられ、デジタル３Ｄモデルを構築する。

センサ１０６は、更に、ユーザ近くの気圧、煙、及び、その他の各種環境属性を検出してもよい。センサ１０６は、サーミスタを利用して温度を計測してもよい。検出データに基づいて、プロセッサ１０２は環境の種別を決定してもよい（ショッピングモール、駐車場、事務所、及びその他の場所／環境的特性など）。例えば、プロセッサ１０２は、更に、現在の季節又は天気、及び、現在の温度又は含水量を、検出データを基に決定してもよい。センサ１０６は、更に、接触センサを含み、物体、人、生物、及びその他の事物との接触の分析に利用してもよい。一実施形態では、タッチセンサ、及び／又は、力センサを利用して、触知的情報を補足してもよい。

センサ１０６は、臭気、磁場、又は放射能を検出可能なセンサを含んでいてもよい。検出データの質の改善と量の増大のため、その他の各種センサが、センサ１０６と統合、接続、又は、通信していてもよいが、これによって本発明の範囲は限定されない。

方法／システム１００の各種実施形態の更なる詳細を説明する前に、方法／システム１００のアプリケーションの例を記載する。

図３を参照すると、方法／システム３００は、日常活動のパーソナルアシスタンスとして稼動する。方法／システム３００が、ユーザ３０２が物体、ここでは鍵３１４、を探していると認識すると、携帯電子装置３０４は、以前の関連学習データを探索し、コンテキスト及びやりとりポイント（interaction points）を推定して、ユーザ３０２に鍵３１４の場所を教える。ある実施形態では、方法／システム３００が、ユーザ３０２が鍵３１４を探していると認識し、以前の関連学習データを調べることで、鍵３１４が机３１２の上に置かれたと推定３１０する。方法／システム３００は、鍵３１４の位置について関連する有用情報に対応する第２出力データを出力するよう出力装置１１４（スピーカなど）に命令する。出力装置１１４は、方法／システム３００と統合、接続、又は、通信していてもよい。

関連する有用情報の出力には、ユーザの入力／要求に応じた、若しくは、所定の／予定されたイベントの発生に応じた第１出力データの出力、そして、検出データと更に学習データに基づいた第２出力データの能動的且つ自動的な出力を含む。本明細書中で、学習データとは、現在又は以前に検出、処理、保存したデータを意味する。プロセッサ１０２が、センサ１０６を用いて、又は検出データより判定して、ユーザ３０２からの鍵３１４の位置の調査という要求を受け取ると、プロセッサ１０２は、携帯電子装置３０４に、第１出力データを受動的に出力するよう命令してもよい。入力／要求は以下により受信されることがある：カメラによって検出され、プロセッサ１０２によって分析された顔の表情の認識；携帯電子装置３０４の通信インタフェースを用いてユーザ３０２から受信した入力／要求；携帯電子装置３０４と接続又は通信する外部装置からの入力／要求；入力／要求を検出するその他の装置及び方法；又は、これらの組合せ。

しかしながら、本発明の重要な局面は、方法／システム３００は、ユーザ３０２から受信する入力／要求や、所定の又は予定されたイベントの発生がなくとも、第２出力データを自動的に出力するよう更に構成されていることである。ユーザ３０２が鍵３１４を探しているという事実は、上述したセンサ１０６を組合せることで認識される。方法／システム３００は、センサ１０６の特定のセンサ、又は、このようなデータを検出するなんらかの特定の手段に限定されない。

一実施形態では、例えば、ユーザ３０２が発話／考え３０６を声に出すと、センサ１０６は発話／考え３０６を検出する。携帯電子装置３０４のプロセッサ１０２は、発話／考え３０６の要素を解析して、発話／考え３０６を分析することができ、ユーザ３０２が鍵３１４を探そうとしていると判定する。あるいは、又はそれに加えて、カメラが携帯電子装置３０４に統合又は接続されていてもよい。あるいは、又はそれに加えて、携帯電子装置３０４は、鍵３１４の現在の位置について困惑を示すユーザ３０２の顔の表情を検出してもよい。接触データなどのその他の感知データを同様に検出してもよい。鍵３１４に関連する以前の関連する学習データを探索することで、方法／システム３００は発話要素を物体（鍵３１４）と、物体（鍵３１４）に関連する行為、場所、時間などと照合する。方法／システム３００のプロセッサ１０２は、ユーザ３０２が鍵３１４を見つけるのを支援する、関連する適切な情報に対応する第２出力データを出力するよう、携帯電子装置３０４に命令する。

例えば、携帯電子装置３０４は、鍵３１４が机３１２に置かれていることをユーザ３０２に通知するリマインダ／発話３０８の出力を生成してもよい。あるいは、又はそれに加えて、携帯電子装置３０４は、鍵３１４を記録した、又は、ユーザ３０２が鍵３１４を机３１２に置いている行為を記録した（又は、記録中の）出力映像を表示してもよい。一実施形態では、物体（鍵３１４など）の位置のみがユーザ３０２に通知される。

例えば、センサ１０６を使用して、ユーザ３０２又は人について、日常活動の中で、データが継続的にあるいは間欠的に検出される。センサ１０６は、更に、センサ１０６の近くに存在する静的又は動的な物体、生物、場所／環境、又はその組合せに関連するデータを継続的にあるいは間欠的に検出する。ユーザ３０２の日常活動の中で、方法／システム３００は、ユーザ３０２の行為、やりとり、発話、会話、位置、及びその他の特性、及び、ユーザ３０２近くの周辺環境に関連するデータを収集してもよい。

例えば、方法／システム３００は、センサ１０６及びプロセッサ１０２を用いて、後述する予めプログラムされたアルゴリズム、及び、以前に検出、処理、保存したデータに基づいて、鍵３１４が机３１２に置かれていたことを認識しているかもしれない。人、ユーザ３０２、物体（鍵３１４、机３１２など）、場所（ユーザ３０２の周辺の家環境など）、発話／考え３０６、その他の検出又は保存データ、又はその組合せに関連する検出データが与えられると、方法／システム３００のプロセッサ１０２はコンテキスト及び鍵となるやりとりポイント又はイベントを推定することができる。例えば、図３に示す実施形態の鍵となるやりとりポイントは、「＜人＞が＜物体１＞を＜物体２＞におく」というイベントであったかもしれない。＜人＞、＜物体１＞、＜物体２＞は、それぞれユーザ３０２、鍵３１４、及び机３１２に対応していてもよい。「＜人＞が＜物体１＞を＜物体２＞におく」というイベントは、一連の検出されたイベントから以下のように推察される：「＜人＞が＜物体１＞を持っている、そして／又は、触っている」、「＜物体１＞が＜物体２＞に接触して、その上に置かれている」、「＜人＞は＜物体１＞から離れている、又は、＜物体１＞に触っていない」。同様に、物体を拾ったことが認識されてもよい。例えば、「＜人＞が＜物体１＞を拾う」というイベントは、「＜人＞の横の＜物体１＞」、「＜人＞が＜物体１＞に触る」、及び「＜人＞が＜物体１＞を持つ」といった連続によって構成できる。このように、方法／システム３００は、このようなアルゴリズムを利用して、相対的に低いレベルのイベントの連続を認識することで、相対的に高いレベルのイベントを自動的に検出及び分析してもよい。アルゴリズムは、方法／システム３００がユーザ３０２及びユーザ３０２の周辺環境の事物に関連するデータを集めるにつれて調整又は発展してもよい。

鍵３１４を机３１２の上に置いたことは、鍵３１４を机３１２の上に置いたことを示す会話又は発話を分析することで認識されてもよい。あるいは、又はそれに加えて、鍵３１４を置いている画像／映像の撮影に基づいて認識されてもよい。ユーザ３０２の周辺環境の各種イベントを認識するこのような工程を用いて、方法／システム３００はユーザ３０２の日常生活の大まかな記録を作成することができる。

方法／システム３００は、各種応用され、各種物体及びイベントに関して、ユーザ３０２にパーソナルアシスタンスを提供するよう適用されてもよい。例えば、他の実施形態では、方法／システム３００は、検出データに含まれるデータの組合せに基づいてユーザ３０２は喉が渇いているか、又は、水のボトルが置かれた場所を忘れているのか、が判定されてもよい。携帯電子装置３０４のプロセッサ１０２は、水のボトルの位置についての情報を含む第２出力データを出力するよう通信ユニット１０４に命令できる。

図４に示す方法／システム４００のフローチャートを参照すると、図１〜３に関連して説明したように、工程４０４で、センサ１０６によってデータが検出されている。方法／システム４００は、データの検出及び分析の一例に過ぎない。方法／システム４００の工程は、同時に、又は順番を各種組合せて実行されてもよい。ユーザの周辺環境及び周辺環境内の事物に関してデータが収集される度合いは、どのような又はどのセンサ１０６が利用可能か、そして、プロセッサ１０２及び／又はクラウドベースのデータベース及びコンピューティング１１０の処理限界に依存することがある。このように、方法／システム４００はこれら制限事項をモニタリングし、制限事項に合わせてリアルタイムに調整されてもよい。

プロセッサ１０２は、データ収集を向上させるため、センサ１０６と協働してもよい。また、プロセッサ１０２は、ユーザ又は人が要求をしているのか、情報の伝達を試みているのかを考慮してもよい。例えば、ユーザの顔にある表情が表れているが、発話して方法／システム４００と通信しない場合、検出データを補足又は明確にするために、プロセッサ１０２は、通信ユニット１０４に命令して、通信ユニット１０４に関連質問や答申をさせることができる。例えば、方法／システム４００は出力発話を生成するよう命令し、これによって、ユーザに顔の表情を説明するよう尋ねてもよい。そして、ユーザは、音声コマンドで返答し、伝達された情報を明確に説明してもよい。

工程４０６では、動的物体、生物、及び／又は場所／環境に関連するデータが検出され、それに従って推定がなされる。一実施形態では、方法／システム４００でカメラが利用され、このカメラに、ユーザの周辺環境に関連する有用情報を含む画像／映像を検出するための見晴らしがある場合、方法／システム４００はマイクロホンに追加して、又は代替で、カメラを利用して、ユーザの周辺環境及び周辺環境内の事物に関連するデータを検出してもよい。例えば、工程４０６では、方法／システム４００が、カメラで観察することで、ある場面、又は他の動的領域に、動き又は変化を検出し、これによって、検出した動的領域にセンサ１０６の照準をあわせてもよい。プロセッサ１０２は、後述するように検出した動的領域を分類する。

例えば、センサ１０６によって検出されたデータの中に変化を探すことで、人、生物、及び／又は動的物体を検出してもよい。例えば、カメラから受信したデータ中の変化を判定してもよい。ＧＰＳ、ＩＭＵ、又は、２つのカメラのフレーム間で角や小さな特徴を追跡することでカメラの動作の推定を可能にする視覚距離計などの技術を用いて、方法／システム４００又は、方法／システム４００が実装されたモバイルプラットフォームの動作を推定しておくことで、センサ１０６によって検出されたデータ中の変化が特定されてもよい。このようにして、方法／システム４００は、方法／システム４００の動作に対応しないユーザの周辺環境の動作を特定してもよい。

検出データの中で場面に変化した部分が特定されると、方法／システム４００は、人及び顔を認識するための「固有顔（Ｅｉｇｅｎｆａｃｅ）」や「骨格認識」などの技術を用いて、変化した要素を認識しようとする。また、サポートベクターマシン（Support Vector Machines）、可変部品モデル（deformable Parts Model）、及び動的計画法などの標準技術を用いて、各種物体／人の部類に異なるモデルを学習することもできる。これら認識タスクで用いられる特徴は、ＳＩＦＴ（不変スケール特徴変換）、ＳＵＲＦ（高速ロバスト特徴）、Ｇｉｓｔモデリング、Ｓｏｂｅｌ、Ｆａｓｔ、及び、方法／システム４００に、ユーザ近くの人、物体、生物、又は場所／環境を認識させるその他の特徴及び／又は技術など、特徴の組合せでもよい。

動的領域を検出することで、工程４０６で、動的物体又は動的生物を検出することができる。そして、工程４１２で、ユーザ近くの環境に進入する新しい人を検出し、プロセッサ１０２がデータベース１１２内で適宜分類してもよい。工程４０６では、ユーザ近くの静的物体、又は場所／環境に関連するデータを集めるため、方法／システム４００が検出した画像／映像の残りの静的領域を抽出してもよい。

センサ１０６は、工程４０８に示すように、発話、会話又はやりとりを検出するため、マイクロホンや発話認識モジュールを利用してもよい。工程４１０で、方法／システム４００は、有用なデータ含む会話要素を更に抽出してもよい。工程４２２で、方法／システム４００のプロセッサ１０２は、工程４１０で抽出した会話又は発話要素と、検出した人、物体、生物、場所／環境、又はその組合せとを照合する。

工程４２８で、方法／システム４００は、コンテキストに基づいて、また、人、物体、生物、場所／環境、又はその組合せについて工程４２２で照合した会話イベントに基づいて、以前の関連情報を探索する。工程４２６で、プロセッサ１０２は、以前の関連情報を基に、後で使用する関連情報をデータベース１１２に保存する。例えば、プロセッサ１０２が環境に進入する人の顔の特徴を検出し、更に、この新しい人が発話していることを検出すると、この発話要素を新しい人と照合することができる。この人に関連する発話データは、後の使用のためにデータベース１１２に保存されてもよい。３Ｄマイクロホン又はマイクアレイを利用して音源又は音声源の場所を限局化させてもよい。方法／システム４００は、検出データを補足するために人に関連するデータを追跡及び記録することができる。工程４３０で、方法／システム４００は、工程４２２で人、物体、生物、場所／環境、又はその組合せと照合した会話イベントに基づいて、さらに、工程４２４で推定したコンテキストと鍵となるやりとりポイントに基づいて、能動的且つ自動的に第２出力データを出力してもよい。

データの処理（工程４０６〜４３０など）は、センサ１０６がリアルタイムで集めたデータを継続的に分析することで実行できる。メモリ１０８の情報記憶容量の制約、又は、プロセッサ１０２のみを使用した処理に伴うエネルギー容量の課題から、クラウドベースのデータベース及びコンピューティング１１０が利用されてもよい。しかしながら、一実施形態では、最小レベルの処理能力を確保するためにシステム搭載の処理が望ましい場合に備えて（クラウド通信の接続不良など）、システムに搭載された処理能力と、非搭載の処理能力の両方が利用される。例えば、方法／システム４００が、本明細書中に記載される工程を実行するのに充分な容量を持たない恐れのある携帯電子装置に実装された場合、クラウドベースのデータベース及びコンピューティング１１０が処理負荷を分担する支援を提供できる。

工程４３０では、プロセッサ１０２が受信した入力／要求、又は、データベース１１２に保存されている所定の若しくは予定されたイベントに応じて、プロセッサ１０２が、通信ユニット１０４を用いて受動的に第１出力データを出力してもよい。

プロセッサ１０２は、更に、検出データ、以前に検出、保存、処理したデータ、予めプログラムされたアルゴリズム、又はその組合せに基づいて、通信ユニット１０４を用いて能動的且つ自動的に第２出力データを出力することがある。

例えば、第１又は第２出力データは、ディスプレイ画面に表示されるか、スピーカで出力発話を生成して示されてもよい。方法／システム４００が携帯電子装置に実装されたある実施形態では、入力／出力ユーザインタフェース、ディスプレイ、スピーカ、マイクロホン、又はその組合せが、通信ユニット１０４として利用されてもよい。図２Ａを参照すると、方法／システム４００が車両に実装されているある実施形態では、車両の入力／出力インタフェース２１０、ディスプレイ、スピーカ、マイクロホン、又はその組合せが、通信ユニット１０４として利用される。

ディスプレイは、例えば、（カラー）液晶ディスプレイで、第２出力データを表示する。出力画像／映像はＬＣＤ、有機発光ディスプレイ、プラズマディスプレイ、発光ダイオード、又は、その他の出力画像／映像を表示する表示機構で表示されてもよい。別の実施形態では、実際的な問題から、ディスプレイ画面の代わりにプロジェクタを利用して、壁、スクリーン、若しくは、何かの表面に、第１及び／又は第２出力データに基づいた出力画像／映像を投影する。小さな設計が求められる特性を持つ装置に方法／システム４００が設計される場合、プロジェクタが望ましいかもしれない。

プロセッサ１０２は、更に、第１及び／又は第２出力データを出力装置１１４（ユーザが許可した別の電子装置など）に提示してもよい。別の実施形態では、出力装置１１４は、アクチュエータを持ち機械的動作が可能な装置に接続するか、通信している。

例えば、図２Ａ及び図２Ｂのような、方法／システム４００が車両に実装されているある実施形態では、予めプログラムされたアルゴリズムが出力タイミング（出力発話をいつ生成するか、及び／又は、出力画像／映像をいつ表示するか、など）、形式（出力発話を生成するか、出力映像を表示するか）、出力された第１及び／又は第２出力データの情報内容に応じて、データベース１１２に保存される。例えば、能動的且つ自動的に生成された出力発話又は表示された出力画像／映像のタイミングと情報内容は、現在の状況で車両を運転するのに望ましいと判定された期待される運転の注意レベルに基づいていてもよい。決定された予想される運転の注意レベルは、車両の現在の運行に依存することがある。例えば、プロセッサ１０２が、車両が動いていると判定すると、プロセッサ１０２は、現在の期待される運転の注意レベルが増加した又は高いと判定する。例えば、プロセッサ１０２は、検出データに基づいて、この状況で適宜出力発話を生成するよう通信ユニット１０４に命令する。一方、プロセッサ１０２が、車両が動いていない、及び／又は車両のエンジンが稼動していないと判定すると、プロセッサ１０２は、現在の期待される運転の注意レベルが減少したと判定する。例えば、そのような状況で、プロセッサ１０２は、出力発話の生成に加えて、あるいはその代わりに、通信ユニット１０４に映像を表示するように命令してもよい。

図５の方法／システム５００を参照すると、携帯電子装置５０４はセンサ１０６（マイクロホンなど）を利用して、ユーザ５０２と人５０６との間の会話に関連するデータを検出することができる。プロセッサ１０２は、会話を解析し、関連要素をデータベース１１２に保存することができる。人５０６の画像又は映像が、図４の工程４０２〜４２２に関連して上述したように、カメラを用いて撮影され、プロセッサ１０２によって分析されてもよい。第１及び／又は第２出力データは、方法／システム４００について上述した工程を用いて出力されてもよい。

図６Ａを参照すると、方法／システム６００では、相談、診察、又は、治療のため医療専門家６０６を訪ねた場合に、携帯電子装置６０４はユーザ６０２にパーソナルアシスタンスを提供してもよい。図６Ａの携帯電子装置６０４における通信ユニット１０４の表示の説明を容易にするため、図６Ｂに携帯電子装置６０４の拡大図を示す。

本明細書中におけるその他の社会的な遭遇と同様に、例えば、携帯電子装置６０４が、ユーザ６０２が医療専門家６０６、通院、又は関連するその他の情報に対して特定の情報を思い出していないと判定した場合、携帯電子装置６０４はユーザ６０２にそれを通知するため、（状況にあわせて）適宜第２出力データを出力してもよい。例えば、携帯電子装置６０４が、状況からそのような情報の出力が適切と判定した場合、携帯電子装置６０４は、第２出力データを出力して、ユーザ６０２にユーザ６０２と医療専門家６０６が知り合ってからの年数、及び、前回の診療について、思い出させてもよい。

方法／システム６００の重要な側面として、第１及び／又は第２出力データは、ユーザ６０２のプライバシーへの関心に基づくことがある（現在の状況において誰と、どの程度まで、どのような方法でそのような情報を共有することが、ユーザ６０２にとって快適であるかといった、ユーザ６０２の関心など）。プライバシーへの関心は、予めプログラムされたアルゴリズムの形式でプログラミングされ、データベース１１２に保存される。このデータベース１１２は、方法／システム６００の稼動中に、検出、処理、記憶されたデータに基づいて、更に補足されることがある。このようなプライバシーへの関心は、以前に検出及び処理したデータの組合せ、又は、状況によってどのような種別の情報を出力するのが適切かを判定するための、予めプログラムされたアルゴリズムに基づいていてもよい。一実施形態では、個人は社会におけるやりとりの分類で部分的に区分されてもよい。例えば、上述したような医療専門家６０６、家族の一員、又は、療法士との会話ではプライバシーへの関心は重くない。このように、予めプログラムされたデータ又はアルゴリズムに、信頼する個人とのやりとりの度合いについて幾つかの標準を保存しておくことができる。そして、方法／システム６００が誰とどの程度やりとりするかという情報の一部は、検出データに基づいて調節できる。

一実施形態では、方法／システム６００は、以前に検出したユーザ６０２とある人の会話に基づいて、その人に高いレベルの信頼を関連付けてもよい。すなわち、以前の会話及びやりとりに基づいて、ユーザ６０２と近い／懇意な関係にあると検出された友人は、知り合い又は面識のない人から差別化できる。認識された差別化に部分的に基づいて、携帯電子装置６０４は、第２出力データにどれだけのどのような種類の情報が含まれるかを調整してもよい。例えば、プロセッサ１０２は、ユーザ６０２が（職務で行動しており、ユーザ６０２のプライバシーを守ると期待される）医療専門家６０６と、特定情報を共有するのが快適であると判定した場合、携帯電子装置６０４は、初めて出会い、秘密の遵守や職務で行動していない個人に向けたやりとりの場合に携帯電子装置６０４が出力するよりも、より高度な、又は、よりプライベートな情報を出力してもよい。方法／システム６００は、検出データ、予めプログラムされたアルゴリズム、及び、図４に関連して上述した、以前に保存し処理したデータに基づいて、検出された人が医療専門家６０６か、療法士か、又は、その他の高い信頼を託せて、通信のプライバシーを守ることが期待される専門家であるかを、判定できる。

図６に示される一実施形態では、例えば、医療専門家６０６は、医療専門家６０６を訪ねるきっかけとなったユーザ６０２が被った腕の怪我の理由、タイミング、又は、原因を、ユーザ６０２に発話／答申６０８を投げかけることで尋ねることがある。発話／答申６０８は、ユーザ６０２に向けられた「どのように、いつ腕を怪我しましたか？」かもしれない。携帯電子装置６０４は、以前に検出、処理、保存したデータに基づいて、発話／答申６０８の要素、及び、この要素の互いの関係、順序、相関を分析するために、上述したように会話を解析及び分析してもよい。携帯電子装置６０４は、以前に被った怪我についてデータベース１１２を検索してもよい。携帯電子装置６０４は、「腕」及び「怪我」の要素と、先週中に被り登録された腕の怪我を誘引した、滑って転倒した事故とを照合してもよい。発話／答申６０８の要素を分析した後、携帯電子装置６０４は、医療専門家６０６がこの怪我について学習することに関心があると判定し、現在の状況では第２出力データとしてその情報を開示することが適切であると判定するかもしれない。携帯電子装置６０４は、医療専門家６０６とユーザ６０２に、怪我について通知する第２出力データを、能動的且つ自動的に出力してもよい。例えば、携帯電子装置６０４は、「［ユーザ６０２の名前］は先週、滑って地面に腕を突きました。どのように滑ったかはこの通りです。」と知らせる出力発話／回答６１０を生成してもよい。この出力発話／回答６１０は、更に、記録されたイベント（事故など）に関連する詳細も含んでいてもよく、これによって、より良い診断のために積極的支援を提供し、そして／あるいは、いつ、どのように怪我が発生したかのリマインダを提供する第２出力データが出力される。

携帯電子装置６０４は、第１出力データ、及び／又は、第２出力データを、出力装置１１４又はその他の各種装置や方法を介して出力してもよいが、これによって本発明の範囲は限定されない。例えば、携帯電子装置６０４は、通信ユニット１０４を用いて第２出力データを出力してもよい。

一実施形態では、携帯電子装置６０４に表示画面が備えられ、プロセッサ１０２によって決定された出力画像／映像６１４を表示してもよい。例えば、携帯電子装置６０４は、滑って転倒し腕の怪我を誘引した事故を、事故が発生した際に記録しているかもしれない。そうであれば、携帯電子装置６０４は、診断、治療、又は相談を支援するため、出力画像／映像６１４を表示することで第２出力データを出力してもよい。他の実施形態では、第２出力データがユーザ６０２又は医療専門家６０６の保有する他の装置（他の携帯電子装置など）に通信されてもよい。

検出データの発信源は、必ずしもセンサ１０６でなくともよい。すなわち、出力データの基になる情報の質を改善し、量を増大するために、複数の記憶装置及び電子装置が協働して情報を共有してもよい。例えば、携帯電子装置６０４はインターネットにアクセスするか、クラウドベースのデータベース及びコンピューティング１１０と通信して、ユーザ６０２が保有する外部装置（ラップトップコンピュータなど）に、以前に又は現在保存されている入力データを受信してもよい。例えば、クラウドベースのデータベース及びコンピューティング１１０と通信する何らかの電子装置に、ユーザ６０２が以前にデータを保存していた場合、携帯電子装置６０４は、腕の怪我に関連する関連情報を求めてこのような以前に保存したデータを検索し、上述した第２出力データを適宜出力してもよい。

図７を参照すると、方法／システム７００の一実施形態では、携帯電子装置７０４は図６に関連して上述した携帯電子装置６０４であってもよい。例えば、医療専門家７０６は、ユーザ７０２の健康状態を改善するであろう一連の行為として提案を提供しようとする。例えば、医療専門家７０６が「どのように怪我をしたのかは分かりました。タンパク質と野菜を含む栄養のある食事をして、１０パウンドのフリーウエイトを使ってＡ、Ｂ、Ｃルーチンの運動／理学療法を毎週してください。」という発話／提案７０８を声に出すかもしれない。携帯電子装置７０４のプロセッサ１０２は、発話／提案７０８の要素を分析する。方法／システム７００は、１０パウンドのフリーウエイトを使ったＡ、Ｂ、Ｃルーチンの運動／理学療法と携帯電子装置７０４に関連する情報を保存し、登録し、また、指示されたように週に一度Ａ、Ｂ、Ｃルーチンの運動／理学療法が実行されるべきと認識する。方法／システム７００は、毎週出力されるリマインダをデータベース１１２に自動的に予定してもよい。方法／システム７００は、更に、分析データ（推奨される食養生について、など）もデータベース１１２に保存し、登録する。

図８を参照すると、方法／システム８００の一実施形態では、携帯電子装置８０４は、図７に関連して上述した携帯電子装置７０４でもよい。携帯電子装置８０４は、図６及び７に関連して上述したように、収集した情報をユーザ８０２に推奨したり、動機を与えたり、又は思い出させたりしてもよい。例えば、方法／システム８００は、ユーザ８０２が、発話／提案７０８で述べられた食事及び理学療法の治療指針に従っているかを判定するために、検出データを分析することがある。

例えば、分析された第１出力データに基づいて、方法／システム８００はユーザ８０２が過去一週間にルーチンＡの機能訓練しか行わなかったと判定するかもしれない。方法／システム８００は、更に、様々な物体の認識、検出、処理方法及びシステムを用いて、ユーザ８０２がテレビ８１２を観ながら、ある種の食べ物８１４（チーズケーキなど）を食べていると判定するかもしれない。方法／システム８００は、更に、ユーザ８０２が今ソファで休んでいて、過去一週間に実質的な身体活動を行っていないと認識するかもしれない。

方法／システム８００は、食べ物８１４の栄養価を判定するため、インターネット、クラウドベースのデータベース及びコンピューティング１１０、メモリ１０８、又は、その他のデータを検索してもよい。例えば、方法／システム８００は、ユーザ８０２が医療専門家７０６の提案に基づきより早く回復するのを助けるため、より健康的な食べ物を選択するようにユーザ８０２を励ますため、出力発話８０８を生成することがある。方法／システム８００は、ユーザ８０２がＢ及びＣルーチンの理学療法を行うよう、更にユーザ８０２へ動機を与えようとしてもよい。出力発話８０８は、「Ｂ及びＣルーチンの理学療法を最後に行ってから１週間が経過しました。医療専門家に指示されたように部屋の中で軽いウエイトを使うことができます。冷蔵庫に、栄養のある食事の維持を助ける、野菜とタマゴがあります。」かもしれない。別の実施形態では、医療専門家７０６が薬を処方し、その薬の服用方法を指示した場合、携帯電子装置８０４は、更に、薬を適切に服用しているかをユーザ８０２に思い出させてもよい。

他の実施形態では、ユーザ８０２の健康に関連する追加情報にアクセスするため、方法／システム８００は歩数計又は他の健康情報を提供するシステムと接続又は通信してもよい。あるいは、方法／システム８００は、外部の健康モニタリング装置を用いて、又は、用いずに、運動活動、食習慣、その他の事項に対する検出データに基づいて、健康の要因を判定してもよい。

図９を参照すると、方法／システム９００では、ユーザ９０２はアルツハイマーの合併症又は認知症を患っている、あるいは、ユーザ９０２は脳／記憶を用いた情報の記憶、想起、又は分析に一定の困難を示すことがある。方法／システム９００は、予めプログラムされたアルゴリズム及び／又は検出データに基づいて、ユーザ９０２がそのような合併症を患っていると認識してもよい。一実施形態では、方法／システム９００は、ユーザ９０２の記憶を喚起するために、状況に見合った情報を暗に提供することがある。例えば、携帯電子装置９０４は、新しい物体、人、生物、又はその他の事物が環境に進入したことを判定するため、ユーザ９０２近くの検出データを継続的に分析してもよい。

例えば、図９に示すように、携帯電子装置９０４は、センサ１０６を介して検出したデータ用い、ある人が扉９１４を開けて環境に進入したことを認識することがある。ユーザ９０２は、「彼は誰だっけ？見たことがある気がする」という答申／考え９０８を声に出すかもしれない。ユーザ９０２が答申／考え９０８を声に出さない場合には、方法／システム９００は、ユーザ９０２が新しく進入した人９０６を特定していないと認識してもよい。例えば、携帯電子装置９０４のプロセッサ１０２は、カメラを利用して、ユーザ９０２の少なくとも顔の特徴の顔認識を作動し、ユーザ９０２が新しく進入した人９０６の特定を試みているが当惑していると判定してもよい。別の実施形態では、方法／システム９００がユーザ９０２の記憶を喚起するため、後述するような目立たない方法で自動的に第２出力データを出力してもよい。このような実施形態は、携帯電子装置が、ユーザ９０２が情報を記憶に保持又は想起することに困難があると知っている場合、動作のデフォルトモードとして設定されてもよい。

例えば、携帯電子装置９０４のプロセッサ１０２がカメラを利用して新しく入った人９０６の少なくとも顔の特徴の顔認識を作動してもよい。方法／システム９００は、新しく入ってきた人９０６がユーザ９０２の甥のマイケルと認識するかもしれない。別の実施形態では、発話、及び、発話源（３Ｄマイクの使用など）の認識を介してユーザ９０２は同一性を認識してもよい。例えば、新しく進入した人９０６が発話９１０を声に出すと、プロセッサ１０２は、方法／システム４００を使用して、新しく進入した人９０６の同一性を判定し、新しく進入した人９０６に係わる関連データを探索してもよい。新しく進入した人９０６の同一性を判定するために、その他の特徴、やりとり、外見などを分析してもよい。

プロセッサ１０２は、センサ１０６の一つによって検出された特定の一情報の信頼性を考慮してもよい。例えば、新しく進入した人９０６の特定又は認識のため、プロセッサ１０２は正確な検出又は認識ができる確立を割り当ててもよい。例えば、新しく進入した人９０６を検出するのに使用される機構に基づいて、正確な検出又は認識ができる確立を割り当ててもよい。一実施形態では、新しく進入した人９０６のＩＤ装置（携帯電話など）にプログラミングされた識別コードに基づいて新しく進入した人９０６の認識又は特定を行うのは、新しく進入した人９０６が他人のＩＤ装置を携帯している可能性もあるので、カメラを用いて新しく進入した人９０６の顔の特徴に基づいた認識を行ったり、マイクロホンを用いて発話認識を行うのに比べて、認識の信頼度が低いかもしれない。

更に、データが検出された状況を基に、正確な識別又は認識ができる確率を割り当ててもよい。例えば、カメラが妨害されていて、新しく進入した人９０６の顔を認識出来なくしている場合、方法／システム９００は、新しく進入した人９０６を識別するのに、正確な検出又は認識が出来る確率を相対的に低く割り当ててもよい。この妨害が取り除かれ、顔認識処理機構が新しく進入した人９０６の同一性を確認した場合、識別又は認識により高い確立の確実性が関連付けられる。このように、プロセッサ１０２は、データ検出の様々な事例の組合せに基づいて、更に、対応する正確な認識又は識別ができる確率に基づいて、新しく進入した人９０６の識別又は認識を行ってもよい。

図９を参照して、方法／システム９００が新しく進入した人９０６をユーザ９０２の甥の「マイケル」と判定すると、携帯電子装置９０４は、ユーザ９０２に間接的で、目立たず、暗示的なリマインダをユーザ９０２に提供するために、適切な情報を出力する。例えば、方法／システム９００が新しく進入した人９０６を近親者であると認識した場合、携帯電子装置９０４のプロセッサ１０２は、新しく進入した人９０６とユーザ９０２が最後に会ったときに関連する情報を出力するのは、現在の状況から適切でないと判定するかもしれない。代わりに、方法／システム９００は、目立たない形でユーザ９０２に新しく進入した人９０６がユーザ９０２の甥であると思い出させる情報を提供してもよい。例えば、携帯電子装置９０４は新しく進入した人に「こんにちは、マイケル。あなたの叔父［ユーザ９０２の名前］がまもなく来ます。」と述べる出力通知／発話９１２を向けて、状況に見合った目立たない形で間接的にユーザ９０２にリマインダを提供してもよい。

あるいは、又はそれに加えて、ユーザ９０２は携帯電子装置９０４に追加情報を生成するよう要求するかもしれない。ユーザ９０２からの要求に応じて、携帯電子装置９０４は、通信ユニット１０４を用いて、第１出力データを受動的に出力してもよい。

図１０の方法／システム１０００を参照すると、一実施形態では、車両１００４が平行二輪車であってもよい。ユーザ１００２は、車両１００４を所望の方向に向けて操作するよう向きを変えるために、ユーザの体重を移動させるかもしれない。車両１００４の基部１０１４を用いて検出されたユーザ１００２の体重移動でユーザ１００２から充分な方向操作指示が得られるので、車両１００４のハンドルバーは、ユーザ１００２にさらなる快適さを提供するためだけに付属していてもよい。

一実施形態では、車両１００４は、ユーザ１００２と直接通信してもよい。例えば、車両１００４は、上述したような発話の認識及び生成機能を持っていてもよい。例えば、ユーザ１００２の周辺環境に関連するデータを撮影するように、カメラが車両１００４に実装されていてもよい。別の実施形態では、ユーザ１００２は、車両１００４の通信ポートと通信又は接続したユーザ１００２の携帯電子装置（図３、５、６、７、８、又は９に関連してそれぞれ上述した携帯電子装置３０４、５０４、６０４、７０４、８０４、又は９０４）と通信してもよい。例えば、車両１００４とデータの通信をするため、ユーザ１００２のスマートフォンにソフトウェアアプリケーションがインストールされていてもよい。

図１０を参照すると、方法／システム１０００は、検出、処理、保存したデータに基づいて、ユーザ１００２がより健康なライフスタイルを維持するために、身体活動や運動を行うことを求めていると判定している。方法／システム１０００は、ＧＰＳ装置を搭載するか、通信していてもよい。方法／システム１０００は、建物がユーザ１００２の右手側に位置していると認識するかもしれない。方法／システム１０００は、建物に関連するデータを自動的に取得し、建物がジム１００６であると判定する。データは、ＧＰＳ装置からのデータと以前に検出、処理、保存したデータの組合せから取得されてもよい。方法／システム１０００は、更に、ユーザ１００２の家１０１０の位置及び、ユーザ１００２の家１０１０からジム１００６までの距離と方向を判定してもよい。方法／システム１０００は、ユーザ１００２がジム１００６の会員になることを検討するよう勧める第２出力データを自動的に出力してもよい。

方法／システム１０００は、ＧＰＳ装置から取得した運転方向に基づいて、車両１００４を使ってこのルートで行くのに２０分かかり、自動車を使って道路１０１２で行くのに４分かかると判定するかもしれない。意思決定プロセスを容易にするため、方法／システム１０００は、例えば、以下の出力提案／発話１００８を生成して、更に情報を提供してもよい：「減量のために運動をしたいと言っていたので、右側に最近ジムが開店したと通知しました。この装置を使用するとジムに到着するまで２０分かかります。また、西回りの道路１０１２を運転すると、４分かかります。朝仕事前に運動するのがよいと思われます。」

図１１の方法／システム１１００を参照すると、車両１１０４は、車椅子又は三輪自動車であってもよい。上述したセンサ１０６のいずれかが、車両１１０４に実装されていてもよい。例えば、センサ１０６は、センサ位置１１１０、１１２０、１１２４、及び１１２６に設置されていてもよい。センサ１０６は、車両１１０４のその他の場所に配置されてもよいが、これによって本発明の範囲は限定されない。例えば、カメラが、周辺環境に関連するデータを収集するため、センサ位置１１２０に配置されていてもよい。カメラ、マイクロホン、又は、上述したその他のセンサ１０６が、センサ位置１１１０に設置されていてもよい。周辺監視センサ及びレーザースキャンセンサが、センサ位置１１２４及び１１２６に設置されていてもよい。ＩＭＵ、ジャイロスコープ、ＧＰＳ装置などが、車両１１０４に更に搭載されていてもよい。車両１１０４は、ユーザ１１０２と通信するため、更にユーザインタフェース１１１２を含んでいてもよい。

車両１１０４の出力装置１１４は、プロセッサ１０２によって出力される第３出力データに基づいて車両１１０４の操作が可能なアクチュエータを持つ機械装置であってもよい。例えば、車両１１０４は、ユーザ１１０２が車両１１０４を所望の方向に操作するのを可能にするジョイスティック１１１４を含んでいてもよい。それとは別に、あるいは、それに加えて、ユーザ１１０２の接触データが検出されてもよい。

例えば、アルツハイマー患者の場合、又は、ユーザ１１０２の短期記憶に困難がある場合で、ユーザ１１０２が特定の目的地を忘れたら、方法／システム１１００は車椅子及びユーザ１１０２を目的地に誘導してもよい。ユーザ１１０２が、例えば、上述したジョイスティック１１１４を用いて方法／システム１１００を制御している場合、ユーザ１１０２が間違った道に進んでいることをユーザ１１０２に警告するため、又は、ユーザ１１０２を所望の目的地に更に誘導するために、振動などで応答が出力されてもよい。振動モータは、更に、ユーザ１１０２にフィードバックを提供できる。このような振動モータはユーザ１１０２が携帯するまたは着用する製品と一体化しているか、接続できる。例えば、ベルト１１２８又はチョッキが、車両１１０４に接続されていてもよく、振動がユーザ１１０２に情報を提供してもよい。

センサ１０６を使用して、方法／システム１１００は、整形外科診療所１１０６が車両１１０４とユーザ１１０２の左側に位置していると認識するかもしれない。（例えば、図４の方法／システム４００に関連して）上述したプロセスを用いて、方法／システム１１００は、観察された整形外科診療所１１０６に関連する検出データを以前に保存したイベント（例えば、図６に関連して説明した腕の怪我）と照合してもよい。リマインダデータを提供し、怪我が悪化する前に治療を受けるようユーザ１１０２が整形外科診療所１１０６に通院することを推奨するため、方法／システム１１００は図４に関して上述した方法／システム４００を使用して、第２出力データを出力してもよい。例えば、方法／システム１１００は、以下のような出力発話１１０８を生成してもよい：「先週被った腕の怪我について、左側にある整形外科診療所に通院することが出来ます。」

図１〜１１を参照すると、本発明の重要な側面の一つは、図１１２に描写された装置の全て又は各種組合せの間で、情報を共有することができるということである。例えば、図３、５、６、７、８、又は９に関連してそれぞれ上述した携帯電子装置３０４、５０４、６０４、７０４、８０４、９０４、図２Ａ、２Ｂ、１０、１１に関連して上述した車両、そして、通信装置、携帯電話、ラップトップ、カメラ、又は、上に列挙した装置又は構成と通信可能な又は接続されたその他の装置などの外部装置は、検出、処理、保存されたデータのプールにアクセスし、保存し、処理するため、クラウドベースのデータベース及びコンピューティング１１０又はインターネットを用いて情報を共有することが出来る。

本明細書中で、「ネットワーク」という用語は、ハードウェア及び／又はソフトウェア構成要素を含んだ、任意のクラウド、クラウドコンピューティングシステム、又は、電子通信システム、若しくは、方法を含む。例えば、電話ネットワーク、エクストラネット、イントラネット、インターネット、対話型装置のポイント（ＰＯＳ装置、ＰＤＡ（アンドロイド、ｉＰｈｏｎｅ、パルムパイロット、ブラックベリー）、携帯電話、キオスクなど）、オンライン通信、衛星通信、オフライン通信、無線通信、トランスポンダ通信、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、仮想私設通信網（ＶＰＮ）、ネットワーク又はリンク装置、キーボード、マウス及び／又は何らかの適切な通信又はデータ入力モダリティなど、適切な通信チャネルの何れかを介して、当事者間の通信を達成してもよい。インターネットに接続して用いられるプロトコル、標準、及びアプリケーションソフトウェアに関連する特定の情報は、概ね当業者に公知であり、本明細書では詳細を説明する必要はない。

「クラウド」又は「クラウドコンピューティング」は、管理作業、若しくはサービスプロバイダとのやりとりを最小限に抑え、供給とリリースが素早くできる構成変更可能なコンピューティングリソースの共有プール（ネットワーク、サーバ、記憶装置、アプリケーション、及び、サービスなど）に、オンデマンドで便利にネットワークを介してアクセスできるモデルを含む。

システム、方法、及び、コンピュータプログラム製品は提供される。「各種実施形態」、「一部の実施形態」、「一実施形態」、「実施形態」、「実施形態の例」などの言及は、記載された実施形態が特定の特徴、構造、又は特性などを含むことを示すが、全ての実施形態に特定の特徴、構造、特性が含まれなくてもよい。また、このような表現は必ずしも同一の実施形態を意味しない。更に、ある実施形態との関連で特定の特徴、構造、又は、特性が記載された場合、明記されているか否かに係わらず、他の実施形態との関連でのそのような特徴、構造、又は、特性の作用は当業者の知識の範囲であると考えられる。本明細書を読むことで、関連業者には、代替の実施形態で本開示を如何に実施するかは明らかになる。

本明細書に開示した例に関連して記載された方法又はアルゴリズムの工程は、ハードウェアに直接組み込まれるか、プロセッサ１０２に実行されるソフトウェアモジュールに組み込まれるか、又はその両方でもよい。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、又は当技術分野で公知のその他の任意の形式の記憶媒体に常駐してもよい。典型的な記憶媒体はプロセッサ１０２に接続し、プロセッサ１０２が記憶媒体から情報を読み込み、書き込むことができる。あるいは、記憶媒体はプロセッサ１０２と一体化していてもよい。プロセッサ１０２及び記憶媒体は、特定用途向け集積回路（ＡSIＣ）に搭載されていてもよい。

本明細書中で、方法／システム１００〜１１００は、機能ブロックの構成要素、スクリーンショット、選択肢、及び各種処理工程として、説明されていることがある。そのような機能ブロックは、特定の機能を実行するように構成された任意の数のハードウェア及び／又はソフトウェア構成要素で実現されてもよいのは当然である。例えば、方法／システム１００〜１１００は、メモリ要素、処理要素、論理要素、参照テーブルなど、１つ以上のマイクロプロセッサ又はその他の制御装置の制御で各種機能を実行する、各種集積回路の構成要素を採用してもよい。同様に、方法／システム１００〜１１００のソフトウェア要素は、ＶＰＬ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｊａｖａ（登録商標）スクリプト、ＶＢスクリプト、Ｍａｃｒｏｍｅｄｉａ ＣｏｌｄＦｕｓｉｏｎ、ＣＯＢＯＬ、Ｍｉｃｒｏｓｏｆｔ アクティブサーバーページ（ＡＳＰ）、アセンブリ、ＰＥＲＬ、ＰＨＰ、オーク、Ｐｙｔｈｏｎ、Ｖｉｓｕａｌ Ｂａｓｉｃ、ＳＱＬストアドプロシージャ、ＰＬ／ＳＱＬ、任意のＵＮＩＸ（登録商標）シェルスクリプト、ＸＭＬなど、いかなるプログラミング又はスクリプト言語で実装していてもよく、これら言語の各種アルゴリズムは、データ構造、オブジェクト、プロセス、ルーチン、又は、その他プログラミング要素の任意の組合せで実装されてもよい。なお、方法／システム１００〜１１００は任意の数のデータ通信、信号通信、データ処理、ネットワーク制御などの従来技術を採用してもよい。

一般的な当業者には当然のことながら、方法／システム１００〜１１００は、既存システムのカスタマイズ、アドオン製品、アップグレードソフトウェア、スタンドアロンシステム、配信システム、方法、データ処理システム、データ処理用装置、及び／又は、コンピュータプログラム製品として具体化されてもよい。更に、方法／システム１００〜１１００は、コンピュータ判読可能なプログラムコード手段を組み込んだ、非一時的なコンピュータ判読可能な記憶媒体上の、コンピュータプログラム製品の形式でもよい。ハードディスク、ＣＤ−ＲＯＭ、光記憶装置、磁気記憶装置のいずれか、あるいはすべてを含む、任意の適切なコンピュータ判読可能な記憶媒体を利用してもよい。

方法／システム１００〜１１００の好ましい実施形態を描写的に開示した。本明細書中で使用される用語は、非限定的に解釈されるべきである。なお、当該技術に精通した技術者には本明細書の技術内容に多少の変形例が着想されるが、本明細書が貢献した技術進歩の範囲に該当するそのような実施形態の全てが、本明細書に正当な根拠を持つ特許の範囲で保護される。そして、この範囲は、付属の特許請求の範囲及びその同等の発明の観点によってのみ制限される。
［構成１］
少なくとも１つのセンサを用いて、該少なくとも１つのセンサの少なくとも１つの近くの、少なくとも１人の人、物体、生物、場所、環境又はこれらの組合せと関連したデータを検出する工程と、
プロセッサを用いて、学習データを、前記検出されたデータ及びデータベースに保存された予めプログラムされたアルゴリズムに基づいて、前記データベースに選択的に保存する工程と、
前記プロセッサと接続され又は通信可能な通信ユニット又は出力装置を用いて、第１出力データを、前記プロセッサによって受信された要求又は前記データベースに保存された所定の若しくは予定されたイベントに応じて受動的に出力する工程と、
前記通信ユニット又は前記出力装置を用いて、第２出力データを、前記検出されたデータ、前記学習データ及び前記予めプログラムされたアルゴリズムに基づいて、能動的且つ自動的に出力する工程と、を含むコンピュータベースの方法。
［構成２］
前記検出されたデータが、
前記少なくとも１人の人と関連した、視覚的特性、発話、触知的情報、動作、やりとり、行動、ふるまい、会話、位置、同一性、特性又はこれらの組合せ、
前記少なくとも１つのセンサの少なくとも１つの近くの、前記物体、前記生物、前記場所、前記環境又はこれらの組合せと関連した、動作、音、やりとり、行動、触知的情報、視覚的特性、位置、同一性又はこれらの組合せ、又は、
前記少なくとも１つのセンサの少なくとも１つの近くの、前記場所又は前記環境と関連した、視覚的特性、種別、位置、温度、含水量、気象条件、音、特性又はこれらの組合せの、少なくとも１つに対応する構成１に記載の方法。
［構成３］
前記プロセッサを用いて、前記検出されたデータを、前記少なくとも１人の人、前記物体、前記生物、前記イベント、前記場所、前記環境又はこれらの組合せに対応する前記学習データに基づいて分析する工程をさらに含み、
前記データベースに選択的に保存する工程、及び、前記第２出力データを能動的且つ自動的に出力する工程が、更に、前記分析されたデータに基づく構成１に記載の方法。
［構成４］
前記方法が車両に実装された、構成１に記載の方法。
［構成５］
前記方法が携帯電子装置に実装された構成１に記載の方法。
［構成６］
前記プロセッサを用いて、会話又はやりとりを、前記検出されたデータに基づいて分析する工程を更に含み、
前記第２出力データを能動的且つ自動的に出力する工程が、
前記少なくとも１人の人との前記会話又は前記やりとりを能動的且つ自動的に開始し、又は、前記少なくとも１人の人との前記会話又は前記やりとりに能動的且つ自動的に参加するために、前記通信ユニット又は前記出力装置を用いて出力発話、出力画像、出力映像又はこれらの組合せを能動的且つ自動的に生成する工程、又は、
前記ユーザに対してリマインダを能動的に通知するために、前記通信ユニット又は前記出力装置を用いて能動的且つ自動的に前記出力発話、前記出力画像、前記出力映像又はこれらの組合せを生成する工程の少なくとも一方を更に含む構成１に記載の方法。
［構成７］
前記プロセッサを用いて、前記少なくとも１人の人、前記物体、前記生物、前記イベント、前記場所又は前記環境の、少なくとも２つの間の関係、順序又は相関を、学習データ及び予めプログラムされたアルゴリズムに基づいて決定することを更に含み、
前記第２出力データを能動的且つ自動的に出力する工程は、更に、前記決定された関係、順序又は相関に基づくものである構成１に記載の方法。
［構成８］
前記通信ユニット又は前記出力装置を用いて、前記第２出力データを、前記少なくとも１人の人からの応答又は入力を引き出すための質問又は問合せの形式で、能動的且つ自動的に出力すること、或いは、
前記通信ユニット又は前記出力装置を用いて、前記第２出力データを、前記少なくとも１人の人との会話又はやりとりに参加するために能動的且つ自動的に出力すること、
の少なくとも一方を実行することによって、能動的且つ自動的に前記検出データの質を向上させ、又は、前記検出されたデータの量を増す構成１に記載の方法。
［構成９］
前記少なくとも１つのセンサが、画像センサ、振動センサ、マイクロホン、近接検出器、位置検出器、力センサ、距離センサ、レーザースキャナ又はレーダーセンサの少なくとも１つであり、
前記少なくとも１つのセンサが、少なくとも車両又は携帯電子装置と一体化され又は接続された構成１に記載の方法。
［構成１０］
前記第２出力データを能動的且つ自動的に出力する工程が、
前記通信ユニット又は前記出力装置と接続された又は通信可能なディスプレイを用いて出力画像又は出力映像を表示する工程、又は、
前記通信ユニット又は前記出力装置と接続された又は通信可能なスピーカを用いて出力発話を生成する工程、の少なくとも一方を含む構成１に記載の方法。
［構成１１］
前記データベースが、クラウドベースのデータベースを含み、又は、クラウドベースのデータベースと通信可能であり、前記プロセッサが、
該プロセッサ及び前記クラウドベースのデータベースを用いて、前記検出されたデータ、前記第１出力データ、前記第２出力データ又はこれらの組合せを、前記クラウドベースのデータベースに接続され又は前記クラウドベースのデータベースと通信可能な外部機器へと送信し、且つ、
前記プロセッサ及び前記クラウドベースのデータベースを用いて、入力データを、前記外部機器から受信するように更に構成された構成１に記載の方法。
［構成１２］
前記少なくとも１人の人が、記憶に関する障害又は健康上の問題を有するユーザを含み、前記第２出力データを能動的且つ自動的に出力する工程が、
前記検出データを、前記人、前記物体、前記生物、前記イベント、前記場所、前記環境又はこれらの組合せに対応した前記学習データと関連付けることの少なくとも１つを更に含み、
前記第２出力データが、前記少なくとも１人の人、前記物体、前記生物、前記イベント、前記場所、前記環境又はこれらの組合せの、識別、特徴、位置、行動又はやりとりに関する、前記ユーザに通信する情報を対象としたリマインダデータに対応する構成１に記載の方法。
［構成１３］
前記方法が、前記プロセッサを用いて、前記検出データに基づき、前記少なくとも１人の人の健康、運動又は食生活を分析する工程を更に含み、
前記第２出力データを能動的且つ自動的に出力する工程が、
前記通信ユニット又は前記出力装置を用いて、前記第２出力データを、前記少なくとも１人の人の前記健康、運動又は食生活の評価において医療専門家を支援するために該医療専門家へと出力する工程、又は、
前記通信ユニット又は前記出力装置を用いて、前記第２出力データを、前記健康、運動又は食生活と関連した提案を出力するために前記少なくとも１人の人へと出力する工程の、
少なくとも一方を含む構成１に記載の方法。
［構成１４］
前記予めプログラムされたアルゴリズムが、前記第２出力データの情報内容、ユーザのプライバシー問題、検出されたイベントのコンテキスト、又は、これらの組合せを決定するための適切性アルゴリズム規則に対応し、
当該方法が、前記プロセッサを用いて、前記検出されたデータを、前記適切性アルゴリズム規則及び前記学習データに基づいて分析することを更に含み、
前記第２出力データを前記能動的且つ自動的に出力する工程が、前記分析されたデータに基づく構成１に記載の方法。
［構成１５］
前記少なくとも１つのセンサの少なくとも１つの近くの運転手、乗客、物体、生物、イベント、場所、環境又はこれらの組合せと関連したデータを検出するように構成された少なくとも１つのセンサと、
予めプログラムされたアルゴリズムを保存するデータベースと、
通信ユニットと、
プロセッサであって前記少なくとも１つのセンサ、前記データベース及び前記通信ユニットと接続され又は通信可能なプロセッサと、を具備する車両であって、
前記プロセッサが、
学習データを、前記検出されたデータ及び前記予めプログラムされたアルゴリズムに基づいて、前記データベースに選択的に保存し、
前記学習データ及び前記予めプログラムされたアルゴリズムに基づいて、前記検出されたデータを分析し、
前記通信ユニットを用いて、第１出力データを、前記プロセッサによって受信された要求又は前記データベースに保存された所定の若しくは予定されたイベントに応じて受動的に出力し、
前記通信ユニットを用いて、第２出力データを、前記分析されたデータ、前記学習データ及び前記予めプログラムされたアルゴリズムに基づいて能動的且つ自動的に出力するように構成された車両。
［構成１６］
前記通信ユニットが、ディスプレイ、マイクロホン及びスピーカを少なくとも有し、前記プロセッサが、
発話認識アルゴリズムを用いて、前記運転手又は前記乗客の少なくとも一方の発話を検出し、
発話処理アルゴリズムを用いて、前記学習データ及び前記予めプログラムされたアルゴリズムに基づいて前記検出された発話を分析し、
前記検出された発話と、前記運転手、前記乗客、前記物体、前記生物、前記イベント、前記場所、前記環境又はこれらの組合せと、の間の関係、順序又は相関を決定し、
前記スピーカを用いて、前記決定された関係、順序又は相関に基づいて出力発話を生成すること、又は、
前記ディスプレイを用いて、前記決定された関係、順序又は相関に基づいて出力画像又は出力映像を表示すること、
の少なくとも一方を能動的且つ自動的に実行するように更に構成された構成１５に記載の車両。
［構成１７］
更に、前記プロセッサを用いて、現在予想される運転の注意レベルを、前記検出されたデータに基づいて、且つ、当該車両の現在の操作に基づいて決定し、
前記プロセッサを用いて、前記生成された出力発話又は前記表示された出力画像又は出力映像の出力タイミング及び情報内容を、決定された前記現在予想される運転の注意レベルに基づいて決定する構成１６に記載の車両。
［構成１８］
前記データベースが、クラウドベースのデータベースを含み、又は、該クラウドベースのデータベースと通信可能であり、
前記プロセッサが、
前記プロセッサ及び前記クラウドベースのデータベースを用いて、前記検出されたデータ、前記第１出力データ、前記第２出力データ又はこれらの組合せを、外部装置へと送信し、且つ、
前記プロセッサ及び前記クラウドベースのデータベースを用いて、前記外部機器からの入力データを受信するように更に構成された構成１７に記載の車両。
［構成１９］
前記少なくとも１つのセンサの少なくとも１つの近くの、少なくとも１人の人又はユーザ、物体、生物、イベント、場所、環境又はこれらの組合せと関連したデータを検出するように構成された少なくとも１つのセンサと、
予めプログラムされたアルゴリズムを保存するデータベースと、
通信ユニットと、
前記少なくとも１つのセンサ、前記データベース及び前記通信ユニットと接続され又は通信可能なプロセッサと、を具備する携帯電子装置であって、
前記プロセッサが、
学習データを、前記検出されたデータ及び前記予めプログラムされたアルゴリズムに基づいて前記データベースに選択的に保存し、
前記学習データ及び前記予めプログラムされたアルゴリズムに基づいて前記検出されたデータを分析し、
前記通信ユニットを用いて、前記プロセッサによって受信された要求に応じて、又は、前記データベースに保存された所定の若しくは予定されたイベントに応じて第１出力データを受動的に出力し、且つ、
前記通信ユニットを用いて、第２出力データを、前記分析されたデータ、前記学習データ及び前記予めプログラムされたアルゴリズムに基づいて能動的且つ自動的に出力するように構成された携帯電子装置。
［構成２０］
前記通信ユニットが、ディスプレイ、マイクロホン及びスピーカを少なくとも含み、更に前記プロセッサが、
発話認識アルゴリズムを用いて前記少なくとも１人の発話を検出し、
発話処理アルゴリズムを用いて、前記検出された発話を、前記学習データ及び前記予めプログラムされたアルゴリズムに基づいて分析し、
前記検出された発話及び前記学習データ間の関係、順序又は相関を決定し、且つ、
出力発話を、前記スピーカを用いて、前記決定された関係、順序又は相関に基づいて生成すること、又は、
前記ディスプレイを用いて、出力画像又は出力映像を、決定された前記関係、順序又は相関に基づいて表示すること、
の少なくとも一方を能動的且つ自動的に実行するように構成された構成１９に記載の携帯電子装置。

１００ 方法／システム
１０２ プロセッサ
１０４ 通信ユニット
１０６ センサ
１０８ メモリ
１１０ クラウドベースのデータベース及びコンピューティング
１１２ データベース
１１４ 出力装置
２００ 方法／システム
２００ 方法／システム
２０２ ユーザ
２０６ 人
２２０ センサ位置
２３０ センサ位置
３００ 方法／システム
３０２ ユーザ
３０４ 携帯電子装置
３０６ 発話／考え
３０８ リマインダ／発話
３１０ 推定
３１２ 机
３１４ 鍵
４００ 方法／システム
４０２ 工程
４０４ 工程
４０６ 工程
４０８ 工程
４１０ 工程
４１２ 工程
４２２ 工程
４２４ 工程
４２６ 工程
４３０ 工程
５００ 方法／システム
５０２ ユーザ
５０４ 携帯電子装置
５０６ 人
６００ 方法／システム
６０２ ユーザ
６０４ 携帯電子装置
６０６ 医療専門家
６０８ 発話／答申
６１０ 発話／回答
６１４ 画像／映像
７００ 方法／システム
７０２ ユーザ
７０４ 携帯電子装置
７０６ 医療専門家
７０８ 発話／提案
８００ 方法／システム
８０２ ユーザ
８０４ 携帯電子装置
８０６ 軽いウエイト
８０８ 発話
８１０ 冷蔵庫
８１２ テレビ
８１４ 食べ物
８１６ カメラ
９００ 方法／システム
９０２ ユーザ
９０４ 携帯電子装置
９０６ 人
９０８ 答申／考え
９１０ 発話
９１２ 通知／発話
９１４ 扉
１０００ 方法／システム
１００２ ユーザ
１００４ 車両
１００６ ジム
１００８ 提案／発話
１０１０ 家
１０１２ 道路
１０１４ 基部
１１００ 方法／システム
１１０２ ユーザ
１１０４ 車両
１１０６ 整形外科診療所
１１０８ 発話
１１１０ センサ位置
１１１２ ユーザインタフェース
１１１４ ジョイスティック
１１２０ センサ位置
１１２４ センサ位置
１１２６ センサ位置
１１２８ ベルト

Claims (20)

1. 少なくとも１つのセンサを用いて、該少なくとも１つのセンサの少なくとも１つの近くの、少なくとも１人の人、物体、生物、場所、環境又はこれらの組合せと関連したデータを検出することと、
   プロセッサを用いて、学習データを、該検出されたデータ及びデータベースに保存された予めプログラムされたアルゴリズムに基づいて、前記データベースに選択的に保存することと、
   前記プロセッサと接続され又は通信可能な通信ユニット又は出力装置を用いて、第１出力データを、前記プロセッサによって受信された要求又は前記データベースに保存された所定の若しくは予定されたイベントに応じて受動的に出力することと、
   前記通信ユニット又は前記出力装置を用いて、第２出力データを、前記検出されたデータ、前記学習データ及び前記予めプログラムされたアルゴリズムに基づいて、能動的且つ自動的に出力することと、を含み、
   前記第２出力データを能動的且つ自動的に出力することが、
   前記プロセッサを用いて、人を別の人から差別化することであって、前記人とユーザとの間の以前の会話又はやりとりに基づき、差別化することと、
   該差別化に基づいて、前記第２出力データに含まれる情報の程度又は種類を調節することと、
   を含むコンピュータベースの方法。
2. 前記検出されたデータが、
   前記少なくとも１人の人と関連した、視覚的特性、発話、触知的情報、動作、やりとり、行動、ふるまい、会話、位置、同一性、特性又はこれらの組合せ、
   前記少なくとも１つのセンサの少なくとも１つの近くの、前記物体、前記生物、前記場所、前記環境又はこれらの組合せと関連した、動作、音、やりとり、行動、触知的情報、視覚的特性、位置、同一性又はこれらの組合せ、又は、
   前記少なくとも１つのセンサの少なくとも１つの近くの、前記場所又は前記環境と関連した、視覚的特性、種別、位置、温度、含水量、気象条件、音、特性又はこれらの組合せの、少なくとも１つに対応する請求項１に記載の方法。
3. 前記プロセッサを用いて、前記検出されたデータを、前記少なくとも１人の人、前記物体、前記生物、前記イベント、前記場所、前記環境又はこれらの組合せに対応する前記学習データに基づいて分析することをさらに含み、
   前記学習データを前記データベースに選択的に保存すること、及び、前記第２出力データを能動的且つ自動的に出力することが、更に、該分析されたデータに基づく請求項１に記載の方法。
4. 前記方法が車両に実装された、請求項１に記載の方法。
5. 前記方法が携帯電子装置に実装された請求項１に記載の方法。
6. 前記プロセッサを用いて、会話又はやりとりを、前記検出されたデータに基づいて分析することを更に含み、
   前記第２出力データを能動的且つ自動的に出力することが、
   前記少なくとも１人の人との前記会話又は前記やりとりを能動的且つ自動的に開始するために、又は、前記少なくとも１人の人との前記会話又は前記やりとりに能動的且つ自動的に参加するために、前記通信ユニット又は前記出力装置を用いて、出力発話、出力画像、出力映像又はこれらの組合せを能動的且つ自動的に生成すること、又は、
   ユーザに対してリマインダを能動的に通知するために、前記通信ユニット又は前記出力装置を用いて、前記出力発話、前記出力画像、前記出力映像又はこれらの組合せを能動的且つ自動的に生成すること、の少なくとも一方を更に含む請求項１に記載の方法。
7. 前記プロセッサを用いて、前記少なくとも１人の人、前記物体、前記生物、前記イベント、前記場所又は前記環境の、少なくとも２つの間の関係、順序又は相関を、前記学習データ及び前記予めプログラムされたアルゴリズムに基づいて決定することを更に含み、
   前記第２出力データを能動的且つ自動的に出力することが、更に、該決定された関係、順序又は相関に基づく請求項１に記載の方法。
8. 前記通信ユニット又は前記出力装置を用いて、前記第２出力データを、前記少なくとも１人の人からの応答又は入力を引き出すための質問又は問合せの形式で、能動的且つ自動的に出力すること、又は、
   前記通信ユニット又は前記出力装置を用いて、前記第２出力データを、前記少なくとも１人の人との会話又はやりとりに参加するために能動的且つ自動的に出力すること、
   の少なくとも一方を実行することによって、前記検出されたデータの質を能動的且つ自動的に向上させ、又は、前記検出されたデータの量を能動的且つ自動的に増すことを更に含む請求項１に記載の方法。
9. 前記少なくとも１つのセンサが、画像センサ、振動センサ、マイクロホン、近接検出器、位置検出器、力センサ、距離センサ、レーザースキャナ又はレーダーセンサの少なくとも１つであり、
   前記少なくとも１つのセンサが、少なくとも車両又は携帯電子装置と一体化され又は接続された請求項１に記載の方法。
10. 前記第２出力データを能動的且つ自動的に出力することが、
    前記通信ユニット又は前記出力装置と接続された又は通信可能なディスプレイを用いて出力画像又は出力映像を表示すること、又は、
    前記通信ユニット又は前記出力装置と接続された又は通信可能なスピーカを用いて出力発話を生成すること、の少なくとも一方を含む請求項１に記載の方法。
11. 前記データベースが、クラウドベースのデータベースを含み、又は、クラウドベースのデータベースと通信可能であり、前記プロセッサが、
    該プロセッサ及び前記クラウドベースのデータベースを用いて、前記検出されたデータ、前記第１出力データ、前記第２出力データ又はこれらの組合せを、前記クラウドベースのデータベースに接続され又は前記クラウドベースのデータベースと通信可能な外部機器に送信し、且つ、
    前記プロセッサ及び前記クラウドベースのデータベースを用いて、入力データを、前記外部機器から受信する、ように更に構成された請求項１に記載の方法。
12. 前記少なくとも１人の人が、記憶に関する障害又は健康上の問題を有するユーザを含み、前記第２出力データを能動的且つ自動的に出力することが、
    前記検出されたデータを、前記人、前記物体、前記生物、前記イベント、前記場所、前記環境又はこれらの組合せに対応した前記学習データと関連付けることの少なくとも１つを更に含み、
    前記第２出力データが、前記少なくとも１人の人、前記物体、前記生物、前記イベント、前記場所、前記環境又はこれらの組合せの、識別、特徴、位置、行動又はやりとりに関する、前記ユーザに通信する情報を対象としたリマインダデータに対応する請求項１に記載の方法。
13. 前記方法が、前記プロセッサを用いて、前記検出されたデータに基づき、前記少なくとも１人の人の健康、運動又は食生活を分析することを更に含み、
    前記第２出力データを能動的且つ自動的に出力することが、
    前記通信ユニット又は前記出力装置を用いて、前記第２出力データを、前記少なくとも１人の人の前記健康、運動又は食生活の評価において医療専門家を支援するために該医療専門家に出力すること、又は、
    前記通信ユニット又は前記出力装置を用いて、前記第２出力データを、前記健康、運動又は食生活と関連した提案を出力するために前記少なくとも１人の人に出力することの、
    少なくとも一方を含む請求項１に記載の方法。
14. 前記予めプログラムされたアルゴリズムが、前記第２出力データの情報内容、ユーザのプライバシー問題、検出されたイベントのコンテキスト、又は、これらの組合せを決定するための適切性アルゴリズム規則に対応し、
    当該方法が、前記プロセッサを用いて、前記検出されたデータを、前記適切性アルゴリズム規則及び前記学習データに基づいて分析することを更に含み、
    前記第２出力データを前記能動的且つ自動的に出力することが、該分析されたデータに基づく請求項１に記載の方法。
15. 少なくとも１つのセンサであって、前記少なくとも１つのセンサの少なくとも１つの近くの運転手、乗客、物体、生物、イベント、場所、環境又はこれらの組合せと関連したデータを検出するように構成された少なくとも１つのセンサと、
    予めプログラムされたアルゴリズムを保存するデータベースと、
    通信ユニットと、
    プロセッサであって前記少なくとも１つのセンサ、前記データベース及び前記通信ユニットと接続され又は通信可能なプロセッサであって、
    学習データを、該検出されたデータ及び前記予めプログラムされたアルゴリズムに基づいて、前記データベースに選択的に保存し、
    前記学習データ及び前記予めプログラムされたアルゴリズムに基づいて、前記検出されたデータを分析し、
    前記通信ユニットを用いて、第１出力データを、前記プロセッサによって受信された要求又は前記データベースに保存された所定の若しくは予定されたイベントに応じて受動的に出力し、
    前記通信ユニットを用いて、第２出力データを、該分析されたデータ、前記学習データ及び前記予めプログラムされたアルゴリズムに基づいて能動的且つ自動的に出力する、
    ように構成されたプロセッサと、
    を具備する車両であって、
    前記第２出力データを能動的且つ自動的に出力するために前記プロセッサが、
    人を別の人から差別化することであって、前記人とユーザとの間の以前の会話又はやりとりに基づき、差別化することと、
    該差別化に基づいて、前記第２出力データに含まれる情報の程度又は種類を調節することと、
    を行うように構成された車両。
16. 前記通信ユニットが、ディスプレイ、マイクロホン及びスピーカを少なくとも有し、前記プロセッサが、
    発話認識アルゴリズムを用いて、前記運転手又は前記乗客の少なくとも一方の発話を検出し、
    発話処理アルゴリズムを用いて、前記学習データ及び前記予めプログラムされたアルゴリズムに基づいて該検出された発話を分析し、
    前記検出された発話と、前記運転手、前記乗客、前記物体、前記生物、前記イベント、前記場所、前記環境又はこれらの組合せと、の間の関係、順序又は相関を決定し、
    能動的且つ自動的に、
    前記スピーカを用いて、該決定された関係、順序又は相関に基づいて出力発話を生成すること、又は、
    前記ディスプレイを用いて、前記決定された関係、順序又は相関に基づいて出力画像又は出力映像を表示すること、
    の少なくとも一方を実行する、
    ように更に構成された請求項１５に記載の車両。
17. 更に、前記プロセッサが、
    現在予想される運転の注意レベルを、前記検出されたデータに基づいて、且つ、当該車両の現在の操作に基づいて決定し、
    該生成された出力発話又は該表示された出力画像もしくは出力映像の出力タイミング及び情報内容を、該決定された現在予想される運転の注意レベルに基づいて決定する、
    ように構成された請求項１６に記載の車両。
18. 前記データベースが、クラウドベースのデータベースを含み、又は、クラウドベースのデータベースと通信可能であり、前記プロセッサが、
    前記プロセッサ及び前記クラウドベースのデータベースを用いて、前記検出されたデータ、前記第１出力データ、前記第２出力データ又はこれらの組合せを、外部機器に送信し、且つ、
    前記プロセッサ及び前記クラウドベースのデータベースを用いて、前記外部機器からの入力データを受信する、ように更に構成された請求項１７に記載の車両。
19. 少なくとも１つのセンサであって、前記少なくとも１つのセンサの少なくとも１つの近くの、少なくとも１人の人又はユーザ、物体、生物、イベント、場所、環境又はこれらの組合せと関連したデータを検出するように構成された少なくとも１つのセンサと、
    予めプログラムされたアルゴリズムを保存するデータベースと、
    通信ユニットと、
    前記少なくとも１つのセンサ、前記データベース及び前記通信ユニットと接続され又は通信可能なプロセッサであって、
    学習データを、該検出されたデータ及び前記予めプログラムされたアルゴリズムに基づいて前記データベースに選択的に保存し、
    前記学習データ及び前記予めプログラムされたアルゴリズムに基づいて前記検出されたデータを分析し、
    前記通信ユニットを用いて、前記プロセッサによって受信された要求に応じて、又は、前記データベースに保存された所定の若しくは予定されたイベントに応じて第１出力データを受動的に出力し、且つ、
    前記通信ユニットを用いて、第２出力データを、該分析されたデータ、前記学習データ及び前記予めプログラムされたアルゴリズムに基づいて能動的且つ自動的に出力する、ように構成されたプロセッサと、
    を具備した携帯電子装置であって、
    前記第２出力データを能動的且つ自動的に出力するために前記プロセッサが、
    前記プロセッサを用いて人を別の人から差別化することであって、前記人と前記ユーザとの間の以前の会話又はやりとりに基づき、差別化することと、
    該差別化に基づいて、前記第２出力データに含まれる情報の程度又は種類を調節することと、
    を行うように構成された携帯電子装置。
20. 前記通信ユニットが、ディスプレイ、マイクロホン及びスピーカを少なくとも含み、更に前記プロセッサが、
    発話認識アルゴリズムを用いて前記少なくとも１人の発話を検出し、
    発話処理アルゴリズムを用いて、該検出された発話を、前記学習データ及び前記予めプログラムされたアルゴリズムに基づいて分析し、
    前記検出された発話と前記学習データとの間の関係、順序又は相関を決定し、
    能動的且つ自動的に、
    前記スピーカを用いて、該決定された関係、順序又は相関に基づいて出力発話を生成すること、又は、
    前記ディスプレイを用いて、前記決定された関係、順序又は相関に基づいて出力画像又は出力映像を表示すること、
    の少なくとも一方を実行する、
    ように構成された請求項１９に記載の携帯電子装置。

Images