JP2022519283A - 強化学習を利用する３ｄ環境リスク識別 - Google Patents

強化学習を利用する３ｄ環境リスク識別 Download PDF

Info

Publication number
JP2022519283A
JP2022519283A JP2021545464A JP2021545464A JP2022519283A JP 2022519283 A JP2022519283 A JP 2022519283A JP 2021545464 A JP2021545464 A JP 2021545464A JP 2021545464 A JP2021545464 A JP 2021545464A JP 2022519283 A JP2022519283 A JP 2022519283A
Authority
JP
Japan
Prior art keywords
agent
environment
risk
communicatively coupled
dimensional environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021545464A
Other languages
English (en)
Inventor
ジョーン チャスコ，ブライアン
Original Assignee
エレクトロニック ケアギヴァー，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エレクトロニック ケアギヴァー，インコーポレイテッド filed Critical エレクトロニック ケアギヴァー，インコーポレイテッド
Publication of JP2022519283A publication Critical patent/JP2022519283A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)
  • Moulding By Coating Moulds (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Figure 2022519283000001
本明細書に提供されるのは、傷害リスクの評価を提供する方法であって、方法は、環境内にエージェントを展開することと、エージェントによって第１の状態にある第１の物体を検出することと、エージェントによって強化学習を用いて第１の物体と相互作用するよう行動を取ることであって、行動は、報酬を最大化するために取られる、行動を取ることと、第１の物体を三次元環境にマッピングすることと、三次元環境内の潜在的リスクを識別することとを含む。本明細書に同様に提供されるのは、傷害リスクの評価を提供するシステムであって、システムは、感知デバイスと通信的に結合されるエージェントと、エージェントに通信的に結合される通信ネットワークと、通信ネットワークに通信的に結合される三次元モデルリスク評価モジュールと、三次元モデルリスク評価モジュールに通信的に結合されるユーザデバイスと、通信ネットワークに通信的に結合される環境リスクを識別するためのシステムとを含む。

Description

（関連出願の参照）
この出願は、２０１９年２月５日に出願された「3D Environment Risk Identification Utilizing Reinforced Learning」という名称の米国仮特許出願第６２／８０１，５２５号の優先権の利益を主張し、その全文を参照により本明細書に援用する。
本主題は、環境リスクを識別することに関する。具体的には、限定するものではないが、本主題は、強化学習(reinforced learning)および深層学習(deep learning)のような機械学習(machine learning)を使用してシミュレートされた環境における環境リスクを識別する(identifying)システムおよび方法を提供する。
本明細書に提供されるのは、傷害リスク(injury risk)の評価を提供する方法であって、方法は、環境内にエージェントを展開することと、エージェントによって第１の状態にある第１の物体を検出することと、エージェントによって強化学習を用いて第１の物体と相互作用するよう行動(アクション)を取ることであって、行動は、報酬を最大化するために取られる、行動を取ることと、第１の物体を三次元環境にマッピングすることと、三次元環境内の潜在的リスクを識別することとを含む。
さらなる方法は、エージェントが、エージェントによって強化学習を使用して第２の物体と相互作用(対話)するために環境内で別の行動を取り続けることであって、行動は、累積報酬を最大化するためにとられる、取り続けることと、エージェントが、第２の物体を三次元環境にマッピングし、三次元環境内の潜在的リスクを識別し続けることとを含む。エージェントは、三次元環境内の第１および第２の物体の相対的な場所をマッピングしてもよく、三次元環境内の第１および第２の物体の接触を避ける経路をマッピングしてもよい。
例示的な方法は、三次元環境を改良するために環境を通じて移動および相互作用(対話)することによって、シミュレーション構築プロセスにおいて強化学習を使用して、三次元環境内のユーザおよびエージェントをシミュレートすることを含んでよい。新しい三次元環境が、各シークエンスおよび／またはエージェントによる移動の相互作用(対話)で生成されてよい。さらに、マップは、環境中の潜在的リスクを識別し、潜在的リスクを低リスクから無リスクまで又は中リスクから高リスクまでのいずれかに分類してよい。
本明細書に同様に提供されるのは、傷害リスクの評価を提供するシステムであって、システムは、感知デバイスと通信的に結合されるエージェントと、エージェントに通信的に結合される通信ネットワークと、通信ネットワークに通信的に結合される三次元モデルリスク評価モジュールと、三次元モデルリスク評価モジュールに通信的に結合されるユーザデバイスと、通信ネットワークに通信的に結合される環境リスクを識別するためのシステムとを含む。
同等の参照番号が別個の眺望を通じて同一または機能的に類似の要素を指す、添付の図面は、以下の詳細な記述と共に、本明細書に組み込まれ、本明細書の一部を形成し、特許請求される開示を含む概念の実施形態をさらに例示するのに役立ち、それらの実施形態の様々な原理および利点を説明する。
本明細書に開示する方法およびシステムは、適切な場合には、図面中の従来的な記号によって表現されており、本明細書の記述の利益を有する当業者に容易に明らかである詳細で本開示を不明瞭にしないよう、本開示の実施形態の理解に関する特定の詳細のみを示している。
様々な例示的実施形態に従った、３Ｄ環境において包括的な傷害リスク評価を提供するように構成された例示的なシステムの図を図示している。
強化学習（ＲＬ）を使用するエージェントによって３Ｄ環境を構築するために実装されるシミュレーションプロセスの概略図である。
様々な例示的な実施形態に従った、３Ｄ環境における包括的な傷害リスク評価を提供する例示的な方法を図示している。
環境を通じて移動することによるシミュレーション構築プロセスにおいてＲＬを使用するエージェントを図示している。 環境を通じて移動することによるシミュレーション構築プロセスにおいてＲＬを使用するエージェントを図示している。 環境を通じて移動することによるシミュレーション構築プロセスにおいてＲＬを使用するエージェントを図示している。
低リスクから無リスクまでについてチェックマークによって環境内に表現され、中リスクから高リスクまでについてバツマークによって環境内に表現された、関連するリスク出力を有する。 低リスクから無リスクまでについてチェックマークによって環境内に表現され、中リスクから高リスクまでについてバツマークによって環境内に表現された、関連するリスク出力を有する。 低リスクから無リスクまでについてチェックマークによって環境内に表現され、中リスクから高リスクまでについてバツマークによって環境内に表現された、関連するリスク出力を有する。
機械に本明細書で議論された方法論のうちのいずれか１つ以上を行わせる命令のセットを実行するコンピューティングシステムの形態の例示的な機械の概略図を図示している。
以下の詳細な記述は、詳細な記述の一部を構成する添付の図面への参照を含む。図面は、例示的な実施形態に従った例示を示している。本明細書において「例」と呼ぶこともあるこれらの例示的な実施形態は、当業者が本主題を実施することを可能にするよう十分に詳細に記載される。特許請求の範囲から逸脱することなく、実施形態を組み合わせることができ、他の実施形態を利用することができ、或いは構造的、論理的にすることができ、変更を行うことができる。従って、以下の詳細な記述は、限定的な意味で解釈されるべきではなく、範囲は、添付の特許請求の範囲およびそれらの均等物によって定義される。
本明細書に開示する実施形態の技法は、様々な技術を用いて実装されてよい。例えば、本明細書に記載する方法は、コンピューティングシステム上で実行されるソフトウェアにおいて、或いは、マイクロプロセッサの組み合わせまたは他の特別に設計された特定用途向け集積回路、プログラマブル論理デバイス、若しくはそれらの様々な組み合わせのいずれかを利用する、ハードウェアにおいて実装されてよい。特に、本明細書に記載する方法は、ディスクドライブまたはコンピュータ読取可能媒体のような記憶媒体上に存在する一連のコンピュータ実行可能命令によって実装されてよい。本明細書に開示する方法は、コンピュータ（例えば、デスクトップコンピュータ、タブレットコンピュータ、タップトップコンピュータなど）、ゲームコンソール、ハンドヘルドゲームデバイス、携帯電話、スマートフォン、スマートテレビジョンシステムなどによって実装されることができることが留意されるべきである。異なる展開アーキテクチャ(deployment architectures)は、クラウド内サーバ、社内サーバ、またはハイブリッドを含む。
患者の自宅のような環境は、テーブル、椅子、ランプまたは個人の視線外または視線内の任意の追加的な品目のような、家具の配置に依存する、潜在的な傷害のリスクがある。例えば、誤配置された家具又は容易に見えない他の品目は、高齢者から幼児を含む全ての年齢の人々、障害、慢性疾患及び機能障害のある個人を潜在的に怪我させ得る。
傷害リスク評価(injury risk assessment)は、独立性を維持することを強く望む高齢者へのヘルスケアの提供の一体的な部分となっている。従来、傷害を引き起こすリスクを有する家庭(home)内の物体の識別(identification)は、人が家を訪問している間に空間を歩くときに、人または作業療法士によって目視検査によって行われてきた。目視検査の間に、作業療法士は、人の質及び環境のような要因の組み合わせに基づいて使用済み領域及びそれらの限界を検査し、リスク層別化をモデル化するためにデータ分析を使用する場合又は使用しない場合がある。しかしながら、傷害リスクについて空間を手作業で検査することを人に要求することは、検査中にその人を傷害のリスクに置き、時間がかかり、不十分な健康情報システムおよびデータ分析の故に環境リスク全体を識別するという問題をスケーリングするには労力がかかりすぎ、固定された場所に限定されることがあり、例えば、作業療法において患者が負担することができないことがあり、傷害が発生した後にのみ生じることがある。
本明細書に記載し且つ図示する様々な例示的な実施形態は、空間の３Ｄ環境を提供するシステムおよび方法、並びに強化学習および深層学習のような機械学習を利用する空間内の包括的な傷害リスク評価の方法に関する。例示的な実施形態によれば、システム及び方法は、家庭または居住空間(living space)の３Ｄ環境をマッピングし、３Ｄモデルをシミュレーション環境に置く。次に、ユーザのシミュレーションバージョンを使用して、強化学習を使用して仮想家庭を通じて通路(pathways)を追跡して、最も安全な通路を見出して、リスクを回避し且つ認識することができる。この解決策は、リスク評価サービスをユーザに提供して、ユーザが自立した生活を送ることを可能にするので、ユーザは、介護施設、家族の家、又はリスクを監視して修正できる施設若しくは家のような、固定された場所に限定されない。一部の人にとって、予定される在宅ヘルスケア(home healthcare)のコストは、彼らを家に入れることに頼らざるを得なくする。傷害リスクの識別及び事故防止を自動化することによって、如何なる人々もリスクに曝すことなく、全ての可能性のあるリスクを検出することができ、高齢者は、より長い時間期間に亘って自立した生活を送ることができる。
図１は、いくつかの実施形態に従った、強化学習および深層学習のような機械学習を使用してシミュレートされた環境における環境リスクを識別するシステムおよび方法を実装することができる環境１００を図示している。環境１００は、エージェント１１０(agent)、通信ネットワーク１３０（例えば、インターネットまたはコンピューティングクラウド）、（本明細書ではシステム１４０とも呼ぶ）環境リスク１４０を識別するシステム、（複数の）ユーザ１７０、及び（複数の）ユーザデバイス１８０を含んでよく、任意的に、データベース１５０を含んでよい。エージェント１１０、システム１４０、（複数の）ユーザデバイス１８０、およびデータベース１５０は、通信ネットワーク１３０を介して接続されてよい。
エージェント１１０は、１つ以上のカメラ１２０、１つ以上の車載式深さセンサ、車輪、１つ以上の電気モータ、電源、追加的な集積デバイス、および無線接続（すなわち、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉなど）を含んでよく、或いはそれらに結合されてよい。いくつかの実施形態において、エージェント１１０は、空間のフロア上に展開されてよく、エージェント１１０は、システム１４０が空間の３Ｄマップを作成するために、空間の周囲を移動して、空間内に位置するアイテム(品目)に関するデータを収集する。別の実施形態において、エージェント１１０は、空間の周囲に位置する物体に関するデータを収集するために、ユーザ１７０によって操作されるユーザデバイス１８０によって手動で制御されてよい。ユーザデバイス１８０は、移動電話、パーソナルコンピュータ（ＰＣ）、ラップトップ、スマートフォン、タブレットＰＣなどを含んでよい。いくつかの実施形態において、エージェント１１０は、図６に関して記載するもののような、任意の適切なコンピューティングデバイスで置き換えられてよく、或いはその形態を取ってよい。
システム１４０は、クラウドベースであってよく、或いは１つ以上の遠隔サーバを含んでよい。システム１４０を使用する評価を通じて、３Ｄモデルリスク評価１６０がユーザデバイス１８０を通じてユーザ１７０に提供され、ユーザデバイスは、図５の例示的な実施形態に描くように、傷害リスクの領域を描く３Ｄマップを含んでよい。
通信ネットワーク１３０は、無線または有線ネットワーク、またはそれらの組み合わせを含んでよい。例えば、ネットワークは、インターネット、ローカルイントラネット、ＰＡＮ（Personal Area Network）、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、ＭＡＮ（Metropolitan Area Network）、仮想プライベートネットワーク（ＶＰＮ：virtual private network）、ストレージエリアネットワーク（ＳＡＮ：storage area network）、フレームリレー接続、アドバンストインテリジェントネットワーク（ＡＩＮ：Advanced Intelligent Network）接続、同期光ネットワーク（ＳＯＮＥＴ：synchronous optical network）接続、デジタルＴ１、Ｔ３、Ｅ１またはＥ３回線、デジタルデータサービス（ＤＤＳ：Digital Data Service）接続、ＤＳＬ（Digital Subscriber Line）接続、イーサネット接続、ＩＳＤＮ（Integrated Serviced Digital Network）回線、Ｖ．９０、Ｖ．３４またはＶ．３４ｂｉｓアナログモデム接続のようなダイアルアップポート、ケーブルモデム、ＡＴＭ（Asynchronous Transfer Mode）接続、またはＦＤＤＩ（Fiber Distributed Data Interface）接続またはＣＤＤＩ（Copper Distributed Data Interface）接続の１つ以上を含んでよい。さらに、通信は、ＷＡＰ（Wireless Application Protocol）、ＧＰＲＳ（General Packet Radio Service）、ＧＳＭ（Global System for Mobile Communication）、ＣＤＭＡ（Code Division Multiple Access）またはＴＤＭＡ（Time Division Multiple Access）、携帯電話ネットワーク、ＧＰＳ、ＣＤＰＤ（cellular digital packet data）、ＲＩＭ（Research in Motion, Limited）デュプレックスページングネットワーク、Ｂｌｕｅｔｏｏｔｈラジオ、またはＩＥＥＥ８０２．１１ベースの無線周波数ネットワークを含む、様々な無線ネットワークのうちのいずれかへのリンクを含んでもよい。ネットワークは、さらに、ＲＳ－２３２シリアル接続、ＩＥＥＥ－１３９４（ファイアワイヤ）接続、ファイアチャネル接続、ＩｒＤＡ（赤外線）ポート、ＳＣＳＩ（Small Computer Systems Interface）接続、ＵＳＢ（Universal Serial Bus）接続、または他の有線または無線、デジタルまたはアナログインターフェースまたは接続、メッシュまたはＤｉｇｉ（登録商標）ネットワーキングのいずれか１つ以上を含むか、或いはそれらとインターフェース接続することができる。
任意的なデータベース１５０は、３Ｄモデルリスク評価１６０およびユーザ１７０に関する追加的な情報を生成するために、エージェント１１０によって収集されるデータを格納してよい。
図２は、強化学習（ＲＬ）を使用するエージェントによって３Ｄ環境を構築するために実装されるシミュレーションプロセスの概略図である。それはエージェントが環境状態を環境中の（複数の）物体の測定からの入力情報として受け取ることで開始する。エージェントが検出するものに基づいて、それは
Figure 2022519283000002
を使用する行動(アクション)を行って物体検出を続ける。図２において、シミュレーションプロセス中に実装されるＲＬは、「シミュレーションプロセス」ボックスの外側のボックスによって概略図で表されている。破線は、入力を表しており、実線は、出力を表している。図４に示すように、エージェントが環境を動き回って物体を検出するに応じて、エージェントは３Ｄマップを構築し、図５に示すような家庭内の物体、経路、それらの相対的な場所をマッピングし、その環境におけるユーザをそれぞれシミュレートすることによって、事故の潜在的なリスクを構築する。
エージェントは、エージェントによって行われる状態の観察に依存するポリシーπを利用することによって、その現在の状態に基づいて行動を決定する。それは各状態についての行動の分布である。
Figure 2022519283000003
例えば、図２において、初期シーケンスｉ＝０は、Ｓｉ＋１＝１（エージェントによって感知される環境状態）で開始する。この場合、ｉ＝０について、ポリシーは、状態ｓがより多くの家具の観察であることに依存することがあり、例えば、π（ｓ）＝ｉｆ入力が１つ以上の物体であるかどうかをｉｆが決定できないならば、
Figure 2022519283000004
＝エージェントはより近くに進み、より良い外観を得る。
今や、エージェントは、この最初の状態Ｓ１の入力を有し、そのポリシーの故に、それは行動
Figure 2022519283000005
を取り、ｉ＝１に到達し、報酬関数
Figure 2022519283000006
からフィードバックを得る。それは状態－行動ペアの関数
Figure 2022519283000007
であり、ここで、
Figure 2022519283000008
は、期待(expectation)である。次に、移行確率関数は、現在の状態が与えられたときの次の可能な状態に対する確率分布であり、それは次の起こり得る状態Ｓｉ＋１をもたらし、
Figure 2022519283000009
であり、ここで、Ｓｉ＝特定の状態であり、ｓ＝現在の状態であり、Ｓｉ＋１＝ｓ’は、次の移行状態を、予測される次の状態であるｓ’に設定する。エージェントは、別のポリシーから取られる行動に基づいてＱ値を学習し、Ｑ値は、新しいＱ値関数に従ってそれを計算することによって更新されまる（すなわち、Ｑ値関数に従ってポリシー関数を更新する）。今や、エージェントは、Ｓ１とＳ２のための入力とについての詳細な理解を有する。換言すると、以下の通りである。
Ｓ１＝状態の入力、次に、ポリシー及び行動
Figure 2022519283000010
、π（ｓ）＝実装され且つ実行される。受信した報酬関数
Figure 2022519283000011
、次の可能な状態に対する意向確率
Figure 2022519283000012
、Ｑ値関数は、ポリシーＱπ（ｓ）を更新しながら以前の状態の概念を精緻化する(refines)。
ｉ＝１，Ｓ２で、更新されたＱ値関数は、それがｉ＝１から受け取った新しい入力から以前の状態の値を更新した（ここで、状態Ｓ２において、ｉ＝１であり、その故に、状態Ｓ１についてのｉ＝０からの値、およびそれに反応した対応する関数を更新する）。例えば、一般的に、これまでのところのシーケンスにおけるＱ値関数
Figure 2022519283000013
は、
Figure 2022519283000014
であり、これを現在の状態と比較したその評価と組み合わせ、新しい状態（すなわち、現在の状態の新しい理解）を出力し、次に、それは以前と同じ処理を開始する新しい入力である。ここでγは、割引計数(discount factor)又は報酬不連続係数(reward discontinuity factor)であり、それはそれが特定の状態で特定の行動を取るならばどれぐらいの報酬が期待されるかをエージェントに伝える。また、ここでは、学習率(learning rate)
Figure 2022519283000015
がある。更新された（入力された）状態及びポリシーを有するならば、今や、例えば、ｉ＝１で、
π（ｘ）＝以前のアスペクト比を正しく決定したならば、以下の通りである。
Figure 2022519283000016
＝順にｉ＝１ステップのための入力の一部である新しい物体についてそれを使用して前に進み、検出された新しい物体と相互作用(対話)する。ここで、実線矢印で、前と同様のプロセスで、「シミュレーションプロセス」に戻り、物体及び互いに対するそれらの場所、すなわち、経路のより良い理解で、ｉ＝２，Ｓ３に到達する。図２において、これは式の第２のボックスによって示されており、ここで、式は、Ｒｓａ、Ｐｓｓ’ａ、Ｑ（ｓ０，ａ０）から更新されたもの（Ｒｓπ、Ｐｓｓ’π、Ｑ（ｓ’ａ））に変化し、それは以下で説明される。
再び、報酬関数が課され、現在の状態が
Figure 2022519283000017
であると仮定した場合の次の可能な状態に対する確率分布が与えられ、Ｑ値関数はポリシーの更新に従って計算されるが、今や以下で計算される。
Figure 2022519283000018
ここで、θは、調節可能なパラメータ、または重みであり、更新された移行確率分布
Figure 2022519283000019
をもたらし、Ｑ値関数は、

Figure 2022519283000020
になり、ここで、
Figure 2022519283000021
及び
Figure 2022519283000022
は、将来の状態及び（関数を更新するために用いられる）行動である。やがて起こる行動
Figure 2022519283000023
は、次のＱ値関数を最大化するために調整され、これはＱ値関数が（現在のポリシーを使用する代わりに）更新されたポリシーで更新されたままである方法であることに注意されたい。
図３は、様々な例示的実施形態に従った、３Ｄ環境における傷害リスクの評価を提供する例示的な方法（および要約）を図示している。
方法３００は、以下を含む。
ステップ３０１で、エージェントを環境内で展開する(deploying)。例えば、図２を参照。
ステップ３０２で、エージェントによって第１の状態にある第１の物体を検出する。例えば、図２を参照。
ステップ３０３で、行動を取って、エージェントによる強化学習を用いて第１の物体と相互作用(対話)し、行動は、報酬を最大化するために取られる。例えば、図２を参照。
ステップ３０４で、第１の物体を三次元環境にマッピングする。例えば、図４を参照。
ステップ３０５で、三次元環境内の潜在的リスクを識別する。例えば、図５を参照。
図４は、環境中を移動することによるシミュレーション構築プロセスにおいてＲＬを使用するエージェントを図示している。この画像において、エージェントは、正面玄関の傍ら左側で始まり［図４ａ］、ソファに向かって進み［図４ｂ］、次に、テーブルの間に進み［図４ｃ］、そして、家中を進む。
完全な経路(full path)について図５ａを参照すると、（図４ｃによって描く）テーブル間にある後に、エージェントは、ホールを通じて寝室に入り、次に、寝室を周り、ホールを通じて台所に戻り、正面玄関で開始したところで終了する。
それは移動して相互作用(対話)しているので、それは各シーケンスで３Ｄモデルを改良する。実線（点線）は、物体の完成（未完成）モデルを表している。この図において、エージェントは、例示の目的のために、椅子（白い線）及びテーブル（黒い線）を物体として認識する。それは椅子及びテーブルに限定されない。
椅子及びソファへの白い点線を備える開始点を初期シーケンス（ｉ＝０）として考える。シミュレーションプロセスを開始するために、これらの物体は、状態Ｓｉ＋１＝Ｓ０＋１＝Ｓ１の入力であり、報酬Ｒ１及び行動Ａ１を備える。次の順次的なポイント（ｉ＝１）で、エージェントは、これらの物体と相互作用(対話)し、次の環境状態Ｓ２に含まれるようにそれらを検出し、それらを（白い実線で表す）環境中で適切にマッピングし、潜在的リスクを識別した（図５）。このシーケンス（ｉ＝１）にも存在する点線及びそれらが同様に次のシーケンス（ｉ＝２）によってどのように具体化するかに留意のこと。
図５は、低リスクから無リスクまでについてチェックマーク
Figure 2022519283000024
で表現され、中リスクから高リスクまでについてバツマーク
Figure 2022519283000025
で表現された、関連するリスクのアウトプットを有する。図５ｂにおいて、各シーケンスが進行するにつれて、３Ｄマップおよびその中の事故リスクはより良く定義付けられるようになって、３Ｄモデルシミュレーションのための本方法の能力を最適化することが明らかである。図５ｂにおいて、家屋はフェードアウトして、対応するリスクを伴う３Ｄマップおよびシミュレーションの確実性が各シーケンスで更新された関数でどのように改良されるかを描いている。故に、図５ｃにおいて、家屋全体は堅固である。何故ならば、エージェントは、正面玄関の傍で終了し、終わって後ろに戻ったからである。
図６は、本明細書に記載する実施形態を実装するために使用されることがある例示的なコンピューティングシステム６００を図示している。図６のコンピューティングシステム６００は、１つ以上のプロセッサ６１０と、メモリ６２０とを含むことがある。メモリ６２０は、１つ以上のプロセッサ６１０による実行のための命令およびデータを部分的に格納する。メモリ６２０は、コンピューティングシステム６００が動作中であるときに実行可能コードを格納することができる。図６のコンピューティングシステム６００は、大容量記憶装置６３０と、ポータブル記憶装置６４０と、１つ以上の出力デバイス６５０と、１つ以上の入力デバイス６６０と、ネットワークインターフェース６７０と、１つ以上の周辺デバイス６８０とをさらに含むことがある。
図６に示すコンポーネントは、単一のバス６９０を介して接続されているものとして描かれている。コンポーネントは、１つ以上のデータ転送手段を通じて接続されてよい。１つ以上のプロセッサ６１０およびメモリ６２０は、ローカルマイクロプロセッサバスを介して接続されてよく、大容量記憶装置６３０、１つ以上の周辺デバイス６８０、ポータブル記憶装置６４０、およびネットワークインターフェース６７０は、１つ以上の入出力（Ｉ／Ｏ）バスを介して接続されてよい。
磁気ディスクドライブまたは光ディスクドライブで実装されることがある大容量記憶装置６３０は、磁気ディスクまたは光ディスクドライブによる使用のためのデータおよび命令を格納するための不揮発性格納デバイスであり、次に、データおよび命令は、１つ以上のプロセッサ６１０によって使用されてよい。大容量記憶装置６３０は、そのソフトウェアをメモリ６２０にロードする目的で本明細書に記載する実施形態を実装するためのシステムソフトウェアを格納することができる。
ポータブル記憶装置３４０は、コンパクトディスクまたはデジタルビデオディスク（ＤＶＤ）のようなポータブル不揮発性記憶媒体と共に作動して、図６のコンピューティングシステム６００との間でデータおよびコードを入出力する。本明細書に記載する実施形態を実装するシステムソフトウェアは、そのようなポータブル媒体に格納され、ポータブル記憶装置６４０を介してコンピューティングシステム６００に入力されてよい。
１つ以上の入力デバイス６６０は、ユーザインターフェースの一部を提供する。１つ以上の入力デバイス６６０は、英数字及び他の情報を入力するためのキーボードのような英数字キーパッド、又はマウス、トラックボール、スタイラス若しくはカーソル方向キーのようなポインティングデバイスを含んでよい。加えて、図６に示すようなコンピューティングシステム６００は、１つ以上の出力デバイス６５０を含む。適切な１つ以上の出力デバイス６５０は、スピーカ、プリンタ、ネットワークインターフェース、およびモニタを含む。
ネットワークインターフェース６７０は、とりわけ、例えば、インターネット、イントラネット、ＬＡＮ、ＷＡＮ、携帯電話ネットワーク（例えば、移動通信ネットワークのためのグローバルシステム、パケット交換通信ネットワーク、回線交換通信ネットワーク）、Ｂｌｕｅｔｏｏｔｈ無線、およびＩＥＥＥ８０２．１１ベースの無線周波数ネットワークを含む、１つ以上の有線、無線、または光ネットワークのような１つ以上の通信ネットワークを介して、外部デバイス、外部コンピューティングデバイス、サーバ、およびネットワークシステムと通信するために利用されることができる。ネットワークインターフェース６７０は、イーサネットカード、光トランシーバ、高周波トランシーバ、または情報を送受信することができる任意の他のタイプのデバイスのような、ネットワークインターフェースカードであってよい。そのようなネットワークインターフェースの他の例は、モバイルコンピューティングデバイスにおけるＢｌｕｅｔｏｏｔｈ（登録商標）、３Ｇ、４Ｇ、およびＷｉＦｉ（登録商標）ラジオ、並びにＵＳＢを含むことがある。
１つ以上の周辺デバイス６８０は、コンピューティングシステム６００に追加的な機能性を加えるために、任意のタイプのコンピュータ支援デバイスを含んでよい。１つ以上の周辺デバイス６８０は、モデムまたはルータを含んでよい。
図６のコンピューティングシステム６００に含まれるコンポーネントは、本明細書に記載する実施形態と一緒の使用に適することがあるコンピューティングシステムに典型的に見出されるものであり、当該技術分野でよく知られているそのようなコンピュータコンポーネントの広いカテゴリを表すことが意図されている。よって、図６のコンピューティングシステム６００は、ＰＣ、ハンドヘルドコンピューティングデバイス、電話、モバイルコンピューティングデバイス、ワークステーション、サーバ、ミニコンピュータ、メインフレームコンピュータ、または任意の他のコンピューティングデバイスであり得る。コンピュータは、異なるバス構成、ネットワークプラットフォーム、マルチプロセッサプラットフォームなどを含むこともできる。ＵＮＩＸ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ｗｉｎｄｏｗｓ、Ｍａｃｉｎｔｏｓｈ ＯＳ、Ｐａｌｍ ＯＳ、および他の適切なオペレーティングシステムを含む、様々なオペレーティングシステム（ＯＳ）を使用することができる。
上述の関数の一部は、記憶媒体（例えば、コンピュータ読取可能媒体）に格納される命令から構成されてよい。命令は、プロセッサによって取り出されて、実行されてよい。記憶媒体のいくつかの例は、メモリデバイス、テープ、ディスク、及び同等物である。命令は、例示的な実施形態に従って動作するようプロセッサに指示するためにプロセッサによって実行されるときに作動する。当業者は、命令、（複数の）プロセッサ、および記憶媒体に精通している。
本明細書に記載する処理を実行するのに適した任意のハードウェアプラットフォームが例示的な実施形態と一緒の使用に適していることは注目に値する。本明細書で使用するような「コンピュータ読取可能記憶媒体(computer-readable storage medium)」および「コンピュータ読取可能記憶媒体(computer-readable storage media)」という用語は、実行のために中央処理装置（ＣＰＵ）に命令を提供することに関与する任意の媒体(medium)または媒体(media)を指す。そのような媒体は、限定されるものではないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む、多くの形態を取ることができる。不揮発性媒体には、例えば、固定ディスクのような、光ディスクまたは磁気ディスクを含む。揮発性媒体は、ランダムアクセスメモリ（ＲＡＭ）のような、ダイナミックメモリを含む。伝送媒体は、とりわけ、バスの１つの実施形態を含むワイヤを含む、同軸ケーブル、銅線、および光ファイバを含む。伝送媒体は、無線周波数および赤外線データ通信の間に生成されるもののような、音波または光波の形態を取ることもできる。コンピュータ読取可能媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ読取専用メモリ（ＲＯＭ）ディスク、ＤＶＤ、任意の他の光媒体、マーク若しくは穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）ＥＰＲＯＭ、任意の他のメモリチップ又はカートリッジ、搬送波、又はコンピュータが読み取り得る任意の他の媒体を含む。
コンピュータ可読媒体の様々な形態は、実行のために１つ以上の命令の１つ以上のシーケンスをＣＰＵに運ぶことに関与することがある。バスは、データをシステムＲＡＭに運び、ＣＰＵは、システムＲＡＭから命令を取り出し、命令を実行する。システムＲＡＭが受信する命令は、ＣＰＵによる実行の前または後のいずれかに、固定ディスクに任意的に格納されることができる。
いくつかの実施形態において、コンピューティングシステム６００は、コンピューティングクラウド内で作動する仮想マシンのような、クラウドベースのコンピューティング環境として実装されてよい。他の実施形態において、コンピューティングシステム６００は、それ自体がクラウドベースのコンピューティング環境を含んでよく、その場合、計算システム６００の機能性は、分散方式で実行される。よって、コンピューティングシステム６００は、コンピューティングクラウドとして構成されるときに、以下により詳細に記載するように、様々な形態の複数のコンピューティングデバイスを含んでよい。
一般的に、クラウドベースのコンピューティング環境は、典型的には、（ウェブサーバ内のような）プロセッサの大きなグループの計算力を結合する且つ／或いはコンピュータメモリまたは格納デバイスの大きなグループの記憶容量を結合するリソースである。クラウドベースのリソースを提供するシステムは、それらの所有者によって独占的に利用されてよく、或いは、そのようなシステムは、大きな計算リソースまたは格納リソースの利益を得るように、コンピューティングインフラストラクチャ内にアプリケーションを展開する外部ユーザにアクセス可能であってよい。
クラウドは、例えば、各サーバ（または少なくともそれらの複数）がプロセッサおよび／または格納リソースを提供する、コンピューティングシステム６００のような複数のコンピューティングデバイスを含む、ウェブサーバのネットワークによって形成されることがある。これらのサーバは、複数のユーザ（例えば、クラウドリソースのカスタマ又は他のユーザ）によって提供されるワークロードを管理する。典型的には、各ユーザは、ワークロード要求をクラウドに置き、クラウドは、リアルタイムに変化し、時には劇的に変化する。これらの変化の性質及び範囲は、典型的には、ユーザに関連するビジネスのタイプに依存する。
特許請求の範囲中の機能要素に加えて、全ての手段またはステップの対応する構造、材料、行為、及び均等物は、特別に特許請求されるような他の特許請求される要素との組み合わせにおいて機能を発揮する任意の構造、材料、または行為を含むことが意図されている。本技術の記述は、例示及び記述の目的で提示されているが、網羅的であること又は開示の形態における本発明に限定されることは意図されていない。本発明の範囲および精神から逸脱することなく、多くの修正および変形が当業者に明らかであろう。例示的な実施形態は、本技術の原理およびその実用的用途を最もよく説明するために並びに想定される特定の用途に適するような様々な修正を伴った様々な実施形態について当業者が本発明を理解することを可能にするために選択され且つ記載された。
本技術の態様は、本発明の実施形態に従った方法、装置（システム）およびコンピュータプログラム製品のフローチャート例示および／またはブロック図を参照して上述される。フローチャート例示および／またはブロック図におけるの各ブロック、並びにフローチャート例示および／またはブロック図におけるブロックの組み合わせは、コンピュータプログラム命令によって実装されることができることが理解されるであろう。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊目的コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されて、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図ブロック若しくは複数のブロックにおいて指定される機能／行為を実行するための手段を生成するように、機械を製造してよい。
これらのコンピュータプログラム命令は、コンピュータ読取可能媒体に格納される命令が、フローチャートおよび／またはブロック図ブロック若しくは複数のブロックにおいて指定される機能／行為を実行する命令を含む製造物品を製造するように、コンピュータ、他のプログラマブルデータ処理装置、または他の装置に指示して特定の方法で機能させることができる、コンピュータ読取可能媒体に格納されてもよい。
コンピュータ又は他のプログラマブル装置で実行される命令が、フローチャートおよび／またはブロック図ブロック若しくは複数のブロックにおいて指定される機能／行為を実行するためのプロセスを提供するように、コンピュータプログラム命令は、一連の操作ステップを、コンピュータ、他のプログラマブル装置、または他のデバイスで実行させて、コンピュータ実装プロセスを生成するために、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードされてもよい。
フローチャートおよびブロック図は、本技術の様々な実施形態に従ったシステム、方法およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、および動作を例示する。この点に関し、フローチャートまたはブロック図中の各ブロックは、特定の（複数の）論理関数を実装するための１つ以上の実行可能命令を含む、モジュール、セグメント、またはコードの一部を表すことがある。いくつかの代替的な実装において、ブロックに記載される関数は、図に記載される順序から外れて起こってよいことも留意されるべきである。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行されてよく、或いは、ブロックは、関連する機能性に依存して、逆の順序で実行されてもよい。フローチャート例示及び／又はブロック図の各ブロック、及びフローチャート例示及び／又はブロック図中のブロックの組み合わせは、指定された関数又は行為を行う特殊目的のハードウェアベースのシステム、又は特殊目的のハードウェア及びコンピュータ命令の組み合わせによって実装され得ることにも留意されたい。
よって、強化学習及び深層学習のような機械学習を用いてシミュレーション環境における環境リスクを識別するシステムおよび方法が記載されている。特定の例示的な実施形態を参照して実施形態を記載したが、本出願のより広い精神および範囲から逸脱することなく、様々な修正および変更をこれらの例示的な実施形態に加え得ることは明らかであろう。従って、明細書及び図面は、限定的な意味ではなく、例示的に考えられるべきである。現在の技術を実装する多くの代替的な方法がある。開示の例は例示的であり、限定的でない。

Claims (17)

  1. 傷害リスクの評価を提供する方法であって、
    環境内にエージェントを展開することと、
    前記エージェントによって第１の状態にある第１の物体を検出することと、
    前記エージェントによって強化学習を用いて前記第１の物体と相互作用するよう行動を取ることと、
    前記第１の物体を三次元環境にマッピングすることと、
    前記三次元環境内の潜在的リスクを識別することとを含み、
    前記行動は、報酬を最大化するために取られる、
    方法。
  2. 前記エージェントが、前記エージェントによって強化学習を用いて第２の物体と相互作用するよう前記環境内で別の行動を取り続けることを更に含み、前記行動は、累積報酬を最大化するために取られる、請求項１に記載の方法。
  3. 前記エージェントが、前記第２の物体を前記三次元環境にマッピングすることと、前記三次元環境内の潜在的リスクを識別し続けることとを更に含む、請求項２に記載の方法。
  4. 前記エージェントが、前記三次元環境内で前記第１及び第２の物体の相対的な場所をマッピングすることを更に含む、請求項３に記載の方法。
  5. 前記エージェントが、前記三次元環境内で前記第１及び第２の物体との接触を避ける通路をマッピングすることを更に含む、請求項４に記載の方法。
  6. 前記三次元環境内でユーザをシミュレートすることを更に含む、請求項５に記載の方法。
  7. 前記エージェントが、前記三次元環境を改良するために、前記環境を通じて移動し且つ相互作用することによってシミュレーション構築プロセスにおいて強化学習を用いてることを更に含む、請求項６に記載の方法。
  8. 前記エージェントによる移動の各シーケンスで新しい三次元環境を生成することを更に含む、請求項７に記載の方法。
  9. 前記エージェントによる各相互作用で新しい三次元環境を生成することを更に含む、請求項８に記載の方法。
  10. 三次元シミュレーションマップを生成して前記環境内の潜在的リスクを識別することを更に含む、請求項９に記載の方法。
  11. 前記潜在的リスクを低リスクから無リスクまで又は中リスクから高リスクまでのいずれかとして分類することを更に含む、請求項１０に記載の方法。
  12. 傷害リスクの評価を提供するシステムであって、
    感知デバイスと通信的に結合されるエージェントと、
    前記エージェントに通信的に結合される通信ネットワークと、
    前記通信ネットワークに通信的に結合される三次元モデルリスク評価モジュールと、
    前記三次元モデルリスク評価モジュールに通信的に結合されるユーザデバイスと、
    前記通信ネットワークに通信的に結合される環境リスクを識別するためのシステムとを含む、
    システム。
  13. データベースを更に含む、請求項１２に記載のシステム。
  14. 環境内に展開し、第１の状態にある第１の物体を検出する、ように構成される、前記エージェントを更に含む、請求項１２に記載のシステム。
  15. 強化学習を用いて前記第１の物体と相互作用するために行動を取るように構成される前記エージェントを更に含む、請求項１４に記載のシステム。
  16. 前記第１の物体を三次元環境にマッピングするように構成される前記エージェントを更に含む、請求項１５に記載のシステム。
  17. 前記三次元環境内の潜在的リスクを識別するように構成される前記エージェントを更に含む、請求項１６に記載のシステム。
JP2021545464A 2019-02-05 2020-01-31 強化学習を利用する３ｄ環境リスク識別 Pending JP2022519283A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962801525P 2019-02-05 2019-02-05
US62/801,525 2019-02-05
PCT/US2020/016248 WO2020163180A1 (en) 2019-02-05 2020-01-31 3d environment risks identification utilizing reinforced learning

Publications (1)

Publication Number Publication Date
JP2022519283A true JP2022519283A (ja) 2022-03-22

Family

ID=71836668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021545464A Pending JP2022519283A (ja) 2019-02-05 2020-01-31 強化学習を利用する３ｄ環境リスク識別

Country Status (9)

Country Link
US (1) US11791050B2 (ja)
EP (1) EP3920797A4 (ja)
JP (1) JP2022519283A (ja)
KR (1) KR20210133228A (ja)
AU (1) AU2020218172B2 (ja)
BR (1) BR112021014734A2 (ja)
CA (1) CA3126844A1 (ja)
SG (1) SG11202107882TA (ja)
WO (1) WO2020163180A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11488724B2 (en) 2018-06-18 2022-11-01 Electronic Caregiver, Inc. Systems and methods for a virtual, intelligent and customizable personal medical assistant
US12125137B2 (en) 2020-05-13 2024-10-22 Electronic Caregiver, Inc. Room labeling drawing interface for activity tracking and detection

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10813572B2 (en) 2015-12-11 2020-10-27 Electronic Caregiver, Inc. Intelligent system for multi-function electronic caregiving to facilitate advanced health diagnosis, health monitoring, fall and injury prediction, health maintenance and support, and emergency response
US11213224B2 (en) 2018-03-19 2022-01-04 Electronic Caregiver, Inc. Consumer application for mobile assessment of functional capacity and falls risk
US11923058B2 (en) 2018-04-10 2024-03-05 Electronic Caregiver, Inc. Mobile system for the assessment of consumer medication compliance and provision of mobile caregiving
CA3126844A1 (en) 2019-02-05 2020-08-13 Electronic Caregiver, Inc. 3d environment risks identification utilizing reinforced learning
US11955209B2 (en) * 2019-04-29 2024-04-09 International Business Machines Corporation Cohort selection for agile processes
US11113943B2 (en) 2019-05-07 2021-09-07 Electronic Caregiver, Inc. Systems and methods for predictive environmental fall risk identification
US12034748B2 (en) 2020-02-28 2024-07-09 Electronic Caregiver, Inc. Intelligent platform for real-time precision care plan support during remote care management
US12127817B2 (en) 2020-07-22 2024-10-29 Electronic Caregiver, Inc. Systems and methods for mitigating the spread of infectious diseases
US12009083B2 (en) 2020-11-16 2024-06-11 Electronic Caregiver, Inc. Remote physical therapy and assessment of patients

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180174038A1 (en) * 2016-12-19 2018-06-21 Futurewei Technologies, Inc. Simultaneous localization and mapping with reinforcement learning
JP2018097487A (ja) * 2016-12-09 2018-06-21 富士ゼロックス株式会社 監視装置及びプログラム

Family Cites Families (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5211642A (en) 1991-10-28 1993-05-18 Clendenning Beverly F Chambers drainage system
US5475953A (en) 1994-09-29 1995-12-19 Powerflor, Inc. 2-shaped edge molding strip
US6665647B1 (en) 1997-11-24 2003-12-16 Chris A. Haudenschild Enterprise healthcare management system and method of using same
WO2000005639A2 (en) 1998-07-21 2000-02-03 Originet Method and system for providing an avatar interactive computer guide system
US20020062342A1 (en) 2000-11-22 2002-05-23 Sidles Charles S. Method and system for completing forms on wide area networks such as the internet
EP1360567B1 (en) 2001-02-16 2005-06-22 United Parcel Service Of America, Inc. System and method for selectively enabling and disabling access to software applications over a network
JP4744715B2 (ja) 2001-04-06 2011-08-10 株式会社ブロードリーフ 情報開示方法
US7242306B2 (en) 2001-05-08 2007-07-10 Hill-Rom Services, Inc. Article locating and tracking apparatus and method
US8108488B2 (en) 2002-11-18 2012-01-31 Jackbe Corporation System and method for reducing bandwidth requirements for remote applications by utilizing client processing power
JP2004264060A (ja) 2003-02-14 2004-09-24 Akebono Brake Ind Co Ltd 姿勢の検出装置における誤差補正方法及びそれを利用した動作計測装置
US20050055942A1 (en) 2003-08-26 2005-03-17 M & M Flooring Method for manufacturing and installing a prefabricated hardwood floor
JP2005228305A (ja) 2004-01-15 2005-08-25 Tokyoto Koreisha Kenkyu Fukushi Shinko Zaidan 老年症候群の危険性の判定方法
US20110145018A1 (en) 2005-03-21 2011-06-16 Fotsch Edward J Drug and medical device safety and support information reporting system, processing device and method
US8919066B2 (en) 2006-02-09 2014-12-30 University Of Notre Dame Du Lac Flooring apparatus for reducing impact energy during a fall
US20070238936A1 (en) 2006-04-10 2007-10-11 Shirley Ann Becker Portable Electronic Medical Assistant
US7558622B2 (en) 2006-05-24 2009-07-07 Bao Tran Mesh network stroke monitoring appliance
US20080010293A1 (en) 2006-07-10 2008-01-10 Christopher Zpevak Service level agreement tracking system
US7971141B1 (en) 2006-10-31 2011-06-28 Intuit Inc. Method and system for populating a form based on an existing format
US7445086B1 (en) 2007-01-16 2008-11-04 Daniel Sizemore Ladder lock
US7612681B2 (en) 2007-02-06 2009-11-03 General Electric Company System and method for predicting fall risk for a resident
US20090094285A1 (en) 2007-10-03 2009-04-09 Mackle Edward G Recommendation apparatus
US8206325B1 (en) 2007-10-12 2012-06-26 Biosensics, L.L.C. Ambulatory system for measuring and monitoring physical activity and risk of falling and for automatic fall detection
US10438496B2 (en) 2008-11-18 2019-10-08 Victoria Panzer Method and system for fall prevention in older adults
US20150019250A1 (en) 2009-05-22 2015-01-15 A-Vu Media Corp. Manager-controllable integrated user content and services system
US20110126197A1 (en) 2009-11-25 2011-05-26 Novell, Inc. System and method for controlling cloud and virtualized data centers in an intelligent workload management system
US20130204545A1 (en) 2009-12-17 2013-08-08 James C. Solinsky Systems and methods for sensing balanced-action for improving mammal work-track efficiency
US20110232708A1 (en) 2010-03-24 2011-09-29 James Martin Kemp Walker and wheel assembly
US8427324B2 (en) 2010-07-30 2013-04-23 General Electric Company Method and system for detecting a fallen person using a range imaging device
DE102010033232A1 (de) 2010-08-03 2012-02-09 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen eines Einmalpasswortes
ES2581548T3 (es) 2010-08-18 2016-09-06 Security First Corp. Sistemas y procedimientos para asegurar entornos informáticos de máquinas virtuales
US9785744B2 (en) 2010-09-14 2017-10-10 General Electric Company System and method for protocol adherence
US9204823B2 (en) 2010-09-23 2015-12-08 Stryker Corporation Video monitoring system
US9934427B2 (en) 2010-09-23 2018-04-03 Stryker Corporation Video monitoring system
JP2012101729A (ja) 2010-11-12 2012-05-31 Suminoe Textile Co Ltd 防滑性に優れた自動車用マット。
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
WO2012075268A2 (en) 2010-12-01 2012-06-07 University Of Utah Research Foundation Faint and fall assessment
US20120165618A1 (en) 2010-12-22 2012-06-28 Richard Algoo Method and apparatus for health avatar
US8827930B2 (en) 2011-01-10 2014-09-09 Bioguidance Llc System and method for patient monitoring
CA2770933C (en) 2011-03-11 2021-05-25 Intellacare Inc. A method and system for monitoring the activity of a subject within spatial temporal and/or behavioral parameters
US20120253233A1 (en) 2011-03-31 2012-10-04 Greene Barry Algorithm for quantitative standing balance assessment
US20130127620A1 (en) 2011-06-20 2013-05-23 Cerner Innovation, Inc. Management of patient fall risk
US9355393B2 (en) 2011-08-18 2016-05-31 Visa International Service Association Multi-directional wallet connector apparatuses, methods and systems
JP2014523777A (ja) 2011-07-08 2014-09-18 グローバル ニュートリション アンド ヘルス インコーポレイテッド 個人化された栄養および保健アシスタント
US8771206B2 (en) 2011-08-19 2014-07-08 Accenture Global Services Limited Interactive virtual care
US9974466B2 (en) 2011-10-17 2018-05-22 Atlas5D, Inc. Method and apparatus for detecting change in health status
WO2013071285A1 (en) * 2011-11-11 2013-05-16 Rutgers, The State University Of New Jersey Methods for the diagnosis and treatment of neurological disorders
US20130303860A1 (en) 2011-11-21 2013-11-14 Robert Bender Systems and methods for use in fall risk assessment
EP2610724B1 (en) 2011-12-27 2022-01-05 Tata Consultancy Services Limited A system and method for online user assistance
US20130212501A1 (en) 2012-02-10 2013-08-15 Glen J. Anderson Perceptual computing with conversational agent
GB2500058B (en) 2012-03-09 2014-04-02 Kari Hjelt A dynamically configurable balancing board
US9372252B2 (en) 2012-03-21 2016-06-21 Secure Care Products, Llc Outdoor object location system and method thereof
US9408561B2 (en) 2012-04-27 2016-08-09 The Curators Of The University Of Missouri Activity analysis, fall detection and risk assessment systems and methods
US9597016B2 (en) 2012-04-27 2017-03-21 The Curators Of The University Of Missouri Activity analysis, fall detection and risk assessment systems and methods
US10265028B2 (en) 2012-08-16 2019-04-23 Ginger.io, Inc. Method and system for modeling behavior and heart disease state
US9536049B2 (en) 2012-09-07 2017-01-03 Next It Corporation Conversational virtual healthcare assistant
WO2014043757A1 (en) 2012-09-20 2014-03-27 National Ict Australia Limited Stride detection
US9208676B2 (en) 2013-03-14 2015-12-08 Google Inc. Devices, methods, and associated information processing for security in a smart-sensored home
US9338622B2 (en) 2012-10-04 2016-05-10 Bernt Erik Bjontegard Contextually intelligent communication systems and processes
US20140171834A1 (en) 2012-10-20 2014-06-19 Elizabethtown College Electronic-Movement Analysis Tool for Motor Control Rehabilitation and Method of Using the Same
CA2834877A1 (en) 2012-11-28 2014-05-28 Henry Leung System and method for event monitoring and detection
US9706949B2 (en) 2013-02-27 2017-07-18 The Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Systems and methods for automatically quantifying mobility
US20140257836A1 (en) 2013-03-05 2014-09-11 Clinton Colin Graham Walker Automated interactive health care application for patient care
US9258522B2 (en) 2013-03-15 2016-02-09 Stryker Corporation Privacy setting for medical communications systems
US10726461B2 (en) 2013-03-15 2020-07-28 Ncr Corporation System and method of completing an activity via an agent
US9317916B1 (en) 2013-04-12 2016-04-19 Aic Innovations Group, Inc. Apparatus and method for recognition of medication administration indicator
EP2992692B1 (en) 2013-05-04 2018-08-29 DECHARMS, Christopher Mobile security technology
US20140358828A1 (en) 2013-05-29 2014-12-04 Purepredictive, Inc. Machine learning generated action plan
AU2014277079B2 (en) 2013-06-06 2018-12-13 Koninklijke Philips N.V. Fall detection system and method.
US9591996B2 (en) 2013-06-07 2017-03-14 Lumo BodyTech, Inc System and method for detecting transitions between sitting and standing states
DE102013017264A1 (de) 2013-10-17 2015-04-23 Dräger Medical GmbH Verfahren für die Überwachung eines Patienten innerhalb eines medizinischen Überwachungsbereichs
CA2963072A1 (en) 2013-10-29 2015-05-07 Milbat - Giving Quality To Life Walker-assist device
US10475141B2 (en) 2014-02-06 2019-11-12 Empoweryu, Inc. System and method for adaptive indirect monitoring of subject for well-being in unattended setting
KR101618219B1 (ko) 2014-10-02 2016-05-20 (주)직토 웨어러블 디바이스 및 이의 생체 인증 방법
US10360349B2 (en) 2014-10-27 2019-07-23 MolecularMatch, Inc. Personalized medicine service
CN104361321B (zh) 2014-11-13 2018-02-09 侯振杰 一种判断老年人摔倒行为及身体平衡能力的方法
US10289868B2 (en) 2014-11-27 2019-05-14 Siemens Aktiengesellschaft Transmitting medical datasets
US10019553B2 (en) 2015-01-27 2018-07-10 Catholic Health Initiatives Systems and methods for virtually integrated care delivery
US10896756B2 (en) 2015-04-21 2021-01-19 Washington State University Environmental sensor-based cognitive assessment
CA2990208C (en) 2015-06-30 2021-08-24 Ishoe, Inc Identifying fall risk using machine learning algorithms
US20180182472A1 (en) 2015-06-30 2018-06-28 Kenzie L. Preston Method and system for a mobile health platform
CA2936876A1 (en) 2015-07-22 2017-01-22 Radicalogic Technologies, Inc. Dba Rl Solutions Systems and methods for near-real or real-time contact tracing
US10206630B2 (en) 2015-08-28 2019-02-19 Foresite Healthcare, Llc Systems for automatic assessment of fall risk
WO2017049188A1 (en) 2015-09-17 2017-03-23 Luvozo Pbc Automated environment hazard detection
US10387963B1 (en) 2015-09-24 2019-08-20 State Farm Mutual Automobile Insurance Company Method and system of generating a call agent avatar using artificial intelligence
US10768772B2 (en) 2015-11-19 2020-09-08 Microsoft Technology Licensing, Llc Context-aware recommendations of relevant presentation content displayed in mixed environments
US20190220727A1 (en) 2018-01-17 2019-07-18 SameDay Security, Inc. Computing Devices with Improved Interactive Animated Conversational Interface Systems
US10813572B2 (en) * 2015-12-11 2020-10-27 Electronic Caregiver, Inc. Intelligent system for multi-function electronic caregiving to facilitate advanced health diagnosis, health monitoring, fall and injury prediction, health maintenance and support, and emergency response
US20170193163A1 (en) 2015-12-30 2017-07-06 Accenture Global Solutions Limited User device platform for interacting with cloud-based platform
US10460024B2 (en) 2016-01-05 2019-10-29 Adobe Inc. Interactive electronic form workflow assistant that guides interactions with electronic forms in a conversational manner
US10376739B2 (en) 2016-01-08 2019-08-13 Balance4Good, Ltd. Balance testing and training system and method
US10692011B2 (en) 2016-01-21 2020-06-23 Verily Life Sciences Llc Adaptive model-based system to automatically quantify fall risk
ITUB20160119A1 (it) 2016-02-04 2017-08-04 Teseo Srl Sistema di monitoraggio ed assistenza private di persone, in particolare di anziani o di persone con problemi speciali o di carattere cognitivo
WO2017134936A1 (ja) * 2016-02-05 2017-08-10 株式会社リコー 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム
US20170273601A1 (en) 2016-03-28 2017-09-28 Lumo BodyTech, Inc System and method for applying biomechanical characterizations to patient care
CN106056035A (zh) 2016-04-06 2016-10-26 南京华捷艾米软件科技有限公司 一种基于体感技术的幼儿园智能监控方法
US10795947B2 (en) 2016-05-17 2020-10-06 Google Llc Unified message search
CA3073285A1 (en) 2016-08-19 2018-02-22 Curiato Inc. System, method, and computer readable medium for dynamic pressure damage risk assessment and response
US20180075558A1 (en) 2016-09-12 2018-03-15 National Health Coalition, Inc. Processing Pharmaceutical Prescriptions in Real Time Using a Clinical Analytical Message Data File
US9972187B1 (en) 2016-11-13 2018-05-15 Agility4Life Biomechanical parameter determination for emergency alerting and health assessment
US10628635B1 (en) 2017-03-29 2020-04-21 Valyant AI, Inc. Artificially intelligent hologram
CN107411515A (zh) 2017-07-27 2017-12-01 胡彦 产妇跌倒保护装置
US10561549B2 (en) 2017-07-28 2020-02-18 Hill-Rom Services, Inc. Bed-based safety protocol control
US20190042700A1 (en) 2017-08-02 2019-02-07 Imam Abdulrahman Bin Faisal University Apparatus and method for real-time assessment, mapping, and building databases of quality of life indicators
US11694109B2 (en) 2017-08-16 2023-07-04 ODH, Inc. Data processing apparatus for accessing shared memory in processing structured data for modifying a parameter vector data structure
KR102481883B1 (ko) 2017-09-27 2022-12-27 삼성전자주식회사 위험 상황을 감지하는 방법 및 장치
US11032337B2 (en) 2017-10-16 2021-06-08 Vincent Paul Spinella-Mamo Contextual and collaborative media
US10657259B2 (en) 2017-11-01 2020-05-19 International Business Machines Corporation Protecting cognitive systems from gradient based attacks through the use of deceiving gradients
WO2019108603A1 (en) 2017-11-28 2019-06-06 Sigma Ratings, Inc. Machine learning techniques for evaluating entities
US10846639B2 (en) 2017-12-27 2020-11-24 Pearson Education, Inc. Security and content protection using candidate trust score
US20190259475A1 (en) 2018-02-20 2019-08-22 SameDay Security, Inc. Connected Kiosk for the Real-Time Assessment of Falls Risk
US10922585B2 (en) 2018-03-13 2021-02-16 Recogni Inc. Deterministic labeled data generation and artificial intelligence training pipeline
US11213224B2 (en) 2018-03-19 2022-01-04 Electronic Caregiver, Inc. Consumer application for mobile assessment of functional capacity and falls risk
US11923058B2 (en) 2018-04-10 2024-03-05 Electronic Caregiver, Inc. Mobile system for the assessment of consumer medication compliance and provision of mobile caregiving
US11093747B2 (en) 2018-04-16 2021-08-17 Peerwell, Inc. Hazard recognition
US11488724B2 (en) 2018-06-18 2022-11-01 Electronic Caregiver, Inc. Systems and methods for a virtual, intelligent and customizable personal medical assistant
US11040714B2 (en) 2018-09-28 2021-06-22 Intel Corporation Vehicle controller and method for controlling a vehicle
CA3126844A1 (en) 2019-02-05 2020-08-13 Electronic Caregiver, Inc. 3d environment risks identification utilizing reinforced learning
US11113943B2 (en) 2019-05-07 2021-09-07 Electronic Caregiver, Inc. Systems and methods for predictive environmental fall risk identification
US12034748B2 (en) 2020-02-28 2024-07-09 Electronic Caregiver, Inc. Intelligent platform for real-time precision care plan support during remote care management
US12125137B2 (en) 2020-05-13 2024-10-22 Electronic Caregiver, Inc. Room labeling drawing interface for activity tracking and detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018097487A (ja) * 2016-12-09 2018-06-21 富士ゼロックス株式会社 監視装置及びプログラム
US20180174038A1 (en) * 2016-12-19 2018-06-21 Futurewei Technologies, Inc. Simultaneous localization and mapping with reinforcement learning

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11488724B2 (en) 2018-06-18 2022-11-01 Electronic Caregiver, Inc. Systems and methods for a virtual, intelligent and customizable personal medical assistant
US12125137B2 (en) 2020-05-13 2024-10-22 Electronic Caregiver, Inc. Room labeling drawing interface for activity tracking and detection

Also Published As

Publication number Publication date
EP3920797A4 (en) 2022-11-02
SG11202107882TA (en) 2021-08-30
BR112021014734A2 (pt) 2021-09-28
KR20210133228A (ko) 2021-11-05
CA3126844A1 (en) 2020-08-13
EP3920797A1 (en) 2021-12-15
AU2020218172A1 (en) 2021-08-12
WO2020163180A1 (en) 2020-08-13
AU2020218172B2 (en) 2023-01-12
US20200251220A1 (en) 2020-08-06
US11791050B2 (en) 2023-10-17

Similar Documents

Publication Publication Date Title
JP2022519283A (ja) 強化学習を利用する３ｄ環境リスク識別
US10642952B2 (en) Sensor based monitoring
US11955247B2 (en) Mobile automation control of disease spread
US20190332997A1 (en) Optimally rearranging team members in an agile environment
Sotiriadis et al. Towards simulating the internet of things
CN104040529B (zh) 用于云迁移中的配置管理的装置和方法
CN113795808A (zh) 用于预测性环境跌倒风险标识的系统及方法
JP2014515133A5 (ja)
US12087425B2 (en) Utilizing a machine learning model to identify unhealthy online user behavior and to cause healthy physical user behavior
CN107491177A (zh) 用于识别旋转体的旋转的方法及用于处理该方法的电子设备
KR20230035750A (ko) 공간 맞춤형 인테리어 설계 및 견적 정보 제공 방법, 장치 및 시스템
US11607167B2 (en) User device based parkinson disease detection
Macatulad et al. A 3DGIS multi-agent geo-simulation model for assessment of building evacuation scenarios considering urgency and knowledge of exits
CN108293175A (zh) 装置和用于提供其切换的方法
KR102449350B1 (ko) 재고 관리 서비스를 제공하는 시스템 및 그 동작 방법
Thakur et al. An Ambient Intelligence-Based Human Behavior Monitoring Framework for Ubiquitous Environments. Information 2021, 12, 81
US20220028546A1 (en) Assessing the gait of parkinson's patients
US11047705B2 (en) Predictive navigation system
EP4260567A1 (en) Visual tag emerging pattern detection
US10386793B2 (en) Optimizing operations of an electronic system based on the quality of user device inputs
CN105683879B (zh) 用于基于触摸的设备上的访客应用的无缝的主机系统手势体验
JP2014222487A (ja) シミュレーション装置及びプログラム
Liang Cost-effective design of real-time home healthcare telemonitoring based on mobile cloud computing
US11430281B1 (en) Detecting contamination propagation
US11315689B2 (en) Interactive graphical system for estimating body measurements

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230627