JP2022548473A - 患者監視のためのシステム及び方法 - Google Patents
患者監視のためのシステム及び方法 Download PDFInfo
- Publication number
- JP2022548473A JP2022548473A JP2022506951A JP2022506951A JP2022548473A JP 2022548473 A JP2022548473 A JP 2022548473A JP 2022506951 A JP2022506951 A JP 2022506951A JP 2022506951 A JP2022506951 A JP 2022506951A JP 2022548473 A JP2022548473 A JP 2022548473A
- Authority
- JP
- Japan
- Prior art keywords
- patient
- eye
- image data
- cognitive state
- gestures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000006998 cognitive state Effects 0.000 claims abstract description 69
- 238000004891 communication Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 34
- 210000001747 pupil Anatomy 0.000 claims description 42
- 210000003128 head Anatomy 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 19
- 206010012218 Delirium Diseases 0.000 claims description 15
- 230000004424 eye movement Effects 0.000 claims description 14
- 210000000744 eyelid Anatomy 0.000 claims description 13
- 230000001149 cognitive effect Effects 0.000 claims description 11
- 230000036407 pain Effects 0.000 claims description 11
- 206010062519 Poor quality sleep Diseases 0.000 claims description 4
- 230000037007 arousal Effects 0.000 claims description 4
- 208000004209 confusion Diseases 0.000 claims description 3
- 206010013975 Dyspnoeas Diseases 0.000 claims description 2
- 230000006735 deficit Effects 0.000 claims description 2
- 230000008447 perception Effects 0.000 claims description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 2
- 230000006999 cognitive decline Effects 0.000 claims 1
- 208000010877 cognitive disease Diseases 0.000 claims 1
- 238000010801 machine learning Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 9
- 230000007958 sleep Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000004397 blinking Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000004461 rapid eye movement Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000001179 pupillary effect Effects 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000000537 electroencephalography Methods 0.000 description 3
- 208000028399 Critical Illness Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000035882 stress Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010003062 Apraxia Diseases 0.000 description 1
- 208000029728 Eyelid disease Diseases 0.000 description 1
- 206010015995 Eyelid ptosis Diseases 0.000 description 1
- 208000034826 Genetic Predisposition to Disease Diseases 0.000 description 1
- 201000000251 Locked-in syndrome Diseases 0.000 description 1
- 206010027646 Miosis Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000005054 agglomeration Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 206010005159 blepharospasm Diseases 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 208000015114 central nervous system disease Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000029436 dilated pupil Diseases 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002565 electrocardiography Methods 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 238000002570 electrooculography Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 206010027175 memory impairment Diseases 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 208000027232 peripheral nervous system disease Diseases 0.000 description 1
- 238000001126 phototherapy Methods 0.000 description 1
- 201000003004 ptosis Diseases 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000036385 rapid eye movement (rem) sleep Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 230000003860 sleep quality Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
- A61B5/747—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
- A61B2505/03—Intensive care
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
- A61B2505/07—Home care
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
- G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
- G08B21/0211—Combination with medical sensor, e.g. for measuring heart rate, temperature
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Physiology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Cardiology (AREA)
- Anesthesiology (AREA)
- Critical Care (AREA)
- Pulmonology (AREA)
- Business, Economics & Management (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Emergency Management (AREA)
- Emergency Medicine (AREA)
- Nursing (AREA)
- Radiology & Medical Imaging (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- User Interface Of Digital Computer (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Description
本開示は、患者の眼画像データに基づいて患者の認知状態の評価を可能にするシステムに関する。
コミュニケーションの欠如は、特に集中治療室における入院患者の共通の満たされていないニーズである。効果的なコミュニケーションの欠乏は、集中治療室(ICU:intensive care unit)せん妄の発症の要因になり得ると考えられている。効果的なコミュニケーションは、患者のICUせん妄の予防と治療の一部になり得る。重症の人工呼吸器装着患者にとっての現在標準のコミュニケーションは、例えば、うなずくこと、書くこと、及びコミュニケーションボードを指し示すことに限定されている。
ユーザの眼を追跡することによってユーザのコミュニケーションを可能にするシステム及び方法が知られている。
WO2016142933は、ユーザに一連のコミュニケーション・オプションを選択的に提示する選択インターフェイスを備えたシステムを開示している。光センサがユーザの眼から反射される光を検出し、相関信号を提供し、この信号を処理することによってユーザの頭を基準とする相対的な眼の向きを判断する。判断した相対的な眼の向きに基づいて、選択されたコミュニケーション・オプションが決定され、実施される。
参照により全体が本書に組み入れられるWO2019111257は、眼を追跡することによって、及び/又は個人によって発生される他の生理学的信号を追跡することによって、個人と連絡をとる制御システムを開示している。このシステムは、撮影された眼画像をコンピュータのジョイスティック様操作に似たジェスチャに分類するように構成される。これらのジェスチャは、ユーザが、例えばメニュー項目でコンピュータ又はシステムを操作することを可能にする。
ウェアラブル・デバイスは、一般的に患者のオリエンテーションを改善するために、監視デバイスとして、特に緊急呼び出しデバイスとして、機能することができる。加えて、ウェアラブル・デバイスは、集中治療室(ICU)患者の現在標準のコミュニケーションと比べて、より広範で効果的なコミュニケーションを実現できる。
本開示のシステムは、言葉で伝える能力を一時的か永久的に失い、様々な認知状態にあり得る患者の認知状態を判定又は監視するのに役立つ。本開示のシステムに該当する患者集団は、該当する運動機能が損なわれている患者である。この障害は、例えば、ICU内の患者や外傷(例えば事故)から回復しつつある患者の場合は一時的なものであり得、又は中枢若しくは抹消神経系疾患(例えばALS)が原因の麻痺等、永久的な病的状態の結果であり得る。
本開示は、患者の眼のいずれか一方又は両方の一連の画像データを撮影するカメラを備えたシステムに関する。この眼画像データは、所定のデータ処理サブシステムによって受信及び処理され、データ処理サブシステムは、前記眼画像データを分類し、これを開眼や瞬き等の眼ジェスチャに解釈する働きをする。データ処理サブシステムは次に、所定の基準に基づいて(基準は一定の基準又は動的な基準であってよく、例えば、医療分野や地理的位置にまたがって異なる基準であってよく、又は医学書から導き出された基準であってもよい)、解釈した眼ジェスチャの中で、覚醒やせん妄等の関心認知状態を特徴づける特異なジェスチャ、ジェスチャパターン、及び一連のジェスチャを判定する。データ処理サブシステムは、前記判定に基づいて、前記患者が認知状態である、認知状態下である、又は認知状態になる見込みがある、若しくは認知状態下になる見込みがあることを、判断できる。関心認知状態を判定したサブシステムは、信号を送信することによって遠隔装置に判定内容を報告する。例えば、ICUに入院している患者が数日間で初めて目を覚ましたことが開眼によって示された場合、システムは、接続された看護師用装置、医療スタッフ・メンバー、若しくは家族のうちのいずれか1つに、又はこれらの組み合わせに、アラート信号を送信する。本書で開示されるシステムは、リハビリ施設、看護施設、長期救急治療施設、及び高齢者向け住宅を含み、ただしこれらに限定されない、何らかの医療又は非医療機関で実装されてもよい。
いくつかの実施例により、システムはウェアラブル・ヘッドセットを備え、カメラは、患者の頭に取り付けるように構成されたヘッド・ユニットに装備される。
システムは、患者に出力を提示する形に出力装置を駆動するように構成されたアクチュエータ・モジュールをさらに備えることができるため、システムは、患者によって選択されるコンテンツ、問診票、及びフィードバックを含む何らかの出力を患者に提供することもできる。例えば、システムは集中治療患者のせん妄状態の自動コンピュータ判定を可能にする。具体的に述べると、システムは確立されたICU用錯乱評価法(CAM-ICU:Confusion Assessment Method for the ICU)テストのためのコンピュータ・インターフェイスを患者に提供し、患者は、システムを通じて(すなわち、システムが提供するコミュニケーション信号によって)応答を提供できる。認知状態の判定を促進するため、システムは、眼画像データ以外のさらなる生理学的データを受信して処理するように構成されてもよい。いくつかの実施例により、システムはまた、ユーザからの言葉による入力等、さらなるデータを受信して処理するように構成される。
システムは、いくつかの実施例により、コミュニケーション能力が損なわれている人のためによりシンプルでありながら信頼性の高いコミュニケーション・システムを実現するために、高い確度と短い推測時間を有することができる。これはとりわけ、グラフィックス・プロセッシング・ユニット(GPU:Graphics Processing Unit)のトレーニング・セッションの短縮とより効率的な運用に、又は、いくつかの実施例により、リモート・プロセッサ(サーバ)へのデータ送信の高速化に、結びつくことができ、これにより、リモート・プロセッサは送信されたデータをより効率的に処理して分析する。
その態様のうちの第1の態様によると、患者の認知状態を判定する患者監視システムが提供され、このシステムは、患者の眼の画像を記録するように構成されたカメラと、カメラとデータ通信し、(i)前記カメラから眼画像データを受信して処理し、(ii)前記眼画像データをジェスチャに分類し、患者の認知状態を示すジェスチャを判定し、(iii)前記認知状態を伝える信号を遠隔装置へ送信する働きをするデータ処理サブシステムとを備える。システムは、患者を監視するように開発され設計される。これは、例えば、集中治療室患者、ALS患者、閉じ込め症候群患者、人工呼吸器装着患者、重症患者、及び言葉によるコミュニケーションの能力を欠いた患者等、あらゆる入院患者を含み得る。さらなる例は、医学的な管理下又は介護者の管理下にある非入院患者である。
監視という用語は、連続的又は断続的な監視を含む。いくつかの実施例により、前記監視は、医学的な評価を目的とする長さが数秒又は数分の監視である。他の実施例により、監視は、例えば、数日間、数週間、数カ月間、及び数年間入院する患者のための長期の監視である。
判定という用語(又はその派生語)は、認知状態の何らかの二元判断(覚醒又は非覚醒、痛む又は痛まない、せん妄又はせん妄ではない等)、定量的判断(例えば、覚醒状態の持続時間、毎日の覚醒期間の総計、1~10の数値尺度による錯乱若しくは痛みレベル、又は尤度指数)、又は定性的判断(相対的な睡眠の質、例えば、昨日の比較対象状態に照らした失見当識状態等)を指す。判定は、患者の眼ジェスチャのタイミング、順序、持続時間、パターン、又はその他尺度に基づかせることができる。判定は、認知状態の見込み、発症、及びいずれかの尺度(分、時、又は日)による持続時間を含む。判定は、既定の基準に基づいてジェスチャから導き出されてよい。定義又は判定ルールを決定するため、システムは、医師又はその他介護者による入力のオプションを有することもできる。
いくつかの実施例により、判定は、患者が認知状態を明示する見込みを含む予測判定である。
いくつかの実施例により、判定は、患者自身の眼ジェスチャ又は患者集団の眼ジェスチャに基づいて収集されたデータベースに基づいて行われる。前記データベースは、過去又はリアルタイムの眼ジェスチャ・データに基づかせることができる。
認知状態という用語は、覚醒状態、睡眠状態、せん妄、衰退、錯乱、失見当識、異常注意又は知覚、記憶障害、苦悩、異常意思決定、欲求不満、不快感、痛み、及び抑鬱等の認知異常を含む。認知状態は患者の自然な認知状態である場合があり、又は薬物等の医学的介入によって誘発、影響、又は調整される認知状態である場合もある。
いくつかの実施例により、患者監視システムは画面から独立している。
いくつかの実施例により、ヘッド・ユニットは、家族、介護者、又は患者本人によって患者の頭に取り付けられる軽量ヘッド・マウントであり、骨伝導スピーカ\ヘッドフォンをさらに含み得る。ヘッド・ユニットは簡単に取り外すことができる。カメラは前記ヘッド・ユニットに装備されてよく、患者の眼のいずれか一方、両方の眼、いずれかの瞼、又は両方の瞼の画像を含み得る眼画像データを記録し、それを表す画像データを生成するように構成される。
いくつかの実施例により、カメラは、患者の頭に取り付けるように構成されたヘッド・ユニットに装備される。
いくつかの実施例により、カメラは、ユーザの近くにあるフレームに、例えば、ベッドのフレーム、医療機器を保持するフレーム、その他に、備え付けられてもよい。
いくつかの実施例により、カメラは患者の眼に対して固定される。
いくつかの実施例により、カメラは患者の眼に対して固定されない。
いくつかの実施例により、カメラは赤外線カメラ又は可視光カメラである。
通常、本開示のシステムの動作は照明条件に左右されない。
いくつかの実施例により、(例えば、ヘッド・ユニットに取り付けられた)カメラの位置は患者の眼に対して固定され、撮影画像データの唯一の基準点としての役割を果たす。
いくつかの実施例により、患者の眼に基づくコミュニケーションは、患者が見ている、又は(例えば、画面に対する)角膜反射の、正確な場所若しくは位置を検出するのではなく、ジョイスティック様操作に似ている。また、本開示によると、通常は使用前に画面を使った較正手順の必要がなく、事実、システムを使ったコミュニケーションにあたって画面を使用する必要はまったくない。
本書に記述されているジョイスティック様操作という用語は、眼画像データの中で瞳孔エリアの位置を追跡することを含むジェスチャ分類を指す。
いくつかの実施例により、ジョイスティック様操作は、参照により全体が本書に組み入れられるWO2019111257の説明に従う。
いくつかの実施例により、瞳孔エリアの位置の追跡は、患者の顔から独立して行われる。
いくつかの実施例により、瞳孔エリアの位置の追跡は、固定されたカメラを基準にして行われる。
いくつかの実施例により、瞳孔エリアの位置の追跡は、固定されていないカメラを基準にして行われる。
本開示の文脈における瞳孔エリアは、瞳孔、又は瞳孔を示すものとして判定される瞳孔のいずれかの部分である。
いくつかの実施例により、瞳孔エリアの位置は、瞳孔又は眼ジェスチャにラベルが付いた画像データを含むデータベーストに基づいて判断される。前記画像データは、患者本人から、又は他のいずれかの患者若しくは患者集団から、得られてよい。いくつかの実施例により、前記ラベルが付いたデータベーストに基づく瞳孔エリアの位置は、機械学習法を、例えば、或る画像データが特定のジェスチャに一致する見込みを考慮するモデルを、利用して判断される。
いくつかの実施例により、瞳孔エリアの位置は限界マップ内でのその位置に基づいて判断されてよく、瞳孔エリアが、限界マップの境界に、又は境界の接線に、触れるときに、特定の位置が判断される。例えば、瞳孔エリアが限界マップの上境界に触れる場合は、画像データは「上」ジェスチャとして分類され、又は瞳孔エリアが限界マップのどの境界にも触れていない場合は、画像データは「真っすぐ」ジェスチャとして分類される。限界マップは、瞳孔エリアの可動域内の領域を含む位置マップから導き出されてよい。一実例により、位置マップは、瞳孔エリアの上、下、左端、及び右端位置によって画定される長方形として設定される。いくつかの実施例により、限界マップは、位置マップの中心から少なくとも20%、40%、60%、80%、90%、95%離れた境界によって限定される少なくとも1つのエリアをカバーする。限界マップは通常、位置マップの中心から少なくとも80%離れている。位置マップは、患者の画像データに基づいて、又はラベルが付いたジェスチャがある若しくはない、画像データを含む何らかのデータベースに基づいて、得られてよい。任意に選択できる事柄として、位置マップは、眼又はその周囲の解剖学的特徴に基づいて画定される、より大きい関心領域(ROI:region of interest)の中にある。
時には、瞳孔エリアの位置は、2つ以上のキーゾーンを含む限界マップ内でのその位置に基づいて判断されてよい。キーゾーンは、眼画像データの中の、別々の、任意に選択できる事柄として重なり合う、小区域であってよい。時には、瞳孔エリアが少なくとも1つのキーゾーンの境界に触れるように、境界の接線に触れるように、又は少なくとも1つのキーゾーンの中に含まれるように、配置される場合は、瞳孔位置がジェスチャとして分類される。画像は、シャッター速度が少なくとも1/30secのカメラを使用して少なくとも30Hzのフレーム・レートで撮影されてよい。いくつかの実施例により、瞳孔が、少なくとも所定の期間にわたって、例えば、0.05、0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、1、又は2秒間にわたって、そのジェスチャ決定位置を維持する場合は、瞳孔位置がジェスチャとして分類される。
いくつかの実施例により、瞳孔エリアの位置は、コンピュータ・ビジョン・ツールを使用して、円形、曲線、及び直線特徴に任意に基づいて、判断される。任意に選択できる事柄として、瞳孔エリア判定は、画像データ内の暗い又は黒い画素を判定することに基づいて行われる。いくつかの実施例により、眼ジェスチャを分類する際の基準として役立てるため、瞳孔の中心が計算される。いくつかの実施例により、任意に選択できる事柄として、「中央」眼ジェスチャの基準として役立てるため、計算された瞳孔の中心に対する眼の可動域も計算される。
いくつかの実施例により、位置マップは不連続マップであり、又は眼画像の2つ以上のエリア若しくは1つのゾーンを含むマップである。
いくつかの実施例により、眼ジェスチャは、単一の画像データ・フレームの画像データに基づいて分類される。他の実施例により、眼ジェスチャは、複数の画像データ・フレームに基づいて、任意に選択できる事柄として2、5、10、20、50枚の画像データ・フレームに基づいて、分類される。他の実施例により、ジェスチャは、所定の時間枠内の、又は所定の画像データ・フレーム数のうちの、複数の画像データ・フレームの60%、70%、80%、85%、90%、95%、又は97%に基づいて分類される。
いくつかの実施例により、瞳孔エリアの位置は物体検出ツールを使用して判断される。任意に選択できる事柄として、眼、瞳孔、及びそれらの特徴を判定するために、物体検出に深層機械学習モデルが組み合わせられる。任意に選択できる事柄として、判定される眼の特徴は、眼の虹彩、外(縁)円若しくは虹彩、瞳孔、内側瞳孔領域、外側瞳孔領域、上眼瞼、下眼瞼、眼の隅、又はこれらの任意の組み合わせから選択される。
任意に選択できる事柄として、画像データは、眼の特徴のいずれか1つ又は組み合わせに基づいて、眼ジェスチャに分類される。前記眼の特徴は、眼の虹彩、瞳孔、内側瞳孔領域、外側瞳孔領域、外(縁)円又は虹彩、上眼瞼、下眼瞼、及び眼の隅から選択されてよい。
いくつかの実施例により、前記眼判定又は眼の特徴は、バウンディング・ボックス物体検出から導き出される。バウンディング・ボックスという用語は、2つの経度と2つの緯度によって画定されるエリアに関係し得る。任意に選択できる事柄として、緯度は範囲が-90~90の10進数であり、経度は範囲が-180~180の10進数である。いくつかの実施例により、検出は、バウンディング・ボックス座標と画像データ・ラベルを含むラベル付きデータに基づいて行われる。
いくつかの実施例により、瞳孔エリアの位置は、機械学習ツールを使用することによって、又はコンピュータ・ビジョン・ツールと機械学習ツールとの組み合わせを使用することによって、判断される。
任意に選択できる事柄として、組み合わされたコンピュータ・ビジョンと機械学習モデルは、シングル・ショット・ディテクタ(SSD:Single Shot Detector)アルゴリズムに基づく。
任意に選択できる事柄として、組み合わされたコンピュータ・ビジョンと機械学習モデルは、ユー・オンリー・ルック・ワンス(YOLO:You only Look Once)アルゴリズムに基づく。YOLOアルゴリズムは2つのステップを含み得る。第1のステップは、物体検出アルゴリズムを使用して、眼画像データの中で少なくとも2、3、4、又は5つのキーゾーンを検出することを含む。第2のステップは、教師付き機械学習アルゴリズムを使用して、前記キーゾーンの座標に基づいて眼画像データの中で眼の瞳孔を判断することを含む。いくつかの実施例により、瞳孔エリアの位置は機械学習モデルに基づいて判断される。任意に選択できる事柄として、前記モデルは患者の画像データに基づく。任意に選択できる事柄として、前記モデルは患者集団の画像データに基づく。任意に選択できる事柄として、前記モデルは健常人集団の画像データに基づく。
任意に選択できる事柄として、前記モデルは、教師付き、半教師付き、又は教師なしモデルである。
いくつかの実施例により、前記教師付きモデルは、手動でラベルが付けられた、又は自動的にラベルが付けられた、画像データに基づく。
いくつかの実施例により、異なるジェスチャ間の境界は、患者の画像データに基づいて画定される。
いくつかの実施例により、ジェスチャ分類は機械学習法を使用することに基づいている。具体的に述べると、機械学習モデルは、多数の線形変換層とそれに続く要素ごとの非線形性から成るニューラル・ネットワーク・モデルであってよい。分類は、個々の患者の、又は複数の患者にまたがる、眼特性評価を含み得る。いくつかの実施例により、分類は眼球運動の範囲を推定する。機械学習モデルは、ロジスティック回帰、サポート・ベクタ・マシン(SVM:support vector machine)、又はランダム・フォレストから選択された分類器を使用できる。
いくつかの実施例により、前記モデルは深層学習モデルであり、任意に選択できる事柄として、畳み込みニューラル・ネットワーク(CNN:convolutional neural network)モデルである。いくつかの実施例により、前記モデルは画像データを少なくとも5つの基本ジェスチャに分類する。任意に選択できる事柄として、前記基本ジェスチャは、瞬き、上、下、左、右、中央(真っすぐ)、斜め左上、斜め右上、斜め左下、及び斜め右下から選択される。
いくつかの実施例により、前記ジェスチャ分類は少なくとも80%、85%、90%、95%、97%、98、又は99%の精度である。
いくつかの実施例により、前記ジェスチャ分類の平均推測時間は、100ms、125ms、150ms、175ms、200ms、240ms、250ms、260ms、270ms、300ms、350ms、又はこれらの間の任意の数値までである。いくつかの実施例により、前記ジェスチャ分類の平均推測時間は100~200msの範囲内であり、例えば125±25msである。前記推測時間は毎秒3~10フレーム(fps)に相当し、時には8fpsに相当する。
いくつかの実施例により、ジェスチャは、所定の時間枠内のジェスチャの大多数に基づいて分類される。(例えば50~200msの範囲で)基本的な時間枠が設定され、数個の連続する時間枠の中でジェスチャが分類され、それらの時間枠の大多数で同じ分類が生じる場合にジェスチャが定義される。例えば、125msの枠が適用される場合に、3画像中2画像で同じジェスチャが分類された場合は、375msごとに(すなわち、3つの斯かる枠の後に)ジェスチャが決定される。これには、過敏な応答を回避して、より安定した出力を可能にするという利点がある。
いくつかの実施例により、機械学習モデルは、任意に選択できる事柄として、少なくとも1つの眼が画像フレームの中にあるかどうかを分類することによって、ヘッドセットの配置にさらに使用される。任意に選択できる事柄として、画像データは、少なくとも1つの眼が完全にフレーム内にある、フレーム内に眼がない、及び少なくとも1つの眼がフレーム内の中央にあるという3つのクラスに分類される。
いくつかの実施例により、まずは画像データの中で少なくとも1つの眼の位置を特定することによって、機械学習モデルがヘッドセットの配置に使用される。次に、コンピュータ・ビジョン・ツールと機械学習ツールとの組み合わせを使用してジェスチャ分類が行われる。
いくつかの実施例により、データ処理サブシステムは、分散型の、又は非分散型で並列型の、サブシステムである。
いくつかの実施例により、前記画像データのジェスチャへの分類と、患者の認知状態を示すジェスチャの判定は、分散型サブシステムのコンポーネントによって行われる。
いくつかの実施例により、データ処理サブシステムは、カメラとデータ通信し、任意に選択できる事柄として無線通信し、前記カメラから画像データを受信して処理し、前記画像データをジェスチャにさらに分類する働きをする(任意に選択できる事柄として、分類は上述のジョイスティック様操作に従って行われる)。前記ジェスチャは、随意の、又は不随意の、眼ジェスチャを含み得る。前記ジェスチャは、瞳孔の真っすぐ、中央、右、左、上、下、斜め左上、斜め右上、斜め左下、及び斜め右下位置、一連の瞳孔位置、閉眼、開眼、曲線眼球運動、閉じた瞼の後ろでの眼球運動(例えば、睡眠中の急速眼球運動)、瞳孔サイズの増大又は縮小(例えば、拡張又は収縮した瞳孔)、瞳孔の部分又は内部の拡大又は縮小、瞼の痙攣、瞬き、及び一連の瞼の瞬きを含み得る。前記ジェスチャは、眼瞼下垂症、眼瞼退縮、瞬きの減少又は増加、及び開眼失行等の眼瞼障害に関わる何らかの眼又は瞼の動きも含み得る。
任意に選択できる事柄として、ジェスチャは眼のいずれか一方又は両眼に関係する。
任意に選択できる事柄として、ジェスチャは一連の2つ以上の瞼の瞬きを含む。
ジェスチャは当技術で周知の眼ジェスチャのいずれか1つ又は組み合わせから選択されてよく、例えば、ジェスチャは、固定(静止ジェスチャ若しくは凝視)又は一連の固定及びそれらの持続時間、ジェスチャ又は凝視点、並びにそれらの塊及び分配であってよい。
いくつかの実施例により、システムは他のジェスチャの合間に真っすぐのジェスチャを行うことを患者に依頼する。
いくつかの実施例により、瞬きジェスチャは、暗い画素の領域として、又は人工知能モデル、任意に選択できる事柄として(教師付き又は教師なし学習により)眼の画像データを閉じた眼の画像として分類する機械学習モデルを使用することによって、判定される。
いくつかの実施例により、開眼ジェスチャは、瞳孔の領域として、又は人工知能モデル、任意に選択できる事柄として眼の画像データを開いた眼又は閉じていない眼の画像として分類する機械学習モデルを使用することによって、判定される。
いくつかの実施例により、閉眼ジェスチャは、閉じていない眼の少なくとも1つの画像の後の一連の閉じた眼の画像データ・フレームとして判定される。
いくつかの実施例により、(レム睡眠で一般的な)急速眼球運動(REM:rapid eye movement)ジェスチャは、画像データ・フレーム間に急速な変化を伴う一連の画像データ・フレームとして判定される。非限定的な一実例として、一連のジェスチャ「下-中央-下-中央-下-中央」は、レム・ジェスチャとして分類される画像データになる。
いくつかの実施例により、瞳孔エリアが、限界マップの境界に、又は境界の接線に、触れる場合、又は限界マップの中に含まれる場合は、ジェスチャが分類される。画像は、シャッター速度が少なくとも1/30secのカメラを使用して少なくとも30Hzのフレーム・レートで撮影されてよい。いくつかの実施例により、瞳孔が、少なくとも所定の期間にわたって、例えば、0.05、0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、1、又は2秒間にわたって、そのジェスチャ決定位置を維持する場合は、瞳孔位置がジェスチャとして分類される。
いくつかの実施例により、ジェスチャのタイプ、ジェスチャの数、ジェスチャの持続時間、並びに対応する信号及び出力のうちのいずれか1つは、患者又は介護者によって決定される。
いくつかの実施例により、信号は、単一のジェスチャ、複数のジェスチャ、又は一連のジェスチャに基づいて送信される。任意に選択できる事柄として、信号は、患者の眼ジェスチャのタイミング、順序、持続時間、パターン、その他の尺度、及びこれらの任意の組み合わせに基づいて送信される。
いくつかの実施例により、少なくとも1、3、5、7、10、30、60秒間の開眼ジェスチャは、「覚醒」信号を開始する。
いくつかの実施例により、少なくとも1、3、5、7、10、30、又は60秒間の閉眼ジェスチャは、「睡眠」信号を開始する。
いくつかの実施例により、一連の1、2、3、又は5回の瞬きは、「援助要請」信号を開始できる。
いくつかの実施例により、30秒以内までの一連の10回までの瞬きは、信号を選択する。
いくつかの実施例により、1、2、3、4、5、6、7、8、9、10、又は30秒間の眼の少なくとも一方の開眼又は閉眼は、信号を送信する。任意に選択できる事柄として、前記信号はシステムに対する休止モード信号である。
いくつかの実施例により、信号は、24時間にわたる患者の覚醒期間を介護者に報告する。
いくつかの実施例により、信号は、患者の部屋を物理的に訪ねるタイミングについてシステムによって提供される推奨事項である。
別の非限定的な実施例によると、能力が制限されている患者は、1つのジェスチャを使用して、任意に選択できる事柄として自身の定義又は眼球運動範囲に基づいて、例えば「左」ジェスチャのみを使用して、システムを操作できる。
いくつかの実施例により、患者がコンピュータを操作できるようにするジェスチャは、患者が特定の場所を見るジェスチャ(眼の凝視)の代わりに、所定の方向を通常通りに見ること(眼のジェスチャ)である。例えば、患者が特定の、物理的な、又は仮想の、対象に視野を集中していない場合でも、一般的な左凝視はジェスチャとして役立つことができる。
いくつかの実施例により、患者の認知状態を示すジェスチャの判定は、一般的な医学的知識と当技術で周知の方法から導き出されるルールに基づいて、又は看護師、医師、介護者、又は患者によって設定される基準に基づいて、行われる。前記ルールは、予め設定されてよく、又は個々の患者の最初の監視の後に導き出されてもよい。患者に関して実施される前記ルールは、患者本人から、又は典型的な人口集団から、導き出されてよい。いくつかの実施例により、判定ルールは、1つ又は複数の一定のルール(充実した医学的知識に基づくもの)であり、又は動的なルール(例えば、単一版の医学書に基づくもの、又は医療分野や地理的地域等にまたがって異なるルール)である。いくつかの実施例により、ルールは、オンラインの人工知能アルゴリズムに基づいて導き出されるという意味で動的である。前記判定は、患者の状態を監視する一部として(特定の時点に、又は継続的に)、又は認知状態を予測するために、行われてよい。前記予測判定は、患者が認知状態を明示する見込みを含む。
認知状態は、何らかの生理学的又は非生理学的データとの組み合わせで判断されてよい。いくつかの実施例により、認知状態は、システムによって受信される眼画像データと生理学的データとの任意の組み合わせに基づいて判断される。いくつかの実施例により、認知状態は、システムによって受信される眼画像データと生理学的データとさらなるデータとの任意の組み合わせに基づいて判断される。前記さらなるデータは、何らかの定量的、定性的、確率的、テキスト、個人、又は集団データであってよい。前記データは、オンラインで、又は既定の時点に、受信されてよい。前記データは、患者、医療スタッフ・メンバー、又は家族に由来するものであってよい。
最後に、システムによって認知状態が判定されると、データ処理サブシステムが前記認知状態に関連する信号を遠隔装置へ送信する。
いくつかの実施例により、前記信号は何らかの信号であってよく、任意に選択できる事柄として、デジタル化されたコンピュータ信号であってよく(例えば、システムを休止モードに設定するため、又はモノのインターネット(IOT:Internet of Things)デバイスを操作するため)、又は任意に選択できる事柄として、視覚信号(緑から赤の、又はその逆の、照明の変化)、聴覚信号(警報音等)、若しくはテキスト・メッセージング・サービスによるテキスト等の他のデジタル信号であってよい。
いくつかの実施例により、信号は、任意に選択できる事柄として、文字でインターフェイスを選択するメニューを使用して、任意に選択できる事柄として、患者又は介護者によって予め決定される、又は、患者によって構成される、語、記号、又は文である。
いくつかの実施例により、前記遠隔装置は、集中治療室のアラート装置、看護師用装置、又は介護者によって携帯されるデバイスである。
いくつかの実施例により、遠隔装置への信号は無線通信で送信される。本書で使用される無線通信という用語は、Wi-Fi通信、移動通信システム、Bluetooth通信、赤外線通信、及び電波通信等、導電体接続から独立した何らかの形の通信を含み得る。いくつかの実施例により、無線通信は、無線パーソナル・エリア・ネットワーク(WPAN:wireless personal area network)や無線ボディ・エリア・ネットワーク(WBAN:wireless body area network)等の無線ネットワークを経由する。
非限定的な一実例として、遠隔装置への信号は、室内の照明を点灯若しくは減光すること、光線治療を始動させること、サウンドや音楽等のメディア・コンテンツを再生すること、又は室温を制御すること等、患者の部屋の中にあるデバイス又は機器をトリガすることに相当し得る。
非限定的な一実例として、遠隔装置への信号は、患者の病状、感情状態、又は認知状態を改善又は緩和するシステムを起動する信号であってよい(例えば、せん妄を軽減するシステム)。
いくつかの実施例により、少なくとも1つの眼を開ける画像データは、覚醒状態を示す開眼ジェスチャとして分類されていて、アラート信号が看護師用装置へ送信される。
いくつかの実施例により、患者監視システムは、患者に出力を提示する形に出力装置を駆動するように構成されたアクチュエータ・モジュールをさらに備え、データ処理サブシステムは、前記出力を追う反応眼球運動を表す反応画像データを記録し、前記反応画像データを反応ジェスチャに分類し、患者の認知状態を示すジェスチャを判定する。
出力という用語は、患者に対する何らかの感覚出力又はコンテンツを含む。
いくつかの実施例により、出力は、スマート・ホーム・デバイス等のモノのインターネット(IOT)デバイスを通じて提供される。
いくつかの実施例により、出力は、認知状態の、任意に選択できる事柄としてICUせん妄の予防又は軽減に関連する。
いくつかの実施例により、出力は、睡眠状態等の認知状態の誘導又は促進に関連する。
(画像データの記録から認知状態信号送信に至る)上述の自動作動に加えて、出力は、眼ジェスチャ又は信号に応じて開始されてよい。加えて、出力は、システムによって自動的に判定される認知状態に基づいて選択されてよく、これにより、任意に選択できる事柄として、患者の認知状態にポジティブに作用する。例えば、不安な認知状態の判定に応じて、リラックスする音楽、家族の声、ホワイト・ノイズ、又は認知練習が選ばれてよい。
いくつかの実施例により、感覚出力は、視覚的(例えば、画面上のメッセージ又は質問)、聴覚的(声による指導又は質問等)、触覚的出力(患者の足に対する接触刺激等)、又はこれらの任意の組み合わせである。
いくつかの実施例により、コンテンツという用語は、一般的なコンテンツ、又は個人的に制作されたコンテンツを含む、何らかのコンテンツである。これらは、一般的な医療情報ビデオ、又は患者の医師、看護師、若しくは介護者によって患者に配信されるメッセージを含み得る。
いくつかの実施例により、コンテンツは患者によって選択される何らかのメディア・コンテンツである。
いくつかの実施例により、メディア・コンテンツは、患者の機能的遂行や医学的適応を改善するために、例えば、ストレスを軽減するために、選択される。
いくつかの実施例により、メディア・コンテンツは、家族の声や既知の環境等、患者にとって馴染みのある何らかの視覚的又は聴覚的なコンテンツである。聴覚的なコンテンツは予め録音されたメディア・ファイルであってよく、又はオンラインで送信されてもよい。一実施例により、コンテンツは患者がメニューの中を移動できるようにするメニュー・システムであり、このメニューは患者に提示され、眼ジェスチャを使ってメニュー項目を選択することによって患者の眼ジェスチャでコントロールされる。メニューの提示は、可聴式の提示(ラウドスピーカ、イヤフォン、ヘッドフォン、埋め込まれた可聴デバイス等による)、又は視覚的な提示(画面、患者の前の小さいディスプレイ等での表示による)であってよい。メニューは階層的であってよく、これは、メニュー項目の選択によって他の下層の選択可能なオプションが開き得ることを意味する。
いくつかの実施例により、メニューは、参照により全体が本書に組み入れられるWO2019111257の説明に従う。
いくつかの実施例により、出力は、人、デジタル、又は自動問診票である。時には、問診票のタイプと内容は、前の質問に対する患者の応答に基づいて決定される。時には、問診票のタイプと前記問診票の質問は、反応ジェスチャに基づいて決定される。一実施例により、前記問診票はICU用錯乱評価法(CAM-ICU)である。一実施例により、少なくとも1つの眼を開くジェスチャはCAM-ICUの出力を開始する。
いくつかの実施例により、出力は、日時と患者の場所を患者に示す映像又は音声である。
いくつかの実施例により、出力は、(任意に選択できる事柄として前記問診票に対して)眼ジェスチャを使って応答する方法をユーザに指導する。
反応画像データという用語は、患者に提供された出力に応じて記録された画像データを指す。
反応眼球運動という用語は、患者に提供された出力に応じて記録された眼球運動を指す。
反応眼ジェスチャという用語は、反応眼球運動又は反応画像データに基づいて分類された眼ジェスチャを指す。いくつかの実施例において、反応ジェスチャは患者の認知状態を示す。
一実施例により、少なくとも1つの眼を開くジェスチャはCAM-ICUの出力を開始し、反応眼ジェスチャはせん妄状態を示す。非限定的な一実例として、システムは多肢選択式質問を出力することによってCAM-ICUテストを実施し、患者は瞬きをすることによって自身の回答を伝える。
別の非限定的な一実例として、システムは現在の時刻、日付、及び場所を出力することによって再オリエンテーション評価を実施し、患者は所定の期間にわたって開眼ジェスチャを維持することによって応答する。
また、別の例示的で非限定的な一実施例として、聴覚又は視覚出力によって数通りのオプションから、例えば、ひとつの選択として「上」(すなわち上向きジェスチャ)、別の選択として「下」等を、選択することを患者に促すことができる。さらなる例示的で非限定的な一実施例により、患者には(例えば、聴覚出力によって)オプションを提示でき、これにより、特定の選択肢が提示されるときに、特定又は非特定の方向でジェスチャを行うこと、一連の瞬きをすること、所定の期間にわたって瞼を閉じること等を患者に促す。後者は、例えば、文章を書くための文字の素早い選択にとって有益である。この実施例は、問診票に応答する患者の役に立つこともできる。
別の例示的で非限定的な一実施例によると、前記問診票は、数値的評価尺度、スタンフォード疼痛尺度、簡易疼痛質問票、ウォン・ベーカー・フェイス、グローバル疼痛尺度、視覚的アナログ尺度、及びマクギル疼痛指標から任意に選択される痛みスケールである。本開示によるさらなる問診票は、空気飢餓感又は呼吸不快感質問票である。
いくつかの実施例において、データ処理サブシステムはさらに、1つ又は複数の生理学的パラメータを受信して分類し、患者の認知状態を示す前記生理学的パラメータを、又は前記ジェスチャ及び生理学的パラメータの任意の組み合わせを、判定する働きをする。
いくつかの実施例により、判定は、前記眼ジェスチャ及び生理学的パラメータの組み合わせに基づく、患者が認知状態を明示する見込みを含む。いくつかの実施例により、前記組み合わせは高心拍数を伴う急速眼球運動である。
他の実施例により、認知状態は、分、時、日、又は月の尺度で一定の期間にわたって累積された一連のジェスチャに基づいて判定される。
尺度分は、10、20、30、60、120、又は240分までを含む。
日の尺度は、1、2、3、4、5、7、14、30、又は60日までを含む。
月の尺度は、1、2、4、6、8、12、又は24月を含む。
時には、認知状態は、システムによって提供される入力とは無関係に、患者によって行われる不随意的又は継続的なジェスチャに基づいて評価される。
生理学的パラメータという用語は、患者の神経、心臓、体性感覚、発声、及び呼吸器系、並びに選択された筋肉の動きから得られる何らかの信号を含む、患者の身体から得ることができる何らかの信号である生理学的測定値の任意のサンプルを含む。生理学的パラメータは、何らかのセンサ設備又は測定デバイス、マイクロフォン、肺活量計、電気皮膚反応(GSR:galvanic skin response)デバイス、タッチ又は圧力プローブ、皮膚電気反応プローブ(皮膚伝導プローブ)、脳波記録(EEG:electroencephalography)デバイス、脳波記録(ECoG:electroencephalography)デバイス、筋電図検査法(EMG:electromyography)、電気眼球図記録法(EOG:electrooculography)、及び心電図によって記録されてよい。
いくつかの実施例により、生理学的パラメータは、又は前記眼ジェスチャ及び生理学的パラメータの任意の組み合わせは、患者の認知状態を示す。
いくつかの実施例により、複数の患者監視システム(又はサブシステム)を備える患者監視システムが提供される。いくつかの実施例により、前記複数の患者監視システムの各々は別々の患者を監視する。
いくつかの実施例により、前記システムは、前記患者監視システム(又はサブシステム)の各々から前記認知状態を表す信号を受信し、1つ又は複数の所定の基準に従って斯かる信号を分類する働きをする集中型プロセッサをさらに備える。いくつかの実施例により、集中型プロセッサによって行われる分類は、医師又は介護者によって設定される基準に基づく。前記基準は、医学的緊急性に関する検討事項、時間に関する検討事項、空間に関する検討事項、及びこれらの任意の組み合わせを表し得る。
非限定的な一実例によると、同じ診療科に入院している1組の患者が前記複数の患者監視システムによって監視されており(又は、サブシステム、各患者がサブシステムによって監視されている)、前記システムによって送信される信号は集中型プロセッサによって分類されており、看護師用装置は、医学的緊急性に基づいて順位付けされたアラートを受信している。
いくつかの実施例により、信号は、少なくとも2、4、6、8、10、20、50、100人の患者の覚醒状態を報告する統合信号である。
いくつかの実施例により、信号は、少なくとも2、4、6、8、10、20、50、100人の患者の睡眠状態を報告する統合信号である。
本開示のいくつかの実施例によるシステムは、患者がデバイスを使用して少なくとも1つの信号を実行するのに必要な、5、10、20、30、60、120、及び360分までの時間として測定される、任意に選択できる事柄として、患者に関してシステムをセットアップする最初の時点から、例えば適切なヘッドセット装着から、測定される、トレーニング期間を伴う。
いくつかの実施例において、データ処理サブシステムはさらに、何らかのさらなる(生理学的又は非生理学的)データを受信して分類する働きをする。非限定的な一実例は、問診票の累積結果を得るために、問診票(任意に選択できる事柄として、前記問診票はシステムによって出力される)に対する(例えば、反応眼ジェスチャ又はその他による)患者の回答を受信して分類することである。一実例として、患者はシステムを通じてストレスレベルに関する質問票に応答でき、前記質問票の結果はシステムによって受信され、分類され、任意に選択できる事柄として、眼画像データ、生理学的データ、及びさらなるデータのいずれか1つ又はこれらの組み合わせと組み合わされる。前記さらなるデータは、集団データ(疫学データ等)、個人データ(遺伝的素因)、医療履歴データ、又は社会経済的素性等の非医療データのいずれか1つ又はこれらの組み合わせであってよい。前記さらなるデータは、データ処理サブシステムへ直接送信されてよく、又は非限定的な一実例として、看護師用装置を経由して送信されてもよい。いくつかの実施例において、データ処理サブシステムはさらに、さらなるデータを受信して分類し、患者の認知状態を示す、何らかのさらなるデータを、又は前記ジェスチャとさらなるデータとの組み合わせを、判定する働きをする。
いくつかの実施例により、さらなるデータは、又は前記眼ジェスチャ、生理学的パラメータ、及びさらなるデータの任意の組み合わせは、患者の認知状態を示す。
いくつかの実施例において、データ処理サブシステムは聴覚データを受信し、(例えば、自然言語処理によって)処理する。例えば、患者が、別の人によって、例えば、介護者によって、質問を尋ねられると、データ処理サブシステムは医師の発話を受け取って処理し、別の人の発話と患者の言語の文脈解析に基づいて、患者に対し、患者自身の言語で、患者に対する指導を含む応答を提案することができる。この実施例は、外国にいる患者が現地の医師及び介護者と容易にコミュニケーションをとることを可能にする。
その態様のうちの第2の態様によると、患者の認知状態を判定する方法が提供され、本方法は、(a)患者の眼の少なくとも一方の画像データを記録することと、
(b)前記画像データをジェスチャに分類することと、(c)患者の認知状態を示すジェスチャを判定することと、(d)前記認知状態を伝える信号を遠隔装置へ送信することとを含む。
(b)前記画像データをジェスチャに分類することと、(c)患者の認知状態を示すジェスチャを判定することと、(d)前記認知状態を伝える信号を遠隔装置へ送信することとを含む。
いくつかの実施例により、本方法は、患者に対して出力を証明することをさらに含む。
いくつかの実施例により、本方法は、(a)前記出力を追う反応眼球運動を表す反応画像データを記録することと、(b)前記反応画像データを反応ジェスチャに分類することと、(c)患者の認知状態を示すジェスチャを判定することとをさらに含む。
いくつかの実施例により、本方法は、(a)1つ又は複数の生理学的パラメータを受信して分類することと、(b)患者の認知状態を示す前記ジェスチャ及び生理学的パラメータを、又はこれらの任意の組み合わせを、判定することとをさらに含む。
いくつかの実施例により、患者の認知状態を判定する方法が提供され、本方法は、(a)複数の患者監視システムから患者の眼画像を記録することと、(b)前記画像データをジェスチャに分類することと、(c)判定済みの認知状態を得るために、患者の認知状態を示すジェスチャを判定することと、(d)1つ又は複数の所定の基準に従って前記判定済みの認知状態を分類することとを含む。
いくつかの実施例により、複数の患者の認知状態を判定する統合患者監視のための方法が提供され、本方法は、(a)複数の患者監視システムから各患者の眼画像を記録することと、(b)前記システムの各々からの前記画像データをジェスチャに分類することと、(c)判定済みの認知状態を得るために、各患者の認知状態を示すジェスチャを判定することと、(d)1つ又は複数の所定の基準に従って前記判定済みの認知状態を分類することと、(e)前記認知状態を伝える統合信号を遠隔装置へ送信することとを含む。
本書で開示される主題をより良く理解し、それが実際にいかにして実施され得るかを例証するため、これより添付の図面を参照しながら、専ら非限定的な実例として、実施例を説明する。
まずは、本開示の非限定的な一実施例による患者監視システムの概略ブロック図を示す図1を参照する。患者監視システム100は、患者の頭に取り付けるように構成されたヘッド・ユニット102に備え付けられたカメラ104を備える。カメラは、患者の近くにある何らかの固定されたフレームに備え付けられてもよい。カメラ104は、患者の眼のいずれか一方又は両方及び瞼の画像を連続的に撮影し、それを表す画像データを生成する働きをする。システム100は、カメラ104とデータ通信する並列型又は分散型データ処理サブシステム106を含む。データ処理サブシステム106は、前記カメラから眼画像データを受信して処理し、
前記眼画像データをジェスチャに分類し、患者の認知状態を示すジェスチャを判定する。次に、データ処理サブシステム106は、前記認知状態を伝える信号を遠隔装置へ送信する。
前記眼画像データをジェスチャに分類し、患者の認知状態を示すジェスチャを判定する。次に、データ処理サブシステム106は、前記認知状態を伝える信号を遠隔装置へ送信する。
非限定的な一実例として、意識不明で数日間入院しているICU患者が患者監視システム100によって監視されている。介護者は患者の頭にウェアラブル型ヘッド・ユニット102を置いた。患者が自身の眼を初めて開くと、患者の眼の動きがカメラ104によって撮影される。前記カメラ104からの画像データはデータ処理サブシステム106によって受信される。次に、画像データがジェスチャに分類され、開眼ジェスチャが分類される場合は、覚醒状態が指示され、最寄の看護師用装置へ「援助要請」信号が無線送信される。
図2は本開示のシステムのブロック図を示し、このシステムは、第1の出力装置110を駆動するアクチュエータ・モジュール108をさらに含む。出力装置110は、視覚的表示装置であってよく、例えば、デジタル画面であってよく、又は可聴デバイスであってもよく、例えば、スピーカ、ヘッドフォン等であってもよい。
非限定的な一実例として、せん妄が疑われる入院患者がヘッド・ユニット102を装着しており、患者監視システム100によって監視されている。患者が2度瞬くと、患者の眼の動きがカメラ104によって撮影され、データ処理サブシステム106によって一連の2度の瞬きのジェスチャとして分類される。前記ジェスチャにより、アクチュエータ・モジュール108によって駆動される出力装置110によるデジタルCAM-ICU問診票の出力が始まる。患者は反応眼球運動を行うことによってCAM-ICU評価に応答し、患者の反応眼球運動はカメラ104によって撮影され、データ処理サブシステム106によって反応眼ジェスチャに分類される。これらの反応眼ジェスチャは、患者が実際にせん妄状態になっているかどうかを示すものとして解釈される。実際にデータ処理サブシステム106によってせん妄状態が判定される場合は、前記データ処理サブシステム106によって患者の医師へせん妄信号が送信される。
図3及び図4は、本開示のシステムの非限定的で例示的な構成部品を示す。図3及び図4の構成部品には、図1によって示されている構成部品の指数から100ずつずらされた数値的指数が割り当てられている。例えば、図1で102と示されているヘッド・ユニットは、図3で202によって示されている。したがって、読者は、これらの構成部品の機能に関する詳細について、上記の本文を参照できる。
図3は、ヘッド・ユニット202と、カメラ204と、遠隔装置と無線通信(例えば、Wi-Fi、Bluetooth)する非分散型データ処理サブシステム206とを含むシステムの非限定的な一実例を示す。
図4は、見込み患者によって装着され得るシステムの非限定的な図解を示す。
図5は、非限定的で例示的な一実施例による概略的なシステム・アーキテクチャを示す。この例示的なシステムによると、システムは、データ処理サブシステム306とヘッドセット302とを含む。システムは、(i)(例えば、IoTプロトコルにより)遠隔の医療スタッフ・ステーション310と通信する医療スタッフ・サーバ308、(ii)Wi-Fi通信によりデバイス設定クラウド・サーバ312、及び(iii)Bluetooth通信によりウェブベースの追加アプリケーション314と、遠隔双方向通信を行う。医療スタッフ・サーバは、システム・データベース316、イベント・スケジューラ318(例えば、毎日08:00の「おはようございます」の挨拶、又は12時間おきのCAM-ICU若しくはその他問診票の開始等、医療スタッフが特定の患者についてカレンダー・イベントをスケジュールできるようにする)、データ(音声メニューのためのメディア・ファイル、ワールド・ワイド・ウェブ(WWW)ページ322等を保管し検索するサーバ320、及びテキスト-スピーチ・アプリケーション・プログラミング・インターフェイス(API)324を備える。スタッフ・サーバは、リモート・ファミリー・ポータル326経由で、データを、例えば、音声メッセージを、受信する。ファミリー・ポータル326は、ウェブ・ポータル328を備えるデバイス設定クラウド・サーバへ推奨事項を送信できる。デバイス設定クラウド・サーバは、ボイス・バンキング330(録音済みの音声に基づいて合成音声を使用してオリジナルのコンテンツを生成)、テキスト-スピーチ332、及び翻訳334 API、並びにユーザ・データベース336を備える。
システムは、出力装置と、質問票、可聴の質問及び回答から成るセット、オリエンテーション・メッセージ(場所、日付、時刻)、音楽、家族の記録等から選択された出力を駆動するアクチュエータ・モジュールとを備える。出力は、システムによって分類された眼ジェスチャによってトリガされてよい。加えて、前記出力に対する応答は、データ処理サブシステムによって分類された反応ジェスチャで患者によって提供されてよい。応答は、質問に回答することを含み得る。総じて、システムは患者にとってより自然で和やかで管理の行き届いた環境を実現し、これにより入院の質を高め、統制を欠いたような気持ち、不安、コミュニケーションができないという恐怖心等、入院中のネガティブな感情を軽減する。システムはまた、セキュア・リモート・サポート・クラウド338にリンクされ、離れた場所にいる技術者のサービスに至るリバース・トンネルを実現する。
図6は、以下のものを表示する、医療スタッフ・ステーションにおける可能な画面表示(ダッシュボード)の一実例を示す。
-(発話による)音声の形でステーションから送られる質問に対する患者の回答を含む、コミュニケーション・ログ。
-医療スタッフにコミュニケーション・オプションを提示するコミュニケーション・モジュール
-患者の睡眠/覚醒パターン
-全てのアラート、及びユーザの部屋でのスタッフによる物理的介入を要求するアラートのログ(ユーザの援助要請アラート、カメラの位置が変わった、デバイスがネットワークから切断された等)
-診療科内デバイス位置リマインダ
-ユーザ及びデバイスの活動ログ
-問診票の結果(CAM-ICU、痛みスケール等)
-音楽、オリエンテーション、及び家族の声の記録のボタン
-(発話による)音声の形でステーションから送られる質問に対する患者の回答を含む、コミュニケーション・ログ。
-医療スタッフにコミュニケーション・オプションを提示するコミュニケーション・モジュール
-患者の睡眠/覚醒パターン
-全てのアラート、及びユーザの部屋でのスタッフによる物理的介入を要求するアラートのログ(ユーザの援助要請アラート、カメラの位置が変わった、デバイスがネットワークから切断された等)
-診療科内デバイス位置リマインダ
-ユーザ及びデバイスの活動ログ
-問診票の結果(CAM-ICU、痛みスケール等)
-音楽、オリエンテーション、及び家族の声の記録のボタン
Claims (22)
- 患者の認知状態を判定するための患者監視システムであって、前記システムが、
前記患者の眼の画像を記録するように構成されたカメラ装置と、
前記カメラとデータ通信し、
i.前記カメラから眼画像データを受信して処理し、
ii.前記眼画像データをジェスチャに分類し、前記患者の前記認知状態を示すジェスチャを判定し、
iii.前記認知状態を伝える信号を遠隔装置へ送信する、
働きをする、データ処理サブシステムとを備える、患者監視システム。 - 前記カメラが、患者の頭に取り付けるように構成されたヘッド・ユニットに装備される、請求項1に記載のシステム。
- 前記認知状態が、覚醒状態、せん妄、認知機能低下、錯乱、失見当識、異常注意、知覚、痛み、及び抑鬱から選択される、請求項1又は2に記載の患者監視システム。
- 前記遠隔装置が、集中治療室のアラート装置、看護師用装置、又は介護者によって携帯されるデバイスである、請求項1から3までのいずれか一項に記載の患者監視。
- 前記ジェスチャが、少なくとも1つの眼の開眼、少なくとも1つの眼の閉眼、瞳孔位置、一連の瞳孔位置、及び一連の瞼の瞬きから選択される、請求項1から4までのいずれか一項に記載の患者監視システム。
- 少なくとも1つの眼の開眼ジェスチャが覚醒状態を示し、看護師用装置へアラート信号が送信される、請求項1から5までのいずれか一項に記載の患者監視システム。
- 遠隔装置への前記信号が無線通信で送信される、請求項1から6までのいずれか一項に記載の患者監視システム。
- 前記システムが、
アクチュエータ・モジュールと、
出力装置とをさらに備え、
前記アクチュエータ・モジュールが、前記患者に出力を提示する形に前記出力装置を駆動するように構成され、
前記データ処理サブシステムが、前記出力を追う反応眼球運動を表す反応画像データを記録し、前記反応画像データを反応ジェスチャに分類し、前記患者の前記認知状態を示すジェスチャを判定する、請求項1から7までのいずれか一項に記載の患者監視システム。 - 前記反応ジェスチャが前記患者の前記認知状態を示す、請求項8に記載の患者監視システム。
- 前記出力が自動問診票である、請求項9に記載の患者監視システム。
- 前記問診票がICU用錯乱評価法(CAM-ICU)である、請求項10に記載の患者監視システム。
- 前記問診票が痛みスケールである、請求項10に記載の患者監視システム。
- 前記問診票が空気飢餓感又は呼吸不快感質問票である、請求項10に記載の患者監視システム。
- 少なくとも1つの眼の開眼によりCAM-ICUが開始される、請求項7から13までのいずれか一項に記載の患者監視システム。
- 前記データ処理サブシステムがさらに、1つ又は複数の生理学的パラメータを受信して分類し、
前記患者の前記認知状態を示す、前記生理学的パラメータを、又は前記ジェスチャ及び生理学的パラメータの任意の組み合わせを、判定する働きをする、
請求項1から14までのいずれか一項に記載の患者監視システム。 - 請求項1から15までのいずれか一項に記載の複数の患者監視システムを備える患者監視システム。
- 前記患者監視システムの各々から前記認知状態を表す信号を受信し、1つ又は複数の所定の基準に従って前記信号を分類する働きをする集中型プロセッサをさらに備える、請求項16に記載のシステム。
- 患者の認知状態を判定するための患者監視方法であって、前記方法が、
a.患者の眼の少なくとも一方の画像データを記録することと、
b.前記画像データをジェスチャに分類することと、
c.前記患者の前記認知状態を示すジェスチャを判定することと、
d.前記認知状態を伝える信号を遠隔装置へ送信することとを含む、患者監視方法。 - 前記患者に出力を提供することをさらに含む、請求項18に記載の方法。
- a.前記出力を追う反応眼球運動を表す反応画像データを記録することと、
b.前記反応画像データを反応ジェスチャに分類することと、
c.前記患者の前記認知状態を示すジェスチャを判定することとをさらに含む、
請求項19に記載の方法。 - a.1つ又は複数の生理学的パラメータを受信して分類することと、
b.前記患者の前記認知状態を示す、前記ジェスチャ及び生理学的パラメータを、又はこれらの任意の組み合わせを、判定することとをさらに含む、
請求項18から20までのいずれか一項に記載の方法。 - 患者の認知状態を判定するための方法であって、前記方法が、
a.複数の患者監視システムから患者の眼の少なくとも一方の画像データを記録することと、
b.前記画像データをジェスチャに分類することと、
c.判定済みの認知状態を得るために、前記患者の前記認知状態を示すジェスチャを判定することと、
d.1つ又は複数の所定の基準に従って前記判定済みの認知状態を分類することとを含む、方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IL268575A IL268575B2 (en) | 2019-08-07 | 2019-08-07 | A system and method for monitoring a patient |
IL268575 | 2019-08-07 | ||
PCT/IL2020/050858 WO2021024257A1 (en) | 2019-08-07 | 2020-08-05 | System and method for patient monitoring |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022548473A true JP2022548473A (ja) | 2022-11-21 |
Family
ID=68382040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022506951A Pending JP2022548473A (ja) | 2019-08-07 | 2020-08-05 | 患者監視のためのシステム及び方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230248283A9 (ja) |
EP (1) | EP4010888A4 (ja) |
JP (1) | JP2022548473A (ja) |
CN (1) | CN114341960A (ja) |
IL (1) | IL268575B2 (ja) |
WO (1) | WO2021024257A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11291602B2 (en) * | 2018-03-26 | 2022-04-05 | Augustine Biomedical + Design, LLC | Relocation module and methods for surgical equipment |
EP4373388A1 (en) | 2021-07-22 | 2024-05-29 | Eyefree Assisting Communication Ltd. | A system for communication with a patient based on the determined sedation state |
US11596334B1 (en) * | 2022-04-28 | 2023-03-07 | Gmeci, Llc | Systems and methods for determining actor status according to behavioral phenomena |
TWI823508B (zh) * | 2022-08-03 | 2023-11-21 | 崑山科技大學 | 非接觸式之肢障患者的求助方法及系統 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE60229383D1 (de) * | 2001-06-13 | 2008-11-27 | Compumedics Ltd | Verfahren zur überwachung von bewusstsein |
AUPR872301A0 (en) * | 2001-11-08 | 2001-11-29 | Sleep Diagnostics Pty Ltd | Alertness monitor |
RU2395228C2 (ru) * | 2004-04-01 | 2010-07-27 | Уилльям С. ТОРЧ | Биосенсоры, коммуникаторы и контроллеры для мониторинга движения глаз и способы их применения |
US7344251B2 (en) * | 2005-02-23 | 2008-03-18 | Eyetracking, Inc. | Mental alertness level determination |
US9244528B2 (en) * | 2012-04-05 | 2016-01-26 | Lc Technologies, Inc. | Gaze based communications for locked-in hospital patients |
US20150213634A1 (en) * | 2013-01-28 | 2015-07-30 | Amit V. KARMARKAR | Method and system of modifying text content presentation settings as determined by user states based on user eye metric data |
JP6359853B2 (ja) * | 2014-03-27 | 2018-07-18 | アイホン株式会社 | ナースコールシステム |
US11229385B2 (en) * | 2016-11-23 | 2022-01-25 | Cognifisense, Inc. | Identifying and measuring bodily states and feedback systems background |
CN109199410B (zh) * | 2018-06-28 | 2020-08-14 | 浙江大学 | 一种基于眼部运动的言语认知评估方法 |
-
2019
- 2019-08-07 IL IL268575A patent/IL268575B2/en unknown
-
2020
- 2020-08-05 CN CN202080062045.5A patent/CN114341960A/zh active Pending
- 2020-08-05 US US17/632,368 patent/US20230248283A9/en active Pending
- 2020-08-05 JP JP2022506951A patent/JP2022548473A/ja active Pending
- 2020-08-05 EP EP20849630.7A patent/EP4010888A4/en active Pending
- 2020-08-05 WO PCT/IL2020/050858 patent/WO2021024257A1/en active Search and Examination
Also Published As
Publication number | Publication date |
---|---|
IL268575B2 (en) | 2023-02-01 |
IL268575A (en) | 2021-03-01 |
IL268575B (en) | 2022-10-01 |
EP4010888A4 (en) | 2023-08-02 |
CN114341960A (zh) | 2022-04-12 |
US20230248283A9 (en) | 2023-08-10 |
EP4010888A1 (en) | 2022-06-15 |
US20220280085A1 (en) | 2022-09-08 |
WO2021024257A1 (en) | 2021-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10901509B2 (en) | Wearable computing apparatus and method | |
US10524715B2 (en) | Systems, environment and methods for emotional recognition and social interaction coaching | |
US20220280085A1 (en) | System and Method for Patient Monitoring | |
US9286442B2 (en) | Telecare and/or telehealth communication method and system | |
US11612342B2 (en) | Eye-tracking communication methods and systems | |
US20190239791A1 (en) | System and method to evaluate and predict mental condition | |
US20230048704A1 (en) | Systems and methods for cognitive health assessment | |
JP2009508553A (ja) | 眼球性質を解析することで、人間の感情を決定するシステムおよび方法 | |
KR20160095464A (ko) | 얼굴 감정 인식 방법을 적용한 사이니지용 콘텐츠 추천 장치 및 그 동작 방법 | |
JP7422797B2 (ja) | 療養支援システム | |
US20220113799A1 (en) | Multiple switching electromyography (emg) assistive communications device | |
WO2019146767A1 (ja) | 感情分析システム | |
US20210106290A1 (en) | Systems and methods for the determination of arousal states, calibrated communication signals and monitoring arousal states | |
WO2023015013A1 (en) | Multi-sensory, assistive wearable technology, and method of providing sensory relief using same | |
US20230404451A1 (en) | Sightline-position determination device, sightline-position determination method, and training method | |
US20230320640A1 (en) | Bidirectional sightline-position determination device, bidirectional sightline-position determination method, and training method | |
WO2022209416A1 (ja) | 情報処理装置、情報処理システム及び情報処理方法 | |
CN117243598A (zh) | 人体姿态智能识别方法及计算机设备 | |
JP2023155861A (ja) | 健康管理・安全見守りロボットシステム | |
Memarian | A novel access technology based on infrared thermography for people with severe motor impairments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20220331 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230605 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240321 |