JP7446295B2 - 身体挙動イベントの自動検出及びこれに対応する薬剤投与システムの調整 - Google Patents

身体挙動イベントの自動検出及びこれに対応する薬剤投与システムの調整 Download PDF

Info

Publication number
JP7446295B2
JP7446295B2 JP2021523284A JP2021523284A JP7446295B2 JP 7446295 B2 JP7446295 B2 JP 7446295B2 JP 2021523284 A JP2021523284 A JP 2021523284A JP 2021523284 A JP2021523284 A JP 2021523284A JP 7446295 B2 JP7446295 B2 JP 7446295B2
Authority
JP
Japan
Prior art keywords
event
user
food intake
gesture
food
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021523284A
Other languages
English (en)
Other versions
JP2022506115A (ja
Inventor
カトリーナ ヴルーヘル
Original Assignee
メドトロニック ミニメド インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by メドトロニック ミニメド インコーポレイテッド filed Critical メドトロニック ミニメド インコーポレイテッド
Publication of JP2022506115A publication Critical patent/JP2022506115A/ja
Application granted granted Critical
Publication of JP7446295B2 publication Critical patent/JP7446295B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/17—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered via infusion or injection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A61B5/4839—Diagnosis combined with treatment in closed-loop systems or methods combined with drug delivery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/14—Infusion devices, e.g. infusing by gravity; Blood infusion; Accessories therefor
    • A61M5/168—Means for controlling media flow to the body or for metering media to the body, e.g. drip meters, counters ; Monitoring media flow to the body
    • A61M5/172—Means for controlling media flow to the body or for metering media to the body, e.g. drip meters, counters ; Monitoring media flow to the body electrical or electronic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/13—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Social Psychology (AREA)
  • Nutrition Science (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Vascular Medicine (AREA)

Description

（関連出願の相互参照）
本出願は、２０１８年１０月３１日出願の米国特許仮出願第６２／７５３，８１９号、２０１９年１０月２９日出願の米国特許出願第１６／６６７，６４１号、及び２０１９年１０月２９日出願の同第１６／６６７，６５０号の利益及び優先権を主張する。
（発明の分野）
本開示は、概して、薬剤の分配又は管理に関し、より具体的には、薬剤の必要性に関するリマインダを患者若しくは介護者に提供する、及び／又は薬剤を分配するように薬剤分配デバイスに伝達する際に用いるために、センサを使用して患者の活動を追跡し、食物摂取に関連する患者の活動を得るための方法及び装置に関する。
１型糖尿病など一部の病状では、インスリンなど薬剤のスケジューリング及び投与は、患者の現在の血糖値、患者が飲食中かどうか、また、摂取している内容など様々な要因に依存する。したがって、飲食の開始時間、又は開始直前時間直前を把握することは、インスリン療法を受けている糖尿病患者の治療にとって重要である。飲食活動を更に数値化する他のパラメータ、例えば、飲食の期間又は速度も重要である。これは、投薬計画が、期間及び／又は速度に基づいて異なり得るためである。
数百万の人々が１型糖尿病を患っており、これらのヒトの身体は、インスリンを産生しない状態である。人体は、摂取した炭水化物を血糖に分解し、これをエネルギーに使用する。人体は、血流からの血糖を、身体細胞内のグルコースに変換する必要があり、ホルモンインスリンを使用してこの変換を行う。１型糖尿病の患者は、血糖を調節するのに十分な量で自身のインスリンを生成せず、安全な血糖値を維持するためにインスリン注射を必要とすることがある。
インスリンは、特定量のインスリンを経時的に注入するマイクロメタリングシステムによって提供され得る。例えば、１型糖尿病患者は、自身の血糖値を定期的にチェックし、食事の開始時に必要とされる適正なインスリン投与量を手動で注入し、その結果、自身の身体が、食事の結果として血流に入るグルコースを、身体細胞に蓄えられるグルコースに変換できるようにする必要があり得る。過剰投与及び過少投与はいずれも、困難な状況及び長期合併症をもたらし得る。マイクロ投与システム又はインスリン注入の手動管理は、治療計画であり、多くの場合、多種多様であり得るタイミング及び投与を必要とする。このため、疾病管理は困難になり得、患者が低年齢の子供の場合は特に困難になり得る。
１つのアプローチは、連続的な、又は定期的でほぼ連続的な血糖測定を行い、これらの読み取り値に基づいて患者に自律的なマイクロ投与を行う（ただし、患者の飲食時を除く）、「ハイブリッド」閉ループ投与システムである。後者に対処するために、このハイブリッドシステムは、患者が飲食を開始しようとするときに患者が入力した信号を受信する。この追加情報がなければ、血糖測定及びインスリンの拡散にはかなりの遅延があるため、投与システムは遅すぎて応答できないであろう。手動での食事通知は、患者に著しい負担となり、あまり順守されないため、血糖管理は後退する。食前のインスリンのボーラス投与を忘れることは、１型糖尿病患者における血糖管理が低調となることに寄与する明らかな因子である。
飲食イベントの自動検出、投与システムへの伝達、及び／又は患者、介護者、医療関係者へのリマインダメッセージの送信のための改善された方法及び装置が必要とされている。
米国特許出願公開第２０１８／１６９３３４号明細書 米国特許出願公開第２０１７／２１３０１４号明細書
自動薬剤分配システムは、自動薬剤分配システムのユーザに関連する動き及び他の身体的入力を検出するためのセンサと、プログラムコードを実行するため、また、センサ読み取り値のセットなどセンサから受信したデータを処理するためのプロセッサであって、センサ読み取り値のセットのうちの少なくとも１つのセンサ読み取り値が、ユーザの身体部分の動きを測定する、プロセッサと、センサ読み取り値のセットからユーザのジェスチャを判定するためのイベント検出モジュールと、食物摂取イベントに対して初期化される、イベント固有パラメータ用の記憶装置と、イベント状態値用の記憶装置であって、イベント状態値は、イベント外状態又はイベント中状態のうちの１つであり、イベント状態値は、イベント外状態に初期化される、記憶装置と、を備えてよい。プログラムコードは、ａ）センサ読み取り値のセットから、第１の可能なジェスチャのジェスチャタイプを含む、ユーザの第１の可能なジェスチャを判定するためのプログラムコードであって、ジェスチャタイプの一部が、第１のジェスチャタイプのセットのメンバーである、プログラムコードと、ｂ）第１の可能なジェスチャに関連する信頼レベルを判定するためのプログラムコードであって、信頼レベルは、第１の可能なジェスチャのジェスチャタイプが正確に判定された信頼レベルに関連する、プログラムコードと、ｃ）信頼レベルが閾値以上であり、かつジェスチャタイプが第１のジェスチャタイプのセットのメンバーである場合に変更し、記録するためのプログラムコードであって、イベント状態値をイベント外状態からイベント中状態に変更し、第１の可能なジェスチャを食物摂取イベントの第１のジェスチャとして記録する、プログラムコードと、ｄ）信頼レベル及び／又はイベント状態値から、薬剤投与メッセージが送信されるべき推測イベントを判定するためのプログラムコードと、ｅ）薬剤投与の必要性に関して薬剤投与メッセージをユーザに出力するためのプログラムコードと、を含んでよい。
自動薬剤分配システムは、薬剤投与の必要性に応じて、ユーザ以外の追加の宛先に第２のメッセージを出力してよい。追加の宛先は、ユーザの友人、ユーザの医療提供者、及び／又は第１の応答者の通信デバイスを含んでよい。自動薬剤分配システムは、推測イベントに応答して、薬剤ログ及び／若しくは在庫を更新し、インスリン管理システムの入力に対して信号を送信し、並びに／又は食事認識人工膵臓の入力に対して信号を送信してよい。
いくつかの実施形態では、イベント検出システムは、ユーザに関連する動き及び他の身体的入力を検出するセンサを含み、イベント検出システムは、ユーザのジェスチャを特定するように処理することができ、更なる処理の方法は以下を含む。
食物摂取イベントに対して初期化される、イベント固有パラメータ用の記憶装置を提供することと、
イベント状態値用の記憶装置を提供することであって、イベント状態値は、イベント外状態又はイベント中のうちの１つであり、イベント状態値はイベント外状態に初期化される、ことと、
イベント検出システム内のプロセッサを使用して、センサ読み取り値のセットを判定することであって、センサ読み取り値のセットの少なくとも１つのセンサ読み取り値は、ユーザの身体部分の動きを測定する、ことと、
センサ読み取り値のセットから、第１の可能なジェスチャのジェスチャタイプを含むユーザの第１の可能なジェスチャを判定することであって、ジェスチャタイプの一部が、第１のジェスチャタイプのセットのメンバーである、ことと、
第１の可能なジェスチャに関連する信頼レベルを判定することであって、信頼レベルは、第１の可能なジェスチャのジェスチャタイプが正確に判定された信頼レベルに関連する、ことと、
信頼レベルが閾値以上であり、かつジェスチャタイプが第１のジェスチャタイプセットのメンバーである場合、
（ａ）イベント状態値をイベント外状態からイベント中状態に変更し、
（ｂ）第１の可能なジェスチャを食物摂取イベントの第１のジェスチャとして記録することと、
薬剤投与の必要性に関して患者にメッセージを出力することと、を含む。
本方法は、摂飲イベント、喫煙イベント、個人衛生イベント、及び／又は薬剤関連イベントなど、追加のイベント固有パラメータ用の記憶装置を提供することを更に含んでよい。外部トリガ時間は、食物摂取イベントが開始したと推測される時間、食物摂取イベントが進行中であると推測される時間、及び／又は食物摂取イベントが終了したと推測される時間から判定され得る。食物摂取イベントに応答したコンピュータベースのアクションは、（ａ）食物摂取イベントを示すデータに関連してメモリに記憶される他の情報を取得すること、（２）ユーザと対話して情報又はリマインダを提供すること、（３）ユーザと対話してユーザ入力を促すこと、（４）リモートコンピュータシステムにメッセージを送信すること、及び／又は（５）メッセージを別の人物に送信すること、のうちの１つ以上であってもよい。
本方法は、食物摂取イベントに応答して、食物摂取イベントを食物ログに記録すること、及び／又は在庫データベースを更新することを含んでよい。
装着者の活動を感知するためのシステムは以下を含む。
装着者の身体部分の動きなど装着者の活動又はその一部を感知するために装着者によって装着される電子デバイスの少なくとも１つのセンサと、
食物摂取イベントに対して初期化される、イベント固有パラメータ用の記憶装置と、
電子デバイス内のイベント状態値用の記憶装置であって、イベント状態値は、イベント外状態又はイベント中のうちの１つであり、イベント状態値はイベント外状態に初期化される、記憶装置と、
少なくとも１つのセンサからのセンサ読み取り値のセットを判定する、電子デバイス内のプロセッサと、
電子デバイス内又は電子デバイスと通信するシステムの構成要素内に記憶され、電子デバイス内のプロセッサ又は別のプロセッサによって実行可能であるプログラムコードであって、
ａ）センサ読み取り値のセットから、第１の可能なジェスチャのジェスチャタイプを含む、装着者の第１の可能なジェスチャを判定するためのプログラムコードであって、ジェスチャタイプの一部が、第１のジェスチャタイプのセットのメンバーである、プログラムコードと、
ｂ）第１の可能なジェスチャに関連する信頼レベルを判定するためのプログラムコードであって、信頼レベルは、第１の可能なジェスチャのジェスチャタイプが正確に判定された信頼レベルに関連する、プログラムコードと、
ｃ）信頼レベルが閾値以上であり、かつジェスチャタイプが第１のジェスチャタイプのセットのメンバーであるかどうかを判定し、信頼レベルが閾値以上であり、かつジェスチャタイプが第１のジェスチャタイプのセットのメンバーである場合に、イベント状態値をイベント外状態からイベント中状態に変更し、第１の可能なジェスチャを食物摂取イベントの第１のジェスチャとして記録する、プログラムコードと、
ｄ）追加のセンサ読み取り値のセットから、それぞれのジェスチャタイプをそれぞれ有する、装着者の追加ジェスチャを判定するためのプログラムコードと、
ｅ）イベント状態値がイベント中状態であるかどうかを判定し、イベント状態値がイベント中状態である場合、第１のジェスチャ及び追加ジェスチャを食物摂取イベントのジェスチャシーケンスとして記録し、ジェスチャシーケンスの少なくとも一部のジェスチャからイベント固有パラメータを取得するためのプログラムコードと、
ｆ）薬剤投与の必要性に関して患者にメッセージを出力することと、を含む、プログラムコードと、を備えてよい。
本システムは、イベント状態値がイベント外状態からイベント中状態に変更されると、電子デバイスをより高性能の状態に変更するための制御部を含んでよく、より高性能の状態は、センサに供給される電力の追加、通信チャネルの待ち時間の低減、及び／又はセンササンプリングレートの増加のうちの１つ以上を含む。センサは、装着者の腕の動きを測定する１つ以上の加速度計と、装着者の腕の回転を測定するジャイロスコープとを備えてよい。
ジェスチャ感知技術を使用して、イベント検出システムは、外部デバイスをトリガして更なる情報を収集することができる。特定の実施形態では、外部デバイスは、近距離通信（ＮＦＣ）リーダであり、上にＮＦＣタグを有する様々な物体が検出される。これらの物体が食品／飲料関連である場合、イベント検出システムは、ジェスチャが何に関連しているかを判定することができる。例えば、食品／飲料容器は、製品パッケージに埋め込まれたＮＦＣタグを有してよく、食物摂取監視システムは、ジェスチャが摂食ベントに関連すると自動的に判定し、次いで、ＮＦＣリーダの電源を投入し、近隣のＮＦＣタグを読み取るように信号を送信してよく、それによって、摂取中の製品上のＮＦＣタグを読み取り、その結果、ジェスチャ及びイベントが特定の製品に関連付けられる。
他の変形例では、他の無線技術が使用され得る。いくつかの変形例では、外部デバイスは、イベント検出システムも収容するハウジング内に一体化されたモジュールである。
イベント検出システムは、ユーザに関連する動き及び他の身体的入力を検出するセンサを含んでよく、イベント検出システムは、ユーザのジェスチャを特定するために処理することができ、場合によっては、履歴データ、機械学習、ルールセット、又はデータを処理してセンサによって感知されたユーザに関連する推測イベントを導出するための他の技術を使用して判定することができる。例えば、センサは、ユーザの口付近で音声信号を検出してよく、イベント検出システムは、ユーザの飲食活動に関連するイベントなどイベントを推測する際にこの音声信号を使用することができる。動きセンサ、温度センサ、音声センサなど他の非接触センサ（non-hand sensor）も使用されてよい。
例示的なジェスチャは、食物摂取ジェスチャ、すすり込みジェスチャ、又は何らかの他のジェスチャであってよい。推測イベントは、摂食イベント、喫煙イベント、個人衛生イベント、薬剤関連イベント、又はユーザが従事していることが推測される他のイベントであってよい。ジェスチャは、ユーザに負担をかけない、又は最小限の負担に抑え、またユーザの介入なしに、又は最小限の介入で操作可能な手首装着型デバイスを使用して検出され得るハンドジェスチャなど、ユーザの一部の動きを表してよい。
イベントが開始した、進行中である、及び／又は終了したと推測されると、イベント検出システムは、イベントを表すデータに関連してメモリに記憶される他の情報を取得すること、ユーザと対話して、情報若しくはリマインダを提供すること又はユーザ入力を促すこと、リモートコンピュータシステムにメッセージを送信すること、友人、医療提供者、第１の応答者など別の人物にメッセージを送信すること、又は他のアクションなど当該イベントに関連するアクションを講じることができる。特定の実施例では、イベント検出システムがイベントの開始を推測すると、より多くの情報を収集すること、通信タスク又は処理タスクを送信することなどアクションを講じることを求める信号を、補助センサシステム又は補助処理システムに送信する。イベント検出システムは、新たなイベントが検出されると、イベント用のデータレコードを作成し、当該イベントに含まれるジェスチャに関する詳細など、イベント検出システムが判定することができるイベントの詳細を当該データレコードに追加してよい。補助センサシステム又は補助処理システムは、本明細書に記載の補助データなどイベントに関する補助データを当該データレコードに追加してよい。
イベント検出システム並びに補助センサシステム及び／又は補助処理システムは、食物の記録、在庫追跡／補充、生産ライン監視／ＱＣの自動化、服薬アドヒアランス、インスリン療法、食事認識人工膵臓のサポート、及び他の用途など１つ以上の用途を有する監視システムの一部として使用され得る。
感知デバイスは、食物摂取イベント及び詳細を監視し、追跡する。適切にプログラムされたプロセッサは、データを収集し、データを記憶し、データを分析し、食物摂取に関連する好適なフィードバックを提供する感知デバイスの側面を制御する。より一般的には、本方法は、食物摂取、摂食習慣、摂食パターン、及び／又は摂食イベント、摂食習慣、若しくは摂食パターンのトリガに関連して検出すること、特定すること、分析すること、定量化すること、追跡すること、処理すること、及び／又は影響を及ぼすことを含んでよい。フィードバックは、食物の摂取、摂食習慣、若しくは摂食パターン、並びに／又はこれらのトリガの影響を及ぼすことを目的としてよい。フィードバックはまた、ユーザに１つ以上のアクションを講じることを想起させることを目的としてよい。感知デバイスはまた、食品関連挙動以外を追跡し、フィードバックを提供するため、より一般的には、挙動イベントを追跡し、挙動イベントのトリガ及び挙動イベントパターンを検出し、好適なフィードバックを提供するために使用され得る。イベント検出システムは、ハードウェア及び／又はソフトウェアを用いて実現されてよい。
以下の詳細な説明は添付図面と共に、本発明の性質及び利点のより良好な理解をもたらすであろう。
この概要は、詳細な説明において以下に更に記載される簡略化された形態で概念の選択を導入するために提供される。この概要は、特許請求される主題の重要な特徴又は必須の特徴を特定することを意図するものではなく、また特許請求される主題の範囲を決定する際の補助として使用されることを意図するものではない。
図面を参照して、本開示による様々な実施形態を説明する。
イベント監視システムを示す。 ユーザ介入を提供するプロセスを示す。 少なくとも１つの実施形態による環境の例示的な例である。 少なくとも１つの実施形態による、インターネットを介した少なくとも１つの追加デバイスとの通信を含む環境の例示的な例である。 少なくとも１つの実施形態による、食物摂取監視及び追跡デバイスが、基地局又はアクセスポイントと直接的に通信する環境の例示的な例である。 少なくとも１つの実施形態による、監視及び追跡デバイスの高レベルブロック図の例示的な例である。 少なくとも１つの実施形態による、監視及び追跡デバイスのブロック図の例示的な例である。 本開示の少なくとも１つの実施形態による、機械分類システムの一例を示す。 本開示の少なくとも１つの実施形態による、機械分類訓練サブシステムの一例を示す。 本開示の少なくとも１つの実施形態による機械分類検出器サブシステムの一例を示す。 他のデータの中でも特に非時間データを使用する、機械分類訓練サブシステムの一例を示す。 他のデータの中でも特に非時間データを使用する、機械分類検出器サブシステムの一例を示す。 本開示の少なくとも１つの実施形態による、教師なし分類システムの訓練サブシステムの一例を示す。 本開示の少なくとも１つの実施形態による、教師なし分類システムの検出器サブシステムの一例を示す。 分類器集合システムの一例を示す。 相互相関分析サブシステムを含む機械分類システムの一例を示す。 一実施形態による、図１の監視システムに類似の変形例の監視システムの高レベル機能図を示す。 ユーザ介入を必要とする実施形態による監視システムの高レベル機能図を示す。 薬剤分配システムの高レベル機能図を示す。 本開示に記載の他の要素と共に使用され得る機械学習システムの例示的な例である。
以下の説明では、様々な実施形態について説明する。実施形態の完全な理解をもたらすために、説明を目的として特定の構成及び詳細を記載する。しかしながら、当業者には、実施形態が、特定の詳細を伴わなくても実施され得ることが明らかであろう。更に、説明する実施形態を曖昧にしないように、周知の特徴を省略又は簡略化することがある。
本明細書では、個人が、食物摂取、摂取プロセス及びタイミング、並びに個人の飲食、及び食習慣情報やフィードバックの提供など様々な目的のための他の食物摂取の他の関連する側面の監視、追跡、分析、及びフィードバックの提供のために使用するデバイスの様々な例を提供する。食物摂取プロセスに関連するデータとしては、摂食プロセスのタイミング、摂食速度、最後の食物摂取イベントからの時間、摂食内容、摂食内容の推測などが挙げられてよい。かかるデバイスは、薬剤投与システムと一体化され得る。
概要
本明細書により詳細に記載するように、これまでにないデジタル健康アプリと、当該アプリと対話する装着型感知装置と、を備える患者管理システムは、完全自律型人工膵臓システムを提供することができ、１型糖尿病を患う人々の生活の質を著しく改善することができる。この患者管理システムは、患者に薬剤の服用又は薬剤の投与を想起させることができるが、例えばインスリン投与など薬剤投与のハイブリッド管理又は自律管理を提供することもできる。この患者管理システムは、意識的な摂食及び適切な水分補給を促進することができる。
きめ細かいモータ検出及び人工知能技術を組み合わせることにより、患者管理システムは、衝撃の高い瞬間を検出し、個人が、自身の手首の動き及び他のセンサ入力を分析することから自動的かつ非侵入的に取得された洞察に完全に基づいて、自身の健康をより良好に管理できるようにする。応答アクションとしては、ボーラス投与のリマインダを患者及び／又はその介護者に送信することが挙げられてよい。早期食事検出能力は、摂食挙動に固有の洞察をもたらすものであり、自律型人工膵臓システムの実現に向けて重要な構成要素である。
患者管理システムは、オープンデータ及びソフトウェアアーキテクチャを有してよい。これにより、他の企業、研究者、及び開発者が、おそらくサードパーティアプリケーション及びプラットフォームとのシームレスな統合を可能にするＡＰＩを介して、患者管理システム及びこのシステムが生成するデータを使用することができる。
特定の用途では、患者管理システムは、インスリン投与を開始する必要性に関するメッセージを患者に送信する、食事時投薬リマインダとして機能する。患者管理システムは、マルチレベルのメッセージ送信機能を有し得る。例えば、患者がアクションを講じる必要性に関するメッセージを受信し、かつ患者が応答しない場合、患者管理システムは、患者が摂食イベントの開始の検出に応答して予測されたアクションを講じた、講じなかった、又は食事時のインスリン投与に対してアクションを講じなかったことを示すメッセージを介護者に送信してよい。完全自律型閉ループ人工膵臓システムは、患者管理システムによって部分的に作動され得、これまでにない制御プロセスと相まって、患者の摂食行動のリアルタイム又はほぼリアルタイム情報を自動的に提供するその能力により、したがって、真の「セットアンドフォーゲット（set and forget）」閉ループインスリン送達システムを実現する可能性がある。
患者管理システムは、他の理由で自身の食習慣に関心を持つ個人にとって有用であり得る。１型糖尿病を患う人々は、通常、自身の食物摂取及び他の因子に基づいて適切なインスリン投与量を投与する、インスリン療法を受けている。１型糖尿病の原因は、個人の摂食挙動に直接関係しない場合があるが、１型糖尿病を患う人は、自身のインスリン療法を管理するために自身の食物摂取を慎重に追跡する必要がある。かかる患者はまた、食物摂取を追跡するためにより容易に使用でき、より慎重である方法から利益を得るであろう。患者管理システムのいくつかの実施形態では、感知デバイスは、フィードバック駆動型自動インスリン送達療法システムの一部である。かかるシステムは、患者の血糖値の連続監視、高精度のインスリン送達システム、より速い吸収率を有するインスリンの使用を含んでよく、炭水化物摂取及び糖摂取の追跡などの自動的かつシームレスな食物摂取追跡から抽出可能な情報から更に利益を得るであろう。デバイスはまた、ウェルネスプログラムなどにも有用であってよい。
データ収集
データは、センサ及び電子機器を有する一部の固定デバイス、人によって容易に動かされ、持ち運ばれるセンサ及び電子機器を有する一部のモバイル機器、並びに／又は個人が自身や衣類に取り付けた、若しくは自身の衣類の一部であるセンサ及び電子機器を有するウェアラブルデバイスから得ることができる。一般に、本明細書では、かかるデバイスを感知デバイスと称する。データは、データを出力可能なセンサによって提供される未処理のセンサデータであってよく、又はデータは、データがセンサの出力から導出されるように何らかの方法で処理、サンプリング、若しくは整理されてよい。
本明細書では、かかる機器を有し、摂取を監視されている人をユーザと称するが、デバイスは、摂取している人、監視している人が、及びフィードバックを評価している人が必ずしも同一人物ではない状況においてそのまま使用されてよいことを理解されたい。本明細書では、摂取されるものを食物摂取と称するが、これらのデバイスは、摂取及び摂取パターンをより一般的に追跡するために使用され得ることは明らかである。本明細書に記載するような挙動追跡／フィードバックシステムは、１つ以上のウェアラブルデバイスを備えてよく、また、装着されていない１つ以上の追加デバイスを備えてよい。これらの追加デバイスは、装着者によって持ち運ばれるか、又はウェアラブルデバイスと通信することができるように近隣に保持されてよい。挙動追跡／フィードバックシステムはまた、ユーザ情報用のリモートのクラウドコンピューティング素子及び／又はリモートストレージなどリモート素子を備えてよい。
ウェアラブルデバイスは、装着者（すなわち、その挙動を監視する人）の身体上の異なる位置に装着されてよく、ウェアラブルデバイスは、位置の違い、並びに装着者間の違いを考慮するようにプログラムされてよい、又は構成されてよい。例えば、右利きの人は、デバイスを右手首の周りに装着してよく、左利きの人は、左手首の周りにデバイスを装着してよい。ユーザはまた、向きについて異なる好みを有してよい。例えば、一部のユーザは、ある側に制御ボタンを望む場合があり、一方、他のユーザは、反対側にある制御ボタンを好む場合がある。一実施形態では、ユーザは、好ましい方の手首及び／又はデバイスの向きを手動で入力してよい。
別の実施形態では、好ましい方の手首及び／又はデバイスの向きは、１つ以上の所定のジェスチャを実行するようにユーザに求め、所定のジェスチャ又はジェスチャのセットを実行するユーザに対応するウェアラブルデバイスからのセンサデータを監視することによって判定されてよい。例えば、ユーザは、手を口に向けて動かすように求められてよい。次いで、１つ以上の軸にわたる加速度計センサの読み取り値の変化が使用されて、手首及びデバイスの向きが判定されてよい。更に別の例では、挙動追跡／フィードバックシステムは、ユーザが特定期間にわたってデバイスを装着している間に、ウェアラブルデバイスからのセンサ読み取り値を処理してよい。任意選択的に、挙動追跡／フィードバックシステムは、センサ読み取り値を装着者に関する他のデータ又はメタデータと更に組み合わせて、手首及びデバイスの向きを推測してよい。例えば、挙動追跡／フィードバックシステムは、ユーザを１日監視し、軸のうちの１つ以上にわたって加速度計センサの読み取り値を記録してよい。
前腕の動きは肘及び上腕によって制約されるため、手首及びデバイスの向きに基づいて、一部の加速度計の読み取り値が他よりも頻繁になる。次いで、加速度計の情報が使用されて、手首及び／又はデバイスの向きが判定され得る。例えば、加速度計の読み取り値の平均、最小値、最大値、及び／又は標準偏差が使用されて、手首及び／又はデバイスの向きが判定され得る。
いくつかの実施形態では、感知デバイスは、ユーザとの対話を必要とせずに、食物摂取イベントの開始／終了、摂食の速度、摂飲の速度、噛み付き回数、すすり込み回数、流体摂取の推定、及び／又は一人前の推定分量を感知することができる。より少ない人の介入で、人の介入なしで、又は他人に明らかではない介入のみで操作されることにより、デバイスは、異なる食事シナリオ及び異なる社会的状況により良好に対応することができる。感知することは、摂取前に食品の詳細、並びに繰り返される上腕の回転又は他の手から口への動きなど、摂食に伴うことが周知であるユーザアクションを取得することを含んでよい。センサとしては、加速度計、ジャイロスコープ、カメラ、及び他のセンサが挙げられてよい。
このデバイスを使用することにより、使用に対する抵抗感をあまり感じずに、人の食物摂取内容並びに人の食物摂取挙動を検出し、追跡し、それに関連するフィードバックを提供することができる。かかる方法は、食習慣関連の疾患の予防、治療の可能性を有し、特定の場合においては、治癒の可能性さえも有する。かかるデバイスは、有効性、精度、及び服薬順守を改善し、使用負担を軽減し、社会的許容性を改善することができる。デバイスは、人間の介入を全く、又はほぼ伴わずに自律的に動作することができ、侵略的な方法、若しくは他の著しくネガティブな方法で、個人の通常の活動若しくは社会的交流に干渉しない、又は個人のプライバシーに立ち入らない。デバイスは、多様な食事シナリオ及び食事設定を慎重かつ社会的に許容可能な方法で取り扱うことができ、食物摂取の内容及び量、並びに摂食挙動の他の側面を推定し、追跡することができる。デバイスは、人の摂食挙動、習慣、及びパターンに関するリアルタイムのフィードバック及び非リアルタイムのフィードバックの両方を当人に提供することができる。
特定の摂食挙動は、例えば、空腹感、ストレス、睡眠、依存性、病気、身体的位置、社会的圧力、及び運動など身体的、精神的、又は環境的条件に関連し、これらによって生じ、又は他の方法でこれらの影響を受け得ることが一般に既知であり、このことが理解されよう。これらの特性は、デバイスによって、又はデバイスのために実行される処理に対する入力を形成することができる。
食物摂取イベントは、一般に、人が飲食する、ないしは別の方法で食用物質を身体に取り込む状況、環境、又はアクションに関する。食用物質としては、固形食品、液体、スープ、飲料、スナック、薬剤、ビタミン、薬物、ハーブ系サプリメント、フィンガーフード、加工食品、未加工食品、食事、前菜、メインディッシュ、デザート、キャンディ、朝食、スポーツ飲料、又はエネルギー飲料が挙げられ得るが、これらに限定されない。食用物質としては、毒素、アレルゲン、ウイルス、細菌、又はヒトに有害であり得る、又は集団若しくは集団の一部に有害であり得る他の成分を含有し得る物質が挙げられるが、これらに限定されない。本明細書では、読みやすくするために、食用物質の例として食品が使用されるが、特に指示がない限り、食品の代わりに他の食用物質が使用されてよいことを理解されたい。
摂食習慣及びパターンは、一般に、人々が食物を摂取する方法に関する。摂食習慣及びパターンとしては、飲食の速度、一口の分量、嚥下前の咀嚼量、咀嚼速度、食物摂取イベントの頻度、食物摂取イベント中の食物摂取量、食物摂取イベント中の身体の位置、食物摂取イベント中の身体若しくは特定の身体部分の可能な動き、食物摂取イベント中の心身の状態、及び食品の提供、取り扱い、又は摂取に使用される器具若しくは他のデバイスが挙げられ得るが、これらに限定されない。飲食の速度は、後続の噛み付き又はすすり込みの間隔に反映され得る。
トリガは、一般に、食物摂取イベントが生じた理由、摂取量の理由、及び摂取方法の理由に関する。食物摂取イベント及び摂食習慣又はパターンのトリガは、空腹感、ストレス、社会的圧力、疲労、依存性、不快感、医療的必要性、身体的位置、社会的状況又は環境、臭い、記憶、又は身体活動が挙げられ得るが、これらに限定されない。トリガは、トリガとなった食物摂取イベントと同時に発生し得る。あるいは、トリガは、食物摂取イベント窓外で発生してよく、食物摂取イベントの前又は後の、食物摂取イベントの時間に直接関連していても、そうでなくてもよい時間に発生してよい。
感知デバイス又はシステムのいくつかの実施形態では、本開示で提示される特徴及び機能の全てよりも少ない特徴及び機能が実現される。例えば、いくつかの実施形態は、ユーザを誘導してその食物摂取を変更させる意図なく、又は摂食習慣若しくはパターンの追跡、処理、若しくは誘導を行わずに、食物摂取の検出並びに／又は処理及び追跡にのみ着目してよい。
本明細書に記載の多くの例では、設定は、単独で、又は装着され得る、若しくは装着され得ない、近隣のサポートデバイス、例えば、装着型電子デバイスに負荷をかけない動作を実行するためのスマートフォンなどと通信している間に、電子デバイスを装着するユーザに電子デバイスが提供する。かかる実施例では、電子デバイスを装着している人物が存在し、当該人物は、例において「装着者」と称され、システムは装着型デバイスを含み、装着されていない、近隣の他の構成要素と、リモートの、好ましくは装着型デバイスと通信することができる構成要素とを含んでよい。したがって、装着者は電子デバイスを装着し、電子デバイスは、装着者の周囲の環境を感知するセンサを含む。この感知は、本明細書の他の箇所に記載するように、周囲特性、身体特性、動き、及び他の感知信号であり得る。
多くの例では、電子デバイスの機能は、ハードウェア回路によって、又は電子デバイス内のプロセッサによって実行されるように構成可能なプログラムコード命令によって、又は組み合わせによって実施されてよい。プロセッサが動作中であることが示されている場合、プロセッサは、命令メモリから読み取った命令を実行した結果として、その動作を行ってよく、その命令は、当該動作の実行をもたらす。この点に関して、プログラムコード命令は、プロセッサ（又はホストデバイス）に、実行された命令によって規定される特定の方法、プロセス、又は機能を実行させるように構成可能である。他の人々も関与し得るが、本明細書の共通例では、電子デバイスの装着者が、当該電子デバイスを使用して、自身のアクション、例えば、ジェスチャ、ジェスチャのシーケンスを含む挙動イベント、活動、活動又は挙動イベントの開始、活動又は挙動イベントの停止などを監視する。プロセッサが特定のプロセスを実行することが記載されている場合、当該プロセスの一部は、分散処理方式で、装着型電子デバイスとは別個に行われてよい。したがって、電子デバイスのプロセッサによって実行されるプロセスの説明は、装着型電子デバイス内のプロセッサに限定される必要はなく、おそらくは、装着型電子デバイスと通信するサポートデバイス内のプロセッサである。
患者管理システム
患者管理システムは、スマートフォンなどのデバイス上で実行する、これまでにないデジタル健康アプリ、又は人に装着されるウェアラブル検知装置と通信することができる専用デバイスを備えてよい。ウェアラブル感知装置はこのアプリと対話して、インスリン投与及びリマインダのハイブリッド管理又は自律管理を提供する。
かかるシステムの使用の一例では、人（本明細書では「患者」と称する）は、外部インスリンの患者への提供を必要とする１型糖尿病と診断されている。インスリンは、インスリン注射剤、又は患者の身体に取り付けられて、計測された量のインスリンを患者の身体に注入する埋め込み型マイクロ投与デバイスの形態で与えられ得る。投与量及びタイミングは、患者の摂食中の時間、摂食開始時間、摂食開始直前の時間、又は摂食中であり、引き続き摂食している時間に応じ得る。動き及びセンサデータ出力からジェスチャを識別することが可能なウェアラブルデバイスは、場合によっては特定の患者の介入がなくても、摂食イベントの開始時間、又は摂食イベント開始直前の時間、並びに摂食イベントの速度、期間、及びその推定される終了を判定することができる。この判定から、ウェアラブルデバイス（又は、全機能を搭載したスマートフォンなどウェアラブルデバイスと通信する補助デバイス）は、飲食の一部の詳細を示す信号を埋め込み型マイクロ投与デバイスに送信し、かつ／又は、患者、介護者、及び／若しくは医療関係者にメッセージを送信することになる。
例えば、ウェアラブルデバイスは、患者が摂食を開始したと判定し、摂食の速度及びイベントの判定された推定期間から、送達デバイスを使用して、患者へのインスリンの送達を開始することができる摂食イベントに関する情報を、埋め込み型インスリンマイクロ投与及び送達デバイスに伝達することができる。加えて、又は代わりに、ウェアラブルデバイスは、摂食イベント及び測定したパラメータに関連するメッセージを送信することができる。例えば、ウェアラブルデバイスは、当該ウェアラブルデバイスと対を成す、アプリを実行中の近隣のスマートフォンと通信し、患者に割り当てられた、予め記憶された番号に対して、メッセージ（おそらくは、携帯電話ネットワークのテキストメッセージ、例えば、ＳＭＳメッセージなど）を送信してよい。このメッセージは、「摂食イベントが検知されました。埋め込み型インスリンマイクロ投与及び送達デバイスを起動して、インスリンを投与してください」などである。
患者がスマートフォンの操作者である場合、おそらく、アプリは、ネットワークテキストメッセージを送信する必要なく、患者に直接伝達することができる。場合によっては、複数のメッセージ受信者を有することが有用であり得る。例えば、年齢（幼齢又は高齢）、又は他の理由のために患者が介護者の支援を必要とする、又は介護者の支援を利用する場合、ウェアラブルデバイスメッセージングはまた、介護者にも送信され得る。有用である場合、又は必要とされる場合、この情報は、おそらくは患者のレジメン順守を監視するために、医療専門家に提供され得る。
本明細書で使用するとき、イベントは、読みやすくするために、「摂食イベント及び／又は摂飲イベント」ではなく「摂食イベント」として記載することがあるが、別途記載のない限り、摂食イベントに関連する本明細書の教示は、摂飲イベントに等しく適用され得ることを理解されたい。
ジェスチャ感知技術は、ユーザを促したり、ユーザと対話したりすることなく、手首装着型ウェアラブルデバイス又は指輪内の運動センサ（加速度計／ジャイロスコープ）を使用して手のジェスチャから、飲食時にイベントを示すジェスチャなどジェスチャを自動的に検出するために使用され得る。この検出はリアルタイムで生じて、摂取活動、例えば、摂取イベントの開始時間、摂取イベントの終了時間、摂取方法、摂取速度に関連するメトリック、摂取量に関連するメトリック、摂取頻度、摂取場所など摂取活動に関する重要な洞察を推定することができる。ジェスチャ感知技術は、喫煙、歯科衛生、手指衛生などの他の活動及び挙動に使用され得る。
ジェスチャ感知技術は、手首装着型ウェアラブルデバイス又は指輪内の運動センサ（加速度計／ジャイロスコープ）を使用して手のジェスチャから、飲食中時に自動的に（すなわち、ユーザの介入を要することなく）検出することができる。この検出はリアルタイムで行われ得る。装着型デバイスは、ポータブル通信デバイスに見られるように、オフデバイス処理及び通信機能と組み合わされてよい。このオフデバイス処理は、例えば、開始時間、終了時間、摂取方法、摂取速度に関連するメトリック、摂取量に関連するメトリック、摂取頻度に関連するメトリック、摂取場所など摂取活動に関する洞察を推定するなど、より複雑な処理タスクのために使用されてよい。
各食事の開始は、１型糖尿病を抱えて生きる人にとって重要な瞬間であり得る。疾病患管理の一例では、各食事の開始時に、患者（又は介護者など）は、インスリンを注入するかどうか、また、どの程度注入するかを決定する必要があり、当該決定に基づいてアクション（例えば、インスリンを注入するアクション）を講じる必要がある。
患者管理システムは、早期食事検出能力を提供し、意思を決定し、アクションを講じるための情報で患者及び／又はインスリン投与装置を支援することができる強力な「後押し」を提供し得る。例えば、患者管理システムは、食事開始時にインスリンを投与するためにリアルタイムのリマインダを送信してよい。ボーラス投与を忘れることは、特に若者の間で血糖管理が低調であることの主な理由の１つである。患者管理システムは、食事の開始時及び／又は終了時に患者に血糖値を確認するよう促すことができ、容易な記録をサポートすることができる。記録は、システムのウェアラブル構成要素から処理されてよく、要求されたアクション（例えば、インスリンの投与又は血糖値の確認）が実行されたことを信号で送信するための手首ジェスチャ、又はデータ入力アクションとして機能し得る他の動きを実行している患者とは別個であってよい。
医療提供者は、自身の患者を「一瞬で」調査することができ、より正確かつ実施可能な洞察がもたらされる（例えば、糖質、感情、支援の必要性を推定する困難さを評価する）。
患者管理システムは、より一般的には、秒レベルの精度で飲食活動を追跡することができ、例えば、血糖値及びボーラス投与（インスリン投与）アクションを正確な摂食時刻と相関させることを可能にする。これは、個人向け栄養研究及び個人向け栄養計画の策定に使用され得る。この情報は、個人向けの糖尿病ケアパスに不可欠な部分であり得る。
患者管理システムは、服薬アドヒアランス及び血糖管理に対するリアルタイムボーラス投与の影響の研究に使用され得る。データ共有は、リアルタイムで、又は非リアルタイムで行われ得る。データは、介護者、医療専門家と共有され得るか、又は適切なプライバシー保護措置を講じて、より大きなデータセットの一部として研究者及び医療機器開発者に提供され得る。
患者管理システムの一部は、患者によって使用されるユーザインタフェースを提供し得るアプリ（アプリケーション）である。このアプリは、リアルタイムボーラスリマインダを患者に送信する能力、並びにリモート介護者及び他の人々のために１つ以上の宛先（例えば、電話番号、電子メールアドレス、ＵＲＬなど）にリアルタイムアラート（通知又はテキスト）を送信できるようにする監視サービスを提供し得る。これにより、例えば親が、１型糖尿病の幼児の摂食活動をリモートで監視し、メッセージ又はアラートに応答することができる。
いくつかのアプローチでは、患者は、自身が摂食中又は摂食する直前にインスリン送達システムに手動で通知する。次いで、インスリン送達システムは、この入力に基づいて１回分以上の投与量でインスリン送達を開始する。ユーザがインスリン送達システムに通知するというアクションを講じる必要があるため、これは理想的ではない。ユーザがアクションを講じる必要がなければ、より良好であろう。あるいは、インスリン送達システムは、患者の血糖値の変化を監視することから、食物摂取イベントの発生を推測することができる。血糖値の直接測定は、実現困難であり得る。間質グルコース濃度は、連続グルコース監視デバイスを使用して自動的かつ定期的に測定され得、これらの濃度は、血糖値のプロキシとして使用されることが多い。しかしながら、間質グルコース濃度測定は、２０分以上遅延し得る。これは、良好な血糖管理を達成するために遅すぎるため、間質液の測定は、インスリン送達システムに通知するためには理想的にはなり得ない。
インスリン送達システムに通知し、ヒトの介入なしで、又はより少ない介入でインスリン送達システムが動作できるようにする、食物摂取イベントの自動検出に対する必要性が存在する。患者管理システムは、一般的に服薬リマインダシステムとして、又はより具体的にはインスリン療法システムとして使用され得る。
ここで、患者管理システムの例を説明する。
食物摂取イベントの実際の開始又は開始直前を検出すると、患者にメッセージ／アラートが送信されて、自身の薬剤を服用することを想起させてよい。薬剤は、インスリン、又は食前、食中、若しくは食後に服用する必要がある薬剤など他の薬剤であってよい。特定の場合では、食物摂取イベントの実際の開始又は開始直前の検出と、アラートの送信時刻との間に遅延を有することが望ましい場合があり、これは、必要に応じて調整され得る。例えば、食物摂取イベントの開始時にアラートを送信する代わりに、システムが、５回、１０回、又は他の特定の回数の噛み付き又はすすり込みをシステムが検出した後に、アラートが送信されてよい。別の例では、システムが食物摂取イベントの実際の開始又は開始直前を検出してから、１分、５分、又は他の特定の一定時間の経過後に送信されてよい。アラートのタイミングはまた、食物摂取イベントの実際の開始又は開始直前が生じた患者管理システムの信頼レベルに少なくとも部分的に依存してよい。アラートは、患者管理システムが、履歴的に摂食イベントに先行する条件を見出したときに、又はそれからしばらくして送信されてよい。患者管理システムによって患者の過去の摂食イベントから記録された履歴データに基づいて、患者管理システムは、食事の１０分前、食事の開始時、又は食事中に通知又はリマインダが必要であると判定することができる場合がある。患者管理システムはまた、「スヌーズ」イベントに対処するようにプログラムされてもよく、この場合、患者はアラートで通知され、患者は、患者管理システムが、最初のアラート若しくはリマインダから規定の期間など近い将来の規定の時点で、又は最初のアラート若しくはリマインダから規定の噛み付き回数が経過した時点でリマインダを再送信するべきであることを示す。
患者管理システムが患者にメッセージ／アラートを送信するとき、１人以上の人物又は１つ以上のシステムも、補助メッセージ通信を介して通知されてよい。１人以上の他人又は１つ以上のシステムは、食物摂取イベントの実際の開始、可能性の高い開始、又は開始直前を通知されてよい。患者へのメッセージ／アラートが患者のための応答メカニズムを含む場合、他の人又はシステムは、患者の応答を通知されてよい。１人以上の他人又は１つ以上のシステムはまた、患者が応答しなかった場合には通知されてよい。これは、患者をサポートする親及び／又は介護者の場合に有用であり得る。
場合によっては、患者管理システムは、患者からの異なる入力を受けるようにプログラムされてよい。例えば、患者管理システムは、食事が終了した兆候を患者から受けるためのユーザインタフェースを有してよく、食事は、ゼロ、多く、又はある程度の炭水化物を有するであろう。
患者メッセージ送信と同様に、この補助メッセージ送信の場合、食物摂取イベントの実際の開始又は開始直前の検出と、アラートの送信時間との間には、遅延が存在してよい。食物摂取イベントの開始時にアラートを送信する代わりに、システムが、特定回数の噛み付き又はすすり込みをシステムが検出した後に、アラートが送信されてよい。アラートを患者に送信することと、１人以上の他人又は１つ以上のシステムに通知することとの間には、遅延が存在してよい。患者へのメッセージ／アラートが、患者のための応答機構を含む場合、メッセージ／アラートに応答する患者と、当該人物の応答又は応答の無いことが通知される１人以上の他人又は１つ以上のシステムとの間には、遅延が存在してよい。
１人以上の他人が、セルラーネットワークを通じて送信されるメッセージを介して通知されてよい。例えば、自身の電話又は他のモバイル若しくはウェアラブルデバイス上のテキストメッセージである。
ここで、インスリン療法システムについて説明する。
本明細書に記載するような食物摂取イベントの実際の開始、可能性の高い開始、又は開始直前の検出を使用して、インスリン送達システムに通知することができる。食物摂取イベントの実際の開始、可能性の高い開始、又は開始直前の検出を示す信号を受信すると、インスリン送達システムは、投与される適正なインスリン投与量、及びインスリンの送達スケジュールを計算又は推定してよい。
インスリン送達システムは、投与及び頻度を計算又は推定する際に他のパラメータ及び入力を使用してよい。例えば、インスリン送達システムは、現在又は以前の血糖読み取り値、血糖読み取り値の変動、血糖読み取り値又はインスリンオンボード（すなわち、以前に投与されたが、依然として患者の身体内でいまだに活性であるインスリン）から得られるパラメータを使用してよい。血糖読み取り値から得られるパラメータの例は、血糖読み取り値の現在の勾配、現在の食物摂取イベントに先行する特定の時間窓における血糖読み取り値の最大値、平均値、最小値などであり得る。
インスリン送達システムはまた、食事の期間、摂食の速度、摂取量など食事活動自体に関連するパラメータを含んでよい。インスリン送達システムはまた、心拍数、血圧、体温、水分補給レベル、疲労レベルなど他のセンサ入力を使用してよく、それ自体のセンサからこれらを取得することができる、又は患者がこの目的で、又は他の目的で使用し得る他のデバイスからこれらの一部を取得することができる。
インスリン送達システムはまた、現在又は過去の身体活動レベル、現在又は過去の睡眠レベル、及び現在又は過去のストレスレベルなど他の入力を含んでよい。インスリン送達システムはまた、性別、年齢、身長、体重など特定の個人情報を含んでよい。インスリン送達システムはまた、患者のインスリンニーズに関連する情報を含んでよい。これは、患者によって、介護者によって、又は健康記録若しくはヘルスケア維持システムによって入力された、又は設定された情報であり得る。患者のインスリンニーズに関連する情報はまた、インスリン送達システムによって収集され、記憶された履歴データから得られてよい。例えば、現在の食物摂取イベントに先行する期間にインスリン送達システムによって送達されるインスリンの量である。
別の実施形態では、インスリン送達システムは、同じ若しくはその前後の時刻、及び／又は同じ若しくはその前後の曜日、又は現在の時刻の前後の規定の時間窓内に生じた１つ以上の以前の食物摂取イベントに関連するインスリンの量及び送達スケジュールを考慮してよい。インスリン送達システムはまた、患者の現在の位置を考慮してよい。
食物摂取イベントに関連する追加パラメータはまた、インスリン送達システムに通知するために使用され得る。インスリン送達システムは、かかるパラメータを使用して、送達されるべき適正なインスリン投与量及び／又はインスリンの送達スケジュールを計算又は推定してよい。かかるパラメータとしては、飲食の期間、摂取される食品又は飲料の量、摂食の速度、摂取される炭水化物の量、摂食方法、又は使用される器具若しくは容器の種類が挙げられ得るが、これらに限定されない。これらの追加のパラメータ（例えば、期間又は速度）の一部は、任意のユーザ介入を必要とせずに、食物摂取追跡及びフィードバックシステムによって計算されてよい。他の場合には、ユーザの介入、ユーザによる入力又は確認が必要であってよい。
インスリン送達システムはまた、適正なインスリン投与量及びインスリン送達スケジュールを計算又は推定するために、過去の食物摂取イベントに関連するパラメータを使用してよい。例えば、インスリン送達システムは、１つ以上の過去の食物摂取イベントの期間、及び／又は１つ以上の過去の食物摂取イベントの平均摂食速度を考慮してよい。特定の実施形態では、インスリン送達システムは、現在の食物摂取イベントより前の特定の時間窓内で生じた過去の食物摂取イベントに関連するパラメータのみを考慮してよい。特定の実施形態では、インスリン送達システムは、現在の食物摂取イベントの同じ若しくはその前後の時刻、及び／又は同じ若しくはその前後の曜日に生じた過去の食物摂取イベントからのパラメータのみを考慮してよい。特定の実施形態では、インスリン送達システムは、現在の食物摂取イベントと同じ場所又はその近隣で生じた、１つ以上の過去の食物摂取イベントからのパラメータのみを考慮してよい。
特定の実施形態では、インスリン送達システムは、血糖読み取り値又は血糖読み取り値のプロキシとして使用される他のセンサ出力、例えば、間質グルコース読み取り値などに対する、過去のインスリン投与量及び送達スケジュールの影響を調べて、インスリン投与量を計算又は推定し、現在の食物摂取イベントの送達スケジュールを決定してよい。
インスリン送達システムは、その論理を連続的又は定期的に処理し、上記のパラメータのうちの１つ以上に基づいて、インスリン投与及び／又はインスリン送達スケジュール策定のための論理を適宜更新してよい。
患者管理システムは、特に薬剤又は他の物質の量が食物摂取イベントに関連付けられたパラメータに関連している場合、インスリン以外で、食物摂取イベントに併せた投与が必要な薬剤又は物質の投与に一般化され得る。
食事が適格／適切な食事カテゴリの一部であるかどうかを判定するために、フィルタが適用され得る。
患者管理システムは、食事中に連続的な、又は定期的かつ頻繁な評価を実行し、血糖読み取り値（又は、間質グルコース読み取り値などそのプロキシ）の観測された変化に基づいて、スケジュール又はインスリン量を上方又は下方に調整するようにプログラムされてよい。ある特定の実施形態では、血糖読み取り値が特定の閾値を下回る場合、又は患者管理システムによって実行される実行可能プログラムコードにおいて具現化された予測アルゴリズムが、現在の量及びスケジュールが実行されると、グルコース読み取り値が将来的に特定のグルコース値を下回るという予測を出力する場合、インスリン送達は一時停止されてよい。
このようにして、患者管理システムは、摂食の開始時間、摂食の速度、摂食の予想終了時間、摂食の期間、及び他の要因を考慮しつつ、通知を送信し、インスリン送達装置に信号を送信することができる。例えば、患者管理システムは、摂食の開始時及び摂食中にインスリンを送達するようにインスリン送達デバイスに指示し、心拍数、摂食速度、体温など様々な入力を使用して、調整を行ってよい。このようにして、患者管理システムは、自律型又は半自律型の食事認識人工膵臓の一部であり得る。
図面の説明
図１は、一実施形態による、食事追跡及びフィードバックシステムの高レベル機能図を示す。食事追跡及びフィードバックのためのシステムは、部分的に、食物摂取イベント検出サブシステム１０１、１つ以上のセンサ１０２、追跡及び処理サブシステム１０３、フィードバックサブシステム１０６、１つ以上のデータ記憶ユニット１０４、並びに非リアルタイム分析を実行し得る学習サブシステム１０５のうちの１つ以上を含んでよい。いくつかの実施形態では、図１に示す要素は電子ハードウェアに実装されるが、他の要素はソフトウェアに実装され、プロセッサによって実行される。一部の機能は、ハードウェア及びプロセッサ／メモリリソースを共有してよく、一部の機能は分散されてよい。機能は、手首装着型ウェアラブルデバイスなどセンサデバイスに完全に実装されてよく、又は機能は、センサデバイス、センサデバイスが通信する処理システム、例えばスマートフォンなど、及び／又はセンサ装置からリモートで一部の機能を処理するサーバシステムにわたって実装されてよい。
例えば、ウェアラブルセンサデバイスは測定を行い、ウェアラブルセンサデバイスから受信したデータを処理し、場合によっては他のデータ入力と組み合わせて当該情報を使用し得るモバイルデバイスに測定値を伝達して、追跡及び処理サブシステム１０３を起動してよい。追跡及び処理サブシステム１０３は、モバイルデバイス、ウェアラブルセンサデバイス、又は別の電子デバイスに実装されてよい。追跡及び処理サブシステム１０３はまた、例えば、モバイルデバイス及びウェアラブルセンサデバイスなど、複数のデバイスに分散されてよい。通信は、インターネットを介して、データを更に処理するサーバに対してであってよい。データ又は他の情報は、記録された形態で、又はある程度の処理後に、複数の場所に分散されて、又は集中的に好適な形式で記憶されてよい。データは、一時的に又は恒久的に記憶されてよい。
図１に示すシステムの第１の構成要素は、食物摂取イベント検出サブシステム１０１である。食物摂取イベント検出サブシステム１０１の役割は、食物摂取イベントの開始及び／又は終了を特定し、イベントの実際の発生、可能性の高い発生、又は開始直前の発生を伝達することである。イベントは、例えば、特定の活動又は挙動に関連するイベントであり得る。イベント検出サブシステム１０１によって検出され得るイベントの他の例は、製造ライン又は他の場所で特定のタスクを実行する、又は特定の手順を実行するオペレータであり得る。更に別の例は、製造アーム又は他の場所で特定のタスクを実行する、又は特定の手順を実行するロボット又はロボットアームであってよい。
一般に、デバイスは、食物摂取イベントの開始又は食物摂取イベントの可能性の高い開始であり得るものを検出するが、デバイスがかかる開始／可能性の高い開始を合理的に判定する限り、その目的のために十分に機能するであろう。明確にするために、当該検出は、食物摂取イベントの「みなし開始」と称し、様々なプロセス、動作、及び要素が、食物摂取イベントの開始と関連して何らかのアクション又は挙動を実行する予定のとき、これらの様々なプロセス、動作、及び要素は、みなし開始が実際に食物摂取イベントの開始ではないことがあっても、みなし開始を開始と解釈することを許容するであろう。
一実施形態では、食物摂取イベントのみなし開始の発生の検出及び／又は信号伝達は、食物摂取イベントのみなし開始と一致する。別の実施形態では、これは、食物摂取イベントのみなし開始後のいつかの時点で生じてよい。更に別の実施形態では、これは、食物摂取イベントのみなし開始前のいつかの時点で生じてよい。通常、信号伝達は、食物摂取イベントのみなし開始に近いことが望ましい。本開示のいくつかの実施形態では、食物摂取イベントのみなし開始の検出及び／又は信号伝達は、当該食物摂取イベントの開始前に発生することが有益であり得る。これは例えば、食物摂取イベントの前にユーザの食物摂取決定又は摂食習慣の誘導を支援するコーチングメカニズムとして、メッセージ又は信号がユーザ、医療提供者、又は介護者に送信される予定の場合に有用であり得る。
イベント検出方法としては、身体又は身体の特定部分の動き又は位置の監視、腕の動き、位置、又はジェスチャの監視、手の動き、位置、又はジェスチャの監視、指の動き、位置、又はジェスチャの監視、嚥下パターンの監視、口及び唇の動きの監視、唾液の監視、頬又は顎の動きの監視、嵌合又は歯ぎしりの監視、口、喉、及び消火器系からの信号の監視が挙げられ得るが、これらに限定されない。検出方法としては、視覚、音声、又は任意の他のタイプの人及び／若しくはその周囲の感覚監視が挙げられ得る。
監視された信号は、食事追跡及びフィードバックシステムによって生成されてよい。あるいは、これらの信号は、別個のシステムであるが、インタフェースを介して食事追跡システム及びフィードバックシステムにアクセス可能であるシステムによって生成されてよい。機械学習及び他のデータ分析技術が適用されて、監視されている入力信号から食物摂取イベントの開始又は可能性の高い開始を検出してよい。
一例では、食物摂取検出システム１０１は、加速度計及び／又はジャイロスコープセンサの出力を監視して、可能性の高い噛み付きジェスチャ又は可能性の高いすすり込みジェスチャを検出してよい。かかるジェスチャは、機械学習を使用して、センサ読み取り値からジェスチャを抽出するジェスチャプロセッサによって判定されてよい。ジェスチャプロセッサは、装着型デバイスのプロセッサの一部であっても、システムの別の部分にあってもよい。
本明細書の他の箇所に記載のようにジェスチャ検出機械学習技術を使用して、噛み付き又はすすり込みジェスチャを検出してよいが、他の技術もまた可能である。食物摂取検出システム１０１は、検出された噛み付きジェスチャ又はすすり込みジェスチャに信頼レベルを更に割り当ててよい。信頼レベルは、検出されたジェスチャが実際に噛み付き又は飲み込みジェスチャである可能性に対応する。食物摂取検出システムは、追加入力なしで、ジェスチャの検出及びその信頼レベルに基づいて、食物摂取イベントの開始が生じたと判定してよい。例えば、食物摂取イベント検出システム１０１は、噛み付き又は飲み込みジェスチャの信頼レベルが予め設定された閾値を超えると、食物摂取イベントの開始が生じたと判定してよい。
あるいは、可能性の高い噛み付き又はすすり込みが検出されると、食物摂取イベント検出システム１０１は、追加入力を使用して、食物摂取イベントの開始又は可能性の高い開始が生じたと判定してよい。ある例では、食物摂取イベント検出システム１０１は、時間的に近い他のジェスチャを監視して、食物摂取イベントの開始が生じたかどうかを判定してよい。例えば、可能性の高い噛み付きジェスチャを検出すると、食物摂取イベント検出システム１０１は、食物摂取イベントの開始が生じたと判定する前に、第１のジェスチャの検出後の特定の時間窓内での、及び／又は特定の信頼レベルでの別の噛み付きジェスチャの検出を待ってよい。
かかる検出時には、食物摂取検出システム１０１は、１つ以上の回路又は構成要素をより高性能のモードにして、ジェスチャ検出の精度を更に向上させてよい。別の例では、食物摂取イベント検出システム１０１は、時刻、又はユーザの場所を考慮して、食物摂取イベントの開始又は可能性の高い開始が生じたかどうかを判定してよい。食物摂取イベント検出システムは、機械学習又は他のデータ分析技術を使用して、その検出能力の精度及び信頼性を向上させてよい。例えば、ユーザから、及び／又はその時以前に他のユーザから得た訓練データを使用して、分類器を訓練してよい。訓練データは、可能性の高い噛み付き又はすすり込みが検出されたときにユーザ確認を求めることによって取得されてよい。次いで、ラベル付きデータレコードが作成され、ジェスチャに関連する特徴を含む、ジェスチャプロセッサによって読み取り可能なメモリに、時刻又は場所など他のコンテキスト上の特徴と共に記憶され得る。次いで、分類器は、ラベル付きデータレコードの複数のラベル付きデータレコードセットからなるラベル付きデータセットで訓練され得、訓練済みの分類器モデルは、食物摂取イベント検出システムにおいて使用されて、食物摂取イベントの開始をより正確に検出し得る。
別の実施形態では、食物摂取検出サブシステムは、トリガを使用して、食物摂取イベントの可能性の高い開始を自律的に予測してよい。トリガに基づいて食物摂取イベントの可能性の高い開始を自律的に検出する方法としては、人の睡眠パターンの監視、人のストレスレベルの監視、人の活動レベルの監視、人の位置の監視、人の周囲の人々の監視、人のバイタルサインの監視、人の水分補給レベルの監視、人の疲労レベルの監視が挙げられ得るが、これらに限定されない。場合によっては、食物摂取検出サブシステムは、より長い期間にわたって１つ以上の特定のトリガ信号又はトリガイベントを監視し、非リアルタイム分析及び学習サブシステム１０５と組み合わせて、機械学習又は他のデータ分析技術を適用して、可能性の高い食物摂取イベントの開始の発生を予測してよい。
例えば、追加情報なしでは、ユーザが朝食を取る時間を予測することは非常に困難であり得る。しかしながら、システムが、数日間にわたってユーザの起床時刻及び曜日の記録を有する場合、システムは、ユーザが朝食を取る可能性が高い時間を判定する際に、その履歴パターンを使用することができる。これらの記録は、システムによって、場合によっては、精度についてのユーザからのフィードバックを用いて判定されてよく、又はこれらの記録は、ユーザによって判定され、システムのユーザインタフェースを介して入力されてよい。ユーザインタフェースは、装着型デバイス自体、又は例えば、スマートフォンアプリであってよい。結果として、システムは、履歴データにおける相関を処理して、当日の曜日及びユーザの起床時刻に基づいて、ユーザが朝食を取る可能性の最も高い時刻又は時間窓を予測することができる。他のトリガ信号又はトリガイベントはまた、非リアルタイム分析及び学習サブシステム１０５によって使用されて、ユーザが朝食を取る時刻を予測してよい。
別の例では、非リアルタイム分析及び学習システム１０５は、ある期間にわたって、ユーザのストレスレベルを記録してよい。ストレスレベルは、例えば、ユーザの心拍数又はユーザの心拍数に関連する特定のパラメータを監視し、分析することによって判定され得る。ストレスレベルはまた、ユーザの声を分析することによって判定されてよい。ストレスレベルはまた、ユーザのメッセージ又は電子通信の内容を分析することによって判定されてよい。ストレスレベルを判定するための他の方法も可能である。非リアルタイム分析及び学習システム１０５は更に、同一期間にわたって、食物摂取イベントの発生、及び食物摂取イベントの特定の特性、例えば摂食速度、食物摂取量、食物摂取イベントの間隔などを記録してよい。次いで、ストレスレベル、食物摂取イベントの発生、及び食物摂取イベント特性の履歴データを分析し、ストレスレベル、食物摂取イベントの発生、及び食物摂取イベント特性の履歴データにおける相関を調べることによって、現在のストレスレベルに基づいてユーザが将来の特定の時間窓内で食物摂取イベントを開始する確率を予測すること、又はユーザが食物摂取イベントを開始する可能性が最も高い将来の時間窓を予測することが可能になる。また、例えば摂食速度は摂取量など当該食物摂取イベントの特性を予測することも可能であり得る。
特定の実施形態では、非リアルタイム分析及び学習サブシステム１０５は、異なるユーザからの履歴データ、又は他のユーザ及び装着者からのデータの組み合わせを使用して、また年齢、性別、医学的状態など１人以上の異なるユーザと装着者との間の類似性を使用して、装着者による食物摂取イベントの可能性の高い開始を予測することができる。
更に他の実施例では、非リアルタイム分析及び学習サブシステム１０５は、本明細書に記載の方法に類似の方法を使用して、ユーザが過食に逆戻りする可能性が最も高い時刻、又はコンビニ間食（convenience snacking）を開始する可能性が最も高い時間を予測してよい。
かかる監視には、様々なセンサが使用されてよい。監視された信号は、食事追跡及びフィードバックシステムによって生成されてよい。あるいは、これらの信号は、別個のシステムであるが、処理及び／又はトリガ信号として使用するために食事追跡システム及びフィードバックシステムにアクセス可能であるシステムによって生成されてよい。機械学習及び他のデータ分析技術はまた、摂取される可能性が高い食品の種類及び／又は量、可能性の高い摂食速度、食物摂取から得るであろう満足度など、可能性の高い摂取イベントの他の特性を予測するために適用されてよい。
ジェスチャ認識の一部として実行される機械学習プロセスは、外部データを使用して、その判定を更に精緻化してよい。これは、非リアルタイム分析及び学習サブシステムプロセスによって行われてよい。データ分析プロセスは、例えば、ジェスチャ感知ベースの食物摂取検出システム並びにジェスチャ感知ベースの追跡及び処理システムによって検出された食物摂取イベントを考慮し、したがって機械学習の第２の層を形成してよい。例えば、ある期間にわたって、食物摂取イベント及びこれらの食物摂取イベントに関する特性、例えば摂食速度、食物摂取量、食品の内容などが記録され、一方で、食物摂取イベントに直接関連がない、又は明らかな関連はないであろう他のパラメータも追跡される。これは、例えば、位置情報、起床時刻、ストレスレベル、睡眠挙動における特定のパターン、時刻、イベントの場所、及び参加者リストなどカレンダーイベントの詳細、時間、期間、電話番号など通話情報、時間、期間、送信者など電子メールメタデータなどであり得る。次いで、データ分析プロセスは、パターン及び相関を特定する。例えば、日中のカレンダーイベントの数と、夜間の食物摂取イベントの特性との間の相関を判定してよい。これは、ユーザが自宅に到着したときに間食を開始する可能性がより高く、又は当該日付のカレンダーイベントの数が特定の閾値を超えると、夕食がより大量に、及び／若しくはより急いで食べられるためである。サブシステム１０５では、食物摂取イベントに明らかには関連がない他の信号及びイベントから、食物摂取イベント及び特性を予測することが可能になる。場所、カレンダー情報、曜日、又は時刻など追加のコンテキストメタデータは、処理及び分析サブシステムによって使用されて、かかる判定又は予測が行われてよい。
より長い期間にわたる１つ以上のセンサ入力、及び／又は１つ以上の画像の処理及び分析は、任意選択的に機械学習又は他のデータ分析技術を使用して、食物摂取イベントの期間を予測するために使用されてよい、又は食物摂取イベントの終了の可能性が高い、若しくはその終了が間もなくであることを予測するために使用されてよい。
別の実施形態では、一部のユーザ入力１０８は、食物摂取イベントの開始及び／又は終了を適切に又はより正確に検出するために必要である、又は望ましい場合がある。かかるユーザ入力は、外部入力及び入力センサ１０２から受信した入力に加えて提供されてよい。あるいは、任意のセンサ入力の代わりに１つ以上のユーザ入力が使用されてよい。ユーザ入力としては、デバイスを起動すること、ボタンを押すこと、デバイス又はデバイスの特定の部分に触ること若しくは移動すること、写真を撮影すること、音声コマンドを発行すること、画面上で選択を行うこと、又はキーボード、タッチスクリーン若しくは音声認識技術が挙げられ得るが、これらに限定されないハードウェア及び／若しくはソフトウェアを使用して情報を入力することが挙げられ得るが、これらに限定されない。１つ以上のユーザ入力が必要とされる場合、ユーザの通常の活動又は社会的対話に対する悪影響を最小限に抑える方法で、ユーザ対話が考えられ、実施されることが重要である。
食物摂取イベント検出サブシステム１０１は、複数の方法を組み合わせて、食物摂取イベントの実際の開始及び／若しくは終了、可能性の高い開始及び／若しくは終了、又は開始直前及び／若しくは終了を自律的に検出又は予測してよい。
システムの別の構成要素は、追跡及び処理サブシステム１０３である。本開示の好ましい実施形態では、このサブシステムは、食物摂取イベント検出サブシステム１０１とインタフェースし（１０９）、イベントの実際の開始、可能性の高い開始、又は開始直前が検出されたことを示す信号を、食物摂取イベント検出サブシステム１０１から受信すると起動し、イベントの実際の終了、可能性の高い終了、又は開始直前の終了が検出されたことを示す信号を、食物摂取イベント検出サブシステム１０１から受信するとき、又はその後のいつかの時点で停止する。食物摂取イベントの開始を検出すると、デバイスは、食物摂取追跡システムの他のセンサ又は構成要素の起動をトリガしてよく、食物摂取イベントの終了を検出すると、それらの停止をトリガしてよい。
用途：食品の記録
既存の食品記録法では、ユーザが入力を忘れるか、又は別の理由で（意図的に又は意図せずに）入力しない場合、摂食イベントの記録又は履歴は存在しない。これは、食事日記が不完全かつ不正確であり、治療目的での有用性がかなり低くなる原因となる。更に、既存の食品記録法で記録された内容は、通常、内容及び量の自己報告に限定される。食物の摂取法の重要な特性（例えば、速度、食事の期間）に関する情報は存在しない。
図１に示す監視システムは、食品記録を自動化する、又は食品記録に対する抵抗を低減するために使用されてよい。本開示の一実施形態では、イベント検出サブシステム１０１は、加速度計又はジャイロスコープなど動きセンサから推定された情報を使用して、対象者のハンドジェスチャから飲食イベントを検出し、監視する。他の実施形態では、異なるセンサ入力が使用されて、飲食イベントを推定してよい。他のセンサとしては、心拍センサ、圧力センサ、近接センサ、グルコースセンサ、光センサ、画像センサ、カメラ、露出計、温度計、ＥＣＧセンサ、及びマイクロフォンが挙げられ得るが、これらに限定されない。
対象者の飲食イベントの発生を示すイベント検出サブシステム１０１の出力が記録される。イベント検出サブシステム１０１は追加処理を行って、開始時間、終了時間、対象者の飲食速度を表すメトリック、摂取量を表すメトリックなどイベントに関する追加関連情報を取得してよい。この追加情報も記録されてよい。
飲食イベントの発生の検出は、食品ジャーナルのエントリとして記録されてよい。イベント検出サブシステムから取得することができる飲食イベントに関連する追加情報はまた、食品ジャーナルの摂取イベントエントリの一部として記録されてよい。これは、各摂食イベントの手動入力の代わりになり得る。
記録される飲食に関する情報としては、イベントの時間、イベントの期間、イベントの場所、摂取速度に関連するメトリック、摂取量に関連するメトリック、摂食方法、使用された器具などが挙げられ得る。
用途：服薬アドヒアランス（遵守）
イベントシステムは、イベント及びジェスチャを監視し、摂取を判定することができるため、これは、服薬が必要であるとき、及び同時に必要とされる食物又は他のアクションを規定する薬剤投与プロトコルを自動的に監視するために使用され得る。これは、朝食、特定時刻など特定の食事カテゴリであってよい。薬剤投与プロトコルは、患者が薬剤と共に飲食を行うべきかどうかを指定してよい。任意選択的に、薬剤投与プロトコルはまた、患者が摂取するべき食品又は液体の量を指定してよい。
例えば、特定の時刻に服薬が必要である場合、服薬アドヒアランスシステムは、時刻を監視し、服薬を行う時刻にアラートを発することができる。次いで、イベント検出サブシステムを起動し（まだ起動していなかった場合）、イベント検出サブシステムの出力の監視を開始してよい。これは、服薬したというユーザからの通知確認を待つ。
確認が受信され、薬剤投与プロトコルが、薬剤は食品又は液体と共に服用する必要があると規定する場合、服薬アドヒアランスシステムは、飲食イベント検出サブシステムからの出力を監視し、薬剤投与プロトコルによって指定された規則が満たされたかどうかを判定する。これは、飲食イベントが、薬剤の摂取と同時に、又はその直後に生じたことを確認することのように単純であり得る。最小量の食品又は流体の摂取が必要であると薬剤投与プロトコルが指定する場合、服薬アドヒアランスシステムは、イベント検出サブシステムの追加出力（摂取量に関連するメトリック）を監視して、この条件が満たされたことを確認してよい。薬剤投与プロトコルが満たされたかどうかを判定するための異なる規則／論理も可能である。
確認が受信されない場合、服薬アドヒアランスサブシステムは、第２の通知を発してよい。追加の通知も可能である。予め設定された通知数の後、服薬アドヒアランスサブシステムはアラートを発してよい。アラートは、テキストメッセージとしてユーザに発されてよく、又はインターネットを介してリモートサーバに、若しくはセルラー接続を介して（例えば、病院、介護者に）送信されてよい。
薬剤が特定の食事カテゴリと共に服用される必要がある場合、服薬アドヒアランスシステムは、摂食検出サブシステムの出力を監視してよい。摂食イベントが検出されると、ロジックを使用して適切な食事カテゴリを判定することになる。食事カテゴリが薬剤投与プロトコルに記載のカテゴリと一致する場合、ユーザに自身の服薬を想起させる通知を発することになる。薬剤と共に食品又は液体を摂取する必要があることを薬剤投与プロトコルが規定する場合、上記の監視ロジックが実施されて、薬剤投与プロトコルが守られていることを判定してよい。
服薬アドヒアランスシステムは、摂食イベント検出サブシステムの出力を監視して、摂食イベントの開始が生じたかどうかを判定し、摂食イベントが適切な食事カテゴリのイベントかどうかを判定してよい。摂食イベントが検出され、食事カテゴリが薬剤投与プロトコルに記載のカテゴリと一致するとき、例えば、物体情報検索システム（例えば、ＮＦＣタグ、撮像）を起動して、ユーザが相互作用している物体に関するより多くの情報を収集し得るなど、特定のアクションが講じられてよい。このようにして、ピルボックス又は薬剤容器に取り付けられたＮＦＣタグから薬剤に関する情報を取得してよい。別の使用例では、薬剤が、薬剤投与プロトコルによって規定された薬剤と一致することを確認してよい、及び／又はユーザに自身の服薬を想起させる通知を発してよい。薬剤と共に食品又は液体を摂取する必要があることを薬剤投与プロトコルが規定する場合、上記の監視論理が実施されて、薬剤投与プロトコルが守られていることを判定してよい。
システムはまた、物体情報収集システムから、又は通知の異なる方法を通じて取得された薬剤に関する詳細を取り込み、服薬したユーザからの通知に応答して確認を記録し、薬剤に関する追加情報をユーザに要求し、及び／又は追加入力を得るために、ユーザが服薬してから事前に設定した時間の経過後に追加質問（例えば、体調についての質問、疼痛レベルについての質問、血糖値の測定を促すプロンプト）をユーザに送信して、追加入力を得てよい。
更なる実施形態
本開示の別の実施形態では、追跡及び処理サブシステムは、食物摂取検出サブシステムからの信号とは無関係に起動及び／又は停止されてよい。食物摂取検出サブシステムからの信号とは無関係に、特定のパラメータが追跡及び／又は処理されることも可能であるが、他のパラメータの追跡及び／又は処理は、食物摂取イベント検出サブシステムからの信号を受信したときのみ開始されてよい。
センサ入力は、食物摂取イベント検出サブシステムに送信される入力と同一又は類似であってよい。あるいは、異なる及び／又は追加のセンサ入力が収集されてよい。センサとしては、加速度計、ジャイロスコープ、磁力計、画像センサ、カメラ、光センサ、近接センサ、圧力センサ、匂いセンサ、ガスセンサ、全地球測位システム（ＧＰＳ）回路、マイクロフォン、電気皮膚反応センサ、温度計、環境光センサ、ＵＶセンサ、筋電図（「ＥＭＧ」）電位検出用電極、生体インピーダンスセンサ、分光計、グルコースセンサ、タッチスクリーン、又は容量センサが挙げられ得るが、これらに限定されない。センサデータの例としては、動作データ、温度、心拍数、脈拍、電気皮膚反応、血液又は生体の化学反応、音声又は映像記録、及びセンサタイプに依存する他のセンサデータが挙げられる。センサ入力は、無線若しくは有線で、アナログ若しくはデジタル形式で、ゲーティング及び／若しくは計時回路を介在して通信されてよい、又は直接提供されてよい。
追跡及び処理サブシステムによって使用される処理方法としては、データ操作、代数的計算、ジオタギング、統計的計算、機械学習、コンピュータ画像認識、音声認識、パターン認識、圧縮、及びフィルタリングが挙げられ得るが、これらに限定されない。
収集されたデータは、任意選択的に、データ記憶ユニット内に一時的又は永続的に記憶されてよい。追跡及び処理サブシステムは、データ記憶ユニットへのインタフェースを使用して、データ又は他の情報をデータ記憶ユニットに配置し、データ又は他の情報をデータ記憶ユニットから取り込んでよい。
本開示の好ましい実施形態では、データの収集、処理及び追跡は自律的に生じ、特別なユーザ介入を必要としない。追跡されるパラメータとしては、場所、周囲の温度、環境光、環境音、生体情報、活動レベル、食品の画像キャプチャ、食品名及び説明、一人前の分量、流体摂取、カロリー及び栄養情報、一口の数、噛み付き回数、すすり込み回数、連続した噛み付き又はすすり込みの間隔、並びに食物摂取イベントの期間が挙げられ得るが、これらに限定されない。追跡されたパラメータとしてはまた、噛み付き又はすすり込みごとの、ユーザの手、腕、及び／又は器具がユーザの口の付近にある期間、嚥下前に噛み切った又はすすり込んだ内容物がユーザの口の中に残留する期間が挙げられ得る。この方法は、使用可能なセンサデータによって異なってよい。
本開示の他の実施形態では、何らかのユーザの介入が必要である、又は、例えば、より高い精度を達成するか、更なる詳細を入力するためには望ましい場合がある。ユーザの介入としては、デバイス又はデバイスの特定機能を起動すること、デバイスを所定の位置に保持すること、写真を撮影すること、音声アノテーションを追加すること、ビデオを記録すること、修正又は調整を行うこと、フィードバックを提供すること、データ入力を行うこと、食品又は食品試料で測定を行うことが挙げられ得るが、これらに限定されない。測定としては、例えば、食料品の１つ以上のスペクトルグラフを取得するなど非破壊技術、又は食品から採取された試料を必要とし得る化学的方法などが挙げられ得るが、これらに限定されない。
追跡及び処理サブシステム１０３によるセンサデータ及びユーザ入力の処理は、通常、リアルタイム又はほぼリアルタイムで行われる。例えば、電力を節約するため、又は特定ハードウェアの制約に対処するために、幾分の遅延があってよいが、いくつかの実施形態では、処理は、食物摂取イベント中に行われ、又は食物摂取イベント外の追跡の場合には、センサ又はユーザ入力を受信した前後に行われる。
特定の実施例又は特定の状況下では、処理の一部又は全部を実行するために必要な処理ユニットへのリアルタイム又はほぼリアルタイムのアクセスが存在しない場合がある。これは、例えば、電力消費又は接続性の制約に起因し得る。他の誘因又は理由も可能である。その場合、入力及び／又は部分的に処理されたデータは、処理ユニットへのアクセスが利用可能になる以降の時間までローカルに記憶されてよい。
本開示のある特定の実施形態では、人の腕、手、又は手首の動きを追跡するセンサ信号が、追跡及び処理サブシステム１０３に送信されてよい。追跡及び処理サブシステム１０３は、かかる信号を処理し、分析して、一口の食品又は液体が摂取されたか、又は当該人物によって摂取された可能性が高いことを特定してよい。追跡及び処理サブシステム１０３は更に、かかる信号を更に処理し、分析して、例えば、噛み付き又はすすり込みの間隔、手から口への移動速度など摂食挙動の他の側面を特定し、及び／又は定量化してよい。追跡及び処理サブシステム１０３は更に、かかる信号を処理し、分析して、例えば、人物がフォーク若しくはスプーンを使用して食べているかどうか、グラス若しくは缶から飲んでいるかどうか、又は器具を使用せずに食品を摂取しているかどうかなど、食べ方の特定の側面を特定してよい。
特定の実施例では、装着者は、噛み付く時に食事用器具又は手を口に運ぶとき、自身の手首をある方向に回転させ得るが、液体をすすり飲むときは他の方向に回転させる。装着者が自身の手首を口へと、又は口から離れるように手首を動かすときの装着者の手首の回転量、及び手首がより高い回転角度で保持される期間はまた、摂飲ジェスチャと摂食ジェスチャとでは異なり得る。他のメトリックを使用して、摂飲ジェスチャと摂食ジェスチャとを区別してよい、又は食べ方の違いを区別してよい。複数のメトリックの組み合わせが使用されてよい。摂飲ジェスチャから摂食ジェスチャを区別するため、又は食べ方の違いを区別するために使用され得るメトリックの他の例としては、ジェスチャの開始又はおおよその開始から、手が口に達する時間又はおおよその時間までのロール角の変化、手が口の付近にある時間又はおおよその時間から、ジェスチャの終了の時間又はおおよその時間までのロール角の変化、手が口の付近にある期間、又は手が口の付近にあるときを中心とする期間、又は手が口の近くにあるときを中心としないが、手が口の最も近くにあるときを含む期間の１つ以上の軸にわたる加速度計若しくはジャイロスコープの読み取り値の変動、手が口の近くにある期間、又は手が口の最も近くにあるときを中心とする期間、又は手が口の最も近くにあるときを中心としないが、手が口の最も近くにあるときを含む期間の加速度計読み取り値の大きさの変動、手が口の近くにあるときの期間、又は手が口の最も近くにあるときを中心とする期間、又は手が口の最も近くにあるときを中心としないが、手が口の最も近くにあるときを含む期間の加速度計読み取り値の大きさの最大値が挙げられるが、これらに限定されない。加速度計読み取り値の大きさは、各直交方向における加速度の平方根として定義され得る（例えば、ｘ、ｙ、及びｚ方向の加速度を感知し、ＳＱＲＴ（ａｘ２＋ａｙ２＋ａｚ２）を計算する）。
口に相対する手の位置は、例えば、ピッチ又は装着型デバイスを監視し、そこから装着者の腕のピッチを監視することによって判定され得る。ピッチのピークに対応する時間は、手が口に最も近い時点として使用され得る。ピッチが増加を開始する時点は、例えば、ジェスチャの開始時間として使用され得る。ピッチが下がり止まる時点は、例えば、ジェスチャの終了時間として使用され得る。
口に最も近い位置、動きの開始、及び動きの終了の他の定義も可能である。腕又は手が口に最も近い時間を判定するために、例えば、ロールが方向を変更する時点が代わりに使用され得る。口に向かう動きを開始する時点を判定するために、ロールが特定の方向又は特定の速度での変化を停止する時点が代わりに使用され得る。
追跡及び処理サブシステムは更に、かかる信号を処理し、分析して、他のセンサを起動するために適切な又は好ましい時刻を判定してよい。ある特定の例では、追跡及び処理サブシステムは、かかる信号を処理し、分析して、１つ以上のカメラを起動して、食物の１つ以上の静止画像又は動画を撮影するために適切な又は好ましい時刻を判定してよい。腕、手、指、若しくは手首の動き、並びに／又はカメラの向き及び位置を追跡してカメラを起動し、かつ／又は画像キャプチャプロセスを自動化するセンサを活用することにより、画像キャプチャ及び画像解析システムの複雑性、能力、及び電力消費を大幅に低減することができ、特定の場合ではより良好な精度を達成することができる。また、画像キャプチャのタイミングをより正確に制御し、食物に焦点を合わせるカメラと一致させることができるようになったため、あらゆるプライバシー侵害の懸念が著しく低減される。
例えば、プロセッサは、加速度計、ジャイロスコープ、磁力計などからの動きセンサ入力を分析して、おそらくは、プロセッサが、カメラの視野が撮影対象の食品を包含していると判定した時点に基づいて、カメラを起動し、写真をキャプチャし、その時点でカメラをトリガするのに最適な時間を特定してよい。一例では、プロセッサは、摂食イベントの開始を判定し、摂食する食品の画像をキャプチャするように信号を送信し、また、摂食イベントの終了を判定し、装着者に、残った食品又は皿の画像をキャプチャするように再び信号を送信する。かかる画像は、摂取量を判定するために、及び／又はプロセッサによって判定済みの摂取量を確認するために処理され得る。いくつかの実施形態では、画像処理は、プロセッサが使用する機械学習を訓練するためのフィードバックの一部として使用され得る。
いくつかの実施形態では、システムは、装着者の腕又は手の動きを追跡し、システムが、腕又は手が口の近くにあることを動き感知から判定するときにのみカメラを起動してよい。別の例では、システムは、口に向かう動きの開始と、腕又は手が口に最も近いときとの間のいつかの時点でカメラを起動してよい。更に別の例では、システムは、腕又は手が口に最も近いときと口から離れる動きが終了するときとの間のいつかの時点で、カメラを起動してよい。
上記のように、口に相対する手の位置は、ピッチを監視することによって判定され得、ピッチの増加は口に向かう動きが開始する時点を示し、ピッチの減少は終了時点を示す。口に最も近い位置、動きの開始、及び動きの終了の他の定義も可能である。
口に相対する手の位置は、例えば、ピッチ又は装着型デバイスを監視し、そこから装着者の腕のピッチを監視することによって判定され得る。ピッチのピークに対応する時間は、手が口に最も近い時点として使用され得る。ピッチが増加を開始する時点は、例えば、ジェスチャの開始時間として使用され得る。ピッチが下がり止まる時点は、例えば、ジェスチャの終了時間として使用され得る。
ユーザの腕、手、又は手首の動きを追跡するセンサ信号の処理及び分析は、提案されるように、食物が口に入ると食品の画像をキャプチャするなど他の方法と組み合わせて、冗長性を備えて構築し、食物追跡及びフィードバックシステムの堅牢性を向上させてよい。例えば、ユーザの腕、手又は手首の動きの処理及び分析により、カメラが不明瞭であったり、手を加えられていたりしても、噛み付き回数及び噛み付きパターンに関する情報は依然として保存される。
センサ入力のうちの１つ以上は、１つ以上のカメラモジュールから取得された静止画像又はストリーミング画像であってよい。かかる画像は、ある程度の処理及び分析を必要としてよい。処理及び分析方法は、数ある方法の中でも特に、圧縮、削除、リサイズ、フィルタリング、画像編集、及び例えば、特定の食品若しくは料理など物体、又は、例えば、一人前の分量など特徴を特定するコンピュータ画像認識技術のうちの１つ以上を含んでよい。
噛み付き回数及びすすり込み回数の測定に加えて、プロセッサは、頻度及び期間など詳細を分析して、噛み付き及びすすり込みの分量を判定してよい。装着者の手、器具、又は流体容器が口の近くにあった時間を測定することは、次に、噛み付き又はすすり込みの推定分量を生成するための入力として使用される、「口付近」の期間を導出するために使用され得る。すすり込み時の手首の回転量は、水分補給追跡に有用であり得る。
ジェスチャの開始及び終了内にある１つ以上の時間セグメントにおける手首の回転量を測定することはまた、噛み付き又は飲み込みの分量を推定するために使用されてよい。例えば、システムは、ジェスチャ開始後のいつかの時点から、手が口に最も近い時点までの手首の回転量を測定してよい。ピッチのピークに対応する時間は、手が口に最も近い時点として使用され得る。ピッチが増加を開始する時点は、例えば、口に向かう動きの開始時間として使用され得る。ピッチが下がり止まる時点は、例えば、口から離れる動きの終了時間として使用され得る。口に最も近い位置、動きの開始、及び動きの終了の他の定義も可能である。例えば、ロールが方向を変更する時点は、腕又は手が口に最も近い時点として代わりに使用され得る。ロールが特定の方向又は特定の速度での変化を停止する時点は、口に向かう動きの開始時間として代わりに使用され得る。１つ以上の静止画像又はストリーミング画像は、食料品の特定、食品内容の特定、栄養情報の特定又は取得、一人前の分量の推定、及び特定の摂食挙動及び摂食パターンの推定が挙げられるが、これらに限定されない、１つ又は複数の目的で追跡及び処理サブシステムによって分析及び／又は比較されてよい。
一例として、コンピュータ画像認識技術は、任意選択的に他の画像操作技術と組み合わせて使用されて、食品カテゴリ、特定の食料品を特定してよい、及び／又は一人前の分量を推定してよい。あるいは、画像は、メカニカルタークプロセス又は他のクラウドソーシング法を使用して手動で解析されてよい。食品カテゴリ及び／又は特定の食料品が特定されると、この情報が使用されて、１つ以上の食品／栄養データベースから栄養情報を取り込むことができる。
別の例として、ユーザの飲食の速度に関する情報は、食物摂取イベントの過程の異なる時点でキャプチャされた複数の画像を分析し、比較することから推測されてよい。更に別の例として、画像は、任意選択的に他のセンサ入力と組み合わせて使用されて、フィンガーフード又は間食から着席での食事を区別してよい。更に別の例として、食物摂取イベントの開始時に撮影された１つの画像、及び食物摂取イベントの終了時に撮影された別の画像の分析は、実際の食品摂取量に関する情報を提供してよい。
一般的には、センサデータは、場合によっては、センサデータが感知されている人物に関する以前に記録されたデータ及び／又はメタデータと共に、当該センサデータを分析するプロセッサによって取得される。プロセッサは、感知されたジェスチャのシーケンスを導出するために、本明細書に記載の計算など計算を実行する。感知されたジェスチャは、感知されたジェスチャの発生時間など、感知されたジェスチャに関する関連データと共に、本明細書の他の箇所に記載されるジェスチャのうちの１つであってよい。プロセッサは、感知されたジェスチャのシーケンスを分析して、摂食イベントの開始などの挙動イベントの開始を判定する。
摂食イベントの開始の判定は、感知されたジェスチャのシーケンスに基づいてよいが、単一のイベントの検出に基づいてもよい（ジェスチャに基づかないコンテキストの場合に可能性が高い）。例えば、システムが合理的に高い信頼レベルで噛み付きジェスチャを検出する場合、プロセッサは、個々の当該ジェスチャの検出を摂食イベントの開始とみなしてよい。プロセッサはまた、感知されたジェスチャのシーケンスを分析して、挙動イベントの終了を判定し得る。摂食イベントの終了の判定はまた、検出されたイベントの不在に基づいてよい。例えば、所与の期間に噛み付きジェスチャが検出されない場合、プロセッサは、摂食イベントが終了したとみなし得る。
挙動イベントの開始及び終了を把握することにより、プロセッサは、より正確にジェスチャを判定することができる。これは、ジェスチャがコンテキストで取得され、及び／又はプロセッサは、追加のセンサを使用可能にし得る、若しくは１つ以上のセンサ若しくは他の構成要素を、本明細書の他の箇所に記載の例などでのように、より高性能の状態にし得るためである。挙動イベントの開始及び終了を把握することにより、場合によっては、装着型デバイスを特定の挙動イベント外でより低電力のモードすることが可能であり得るため、節電が可能になる。また、個々のジェスチャをイベントに集約することにより、場合によっては、同一ユーザから又は過去の他のユーザからの類似の挙動イベントに関する以前記録されたデータと組み合わせて、プロセッサは、挙動イベント関する有意な特性を導出することができる。例えば、朝食中、昼食中、夕食中の摂食速度は、このように判定され得る。別の例として、プロセッサが現在の挙動のための状態を有し、その現在の挙動が歯磨きである場合、飲食ジェスチャと思われ得るジェスチャは、飲食ジェスチャとして解釈されず、したがって、すすり込みとは解釈されず、歯磨きは液体の摂取と解釈される。挙動イベントは、一般的なイベント（摂食、歩行、歯磨きなど）、又はより具体的なイベント（スプーンでの摂食、フォークでの摂食、ガラスからの摂飲、缶からの節飲など）であってよい。
指さしジェスチャを検出し、次いで、感知された人物が指している物体を判定するなど間接的ジェスチャを解読することが可能であり得るが、対象は、検出されるイベントの直接部分であるジェスチャそのものである。一部のジェスチャは、デバイスの操作に関連するジェスチャなど偶発的ジェスチャであり、この場合、偶発的ジェスチャは考慮対象から除外され得る。
特定の実施例では、システムは、一部のセンサセットを使用して、ある信頼レベルを有する摂食イベントの開始を判定し、この信頼レベルが閾値よりも高い場合、システムは追加センサを起動する。したがって、加速度計センサは、信頼レベルの高い摂食イベントの開始を判定するために使用されてよいが、ジャイロスコープは、バッテリ寿命を節約するために低電力モードにされる。加速度計は、単独で、可能性の高い噛み付き若しくはすすり込みを示すジェスチャ（例えば、腕若しくは手の上方への動き、又は概して口の方向での手若しくは腕の動き）、又は、概して摂食イベントの開始を示すジェスチャを検出することができる。概して摂食イベントの可能性の高い開始を示す第１のジェスチャが検出されると、追加センサ（例えば、ジャイロスコープなど）が使用可能になってよい。後続の噛み付き又はすすり込みが検出された場合、プロセッサは、摂食イベントの開始が生じたと、より高い信頼レベルで判定する。
イベント検出
挙動イベントの開始／終了を把握することにより、プロセッサは、１つ以上のセンサ又は他の構成要素を、挙動イベントの時間に対してより高性能の状態にすることができる。例えば、挙動イベントの開始が判定されると、プロセッサは、ジェスチャの検出に使用される加速度計及び／又はジャイロスコープセンサのサンプリングレートを増加させてよい。別の例として、挙動イベントの開始が判定されると、プロセッサは、センサデータが電子デバイス２１９に送信される更新速度を増加させて、遅延を低減するために更に処理してよい。
再び図１を参照すると、追跡及び処理サブシステムに加えて、図１のシステムは、非リアルタイム分析及び学習サブシステム１０５も含んでよい。非リアルタイム分析及び学習サブシステム１０５は、より大きい集団からの複数の食物摂取イベント及び／又はデータにわたる履歴データなど、収集により長くの時間がかかる、より大きなデータセットに対する分析を実行することができる。非リアルタイム分析及び学習システム１０５によって使用される方法としては、データ操作、代数的計算、ジオタギング、統計的計算、機械学習及びデータ分析、コンピュータ画像認識、音声認識、パターン認識、圧縮、並びにフィルタリングが挙げられ得るが、これらに限定されない。
非リアルタイム分析及び学習サブシステム１０５によって使用される方法は、とりわけ、より長期間にわたって収集された、より大きなデータセットに対するデータ分析を含んでよい。一例として、１つ以上のデータ入力は、より長期間にわたって、かつ複数の食物摂取イベントにわたって取得されて、機械学習モデルを訓練してよい。かかるデータ入力は、以下で、訓練データセットと称する。訓練データセットが収集される期間（以下、訓練期間と称する）は、通常、収集されたデータが人の典型的な食物摂取を表すように十分に長いことが望ましい。
訓練データセットは、とりわけ、食物摂取イベント当たりの噛み付き回数、総噛み付き回数、食物摂取イベントの期間、食物摂取の速度又は以降の回との間隔、例えば、固形食品を液体から、又は間食若しくはフィンガーフードから着席での食事を区別するなど食物摂取内容の分類など食物摂取関連情報のうちの１つ以上を含んでよい。この情報は、１つ以上のセンサ入力から取得されてよい。
訓練データセットは更に、訓練期間内の食物摂取イベントのそれぞれの間に摂取された、それぞれ又はほとんどの品目の画像を更に含んでよい。画像は、コンピュータ画像認識及び／又は食品カテゴリ、特定の食料品、及び一人前の推定分量を特定するための他の方法を使用して処理されてよい。次に、この情報が使用されて、炭水化物、脂肪、タンパク質などの量など食料品のカロリー数及び／又は主要栄養素含有量を定量化してよい。
食品がそっくりそのまま摂取されなかった場合、食物摂取イベントの開始時に食料品の１枚の写真を、また食物摂取イベントの終了時に１枚の写真を撮って、実際に摂取された食物の部分を導出することが望ましい場合がある。手動ユーザ入力を含むがこれらに限定されない他の方法を使用して、訓練データセット内のデータに一人前の分量情報を追加してよい。
訓練データセットは更に、食物摂取並びに／又は摂食挙動及びパターンを直接定量化しないが、間接的に情報を提供してよい、食物摂取イベント及び／若しくは摂食挙動と相関してよい、並びに／又は食物摂取イベントの発生のトリガであってよい、又は摂食習慣、パターン、及び挙動に影響を及ぼしてよい、メタデータを更に含んでよい。かかるメタデータは、とりわけ、性別、年齢、体重、社会経済状態、日付、時刻、曜日など食物摂取イベントに関するタイミング情報、食物摂取イベントの場所に関する情報、バイタルサイン情報、水分補給レベル情報、及び他の身体的、精神的、又は環境的条件、例えば、空腹、ストレス、睡眠、疲労レベル、依存性、病気、社会的圧力、及び運動などのうちの１つ以上が挙げられ得る。
１つ以上の訓練データセットは１つ以上の機械学習モデルを訓練するために使用されてもよく、次いでこの学習モデルは、食物追跡及びフィードバックシステムの１つ以上の構成要素によって使用されて、食物摂取イベント並びに摂食パターン及び挙動の特定の側面を予測するために使用され得る。
一例では、モデルは、食物摂取イベントの発生に影響を及ぼし得る１つ以上のメタデータの追跡に基づいて、食物摂取イベントの発生を予測するために訓練されてよい。摂取される可能性が高い食物の種類及び／若しくは量、人が摂食する可能性が高い速度、食物摂取イベントの期間、並びに／又は食物を摂取することから人が得るであろう満足度など、可能性の高い食物摂取イベントに関する他の特性も予測されてよい。メタデータは、とりわけ、性別、年齢、体重、社会経済状態、日付、時刻、曜日など食物摂取イベントに関するタイミング情報、食物摂取イベントの場所に関する情報、バイタルサイン情報、水分補給レベル情報、及び他の身体的、精神的、又は環境的条件、例えば、空腹、ストレス、睡眠、疲労レベル、依存性、病気、社会的圧力、及び運動などのうちの１つ以上が挙げられ得る。
別の例では、限られた食物摂取センサ入力又は画像しか使用できない、又はこれらを全く使用できない場合であっても、機械学習及びデータ分析が適用されて、カロリー又は他の主要栄養素の摂取を推定するために訓練期間外で使用され得るメトリックを取得してよい。メタデータは、追加のコンテキスト情報に基づいて、かかるメトリックの値を更に調整するために使用されてよい。かかるメタデータは、とりわけ、性別、年齢、体重、社会経済状態、日付、時刻、曜日など食物摂取イベントに関するタイミング情報、食物摂取イベントの場所に関する情報、ジェネリック食品カテゴリに関する情報、バイタルサイン情報、水分補給レベル情報、カレンダーイベント情報、通話ログ、電子メールログ、及び他の身体的、精神的、又は環境的条件、例えば、空腹、ストレス、睡眠、疲労レベル、依存性、病気、社会的圧力、及び運動などのうちの１つ以上が挙げられ得る。
かかるメトリックの一例は、「噛み付き当たりのカロリー」である。画像処理及び分析から得られたカロリー情報と噛み付き回数を組み合わせることにより、「噛み付き当たりのカロリー」メトリックが、１つ以上の訓練データセットから確立され得る。次いで、このメトリックは訓練期間外で使用されて、画像を全く使用できない、又は限られた画像しか使用できない場合であっても、噛み付き回数のみに基づいてカロリー摂取を推定し得る。
別のメトリックは、「典型的な噛み付き分量」であってよい。画像処理及び分析から得られた一人前の分量情報と噛み付き回数を組み合わせることにより、１つ以上の訓練データセットから「典型的な噛み付き分量」メトリックが確立され得る。次いで、このメトリックは訓練期間外で使用されて、画像を全く使用できない、又は限られた画像しか使用できない場合であっても、噛み付き回数のみに基づいて一人前の分量を推定し得る。また、これは、噛み付き回数及び典型的な噛み付き分量に基づいて、報告された食物摂取と測定された食物摂取との不一致を特定するために使用されてもよい。不一致は、ユーザが摂取している全ての食料品を報告していないことを示し得る。あるいは、ユーザが報告した食品の全てを摂取しなかったことを示し得る。
噛み付き動作は、加速度計及びジャイロスコープセンサを読み取るプロセッサによって、又はより一般的には、装着者の身体部分の動きを感知する動きセンサを読み取ることによって判定され得る。次いで、噛み付き回数を数えることによって、噛み付きの総回数が推測され得る。また、噛み付きの時間シーケンスが、摂食パターンを推測するプロセッサによって使用され得る。
非リアルタイム分析及び学習サブシステム１０５はまた、履歴データのより大きいセットを追跡し、分析し、視覚化を支援し、特定の固定された、又は設定された目標に対する進捗を追跡し、かかる目標の設定を支援してよい。更に、記録を特定し、追跡し、友人又はより大きい、任意選択的に匿名の集団の実績を連続して記録（streak）し、これらと比較するために使用されてよい。
更に、特定の実施形態では、非リアルタイム分析及び学習サブシステム１０５は、他のデータ操作及び処理技術の中でもとりわけ、機械学習及びデータ分析技術を適用して、特定の健康問題、疾病、及び他の医学的状態を発現させる可能性を予測してよい。この場合、訓練は、通常、より長期間、かつより大きな集団にわたって取得された、過去の食物摂取及び／又は摂食挙動データを必要とする。訓練データセットは、年齢、体重、性別、地理的情報、社会経済状態、バイタルサイン情報、医療記録情報、カレンダー情報、通話ログ、電子メールログ、及び／又は他の情報など追加メタデータを含むことが更に望ましい。次に、予測を使用して、健康転帰の成果を誘導すること、及び／又は、例えば糖尿病など特定の疾患の発症を予防すること若しくは遅延させることを支援してよい。
非リアルタイム及び学習サブシステム１０５はまた、ユーザの食事及び食品の好み、ユーザの食事の好み、ユーザのレストランの好み、及びユーザの食物摂取のうちの１つ以上が挙げられるが、これらに限定されない他の側面に関するより多くの情報を学習し、抽出するために使用されてよい。かかる情報は食物摂取追跡及びフィードバックシステムによって使用されて、ユーザに特定の勧告を行ってよい。本明細書に記載の食物摂取追跡及びフィードバックシステムはまた、レストラン予約システム、オンライン食品又は食事注文システムなど他のシステムとインタフェースしてよく、又はそれと一体化されてよく、食品又は食事注文又は予約のプロセスを容易にしてよい、効率化してよい、又は自動化してよい。
非リアルタイム及び学習サブシステム１０５はまた、より長い期間にわたって食物摂取を監視し、異常に長く食物摂取活動が生じない出来事を検出するために使用されてよい。かかる出来事は、とりわけ、ユーザがデバイスの使用を停止した、意図的に又は非意図的にデバイスに手を加えた、デバイスの機能的欠陥、又は、例えば、転倒、若しくは死亡、若しくはユーザの意識の喪失など医学的状況を示すことがある。異常に長く食物摂取活動が生じない出来事の検出が使用されて、ユーザ、１人以上の介護者、監視システム、緊急対応システム、又はかかる出来事の発生について通知されることに直接又は間接的な利害関係を有し得る第三者に通知又はアラートを送信してよい。
図１に示すシステムの別の構成要素は、フィードバックサブシステム１０６である。フィードバックサブシステム１０６は、１つ以上のフィードバック信号を、ユーザ又はかかるフィードバック情報が関連し得る任意の他人に提供する。フィードバックサブシステム１０６は、特定の食物摂取イベントに関連するリアルタイム又はほぼリアルタイムのフィードバックを提供してよい。リアルタイム又はほぼリアルタイムのフィードバックは、一般に、食物摂取イベントの時間の前後に提供されるフィードバックを指す。これは、食物摂取イベント中に提供されるフィードバック、食物摂取イベントの開始前に提供されるフィードバック、及び食物摂取イベントの終了後のいつかの時点で提供されるフィードバックを含んでよい。あるいは、又はそれに加えて、フィードバックサブシステムは、特定の食物摂取イベントに直接関連しないユーザにフィードバックを提供してよい。
フィードバックサブシステムによって使用されるフィードバック方法としては、ユーザに力、振動、及び／又は動きを加える触覚インタフェースが使用される触覚フィードバック、スピーカ又は任意の他の音声インタフェースが使用されてよい音声フィードバック、又はディスプレイ、１つ以上のＬＥＤ及び／若しくは投射される光パターンが使用されてよい視覚フィードバックが挙げられ得るが、これらに限定されない。フィードバックサブシステムは、１つのみ、又は複数のフィードバック方法の組み合わせを使用してよい。
フィードバックサブシステムは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせで実現されてよい。フィードバックサブシステムは、食物摂取イベント検出サブシステム１０１及び／又は追跡及び処理サブシステム１０３と同じデバイスに実装されてよい。あるいは、フィードバックサブシステムは、食物摂取イベント検出サブシステム１０１及び／又は追跡及び処理サブシステム１０３とは別個のデバイスに実装されてよい。フィードバックサブシステム１０６はまた、複数のデバイスに分散されてよく、その一部は、図１に示す他のサブシステムのいくつかの一部を任意選択的に収容してよい。
一実施形態では、フィードバックサブシステム１０６は、ユーザにフィードバックを提供して、食物摂取イベントの実際の開始、可能性の高い開始、又は開始直前について信号を送信してよい。フィードバックサブシステム１０６はまた、食物摂取イベント中にユーザにフィードバックを提供して、食物摂取イベントが生じているという事実をユーザに想起させ、瞬時に意識を改善してよい、及び／又は意識的な摂食を促してよい。フィードバックサブシステムはまた、勧告される一人前の分量及び／若しくは食品内容に関する助言を提供してよく、又は摂食に対する別の提言を提供してよい。別の提言は、デフォルトの提言であってよく、又は異なる時間にユーザによってプログラム又は設定されたカスタム提言であってよい。
フィードバック信号としては、ウェアラブルデバイスでの定期的な触覚フィードバック信号、音声警報、ディスプレイメッセージ、又は自身の携帯電話ディスプレイにプッシュされる１つ以上の通知が挙げられ得るが、これらに限定されない。
食物摂取イベントの開始を示す信号を受信すると、又はその後のいつかの時点で、ユーザは、食物摂取イベントが実際に生じていることを確認してよい。確認は、例えば、イベントの記録をトリガするために使用され得、又はシステムがユーザに追加情報を促すようにさせてよい。
本開示の別の実施形態では、フィードバックサブシステムは、追跡されているパラメータのうちの１つ以上の特定の閾値に達した場合にのみ、食物摂取イベント中にフィードバックを開始する。一例として、後続の噛み付き又はすすり込みの間隔が追跡されている場合、ユーザに対するフィードバックは、時間、場合によっては複数の噛み付き又はすすり込みで平均化された時間が、一定の、又はプログラムされた値よりも短い場合に開始されて、ユーザに速度を落とすように促してよい。同様に、一定の、又はプログラムされた噛み付き回数又はすすり込み回数を超えている場合にフィードバックが開始されてよい。
フィードバックが食物摂取イベント中に提供されるフィードバックサブシステムでは、フィードバックサブシステムによって提供されるフィードバックは、通常、その特定の食物摂取イベントの詳細に関する。しかしながら、以前の食物摂取イベント、生体情報、精神的健康情報、活動又は健康レベル情報、及び環境情報などが挙げられるが、これらに限定されない他の情報も、フィードバックサブシステムによって提供されてよい。
本開示の更に別の実施形態では、フィードバックサブシステム１０６は、特定の食物摂取イベント外で１つ以上のフィードバック信号を送信してよい。かかる実施形態の一例では、周囲温度及び／又は水分補給要求に影響し得る、ないしは別の方法で水分補給レベルを直接的又は間接的に測定し得る他のパラメータが追跡されてよい。かかる追跡は、連続的若しくは定期的に、ないしは別の方法で特定の食物摂取イベントとは無関係に生じてよい。１つ以上のかかるパラメータが、一定の、又はプログラムされた閾値を超える場合、フィードバック信号は、例えば、水分補給を改善するための手段を講じるようにユーザを促すために送信されてよい。フィードバックサブシステム１０６は、その入力を評価し、フィードバックの送信に好ましい時間が食物摂取イベント中ではなく、食物摂取イベントの終了後であると判定してよい。フィードバックサブシステム１０６への入力の一部は、食物摂取イベントからであってよいが、一部は、食物摂取イベントの結果として直接測定されない他の監視からであってよい。
フィードバック信号を送信するという決定は、前段に記載の実施形態でのようになど任意の食物摂取追跡とは無関係であってよい。あるいは、かかる決定は、１つ又は複数の食物摂取イベントにわたる食物摂取追跡に関連してよい。例えば、本開示の一実施形態では、上記のシステムは、直接的に又は間接的にのいずれかで、ある人物の流体の摂取も追跡するように変更され得る。周囲温度範囲が異なる場合については、当該実施形態は、事前にプログラムされた流体摂取要求閾値を有し得る。測定された周囲温度について、ある人物の流体摂取（場合によっては、特定期間にわたって追跡され蓄積される）が、当該周囲温度の閾値を満たさない場合、システムは、フィードバック信号を発して、当該人物に、自身の流体摂取レベルを増加するように助言してよい。
同様に、食物摂取に関連するフィードバック信号又は勧告は、他のパラメータの中でも特に、活動レベル、睡眠レベル、社会的コンテキスト又は状況、健康又は疾患診断、及び健康又は疾患監視の追跡に関連してよい。
本開示の更に別の実施形態では、フィードバックサブシステム１０６は、食物摂取イベントが開始したか、又は間もなく開始するか、又は開始する可能性が高いことを検出すると、フィードバック信号を開始してよい。かかる実施形態では、フィードバックは、例えば、食物摂取イベント若しくは自動的に追跡することができない食物摂取イベントの特定の側面を記録することをユーザに想起させる、又はある人物の食物摂取挙動及び／又は食物摂取の量若しくは内容に影響を及ぼす又は誘導するためのキューとして使用され得る。
フィードバックサブシステム１０６によって提供される情報としては、摂食パターン又は習慣に関連する情報、特定の食用物質に関連する情報、例えば、名称、説明、栄養素含有量、レビュー、評価、及び／又は食料品若しくは料理の画像、食物摂取のトリガに関連する情報、摂食パターン若しくは習慣のトリガに関連する情報、生体情報若しくは環境情報、又はある人物の一般的な食物摂取挙動、健康、及び／若しくはウェルネスに直接的若しくは間接的に関連し得る他の情報が挙げられ得るが、これらに限定されない。
フィードバックサブシステム１０６は、摂取された又は摂取され得る食料品又は料理の画像の表示を含んでよい。更に、フィードバックサブシステム１０６は、当該食料品又は料理に関する追加情報、例えば、健康に良い程度の明示、栄養素含有量、背景又は準備の詳細、評価、個人向けフィードバック、又は他の個人向け情報などを含んでよい。
本開示の特定の実施形態では、フィードバックサブシステム１０６によって提供される情報は、非リアルタイム情報を含んでよい。フィードバックサブシステム１０６は、例えば、履歴データの処理及び分析、並びに／又はより大きいユーザ集団にわたって蓄積されてきたデータの処理及び分析に基づいたフィードバックを含んでよい。フィードバックサブシステム１０６は、任意の特定のパラメータの追跡とは無関係のフィードバックを更に提供してよい。一例として、フィードバックサブシステム１０６は、ジェネリック食品、栄養、又は健康情報若しくは助言を提供してよい。
本開示の特定の実施形態では、ユーザはフィードバックサブシステム１０６と対話し、入力１１６を提供してよい。例えば、ユーザは、特定の若しくは全てのフィードバック信号を抑制してよい、又はカスタマイズしてよい。
非リアルタイムのフィードバックとしては、とりわけ、履歴データ、傾向の概要、個人記録、連続記録（streak）、目標に対する実績又は友人若しくは他人若しくは他人のグループと比較した実績、警戒すべき傾向の通知、友人、ソーシャルネットワーク及びソーシャルメディア、介護者、栄養士、医師などからのフィードバック、コーチングアドバイス及び助言が挙げられ得る。
データ又は他の情報は、データ記憶ユニット１０４に記憶されてよい。これは、未処理形式で記憶されてよい。あるいは、ある程度の処理を受けた後に記憶されてよい。データは、一時的に又は恒久的に記憶されてよい。データ又は他の情報は、プロセッサ又は他のシステムリソースが利用可能になるのを待機している間の一時的記憶、後の時間まで利用できない他のデータと組み合わされるための一時的記憶、フィードバックサブシステム１０６を介して未処理又は処理済み形式でユーザにフィードバックするための記憶、後の協議又は再検討のための記憶、食事及び／又はウェルネスコーチング目的の分析のための記憶、より大きい集団又はより大きいデータセットにわたる統計分析のための記憶、より大きいデータセットでパターン認識法又は機械学習技術を実行するための記憶などが挙げられるが、これらに限定されない多種多様の理由のために記憶されてよい。
記憶されたデータ及び情報、又はその一部は、システムのユーザにアクセス可能であってよい。記憶されたデータ及び情報、又はその一部は、第三者と共有されてもよく、又は第三者によってアクセスされ得る。第三者としては、友人、家族、介護者、医療提供者、栄養士、ウェルネスコーチ、他のユーザ、食事追跡及びコーチングのためのシステムを開発及び／又は販売する企業、食事追跡及びコーチングのためのシステムのための構成要素又はサブシステムを開発及び／又は販売する企業、並びに保険会社が挙げられ得るが、これらに限定されない。特定の状況では、データは、第三者に使用可能にする前に匿名化されることが望ましいことがある。
図２は、本開示の一実施形態による、食事追跡及びコーチングに使用される電子システム内に配設された構成要素の一部を示す。電子システムは、第１の電子デバイス２１８と、第２の電子デバイス２１９（モバイルデバイスであり得る）と、中央処理及び記憶ユニット２２０と、を含む。典型的なシステムは、センサ及びプロセッサの較正を可能にするために、較正機能を有してよい。
図２に示すシステムの変形例も可能であり、本開示の範囲に含まれる。例えば、ある変形例では、電子デバイス２１８及び電子デバイス２１９は、単一の電子デバイスに統合されてよい。別の変形例では、電子デバイス２１８の機能性は、複数のデバイスに分散されてよい。いくつかの変形例では、電子デバイス２１８の一部として図２に示す機能の一部は、代わりに電子デバイス２１９に含まれてよい。いくつかの他の変形例では、電子デバイス２１９の一部として図２に示す機能の一部は、代わりに電子デバイス２１８及び／又は中央処理及び記憶ユニット２２０に含まれてよい。更に別の変形例では、中央処理及び記憶ユニット２２０は存在しなくてよく、全ての処理及び記憶は、電子デバイス２１８及び／又は電子デバイス２１９でローカルに行われてよい。他の変形例も可能である。
図２の電子システムの例を図３に示す。電子デバイス２１８は、例えば、手首、腕、又は指の周りに装着されるウェアラブルデバイス３２１であってよい。電子デバイス２１８はまた、身体に取り付けられてよい、又は衣類に埋め込まれてよい装着可能なパッチとして実現されてよい。電子デバイス２１８はまた、例えば、別のウェアラブルデバイスに、宝飾品、又は衣類に取り付けられ得るモジュール又はアドオンデバイスであってよい。電子デバイス２１９は、例えば、携帯電話、タブレット、又はスマートウォッチなどモバイルデバイス３２２であってよい。電子デバイス２１９及び電子デバイス２１８の他の実施形態もまた可能である。中央処理及び記憶ユニット２２０は、通常、１つ以上のコンピュータシステム又はサーバと、１つ以上の記憶システムと、を備える。中央処理及び記憶ユニット２２０は、例えば、インターネット接続３２５を使用してインターネットを介してアクセス可能であるリモートデータセンター３２４であってよい。中央処理及び記憶ユニット２２０は、複数のユーザの間で共有される、及び／又は複数のユーザによってアクセスされることが多い。
ウェアラブルデバイス３２１は、無線ネットワークを介してモバイルデバイス３２２と通信してよい。ウェアラブルデバイス３２１とモバイルデバイス３２２との間の無線ネットワークを介した通信に使用される無線プロトコルとしては、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ Ｓｍａｒｔ（別名、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、Ｂｌｕｅｔｏｏｔｈ Ｍｅｓｈ、ＺｉｇＢｅｅ、Ｗｉ－Ｆｉ、Ｗｉ－Ｆｉ Ｄｉｒｅｃｔ、ＮＦＣ、Ｃｅｌｌｕｌａｒ、及びＴｈｒｅａｄが挙げられ得るが、これらに限定されない。専用若しくは無線プロトコル、標準的無線プロトコルが改良されたもの、又は他の標準的無線プロトコも使用されてよい。本開示の別の実施形態では、ウェアラブルデバイス３２１及びモバイルデバイス３２２は、有線ネットワークを介して通信してよい。
モバイルデバイス３２２は、インターネット接続３２５を介してインターネットに接続される基地局又はアクセスポイント（「ＡＰ」）３２３と無線通信してよい。モバイルデバイス３２２は、ウェアラブルデバイス３２１からのデータ及び情報を、インターネット接続３２５を介して例えばリモートデータセンターなどリモート位置に存在する１つ以上の中央処理及び記憶ユニット２２０に転送してよい。モバイルデバイス３２２はまた、リモート位置に存在する１つ以上の中央処理及び記憶ユニット２２０からのデータ及び情報を、インターネット接続３２５を介してウェアラブルデバイス３２１に転送してよい。他の例も可能である。いくつかの実施形態では、中央処理及び記憶ユニット２２０は、リモート位置に存在しなくてよいが、ウェアラブルデバイス３２１及び／又はモバイルデバイス３２２と同じ場所に、又はこれらに近接して存在してよい。モバイル機器３２２と基地局又はアクセスポイント３２３との間の通信に使用される無線プロトコルは、モバイル機器とウェアラブルデバイスとの間の通信プロトコルと同じであってよい。専用若しくは無線プロトコル、標準的無線プロトコルが改良されたもの、又は他の標準的無線プロトコも使用されてよい。
図２の電子システムはまた、インターネットに接続されている追加デバイスにデータ、情報、通知、及び／又は命令を送信してよく、かつ／又はこれらのデバイスからデータ、情報、通知、及び／又は命令を受信してよい。かかるデバイスは、例えば、１人以上の介護者、医師のオフィスのメンバー、コーチ、家族、友人、ユーザがソーシャルメディアでつながっている人々、又はユーザが情報共有の許可を与えた他の人々のタブレット、携帯電話、ラップトップ、又はコンピュータであり得る。かかるシステムの一例を図４に示す。図４に示す例では、電子デバイス４４１は、インターネット接続４４２を介してインターネットに接続される基地局又はアクセスポイント４４０に無線接続されている。電子デバイス４４１の例としては、タブレット、携帯電話、ラップトップ、コンピュータ、又はスマートウォッチが挙げられ得るが、これらに限定されない。電子デバイス４４１は、例えばリモートデータセンターなどローカル又はリモート位置に存在し得る１つ以上の中央処理及び記憶ユニットから、インターネット接続４４２を介してデータ、命令、通知、又は他の情報を受信してよい。通信能力は、インターネット接続４４２又は他の通信チャネルを含み得る。電子デバイス４４１はまた、１つ以上のコンピュータサーバ又は記憶ユニット４３９に情報、命令、又は通知を送信してよい。中央処理及び記憶ユニット４３９は、インターネット４３８及び基地局又はアクセスポイント（「ＡＰ」）４３７を介して、この情報、命令、又は通知をモバイルデバイス４３６に転送してよい。
他の例も可能である。いくつかの実施形態では、中央処理及び記憶ユニット４３９は、リモート位置に存在しなくてよいが、ウェアラブルデバイス４３５及び／又はモバイルデバイス４３６と同じ場所に、又はこれらに近接して存在してよい。図４は、基地局又はアクセスポイントに無線で接続されているものとして電子デバイス４４１を示す。電子デバイス４４１とインターネット接続４４２を介してインターネットに接続するルータとの間の有線接続も可能である。
図５は、本開示の別の実施形態を示す。図５では、ウェアラブルデバイス５４３は、モバイルデバイス５４５を経由する必要なく、基地局又はアクセスポイント５４４及びインターネットを介して、中央処理及び記憶システム５４６とデータ又は他の情報を直接交換することができる。モバイルデバイス５４５は、中央処理及び記憶システム５４６、又はローカル無線若しくは有線ネットワークのいずれかを介して、ウェアラブルデバイス５４３とデータ又は他の情報を交換してよい。中央処理及び記憶システム５４６は、１つ以上の追加の電子デバイス５５０と情報を交換してよい。
図６は、一実施形態による、電子デバイス２１８内に配設された構成要素の一部を示す。電子デバイス２１８は、典型的には、部分的に、１つ以上のセンサユニット６２７と、処理ユニット６２８と、メモリ６２９と、クロック又は水晶振動子６３０と、無線回路６３４と、電力管理ユニット（「ＰＭＵ」）６３１と、を含む。電子デバイス２１８はまた、１つ以上のカメラモジュール６２６と、１つ以上の刺激ユニット６３３と、１つ以上のユーザインタフェース６３２と、を含んでよい。図示していないが、コンデンサ、抵抗器、インダクタのような他の構成要素はまた、当該電子デバイス２１８に含まれてよい。電力管理ユニット６３１は、とりわけ、電池、充電回路、レギュレータ、１つ以上の構成要素への電源供給を停止するハードウェア、電源プラグのうちの１つ以上を含んでよい。
多くの実施形態では、電子デバイス２１８は、単純かつ限定されたユーザインタフェースを有する、サイズに制限のある、電力感知式のバッテリ駆動型デバイスである。電力が制限される場合、電子デバイス２１８は、挙動イベント外で電力を節約するようにプログラムされてよい。例えば、電子デバイス２１８内のプロセッサは、摂食イベントなど挙動イベントの開始を判定し、次いで追加センサの電源を投入し、特定のセンサをより高性能のモードにし、かつ／又はプロセッサが挙動イベントの終了を判定するまで追加の計算を実行するようにプログラムされてよく、挙動イベントの終了時点で、プロセッサは追加センサの電源を切断し、特定のセンサをより低性能のモードに戻し、追加の計算を行わなくてよい。
例えば、プロセッサは、加速度計を除いて、全ての動き検出関連回路を無効化するようにプログラムされてよい。次いで、プロセッサは、加速度計センサデータを監視し、それらのデータが、噛み付きジェスチャ又はすすり込みジェスチャなど実際の、又は顕著な食物摂取活動を示す場合、プロセッサは、データ記録機構など追加の回路を起動することができる。プロセッサは、加速度計センサデータを使用して、装着者の腕のピッチを監視してよい。
例えば、プロセッサは、ピッチが特定の閾値を超えるまで、おそらくは装着者の口に向かう手又は腕の動きを示す、装着者の腕のピッチを測定してよい。検出されると、プロセッサは、（例えば、この状態のために確保されていたメモリ位置を、「非アクティブ」又は「イベント外」から「アクション中」又は「イベント中」に変更することなどによって）状態を変更し、追加の回路を起動するか、又は特定の回路若しくは構成要素のより高性能のモードを起動することができる。別の実施形態では、加速度の第１の積分（速度）若しくは加速度の第２の積分（移動距離）など他の加速度計センサデータ特性、又は加速度の第１の積分及び／若しくは加速度の第２の積分に関連する若しくはそれから導出された特性が、１つ以上の加速度計の軸から判定されたものとして使用されてよい。機械学習プロセスは、特定の動きを検出し、それらをジェスチャに変換するために使用されてよい。
食物摂取イベントの終了は、最後の噛み付き若しくはすすり込み動作から特定の時間が経過したかどうか、又は他のデータ（装着者に関するメタデータ、動き検出センサデータ、及び／若しくは装着者の履歴データ、又はそれらの組み合わせ）を考慮することによって、プロセッサによって検出されてよい。これらに基づいて、プロセッサは、食物摂取イベントの可能性は低いと判定し、次いで、電子デバイスの状態を非アクティブ監視状態、場合によっては低電力のモードに変更する。
より低電力のモードは、プロセッサが、加速度計及び／又はジャイロスコープのサンプリング速度を低減すること、ジャイロスコープの電源を切断すること、センサデータが電子デバイス（電子デバイス２１８など）からサポートデバイス（電子デバイス２１９など）に転送される更新速度を低下させること、感知電子デバイスからサポートデバイスにデータを転送する前にデータを圧縮することによって実現してよい。
本開示のいくつかの実施形態では、図５に別個の構成要素として示す構成要素の一部は、統合されてよい。一例として、処理ユニット、メモリ、無線回路、及びＰＭＵ機能は、単一の無線マイクロコントローラユニット（「ＭＣＵ」）内で完全に又は部分的に統合されてよい。他の組み合わせも可能である。同様に、図５に単一の構成要素として示す構成要素は、複数の構成要素として実装されてよい。一例として、処理機能は、複数のプロセッサに分散されてよい。同様に、データ記憶機能は、複数のメモリ構成要素に分散されてよい。分散実装の他の例も可能である。
本開示の別の実施形態では、無線回路は存在しなくてよく、代わりに異なるインタフェース（例えば、ＵＳＢインタフェース及びケーブルなど）が使用されて、データ又は情報を電子デバイス２１８に、及び／又は電子デバイス２１８から転送してよい。
刺激ユニット６３３は、電子デバイスのユーザにフィードバックを提供してよい。刺激ユニット６３３としては、ユーザに力、振動又は動きを加える触覚インタフェース、ユーザに音を提供するスピーカ又はヘッドホンインタフェース、及びユーザに視覚フィードバックを提供するディスプレイが挙げられ得るが、これらに限定されない。
特定の実施形態では、電子デバイス２１８に埋め込まれたセンサからの信号の処理及び分析により、電子デバイスが停止している、手を加えられている、又は身体から取り外されている、又は使用されていないときを検出することができる。これは、電力を節約するために、又はユーザ、友人、若しくは電子デバイス２１８が適切に使用されていない場合に通知を受けることに、直接的又は間接的に利害関係を有する別の人物に通知を送信するために使用され得る。
食物摂取イベントの開始／終了の検出／予測の説明
好ましい実施形態では、電子デバイス２１８は、手首、腕、又は指の周りに装着され、食物摂取イベントの開始及び／又は終了を検出するために必要なデータを生成する１つ以上のセンサを有する。電子デバイス２１８はまた、人の腕又は手首に取り付けることができるパッチに一体化されてよい。電子デバイス２１８はまた、手首、腕、又は指の周りに装着される別のデバイスに取り付けることができるモジュール又はアドオンデバイスであってよい。食物摂取イベントの開始及び／又は終了を検出するために使用されるセンサは、センサの中でも特に、本明細書に記載されるセンサのうちの１つ以上を含んでよい。
未処理のセンサ出力は、メモリ６２９にローカルに記憶され、処理ユニット６２８でローカルに処理されて、食物摂取イベントの開始又は終了が生じたかどうかを検出してよい。あるいは、１つ以上のセンサ出力が、未処理又は処理済みの形式のいずれかで電子デバイス２１９及び／又は中央処理及び記憶ユニット２２０に送信されて更に処理され、食物摂取イベントの開始又は終了が生じたかどうかを検出することができる。食物摂取検出の処理が行われる場所にかかわらず、未処理又は処理済みの形式のセンサ出力は、電子デバイス２１８内に、電子デバイス２１９内に、及び／又は中央処理及び記憶ユニット２２０内に記憶されてよい。
食物摂取イベントの開始及び／又は終了の検出に必要なデータを生成する１つ以上のセンサは、電子デバイス２１８の内部にあってよい。あるいは、食物摂取イベントの開始の検出に関与するセンサのうちの１つ以上は、電子デバイス２１８の外部にあってよいが、無線又は有線での電子デバイス２１８との直接通信、又は別のデバイスを通じて間接的に、のいずれかによって電子デバイス２１８に関連情報を中継することができる。電子デバイス２１８及び１つ以上の外部センサは、情報を電子デバイス２１９に中継することはできるが、互いに情報を直接中継することはできない。
携帯電話、又は他のポータブルデバイス若しくは固定デバイスなど別のデバイスを介した間接通信の場合、かかる第３のデバイスは、１つ以上の外部センサユニットからデータ又は情報を受信することができ、任意選択的に、かかるデータ又は情報を処理し、未処理又は処理済みのいずれかのデータ又は情報を電子デバイス２１８に転送する。電子デバイス２１８に対する通信は、有線若しくは無線、又は両方の組み合わせであってよい。
電子デバイス２１８の外部にあり得るセンサの例は、首周りに装着されたネックレス若しくはペンダントに埋め込まれた１つ以上のセンサ、身体の異なる位置に取り付けられたパッチに埋め込まれた１つ以上のセンサ、他方の腕若しくは手首の周りに、又は他方の手の指に装着される、補助的な第２のウェアラブルデバイスに埋め込まれた１つ以上のセンサ、又は歯に組み込まれた１つ以上のセンサであってよい。いくつかの実施形態では、電子デバイスは片方の手又は腕に装着されるが、他方の手又は腕の動きを検出する。いくつかの実施形態では、電子デバイスは、両手に装着される。
非リアルタイム分析及び学習サブシステム１０５から得られた情報は、任意選択的に、１つ以上のセンサ６２７からの情報と組み合わせて使用されて、食物摂取イベントの可能性の高い開始／終了、開始直前／終了、又は実際の開始／終了の検出を予測してよい、又は容易にしてよい。
食物摂取イベントの開始及び／又は終了の検出及び／又は予測は、ユーザの介入を必要とせずに、自律的に生じることが望ましい。例えば、食物摂取イベントの実際の開始、可能性の高い開始、又は開始直前が自律的に予測される、又は検出される場合、この情報は、食物摂取イベント中にのみ必要とされる特定の構成要素又は回路を起動する、又は電源投入するトリガとして使用され得る。これは、電力の節約及び電子デバイス２１８のバッテリ寿命の延長に役立ち得る。食物摂取イベントの実際の開始、可能性の高い開始、又は開始直前の予測又は検出はまた、ユーザにキュー又はリマインダを発するために使用され得る。キューは、例えば、食物摂取イベントを記録すること、又は食品の写真を撮ることが挙げられるが、これらに限定されない更なるアクションを講じることを想起させるためにユーザに送信され得る。食物摂取イベントの開始を検出すると、１つ以上のキューは、場合によっては食物摂取イベントの期間中送信されて、食物摂取イベントが生じていることをユーザに想起させ、一瞬で意識を改善し、かつ／又は意識的な摂食を促す。例えば、１つ以上の刺激ユニット６３３を使用して、別個の触覚フィードバックを介してキュー又はリマインダが送信されてよい。例えば、１つ以上のＬＥＤ、ディスプレイメッセージ、又は音声信号など１つ以上のユーザインタフェース６３２を使用する他の方法も可能である。あるいは、モバイルデバイスを使用して、例えば、キュー、リマインダ、又は他の情報、例えば、一人前の分量の勧告又は別の摂食に対する提言などをユーザに伝達してよい。
例えば、食物摂取イベントの実際の開始、可能性の高い開始、又は開始直前が自律的に予測される、又は検出される場合、この情報は、食物摂取イベント中にのみ必要とされる電子デバイスの１つ以上の回路又は構成要素の電源を停止する、又はこれらを少なくともより低電力のモードにするトリガとして使用され得る。これは、電力の節約及び電子デバイスのバッテリ寿命の延長に役立ち得る。食物摂取イベントの実際の終了、可能性の高い終了、又は開始直前の終了の検出はまた、１つ以上の刺激ユニット６３３、１つ以上のユーザインタフェース６３２、及び／又はモバイルデバイスによってユーザに提供されたフィードバックを変更する、又は一時停止するために使用されてよい。
本開示のいくつかの実施形態では、食物摂取イベントの実際の開始及び／若しくは終了、可能性の高い開始及び／若しくは終了、又は開始直前及び／若しくは終了の検出又は予測は、完全には自律的でなくてよい。例えば、ユーザは、特定の腕、手首、手、又は指ジェスチャを行って、食物摂取イベントの実際の開始及び／若しくは終了、可能性の高い開始及び／若しくは終了、又は開始直前及び／若しくは終了を電子デバイスに伝達する必要があってよい。次いで、腕、手首、手、又は指ジェスチャは、電子デバイス内の１つ以上のセンサによって検出される。通常、食物摂取イベントの開始及び／又は終了を示すために必要な腕、手首、手、又は指のジェスチャは、目立たず、かつ別個の方法で実行され得ることが望ましい。他の方法も使用されてよい。例えば、ユーザは、電子デバイス上のボタンを押して、食物摂取イベントの開始及び／又は終了を示すように求められてよい。電子デバイスに内蔵されたマイクロフォンを使用した音声起動コマンドも使用されてよい。他の方法も可能である。
摂食挙動及びパターンの追跡の説明
特定の実施形態では、電子デバイスは、手首、腕、又は指の周りに装着され、摂食挙動、パターン、及び習慣の測定及び分析を容易にするデータを生成する１つ以上のセンサを有する。特定の摂食挙動及びパターンを測定し、分析するために使用されるセンサは、本明細書に記載のセンサのうちの１つ以上を含んでよい。
摂食挙動及び摂食パターンを定量化し、追跡するために使用され得る関連メトリックとしては、後続の噛み付き又はすすり込みとの間隔、皿とユーザの口との間の距離、ユーザの口に向かう及び／又はユーザの口から離れる腕の動きの速度、並びに噛み付き又はすすり込みに対応する腕動作の総回数、特定の咀嚼挙動及び特性、噛み付きと嚥下との間の時間、嚥下前の咀嚼量から導出される、１回の摂食イベント中の噛み付き回数又はすすり込み回数が挙げられ得るが、これらに限定されない。
図６は、かかる電子デバイスの構成要素の例を示す。図示するように、未処理のセンサ出力は、メモリ６２９にローカルに記憶され、処理ユニット６２８でローカルに処理されてよい。あるいは、１つ以上のセンサ出力は、未処理又は処理済み形式のいずれかで、電子デバイス及び／又は処理ユニット６２８に送信されて、更なる処理及び分析が行われてよい。摂食挙動及びパターンの処理及び分析が生じる場所にかかわらず、未処理又は処理済みの形式のセンサ出力は、携帯電話など補助電子デバイス、及び／又は処理ユニット６２８に記憶されてよい。
いくつかの実施形態では、摂食挙動、パターン、及び習慣の測定及び分析を容易にするデータの生成、収集、及び／又は処理は、連続的、定期的、ないしは食物摂取イベントの開始及び／又は終了と無関係であってよい。あるいは、摂食挙動及びパターンの測定及び分析を容易にするデータの生成、収集、及び／又は処理は、食物摂取イベント中にのみ生じてもよく、ないしは別の方法で特定の食物摂取イベントと関連していてよい。一部のセンサデータが、連続的に、定期的に、ないしは食物摂取イベントの開始及び／又は終了とは無関係に生成され、収集され、及び／又は処理され、その一方では、他のセンサデータが食物摂取イベント中に取得される、ないしは別の方法で食物摂取イベントに関連することも可能である。
摂食挙動及び摂食パターンを測定及び分析するために必要なデータを生成する１つ以上のセンサは、電子デバイスの内部にあってよい。あるいは、摂食挙動及び摂食パターンを測定及び分析するために必要なデータを生成するセンサのうちの１つ以上は、電子デバイスの外部にあってよいが、無線又は有線での電子デバイスとの直接通信、又は別のデバイスを通じて間接的に、のいずれかによって電子デバイスに関連情報を中継することができる。
携帯電話、又は他のポータブルデバイス若しくは固定デバイスなど別のデバイスを介した間接通信の場合、かかる第３のデバイスは、外部センサユニットからデータ又は情報を受信することができ、任意選択的に、かかるデータ又は情報を処理し、未処理又は処理済みのいずれかのデータ又は情報を追跡デバイスに転送する。電子デバイスに対する通信は、有線若しくは無線、又は両方の組み合わせであってよい。
電子デバイスの外部にあり得るセンサの例は、首周りに装着されたネックレス若しくはペンダントに埋め込まれた１つ以上のセンサ、身体の異なる位置に取り付けられたパッチに埋め込まれた１つ以上のセンサ、他方の腕若しくは手首の周りに、又は他方の手の指に装着される、補助的な第２のウェアラブルデバイスに埋め込まれた１つ以上のセンサ、又は歯に組み込まれた１つ以上のセンサであってよい。
カメラモジュール及び画像キャプチャの使用の説明
従来技術では、食品の画像をキャプチャするためにはカメラを使用することが提案されてきたが、これは、典型的には、ユーザが自身の携帯電話又はタブレットを用いて写真を撮ることに依存する。残念ながら、携帯電話又はタブレットを使用した画像キャプチャは、使用時に大きな軋轢を生じさせ、特定の食事状況において社会的に許容されない、又は食事経験の真正性を妨げる場合がある。ユーザが自身の携帯電話を取り出し、画面のロックを解除し、モバイルアプリを開き、携帯電話に内蔵されているカメラを使用して写真を撮る必要があることは、多くの場合、望ましくなく、不適切である。
ユーザの介入が必要とされる場合、ユーザの介入は、目立ちにくく、かつ別個の方法で、また、可能な限り軋轢が少なくなるように実行され得ることが一般に望ましい。使用時の軋轢を最小限に抑えるために、多くの場合、画像キャプチャを電子デバイスから直接開始することができることが望ましい。
本明細書で提供される例は、食品及び食事シナリオの画像キャプチャを例として使用するが、本開示を読むと、本明細書に記載の方法及び装置は、食品及び食事シナリオ以外の物体及び場面の画像キャプチャに適用され得ることは明らかであるべきである。例えば、ファインダのないカメラは、食品イベントキャプチャドメイン外のアプリケーションを有し得る。
いくつかの実施形態では、電子デバイスは、手首、腕、又は指の周りに装着され、１つ以上のカメラモジュール６２６を含む。１つ以上のカメラモジュール６２６は、本開示の一実施形態による静止画像のキャプチャ、及び本開示の別の実施形態による１つ以上のビデオストリームのキャプチャに使用されてよい。本開示の更に別の実施形態では、静止画像とストリーミング画像との組み合わせも可能である。
１つ以上のカメラモジュールはまた、首周りに装着されるネックレス又はペンダントなど身体の周囲の異なる位置に装着されるデバイス、又はユーザの衣類に取り付けられる、若しくは一体化されるデバイスに含まれてよく、カメラモジュール又はカメラモジュールは、好ましくは、摂取されている食物の視野内にあり得るように前面を向いてよい。
いくつかの実施形態では、カメラモジュールの起動及び／又はカメラモジュールによる画像キャプチャは、ある程度のユーザ介入を必要としてよい。ユーザ介入としては、とりわけ、ボタンを押すこと、電子デバイス若しくはモバイルデバイスに内蔵されたマイクロフォンに音声コマンドを発すること、電子デバイス又はモバイルデバイスに組み込まれたディスプレイを使用して選択を行うこと、特定の腕、手首、手、若しくは指ジェスチャを発すること、対象物がカメラの視野内に存在するようにカメラを向けること、カメラと対象物との間の視野内にあり得る障害物を除去すること、及び／又はカメラの視野内にあるように対象物の位置を調整することが挙げられてよい。他のユーザ介入方法、又は複数のユーザ介入方法の組み合わせもまた可能である。
本開示の一実施形態では、カメラモジュールは、ファインダを有していなくてよい、又はカメラの視野内の領域についてユーザにフィードバックを与えることができるディスプレイを有していなくてよい、ウェアラブルデバイスなど電子デバイスに内蔵される。この場合、電子デバイスは、可視光のパターンを表面又は物体に投射して、カメラの視野内の領域をユーザに示す光源を含んでよい。光源としては、１つ以上の発光ダイオード（ＬＥＤ）が使用されてよい。レーザ、ハロゲン、又は白熱光源が挙げられるが、これらに限定されない他の光源も可能である。可視光のパターンは、とりわけ、カメラの位置を調整するため、対象物の位置を調整するため、及び／又は対象物とカメラとの間で視線を遮る全ての物体を除去するためにユーザによって使用されてよい。
光源はまた、他の情報をユーザに伝達するために使用されてよい。一例として、電子デバイスは、１つ以上の近接センサからの入力を使用し、それらの入力を処理して、カメラが対象物から適切な距離範囲内にあるかどうかを判定し、１つ以上の光源を使用して、カメラが適切な距離範囲内にあること、ユーザがカメラと対象物との間の距離を増加させる必要があること、又はユーザがカメラと対象物との間の距離を低減する必要があることを伝達してよい。
光源はまた、環境光センサと組み合わせて使用されて、適切な品質の画像キャプチャには環境光が不十分であるか、又は強すぎるかを伝達してよい。
光源はまた、低バッテリ状況又は機能的欠陥が挙げられるが、これらに限定されない情報を伝達するために使用されてよい。
光源はまた、食事指導情報を伝達するために使用されてよい。一例として、光源は、とりわけ、以前の食物摂取イベントから十分な時間が経過していない、若しくは時間が経過し過ぎているかを示してよい、又は特定の食事目標に対するユーザの現況をユーザに伝達してよい。
１つ以上の光源を使用して特定のメッセージを伝達するための伝達機構としては、特定の光強度又は光強度パターン、特定の光色又は光色パターン、特定の空間光パターン又は時間光パターンのうちの１つ以上が挙げられ得るが、これらに限定されない。複数の機構はまた、組み合わされて、１つの特定のメッセージを伝達してよい。
本開示の別の実施形態では、カメラモジュールは、ファインダを有していない、又はカメラの視野内の領域についてユーザにフィードバックを与えることができるディスプレイを有していない、ウェアラブルデバイスなど電子デバイスに内蔵されてよい。光源を使用する代わりに、又はそれに加えて、カメラモジュールによってキャプチャされた１つ以上の画像は、場合によっては電子デバイスに埋め込まれた他のセンサからの入力と組み合わされて、電子デバイス内の処理ユニット、モバイル機器内の処理ユニット、及び／又は分析用の処理ユニット６２８に送信されて、対象物がカメラの適切な視野及び／又は適切な焦点範囲内にあるかどうかを判定してよい。分析の結果は、触覚フィードバック、１つ以上のＬＥＤ若しくはディスプレイを使用する視覚フィードバック、及び／又は音声フィードバックが挙げられるがこれらに限定されない、電子デバイス内で使用可能なフィードバック機構のうちの１つを使用して、ユーザに伝達されてよい。
本開示のいくつかの他の実施形態では、電子デバイスは、いずれのユーザ介入もなく、１つ以上の画像をキャプチャしてよい。電子デバイスは、連続的に、定期的に、ないしは任意の食物摂取イベントとは無関係に、静止画像又はストリーミング画像をキャプチャしてよい。あるいは、電子デバイスは、食物摂取イベントの前後又はその期間中に、そのカメラモジュールのうちの１つ以上を起動するのみであってよい。一例として、電子デバイスは、食物摂取イベントの開始が検出された後かつ食物摂取イベントの終了が検出される前に、そのカメラモジュールのうちの１つ以上のみを起動するのみであってよい。そのカメラモジュールのうちの１つ以上を使用して、食料品若しくは料理全体、又は１つ以上の食料品若しくは料理の一部の１つ以上の画像をキャプチャしてよい。
いくつかの実施形態では、１つのカメラが使用されて、皿、テーブル、又は他の静止面上にある食料品の１つ以上の画像をキャプチャしてよく、第２のカメラが使用されて、ユーザに把持されている食料品、例えば、フィンガーフード又は飲料の１つ以上の画像をキャプチャしてよい。２つ以上のカメラの使用は、ユーザの介入が望ましくなく、かつ単一カメラの位置、視野域、又は焦点範囲が、全ての考えられる食事シナリオをキャプチャするのに適していない状況において、望ましい場合がある。
ある例示的実施形態では、カメラの位置、向き、及び角度は、ユーザ介入なしで画像又はビデオキャプチャが可能であるようなものである。かかる実施形態では、ウェアラブルデバイスは様々な技術を使用して、食品又は摂取されている食品の一部をキャプチャすることができるように、画像又はビデオストリームキャプチャの適切なタイミングを判定してよい。この目的のために、複数の画像又はビデオストリームをキャプチャすることを選択してよい。適切なタイミングを判定する技術としては、近接度の感知、加速度又は動きの感知（又はその不在）、位置情報が挙げられ得るが、これらに限定されない。かかるセンサ情報は、単独で、又はパターン認識若しくはデータ分析技術（又はその両方の組み合わせ）と組み合わせて使用されて、画像又はビデオキャプチャの最良のタイミングを予測してよい。技術としては、機械学習に基づいたモデルの訓練が挙げられ得るが、これらに限定されない。
キャプチャされた静止画像及び／又はストリーミング画像は、通常、ある程度の処理を必要とする。処理としては、圧縮、削除、リサイズ、フィルタリング、画像編集、及び例えば、特定の食品若しくは料理など物体、又は、例えば、一人前の分量など特徴を特定するコンピュータ画像認識技術が挙げられ得るが、これらに限定されない。１つ以上のカメラモジュールが電子デバイスの内部にあるかどうかにかかわらず、１つ以上のカメラモジュールからの静止画像又はストリーミング画像を処理するために使用され得る処理ユニットとしては、電子デバイスの内部の処理ユニット、電子デバイスが使用されている場所と同じ場所に存在してよい、又はリモート位置（例えば、クラウドサーバ内）に存在してよい（この場合は、インターネットを介してアクセスされ得る）、モバイルデバイス及び／又は処理ユニット６２８の内部の処理ユニットが挙げられるが、これらに限定されない。画像処理はまた、上述の処理ユニットの組み合わせに分散されてよい。
ローカル処理の例としては、複数の画像又は１つ以上のビデオストリームから１つ以上の静止画像を選択すること、画像又はビデオストリームの圧縮、１つ以上の画像又はビデオストリームへのコンピュータビジョンアルゴリズムの適用が挙げられ得るが、これらに限定されない。
ローカル処理は、圧縮を含んでよい。圧縮の場合、圧縮された画像は、緊急を要するトランザクションの一部として送信されてよく、その一方で、その非圧縮バージョンは、後に送信するために保存されてよい。
１つ以上の静止画像又はストリーミング画像は、食物摂取イベントの開始及び／又は終了の検出、食料品の特定、食品内容の特定、栄養情報の特定又は取得、一人前の分量の推定、並びに特定の摂食挙動及び摂食パターンの推定が挙げられるが、これらに限定されない１つ又は複数の目的のために分析されてよい、及び／又は比較されてよい。
一例として、コンピュータ画像認識技術は、任意選択的に他の画像操作技術と組み合わせて使用されて、食品カテゴリ、特定の食料品を特定してよい、及び／又は一人前の分量を推定してよい。あるいは、画像は、メカニカルタークプロセス又は他のクラウドソーシング法を使用して手動で解析されてよい。食品カテゴリ及び／又は特定の食料品が特定されると、この情報が使用されて、１つ以上の食品／栄養データベースから栄養情報を取り込むことができる。
別の例として、ユーザの飲食の速度に関する情報は、食物摂取イベントの過程の異なる時点でキャプチャされた複数の画像を分析し、比較することから推測されてよい。更に別の例として、画像は、任意選択的に他のセンサ情報と組み合わせて使用されて、フィンガーフード又は間食から着席での食事を区別してよい。更に別の例として、食物摂取イベントの開始時に撮影された１つの画像、及び食物摂取イベントの終了時に撮影された別の画像の分析は、実際の食品摂取量に関する情報を提供してよい。
ユーザフィードバックの説明
本開示の好ましい実施形態では、電子デバイス２１８は、手首、腕、又は指の周りに装着され、ユーザ又は電子デバイスの装着者へのフィードバックを可能にする、１つ以上の刺激ユニット及び／又はユーザインタフェースを有する。本開示の異なる実施形態では、電子デバイス２１８は、身体に取り付けられてよい、又は衣類に埋め込まれてよい装着可能なパッチとして実現されてよい。
フィードバックは、通常、食品又は食物摂取に関連するフィードバックを含む。フィードバック方法としては、触覚フィードバック、ＬＥＤ若しくはディスプレイを使用する視覚フィードバック、又は音声フィードバックが挙げられ得るが、これらに限定されない。１つのかかる実施形態では、電子デバイス２１８は、食物摂取イベントの開始及び／又は終了が検出されたときに、１回又は複数回振動する触覚インタフェースを有してよい。別の実施形態では、電子デバイス２１８は、追跡及び処理サブシステムが、デバイスの装着者は食物を摂取しており、例えば、摂食が速すぎる、遅すぎる、又は大量すぎるなど、特定のプログラムされた閾値を超える摂食挙動を示していると特定すると、１回又は複数回振動する触覚インタフェースを有してよい。あるいは、触覚インタフェースは、特定の摂食挙動とは関係なく食物摂取イベント中に１回以上振動して、例えば、食物摂取イベントが生じているという事実を装着者に想起させ、かつ／又は瞬時に意識を改善させて、意識的な摂食を促してよい。他のフィードバック方法も可能であり、異なるメトリック又は基準が使用されて、かかるフィードバック方法の起動をトリガしてよい。
本開示の異なる実施形態では、フィードバックは、電子デバイス２１８とは別個のデバイスを通じてユーザに提供される。ユーザにフィードバックを提供するために必要な１つ以上の刺激ユニット及び／又はユーザインタフェースは、電子デバイス２１８の外部にあってよい。一例として、１つ以上の刺激ユニット及び／又はユーザインタフェースは、電子デバイス２１９の内部にあってよく、電子デバイス２１９の内部にある１つ以上の当該刺激ユニット及び／又は当該ユーザインタフェースが使用されて、電子デバイス２１８によって提供されるフィードバックの代わりに、又はそれに加えてフィードバックを提供してよい。例としては、電子デバイス２１９のディスプレイに表示されるメッセージ、又は電子デバイス２１９の内部に埋め込まれた音声サブシステムによって発せられる音声警報が挙げられ得るが、これらに限定されない。
あるいは、フィードバックは、電子デバイス２１８及び電子デバイス２１９の両方とは別個であるが、少なくとも、直接的に又は間接的にのいずれかで、それらのデバイスのうちの少なくとも１つからデータを受信することができるデバイスを介して提供されてよい。
図２又は図３のシステムはまた、食物摂取イベントの前後又は当該イベント中に提供されるフィードバックに加えて、又はその代わりに、複数の食物摂取イベントにわたり得る、又は特定の食物摂取イベント若しくは食物摂取イベントのセットに関連しないフィードバックを提供してよい。かかるフィードバックの例としては、食品内容及び栄養情報、履歴データの要旨、長期間にわたる、１つ以上の追跡パラメータの概要、１つ以上の追跡パラメータの経過、個人向けの食事指導及び助言、患者仲間又は類似のプロファイルを有する他のユーザに対する、１つ以上の追跡パラメータのベンチマークが挙げられ得るが、これらに限定されない。
特定の実施形態の詳細な説明
本開示のある特定の実施形態では、電子デバイス２１８は、ユーザの利き手の手首又は腕の周りに装着されるブレスレット又はリストバンドの形状のウェアラブルデバイスである。電子デバイス２１９は携帯電話であり、中央処理及び記憶ユニット２２０は、リモート位置に位置する１つ以上のコンピュータサーバ及びデータ記憶装置である。
本発明の態様によるウェアラブルブレスレット又はリストバンドの１つの可能な実施例を図７に示す。ウェアラブルデバイス７７０は、任意選択的に、モジュール式設計を使用して実現されてよく、個々のモジュールは、構成要素の１つ以上及び機能全体のサブセットを含む。ユーザは、個人の好み及び必要性に基づいて特定モジュールを追加することを選択してもよい。
ウェアラブルデバイス７７０は、プロセッサと、プログラムコードメモリと、当該メモリ及び／又は電子デバイス２１９に記憶されたプログラムコード（ソフトウェア）と、を含んで、任意選択的に、ユーザがウェアラブルデバイス７７０の機能のサブセットをカスタマイズできるようにしてよい。
ウェアラブルデバイス７７０は、バッテリ７６９及び電力管理ユニット（「ＰＭＵ」）７６０に依存して、全ての電子回路及び構成要素に適切な供給電圧レベルで電力を供給する。電力管理ユニット７６０はまた、バッテリ充電回路を含んでよい。電力管理ユニット７６０はまた、使用されていないときに、特定の電子回路及び構成要素への電力を切断することができるスイッチなどハードウェアを含んでよい。
進行中に挙動イベントがない場合、ウェアラブルデバイス７７０内のほとんどの回路及び構成要素は、電源が切断されて電力を節約する。挙動イベントの開始を検出する又は開始の予測を支援するために必要な回路及び構成要素のみが起動状態で保たれてよい。例えば、動きが全く検出されていない場合、加速度計を除く全てのセンサ回路の電源が切断されてよく、加速度計は、低電力の動作時起動モード又はその高性能起動モードよりも電力消費の少ない、別の低電力のモードにされてよい。処理ユニットはまた、電力を節約するために低電力モードにされてよい。動き又は特定の動きパターンが検出されると、加速度計及び／又は処理ユニットは、より高電力のモードに切り替わってよく、追加のセンサ、例えばジャイロスコープ及び／又は近接センサなども起動されてよい。可能性の高いイベントの開始が検出されると、ジェスチャタイプ、ジェスチャ期間など、イベント固有のパラメータを記憶するためのメモリ変数が初期化され得る。
別の例では、動きの検出時に、加速度計はより高電力のモードに切り替わるが、他のセンサは、加速度計からのデータが挙動イベントの開始が生じる可能性が高いことを示すまで、電源が切断されたままである。ジャイロスコープ及び近接センサなどの追加のセンサは、その時点で起動されてよい。
別の例では、進行中に挙動イベントがないとき、加速度計及びジャイロスコープの両方が起動されるが、加速度計又はジャイロスコープのうちのいずれか少なくとも１つは、それらの通常の電力モードと比較して低い電力モードにされる。例えば、電力を節約するために、サンプリングレートが低減されてよい。同様に、電子デバイス２１８から電子デバイス２１９にデータを転送するために必要な回路は、より低電力のモードにされてよい。例えば、無線回路７６４は、完全に停止にされ得る。同様に、電子デバイス２１８から電子デバイス２１９にデータを転送するために必要な回路は、より低電力のモードにされてよい。例えば、可能性の高い挙動イベントが判定されるまで、完全に停止され得る。あるいは、起動されたままであるが、低電力状態にされて、電子デバイス２１８と電子デバイス２１９との間の接続を維持するものの、センサデータを転送しなくてよい。
更に別の例では、特定のメタデータに基づいて、食物摂取イベントなど特定の挙動イベントが生じる可能性が低いと判定されると、加速度計を含む全ての動き検出関連回路の電源が切断されてよい。これは、例えば、更に電力を節約するために望ましい場合がある。この判定を行うために使用されるメタデータとしては、とりわけ、時刻、場所、環境光レベル、近接感知、ウェアラブルデバイス７７０が手首又は手から取り外されたことの検出、ウェアラブルデバイス７７０が充電されていることの検出のうちの１つ以上が挙げられてよい。メタデータは、ウェアラブルデバイス７７０の内部で生成され、収集されてよい。あるいは、メタデータは、携帯電話の内部、又はウェアラブルデバイス７７０及び携帯電話の外部にあり、携帯電話及び／又はウェアラブルデバイス７７０と、直接的に又は間接的にのいずれかで情報を交換することができる別のデバイスの内部で収集されてよい。メタデータの一部がウェアラブルデバイス７７０内で生成され、収集され、その一方では、他のメタデータがウェアラブルデバイス７７０の外部にあるデバイスで生成され、収集されることも可能である。ウェアラブルデバイス７７０の外部でメタデータの一部又は全部が生成され、収集される場合、ウェアラブルデバイス７７０は、その無線回路７６４の電源を定期的に、つまり時々入れて、携帯電話又は他の外部デバイスからのメタデータ関連情報を取得してよい。
本発明の更に別の実施形態では、特定のメタデータが、例えば、食物摂取イベントなど特定の挙動イベントが生じる可能性が高いことを示す場合、センサの一部又は全ての電源が投入されてよい、又はそれらをより高電力のモードにしてよい。この判定を行うために使用されるメタデータとしては、とりわけ、時刻、位置、環境光レベル、及び近接感知のうちの１つ以上が挙げられ得る。メタデータの一部又は全ては、携帯電話の内部、又はウェアラブルデバイス７７０及び携帯電話の外部にあり、携帯電話及び／又はウェアラブルデバイス７７０と、直接的に又は間接的にのいずれかで情報を交換することができる別のデバイスの内部で収集されてよい。ウェアラブルデバイス７７０の外部でメタデータの一部又は全部が生成され、収集される場合、ウェアラブルデバイス７７０は、その無線回路７６４の電源を定期的に、つまり時々入れて、携帯電話又は他の外部デバイスからのメタデータ関連情報を取得してよい。
挙動イベント、例えば食物摂取イベントなどの開始を検出すると、ウェアラブルデバイス７７０の利用可能なユーザインタフェース、又はウェアラブルデバイス７７０が接続されている携帯電話の利用可能なユーザインタフェースのうちの１つを介して、ユーザに伝達されてよい。一例として、ウェアラブルデバイス７７０内の触覚インタフェース７６１が、この目的のために使用されてよい。他の伝達方法も可能である。
例えば食物摂取イベントなどの挙動イベントの開始を検出すると、センサの一部又は全てを高電力モード若しくは起動モードにして、又はこれらのモードのままで、食物摂取イベントの一部又は全体でユーザの摂食挙動の特定の側面を追跡することをトリガしてよい。１つ以上のセンサは、挙動イベントの実際の終了又は可能性の高い終了（挙動イベントのみなし終了）が検出されたとき、又はその後のいつかの時点で、電力を切断されてよい、又はより低電力のモードにされてよい。あるいは、１つ以上のセンサは、一定期間又はプログラム可能な期間の後に、電源を切断されるか、又はより低電力のモードにされることも可能である。
ユーザの挙動、例えば、ユーザの摂食挙動などの特定の側面を追跡するために使用されるセンサデータは、ウェアラブルデバイス７７０のメモリ７６６にローカルに記憶され、ウェアラブルデバイス７７０内の処理ユニット７６７を使用してローカルに処理されてよい。センサデータはまた、無線回路７６４を使用して携帯電話又はリモートコンピュータサーバに転送されて、更に処理され、分析されてよい。処理及び分析の一部は、ウェアラブルデバイス７７０の内部でローカルに行われ、他の処理及び分析が携帯電話又はリモートコンピュータサーバ上で行われることも可能である。
挙動イベントの開始、例えば、食物摂取イベントの開始などを検出すると、例えばカメラモジュール７５１など追加のセンサ及び回路の電源投入及び／又は起動をトリガしてよい。追加のセンサ及び回路の電源投入及び／又は起動は、食物摂取イベントの開始の検出と同時、又はその少し後で生じてよい。特定のセンサ及び回路は、必要に応じて食物摂取イベント中の特定の時間のみ電源が投入されてよく、それ以外では電源が切断されて、電力を節約してよい。
カメラモジュール７５１は、例えばボタン７５９を押したままにするなど明示的なユーザの介入時にのみ、電源が投入される、又は起動されることも可能である。ボタン７５９から手を離すと、カメラモジュール７５１の電源は再び切断されて、電力を節約してよい。
カメラモジュール７５１の電源が投入されると、投光光源７５２も有効になって、カメラの視野内にある領域に関して視覚フィードバックをユーザに提供する。あるいは、投光光源７５２は、カメラモジュールの起動後のいつかの時点でのみ起動されてよい。特定の場合では、投光光源７５２が起動する前に追加条件を満たす必要があり得る。かかる条件としては、とりわけ、投光光源７５２が対象物の方向を向いている可能性が高いとの判定、又はウェアラブルデバイス７５２が過度に動いていないという判定が挙げられ得る。
ある特定の実装例では、ウェアラブルデバイス７７０上のボタン７５９を部分的に押し下げると、カメラモジュール７５１及び投光光源７５２の電源が投入されてよい。ボタン７５９を更に押し下げると、１つ以上の静止画又は１つ以上のストリーミング画像を撮影するようにカメラモジュール７５１をトリガしてよい。場合によっては、ボタン７５９を更に押し下げると、画像キャプチャの前又はそれと同時のいずれかにおいて、投光光源７５２の停止、輝度の変更、色の変更、又はパターンの変更をトリガ（始動）してよい。ボタン７５９から手を離すと、投光光源７５２及び／又はカメラモジュール７５１の停止及び／又は電源切断をトリガしてよい。
画像は、例えば、カメラの焦点情報、近接センサ７５６からの近接情報、環境光センサ７５７からの環境光レベル情報、タイミング情報など追加情報又はメタデータでタグ付けされてよい。かかる追加情報又はメタデータは、食物摂取データの処理中及び分析中に使用されてよい。
様々な光パターンが可能であり、様々な方法で形成されてよい。例えば、投光光源７５２が１つ以上の光線を生成し、十字型、Ｌ型、円、矩形、複数のドット、若しくは視野を形成する、ないしは別の方法でユーザに視野に関する視覚フィードバックを提供する線など特定領域の中心又は境界を描くように、投光光源７５２を反射するためのミラー又は機構を含んでよい。
投光光源７５２としては、１つ以上の発光ダイオード（ＬＥＤ）が使用されてよい。可視光のパターンは、とりわけ、カメラの位置を調整するため、対象物の位置を調整するため、及び／又は対象物とカメラとの間で視線を遮る全ての物体を除去するためにユーザによって使用されてよい。
投光光源７５２はまた、他の情報をユーザに伝達するために使用されてよい。一例として、電子デバイスは、１つ以上の近接センサからの入力を使用し、それらの入力を処理して、カメラが対象物から適切な距離範囲内にあるかどうかを判定し、１つ以上の光源を使用して、カメラが適切な距離範囲内にあること、ユーザがカメラと対象物との間の距離を増加させる必要があること、又はユーザがカメラと対象物との間の距離を低減する必要があることを伝達してよい。
光源はまた、環境光センサと組み合わせて使用されて、適切な品質の画像キャプチャには環境光が不十分であるか、又は強すぎるかを伝達してよい。
光源はまた、低バッテリ状況又は機能的欠陥が挙げられるが、これらに限定されない情報を伝達するために使用されてよい。
光源はまた、食事指導情報を伝達するために使用されてよい。一例として、光源は、とりわけ、以前の食物摂取イベントから十分な時間が経過していない、若しくは時間が経過し過ぎているかを示してよい、又は特定の食事目標に対するユーザの現況をユーザに伝達してよい。
１つ以上の投光光源を使用して特定のメッセージを伝達するための伝達機構としては、特定の光強度又は光強度パターン、特定の光色又は光色パターン、特定の空間光パターン又は時間光パターンのうちの１つ以上が挙げられ得るが、これらに限定されない。複数の機構はまた、組み合わされて、１つの特定のメッセージを伝達してよい。
マイクロフォン７５８は、ユーザによって使用されて、特定の又はカスタムのラベル又はメッセージを食物摂取イベント及び／又は画像に追加してよい。音声の断片（小片）は、音声認識エンジンによって処理されてよい。
特定の実施形態では、加速度計は、場合によっては他のセンサと組み合わせて使用されて、食物摂取及び／又は摂食挙動に直接関連する少なくとも１つのパラメータを追跡することに加えて、食物摂取に直接関係しない１つ以上のパラメータを追跡してよい。かかるパラメータとしては、とりわけ、活動、睡眠、又はストレスが挙げられ得る。
内蔵カメラを有さない特定の実施形態
異なる実施形態では、電子デバイス２１８は、必ずしも内蔵の画像キャプチャ能力を有さない。電子デバイス２１８は、腕若しくは手首の周りに装着されるブレスレット若しくはリストバンド、又は指の周りに装着される指輪などウェアラブルデバイスであってよい。電子デバイス２１９は携帯電話であってよく、中央処理及び記憶ユニット２２０は、リモート位置に位置する１つ以上のコンピュータサーバ（compute servers）及びデータ記憶装置であってよい。
かかる実施形態では、食物摂取追跡及びフィードバックシステムは、食物摂取及び／又は摂食挙動に関する情報を抽出するために画像を使用しない場合がある。あるいは、食物摂取追跡及びフィードバックシステムは、他のデバイス、例えば電子デバイス２１９、あるいは電子デバイス２１８の外部にある電子デバイスなどの内部で使用可能な画像キャプチャ能力を活用してよい。
食物摂取イベントの開始の検出又は予測時に、電子デバイス２１８は、電子デバイス２１９、又は別の方法で画像キャプチャ能力を有する電子デバイスに信号を送信して、食物摂取イベントの実際の開始、可能性の高い開始、又は開始直前が生じたことを示してよい。これにより、電子デバイス２１９、又は別の方法で画像キャプチャ能力を有する電子デバイスをトリガして、ユーザが、デフォルトモード又はスタンバイモードと比較して少なくとも１つ少ないユーザステップで、画像をキャプチャできるモードにしてよい。
一例として、画像キャプチャ能力が電子デバイス２１９にあり、電子デバイス２１９が携帯電話、タブレット、又は類似のモバイルデバイスである場合、電子デバイス２１８は、電子デバイス２１９にインストールされたソフトウェアに１つ以上の信号を送信して、食物摂取イベントの実際の開始、可能性の高い開始、又は開始直前を示してよい。かかる１つ以上の信号を受信すると、電子デバイス２１９上のソフトウェアは、とりわけ、電子デバイス２１９の画面のロックを解除する、食物摂取及びフィードバックサブシステムに関連するモバイルアプリケーションを開く、電子デバイス２１９のカメラモードを起動する、電子デバイス２１９のディスプレイに通知をプッシュして、ユーザの画像キャプチャを支援する、メッセージを電子デバイス２１８に送信して、警告する、想起させる、及び／又はユーザの画像キャプチャを支援する、というアクションのうちの１つ以上を講じてよい。
電子デバイス２１９、又はそれ以外の画像キャプチャ能力を有する電子デバイスによる画像キャプチャ後に、電子デバイス２１９、又はそれ以外の画像キャプチャ能力を有する電子デバイスは、ユーザに視覚フィードバックを提供してよい。視覚フィードバックの例としては、一人前の推奨分量を示すパターン、形状、若しくはオーバーレイ、又は１色以上でのパターン、形状、若しくはオーバーレイの陰影、及び／又は食品の健康度を示す１つ以上の輝度レベルが挙げられ得る。他の例も可能である。
インスリン療法システムとの統合
本開示で提示する食物摂取追跡及びフィードバックシステムの１つ以上の構成要素は、インスリン療法システムとインタフェースしてよく、又はインスリン療法システムと統合されてよい。ある特定の例では、食物摂取イベントの開始の検出時に、フィードバックが装着者に送信されて、血糖値測定を行い、かつ／又は適切な投与量のインスリンを投与することを想起させてよい。食物摂取イベントの過程で、１つ以上の追加のリマインダが送信されてよい。
本開示に記載の食物摂取追跡及びフィードバックシステム、又はその構成要素はまた、Ｉ型又はＩＩ型糖尿病と診断された患者によって使用されてよい。例えば、本開示に記載の構成要素が使用されて、ある人物の飲食開始時を自動的に検出してよい。食物摂取イベントの開始の検出が使用されて、食物摂取イベントの開始時又はその前後に装着者にメッセージを送信して、血糖値測定を行うこと、及び／又は適切な投与量のインスリンを投与することを想起させてよい。メッセージの送信は、自動かつスタンドアローンであってよい。あるいは、システムは、ウェルネスシステム又はヘルスケア維持及びリマインダシステムと統合されてよい。ウェルネスシステム又はヘルスケア維持及びリマインダシステムは、食物摂取イベント開始の検出が通知されると、装着者にメッセージを送信してよい。ウェルネスシステム又はヘルスケア維持及びリマインダシステムは、食物摂取イベントに関する追加情報、例えば、噛み付き又はすすり込みの回数、推定食物摂取量、食事の期間、摂食の速度などを受信してよい。ウェルネスシステム又はヘルスケア維持及びリマインダシステムは、食物摂取イベント中又はその後に、追加情報に基づいて追加メッセージを装着者に送信してよい。
別の例では、食物摂取の内容に関する特定の情報は、入力として（場合によって１つ以上の他の入力と組み合わされて）使用されて、投与される適切なインスリン投与量を計算してよい。食物摂取内容に関する情報としては、とりわけ、炭水化物の量、糖の量、脂肪の量、一人前の分量、及び固体又は液体など分子食品カテゴリのうちの１つ以上が挙げられてよい。食物摂取並びに摂食パターン及び挙動に関するリアルタイム情報、ほぼリアルタイムの情報、及び履歴情報は、インスリン投与量を計算するための入力又はパラメータとして含まれてよい。
インスリン投与量を計算するために使用されるアルゴリズムへの入力又はパラメータとして使用され得る他の入力としては、とりわけ、年齢、性別、体重、過去及びリアルタイムの血糖値、過去及びリアルタイムの活動、睡眠及びストレスレベル、バイタルサイン情報、又は個人の身体的若しくは情緒的健康を示す他の情報のうちの１つ以上が挙げられてよい。
インスリン投与量の計算は、ユーザによって完全に手動で、閉ループインスリン療法システムによって完全に自律的に、又は半自律的に（つまり、計算の一部又は全てがインスリン療法システムによって行われるが、いくつかのユーザ介入が依然として必要とされる）行われてよい。ユーザ介入としては、とりわけ、インスリン療法計算ユニットの起動、投与量の確認、ユーザが異常を検出する、又は特定する場合のインスリン送達への介入若しくはその一時停止が挙げられてよい。
ある特定の実施形態では、本明細書に記載の食物摂取追跡及びフィードバックシステムは、食物摂取イベントの実際の開始、可能性の高い開始、又は開始直前の検出時に、ユーザに通知を送信することに加えて、又はその代わりに、ユーザの１人以上の介護者に１つ以上の通知を送信してよい。
ユーザは、食物摂取イベントの開始時に、任意選択的にシステムから又は介護者からの通知又は信号によって促され、食品又は食事の１つ以上の画像を１つ以上の介護者に渡してよい。介護者は画像を分析し、食品の内容に関する情報をユーザに返送してよい。情報としては、とりわけ、例えば、炭水化物、糖、又は脂肪など特定の主要栄養素含有量の推定、カロリー値の推定、一人前の分量に関する助言が挙げられてよい。
ユーザがインスリン療法を受けている場合、例えば血糖読み取り値など追加情報も介護者に送信されてよく、介護者によってユーザに戻される情報はまた、投与されるインスリン投与量に関する助言、及びかかるインスリン投与量が投与されるべきタイミングが挙げられてよい。特定の実施例では、介護者は、人物ではなく人工知能システムであってよい。
ジェスチャ認識
本明細書に記載の様々なシステムでは、ジェスチャ情報の正確な判定が重要であり得る。例えば、会話に関連するジェスチャと、摂食イベント期間の開始を伝達するジェスチャとを区別することは有用になるであろう。歩行中に腕を振るジェスチャなど一部のジェスチャは容易に検出することができ、したがって、速度及び歩数を測定できるが、他のジェスチャ、例えば、ユーザが食品に噛み付いているとき、飲料を飲んでいるとき、爪を噛んでいるときを判定することなどは、より困難であり得る。後者は、先行挙動を評価するのに有用であり得る。例えば、健康維持及びリマインダシステムが、爪を噛むジェスチャのパターンを検出し、続いて５～１０分後に、やけ食いに関連するジェスチャを検出すると仮定する。ユーザは、その健康維持及びリマインダシステムをプログラムして、ユーザが気付き、そうしなければ気づかなかったであろうユーザの挙動に合わせるように２分後に信号を送る。これを有効にするために、ジェスチャ検出の精度及び信頼性は高くあるべきである。例えば、ウェアラブルブレスレット内の加速度計の動きとやけ食いとの間に単純な相関がない場合、問題になり得る。この理由の一部は、健康維持及びリマインダシステムにとって関心があるジェスチャが単純なセンサ読み取りからは容易に誘導されないことである。
ユーザが食品に噛み付いているか、又は飲料をすすり込んでいるかを判定することができ、かつ、噛み付きとすすり込みとを区別できることは、適切な体重管理に関する助言を提供するのに有用であり得る。例えば、体重管理監視及びリマインダシステムは、ジェスチャからユーザの食物摂取イベントを監視してよい。体重管理監視及びリマインダシステムは、ジェスチャからユーザの流体摂取イベントを更に監視してよい。研究では、食事開始時又は食事開始前後に十分な水を飲むこと、及び食事を通して更に十分に摂飲することは、食物摂取を低減し、減量に役立つことが示されている。ユーザ、ユーザのコーチ、ユーザの医療提供者、又は体重管理監視及びリマインダシステムの提供者は、ユーザが摂飲せずに摂食を開始するとき、又はユーザが食事を通して十分に摂飲していないことを検出した場合に、リマインダを送信するように、システムをプログラムしてよい。システムはまた、日中のユーザの流体摂取を監視し、特定の時刻に流体摂取レベルが予め設定されたレベルを満たさない場合には、リマインダを送信するようにプログラムされてよい。これを有効にするためには、ジェスチャ検出の信頼性及び精度が高くあるべきである。これは、例えば、摂食ジェスチャと摂飲ジェスチャを区別するなど、多数の類似性を有するジェスチャを区別する必要があるという問題であり得る。
本明細書に記載の様々な実施形態では、処理システム（プログラムコード、論理、ハードウェア、及び／又はソフトウェアなどを備える）は、ユーザの活動に基づいて電子デバイス又は他の要素によって生成されたセンサデータを取り込む。センサデータは、特定の時間における読み取り値のスナップショットを表してよく、又は、ある期間にわたる読み取り値を表してよい。センサは、加速度計、ジャイロスコープ、磁力計、温度計、露出計などであってよい。センサデータから、処理システムは、記憶された規則及び内部データ（使用されたセンサ及び過去の使用履歴に関する情報など）を使用して挙動イベントを識別する。これらの挙動イベントは、ジェスチャのシーケンスであり、ジェスチャは、開始時間、センサ読み取り値、及び終了時間を有するセンサデータ、並びに外部データの論理的配列から判定される。挙動イベントは、食事を取るなど高レベルのイベントであってよい。
ジェスチャの境界、すなわち、それらの開始時間及び終了時間の判定は、本明細書に記載の方法を使用して判定され得る。本明細書では、開始時間、センサ読み取り値、及び終了時間のデータを、合わせてジェスチャエンベロープと称する。ジェスチャエンベロープはまた、当該ジェスチャエンベロープに関連する単一の時間を規定するデータ要素である、アンカー時間を含んでよい。アンカー時間は、開始時間と終了時間との中間点であってよいが、ジェスチャエンベロープのセンサデータに基づいたいくつかの基準に基づいてよい。アンカー時間は、開始時間から終了時間までの期間外にあってよい。ジェスチャごとに複数のアンカー時間も可能である。
機械分類器は、処理システムの一部として（ただし、別個のコンピュータシステムであり、場合によっては、ある種のネットワークによって分離され得る）、ジェスチャエンベロープから、当該ジェスチャエンベロープのセンサデータ及びジェスチャの詳細をもたらし得るジェスチャのクラスを判定する。例えば、機械分類器は、センサデータが、センサを含むブレスレットを装着している人物が散歩している、噛み付いて食べている、何かを指していることを示すか、又は示唆することを出力してよい。
かかるシステムでは、ジェスチャが正確に識別され得る場合、健康維持及びリマインダシステム（又はジェスチャ情報を使用する他のシステム）は、行われたジェスチャに的確に応答することができる。以下に記載の例では、センサのセット、又は少なくともセンサのセットからの入力が存在し、このセンサのセットは、センサ読み取り値からジェスチャデータを出力する機械分類システムに結合され、規則及び機械分類システムの訓練から導出された記憶データを考慮する。訓練サブシステムは、機械分類システムを訓練し、それによって訓練から導出された記憶データを形成するために使用され得る。これらの構成要素のそれぞれは、別個のハードウェア又は共有ハードウェアを使用してよく、局所的及び／又はリモートであってよい。一般に、ジェスチャが検出されると、システムは、当該ジェスチャを分析し、実際の活動、可能性の高い活動、又は開始直前の活動を判定し、これらの活動に関するユーザフィードバックを提供することができる。例えば、ユーザが４５分を超える半連続的な期間にわたって摂飲しているときにユーザに警告するようにユーザが以前にシステムを設定したこと、又はユーザが、１回のセッションでの歩行量の目標に到達したことを示すためのフィードバック信号としての振動である。
図８は、典型的な機械分類システムの例示的な例である。図８の機械分類システムは、訓練サブシステム８０１と、検出器サブシステム８０２と、を含む。本開示のいくつかの実施形態では、機械分類システムは、追加のサブシステム又は図８に示すサブシステムの変更例を含んでよい。訓練サブシステム８０１は訓練データ入力８０３及びラベル８０４を使用して、訓練済みの分類器モデル８０５を訓練する。ラベル８０４は、人間によって手動で割り当てられてよく、又は自動的に若しくは半自動的に生成されてよい。次いで、訓練済み分類器モデル８０５は、検出器サブシステム８０２内で使用されて、新しい、ラベル無しデータ入力に対応する分類出力８０６を生成する。
記憶されたセンサデータは、時間構成要素を含む。未処理のセンサ読み取り値は、それらの読み取り時間でタグ付けされる。未処理センサデータは、加速度計、ジャイロスコープ、磁力計、温度計、気圧計、湿度センサ、ＥＣＧセンサなどから引き出され得、時間データは他のソースから得ることができる。時間ソースの他の例は、音声（audio）記録、音声（voice）記録、又は映像記録であってよい。
本開示の少なくとも１つの実施形態による訓練サブシステム８０１及び検出器サブシステム８０２の例示的な例を、図９及び図１０にそれぞれ示す。時間訓練データ９０７及びラベル９１２は、図８の分類訓練サブシステムに供給される。
本明細書の例で説明するように、未処理センサデータは処理されて、マクロシグニチャイベントを特定する。マクロシグニチャイベントは、ある期間にわたってセンサデータを含むジェスチャの範囲を定めることができる。検出器サブシステム又は他のシステムは、開始時間、終了時間、１つ以上のアンカー時間、開始時間から終了時間までの当該ジェスチャの時間エンベロープ内で発生したメタデータ及びセンサデータを含む、ジェスチャエンベロープデータセットを作り出すことができる。
例えば、ジェスチャ認識の問題の場合、ジェスチャエンベロープ検出器は、可能性の高いジェスチャを示す、未処理の時間データで特定の時間セグメントを特定してよい。ジェスチャエンベロープ検出器はまた、ジェスチャ内の関連時間又は時間セグメントを指定する時間エンベロープを生成する。時間エンベロープに含まれる情報としては、とりわけ、ジェスチャの開始時間、ジェスチャの終了時間、関連するジェスチャサブセグメントを指定するジェスチャ内の１つ以上の時間、関連するジェスチャアンカー時間（時点）及び場合によっては他のメタデータを指定するジェスチャ内の１つ以上の時間、並びにジェスチャの時間エンベロープ内からの未処理センサデータが挙げられてよい。
他のメタデータの例として、装着者が、特定の電話番号から電話をかけることに続いて、摂食セッションを有することを履歴パターンが示唆すると仮定する。電子デバイスは、この状態に関して装着者に伝達して、このパターンを意識させ、装着者が決心した場合に挙動の変更を支援し得る。
時間訓練データ９０７は、ジェスチャエンベロープ検出器９０８に供給される。ジェスチャエンベロープ検出器９０８は、時間訓練データ９０７を処理し、時間訓練データ９０７から可能性のあるジェスチャ９０９の例及び対応するジェスチャ時間エンベロープを特定する。時間訓練データ９０７は、動きセンサデータを含んでよく、ジェスチャエンベロープ検出器９０８は動きセンサデータを処理し、ピッチ角の変化に基づいて、ジェスチャ９０９を特定してよい。一実施形態では、ジェスチャエンベロープ検出器９０８は、指定値を上回るピッチ角の増加の検出に基づいてジェスチャの開始を検出し、指定値を下回るピッチ角の低下に基づいてイベントの終了を検出してよい。他の開始基準及び終了基準も可能である。ジェスチャエンベロープ検出器９０８によって検出され、ジェスチャ時間エンベロープによって指定され得るアンカー時点の例は、ピッチ角が最大に達するときのジェスチャセグメント内の時間である。アンカー時点の他の例も可能である。
ジェスチャエンベロープ検出器９０８は、追加の基準を追加して、有効なジェスチャとしてセグメントを更に限定してよい。例えば、セグメント内のピークピッチ角又は平均ピッチ角に対して閾値が指定され得る。別の例では、全セグメント期間、又は全セグメント内のサブセグメントの期間に対して、最小限度及び／又は最大限度が指定されてもよい。他の基準も可能である。ノイズジッタに対する感度を低減するために、ヒステリシスが用いられてよい。
本開示の他の実施形態では、ジェスチャエンベロープ検出器９０８は、時間訓練データ９０７を提供する入力から導出された他のメトリック（計量）を監視し、それらのメトリックを使用してジェスチャを検出してよい。他のメトリックの例としては、ロール角、偏揺れ、一次若しくはより高次の導関数、又は動きセンサデータの一次若しくはより高次の積分が挙げられるが、これらに限定されない。時間データは、動きセンサデータ以外のデータであっても、又はそれを含んでもよい。本開示のいくつかの実施形態では、ジェスチャエンベロープ検出器９０８は、複数のメトリックを監視し、使用して、ジェスチャを検出してよい、又はジェスチャ時間エンベロープを指定してよい。
ジェスチャ９０９及びジェスチャ時間エンベロープ情報は、時間訓練データ９０７と組み合わされて、特徴生成器モジュール９１０に供給される。特徴生成器モジュール９１０は、時間訓練データ９０７からの情報、ジェスチャ時間エンベロープ、又は時間訓練データ９０７からの情報及びジェスチャ時間エンベロープの組み合わせを使用して、１つ以上のジェスチャ特徴を計算する。本開示のいくつかの実施形態では、特徴生成器モジュール９１０は、ジェスチャ時間エンベロープに含まれる時間セグメント内の、又は当該時間セグメントにわたる時間訓練データ９０７から１つ以上のジェスチャ特徴を計算する。特徴生成器モジュール９１０はまた、ジェスチャ時間エンベロープに含まれない又は部分的にのみ含まれるが、それでもジェスチャ時間エンベロープに関連する、時間セグメント内の、又は当該時間セグメントにわたる、時間訓練データ９０７から１つ以上のジェスチャ特徴を計算する。一例は、ジェスチャ時間エンベロープの開始直前の時間期間にわたって、又はジェスチャ時間エンベロープの終了直後の期間にわたって時間訓練データ９０７から計算されるジェスチャ特徴であろう。
いくつかの実施形態では、特徴生成モジュール９１０は、時間訓練データ９０７を使用せずに、ジェスチャ時間エンベロープ情報に基づいて１つ以上の特徴を直接作り出してよい。かかる特徴の例としては、ジェスチャ時間エンベロープの総期間、直前のジェスチャからの経過時間、次のジェスチャまでの時間、又は全ジェスチャ時間エンベロープ若しくは全イベント時間エンベロープ内の特定のサブセグメントの期間が挙げられ得るが、これらに限定されない。
一実施形態では、時間訓練データ９０７は、動きセンサデータであってよく、特徴は、ジェスチャ時間エンベロープ内若しくはその周囲の１つ以上のサブセグメント内、又は当該セグメントにわたって計算されたピッチ、ロール、及び／又は偏揺れ角の読み取り値を含んでよい。特徴としてはまた、ジェスチャ時間エンベロープ内若しくはその周囲の１つ以上のサブセグメント内又は当該セグメントにわたって計算された様々な動きセンサデータ入力の最小値、最大値、平均、分散、一次又はより高次の導関数、一次又はより高次の積分が挙げられてよい。特徴としてはまた、ジェスチャ時間エンベロープ内若しくは周囲の１つ以上のサブセグメント内又は当該セグメントにわたって計算された、特定のセンサ軸に沿った、又は特定方向への移動距離が挙げられてよい。
時間訓練データ９０７は、本明細書に記載のセンサのうちの１つ以上からのセンサ信号など動きセンサデータ以外のデータであっても、それらを含んでもよい。特徴生成器モジュール９１０が特徴を計算する、又はそれにわたって特徴を計算するサブセグメントは、ジェスチャ時間エンベロープによって指定された時点又は時間セグメントに基づいて選択されてよい。サブセグメントはまた、複数のジェスチャエンベロープからの時点又は時間セグメントに基づいて選択されてよく、例えば、隣接するジェスチャ、及び隣接していなくてよいが、それ以外の方法で近接しているジェスチャなどである。
いくつかの実施形態は、並列して、又は他の方法で、複数のジェスチャエンベロープ検出器を使用してよい。並列ジェスチャエンベロープ検出器は、センサデータの異なるサブセットで動作してもよく、異なる閾値又は基準を使用して、ジェスチャを限定してよい。例えば、動きセンサデータ入力に基づくジェスチャ認識の場合、１つのジェスチャエンベロープ検出器はピッチ角を使用してよく、一方では、第２の並列ジェスチャエンベロープ検出器が、ロール角を使用してよい。ジェスチャエンベロープ検出器のうちの１つは、一次ジェスチャエンベロープ検出器であってよく、一方では、１つ以上の追加のジェスチャエンベロープ検出器は、二次ジェスチャエンベロープ検出器として機能してよい。特徴生成論理は、一次ジェスチャエンベロープ検出器によって生成されたジェスチャを処理してよいが、１つ以上の並列の二次エンベロープ検出器から得られた（時間的に）近いジェスチャのジェスチャ時間エンベロープからの情報を使用して導出された特徴を垣間見せてよい。
訓練データは、複数のジェスチャエンベロープデータセットを含んでよく、それぞれは、試験環境において手動で、又は他の方法で提供された、ジェスチャを表す関連ラベル（ジェスチャラベルのリストからの選択されたラベルなど）を有する。関連ラベルを伴う、この訓練データは、機械分類器を訓練するために使用され得、それにより、後に未知のジェスチャのジェスチャエンベロープを処理し、当該ジェスチャエンベロープに最適切に一致するジェスチャラベルを判定することができる。使用される分類方法に応じて、訓練セットは、クリーンであるが、未処理のデータ（教師なし分類）、又はクリーンであるが、未処理のデータから導出された特徴のセット（教師あり分類）のいずれかであってよい。
分類方法にかかわらず、各ラベルの適切なデータ境界を画定することは、分類器の性能にとって重要である。適切なデータ境界を画定することは、時間的問題、すなわち、データ入力のうちの少なくとも１つが、それに関連する時間次元を有するという問題の場合、困難であり得る。これは、時間次元が可変又は動的である場合、また可変時間エンベロープの特定セグメント若しくは可変時間エンベロープ全体と連関している特徴が分類器の性能に著しく寄与する場合に特に当てはまる。
かかる時間的問題の一例は、例えば、未処理の動きセンサデータからの飲食ジェスチャの検出などジェスチャ認識である。噛み付き又はすすり込みの期間は、個人ごとに異なり得るものであり、食事シナリオ又は摂取される食物の詳細に依存し得る。
特徴生成器モジュール９１０の出力は、対応する時間エンベロープ及び特徴を有する、ジェスチャ９１１のセットである。ジェスチャ９１１を分類器訓練モジュール９１５に供給できるようになる前に、訓練データセットからのラベル９１２を対応するジェスチャにマップする必要がある。このマッピング動作は、ラベルマッパモジュール９１３によって実行される。
いくつかの実施形態では、ラベル９１２に関連するタイムスタンプは、それらの対応するジェスチャの時間エンベロープに常に収まる。その場合、ラベルマッパモジュール９１３の論理はルックアップであり得、各ラベルのタイムスタンプが各ジェスチャ時間エンベロープの開始時間及び終了時間と比較され、各ラベルは、それぞれのジェスチャ時間エンベロープの開始時間よりも大きく、それぞれのジェスチャ時間エンベロープの終了時間よりも小さいジェスチャにマップされる。対応するラベルが存在しないジェスチャは、「ネガティブ」とラベル付けされてよく、対象のいずれのラベルにも対応しないことを示す。
しかしながら、本開示の他の実施形態では、ラベル９１２のタイムスタンプは、常にジェスチャ時間エンベロープに収まらなくてよい。これは、ラベル付けプロセス期間に続く手順の特殊性、ラベル付けプロセスに関連するタイミングの不確実性、実際の未処理データ入力の予測不可能性若しくは変動性、又はジェスチャエンベロープ検出器論理のアーチファクトのためであり得る。かかる場合、ラベルマッパは、ジェスチャエンベロープの境界を調整するように修正されてよい。
次いで、特徴及びラベルによって特徴付けられるジェスチャ９１４が、分類器訓練モジュール９１５に供給されて、検出器サブシステムによって使用され得る訓練済み統計モデルを生成してよい。分類器訓練モジュール９１５は、決定木モデル、Ｋ最近傍モデル、サポートベクターマシンモデル、ニューラルネットワークモデル、ロジスティック回帰モデル、又は機械分類に適した他のモデルなど統計モデルを使用してよい。他の変形例では、テーブルの構造及び使用されるデータのデータフォーマットは、図９でのように様々であってよく、図９に示すものと異なってよい。
図１０は、検出器サブシステム８０２の例示的な例を示す。この図に示すように、ラベル無し時間データ１０１７は、図１０の検出器サブシステムに供給される。検出器サブシステムは、ジェスチャエンベロープ検出器論理１０１８と、特徴生成器論理１０２０と、を含む。機能的に、検出器サブシステムによって使用されるジェスチャエンベロープ検出器論理１０１８は、対応する訓練サブシステムによって使用されるジェスチャエンベロープ検出器論理に類似である。同様に、検出器サブシステムの特徴生成器論理１０２０は、対応する訓練サブシステムの特徴生成器モジュール９１０と機能的に類似である。いくつかの実施形態では、ジェスチャエンベロープ検出器１０１８は、複数のメトリックを監視し、使用して、ジェスチャを検出してよい、又はジェスチャ時間エンベロープを指定してよい。
しかしながら、ジェスチャエンベロープ検出器論理１０１８及び特徴生成器論理１０２０の実装は、訓練サブシステム及びその対応する検出器サブシステムにおいて異なっていてよい。例えば、検出器サブシステムは、より電力的に制約のあるハードウェアに実装されてよく、この場合、ジェスチャエンベロープ検出器論理１０１８は、対応する訓練サブシステムで使用されるその対応部分と比較して、より低電力の動作向けに最適化される必要があり得る。検出器サブシステムはまた、訓練システムと比較して、より厳格な待機時間要件を有し得る。この場合、検出器サブシステム内で使用されるジェスチャエンベロープ検出器論理１０１８は、対応する訓練サブシステムで使用されるその対応部分と比較して、より短い待機時間向けに設計され、実施される必要があり得る。
特徴生成器論理１０２０の出力は、検出器論理１０２２に供給され、その対応する訓練サブシステムからの訓練済み分類モジュールに基づいてジェスチャを分類する。分類出力は、１つ以上のラベルを含んでよい。任意選択的に、検出器１０２２はまた、各ラベルに信頼レベルを割り当ててよい。
時間データ入力及び非時間データ入力の組み合わせに基づいた分類
別の実施形態では、分類システムへの入力は、時間データと非時間データとの組み合わせを含んでよい。図１１は、データ入力の少なくとも一部が時間入力であり、データ入力の少なくとも一部は非時間入力である、本開示の少なくとも１つの実施形態による、訓練サブシステムの例示的な例である。他の実施例も可能である。
非時間訓練データ１１２９は、ジェスチャエンベロープ検出器１１２５及び特徴生成器論理１１２７によって処理される必要はない。非時間訓練データ１１２９は、ラベル１１３１と共にラベルマッパ論理１１３２に直接供給されてよい。いくつかの実施形態では、非時間訓練データは、別個の特徴生成器モジュール、非時間特徴生成器モジュール１１３０によって処理されて、対象の特定の非時間特徴を抽出し、次いでラベルマッパ論理１１３２に供給されてよい。ラベルマッパ論理１１３２は、本明細書に記載の、ジェスチャにラベルをマップする方法に類似の方法を使用して、ラベルに取り付けられた非時間特徴１１３６と共に、ジェスチャにラベル１１３１を割り当ててよい。
図１２は、データ入力の少なくとも一部が時間データ入力であり、データ入力の少なくとも一部は非時間データ入力である、本開示の少なくとも１つの実施形態による、分類検出器サブシステムの例示的な例である。
時間データ入力の教師なし分類
本開示の更に別の実施形態では、深層学習アルゴリズムが機械分類に使用されてよい。深層学習アルゴリズムを使用した分類は、教師なし分類と称することもある。教師なし分類では、統計的深層学習アルゴリズムが、データの処理に基づいて分類タスクを直接実行し、それによって、特徴生成工程の必要性を排除する。
図１３は、分類器訓練モジュールが教師なし分類用の統計的深層学習アルゴリズムに基づいている、本開示の少なくとも１つの実施形態による分類訓練サブシステムの例示的な例を示す。
ジェスチャエンベロープ検出器１３４９は、時間訓練データ１３４８からの対応するジェスチャ時間エンベロープを用いてジェスチャ１３５０を計算する。データセグメンタ１３５１は、ジェスチャ時間エンベロープ内の情報に基づいて、１つ以上の適切なデータセグメントを各ジェスチャに割り当てる。一例として、データセグメンタ１３５１は、ジェスチャ時間エンベロープ内の開始及び終了時間情報を探し、全ジェスチャ期間に対応する１つ以上のデータセグメントを割り当ててよい。これは一例にすぎない。データセグメントは、ジェスチャ時間エンベロープによって規定される、異なるセグメント又はサブセグメントに基づいて選択されてよい。データセグメントはまた、ジェスチャ時間エンベロープ外であるが、ジェスチャ時間エンベロープに直接又は間接的に関連する時間セグメントに基づいて選択され得る。一例は、ジェスチャ時間エンベロープの開始直前の期間に対応するデータセグメントの選択、又はジェスチャ時間エンベロープの終了直後の期間に対応するデータセグメントの選択であり得る。ジェスチャ時間エンベロープ外であるが、ジェスチャ時間エンベロープに直接又は間接的に関連する時間セグメントの他の例も可能である。
データセグメント、ジェスチャ時間エンベロープ情報、及びラベルを含むジェスチャは、分類訓練モジュール１３５６に供給される。本開示のいくつかの実施形態では、ジェスチャ時間エンベロープ情報のサブセットのみが分類訓練モジュール１３５６に供給されてよい。本開示のいくつかの実施形態では、ジェスチャ時間エンベロープ情報は、分類訓練モジュール１３５６への適用前に処理されてよい。一例は、ジェスチャ時間エンベロープの時間基準を、元の時間訓練データストリームの時間基準ではなく、データセグメントの開始に合わせることであり得る。他の例も可能である。データセグメントを更に特徴付ける時間エンベロープ情報を追加することによって、分類器訓練モジュールの性能が向上してよい。
例えば、動きセンサデータ入力に基づいて摂食ジェスチャをジェスチャ認識する場合、ピッチ角、ロール、又は偏揺れが最大又は最小に達した時間など追加のアンカー時間情報を分類器訓練モジュールに供給すると、訓練済み分類器１３５７は訓練データを分析し、特に当該アンカー時間前後の特徴及び相関関係を検索することができるため、訓練済み分類器１３５７の性能を向上することができる。分類器訓練モジュールに供給され得る時間エンベロープ情報の他の例も可能である。
図１４は、図１３の分類訓練サブシステムと組み合わせて使用され得る、本開示の少なくとも１つの実施形態による分類検出器サブシステムの例示的な例を示す。
分類器の集合体
いくつかの実施形態では、ジェスチャエンベロープ検出に基づいた、複数の並列分類システムが使用されてよい。複数の並列分類器を備えるシステムの一例を図１５に示す。並列分類システムの数は様々であってよい。各分類システム１５１０、１５１２、１５１４は、それ自身の訓練及び検出器サブシステムを有し、異なるサブセットの訓練データ１５０２及びラベル１５０４の入力でジェスチャエンベロープ検出を実行してジェスチャを検出するか、又は異なる閾値若しくは基準を使用してジェスチャを限定してよい。その結果、個々のジェスチャエンベロープ検出器はそれぞれ、異なるジェスチャ時間エンベロープを有する、独立したジェスチャのセットを生成する。各分類システムの特徴生成器論理は、その対応するジェスチャエンベロープ検出器論理によって作り出されるジェスチャの特徴を作り出す。特徴は、分類システムごとに異なっていてよい。並列分類器のそれぞれによって使用される分類器モデルは、同一であっても異なっていてもよく、又は一部が同一であり、他は異なっていてよい。各分類器モデルの訓練に使用されるジェスチャ時間エンベロープ及び特徴は異なるため、並列分類システムは、異なる分類出力１５１６、１５１８、１５２０を生成する。
各分類システムの分類出力１５１６、１５１８、１５２０は、分類器コンバイナサブシステム１５２２に供給されてよい。分類器コンバイナサブシステム１５２２は、個々の分類システム１５１０、１５１２、１５１４の分類出力１５１６、１５１８、１５２０を合わせ、重み付けして、単一の総合的な分類結果である、総分類出力１５２４を生成してよい。重み付けは、静的であっても、動的であってもよい。例えば、ジェスチャ認識の場合、特定の分類器は、ある群の人々のジェスチャを正確に予測することをより良好に実行してよく、他の分類器は、別の群の人々のジェスチャを正確に予測することをより良好に実行してよい。分類器コンバイナサブシステム１５２２は、異なるユーザ又は異なるコンテキスト条件に対して異なる重みを使用して、分類器集合体全体の性能を向上してよい。次いで、訓練済みシステムが使用されて、ラベル無しデータ１５０６を処理することができる。
時間的問題の他の例としては、全自動運転、ドライバ警告システム（危険な交通条件が検出されるとドライバに警告する）、ドライバ覚醒度検出、音声認識、映像分類（セキュリティカメラの監視など）、及び気象パターン識別が挙げられるが、これらに限定されない。
データ入力の時間的性質、並びにデータ入力の時間エンベロープに関連する任意の特徴を無視することにより分類器の性能が制限され、分類器は、信頼性の高い検出が、可変時間エンベロープのセグメント又は可変時間エンベロープ全体に本質的に関連する特徴に依存する分類タスクに適さないようになり得る。適切な期間を確実に判定できない場合、又は、期間がジェスチャごとに、人ごとにジェスチャごとに異なる場合には、性能及び有用性が低下し得る。
本明細書に記載のように、改善された方法は、可変時間エンベロープで時間的問題の骨組みを構成し、その結果、可変時間エンベロープ全体又はそのセグメントに紐付けされた情報が抽出され、分類器の訓練に使用される特徴セットに含まれ得る。提案された改善された方法は、性能を向上させ、必要な訓練データの量を低減する。これは、特徴が可変時間エンベロープの時間境界に対して規定され、それにより、時間及びユーザの相違に対する感度が低下するためである。
ジェスチャの時間エンベロープを見出すことに加えて、システムはまた、イベント時間エンベロープを見出すことができる。かかるアプローチでは、システムは、ジェスチャ及びジェスチャエンベロープを判定してよいが、次いで、更なるジェスチャについても判定し、次いで、摂食イベントの開始及び終了などイベントエンベロープを規定する。
精度全体を向上させるコンテキスト
図１６は、相互相関分析サブシステムを含む機械分類システムの一例を示す。分類出力１６０２は、相互相関分析サブシステム１６０４に供給されてよい。相互相関分析サブシステム１６０４は、１つ以上のコンテキスト上の手がかりに基づいて調整を行い、精度を向上させることができる。ジェスチャ認識の例では、コンテキスト上の手がかりの例は、他の予測ジェスチャに対する時間近接性であり得る。例えば、摂食ジェスチャは、食事又は間食など摂食活動の一部として時間的にまとめてグループ化される傾向がある。一例として、相互相関分析サブシステム１６０４は、近隣の予測の信頼レベル及び近接度に基づいて、予測ジェスチャが食事ジェスチャであることの信頼レベルを増加させることができる。
別の実施形態では、相互相関分析サブシステム１６０４は、分類出力１６０２からの個々の予測ジェスチャ１６１４を入力として取り出してよく、個々の予測ジェスチャを集めて予測活動１６０８にしてよい。例えば、相互相関分析サブシステム１６０４は、複数の噛み付きジェスチャを、間食又は食事など摂食活動にマップしてよい。同様に、相互相関分析サブシステム１６０４は、複数のすすり込みジェスチャを、摂飲活動にマップし得る。ジェスチャクラスタリングに基づく活動予測の他の例も可能である。相互相関分析サブシステム１６０４は、予測活動の時間間隔及びシーケンスに基づいて、予測ジェスチャの信頼レベルを修正してよい。一例として、相互相関分析サブシステム１６０４は、「歯磨き」活動の直後又は当該活動中に検出される場合、予測ジェスチャは摂食ジェスチャであることの信頼レベルを低下させることができる。別の例では、相互相関分析サブシステム１６０４は、「歯磨き」活動中又はその直後に検出される場合、予測ジェスチャは摂飲ジェスチャであることの信頼レベルを低下させることができる。この場合、相互相関分析サブシステム１６０４は、ジェスチャがすすぎジェスチャであることの信頼レベルを増加させることを判定してよい。
相互相関分析サブシステム１６０４は、履歴情報１６１２又は他の非ジェスチャメタデータ１６１０情報、例えば、位置、日時、他の生体入力、カレンダー又は通話活動情報などに基づいて、予測ジェスチャの分類出力を調整することができる。例えば、ＧＰＳ座標が、当該人物がレストランにいることを示す場合、相互相関分析サブシステム１６０４は、予測ジェスチャが摂食ジェスチャであるか、又は予測活動が摂食活動であることの信頼レベルを増加させてよい。別の例では、過去の挙動が、ユーザは、通常、この時刻に摂食すること示す場合、相互相関分析サブシステム１６０４は、予測ジェスチャが摂食ジェスチャであるか、又は予測活動が摂食活動であることの信頼レベルを増加させてよい。本開示の更に別の例では、過去の挙動が、ユーザは、典型的には類似のカレンダーイベント（例えば、同一出席者と、特定の場所で、特定の議題でなど）若しくは電話での会話（例えば、特定の番号から）の前後に摂食することを示す場合に、予測ジェスチャ又は予測活動がカレンダーイベント又は電話での会話の前後であると、相互相関分析サブシステム１６０４は、予測ジェスチャが摂食ジェスチャであること、又は予測活動が摂食活動であることの信頼レベルを増加させてよい。上記の例は摂食について言及しているが、当業者には、これが摂食以外のジェスチャに適用され得ることが明らかであろう。一般的な場合、相互相関分析サブシステムを備える機械分類器は、精度を向上させるために、コンテキスト上の手がかり、履歴情報、時間的に近接する感知からの洞察を使用し、コンテキスト上の手がかり、履歴情報、時間的に近接する感知からの洞察及びこれらの適用方法は、本明細書に開示する、又は提案する方法によって判定される。
本開示のいくつかの実施形態では、分類出力１６０２は、追加の特徴又はジェスチャ時間エンベロープ情報を含んでよい。相互相関分析サブシステム１６０４は、かかる追加の特徴又はジェスチャ時間エンベロープ情報を処理して、ジェスチャ又は活動の追加特性を判定してよい、又は抽出してよい。一例として、本開示の一実施形態では、相互相関分析サブシステム１６０４は、ジェスチャ時間エンベロープから摂飲ジェスチャの推定期間を導出し、この情報は、相互相関分析サブシステム１６０４によって、又は機械分類システムの外部にある１つ以上のシステムによって使用されて、摂飲ジェスチャに関連する流体摂取を推定し得る。
別の実施形態では、相互相関分析サブシステム１６０４は、ジェスチャ時間エンベロープから摂食ジェスチャの推定期間を導出し、この情報は、相互相関分析サブシステム１６０４によって、又は機械分類システムの外部にある１つ以上のシステムによって使用されて、摂食ジェスチャに関連する、１回の噛み付きの分量を推定してよい。相互相関分析サブシステム１６０４は、予測摂飲ジェスチャを他のセンサデータと組み合わせて、アルコールを含有する飲料を摂取しているかどうかをより正確に予測し、摂取したアルコールの量を推定してよい。他のセンサデータの例としては、手の振動、心拍数、音声分析、皮膚温度、血液測定、呼気化学、又は生体化学が挙げられ得るが、これらに限定されない。
検出器サブシステム１６００は、特定の飲食方法を予測することができ、相互相関分析サブシステム１６０４は、飲食方法の詳細に関して検出器サブシステム１６００から得られた情報を追加メタデータと組み合わせて、食品の内容、健康度、又はカロリー摂取を推定してよい。飲食方法の例としては、フォークによる摂食、ナイフによる摂食、スプーンによる摂食、指による摂食、グラスからの摂飲、カップからの摂飲、ストローからの摂飲など）が挙げられ得るが、これらに限定されない。メタデータの例としては、時刻、場所、環境、又は社会的要因が挙げられ得るが、これらに限定されない。
別の例の実施形態
図１７は、一実施形態による、図１の監視システムに類似の変形例の監視システムの高レベル機能図を示す。図１７に示すように、センサユニット１７００は、イベント検出システム１７０１と対話し、イベント検出システム１７０１は、次いで物体情報検索システム１７０２と対話し、物体情報検索システム１７０２は、処理及び分析システムに入力を提供し、その結果は、データ記憶ユニット１７０４に記憶され得る。
いくつかの実施形態では、図１７に示す要素は電子ハードウェアに実装されるが、他の要素はソフトウェアに実装され、プロセッサによって実行される。一部の機能は、ハードウェア及びプロセッサ／メモリリソースを共有してよく、一部の機能は分散されてよい。機能は、手首装着型ウェアラブルデバイスなどセンサデバイスに完全に実装されてよく、又は機能は、センサデバイス、センサデバイスが通信する処理システム、例えばスマートフォンなど、及び／又はセンサ装置からリモートで一部の機能を処理するサーバシステムにわたって実装されてよい。例えば、ウェアラブルセンサデバイスは測定を行い、ウェアラブルセンサデバイスから受信したデータを処理し、場合によっては他のデータ入力と組み合わされる当該情報を使用し得るモバイルデバイスに測定値を伝達して、物体情報検索サブシステム１７０２を起動してよい。物体情報検索サブシステム１７０２は、モバイルデバイス、ウェアラブルセンサデバイス、又は別の電子デバイスに実装されてもよい。物体情報検索サブシステム１７０２はまた、例えば、モバイルデバイス及びウェアラブルセンサデバイスにわたってなど、複数のデバイスにわたって分散されてよい。データ又は他の情報は、記録された形態で、又はある程度の処理後に、複数の場所に分散されて、又は集中的に好適な形式で記憶されてよい。データは、一時的に又は恒久的に記憶されてよい。データは、ウェアラブルセンサデバイスに、モバイルデバイスにローカルに記憶されてよい、又はインターネット上でサーバにアップロードされてよい。
図１７に示すシステムの第１の構成要素は、イベント検出サブシステム１７０１である。イベント検出サブシステム１７０１の１つの役割は、イベントの実際の発生、可能性の高い発生、又は開始直前の発生を特定することである。イベントは、例えば、特定の活動又は挙動に関連するイベントであり得る。特定の活動又は挙動としては、摂食、摂飲、喫煙、服薬、歯磨き、デンタルフロスでの歯磨き、手洗い、リップスティック又はマスカラをつけること、剃毛、コーヒーを淹れること、調理、排尿、浴室の使用、運転、運動、又は特定のスポーツ活動への参加が挙げられ得るが、これらに限定されない。イベント検出サブシステム１７０１によって検出され得るイベントの他の例は、製造ライン又は他の場所で特定のタスクを実行する、又は特定の手順を実行するオペレータであってよい。更に別の例は、製造アーム又は他の場所で特定のタスクを実行する、又は特定の手順を実行するロボット又はロボットアームであってよい。
イベント検出サブシステムは、１つ以上のセンサユニット１７００からの入力、他のユーザ入力１７０５、又はセンサユニット１７００からの１つ以上のセンサ入力と１つ以上の他のユーザ入力１７０５との組み合わせを使用して、イベントの実際の発生、可能性の高い発生、又は開始直前の発生を判定又は推測してよい。イベント検出サブシステム１７０１は、センサ及び／又はユーザ入力に対して追加処理を行い、イベントの実際の発生、可能性の高い発生、又は開始直前の発生を判定してよい。一般に、イベント検出システムは、イベント検出システムが、イベントが実際に開始し得る、開始する可能性が高い、間もなく開始すると判定される入力及び／又はデータを有する場合に発生する推測イベントを記録する、及び／又はそれに対して反応する。場合によっては、イベント検出システムは、イベントが実際に発生しなかったイベントを推測して、それをイベントとして処理してよいが、これは稀なことであり得る。
イベント検出サブシステム１７０１はまた、センサ及び／又はユーザ入力に対して追加処理を行って、イベントに関する追加情報を判定してよい。かかる情報としては、イベントの期間、イベント開始時間、イベント終了時間、対象者がイベントに関与している速度（speed）又は速度（pace）に関連するメトリックが挙げられ得るが、これらに限定されない。他のイベントデータ要素も可能である。例えば、イベントが摂食イベントである場合、イベントデータ要素は、噛み付き回数又は食品摂取量であり得る。同様に、イベントが摂飲イベントである場合、イベントデータ要素は、すすり込み回数又は流体摂取量であり得る。これらのイベントデータ要素は、推測イベントに関するデータ要素を維持するデータベースに記憶されてよい。
ジェスチャ感知技術を使用して、イベント検出システムは、外部デバイスをトリガして更なる情報を収集することができる。
特定の実施形態では、物体情報検索サブシステム１７０２又は物体情報検索サブシステム１７０２の一部を収容する電子デバイスは、近接無線通信（ＮＦＣ）技術を含み、物体情報検索サブシステム１７０２は、対象者が無線ＮＦＣリンクを介した送信によって少なくとも部分的に対話することができる１つ以上の物体又は１人以上の対象者に関する情報を取得する。
特定の実施形態では、外部デバイスは、ＮＦＣリーダであり、上にＮＦＣタグを有する様々な物体が検出される。ＮＦＣリーダは、ジェスチャ感知技術、又はジェスチャ感知技術の一部の構成要素と統合されてよい。
これらの物体が食品／飲料関連である場合、イベント検出システムは、ジェスチャが何に関連しているかを判定することができる。例えば、食品／飲料容器は、製品パッケージに埋め込まれたＮＦＣタグを有してよく、食物摂取監視システムは、ジェスチャが摂食ベントに関連すると自動的に判定し、次いで、ＮＦＣリーダの電源を投入し、近隣のＮＦＣタグを読み取るように信号を送信してよく、それによって、摂取中の製品上のＮＦＣタグを読み取り、その結果、ジェスチャ及びイベントが特定の製品に関連付けられる。
一例では、監視システムは、ジェスチャを判定し、それらのジェスチャに基づいて、摂食イベント又は摂飲イベントを特定するウェアラブルデバイスを有してよい。摂飲イベントが検出され、センサ入力及び検出されたジェスチャに基づいて、監視システムが、すすり込み回数を数える、各すすり込みの分量を推定する又は計算するなどして、ソーダ缶の４分の３をユーザが摂飲したと判定したと仮定する。ダイエットソーダであるか、又は普通のソーダであるかにかかわらず、ジェスチャは同一である可能性が高い。ＮＦＣリーダを使用して、特定の銘柄及び種類のソーダを検出することもできる。
センサは、ウェアラブルデバイス内に存在し、ジェスチャ判定論理又は処理は、携帯電話などウェアラブルデバイスに通信可能に結合される外部デバイスで生じてよく、又は、ジェスチャ判定は、一部はウェアラブルデバイスで、また一部はウェアラブルデバイスに通信可能に結合される外部デバイスで生じてよい。
ＮＦＣリーダは、センサを収容するウェアラブルデバイス内に、ウェアラブルデバイスに通信可能に結合され、ジェスチャ判定の少なくとも一部を実行する外部デバイス内に、ウェアラブルデバイス、ジェスチャ判定の少なくとも一部を実行する外部デバイス、又はその両方に通信可能に結合される別の外部デバイス内に存在してよい。
一般的な場合には、イベントの発生の検出が使用されて、プロセス／システム／回路／デバイスを起動して、イベントによって表される活動又は挙動を実行する人物と対話している物体／品目又は他の対象者に関する情報を収集してよい。この情報は、データ要素の形式で記録されてよい。物体データ要素は、データベースに記憶されてよい。１つ以上の物体データ要素及び同一イベントの１つ以上のイベントデータ要素は、単一のエントリとしてデータベースに記録されてよい。物体データ要素及びイベントデータ要素はまた、別個のエントリとしてデータベースに記録されてよい。本明細書に記載の教示と一致する他のデータ構造も使用されてよく、又は代わりに使用されてよい。
ＮＦＣリーダシステムが起動すると、１つ以上のＮＦＣ読み取りコマンドを開始し、関連する物体からの追加情報がＮＦＣリンクを介して無線で取得される。ＮＦＣデータの除去など追加処理が適用されて、下流の処理を単純化してよい。
他の変形例では、他の無線リンクがＮＦＣの代わりに、又はＮＦＣと共に使用される。他の無線技術の例としては、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ、Ｗｉ－Ｆｉ、Ｗｉ－Ｆｉ派生技術、及び独自の無線技術が挙げられるが、これらに限定されない。
イベント信号の発生の検出は、イベントの一部である対象の活動／挙動に関連する特定の関連物体に関する情報を除去するために使用されてよい。
物体検出プロセスは自動であってよいが、物体情報検索システムを起動するためにユーザ介入を必要とすることもできる。これは、例えば、ユーザにカメラの電源を入れるように求める、又は検出プロセスを継続するかどうかを決定し、その決定に対するユーザの入力を取得するように求めるなどのように単純であり得る。別の例として、ユーザは、ＮＦＣリーダを対象のＮＦＣタグの近くに移動するように促されてよい。別の例では、ユーザは、ＮＦＣリーダ回路、若しくはＮＦＣリーダ回路の一部を起動するように促されてよく、又はＮＦＣリーダ回路が読み取りコマンドを発行できるようにする１つ以上のアクションを講じるように促されてよい。
ＮＦＣリーダに加えて、カメラが起動されてよく、関連物体からの追加情報は、関連物体の画像又は映像記録を解析することによって取得することができる。カメラは、ユニット内でＮＦＣリーダと統合されてよい。いくつかの実施形態では、カメラのみが使用されるか、又は他の補助センサが使用されて、イベントに関する追加情報を取得する。
イベント検出サブシステムから取得された、イベントの一部である活動又は挙動に関する情報は、ユーザが対話している１つ以上の物体又は１人以上の対象者に関する情報と組み合わされ得、追加の処理／分析は、組み合わされたデータセットで実行されて、データソースのうちの１つのみを単独で検討することでは取得することができない、活動／挙動についての更なる情報又は洞察を取得してよい。
本開示の多くの例は、イベントの実際の発生、可能性の高い発生、又は開始直前の発生を検出するためのジェスチャを分析するイベント検出システムに言及するが、他のセンサ入力も可能である。例えば、口、喉、又は胸部の中又はその付近での音声信号が使用されて、ユーザの摂取に関する情報を検出し、取得してよい。これを達成するために、イベント検出サブシステム１７０１は、１つ以上のセンサユニット１７００からの入力１７０６を使用してよい。センサとしては、加速度計、ジャイロスコープ、磁力計、ＭＡＲＧ（Magnetic Angular Rate and Gravity）センサ、画像センサ、カメラ、光センサ、近接センサ、圧力センサ、匂いセンサ、ガスセンサ、グルコースセンサ、心拍センサ、ＥＣＧセンサ、温度計、露出計、全地球測位システム（ＧＰＳ）、及びマイクロフォンが挙げられ得るが、これらに限定されない。
イベントの実際の発生、可能性の高い発生、又は開始直前の発生を検出すると、イベント検出サブシステムは、物体情報検索サブシステム１７０２を起動してよい。あるいは、イベント検出サブシステム１７０１は、物体情報検索サブシステム１７０２を起動するか否かを決定する追加処理を行ってよい。イベント検出サブシステム１７０１は、物体情報検索サブシステム１７０２を直ちに起動してよい、又は一定期間を待機してから物体情報検索サブシステム１７０２を起動してよい。
物体情報検索サブシステム１７０２の役割は、イベント検出サブシステム１７０１が実際のイベントの発生、可能性の高いイベントの発生、又は開始直前のイベントの発生を検出したとき、又はそれからしばらくして、対象者と対話している物体又は他の対象者に関する情報を収集することである。
１つのかかる実施形態では、イベント検出サブシステム１７０１から起動入力信号１７０７を受信すると、又は起動入力信号１７０７を受信してからしばらくして、物体情報検索サブシステム１７０２は、ＮＦＣ読み取り動作を開始して、物体情報検索サブシステム１７０２を収容するデバイスのＮＦＣ範囲内にある１つ以上の物体に取り付けられた、その中に収容された、又は別の方法で関連付けられたＮＦＣタグを読み取る。物体情報検索サブシステム１７０２は、１つ以上の物体から受信したデータを、処理及び分析サブシステム１７０３に送信する。物体情報検索サブシステム１７０２は、処理及び分析サブシステム１７０３に送信する前にデータに追加処理を行ってよい。他の実施形態では、カメラ又は他の電子デバイスなど追加の補助センサ又はセンサシステムが使用されてよい。
処理としては、フィルタリング、特定のデータ要素の抽出、データ又はデータ要素の修正、複数の物体から得られたデータ又はデータ要素の統合、ＮＦＣを介してでは収集されない、他のソースから取得されたデータとデータ又はデータ要素との統合が挙げられるが、これらに限定されない。フィルタリングの例としては、１つ以上の物体と物体情報検索サブシステムとの間の距離又は推定距離に基づいて、受信したＮＦＣ信号の信号強度に基づいて、物体からデータを受信した順序に基づいて、データ又は特定のデータ要素内の情報に基づいてフィルタリングすることが挙げられ得るが、これらに限定されない。フィルタリングに使用される他のフィルタリング機構又は基準も可能である。物体情報検索サブシステム１７０２は、一定期間後に、設定可能な時間後に、一定数又は設定可能な数のタグを読み取った後に、ＮＦＣタグの読み取りを停止してよい。他の基準も使用されてよい。
物体情報検索サブシステムはまた、対象者又はイベント検出サブシステムとは無関係に対象者が対話している他の対象者に関する情報を収集することも可能である。かかる実施形態では、処理及び分析サブシステム１７０３は、イベント検出サブシステム１７０１から受信した信号１７０８を物体情報検索サブシステム１７０２から受信したデータ信号１７０９と共に使用して、物体、又は活動中若しくは特定の挙動を示しているときに対象者が対話し得る他の対象者に関する関連情報を推定してよい。
本開示の特定の実施形態では、物体情報検索サブシステム１７０２は、連続的に、定期的に、ないしはイベント検出サブシステム１７０１からの入力とは無関係に、物体情報検索サブシステム１７０２の全体又は一部を収容する電子デバイスの範囲内にある物体からＮＦＣタグを読み取る。活動／挙動信号の発生の検出は、対象の活動／挙動に関連する特定の関連物体に関する情報を除去するために使用されてよい。物体がイベントに関連付けられている、イベントを示す、又はイベントを指す場合、特定の物体は、イベントの記録の一部として記録されてよく、そのため、当該情報は、フィルタリング又は他の処理に後で使用され得る。
特定の実施形態では、物体情報検索サブシステム１７０２は、イベント検出サブシステムから受信した入力とは無関係にデータを収集するが、イベント検出サブシステム１７０１から起動信号１７０７を受信すると、又はそれからしばらくして、処理及び分析サブシステム１７０３にデータのみを送信する。物体情報検索サブシステム１７０２は、ＮＦＣリンクを介して物体から受信したデータのサブセットのみを送信してよい。例えば、起動信号１７０７を受信した時間に関連する一定の、又は設定可能な時間窓内に受信するデータのみを送信してよい。例えば、起動信号１７０７の直前及び／又は直後にデータのみを送信してよい。他の時間窓も可能である。物体情報検索サブシステム１７０２は、処理及び分析サブシステム１７０３に送信する前にデータに追加処理を行ってよい。
本開示の一実施形態では、物体情報検索サブシステム１７０２はカメラを含み、１つ以上の物体に関する情報は、画像又は映像記録の分析から導出されてよい。
本開示の好ましい実施形態では、物体情報検索サブシステム１７０２は、対象者からの介入又は入力なしで物体からデータを収集する。本開示の別の実施形態では、何らかのユーザ入力又は介入が必要である。例えば、ユーザは、対象のＮＦＣタグの近くへとＮＦＣリーダを移動するように促されてよい。別の例では、ユーザは、ＮＦＣリーダ回路、若しくはＮＦＣリーダ回路の一部を起動するように促されてよく、又はＮＦＣリーダ回路が読み取りコマンドを発行できるようにする１つ以上のアクションを講じるように促されてよい。
図１８は、ユーザ介入を必要とする実施形態による監視システムの高レベル機能図を示す。図１８に示すように、１つ以上のセンサユニット１８００は、イベント検出サブシステム１８０１と対話し、イベント検出サブシステム１８０１にセンサデータを送信する。実際のイベント、可能性の高いイベント、又は開始直前のイベントを検出する又は推測すると、イベント検出サブシステムは、ユーザ対話ユニット１８０２に１つ以上の通知を送信して、ＮＦＣスキャンアクションの始動を要求する。通知は、表示されるテキストメッセージとして、表示される画像、音声メッセージ、ＬＥＤ信号、振動などとして提供されてよい。ユーザインタフェースの組み合わせも使用されてよい。他のインタフェースも使用されてよい。ユーザは、ユーザ対話ユニット１８０２の１つ以上のユーザインタフェースを使用して１つ以上の通知に応答してよい。ユーザ応答は、物体情報検索サブシステム１８０３にスキャンコマンド１８１０を送信するようにユーザ対話ユニット１８０２をトリガしてよい。スキャンコマンド１８１０を受信すると、又はスキャンコマンド１８１０の受信後のいつかの時点で、物体情報検索サブシステム１８０３はＮＦＣリーダ１８０６を起動し、ＮＦＣリーダ１８０６とＮＦＣタグ１８０７との間の無線通信リンク１８１１を介して物体１８０４に関する情報を取得してよい。無線リンク１８１１を介して取得した情報は、物体１８０４の銘柄、種類、内容、有効期限、ロット番号などに関する情報を含んでよい。物体に関する他の情報も取得されてよい。イベント検出サブシステム１８０１からのイベントデータ要素１８１４及び無線リンク１８１１を介して物体情報検索サブシステム１８０３によって１つ以上の物体から取得された物体データ要素１８１３は、処理及び分析サブシステム１８０５に送信されてよい。追加の処理が実行されてよく、イベント及び物体データ要素は、１つ以上のデータ記憶ユニット１８１５上のデータベースに記憶されてよい。
別の例では、イベント検出システムは、ＮＦＣタグを自動的にスキャンするが、物体からデータを受信すると、物体情報検索サブシステムは対象者にメッセージを送信し、対象者は、プロセッサ又は分析サブシステムへの送信を許可する、若しくは許可しない、又は対象者は情報を直接確認する。このメッセージはまた、処理及び分析サブシステムによって送信されてよい。
処理及び分析サブシステム１８０３による処理としては、フィルタリング、特定のデータ要素の抽出、データ又はデータ要素の修正、複数の物体から得られたデータ又はデータ要素の統合、ＮＦＣを介してでは収集されない、他のソースから取得されたデータとデータ又はデータ要素との統合が挙げられるが、これらに限定されない。フィルタリングの例としては、１つ以上の物体と物体情報検索サブシステムとの間の距離又は推定距離に基づいて、受信したＮＦＣ信号の信号強度に基づいて、データを物体から受信した順序に基づいて、データ又は特定のデータ要素内の情報に基づいてフィルタリングすることが挙げられ得るが、これらに限定されない。フィルタリングに使用される他のフィルタリング機構又は基準も可能である。物体情報検索サブシステム１８０２は、一定期間後に、設定可能な時間後に、一定数又は設定可能な数のタグを読み取った後に、データの送信を停止してよい。他の基準も使用されてよい。物体情報検索サブシステム１８０２は、単一の物体から、物体のサブセットから、又は指定された時間窓内でデータを受信する全ての物体からのみデータを送信してよい。
本開示の異なる実施形態では、物体情報検索サブシステム１８０２は、連続的に、定期的に、ないしはイベント検出サブシステム１８０１からの入力とは無関係に、物体情報検索サブシステム１８０２の全体又は一部を収容する電子デバイスの範囲内にある物体からＮＦＣタグを読み取り、イベント検出サブシステムからの信号とは無関係に、処理及び分析サブシステム１８０３にかかるデータを送信する。
処理及び分析サブシステム１８０３は、イベント検出サブシステム１８０１及び物体情報検索サブシステム１８０２からのデータ入力を受信する。処理及び分析サブシステム１８０３は、物体情報検索サブシステム１８０２からのみ入力を受信することも可能である。処理及び分析サブシステム１８０３は、データに対して追加処理を行い、データを分析して、受信したデータから１つ以上の物体又は１人以上の対象者に関する情報を抽出してよい。処理としては、フィルタリング、特定のデータ要素の抽出、データ又はデータ要素の修正、複数の物体から得られたデータ又はデータ要素の統合が挙げられるが、これらに限定されない。分析としてはまた、特定のデータ要素を、ルックアップテーブル又はデータベースに記憶されているデータと比較すること、データ要素を、以前に及び／又は異なる対象者から取得されたデータ要素に相関させることが挙げられてよい。他の処理及び分析工程も可能である。処理及び分析サブシステム１８０３は、１つ以上のデータ記憶ユニット１８０４に未処理データ又は処理済みデータを記憶してよい。記憶は、一時的であっても、恒久的であってもよい。
いくつかの実施形態では、処理及び分析サブシステム１８０３からの出力は、イベント中又はその直後のいずれかにおいてリアルタイムで利用可能であってよい。他の実施形態では、出力は、後まで利用できなくてよい。
処理及び分析サブシステム１８０３は、モバイルデバイス、ウェアラブルセンサデバイス、又は別の電子デバイスに実装されてよい。処理及び分析サブシステム１８０３はまた、例えば、モバイルデバイス及びウェアラブルセンサデバイスにわたってなど、複数のデバイスにわたって分散されてよい。別の例では、処理及び分析サブシステム１８０３は、モバイルデバイス及びローカル又はリモートサーバにわたって分散されてよい。処理及び分析サブシステム１８０３はまた、全てローカルサーバ又はリモートサーバに実装されてよい。情報は、記録された形態で、又はある程度の処理後に、複数の場所に分散されて、又は集中的に好適な形式で記憶されてよい。データは、一時的に又は恒久的に記憶されてよい。データは、ウェアラブルセンサデバイスに、モバイルデバイスにローカルに記憶されてよい、又はインターネット上でサーバにアップロードされてよい。
物体情報検索サブシステムは、その全体が、又は一部がバッテリ駆動型電子デバイス内に収容されてよく、物体情報検索サブシステムの電力摂取を最小限に抑えることが望ましい場合がある。イベントが検出されない場合、無線回路（例えば、ＮＦＣリーダ回路）は、低電力状態にされてよい。イベントの実際の発生、可能性の高い発生、又は開始直前の発生を検出する又は推測すると、物体情報検索サブシステムは、より高電力の状態にされてよい。物体情報検索サブシステム内の１つ以上の追加回路は、電源が投入されて、物体情報検索サブシステムの起動、又は物体情報検索サブシステムの範囲又は性能の向上などを行ってよい。ある特定の例では、ＮＦＣリーダは、イベントが検出されないと、電源が停止される、低電力のスタンバイモード又はスリープモードにされる。イベントを検出又は推測すると、ＮＦＣリーダは、より高電力の状態にされ、隣接する物体のＮＦＣタグと通信することができる。予め設定された数のＮＦＣタグの読み取り後、予め設定された時間の後、又はイベントの終了若しくは完了の検出時に、ＮＦＣリーダは再び電源が停止されてよく、又は低電力のスタンバイモード若しくはスリープモードに戻されてよい。
薬剤分配システムの例
本明細書に記載の原理及び詳細によるシステムは、飲食の開始を検出して、インスリン療法及び／又は食事認識人工膵臓の一形態として微小投与量のインスリンの投与を開始するために使用され得る。インスリン投与計算機は、摂食開始時の血糖値、摂食開始時の血糖値の勾配を考慮して、投与量及びインスリン送達のタイミングを判定することができる。インスリンは、１回又は複数回のマイクロ投与量で送達されてもよい。食品に関する追加情報が物体情報検索サブシステムから取得される場合（例えば、普通のソーダ缶を飲んだか、ダイエットソーダの缶を飲んだか）、この情報は、インスリン投与計算機によって考慮されてよい。例えば、糖含量の高い食料品が摂取されている場合、インスリン投与計算機は、マイクロ投与イベントごとに投与される投与量を増加させてよく、又は所与の期間に送達されるマイクロ用量の数を増加させてよい。
図１９は、本開示の対象となる薬剤分配システムの高レベル機能図を示す。薬剤分配システムは、部分的に、食事追跡及びフィードバックシステム１９０２、１つ以上のセンサユニット１９００、測定センサ処理ユニット１９０９、薬剤投与計算ユニット１９０６、１つ以上の測定センサユニット１９０４、及び薬剤分配ユニット１９０８のうちの１つ以上を含んでよい。
本開示の一実施形態では、投与される薬剤はインスリンであり、測定センサユニット１９０４は、間質グルコース値を測定する連続グルコースモニタセンサであり、薬剤分配ユニット１９０８はインスリンポンプであり、薬剤投与計算ユニット１９０６は、自動インスリン送達システム（別名、人工膵臓）のインスリン投与計算ユニットである。
図１９に示す要素のそれぞれは、好適な構造によって実現されてよい。例えば、これらは、個々のハードウェア要素であり得る、又はウェアラブルデバイス、ウェアラブルデバイスと通信する補助デバイス、若しくはネットワークを介して補助デバイス及び／若しくはウェアラブルデバイスに結合されたサーバ内のソフトウェア構造として実装され得る。いくつかの要素は完全にソフトウェアであってよく、ソフトウェアを実行するプロセッサに対してメッセージを送信及び／又は受信することができる他の要素に結合されてよい。例えば、薬剤分配ユニット１９０８は、ソフトウェアシステムによって与えられる命令に応答して、マイクロ投与量の薬剤を注入する埋め込み型ハードウェアシステムであってよく、したがって、最小限のオンボード処理のみを必要とする。
食事追跡及びフィードバックシステム１９０２は、本明細書の他の箇所に記載するように実施されてよく、１つ以上のセンサユニットの出力を監視して、食物摂取イベントの実際の開始、可能性の高い可視、又は開始直前を判定してよい。食物摂取イベントの実際の開始、可能性の高い開始、又は開始直前を検出すると、又はそれからしばらくして、薬剤投与計算ユニット１９０６に信号１９０３を送信して、食物摂取イベントの実際の開始、可能性の高い開始、又は開始直前が検出されたことを薬剤投与計算ユニット１９０６に通知してよい。薬剤投与計算ユニット１９０６は、この情報を使用して、その状態を「食事中」状態に変更してよい。
食事中状態になると、又はそのしばらく後で、薬剤投与計算ユニット１９０６は、投与されるべき初期食事薬剤投与量を計算し、薬剤分配ユニット１９０８に１つ以上のメッセージを送信してよい。あるいは、食物摂取イベントの開始と関連して投与されるべき薬剤投与量は、食物摂取イベントの発生より前に予め設定されていてよい、又は計算されていてよい。これらのメッセージ１９０７を受信すると、薬剤分配ユニット１９０８は、薬剤の送達を開始してよい。
薬剤分配ユニットは、全量を１回で、又は投与スケジュールに従って薬剤を送達してよい。送達スケジュールは、薬剤投与計算ユニットによって決定され、インスリン送達システムに伝達されてよい。送達スケジュールは、食事中状態になると、又はそのしばらく後に決定されてよい。送達スケジュールはまた、食物摂取イベントの発生前に予め設定されてよい。
初期食事薬剤投与量及び／又は送達スケジュールは、食物摂取イベントの予想薬剤投与量全体を対象としてよい。あるいは、初期食事薬剤投与量及び／又は送達スケジュールは、食物摂取イベントの予想薬剤投与量全体の一部のみを対象としてよく、追加の薬剤投与量は、食物摂取イベント中の遅い時点に、又はイベントの後に期待される。
薬剤投与計算ユニット１９０６は、初期薬剤投与量及び初期送達スケジュールの計算時に、追加の入力を考慮してよい。一部の入力は、現在若しくは最近の測定値、現在若しくは最近のユーザ活動及び挙動、又はユーザの現在若しくは最近の状態（state）若しくは状態（condition）に対応する他の情報に関連してよい。他の入力は、過去の測定値、過去のユーザ活動及び挙動、又はユーザの過去の状態（state）若しくは状態（condition）に対応する他の情報に関連してよい。
追加入力の例
薬剤投与計算ユニット１９０６は、測定センサ処理ユニット１９０９からの１つ以上の出力１９１０を考慮してよい。薬剤投与計算ユニット１９０６は、出力１９１０に対して追加処理工程を実行してよい。例えば、測定センサユニット１９０４は、連続グルコースモニタ（「ＣＧＭ」）であってよく、測定センサ処理ユニット１９０９の出力１９１０は、間質グルコース読み取り値であってよい。出力１９１０は、例えば、数分ごとに更新されてよい。他の更新頻度も可能である。出力１９１０はまた、連続的に更新されてよい。薬剤投与計算ユニット１９０６は、１つ以上の間質グルコース読み取り値を考慮してよい。例えば、薬剤投与計算ユニット１９０６は、最新の読み取り値を考慮してよい。薬剤投与計算ユニット１９０６は、間質グルコース読み取り値の変化を示す特定のパラメータを計算してよい。例えば、薬剤投与計算ユニット１９０６は、１つ以上の時間窓にわたって、間質グルコース読み取り値の最小、平均、最大、標準偏差、勾配、又は二次導関数を計算してよい。時間窓は、食事中状態への移行に先行する期間にわたってよく、食事中状態への移行を含む期間にわたってよく、又は食事中状態への移行後のしばらくの期間にわたってよい。他の、又は追加の測定センサユニット、例えば、心拍数、血圧、体温、水分補給レベル、疲労レベルなども可能である。インスリン送達システムはまた、ユーザの現在の位置を考慮してよい。
薬剤投与計算ユニット１９０６はまた、他の入力、例えば、ユーザの現在又は最近の身体活動、睡眠、ストレスなどを考慮してよい。薬剤投与計算ユニット１９０６はまた、個人情報、例えば、性別、年齢、身長、体重などを考慮してよい。
薬剤投与計算ユニット１９０６はまた、例えば、ユーザのインスリン基礎レート、ユーザのインスリン対炭水化物比、及びユーザのインスリン補正因子などユーザの薬剤投与ニーズに関連する情報を考慮してよい。この情報は、ユーザによって、介護者によって、又は健康記録若しくはヘルスケア維持システムによって入力された、又は設定された情報であってよい。患者の薬剤投与ニーズに関連する情報はまた、薬剤分配システムによって収集され、記憶された履歴データから導出されてよい。例えば、現在の食物摂取イベントに先行する期間に薬剤分配ユニットによって送達される薬剤（例えばインスリン）の投与量である。薬剤投与計算ユニット１９０６は、過去の同一時刻若しくはその前後（例えば、指定された時間窓内）に、及び／又は同一曜日に発生した１つ以上の以前の食物摂取イベントに関連して送達された薬剤投与量を考慮してよい。
薬剤投与計算ユニット１９０６はまた、例えばインスリンオンボードなど、以前の薬剤分配イベントからの今でも有効な薬剤を考慮してもよい。
薬剤投与計算ユニット１９０６はまた、過去の同一時刻若しくはその前後（例えば、指定された時間窓内）に、及び／又は同一曜日に、及び／又は同一場所で発生した食物摂取イベントに関連するパラメータを含んでよい。薬剤投与システム１９０６は、例えば、過去の食物摂取イベントの期間、過去の食物摂取イベント中の推定食品摂取量、過去の食物摂取イベント中の平均摂食速度、過去の食物摂取イベントの摂食方法、過去の食物摂取イベント中に使用された器具若しくは容器の種類、又は過去の食物摂取イベント中の炭水化物摂取量を考慮してよい。他のパラメータも可能である。これらの追加のパラメータ（例えば、期間又は速度）の一部は、任意のユーザ介入を必要とせずに、食物摂取追跡及びフィードバックシステムによって計算されてよい。他の場合には、ユーザの介入、ユーザによる入力又は確認が必要であってよい。
薬剤分配スケジュール
薬剤投与計算ユニット１９０６は、薬剤分配ユニットに、初期薬剤投与量を全て１回で投与するように指示してよく、又は薬剤を投与するための送達予定を指定してよい。本開示の一実施形態では、薬剤投与計算ユニット１９０６は、薬剤投与量、並びに薬剤送達のスケジュールを計算する。一例として、薬剤投与計算ユニット１９０６は、５単位のインスリンの送達が必要であり、２単位を直ちに、１単位を２分後に、１単位を５分後に、１単位を７分後に、のように送達スケジュールを指定してよい。これは単なる一例であり、当然のことながら、他の時間プロファイル構造も可能である。
薬剤投与計算ユニット１９０６は、薬剤投与量及びスケジュールの両方を薬剤分配ユニット１９０８に伝達してよい。あるいは、薬剤投与計算ユニット１９０６は、薬剤の投与が必要になるたびに、投与されるべき薬剤の投与量と共に、１つ以上のメッセージを薬剤分配ユニット１９０８に送信してよい。
本開示の好ましい実施形態では、薬剤投与計算ユニット１９０６は、食事中状態になると、又はそのしばらく後で、薬剤の送達を開始するように薬剤分配ユニット１９０８に指示してよい（１９０７）。例えば、薬剤分配ユニット１９０８に、１回分以上の薬剤の少量のマイクロ投与量を送達するように指示してよい。
追加の投与量及び投与量の調整
食物摂取イベント中、及び／又は食物摂取イベントのしばらく後で、薬剤投与計算ユニット１９０６は、部分的に測定センサ処理ユニット１９０９からの１つ以上の入力１９０５、及び／又は食事追跡及びフィードバックシステム１９０２からの１つ以上の入力１９０３を定期的に（例えば、数分ごと）又は連続的に監視して、追加の薬剤が投与されるべきかどうか、投与されるべき追加の薬剤の量、又は予定された薬剤分配が調整されるべきかどうかを判定してよい。本開示の以前の節に記載した入力など他の入力も考慮されてよい。
薬剤投与量又は薬剤投与量の調整を計算するとき、薬剤投与計算ユニット１９０６は、食物摂取イベントが進行中であるかどうかを考慮してよい。食物摂取イベントが進行中ではない、又はもはや進行していない場合、薬剤投与計算ユニット１９０６は、例えば、最後の食物摂取イベントが終了してからの時間を考慮してよい。食物摂取イベントが進行中である場合、薬剤投与計算ユニット１９０６は、例えば、現在の食物摂取イベントが開始してからの経過時間、現在の食物摂取イベントが開始してからの摂食速度の平均又は中央値、現在の食物摂取イベントが開始してからの総推定摂取量を考慮してよい。他の例も可能である。
薬剤投与計算ユニット１９０６はまた、測定センサ処理ユニット１９０９からの１つ以上の最近の入力を考慮してよい。例えば、薬剤投与計算ユニット１９０６が自動インスリン送達システム（別名、人工膵臓）内のインスリン投与ユニットであり、測定センサユニット１９０９はＣＧＭである場合、薬剤投与計算ユニット１９０６は、最新の間質グルコース読み取り値、及び／又は現在の時間の直前又はごく近い以前の時間窓にわたる間質グルコース読み取り値の変化を考慮してよい。最新の間質グルコース読み取り値が指定の閾値未満である場合、及び／又は間質グルコース読み取り値の変化が指定の負の閾値を超える場合、薬剤投与計算ユニット１９０６は、インスリン投与量を下方に調整することを決定してよい、又は間質グルコース読み取り値が第２の指定の閾値に達するまで、及び／又は間質グルコース読み取り値の変化が、第２の指定の負の閾値を超えなくなり、正になったか、若しくは指定の正の閾値を超えるまでインスリン送達を一時停止してよい。
本開示のいくつかの実施形態では、測定センサ処理ユニットに関する出力を検出すると、薬剤投与計算ユニット１９０６は、ユーザ、１人以上の介助者、医療提供者、監視システム、若しくは緊急レスポンスシステム、又は、かかる出来事の発生について通知されることに直接又は間接的な利害関係を有し得る第三者にアラートを送信してよい。
同様に、最新の間質グルコース読み取り値が特定の閾値を超え、かつ／又は間質グルコース読み取り値の変化が指定の正の閾値を超える場合、薬剤投与計算ユニット１９０６は、追加の薬剤投与量が投与されるべきであると判定してよく、これは、既に予定されている薬剤投与量が、より大きい投与量に調整される必要があるか、又は現在予定されている時間よりも早い時間に送達される必要がある。薬剤投与計算ユニット１９０６は、任意選択的に、食事追跡及びフィードバックシステム１９０２からの追加入力を考慮して、追加の薬剤投与量又は薬剤投与量の調整を計算してよい。薬剤投与計算ユニット１９０６は、１つ以上のメッセージ１９０７を薬剤分配ユニット１９０８に送信して、薬剤分配ユニット１９０８に追加又は調整された薬剤投与要求を通知してよい。
食物摂取イベントの実際の終了、又は開始直前の終了を検出すると、又はそのしばらく後で、食事追跡及びフィードバックシステム１９０２は、薬剤投与計算ユニット１９０６に信号１９０３を送信して、食物摂取イベントの実際の終了、又は開始直前の終了が検出されたことを薬剤投与計算ユニット１９０６に通知してよい。薬剤投与計算ユニット１９０６は、この情報を使用して、その状態を「食事外」状態に変更してよい。特定の実施形態では、薬剤投与計算ユニットは、進行中の食事なし状態であるとき、部分的に１つ以上の測定センサ処理ユニット１９０９からの１つ以上の入力１９０５、及び／又は食事追跡及びフィードバックシステム１９０２からの１つ以上の入力１９０３を定期的に又は連続的に監視して、追加の薬剤が投与されるべきかどうか、投与されるべき追加の薬剤の量、又は予定された薬剤分配が調整されるべきかどうかを判定してよい。本開示の以前の節に記載した入力など他の入力も考慮されてよい。進行中の食事なし状態にあるとき、薬剤投与の監視及び／又は更新／調整の頻度は、「食事中」状態にあるときの薬剤投与の監視及び／又は更新／調整の頻度と異なってよい。薬剤投与量又は薬剤投与量の調整を決定するために使用されるアルゴリズムはまた、「食事中」状態と「進行中の食事なし」状態との間で異なってよい。
薬剤投与学習システムの説明
本開示のいくつかの実施形態では、薬剤投与計算ユニット１９０６は、食物摂取イベントに関するデータ及び情報を収集し、記憶してよい。いくつかの実施形態では、薬剤投与計算ユニット１９０６は、記憶前に収集されたデータ及び情報に対して追加の処理工程を実行してよい。処理工程は、フィルタリング、平均化、算術演算の適用、及び統計的演算の適用であってよい。他の処理工程も可能である。
食物摂取イベントに関するデータ及び情報は、食物摂取イベントに関するデータレコードを保持するデータベースにデータ要素として記憶されてよい。
データ要素はイベントデータ要素であってよく、食物摂取イベントを特徴付ける情報又はパラメータを含んでよい。かかる情報としては、イベント開始時間、イベントが発生した曜日、イベントの日付、イベントの期間、イベントの終了時間、対象者が飲食する速度（speed）若しくは速度（pace）、又はイベント中に摂取された食品若しくは液体の量に関連付けられたメトリックが挙げられてよいが、これらに限定されない。
データ要素はまた、測定データ要素であってよく、１つ以上の測定センサユニット１９０４によって測定され、１つ以上の測定センサ処理ユニット１９０９によって処理された１つ以上の信号を特徴付ける情報又はパラメータを含んでよい。かかる情報としては、食物摂取イベントに関連する特定の時間に対応するセンサ読み取りレベル、又は食物摂取イベントに関連する特定の時間窓に対応する平均、最小、若しくは最大センサ読み取りレベルが挙げられ得るが、これらに限定されない。特定の時間は、例えば、食物摂取イベントの開始、食物摂取イベント中の定期的な若しくは予め規定された時点、食物摂取イベントの終了、又は食物摂取イベント後の定期的な若しくは予め規定された時点であってよい。他の時間も可能である。特定の時間窓は、例えば、食物摂取イベントの開始直前の期間、食物摂取イベントの開始前の期間、食物摂取イベントの期間、食物摂取イベント内の特定の期間、食物摂取イベントの終了直後の期間、又は食物摂取イベントの終了のしばらく後の期間であってよい。
特定の一実施形態では、薬剤投与計算ユニットは自動インスリン送達システムであり、センサ読取りレベルは、連続グルコースモニタセンサから得られる間質グルコース読み取り値である。
データ要素はまた、投与量データ要素であってよく、食物摂取イベントに関連して薬剤投与量及び送達スケジュールを特徴付ける情報又はパラメータを含んでよい。
他のデータ要素も可能である。同一イベントの１つ以上のイベントデータ要素、１つ以上の測定データ要素、及び／又は投与量データ要素は、単一のエントリとしてデータベースに記録されてよい。イベントデータ要素、測定データ要素、及び／又は投与量データ要素はまた、別個のエントリとしてデータベースに記録されてよい。本明細書に記載の教示と一致する他のデータ構造も使用されてよく、又は代わりに使用されてよい。
薬剤投与計算ユニット１９０６は、処理及び分析サブシステムを含んでよい。
処理及び分析サブシステムは、データベース内のエントリに統計、機械学習、又は人工知能技術を使用して、適正な薬剤投与量及び／又は送達スケジュールを勧告するモデルを構築してよい。処理及び分析サブシステムは、初期薬剤投与量を勧告するために、及び／又は１つ以上の追加薬剤投与量若しくは投与量調整を勧告するために使用されてよい。
図２０は、本開示に記載の他の要素と共に使用され得る機械学習システムの例示的な例である。図２０の機械学習システムは、投与量訓練サブシステム２０２０と、投与量予測器サブシステム２０２１と、を含む。本開示のいくつかの実施形態では、機械学習システムは、追加のサブシステム又は図２に示すサブシステムの変更例を含んでよい。投与量訓練サブシステム２０２０は、イベントデータ要素２０２２、測定データ要素２０２３、及び投与量データ要素２０２４を入力として使用してよい。投与量訓練サブシステムは機械学習技術を適用して、適正な薬剤投与量及び／又は薬剤分配スケジュールを勧告するモデルを構築する。投与訓練サブシステムは、データベースからの１つ以上のエントリで教師あり学習技術を使用して、モデルを訓練してよい。イベントデータ要素２０２２及び／又は測定データ要素２０２３は、モデルの特徴として使用されてよい。１つ以上の投与量データ要素２０２４は、ラベルとして使用されてよい。次いで、訓練済みモデル２０２５及び／又は２０２９は投与量予測器サブシステム２０２１で使用されて、新しいラベル無しデータ入力２０２６に対応する薬剤投与量勧告及び／又は薬剤分配勧告を生成する。
薬剤投与計算ユニット１９０６は処理ユニットを含み、データ要素に対して追加処理を行い、データを分析して、ユーザの飲食活動及び挙動、センサ測定値（例えば、血糖管理）、並びに／又は投薬計画に関する情報を抽出してよい。処理としては、フィルタリング、特定のデータ要素の抽出、データ又はデータ要素の修正、データ又はデータ要素の統合が挙げられ得るが、これらに限定されない。分析としてはまた、特定のデータ要素を、ルックアップテーブル又はデータベースに記憶されているデータと比較すること、データ要素を、以前に及び／又は異なる対象者から取得されたデータ要素に相関させることが挙げられてよい。薬剤投与計算ユニット１９０６は、１つ以上のデータ記憶ユニットに未処理又は処理済みデータを記憶してよい。記憶は、一時的であっても、恒久的であってもよい。
いくつかの変形例では、データベース内の記録は、（例えば、朝食、昼食、夕食、間食の食事タイプに基づいて）グループに分けられてよく、サブグループごとに異なるモデルが使用されてよい。あるいは、同一モデルが使用されてよいが、サブグループの１つのみ又は選択されたセットからのデータを使用して訓練されてよい。他の変形例では、教師あり機械学習アプローチ（すなわち、特徴が手動で指定される）の代わりに、教師なし学習が代わりに使用されてよい。教師なし学習では、分類器は、提供された未処理のデータセットから自律的に特徴を生成する。
薬剤投与計算ユニット１９０６は、他のユーザ活動に関するデータ及び情報を収集し、記憶してよい。例えば、薬剤投与計算ユニット１９０６は、ユーザの身体活動、睡眠活動、性行為に関する情報又はデータを収集してよい。薬剤投与計算ユニット１９０６はまた、ユーザのストレス、心拍数、血圧などに関する情報を収集し、記憶してよい。いくつかの実施形態では、薬剤投与計算ユニット１９０６は、記憶前に収集されたデータ及び情報に対して追加の処理工程を実行してよい。処理工程は、フィルタリング、平均化、算術演算の適用、及び統計的演算の適用であってよい。他の処理工程も可能である。薬剤投与計算ユニット１９０６は、このデータ及び情報を１つ以上の食物摂取イベントに関連付けてよい。食物摂取イベントに関するデータ及び情報は、食物摂取イベントに関するデータレコードを保持するデータベースにデータ要素として記憶されてよい。これらのデータ要素はまた、薬剤投与計算ユニット１９０６の処理及び分析サブシステムへの入力として使用されてよい。例えば、これらのデータ要素は、投与量訓練サブシステム１９２０への追加又は代替のイベントデータ入力として使用されてよい。これらのデータ要素は、例えば、モデルの特徴であってよい。
薬剤投与量システム１９０６はまた、ユーザの身体活動、睡眠、ストレスなどに関連する情報など入力を収集してよい。薬剤投与量システム１９０６は、例えば、ユーザの現在又は最近の身体活動を過去の身体活動と比較し、その比較の出力を薬剤投与量の計算に使用してよい。
図２０には詳細に示されていないが、機械学習システム、投与量訓練サブシステム２０２０、及び投与量予測器サブシステム２０２１は、様々な構造要素を使用して実現され得る。例えば、投与量予測は、プロセッサなどハードウェア、プログラムコードメモリ、及びプログラムコードメモリに記憶されたプログラムコードを使用して実施されてよい。これは、別個の埋め込み型ユニットであってよく、又は他の機能及びタスク並びに投与量予測に使用されるメモリを有するプロセッサ上で実施されてよい。このプロセッサ及びメモリは、ウェアラブルデバイス、ウェアラブルデバイスと通信するモバイルデバイス、ウェアラブルデバイス若しくはセンサと直接的若しくは間接的に通信しているサーバ、又は上記の一部の組み合わせに組み込まれてよい。他の要素は、イベントデータ２０２２用の記憶装置、測定データ要素２０２３用の記憶装置及び投与量データ要素２０２４用の記憶装置、機械学習技術を実施して、適正な薬剤投与量及び／又は薬剤分配スケジュールを勧告するモデルを構築するプログラムコード、モデル用の記憶装置、モデルを訓練するためのデータベース用の記憶装置、並びに薬剤投与量勧告メッセージ、薬剤分配勧告メッセージ、又は薬剤を分配するハードウェアデバイスに対する信号を送信するなど、メッセージを伝達するために必要なハードウェア回路として実装されてよい。
特定の実施形態では、図１９の薬剤分配システムは、手動介入なしで、又は少なくとも手動介入を必要とせずに動作してよい。他の実施形態では、図１９の薬剤分配システムは、何らかの手動介入を必要としてよい。一例では、薬剤投与計算ユニット１９０６は、薬剤投与量及び／又は薬剤送達スケジュールを計算してよいが、薬剤の送達を開始する又は薬剤の送達を予定するように薬剤分配ユニット１９０８に指示するのではなく、患者、１人以上の患者の介護者、医療専門家、監視システムなどにメッセージを送信して、提案される薬剤投与量及び／又は薬剤送達スケジュールを確認してよい。メッセージは、テキストメッセージ、プッシュ通知、音声メッセージなどであり得るが、他のメッセージ形式も可能である。
いくつかの実施形態では、患者、介護者などは、提案された薬剤投与量及び／又は薬剤送達スケジュールを変更する選択肢を有してよい。患者、介護者などからの確認を受信すると、薬剤投与計算ユニット１９０６は、薬剤分配ユニット１９０８に１つ以上の命令を送信して、薬剤の送達を開始してよい、又は薬剤の送達を予定してよい。１つ以上の命令はまた、薬剤投与計算ユニット１９０６以外のデバイス又はユニットによって送信されてよい。一例として、１つ以上の命令は、薬剤投与量及び／又は薬剤送達スケジュールを確認するために患者、介護者などがメッセージを受信したデバイスから、薬剤分配ユニット１９０８に直接送信されてよい。将来の所定の時間にメッセージを移動させる「スヌーズ」機能を可能にするなど、他のユーザ介入も可能である。
実施例
実施例１：自動薬剤投与及び分配システムであって、自動薬剤投与及び分配システムのユーザに関連する動き及び他の身体的入力を検出するためのセンサと、プログラムコード命令を含む、コンピュータ可読記憶媒体と、プロセッサであって、プログラムコード命令は、センサから取得されたセンサ読み取り値から、ユーザのジェスチャベースの身体挙動イベントの発生を判定する工程と、判定する工程に応答して、薬剤投与量、薬剤分配パラメータ、又は薬剤投与量及び薬剤分配パラメータの両方を調整する工程と、を含む方法をプロセッサに実行させるように構成可能である、プロセッサと、を備える、システム。
実施例２：センサ読み取り値のうちの少なくとも１つが、ユーザの身体部分の動きを測定する、実施例１に記載のシステム。
実施例３：センサ読み取り値からユーザのジェスチャを判定するためのイベント検出モジュールを更に備える、実施例１に記載のシステム。
実施例４：方法は、メッセージをユーザに送信する工程を更に含み、メッセージは調整する工程に関連する、実施例１に記載のシステム。
実施例５：ジェスチャベースの身体挙動イベントは、食物摂取イベントに関連しないユーザ活動に対応する、実施例１に記載のシステム。
実施例６：食物摂取イベントに関連しないユーザ活動は、喫煙イベント、個人衛生イベント、及び／又は薬剤関連イベントを含む、実施例５に記載のシステム。
実施例７：ジェスチャベースの身体挙動イベントは、食物摂取イベントに対応する、実施例１に記載のシステム。
実施例８：調整する工程は、ジェスチャベースの身体挙動イベントの実際の開始、可能性の高い開始、又は開始直前の検出時に実行される、実施例１に記載のシステム。
実施例９：調整する工程は、ジェスチャベースの身体挙動イベントの特性に基づいている、実施例１に記載のシステム。
実施例１０：ジェスチャベースの身体挙動イベントは食物摂取イベントに対応し、調整する工程は、食物摂取イベントの特性、つまり期間、速度、開始時間、終了時間、噛み付き回数、すすり込み回数、摂食方法、使用される器具の種類、使用される容器の種類、嚥下前の咀嚼量、咀嚼速度、食物摂取量、炭水化物摂取量、噛み付き間隔、すすり込み間隔、摂取された食物の内容のうちの少なくとも１つに基づいている、実施例９のシステム。
実施例１１：システムによって管理される薬剤はインスリンであり、調整工程は、投与されるべきインスリンの投与量、及び計算されたインスリンの投与量の送達スケジュールを計算する、実施例１に記載のシステム。
実施例１２：センサは、ユーザの腕の動きを測定する加速度計と、ユーザの腕の回転を測定するジャイロスコープとを備える、実施例１に記載のシステム。
実施例１３：ユーザに関連する動き及び他の身体的入力を検出するためのセンサを有する自動薬剤投与及び分配システムを操作する方法であって、自動薬剤投与及び分配システムのプロセッサを使用して、センサ読み取り値のセットを取得する工程であって、センサ読み取り値のセットうちの少なくとも１つのセンサ読み取り値が、ユーザの身体部分の動きを測定する、工程と、センサ読み取り値のセットから、ユーザのジェスチャベースの身体挙動イベントの発生を判定する工程と、判定する工程に応答して、薬剤投与量、薬剤分配パラメータ、又は薬剤投与量及び薬剤分配パラメータの両方を調整する工程と、を含む方法。
実施例１４：判定する工程に応答して、コンピュータベースのアクションを実行する工程を更に含み、コンピュータベースのアクションは、ジェスチャベースの身体挙動イベントを表すデータに関連してメモリに記憶される他の情報を取得すること、ユーザと対話して、情報又はリマインダを提供すること、ユーザと対話して、ユーザ入力を促すこと、リモートコンピュータシステムにメッセージを送信すること、メッセージを別の人に送信すること、メッセージをユーザに送信すること、のうちの１つ以上である、実施例１３に記載の方法。
実施例１５：ジェスチャベースの身体挙動イベントは、食物摂取イベントに関連しないユーザ活動に対応する、実施例１３に記載の方法。
実施例１６：食物摂取イベントに関連しないユーザ活動は、喫煙イベント、個人衛生イベント、及び／又は薬剤関連イベントを含む、実施例１５に記載の方法。
実施例１７：ジェスチャベースの身体挙動イベントは、食物摂取イベントに対応する、実施例１３に記載の方法。
実施例１８：調整する工程は、ジェスチャベースの身体挙動イベントの実際の開始、可能性の高い開始、又は開始直前の検出時に実行される、実施例１３に記載の方法。
実施例１９：調整する工程は、ジェスチャベースの身体挙動イベントの特性に基づいている、実施例１３に記載の方法。
実施例２０：ジェスチャベースの身体挙動イベントは食物摂取イベントに対応し、調整する工程は、食物摂取イベントの特性、つまり期間、速度、開始時間、終了時間、噛み付き回数、すすり込み回数、摂食方法、使用される器具の種類、使用される容器の種類、嚥下前の咀嚼量、咀嚼速度、食物摂取量、噛み付き間隔、すすり込み間隔、摂取された食物の内容のうちの少なくとも１つに基づいている、実施例１９に記載の方法。
実施例２１：自動薬剤投与及び分配システムであって、自動薬剤投与及び分配システムのユーザに関連する動きを検出するためのセンサと、プログラムコード命令を含む、コンピュータ可読記憶媒体と、プロセッサであって、プログラムコード命令は、センサから取得されたセンサ読み取り値から、ユーザの現在の食物摂取イベントの開始又は予測される開始を判定する工程と、以前に記録されたユーザの食物摂取イベントについて収集された履歴データを再検討する工程と、現在の食物摂取イベントと以前に記録された多数の食物摂取イベントとの間の相関を特定する工程と、特定された相関に基づいて薬剤投与量、薬剤分配パラメータ、又は薬剤投与量及び薬剤分配パラメータの両方を調整する工程と、を含む方法をプロセッサに実行させるように構成可能である、プロセッサと、を備える、システム。
実施例２２：センサ読み取り値のうちの少なくとも１つが、ユーザの身体部分の動きを測定する、実施例２１に記載のシステム。
実施例２３：センサ読み取り値からユーザの身体挙動イベントを判定するためのイベント検出モジュールを更に備える、実施例２１に記載のシステム。
実施例２４：イベント検出モジュールは、現在の食物摂取イベントを特徴付けるユーザのジェスチャを判定する、実施例２３に記載のシステム。
実施例２５：調整する工程は、食物摂取イベントの特性、つまり期間、速度、開始時間、終了時間、噛み付き回数、すすり込み回数、摂食方法、使用される器具の種類、使用される容器の種類、嚥下前の咀嚼量、咀嚼速度、食物摂取量、噛み付き間隔、すすり込み間隔、摂取された食物の内容のうちの少なくとも１つに基づいている、実施例２１に記載のシステム。
実施例２６：システムによって管理される薬剤はインスリンであり、調整工程は、投与されるべきインスリンの投与量、及び計算されたインスリンの投与量の送達スケジュールを計算する、実施例２１に記載のシステム。
実施例２７：センサは、ユーザの腕の動きを測定する加速度計と、ユーザの腕の回転を測定するジャイロスコープとを備える、実施例２１に記載のシステム。
実施例２８：履歴データは、食物摂取イベントに直接関連していないパラメータを含む、実施例２１に記載のシステム。
実施例２９：パラメータは、位置情報、ユーザの起床時刻、ストレスレベル、睡眠挙動パターン、カレンダーイベントの詳細、通話情報、電子メールメタデータのうちの少なくとも１つを含む、実施例２８に記載のシステム。
実施例３０：ユーザに関連する動きを検出するためのセンサを有する自動薬剤投与及び分配システムを操作する方法であって、センサから取得されたセンサ読み取り値からユーザの現在の食物摂取イベントの開始又は予測される開始を判定する工程と、以前に記録されたユーザの食物摂取イベントについて収集された履歴データを再検討する工程と、現在の食物摂取イベントと以前に記録された多数の食物摂取イベントとの間の相関を特定する工程と、特定された相関に基づいて薬剤投与量、薬剤分配パラメータ、又は薬剤投与量及び薬剤分配パラメータの両方を調整する工程と、を含む、方法。
実施例３１：センサ読み取り値のうちの少なくとも１つが、ユーザの身体部分の動きを測定する、実施例３０に記載の方法。
実施例３２：センサ読み取り値からユーザの身体挙動イベントを判定する工程を更に含む、実施例３０に記載の方法。
実施例３３：センサ読み取り値から判定された身体挙動イベントは、現在の食物摂取イベントを特徴付けるユーザのジェスチャを含む、実施例３２に記載の方法。
実施例３４：調整は、食物摂取イベントの特性、つまり期間、速度、開始時間、終了時間、噛み付き回数、すすり込み回数、摂食方法、使用される器具の種類、使用される容器の種類、嚥下前の咀嚼量、咀嚼速度、食物摂取量、噛み付き間隔、すすり込み間隔、摂取された食物の内容のうちの少なくとも１つに基づいている、実施例３０に記載の方法。
実施例３５：システムによって管理される薬剤はインスリンであり、調整工程は、投与されるべきインスリンの投与量、及び計算されたインスリンの投与量の送達スケジュールを計算する、実施例３０に記載の方法。
実施例３６：センサは、ユーザの腕の動きを測定する加速度計と、ユーザの腕の回転を測定するジャイロスコープとを備える、実施例３０に記載の方法。
実施例３７：履歴データは、食物摂取イベントに直接関連していないパラメータを含む、実施例３０に記載の方法。
実施例３８：パラメータは、位置情報、ユーザの起床時刻、ストレスレベル、睡眠挙動パターン、カレンダーイベントの詳細、通話情報、電子メールメタデータのうちの少なくとも１つを含む、実施例３７に記載の方法。
実施例３９：調整する工程は、現在の食物摂取イベントの実際の開始又は開始直前の検出時に実行される、実施例３０に記載の方法。
実施例４０：調整する工程は、現在のジェスチャベースの身体挙動イベントの特性に基づいている、実施例３０に記載の方法。
結論
上記のように、本明細書で提供する薬剤投与計画及び代替物の一部として使用され得る様々な方法及び装置が存在する。「Ａ、Ｂ、及びＣのうちの少なくとも１つ」又は「Ａ、Ｂ、及びＣのうちの少なくとも１つ」の形態の句としての連言的言語は、他の方法で具体的に述べる、ないしは明らかにコンテキストと矛盾することのない限り、品目、用語などが、Ａ若しくはＢ若しくはＣのいずれか、又はＡ及びＢ及びＣのセットの任意の空ではないサブセットであり得ることを表すという、一般に使用されるコンテキストで理解される。例えば、３つのメンバーを有するセットの例示的な例では、連言的句である「Ａ、Ｂ、及びＣのうちの少なくとも１つ」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ」は、｛Ａ｝、｛Ｂ｝、｛Ｃ｝、｛Ａ，Ｂ｝、｛Ａ，Ｃ｝、｛Ｂ，Ｃ｝、｛Ａ，Ｂ，Ｃ｝のいずれかを指す。したがって、かかる連言的言語は、一般に、特定の実施形態が、Ａのうちの少なくとも１つ、Ｂのうちの少なくとも１つ、及びＣのうちの少なくとも１つがそれぞれ存在することを要求することを示唆することを意図するものではない。
本明細書に記載のプロセスの操作は、本明細書に別途記載のない限り、ないしは明らかにコンテキストと矛盾しない限り、任意の好適な順序で実行することができる。本明細書に記載のプロセス（又はその変形及び／又は組み合わせ）は、実行可能命令で構成された１つ以上のコンピュータシステムの制御下で実行されてよく、ハードウェア又はそれらの組み合わせによって、１つ以上のプロセッサ上で集合的に実行されるコード（例えば、実行可能命令、１つ以上のコンピュータプログラム、又は１つ以上のアプリケーション）として実施されてよい。コードは、例えば、１つ以上のプロセッサによって実行可能な複数の命令を含むコンピュータプログラムの形態で、コンピュータ可読記憶媒体に記憶されてよい。コンピュータ可読記憶媒体は、非一時的であってよい。
本明細書で提供する任意の及び全ての実施例、又は例示的言語（例えば、「など」）の使用は、単に本発明の実施形態をより良好に照明することを意図するものであり、別途特許請求されない限り、本発明の範囲を限定するものではない。本明細書中の言語は、本発明の実施に必要不可欠なものとして特許請求されていない要素を示すものとして解釈されるべきではない。
当業者は、本開示を読んだ後に、更なる実施形態を想定することができる。他の実施形態では、上記の発明の組み合わせ又は副組み合わせが有利に作製され得る。構成要素の例示的な配置は例示の目的で示されており、本発明の代替実施形態では、組み合わせ、追加、再配置などが想到されることを理解されたい。したがって、本発明を例示的な実施形態に関して説明してきたが、当業者であれば、多くの修正が可能であることを認識するであろう。
例えば、本明細書に記載のプロセスは、ハードウェア構成要素、ソフトウェア構成要素、及び／又はそれらの任意の組み合わせを使用して実施されてよい。したがって、本明細書及び図面は、制限的な意味ではなく例示的なものとみなされるべきである。しかしながら、特許請求の範囲に記載の本発明のより広範な趣旨及び範囲から逸脱することなく、様々な修正及び変更がなされてよく、本発明は、以下の特許請求の範囲内の全ての修正及び等価物を網羅することを意図していることは明白であろう。
本明細書に引用する刊行物、特許出願、及び特許を含む全ての参考文献は、それぞれの参照文献が参照により組み込まれることが個々にかつ具体的に示されているかのように、参照により本明細書に組み込まれ、その全体が本明細書に記載されている。

Claims (41)

  1. 自動薬剤投与及び分配システムであって、
    前記自動薬剤投与及び分配システムのユーザに関連する動き及び他の身体的入力を検出するためのセンサと、
    ユーザと相互作用する物体に関連する情報を自動的に取得するために起動し、ワイアレスタグリーダを備える、物体情報検索サブシステムと、
    プログラムコード命令を含むコンピュータ可読記憶媒体と、
    プロセッサであって、前記プログラムコード命令は、
    前記センサから取得されたセンサ読み取り値から、前記ユーザのジェスチャベースの身体挙動イベントの発生を判定する工程と、
    前記ジェスチャベースの身体挙動イベントの発生を判定する工程に応答して、前記物体情報検索サブシステムの前記ワイアレスタグリーダを起動及び操作する工程と、
    前記ユーザが摂取中の少なくとも一つの前記物体に関連する情報を取得する工程であって、前記ワイアレスタグリーダと、前記ワイアレスタグリーダの所定のセンサ範囲内にある少なくとも一つの前記物体のワイアレスタグとの間のワイアレスリンクによる伝達を介して、前記ユーザが摂取中の少なくとも一つの前記物体に関連する情報を取得する工程と、
    前記判定する工程に応答して、及び、少なくとも一つの前記物体のために取得された情報に基づいて、前記自動薬剤投与及び分配システムの、薬剤投与量、薬剤分配パラメータ、又は薬剤投与量及び薬剤分配パラメータの両方を調整する工程と、
    を含む方法を前記プロセッサに実行させるように構成可能である、プロセッサと、
    を備えるシステム。
  2. 前記センサ読み取り値のうちの少なくとも１つが、前記ユーザの身体部分の動きを測定する、請求項１に記載のシステム。
  3. 前記センサ読み取り値から前記ユーザのジェスチャを判定するためのイベント検出モジュールを更に備える、請求項１に記載のシステム。
  4. 前記方法は、メッセージを前記ユーザに送信する工程を更に含み、前記メッセージは前記調整する工程に関連する、請求項１に記載のシステム。
  5. 前記ジェスチャベースの身体挙動イベントは、食物摂取イベントに関連しないユーザ活動に対応する、請求項１に記載のシステム。
  6. 前記食物摂取イベントに関連しない前記ユーザ活動は、喫煙イベント、個人衛生イベント、及び／又は薬剤関連イベントを含む、請求項５に記載のシステム。
  7. 前記ジェスチャベースの身体挙動イベントは、食物摂取イベントに対応する、請求項１に記載のシステム。
  8. 前記調整する工程は、前記ジェスチャベースの身体挙動イベントの実際の開始、可能性の高い開始、又は開始直前の検出時に実行される、請求項１に記載のシステム。
  9. 前記調整する工程は、前記ジェスチャベースの身体挙動イベントの特性に基づいている、請求項１に記載のシステム。
  10. 前記ジェスチャベースの身体挙動イベントは、食物摂取イベントに対応し、
    前記調整する工程は、前記食物摂取イベントの特性、つまり、期間、速度、開始時間、終了時間、噛み付き回数、すすり込み回数、摂食方法、使用される器具の種類、使用される容器の種類、嚥下前の咀嚼量、咀嚼速度、食物摂取量、炭水化物摂取量、噛み付き間隔、すすり込み間隔、摂取された食物の内容のうちの少なくとも１つに基づいている、請求項９に記載のシステム。
  11. 前記システムによって管理される薬剤はインスリンであり、
    前記調整する工程は、投与されるべきインスリンの投与量を計算し、さらに計算されたインスリンの前記投与量の送達スケジュールを計算する、請求項１に記載のシステム。
  12. 前記センサは、前記ユーザの腕の動きを測定する加速度計と、前記ユーザの前記腕の回転を測定するジャイロスコープとを備える、請求項１に記載のシステム。
  13. ユーザに関連する動き及び他の身体的入力を検出するためのセンサと、薬剤投与ユニットと、ユーザと相互作用する物体に関連する情報を自動的に取得するために起動しワイアレスタグリーダを備える物体情報検索サブシステムと、を備える自動薬剤投与及び分配システムを操作する方法であって、
    前記自動薬剤投与及び分配システム内のプロセッサを使用して、センサ読み取り値のセットを取得する工程であって、前記センサ読み取り値のセットのうちの少なくとも１つのセンサ読み取り値が、ユーザの身体部分の動きを測定する、工程と、
    前記センサ読み取り値のセットから、前記ユーザのジェスチャベースの身体挙動イベントの発生を判定する工程と、
    前記ジェスチャベースの身体挙動イベントの発生を判定する工程に応答して、前記物体情報検索サブシステムの前記ワイアレスタグリーダを起動及び操作する工程と、
    前記ユーザが摂取中の少なくとも一つの前記物体に関連する情報を取得する工程であって、前記ワイアレスタグリーダと、前記ワイアレスタグリーダの所定のセンサ範囲内にある少なくとも一つの前記物体のワイアレスタグとの間のワイアレスリンクによる伝達を介して、前記ユーザが摂取中の少なくとも一つの前記物体に関連する情報を取得する工程と、
    前記判定する工程に応答して、及び、少なくとも一つの前記物体のために取得された情報に基づいて、前記自動薬剤投与及び分配システムの、薬剤投与量、薬剤分配パラメータ、又は薬剤投与量及び薬剤分配パラメータの両方を調整する工程と、
    を含む方法。
  14. 前記判定する工程に応答して、コンピュータベースのアクションを実行する工程を更に含み、前記コンピュータベースのアクションは、
    前記ジェスチャベースの身体挙動イベントを表すデータに関連してメモリに記憶される他の情報を取得すること、
    前記ユーザと対話して、情報又はリマインダを提供すること、
    前記ユーザと対話して、ユーザ入力を促すこと、
    リモートコンピュータシステムにメッセージを送信すること、
    メッセージを別の人に送信すること、
    メッセージを前記ユーザに送信すること、のうちの１つ以上である、請求項１３に記載の方法。
  15. 前記ジェスチャベースの身体挙動イベントは、食物摂取イベントに関連しないユーザ活動に対応する、請求項１３に記載の方法。
  16. 前記食物摂取イベントに関連しない前記ユーザ活動は、喫煙イベント、個人衛生イベント、及び／又は薬剤関連イベントを含む、請求項１５に記載の方法。
  17. 前記ジェスチャベースの身体挙動イベントは、食物摂取イベントに対応する、請求項１３に記載の方法。
  18. 前記調整する工程は、前記ジェスチャベースの身体挙動イベントの実際の開始、可能性の高い開始、又は開始直前の検出時に実行される、請求項１３に記載の方法。
  19. 前記調整する工程は、前記ジェスチャベースの身体挙動イベントの特性に基づいている、請求項１３に記載の方法。
  20. 前記ジェスチャベースの身体挙動イベントは、食物摂取イベントに対応し、
    前記調整する工程は、前記食物摂取イベントの特性、つまり、期間、速度、開始時間、終了時間、噛み付き回数、すすり込み回数、摂食方法、使用される器具の種類、使用される容器の種類、嚥下前の咀嚼量、咀嚼速度、食物摂取量、噛み付き間隔、すすり込み間隔、摂取された食物の内容のうちの少なくとも１つに基づいている、請求項１９に記載の方法。
  21. 自動薬剤投与及び分配システムであって、
    前記自動薬剤投与及び分配システムのユーザに関連する動きを検出するためのセンサと、
    前記ユーザと相互作用する物体に関連する情報を自動的に取得するために起動し、ワイアレスタグリーダを備える、物体情報検索サブシステムと、
    プログラムコード命令を含むコンピュータ可読記憶媒体と、
    プロセッサであって、前記プログラムコード命令は、
    前記センサから取得されたセンサ読み取り値から前記ユーザの現在の食物摂取イベントの開始又は予測される開始を判定する工程と、
    以前に記録された前記ユーザの食物摂取イベントについて収集された履歴データを再検討する工程と、
    前記現在の食物摂取イベントと前記以前に記録された多数の食物摂取イベントとの間の相関を特定する工程と、
    前記開始を判定する工程に応答して、前記物体情報検索サブシステムの前記ワイアレスタグリーダを起動及び操作する工程と、
    前記現在の食物摂取イベントと結びついた少なくとも一つの食料品に関連する情報を取得する工程であって、前記ワイアレスタグリーダと前記食料品の少なくとも一つのワイアレスタグとの間のワイアレスリンクによる伝達を介して、前記食料品に関連する情報を取得する工程と、
    前記特定した相関に基づいて、及び、少なくとも一つの前記食料品のために取得された情報に基づいて、前記自動薬剤投与及び分配システムの、薬剤投与量、薬剤分配パラメータ、又は薬剤投与量及び薬剤分配パラメータの両方を調整する工程と、を含む方法を前記プロセッサに実行させるように構成可能である、プロセッサと、を備えるシステム。
  22. 前記センサ読み取り値のうちの少なくとも１つが、前記ユーザの身体部分の動きを測定する、請求項２１に記載のシステム。
  23. 前記センサ読み取り値から前記ユーザの身体挙動イベントを判定するためのイベント検出モジュールを更に備える、請求項２１に記載のシステム。
  24. 前記イベント検出モジュールは、前記現在の食物摂取イベントを特徴付ける前記ユーザのジェスチャを判定する、請求項２３に記載のシステム。
  25. 前記調整する工程は、前記食物摂取イベントの特性、つまり、期間、速度、開始時間、終了時間、噛み付き回数、すすり込み回数、摂食方法、使用される器具の種類、使用される容器の種類、嚥下前の咀嚼量、咀嚼速度、食物摂取量、噛み付き間隔、すすり込み間隔、摂取された食物の内容のうちの少なくとも１つに基づいている、請求項２１に記載のシステム。
  26. 前記システムによって管理される薬剤はインスリンであり、
    前記調整する工程は、投与されるべきインスリンの投与量を計算し、さらに計算されたインスリンの前記投与量の送達スケジュールを計算する、請求項２１に記載のシステム。
  27. 前記センサは、前記ユーザの腕の動きを測定する加速度計と、前記ユーザの前記腕の回転を測定するジャイロスコープとを備える、請求項２１に記載のシステム。
  28. 前記履歴データは、前記食物摂取イベントに直接関連していないパラメータを含む、請求項２１に記載のシステム。
  29. 前記パラメータは、位置情報、ユーザの起床時刻、ストレスレベル、睡眠挙動パターン、カレンダーイベントの詳細、通話情報、電子メールメタデータのうちの少なくとも１つを含む、請求項２８に記載のシステム。
  30. ユーザに関連する動きを検出するためのセンサと、薬剤投与ユニットと、ユーザと相互作用する物体に関連する情報を自動的に取得するために起動しワイアレスタグリーダを備える物体情報検索サブシステムと、を備える自動薬剤投与及び分配システムを操作する方法であって、
    前記センサから取得されたセンサ読み取り値から前記ユーザの現在の食物摂取イベントの開始又は予測される開始を判定する工程と、
    以前に記録された前記ユーザの食物摂取イベントについて収集された履歴データを再検討する工程と、
    前記現在の食物摂取イベントと前記以前に記録された多数の食物摂取イベントとの間の相関を特定する工程と、
    前記開始を判定する工程に応答して、前記物体情報検索サブシステムの前記ワイアレスタグリーダを起動及び操作する工程と、
    前記現在の食物摂取イベントと結びついた少なくとも一つの食料品に関連する情報を取得する工程であって、前記ワイアレスタグリーダと前記食料品の少なくとも一つのワイアレスタグとの間のワイアレスリンクによる伝達を介して、前記食料品に関連する情報を取得する工程と、
    前記特定した相関に基づいて、及び、少なくとも一つの前記食料品のために取得された情報に基づいて、前記自動薬剤投与及び分配システムの、薬剤投与量、薬剤分配パラメータ、又は薬剤投与量及び薬剤分配パラメータの両方を調整する工程と、を含む方法。
  31. 前記センサ読み取り値のうちの少なくとも１つが、前記ユーザの身体部分の動きを測定する、請求項３０に記載の方法。
  32. 前記センサ読み取り値から前記ユーザの身体挙動イベントを判定する工程を更に含む、請求項３０に記載の方法。
  33. 前記センサ読み取り値から判定された前記身体挙動イベントは、前記現在の食物摂取イベントを特徴付ける前記ユーザのジェスチャを含む、請求項３２に記載の方法。
  34. 前記調整する工程は、前記食物摂取イベントの特性、つまり、期間、速度、開始時間、終了時間、噛み付き回数、すすり込み回数、摂食方法、使用される器具の種類、使用される容器の種類、嚥下前の咀嚼量、咀嚼速度、食物摂取量、噛み付き間隔、すすり込み間隔、摂取された食物の内容のうちの少なくとも１つに基づいている、請求項３０に記載の方法。
  35. 前記自動薬剤投与及び分配システムによって管理される薬剤はインスリンであり、
    前記調整する工程は、投与されるべきインスリンの投与量を計算し、さらに計算されたインスリンの前記投与量の送達スケジュールを計算する、請求項３０に記載の方法。
  36. 前記センサは、前記ユーザの腕の動きを測定する加速度計と、前記ユーザの前記腕の回転を測定するジャイロスコープとを備える、請求項３０に記載の方法。
  37. 前記履歴データは、前記食物摂取イベントに直接関連していないパラメータを含む、請求項３０に記載の方法。
  38. 前記パラメータは、位置情報、ユーザの起床時刻、ストレスレベル、睡眠挙動パターン、カレンダーイベントの詳細、通話情報、電子メールメタデータのうちの少なくとも１つを含む、請求項３７に記載の方法。
  39. 前記調整する工程は、前記現在の食物摂取イベントの実際の開始又は開始直前の検出時に実行される、請求項３０に記載の方法。
  40. 前記調整する工程は、前記現在のジェスチャベースの身体挙動イベントの特性に基づいている、請求項３０に記載の方法。
  41. 前記プロセッサは、前記プログラムコード命令によって、前記物体に関連する情報を複数取得した場合に、前記物体と物体情報検索サブシステムとの間の距離又は推定距離、前記ワイアレスタグリーダが受信した信号強度、及び前記ワイアレスタグリーダが前記物体からデータを受信した順序の少なくとも何れか一つに基づいて、複数の前記物体に関連する情報をフィルタリングする工程を実行する、請求項１に記載のシステム。
JP2021523284A 2018-10-31 2019-10-30 身体挙動イベントの自動検出及びこれに対応する薬剤投与システムの調整 Active JP7446295B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862753819P 2018-10-31 2018-10-31
US62/753,819 2018-10-31
US16/667,641 2019-10-29
US16/667,641 US11367516B2 (en) 2018-10-31 2019-10-29 Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system
US16/667,650 US20200135320A1 (en) 2018-10-31 2019-10-29 Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system based on historical events
US16/667,650 2019-10-29
PCT/US2019/058874 WO2020092573A1 (en) 2018-10-31 2019-10-30 Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system

Publications (2)

Publication Number Publication Date
JP2022506115A JP2022506115A (ja) 2022-01-17
JP7446295B2 true JP7446295B2 (ja) 2024-03-08

Family

ID=70327253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021523284A Active JP7446295B2 (ja) 2018-10-31 2019-10-30 身体挙動イベントの自動検出及びこれに対応する薬剤投与システムの調整

Country Status (8)

Country Link
US (3) US11367516B2 (ja)
EP (1) EP3874516A1 (ja)
JP (1) JP7446295B2 (ja)
KR (1) KR20210086618A (ja)
CN (1) CN112889114A (ja)
AU (1) AU2019370301A1 (ja)
CA (1) CA3117825A1 (ja)
WO (1) WO2020092573A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113035322A (zh) 2016-01-28 2021-06-25 克鲁有限公司 用于跟踪食物摄入和其它行为并提供相关反馈的方法和设备
US11367516B2 (en) 2018-10-31 2022-06-21 Medtronic Minimed, Inc. Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system
US20200289373A1 (en) 2018-10-31 2020-09-17 Medtronic Minimed, Inc. Automated detection of a physical behavior event and corresponding adjustment of a physiological characteristic sensor device
US11031116B2 (en) * 2019-03-04 2021-06-08 Roche Diabetes Care, Inc. Autonomous management of a diabetic condition based on mealtime and activity detection
US11990236B2 (en) 2019-08-29 2024-05-21 Medtronic Minimed, Inc. Adjusting diabetes alerts and therapy based on gesture-based detection of vehicle operation
US11992656B2 (en) 2019-08-29 2024-05-28 Medtronic Minimed, Inc. Controlling medical infusion device operation and features based on detected patient sleeping status
KR20210052874A (ko) * 2019-11-01 2021-05-11 삼성전자주식회사 복수의 센서 신호를 이용하여 사용자의 제스처를 인식하는 전자 장치
US11786655B2 (en) 2019-12-13 2023-10-17 Medtronic Minimed, Inc. Context-sensitive predictive operation of a medication delivery system in response to gesture-indicated activity changes
CN114787932A (zh) 2019-12-13 2022-07-22 美敦力迷你迈德公司 用于基于从离散胰岛素治疗系统接收的数据来训练用户的数学模型的方法和系统
US11938301B2 (en) 2019-12-13 2024-03-26 Medtronic Minimed, Inc. Controlling medication delivery system operation and features based on automatically detected muscular movements
US11488700B2 (en) 2019-12-13 2022-11-01 Medtronic Minimed, Inc. Medical device configuration procedure guidance responsive to detected gestures
US20210178067A1 (en) 2019-12-13 2021-06-17 Medtronic Minimed, Inc. Translating therapy parameters of an insulin therapy system to translated therapy parameters for use at a different insulin therapy system
US20210260287A1 (en) * 2020-02-20 2021-08-26 Dexcom, Inc. Machine learning in an artificial pancreas
US20210304895A1 (en) * 2020-03-27 2021-09-30 TapRoot Interventions & Solutions, Inc. System and method for generating curated interventions in response to patient behavior
EP4216801A4 (en) * 2020-09-24 2024-04-17 Qualcomm Inc HYDRATION TRACKING USING BASELINE CALIBRATION
CN116261756A (zh) 2020-10-02 2023-06-13 美敦力迷你迈德公司 糖尿病状况警报的自动禁用和葡萄糖水平的自动化预测模式切换
US20220133999A1 (en) 2020-10-30 2022-05-05 Medtronic, Inc. Monitoring of physiological parameters with impedance measurement
US20220143314A1 (en) * 2020-11-06 2022-05-12 Medtronic Minimed, Inc. Diabetes therapy based on determination of food item
EP4256571A1 (en) * 2020-12-01 2023-10-11 Medtronic MiniMed, Inc. Systems and methods for optimizing medicament dosing
US20220230718A1 (en) * 2021-01-21 2022-07-21 International Business Machines Corporation Healthcare application insight velocity aid
US11904138B2 (en) 2021-01-29 2024-02-20 Medtronic Minimed, Inc. Glucose level management without carbohydrate counting
US20220265926A1 (en) 2021-02-19 2022-08-25 Medtronic Minimed, Inc. Glucose level management based on fat content of meals
US20220265177A1 (en) 2021-02-19 2022-08-25 Medtronic Minimed, Inc. Glucose level management based on protein content of meals
CN113672322B (zh) * 2021-07-29 2024-05-24 浙江太美医疗科技股份有限公司 提供解释信息的方法及装置
CN113689931B (zh) * 2021-08-25 2024-01-26 首都医科大学宣武医院 一种服药辅助系统及方法
KR102354172B1 (ko) * 2021-10-07 2022-02-08 주식회사 바이오커넥트 학습 모델 기반의 인슐린 투여량을 결정하는 방법, 장치 및 컴퓨터 프로그램 제품
GB202203045D0 (en) * 2022-03-04 2022-04-20 Prevayl Innovations Ltd Electronics module and method
WO2023239615A1 (en) * 2022-06-05 2023-12-14 Apple Inc. User interfaces to track medications
WO2024030622A1 (en) * 2022-08-05 2024-02-08 Becton, Dickinson And Company System and method for fluid delivery using multiple fluid delivery devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004024699A (ja) 2002-06-27 2004-01-29 Asahi Medical Co Ltd 血糖管理システム、血糖管理プログラム、装着システムおよび血糖管理方法
JP2012235869A (ja) 2011-05-11 2012-12-06 Sony Corp 情報処理装置及び方法
US20170173261A1 (en) 2015-11-24 2017-06-22 Jason O'Connor Wearable automated medication delivery system
JP2017127653A (ja) 2013-05-02 2017-07-27 アトナープ株式会社 生体を監視するモニターおよびシステム
US20170220772A1 (en) 2016-01-28 2017-08-03 Savor Labs, Inc. Method and apparatus for tracking of food intake and other behaviors and providing relevant feedback

Family Cites Families (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5338157B1 (en) 1992-09-09 1999-11-02 Sims Deltec Inc Systems and methods for communicating with ambulat
US4685903A (en) 1984-01-06 1987-08-11 Pacesetter Infusion, Ltd. External infusion pump apparatus
US4562751A (en) 1984-01-06 1986-01-07 Nason Clyde K Solenoid drive apparatus for an external infusion pump
US4755173A (en) 1986-02-25 1988-07-05 Pacesetter Infusion, Ltd. Soft cannula subcutaneous injection set
US5097122A (en) 1990-04-16 1992-03-17 Pacesetter Infusion, Ltd. Medication infusion system having optical motion sensor to detect drive mechanism malfunction
US5080653A (en) 1990-04-16 1992-01-14 Pacesetter Infusion, Ltd. Infusion pump with dual position syringe locator
US5307263A (en) 1992-11-17 1994-04-26 Raya Systems, Inc. Modular microprocessor-based health monitoring system
US5832448A (en) 1996-10-16 1998-11-03 Health Hero Network Multiple patient monitoring system for proactive health management
US5956501A (en) 1997-01-10 1999-09-21 Health Hero Network, Inc. Disease simulation system and method
US5545143A (en) 1993-01-21 1996-08-13 T. S. I. Medical Device for subcutaneous medication delivery
DK25793A (da) 1993-03-09 1994-09-10 Pharma Plast Int As Infusionssæt til intermitterende eller kontinuerlig indgivelse af et terapeutisk middel
US5536249A (en) 1994-03-09 1996-07-16 Visionary Medical Products, Inc. Pen-type injector with a microprocessor and blood characteristic monitor
US5391250A (en) 1994-03-15 1995-02-21 Minimed Inc. Method of fabricating thin film sensors
US5505709A (en) 1994-09-15 1996-04-09 Minimed, Inc., A Delaware Corporation Mated infusion pump and syringe
IE72524B1 (en) 1994-11-04 1997-04-23 Elan Med Tech Analyte-controlled liquid delivery device and analyte monitor
US5665065A (en) 1995-05-26 1997-09-09 Minimed Inc. Medication infusion device with blood glucose data input
US6766183B2 (en) 1995-11-22 2004-07-20 Medtronic Minimed, Inc. Long wave fluorophore sensor compounds and other fluorescent sensor compounds in polymers
WO1997019188A1 (en) 1995-11-22 1997-05-29 Minimed, Inc. Detection of biological molecules using chemical amplification and optical sensors
US6607509B2 (en) 1997-12-31 2003-08-19 Medtronic Minimed, Inc. Insertion device for an insertion set and method of using the same
US8391104B2 (en) * 1997-03-28 2013-03-05 Carlos De La Huerga Interactive medication container labeling
DE19717107B4 (de) 1997-04-23 2005-06-23 Disetronic Licensing Ag System aus Behältnis und Antriebsvorrichtung für einen Kolben, der in dem ein Medikamentfluid enthaltenden Behältnis gehalten ist
US6186982B1 (en) 1998-05-05 2001-02-13 Elan Corporation, Plc Subcutaneous drug delivery device with improved filling system
US6558351B1 (en) 1999-06-03 2003-05-06 Medtronic Minimed, Inc. Closed loop system for controlling insulin infusion
US5954643A (en) 1997-06-09 1999-09-21 Minimid Inc. Insertion set for a transcutaneous sensor
US7647237B2 (en) 1998-04-29 2010-01-12 Minimed, Inc. Communication station and software for interfacing with an infusion pump, analyte monitor, analyte meter, or the like
US6175752B1 (en) 1998-04-30 2001-01-16 Therasense, Inc. Analyte monitoring device and methods of use
US6736797B1 (en) 1998-06-19 2004-05-18 Unomedical A/S Subcutaneous infusion set
US6355021B1 (en) 1998-07-14 2002-03-12 Maersk Medical A/S Medical puncturing device
US6248067B1 (en) 1999-02-05 2001-06-19 Minimed Inc. Analyte sensor and holter-type monitor system and method of using the same
US6558320B1 (en) 2000-01-20 2003-05-06 Medtronic Minimed, Inc. Handheld personal data assistant (PDA) with a medical device and method of using the same
US6554798B1 (en) 1998-08-18 2003-04-29 Medtronic Minimed, Inc. External infusion device with remote programming, bolus estimator and/or vibration alarm capabilities
EP1413245B1 (en) 1998-10-08 2011-06-29 Medtronic MiniMed, Inc. Telemetered characteristic monitor system
US7193521B2 (en) 1998-10-29 2007-03-20 Medtronic Minimed, Inc. Method and apparatus for detecting errors, fluid pressure, and occlusions in an ambulatory infusion pump
US7621893B2 (en) 1998-10-29 2009-11-24 Medtronic Minimed, Inc. Methods and apparatuses for detecting occlusions in an ambulatory infusion pump
US6248093B1 (en) 1998-10-29 2001-06-19 Minimed Inc. Compact pump drive system
WO2000025844A1 (en) 1998-10-29 2000-05-11 Minimed Inc. Compact pump drive system
US6817990B2 (en) 1998-10-29 2004-11-16 Medtronic Minimed, Inc. Fluid reservoir piston
US7806886B2 (en) 1999-06-03 2010-10-05 Medtronic Minimed, Inc. Apparatus and method for controlling insulin infusion with state variable feedback
US6752787B1 (en) 1999-06-08 2004-06-22 Medtronic Minimed, Inc., Cost-sensitive application infusion device
US6453956B2 (en) 1999-11-05 2002-09-24 Medtronic Minimed, Inc. Needle safe transfer guard
US7003336B2 (en) 2000-02-10 2006-02-21 Medtronic Minimed, Inc. Analyte sensor method of making the same
US7890295B2 (en) 2000-02-23 2011-02-15 Medtronic Minimed, Inc. Real time self-adjusting calibration algorithm
US6895263B2 (en) 2000-02-23 2005-05-17 Medtronic Minimed, Inc. Real time self-adjusting calibration algorithm
US20010041869A1 (en) 2000-03-23 2001-11-15 Causey James D. Control tabs for infusion devices and methods of using the same
US6485465B2 (en) 2000-03-29 2002-11-26 Medtronic Minimed, Inc. Methods, apparatuses, and uses for infusion pump fluid pressure and force detection
IL137759A (en) 2000-08-08 2007-07-16 Eddie Karnieli Method for monitoring food intake
CA2771723C (en) 2000-09-08 2016-03-29 Insulet Corporation Devices, systems and methods for patient infusion
JP2004532670A (ja) 2001-02-22 2004-10-28 インシュレット コーポレイション モジュール式の輸液装置及び方法
EP1383560B2 (de) 2001-04-06 2023-04-26 F. Hoffmann-La Roche AG Infusionsset
US20020071225A1 (en) 2001-04-19 2002-06-13 Minimed Inc. Direct current motor safety circuits for fluid delivery systems
US6544212B2 (en) 2001-07-31 2003-04-08 Roche Diagnostics Corporation Diabetes management system
US7399277B2 (en) 2001-12-27 2008-07-15 Medtronic Minimed, Inc. System for monitoring physiological characteristics
US8010174B2 (en) 2003-08-22 2011-08-30 Dexcom, Inc. Systems and methods for replacing signal artifacts in a glucose sensor data stream
US7041082B2 (en) 2002-02-28 2006-05-09 Smiths Medical Md, Inc. Syringe pump control systems and methods
US6960192B1 (en) 2002-04-23 2005-11-01 Insulet Corporation Transcutaneous fluid delivery system
US20040068230A1 (en) 2002-07-24 2004-04-08 Medtronic Minimed, Inc. System for providing blood glucose measurements to an infusion device
US7278983B2 (en) 2002-07-24 2007-10-09 Medtronic Minimed, Inc. Physiological monitoring device for controlling a medication infusion device
US6932584B2 (en) 2002-12-26 2005-08-23 Medtronic Minimed, Inc. Infusion device and driving mechanism and process for same with actuator for multiple infusion uses
US7488601B2 (en) 2003-06-20 2009-02-10 Roche Diagnostic Operations, Inc. System and method for determining an abused sensor during analyte measurement
US8275437B2 (en) 2003-08-01 2012-09-25 Dexcom, Inc. Transcutaneous analyte sensor
US7699807B2 (en) 2003-11-10 2010-04-20 Smiths Medical Asd, Inc. Device and method for insertion of a cannula of an infusion device
EP1711791B1 (en) 2003-12-09 2014-10-15 DexCom, Inc. Signal processing for continuous analyte sensor
GB0329161D0 (en) 2003-12-16 2004-01-21 Precisense As Reagant for detecting an analyte
GB0329849D0 (en) 2003-12-23 2004-01-28 Precisense As Fluorometers
US7344500B2 (en) 2004-07-27 2008-03-18 Medtronic Minimed, Inc. Sensing system with auxiliary display
US8313433B2 (en) 2004-08-06 2012-11-20 Medtronic Minimed, Inc. Medical data management system and process
US7468033B2 (en) 2004-09-08 2008-12-23 Medtronic Minimed, Inc. Blood contacting sensor
WO2006102412A2 (en) 2005-03-21 2006-09-28 Abbott Diabetes Care, Inc. Method and system for providing integrated medication infusion and analyte monitoring system
WO2006108809A1 (en) 2005-04-13 2006-10-19 Novo Nordisk A/S Medical skin mountable device and system
US7955305B2 (en) 2005-05-06 2011-06-07 Medtronic Minimed, Inc. Needle inserter and method for infusion device
US8137314B2 (en) 2006-08-23 2012-03-20 Medtronic Minimed, Inc. Infusion medium delivery device and method with compressible or curved reservoir or conduit
US8277415B2 (en) 2006-08-23 2012-10-02 Medtronic Minimed, Inc. Infusion medium delivery device and method with drive device for driving plunger in reservoir
US20080097291A1 (en) 2006-08-23 2008-04-24 Hanson Ian B Infusion pumps and methods and delivery devices and methods with same
US7713240B2 (en) 2005-09-13 2010-05-11 Medtronic Minimed, Inc. Modular external infusion device
EP1951340B2 (en) 2005-11-08 2017-02-15 Bigfoot Biomedical, Inc. Infusion pump system
WO2007069126A2 (en) 2005-12-15 2007-06-21 Koninklijke Philips Electronics N.V. Modifying a person's eating and activity habits
US8114268B2 (en) 2005-12-30 2012-02-14 Medtronic Minimed, Inc. Method and system for remedying sensor malfunctions detected by electrochemical impedance spectroscopy
US7985330B2 (en) 2005-12-30 2011-07-26 Medtronic Minimed, Inc. Method and system for detecting age, hydration, and functional states of sensors using electrochemical impedance spectroscopy
US8114269B2 (en) 2005-12-30 2012-02-14 Medtronic Minimed, Inc. System and method for determining the point of hydration and proper time to apply potential to a glucose sensor
US20070255125A1 (en) 2006-04-28 2007-11-01 Moberg Sheldon B Monitor devices for networked fluid infusion systems
US8688219B2 (en) 2006-07-28 2014-04-01 Medronic, Inc. Dynamic sampling
US7828764B2 (en) 2006-08-23 2010-11-09 Medtronic Minimed, Inc. Systems and methods allowing for reservoir filling and infusion medium delivery
US7789857B2 (en) 2006-08-23 2010-09-07 Medtronic Minimed, Inc. Infusion medium delivery system, device and method with needle inserter and needle inserter device and method
US20080125700A1 (en) 2006-11-29 2008-05-29 Moberg Sheldon B Methods and apparatuses for detecting medical device acceleration, temperature, and humidity conditions
US7946985B2 (en) 2006-12-29 2011-05-24 Medtronic Minimed, Inc. Method and system for providing sensor redundancy
US20080269714A1 (en) 2007-04-25 2008-10-30 Medtronic Minimed, Inc. Closed loop/semi-closed loop therapy modification system
US7963954B2 (en) 2007-04-30 2011-06-21 Medtronic Minimed, Inc. Automated filling systems and methods
US8323250B2 (en) 2007-04-30 2012-12-04 Medtronic Minimed, Inc. Adhesive patch systems and methods
WO2008157622A1 (en) 2007-06-18 2008-12-24 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Method, apparatus and system for food intake and physical activity assessment
EP2183006B1 (en) 2007-07-20 2019-02-13 Roche Diabetes Care GmbH Manually operable portable infusion device
US8207859B2 (en) 2008-04-28 2012-06-26 Medtronic Minimed, Inc. Automobile physiological monitoring system and method for using the same
KR100872577B1 (ko) * 2008-05-02 2008-12-08 박두환 자동 약 공급 및 투약시각 알림장치
US8447704B2 (en) 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
EP2369990A4 (en) 2008-12-12 2012-07-04 Intrapace Inc IDENTIFICATION OF THE FOOD OR BEVERAGE CONSUMPTION FOR TESTING OR DIAGNOSIS
US8181849B2 (en) 2008-12-30 2012-05-22 Medtronic Minimed, Inc. Color detection system for detecting reservoir presence and content in device
WO2010083196A1 (en) 2009-01-13 2010-07-22 Clemson University Weight control device
US8704767B2 (en) 2009-01-29 2014-04-22 Microsoft Corporation Environmental gesture recognition
US20110053122A1 (en) 2009-05-29 2011-03-03 Wellness Foundations, LLC Nutritional analysis system and method
US8308679B2 (en) 2009-12-30 2012-11-13 Medtronic Minimed, Inc. Alignment systems and methods
US8771251B2 (en) 2009-12-17 2014-07-08 Hospira, Inc. Systems and methods for managing and delivering patient therapy through electronic drug delivery systems
WO2012006052A2 (en) * 2010-06-29 2012-01-12 Contant Olivier M Dynamic scale and accurate food measuring
WO2012115297A1 (en) 2011-02-25 2012-08-30 Lg Electronics Inc. Analysis of food items captured in digital images
US9110510B2 (en) 2011-06-03 2015-08-18 Apple Inc. Motion pattern classification and gesture recognition
US9448636B2 (en) 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
US9042596B2 (en) 2012-06-14 2015-05-26 Medibotics Llc Willpower watch (TM)—a wearable food consumption monitor
US9442100B2 (en) 2013-12-18 2016-09-13 Medibotics Llc Caloric intake measuring system using spectroscopic and 3D imaging analysis
US20150379238A1 (en) * 2012-06-14 2015-12-31 Medibotics Llc Wearable Imaging Device for Monitoring Food Consumption Using Gesture Recognition
US20160232811A9 (en) 2012-06-14 2016-08-11 Robert A. Connor Eyewear System for Monitoring and Modifying Nutritional Intake
US9536449B2 (en) 2013-05-23 2017-01-03 Medibotics Llc Smart watch and food utensil for monitoring food consumption
US9254099B2 (en) 2013-05-23 2016-02-09 Medibotics Llc Smart watch and food-imaging member for monitoring food consumption
WO2014159749A1 (en) 2013-03-13 2014-10-02 The Regents Of The University Of California Non-invasive nutrition monitor
JP6715761B2 (ja) * 2013-03-15 2020-07-01 ベクトン・ディキンソン・アンド・カンパニーＢｅｃｔｏｎ， Ｄｉｃｋｉｎｓｏｎ Ａｎｄ Ｃｏｍｐａｎｙ 注入デバイス用高性能アダプタ
US9317916B1 (en) 2013-04-12 2016-04-19 Aic Innovations Group, Inc. Apparatus and method for recognition of medication administration indicator
US9529385B2 (en) 2013-05-23 2016-12-27 Medibotics Llc Smart watch and human-to-computer interface for monitoring food consumption
WO2015000890A1 (en) 2013-07-02 2015-01-08 Roche Diagnostics Gmbh Estimation of food volume and carbs
US9375537B2 (en) 2013-10-14 2016-06-28 Medtronic Minimed, Inc. Therapeutic agent injection device
WO2015084116A1 (en) 2013-12-06 2015-06-11 Samsung Electronics Co., Ltd. Method and system for capturing food consumption information of a user
US9171280B2 (en) 2013-12-08 2015-10-27 Kit Check, Inc. Medication tracking
US20150199484A1 (en) 2014-01-15 2015-07-16 Microsoft Corporation Using sensors and demographic data to automatically adjust medication doses
US9730647B2 (en) 2014-04-15 2017-08-15 Vivint, Inc. Systems and methods for measuring calorie intake
US9672328B2 (en) 2014-07-10 2017-06-06 Companion Medical, Inc. Medicine administering system including injection pen and companion device
US20160073953A1 (en) 2014-09-11 2016-03-17 Board Of Trustees Of The University Of Alabama Food intake monitor
US20160132642A1 (en) 2014-11-06 2016-05-12 Raz Carmi Device and method for monitoring food intake
JP2018506773A (ja) 2014-12-16 2018-03-08 ソマティクス， インコーポレイテッド ジェスチャベースの行動を監視し、それに影響を与える方法およびシステム
US9396369B1 (en) 2015-02-03 2016-07-19 Apple Inc. Electronic tag transmissions corresponding to physical disturbance of tag
US10078780B2 (en) 2015-03-27 2018-09-18 Intel Corporation Gesture recognition mechanism
WO2017021944A2 (en) * 2015-08-06 2017-02-09 Avishai Abrahami Cognitive state alteration system integrating multiple feedback technologies
US20170213014A1 (en) 2016-01-22 2017-07-27 Covidien Lp System and method for detecting smoking behavior
US20230368046A9 (en) 2016-01-28 2023-11-16 Medtronic Minimed, Inc. Activation of Ancillary Sensor Systems Based on Triggers from a Wearable Gesture Sensing Device
US10790054B1 (en) 2016-12-07 2020-09-29 Medtronic Minimed, Inc. Method and apparatus for tracking of food intake and other behaviors and providing relevant feedback
US10864327B2 (en) * 2016-01-29 2020-12-15 Companion Medical, Inc. Automatic medication delivery tracking
US20170220751A1 (en) * 2016-02-01 2017-08-03 Dexcom, Inc. System and method for decision support using lifestyle factors
US10032009B2 (en) 2016-08-03 2018-07-24 International Business Machines Corporation Motion information filtering
US20190180856A1 (en) * 2016-08-18 2019-06-13 Novo Nordisk A/S Systems and methods for optimization of a bolus insulin medicament dosage for a meal event
US10950052B1 (en) 2016-10-14 2021-03-16 Purity LLC Computer implemented display system responsive to a detected mood of a person
US20180144104A1 (en) 2016-11-22 2018-05-24 FitNow, Inc. Computer-implemented methods and systems for determining the nutritional content of nutrition items
US10854323B2 (en) 2016-12-21 2020-12-01 Medtronic Minimed, Inc. Infusion systems and related personalized bolusing methods
US10736566B2 (en) 2017-02-13 2020-08-11 The Board Of Trustees Of The University Of Alabama Food intake monitor
US10551935B2 (en) * 2017-04-07 2020-02-04 University Of South Carolina Wearable computing device featuring machine-learning-based smoking detection
US10747851B2 (en) 2017-06-09 2020-08-18 Nxp B.V. Segmented platform for items
EP3635591A4 (en) 2017-06-09 2021-03-24 Companion Medical, Inc. SMART DRUG DELIVERY SYSTEMS AND PROCESSES
US10463971B2 (en) 2017-12-06 2019-11-05 Activision Publishing, Inc. System and method for validating video gaming data
RU2020115063A (ru) * 2017-12-13 2021-10-29 Сони Корпорейшн Устройство для обработки информации, программа и способ для обработки информации
US11615876B2 (en) * 2018-10-16 2023-03-28 International Business Machines Corporation Predictive model for substance monitoring and impact prediction
US11363986B2 (en) 2018-10-31 2022-06-21 Medtronic Minimed, Inc. Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system
US11367516B2 (en) 2018-10-31 2022-06-21 Medtronic Minimed, Inc. Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system
US11367517B2 (en) 2018-10-31 2022-06-21 Medtronic Minimed, Inc. Gesture-based detection of a physical behavior event based on gesture sensor data and supplemental information from at least one external source
US20200289373A1 (en) 2018-10-31 2020-09-17 Medtronic Minimed, Inc. Automated detection of a physical behavior event and corresponding adjustment of a physiological characteristic sensor device
US11948671B2 (en) 2019-04-11 2024-04-02 Medtronic Minimed, Inc. Intelligent accessories for medicine dispensing device
EP4052263A1 (en) 2019-10-29 2022-09-07 Medtronic MiniMed, Inc. Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system
US20210178067A1 (en) 2019-12-13 2021-06-17 Medtronic Minimed, Inc. Translating therapy parameters of an insulin therapy system to translated therapy parameters for use at a different insulin therapy system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004024699A (ja) 2002-06-27 2004-01-29 Asahi Medical Co Ltd 血糖管理システム、血糖管理プログラム、装着システムおよび血糖管理方法
JP2012235869A (ja) 2011-05-11 2012-12-06 Sony Corp 情報処理装置及び方法
JP2017127653A (ja) 2013-05-02 2017-07-27 アトナープ株式会社 生体を監視するモニターおよびシステム
US20170173261A1 (en) 2015-11-24 2017-06-22 Jason O'Connor Wearable automated medication delivery system
US20170220772A1 (en) 2016-01-28 2017-08-03 Savor Labs, Inc. Method and apparatus for tracking of food intake and other behaviors and providing relevant feedback

Also Published As

Publication number Publication date
US20200135320A1 (en) 2020-04-30
US20200135319A1 (en) 2020-04-30
EP3874516A1 (en) 2021-09-08
KR20210086618A (ko) 2021-07-08
US11942200B2 (en) 2024-03-26
US11367516B2 (en) 2022-06-21
WO2020092573A1 (en) 2020-05-07
US20220301679A1 (en) 2022-09-22
CN112889114A (zh) 2021-06-01
AU2019370301A1 (en) 2021-06-03
CA3117825A1 (en) 2020-05-07
JP2022506115A (ja) 2022-01-17

Similar Documents

Publication Publication Date Title
JP7446295B2 (ja) 身体挙動イベントの自動検出及びこれに対応する薬剤投与システムの調整
US11929167B2 (en) Method and apparatus for tracking of food intake and other behaviors and providing relevant feedback
US11759399B2 (en) Performance mode adjustment based on activity detection
US11728024B2 (en) Method and apparatus for tracking of food intake and other behaviors and providing relevant feedback
US20230297858A1 (en) Nutritional Content Determination Based on Gesture Detection Data
US11367517B2 (en) Gesture-based detection of a physical behavior event based on gesture sensor data and supplemental information from at least one external source
US11363986B2 (en) Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system
JP6904957B2 (ja) ロバストなヘルストラッキングサービス
US20210229199A1 (en) Method and tool for reconditioning a damaged thread
WO2021086741A1 (en) Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system
JP2023552210A (ja) コンテキスト情報を使用するデータの補完
US20240185977A1 (en) Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240227

R150 Certificate of patent or registration of utility model

Ref document number: 7446295

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150