JP2022058756A - ジェスチャベースの行動を監視し、それに影響を与える方法およびシステム - Google Patents

ジェスチャベースの行動を監視し、それに影響を与える方法およびシステム Download PDF

Info

Publication number
JP2022058756A
JP2022058756A JP2022010028A JP2022010028A JP2022058756A JP 2022058756 A JP2022058756 A JP 2022058756A JP 2022010028 A JP2022010028 A JP 2022010028A JP 2022010028 A JP2022010028 A JP 2022010028A JP 2022058756 A JP2022058756 A JP 2022058756A
Authority
JP
Japan
Prior art keywords
user
sensor data
gesture
wearable device
smoking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022010028A
Other languages
English (en)
Other versions
JP7336549B2 (ja
Inventor
オフィル エラン
Ofir Eran
シャッツバーグ ウリ
Schatzberg Uri
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Somatix Inc
Original Assignee
Somatix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Somatix Inc filed Critical Somatix Inc
Publication of JP2022058756A publication Critical patent/JP2022058756A/ja
Application granted granted Critical
Publication of JP7336549B2 publication Critical patent/JP7336549B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • AHUMAN NECESSITIES
    • A24TOBACCO; CIGARS; CIGARETTES; SIMULATED SMOKING DEVICES; SMOKERS' REQUISITES
    • A24FSMOKERS' REQUISITES; MATCH BOXES; SIMULATED SMOKING DEVICES
    • A24F47/00Smokers' requisites not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6824Arm or wrist
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0228Microwave sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】ジェスチャベースの行動を監視し、それに影響を与える好適な方法およびシステムを提供すること。【解決手段】リアルタイムでユーザの行動ジェスチャを分析し、監視し、および/またはそれに影響を及ぼすための方法ならびにシステムが、本明細書で提供される。ジェスチャ認識方法が、提供され得る。方法は、ウェアラブルデバイス上に位置する少なくとも1つのセンサを使用して収集されるセンサデータを取得することであって、該ウェアラブルデバイスは、ユーザによって装着されるように構成されている、ことと、所定のジェスチャを行うユーザの確率を決定するようにセンサデータを分析することであって、確率は、センサデータにおける運動ベクトルの規模に部分的に基づいて、運動ベクトルを1つ以上の物理的運動プロファイルと比較することなしに決定される、こととを含み得る。【選択図】図1

Description

(関連出願の引用)
本願は、米国仮出願第62/092,283号(2014年12月16日出願)に対する優先権を主張し、上記出願の内容は、その全体が参照により本明細書に引用される。
(背景)
近年、消費者電子機器市場ではスマートウォッチおよびリストバンド等のウェアラブルデバイスが成長している。ウェアラブルデバイスは、ユーザの日常生活に入り交じることによって、コンピューティング技術を浸透させる。これらのウェアラブルデバイスは、概して、ユーザが、それらのデバイス内の電子機器、ソフトウェア、ならびにセンサの使用を通して、自分の体調、アクティビティ、健康、および/または福祉を追跡することを可能にする。
既存のウェアラブルデバイスは、典型的には、ユーザの体調および福祉の改善を対象としている。加えて、ウェアラブルデバイスの使用は、医療監視等の他の分野に拡張されることができる。ウェアラブルデバイスは、ユーザについての大量のデータを収集することが可能であるが、現在、ある医療分野内の大量のデータを正確かつ効率的に分析することができる、システムおよびアルゴリズムがない。これらの医療分野の実施例は、喫煙行動(例えば、禁煙)の監視、あるタイプの摂食および/または飲水障害の監視、あるタイプの強迫性障害の監視、または個人の手の反復振動もしくは震えに関連付けられる症候を示すあるタイプの神経疾患の監視を含み得る。上記の行動の各々は、異なる頻繁な「手から口の」ジェスチャによって特徴付けられ得る。既存のシステムおよびアルゴリズムは、多くの場合、リアルタイムでこれらのジェスチャを正確に検出して監視する能力を欠いている。
したがって、リアルタイムで種々のユーザジェスチャを正確に検出して監視し、ユーザがある行動および習慣を管理することに役立つように適時に関連する個人化情報をユーザに配信し、したがって、段階的にユーザの生活を向上させることに役立ち得る方法およびシステムの必要性がある。
(要約)
いくつかの従来のシステムでは、複数の物理的運動プロファイルパターンが、ライブラリに記憶され得、ジェスチャ認識が、複数の運動プロファイルパターンに対してユーザの物理的ジェスチャ(例えば、ジェスチャの形状)を比較することによって実行され得る。しかしながら、この形態のジェスチャ認識は、いくつかの欠点を有する。例えば、身体の動きは、異なる人々に対して異なり、多数のパラメータ(例えば、身体構造およびその物理的比率、身長、体重、姿勢(立っている/座っている/運転している)、習慣等)に依存する。各個人に対する身体の動きも、個人の気分およびストレスレベル、負傷、場所(職場/家/友人とバーにいる)、いずれの手が使用されているか、時刻等に応じて、異なる時間に変動し得る。例えば、喫煙の場合、人々は、異なる様式で喫煙し得、煙草の異なる銘柄が、異なって吸われ得、ユーザの喫煙習慣は、いずれの手が使用されているか、気分、時刻、場所等に応じて変化し得る。本明細書で使用されるような煙草は、巻き煙草、煙草、電子煙草、葉巻、および/または喫煙用パイプを含むが、それらに限定されない、任意のタイプのタバコ製品を指し得る。
有意に多数の順列が、異なるタイプの身体の動きに存在する。物理的運動プロファイルパターンのライブラリを記録および記憶し、多数のユーザの実際のリアルタイムジェスチャ運動をライブラリ内の各物理的運動プロファイルパターンと比較することは、殆どのモバイルデバイスおよびウェアラブルデバイスが現在欠いている膨大な量のメモリ記憶容量ならびに計算力を必要とするであろう。加えて、クラウドベースのサーバを使用する上記の実装は、データ通信および処理のために必要とされる高い帯域幅を考慮すると、リアルタイムで実行可能ではない場合がある。
さらに、物理的運動プロファイルパターンは、典型的には、固定/一般化され、ユーザのジェスチャの微妙なニュアンスを考慮しない。結果として、既存のジェスチャ認識システムは、ユーザが温かい飲み物を飲んでいるか、もしくは冷たい飲み物を飲んでいるか、または左手で喫煙しているか、もしくは右手で喫煙しているかを検出することができない場合がある。既存のジェスチャ認識システムは、適応性も欠いており、概して、時間と共にユーザのジェスチャおよび/または行動の変化を捕捉して反映することができない。
多くの場合において、人々は、あるタイプの望ましくない行動、例えば、喫煙を低減または排除することによって、自分の健康および福祉を向上させることを希望し得る。喫煙は、タバコの吸入によって引き起こされる癌および他の疾患に関係付けられる有意な危険因子と見なされる。一部の喫煙者は、中毒を治癒することを目的としている禁煙プログラムに着手し得る。しかしながら、研究は、喫煙者の約50%がある時点で喫煙を止めようとしているが、そのうちの約7%のみが何とか失敗なくそうしていることを示している。殆どの喫煙者は、無意識的に、またはストレス、周囲の圧力、もしくは自己制御の欠如に起因してのいずれかで、これらのプログラムの進行中に過ちに陥りやすい。具体的には、喫煙者には、喫煙行動を監視することに役立ち得、煙草の火を消して禁煙プログラムを継続するように促すために、喫煙過失中にリアルタイムで積極的に誘導を提供することができる、ツールを欠いている。
加えて、喫煙は、煙草のタイプ、サイズ、および/または銘柄、個人の喫煙履歴、性別、喫煙の日および時刻、ならびに多量の他の要因に応じて、喫煙者間で変動する、固有の複雑な手から口へのジェスチャを伴う。これら全ての要因は、喫煙ジェスチャおよびパターンを追跡して除外することを困難にする。
したがって、喫煙者が自分の喫煙行動を制御し、喫煙した煙草の本数を削減し、喫煙者が喫煙を低減させるか、または止めることに役立つことを対象とする目標を設定することに役立ち得るシステムおよびアルゴリズムの必要性が存在する。具体的には、ユーザの手から口へのジェスチャを正確に認識し、リアルタイムで喫煙過失を検出することができるシステムおよびアルゴリズムの必要性が存在する。ユーザが禁煙プログラムを継続し、プログラム目標を記録することに役立つために、情報(例えば、推奨)が提供されることができるように、ユーザの喫煙行動を監視し、ユーザが喫煙する可能性が高い時間/場所を予測する、さらなる必要性が存在する。そのような情報は、個人化され、コンピュータデバイス上でユーザにリアルタイムで動的に提供され得る。情報は、ユーザが自分の全体的福祉について十分な情報を得た決定を行うことに役立ち、生じた進展をユーザに示すことができる。本明細書に開示されるシステムおよび方法は、少なくとも上記の必要性に対処する。
(実施形態#1)
ジェスチャ認識方法は、ウェアラブルデバイス上に位置する少なくとも1つのセンサを使用して収集されるセンサデータを取得することであって、該ウェアラブルデバイスは、ユーザによって装着されるように構成されている、ことと、ユーザが所定のジェスチャを行っている確率を決定するように、センサデータを分析することであって、確率は、センサデータにおける運動ベクトルの規模に部分的に基づいて、運動ベクトルを1つ以上の物理的運動プロファイルと比較することなしに決定される、こととを含み得る。
(実施形態#2)
ジェスチャ認識を実装するためのシステムは、ウェアラブルデバイス上に位置する少なくとも1つのセンサを使用して収集されるセンサデータを記憶するためのメモリを備え得、ウェアラブルデバイスは、ユーザによって装着されるように構成される。システムはさらに、ユーザが所定のジェスチャを行っている確率を決定するようにセンサデータを分析するために、ソフトウェア命令の組を実行するように構成されている1つ以上のプロセッサを備え得、確率は、センサデータにおける運動ベクトルの規模に部分的に基づいて、運動ベクトルを1つ以上の物理的運動プロファイルと比較することなしに決定される。
(実施形態#3)
1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、コンピュータ実装ジェスチャ認識方法を行わせる、命令を記憶している有形コンピュータ読み取り可能な媒体が提供され得る。方法は、ウェアラブルデバイス上に位置する少なくとも1つのセンサを使用して収集されるセンサデータを取得することであって、該ウェアラブルデバイスは、ユーザによって装着されるように構成されている、ことと、ユーザが所定のジェスチャを行っている確率を決定するように、センサデータを分析することであって、確率は、センサデータにおける運動ベクトルの規模に部分的に基づいて、運動ベクトルを1つ以上の物理的運動プロファイルと比較することなしに決定される、こととを含み得る。
上記の実施形態#1、#2、および/または#3のうちの1つ以上のものでは、所定のジェスチャは、異なるアクティビティに関連付けられた異なるジェスチャの群から選択され得る。異なるアクティビティに関連付けられたジェスチャは、少なくともセンサデータにおける異なる運動ベクトルの規模に基づいて、運動ベクトルを1つ以上の物理的運動プロファイルと比較することなしに互いに区別され得る。少なくとも1つのセンサは、加速度計と、ジャイロスコープとを備え得る。
運動ベクトルの規模は、(1)加速度計から取得される加速度ベクトルの規模、および/または、(2)ジャイロスコープから取得される角速度ベクトルの規模を含み得る。確率は、加速度ベクトルの規模および/または角速度ベクトルの規模に部分的に基づいて決定され得る。確率は、異なる期間内の加速度ベクトルの規模および/または角速度ベクトルの規模に部分的に基づいて、加速度ベクトルおよび/または角速度ベクトルを1つ以上の物理的運動プロファイルと比較することなしに決定され得る。
ウェアラブルデバイスのピッチ角、ロール角、および/またはヨー角は、加速度ベクトルならびに/もしくは角速度ベクトルに基づいて計算され得る。確率は、ピッチ角、ロール角、および/またはヨー角に基づいて決定され得る。
相関関係が、ユーザが所定のジェスチャを行っている確率を決定するために、異なる期間内の加速度ベクトルの規模と角速度ベクトルの規模との間で決定され得る。
少なくとも1つのセンサはさらに、磁力計、心拍数モニタ、全地球測位システム(GPS)受信機、外部温度センサ、マイクロホン、皮膚温度センサ、容量センサ、および/または電気皮膚反応を検出するように構成されているセンサのうちの1つ以上のものを備え得る。
センサデータは、1つ以上の物理的運動プロファイルに対してセンサデータを比較することなしに分析され得る。1つ以上の物理的運動プロファイルの形状は、ユーザの1つ以上の物理的ジェスチャの形状に実質的に類似し得る。
センサデータを分析することはさらに、多次元分布関数を計算することを含み得、該多次元分布関数は、複数の特徴の確率関数である。複数の特徴は、所定のジェスチャの種々の側面に関連付けられ得る。複数の特徴は、以下の特徴、すなわち、(1)ジェスチャ中の部分的運動の持続時間、(2)加速度ベクトルの規模、(3)角速度ベクトルの規模、(4)ロール角、および(5)ピッチ角のうちの2つ以上のものを含み得る。多次元分布関数は、所定のジェスチャの1つ以上の特性に関連付けられ得る。複数の特徴は、センサデータ内で符号化され、センサデータから抽出され得る。2つ以上の特徴は、相関性があり得る。
多次元分布関数は、0~1の単一の確率値を返すように構成され得、確率値は、各特徴の確率を表す。ある場合、各特徴は、個別の値によって表され得る。他の場合では、各特徴は、連続したつながりに沿って測定可能であり得る。多次元分布関数は、2つ以上の相関特徴が互いにほぼ直交するように、それらを相関解除する特異値分解(SVD)を使用することによって計算され得る。SVDの使用は、多次元分布関数の確率値を計算するために必要とされる処理時間を短縮し得、ユーザが所定のジェスチャを行っている確率を決定するために必要とされるセンサデータの量を削減し得る。多次元分布関数は、多次元分布関数f(p,p,・・・,p)=f(pf(p・・・f(p)であるように、各特徴の相関解除された(回転させられた)1D確率密度分布を乗算することによって計算され得る。関数f(p)は、第1の特徴の1D確率密度分布であり得、関数f(p)は、第2の特徴の1D確率密度分布であり得、関数f(p)は、n番目の特徴の1D確率密度分布であり得る。各特徴の1D確率密度分布は、各特徴のサンプルサイズから取得され得る。ある場合、サンプルサイズは、特徴の全てにわたって一定であり得る。他の場合では、サンプルサイズは、異なる特徴の間で可変であり得る。複数の特徴のうちの1つ以上のものは、それらが統計的に有意であるかどうかを決定され得る。1つ以上の統計的に有意でない特徴は、所定のジェスチャと低い相関関係を有し得る。1つ以上の統計的に有意でない特徴は、多次元分布関数から除去され得る。多次元分布関数から1つ以上の統計的に有意でない特徴を除去することは、多次元分布関数の確率値を計算するために必要とされる計算時間および/または能力を削減し得る。
センサデータを分析することはさらに、フィルタをセンサデータに適用することを含み得る。フィルタは、有限インパルス応答(FIR)フィルタおよび/または無限インパルス応答(IIR)フィルタを備えている、高次複合フィルタであり得る。フィルタは、カルマンフィルタまたはパークス・マクレランフィルタであり得る。
ウェアラブルデバイスは、センサデータの分析のために、センサデータをユーザデバイスおよび/またはサーバに伝送するように構成され得る。センサデータの伝送は、1つ以上の無線または有線通信チャネルを介し得る。1つ以上の無線通信チャネルは、BLE(Bluetooth(登録商標) Low Energy)、WiFi、3G、および/もしくは4Gネットワークを備え得る。
センサデータは、ウェアラブルデバイスがユーザデバイスおよび/またはサーバと動作可能に通信していないとき、ウェアラブルデバイス上のメモリに記憶され得る。センサデータは、ウェアラブルデバイスとユーザデバイスおよび/またはサーバとの間の動作可能な通信が再確立されたとき、ウェアラブルデバイスからユーザデバイスおよび/またはサーバに伝送され得る。
データ圧縮ステップが、センサデータに適用され得る。センサデータの圧縮は、センサデータを伝送するために必要とされる帯域幅を縮小し得、センサデータの圧縮は、センサデータの伝送中のウェアラブルデバイスの電力消費量を削減し得る。データ圧縮ステップは、異なる測定軸に沿ってセンサデータのサンプル間の時間ベースの差を計算することを含み得る。時間ベースの差は、ウェアラブルデバイスからユーザデバイスおよび/またはサーバに伝送され得る。センサデータは、所定のビット数を使用して圧縮され得る。
1つ以上のセンサは、事前決定された周波数でセンサデータを収集するように構成され得る。事前決定された周波数は、ウェアラブルデバイスの電力消費量を最適化および/または削減するように構成され得る。事前決定された周波数は、約10Hz~約20Hzに及び得る。1つ以上のセンサは、ユーザがジェスチャを行っている確率が所定の閾値を下回るとき、第1の事前決定された周波数でセンサデータを収集するように構成され得る。1つ以上のセンサは、ユーザがジェスチャを行っている確率が所定の閾値を上回るとき、第2の事前決定された周波数でセンサデータを収集するように構成され得る。第2の事前決定された周波数は、第1の事前決定された周波数より高くあり得る。1つ以上のセンサは、事前決定された持続時間にわたってセンサデータを収集するように構成され得る。1つ以上のセンサは、ウェアラブルデバイスの電源がオンにされているとき、リアルタイムで連続的にセンサデータを収集するように構成され得る。
1つ以上のセンサは、第1のセンサの群と、第2のセンサの群とを備え得る。第1のセンサの群および第2のセンサの群は、ウェアラブルデバイスの電力消費量を削減するために、選択的に起動され得る。第1のセンサの群および第2のセンサの群は、収集されたセンサデータの量を削減するために、選択的に起動され得る。センサデータの量の削減は、センサデータのより高速の分析/処理を可能にし、センサデータを記憶するために必要とされるメモリの量を削減し得る。第1のセンサの群は、ウェアラブルデバイスの電源がオンにされるときに起動され得る。第1のセンサの群は、ユーザが所定のジェスチャを行っている確率を決定するために使用され得る。第2のセンサの群は、ユーザがジェスチャを行っている確率が所定の閾値を下回るときに非アクティブであり得る。第2のセンサの群は、ウェアラブルデバイスの電源がオンにされており、かつユーザがジェスチャを行っている確率が所定の閾値を上回るとき、選択的に起動され得る。第2のセンサの群は、ユーザが所定のジェスチャを行っていることを決定すると、選択的に起動され得る。第2のセンサの群は、ユーザが所定のジェスチャを行っていることを確認し、ジェスチャを監視し、ジェスチャに関する追加のセンサデータを収集するために、追加のセンサデータを収集するために起動、され得る。
ウェアラブルデバイスは、複数のエネルギーおよび/または性能モードで動作するように構成され得る。複数のモードは、少なくともウェアラブルデバイス内の加速度計がオンにされる低電力モードを含み得る。ウェアラブルデバイスは、ウェアラブルデバイスが低電力モードであるとき、低い電力消費量を有し得る。より少ない情報(より少ない量のセンサデータ)が、低電力モードでの分析のために利用可能であるので、所定のジェスチャの検出の精度は、ウェアラブルデバイスが低電力モードであるときに低減させられ得る。複数のモードは、センサの全てがオンにされる精確モードを含み得る。ウェアラブルデバイスは、ウェアラブルデバイスが精確モードであるとき、高い電力消費量を有し得る。より多くの情報(多量のセンサデータ)が、低電力モードでの分析のために利用可能であるので、所定のジェスチャの検出の精度は、ウェアラブルデバイスが精確モードであるときに向上させられ得る。ある場合、センサデータは、ウェアラブルデバイスがアイドルモードまたは充電モードであるとき、分析または伝送されない場合がある。
センサデータは、以下のパラメータ、すなわち、(1)ユーザがジェスチャを行うために使用するアクティブな手、(2)ユーザのパルスパターン、(3)ユーザの場所、(4)ウェアラブルデバイスおよび/またはユーザデバイスの識別子、および、(5)ジェスチャに関するユーザの行動統計のうちの少なくとも1つを含み得る。ユーザの識別が、パラメータのうちの1つ以上のものに基づいて認証され得る。ユーザが異なる時刻および/または異なる地理的場所において所定のジェスチャを行う確率が、決定され得る。センサデータ収集の周波数は、異なる時刻および/または異なる地理的場所に基づいて調節され得る。センサデータ収集の周波数は、ユーザが所定のジェスチャを行う確率が事前決定された閾値を上回る時刻および/または地理的場所において増加させられ得る。センサデータ収集の周波数は、ユーザが所定のジェスチャを行う確率が事前決定された閾値を下回る時刻および/または地理的場所において低減させられ得る。センサのうちの1つ以上のものは、ユーザが異なる時刻および/または異なる地理的場所において所定のジェスチャを行う確率に基づいて、選択的に起動され得る。
(実施形態#4)
喫煙ジェスチャを検出する方法は、少なくとも1つのセンサを使用して収集されるセンサデータを取得することであって、該センサは、ユーザによって装着されるように構成されているウェアラブルデバイス上に位置する多軸加速度計を備えている、ことと、ユーザが喫煙している確率を決定するように、センサデータを分析することであって、確率は、センサデータにおける加速度ベクトルの規模に部分的に基づいて、運動ベクトルを1つ以上の物理的運動プロファイルと比較することなしに決定される、こととを含み得る。
(実施形態#5)
ジェスチャ認識を実装するためのシステムは、1つ以上のセンサを使用して収集されるセンサデータを記憶するためのメモリを備え得、センサは、ユーザによって装着されるように構成されているウェアラブルデバイス上に位置する多軸加速度計を備え得る。システムはさらに、ユーザが喫煙している確率を決定するようにセンサデータを分析するために、ソフトウェア命令の組を実行するように構成されている1つ以上のプロセッサを備え得、確率は、センサデータにおける加速度ベクトルの規模に部分的に基づいて、運動ベクトルを1つ以上の物理的運動プロファイルと比較することなしに決定される。
(実施形態#6)
1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、コンピュータ実装ジェスチャ認識方法を行わせる命令を記憶している有形コンピュータ読み取り可能な媒体が提供され得る。方法は、1つ以上のセンサを使用して収集されるセンサデータを取得することであって、該センサは、ユーザによって装着されるように構成されているウェアラブルデバイス上に位置する多軸加速度計を備えている、ことと、ユーザが喫煙している確率を決定するように、センサデータを分析することであって、確率は、センサデータにおける加速度ベクトルの規模に部分的に基づいて、運動ベクトルを1つ以上の物理的運動プロファイルと比較することなしに決定される、こととを含み得る。
上記の実施形態#4、#5、および/または#6のうちの1つ以上のものでは、センサデータを分析することは、ユーザが煙草を吸煙している確率を決定するために、センサデータにおける1つ以上の特徴を分析することを含み得る。特徴は、以下、すなわち、(1)潜在的な煙草がユーザの口の中で検出される持続時間、(2)ユーザの腕のロール角、(3)喫煙者の腕のピッチ角、(4)潜在的な煙草吸煙持続時間、(5)連続した潜在的な吸煙間の持続時間、(6)ユーザが煙草を吸煙し終えるために要する潜在的な吸煙の回数、(7)加速度ベクトルの規模、(8)ユーザの腕の速度、(9)腕から口へのジェスチャに対応する吸入領域、および/または、(10)口から腕を下ろすジェスチャに対応する吐出領域のうちの少なくとも1つを含み得る。特徴は、センサデータから抽出され得る。
ユーザが喫煙する確率は、1つ以上のユーザ入力に基づいて調節され得る。ユーザ入力は、(1)ユーザが喫煙しなかったことを示す入力信号、(2)ユーザが喫煙していたことを示す入力信号、および(3)ユーザが喫煙していたが、喫煙ジェスチャが認識または検出されなかったことを示す入力信号を含み得る。ユーザのためのユーザ構成ファイル(UCF)が、分析されたセンサデータおよび1つ以上のユーザ入力に基づいて生成され得る。UCFは、複数のユーザに対して一般的であり得る。UCFは、ある期間後、各ユーザに固有になり得る。UCFは、ユーザの行動に応じて、時間と共に適合および変化するように構成され得る。UCFは、喫煙以外の異なるアクティビティに関連付けられたユーザパラメータのリストを備え得る。異なるアクティビティは、以下、すなわち、立つこと、歩くこと、座ること、運転すること、飲むこと、食べること、および/または、立っているかもしくは座っている間に寄り掛かかることのうちの少なくとも1つを含み得る。UCFは、ユーザの喫煙が事前決定された期間にわたって検出されなかったとき、動的に変更され得る。UCFは、ユーザが事前決定された期間にわたって喫煙していないことを検証するように、動的に変更され得る。
ユーザは、センサデータから抽出されるロール角、ピッチ角、および/またはヨー角に基づいて、右手もしくは左手で喫煙しているかどうかを決定され得る。UCFはユーザの左/右手情報で更新され得る。
確率は、1つ以上の喫煙特性に関連付けられた多次元分布関数を使用して決定され得る。1つ以上の喫煙特性は、ユーザが1回以上煙草を吸煙することを含み得る。多次元分布関数は、各吸煙に対して生成され得る。ユーザが喫煙する確率は、(1)いくつかの潜在的な吸煙、(2)各潜在的な吸煙の多次元分布関数、および(3)前記いくつかの潜在的な吸煙が生じる持続時間に基づいて、決定され得る。いくつかの潜在的な吸煙に対する多次元分布関数の総和は、事前決定された確率閾値以上かどうか決定され得る。ユーザは、総和が事前決定された確率閾値以上のとき、喫煙していると決定され得、ユーザは、総和が事前決定された確率閾値未満であるとき、喫煙していないと決定され得る。ユーザは、事前決定された回数の吸煙事前決定された期間内で検出されたとき、喫煙していると決定され得る。潜在的な吸煙に関連付けられるロールおよびピッチ角は、分析され得、ロールおよびピッチ角が事前決定されたロール/ピッチ閾値外になる吸煙することが、破棄され得る。潜在的な吸煙間の持続時間が、分析され得、持続時間が事前決定された期間外になる吸煙することが、破棄され得る。
ユーザが異なる時刻および/または異なる地理的場所において喫煙する確率が、決定され得る。センサデータ収集の周波数は、異なる時刻および/または異なる地理的場所に基づいて調節され得る。センサデータ収集の周波数は、ユーザが喫煙する確率が事前決定された閾値を上回る時刻および/または地理的場所において増加させられ得る。センサデータ収集の周波数は、ユーザが喫煙する確率が事前決定された閾値を下回る時刻および/または地理的場所で低減させられ得る。センサのうちの1つ以上のものは、ユーザが異なる時刻および/または異なる地理的場所において喫煙する確率に基づいて、選択的に起動され得る。
本開示の異なる側面は、個々に、集合的に、または互いに組み合わせて理解される得ることを理解されたい。本明細書に説明される本開示の種々の側面は、以下に記載される特定の用途のうちのいずれかに、または任意の他のタイプのエネルギー監視システムおよび方法に適用され得る。
本開示の他の目的および特徴は、仕様、請求項、および添付図面によって明白となるであろう。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
ジェスチャ認識方法であって、前記方法は、
ウェアラブルデバイス上に位置する少なくとも1つのセンサを使用して収集されるセンサデータを取得することであって、前記ウェアラブルデバイスは、ユーザによって装着されるように構成されている、ことと、
前記センサデータを分析し、前記ユーザが所定のジェスチャを行っている確率を決定することと
を含み、
前記確率は、前記センサデータにおける運動ベクトルの規模に部分的に基づいて、前記運動ベクトルを1つ以上の物理的運動プロファイルと比較することなしに決定される、
ジェスチャ認識方法。
(項目2)
ジェスチャ認識を実装するためのシステムであって、前記システムは、
ウェアラブルデバイス上に位置する少なくとも1つのセンサを使用して収集されるセンサデータを記憶するためのメモリであって、前記ウェアラブルデバイスは、ユーザによって装着されるように構成されている、メモリと、
前記センサデータを分析し、前記ユーザが所定のジェスチャを行っている確率を決定するためのソフトウェア命令の組を実行するように構成されている1つ以上のプロセッサと
を備え、
前記確率は、前記センサデータにおける運動ベクトルの規模に部分的に基づいて、前記運動ベクトルを1つ以上の物理的運動プロファイルと比較することなしに決定される、
ジェスチャ認識を実装するためのシステム。
(項目3)
命令を記憶している有形コンピュータ読み取り可能な媒体であって、前記命令は、1つ以上のプロセッサによって実行されると、コンピュータ実装ジェスチャ認識方法を前記1つ以上のプロセッサに行わせ、前記方法は、
ウェアラブルデバイス上に位置する少なくとも1つのセンサを使用して収集されるセンサデータを取得することであって、前記ウェアラブルデバイスは、ユーザによって装着されるように構成されている、ことと、
前記センサデータを分析し、前記ユーザが所定のジェスチャを行っている確率を決定することと
を含み、
前記確率は、前記センサデータにおける運動ベクトルの規模に部分的に基づいて、前記運動ベクトルを1つ以上の物理的運動プロファイルと比較することなしに決定される、
有形コンピュータ読み取り可能な媒体。
(項目4)
前記所定のジェスチャは、異なるアクティビティに関連付けられた異なるジェスチャの群から選択される、項目1に記載の方法。
(項目5)
少なくとも前記センサデータにおける異なる運動ベクトルの前記規模に基づいて、前記運動ベクトルを前記1つ以上の物理的運動プロファイルと比較することなしに前記異なるアクティビティに関連付けられた前記ジェスチャを互いに区別することをさらに含む、項目4に記載の方法。
(項目6)
前記少なくとも1つのセンサは、加速度計と、ジャイロスコープとを備えている、項目1に記載の方法。
(項目7)
前記運動ベクトルの前記規模は、(1)前記加速度計から取得される加速度ベクトルの規模、および/または、(2)前記ジャイロスコープから取得される角速度ベクトルの規模を含む、項目6に記載の方法。
(項目8)
前記加速度ベクトルの前記規模および/または前記角速度ベクトルの前記規模に部分的に基づいて、前記確率を決定することをさらに含む、項目7に記載の方法。
(項目9)
異なる期間内の前記加速度ベクトルの前記規模および/または前記角速度ベクトルの前記規模に部分的に基づいて、前記加速度ベクトルおよび/または前記角速度ベクトルを前記1つ以上の物理的運動プロファイルと比較することなしに前記確率を決定することをさらに含む、項目8に記載の方法。
(項目10)
前記加速度ベクトルおよび/または前記角速度ベクトルに基づいて、前記ウェアラブルデバイスのピッチ角、ロール角、および/またはヨー角を計算することをさらに含む、項目7に記載の方法。
(項目11)
前記ピッチ角、前記ロール角、および/または前記ヨー角に基づいて、前記確率を決定することをさらに含む、項目10に記載の方法。
(項目12)
前記ユーザが前記所定のジェスチャを行っている前記確率を決定するために、異なる期間内の前記加速度ベクトルの前記規模と前記角速度ベクトルの前記規模との間の相関関係を決定することをさらに含む、項目7に記載の方法。
(項目13)
前記少なくとも1つのセンサは、磁力計、心拍数モニタ、全地球測位システム(GPS)受信機、外部温度センサ、マイクロホン、皮膚温度センサ、容量センサ、および/または電気皮膚反応を検出するように構成されているセンサのうちの1つ以上のものをさらに備えている、項目1に記載の方法。
(項目14)
前記センサデータは、前記1つ以上の物理的運動プロファイルに対して前記センサデータを比較することなく分析される、項目1に記載の方法。
(項目15)
前記1つ以上の物理的運動プロファイルの形状は、前記ユーザの1つ以上の物理的ジェスチャの形状に実質的に類似している、項目14に記載の方法。
(項目16)
前記センサデータを分析することは、多次元分布関数を計算することをさらに含み、前記多次元分布関数は、複数の特徴の確率関数である、項目11に記載の方法。
(項目17)
前記複数の特徴は、前記所定のジェスチャの種々の側面に関連付けられている、項目16に記載の方法。
(項目18)
前記複数の特徴は、以下の特徴、すなわち、(1)前記ジェスチャ中の部分的運動の持続時間、(2)前記加速度ベクトルの前記規模、(3)前記角速度ベクトルの前記規模、(4)前記ロール角、および(5)前記ピッチ角のうちの2つ以上のものを含む、項目17に記載の方法。
(項目19)
前記多次元分布関数は、前記所定のジェスチャの1つ以上の特性に関連付けられている、項目16に記載の方法。
(項目20)
前記多次元分布関数は、0~1の単一の確率値を返すように構成され、前記確率値は、各特徴の確率を表す、項目16に記載の方法。
(項目21)
各特徴は、個別の値によって表される、項目16に記載の方法。
(項目22)
各特徴は、連続したつながりに沿って測定可能である、項目16に記載の方法。
(項目23)
前記複数の特徴は、前記センサデータ内で符号化され、前記センサデータから抽出される、項目16に記載の方法。
(項目24)
2つ以上の特徴は、相関性がある、項目16に記載の方法。
(項目25)
前記多次元分布関数は、前記2つ以上の相関特徴を相関解除する特異値分解(SVD)を使用することによって計算される、項目24に記載の方法。
(項目26)
前記SVDの使用は、前記多次元分布関数の前記確率値を計算するために必要とされる処理時間を短縮し、前記ユーザが前記所定のジェスチャを行っている前記確率を決定するために必要とされるセンサデータの量を削減する、項目25に記載の方法。
(項目27)
前記多次元分布関数は、各特徴の前記相関解除された(回転させられた)1D確率密度分布を乗算することによって計算され、前記多次元分布関数f(p,p,・・・,p)=f(pf(p・・・f(p)である、項目16に記載の方法。
(項目28)
前記関数f(p)は、第1の特徴の1D確率密度分布であり、前記関数f(p)は、第2の特徴の1D確率密度分布であり、前記関数f(p)は、n番目の特徴の1D確率密度分布である、項目27に記載の方法。
(項目29)
各特徴の前記1D確率密度分布は、各特徴のサンプルから取得される、項目28に記載の方法。
(項目30)
前記サンプルサイズは、前記特徴の全てにわたって一定である、項目29に記載の方法。
(項目31)
前記サンプルサイズは、異なる特徴の間で可変である、項目29に記載の方法。
(項目32)
前記複数の特徴のうちの1つ以上のものが統計的に有意でないかどうかを決定することをさらに含む、項目16に記載の方法。
(項目33)
前記1つ以上の統計的に有意でない特徴は、前記所定のジェスチャと低い相関関係を有する、項目32に記載の方法。
(項目34)
前記多次元分布関数から前記1つ以上の統計的に有意でない特徴を除去することをさらに含む、項目32に記載の方法。
(項目35)
前記多次元分布関数から前記1つ以上の統計的に有意でない特徴を除去することは、前記多次元分布関数の前記確率値を計算するために必要とされる計算時間および/または能力を削減する、項目34に記載の方法。
(項目36)
前記センサデータを分析することは、フィルタを前記センサデータに適用することをさらに含む、項目1に記載の方法。
(項目37)
前記フィルタは、有限インパルス応答(FIR)フィルタおよび/または無限インパルス応答(IIR)フィルタを備えている、高次複合フィルタである、項目37に記載の方法。
(項目38)
前記フィルタは、カルマンフィルタまたはパークス・マクレランフィルタである、項目37に記載の方法。
(項目39)
前記ウェアラブルデバイスは、前記センサデータの分析のために、前記センサデータの一部または全体をユーザデバイスおよび/またはサーバに伝送するように構成されている、項目1に記載の方法。
(項目40)
前記センサデータの伝送は、1つ以上の無線または有線通信チャネルを介する、項目1に記載の方法。
(項目41)
前記1つ以上の無線通信チャネルは、BLE(Bluetooth(登録商標) Low Energy)、WiFi、3G、および/もしくは4Gネットワークを備えている、項目40に記載の方法。
(項目42)
前記ウェアラブルデバイスが前記ユーザデバイスおよび/または前記サーバと動作可能に通信していないとき、前記ウェアラブルデバイス上のメモリに前記センサデータを記憶することをさらに含む、項目39に記載の方法。
(項目43)
前記ウェアラブルデバイスと前記ユーザデバイスおよび/または前記サーバとの間の動作可能な通信が再確立されたとき、前記ウェアラブルデバイスから前記ユーザデバイスおよび/または前記サーバに前記センサデータを伝送することをさらに含む、項目42に記載の方法。
(項目44)
データ圧縮ステップを前記センサデータに適用することをさらに含む、項目1に記載の方法。
(項目45)
前記センサデータの圧縮は、前記センサデータを伝送するために必要とされる帯域幅を縮小し、前記センサデータの圧縮は、前記センサデータの伝送中の前記ウェアラブルデバイスの電力消費量を削減する、項目44に記載の方法。
(項目46)
前記データ圧縮ステップは、異なる測定軸に沿って前記センサデータのサンプル間の時間ベースの差を計算することを含む、項目44に記載の方法。
(項目47)
前記時間ベースの差は、前記ウェアラブルデバイスからユーザデバイスおよび/またはサーバに伝送される、項目46に記載の方法。
(項目48)
前記センサデータは、所定のビット数を使用して圧縮される、項目44に記載の方法。
(項目49)
前記1つ以上のセンサは、事前決定された周波数で前記センサデータを収集するように構成されている、項目1に記載の方法。
(項目50)
前記事前決定された周波数は、前記ウェアラブルデバイスの電力消費量を最適化および/または削減するように構成されている、項目49に記載の方法。
(項目51)
前記事前決定された周波数は、約10Hz~約20Hzに及ぶ、項目49に記載の方法。
(項目52)
前記1つ以上のセンサは、前記ユーザが前記ジェスチャを行っている前記確率が所定の閾値を下回るとき、第1の事前決定された周波数で前記センサデータを収集するように構成されている、項目49に記載の方法。
(項目53)
前記1つ以上のセンサは、前記ユーザが前記ジェスチャを行っている前記確率が所定の閾値を上回るとき、第2の事前決定された周波数で前記センサデータを収集するように構成されている、項目52に記載の方法。
(項目54)
前記第2の事前決定された周波数は、前記第1の事前決定された周波数より高いかまたはそれに等しい、項目53に記載の方法。
(項目55)
前記1つ以上のセンサは、事前決定された持続時間にわたって前記センサデータを収集するように構成されている、項目49に記載の方法。
(項目56)
前記1つ以上のセンサは、前記ウェアラブルデバイスの電源がオンにされているとき、リアルタイムで連続的に前記センサデータを収集するように構成されている、項目49に記載の方法。
(項目57)
前記1つ以上のセンサは、第1のセンサの群と、第2のセンサの群とを備え、前記方法は、前記ウェアラブルデバイスの電力消費量を削減するために、前記第1のセンサの群および前記第2のセンサの群を選択的に起動することをさらに含む、項目49に記載の方法。
(項目58)
前記収集されたセンサデータの量を削減するために、前記第1のセンサの群および前記第2のセンサの群を選択的に起動することをさらに含む、項目57に記載の方法。
(項目59)
前記センサデータの量の削減は、前記センサデータのより高速の分析/処理を可能にし、前記センサデータを記憶するために必要とされるメモリの量を削減する、項目58に記載の方法。
(項目60)
前記第1のセンサの群は、前記ウェアラブルデバイスの電源がオンにされているときに起動される、項目57に記載の方法。
(項目61)
前記第1のセンサの群は、前記ユーザが前記所定のジェスチャを行っている前記確率を決定するために使用される、項目60に記載の方法。
(項目62)
前記第2のセンサの群は、前記ユーザが前記ジェスチャを行っている前記確率が所定の閾値を下回るとき、非アクティブである、項目57に記載の方法。
(項目63)
前記第2のセンサの群は、前記ウェアラブルデバイスの電源がオンにされており、かつ前記ユーザが前記ジェスチャを行っている前記確率が所定の閾値を上回るとき、選択的に起動される、項目57に記載の方法。
(項目64)
前記第2のセンサの群は、前記ユーザが前記所定のジェスチャを行っていることを決定すると、選択的に起動される、項目64に記載の方法。
(項目65)
前記第2のセンサの群は、前記ユーザが前記所定のジェスチャを行っていることを確認し、前記ジェスチャを監視し、前記ジェスチャに関する追加のセンサデータを収集するために、追加のセンサデータを収集するために起動、される、項目64に記載の方法。
(項目66)
前記ウェアラブルデバイスは、複数のエネルギーおよび/または性能モードで動作するように構成されている、項目1に記載の方法。
(項目67)
前記複数のモードは、少なくとも前記ウェアラブルデバイス内の加速度計がオンにされる低電力モードを含む、項目66に記載の方法。
(項目68)
前記ウェアラブルデバイスは、前記ウェアラブルデバイスが前記低電力モードであるとき、低い電力消費量を有する、項目67に記載の方法。
(項目69)
前記ユーザが前記所定のジェスチャを行っているかどうかを検出する精度は、前記ウェアラブルデバイスが前記低電力モードであるとき、低減させられる、項目68に記載の方法。
(項目70)
前記複数のモードは、前記センサの全てがオンにされる精確モードを含む、項目66に記載の方法。
(項目71)
前記ウェアラブルデバイスは、前記ウェアラブルデバイスが前記精確モードであるとき、高い電力消費量を有する、項目70に記載の方法。
(項目72)
前記ユーザが前記所定のジェスチャを行っているかどうかを検出する精度は、前記ウェアラブルデバイスが前記精確モードであるとき、向上させられる、項目71に記載の方法。
(項目73)
前記センサデータは、前記ウェアラブルデバイスがアイドルモードまたは充電モードであるとき、分析または伝送されない、項目1に記載の方法。
(項目74)
前記センサデータは、以下のパラメータ、すなわち、(1)前記ユーザが前記ジェスチャを行うために使用するアクティブな手、(2)前記ユーザのパルスパターン、(3)前記ユーザの場所、(4)前記ウェアラブルデバイスおよび/またはユーザデバイスの識別子、および、(5)前記ジェスチャに関する前記ユーザの行動統計のうちの少なくとも1つを含む、項目1に記載の方法。
(項目75)
前記パラメータのうちの前記1つ以上のものに基づいて、前記ユーザの識別を認証することをさらに含む、項目74に記載の方法。
(項目76)
前記ユーザが異なる時刻および/または異なる地理的場所において前記所定のジェスチャを行っている前記確率を決定することをさらに含む、項目1に記載の方法。
(項目77)
前記異なる時刻および/または前記異なる地理的場所に基づいて、前記センサデータ収集の周波数を調節することをさらに含む、項目76に記載の方法。
(項目78)
前記センサデータ収集の前記周波数は、前記ユーザが前記所定のジェスチャを行っている前記確率が事前決定された閾値を上回る時刻および/または地理的場所において増加させられる、項目77に記載の方法。
(項目79)
前記センサデータ収集の前記周波数は、前記ユーザが前記所定のジェスチャを行っている前記確率が事前決定された閾値を下回る時刻および/または地理的場所において低減させられる、項目77に記載の方法。
(項目80)
前記ユーザが異なる時刻および/または異なる地理的場所において前記所定のジェスチャを行っている前記確率に基づいて、前記センサのうちの1つ以上のものを選択的に起動することをさらに含む、項目77に記載の方法。
(項目81)
喫煙ジェスチャを検出する方法であって、前記方法は、
少なくとも1つのセンサを使用して収集されるセンサデータを取得することであって、前記センサは、ユーザによって装着されるように構成されているウェアラブルデバイス上に位置する多軸加速度計を備えている、ことと、
前記センサデータを分析し、前記ユーザが喫煙している確率を決定することと
を含み、
前記確率は、前記センサデータにおける加速度ベクトルの規模に部分的に基づいて、運動ベクトルを1つ以上の物理的運動プロファイルと比較することなしに決定される、
喫煙ジェスチャを検出する方法。
(項目82)
ジェスチャ認識を実装するためのシステムであって、前記システムは、
1つ以上のセンサを使用して収集されるセンサデータを記憶するためのメモリであって、前記センサは、ユーザによって装着されるように構成されているウェアラブルデバイス上に位置する多軸加速度計を備えている、メモリと、
前記センサデータを分析し、前記ユーザが喫煙している確率を決定するためのソフトウェア命令の組を実行するように構成されている1つ以上のプロセッサと
を備え、
前記確率は、前記センサデータにおける加速度ベクトルの規模に部分的に基づいて、運動ベクトルを1つ以上の物理的運動プロファイルと比較することなしに決定される、
ジェスチャ認識を実装するためのシステム。
(項目83)
命令を記憶している有形コンピュータ読み取り可能な媒体であって、前記命令は、1つ以上のプロセッサによって実行されると、コンピュータ実装ジェスチャ認識方法を前記1つ以上のプロセッサに行わせ、前記命令は、
1つ以上のセンサを使用して収集されるセンサデータを取得することであって、前記センサは、ユーザによって装着されるように構成されているウェアラブルデバイス上に位置する多軸加速度計を備えている、ことと、
前記センサデータを分析し、前記ユーザが喫煙している確率を決定することと
を含み、
前記確率は、前記センサデータにおける加速度ベクトルの規模に部分的に基づいて、前記運動ベクトルを1つ以上の物理的運動プロファイルと比較することなしに決定される、
有形コンピュータ読み取り可能な媒体。
(項目84)
前記センサデータを分析することは、前記ユーザが煙草を吸煙している確率を決定するために、前記センサデータにおける1つ以上の特徴を分析することを含む、項目81に記載の方法。
(項目85)
前記特徴は、以下、すなわち、(1)潜在的な煙草が前記ユーザの口の中で検出される持続時間、(2)前記ユーザの腕のロール角、(3)前記喫煙者の腕のピッチ角、(4)潜在的な煙草吸煙持続時間、(5)連続した潜在的な吸煙間の持続時間、(6)前記ユーザが煙草を吸煙し終えるために要する潜在的な吸煙の回数、(7)前記加速度ベクトルの前記規模、(8)前記ユーザの腕の速度、(9)腕から口へのジェスチャに対応する吸入領域、および/または、(10)口から腕を下ろすジェスチャに対応する吐出領域のうちの少なくとも1つを含む、項目84に記載の方法。
(項目86)
前記センサデータから前記特徴を抽出することをさらに含む、項目85に記載の方法。
(項目87)
1つ以上のユーザ入力に基づいて、前記ユーザが喫煙している前記確率を調節することをさらに含む、項目81に記載の方法。
(項目88)
前記ユーザ入力は、(1)前記ユーザが喫煙しなかったことを示す入力信号、(2)前記ユーザが喫煙していたことを示す入力信号、および、(3)前記ユーザが喫煙していたが、前記喫煙ジェスチャが認識または検出されなかったことを示す入力信号を含む、項目87に記載の方法。
(項目89)
前記分析されたセンサデータおよび前記1つ以上のユーザ入力に基づいて、前記ユーザのためのユーザ構成ファイル(UCF)を生成することをさらに含む、項目88に記載の方法。
(項目90)
前記UCFは、複数のユーザに対して一般的である、項目89に記載の方法。
(項目91)
前記UCFは、ある期間後、各ユーザに固有になる、項目89に記載の方法。
(項目92)
前記UCFは、前記ユーザの行動に応じて、時間と共に適合および変化するように構成されている、項目91に記載の方法。
(項目93)
前記UCFは、喫煙以外の異なるアクティビティに関連付けられたユーザパラメータのリストを備えている、項目91に記載の方法。
(項目94)
前記異なるアクティビティは、以下、すなわち、立つこと、歩くこと、座ること、運転すること、飲むこと、食べること、および/または、立っているかもしくは座っている間に寄り掛かかることのうちの少なくとも1つを含む、項目93に記載の方法。
(項目95)
前記ユーザの喫煙が事前決定された期間にわたって検出されなかったとき、前記UCFを動的に変更することをさらに含む、項目89に記載の方法。
(項目96)
前記UCFは、前記ユーザの喫煙行動の変化を反映するように動的に変更される、項目95に記載の方法。
(項目97)
前記センサデータから抽出されるロール角、ピッチ角、および/またはヨー角に基づいて、前記ユーザが右手もしくは左手で喫煙しているかどうかを決定することをさらに含む、項目89に記載の方法。
(項目98)
前記ユーザの前記左/右手情報で前記UCFを更新することをさらに含む、項目97に記載の方法。
(項目99)
前記確率は、1つ以上の喫煙特性に関連付けられた多次元分布関数を使用して決定される、項目81に記載の方法。
(項目100)
前記1つ以上の喫煙特性は、前記ユーザが1回以上煙草を吸煙することを含む、項目99に記載の方法。
(項目101)
各吸煙に対する前記多次元分布関数を生成することをさらに含む、項目100に記載の方法。
(項目102)
(1)いくつかの潜在的な吸煙、(2)各潜在的な吸煙に対する前記多次元分布関数、および(3)前記いくつかの潜在的な吸煙が生じる持続時間に基づいて、前記ユーザが喫煙している前記確率を決定することをさらに含む、項目101に記載の方法。
(項目103)
前記いくつかの潜在的な吸煙に対する前記多次元分布関数の総和が、事前決定された確率閾値以上かどうかを決定することをさらに含む、項目102に記載の方法。
(項目104)
前記総和が前記事前決定された確率閾値以上のとき、前記ユーザが喫煙しており、前記総和が前記事前決定された確率閾値未満であるとき、前記ユーザが喫煙していないことを決定することをさらに含む、項目103に記載の方法。
(項目105)
前記ユーザは、事前決定された回数の吸煙事前決定された期間内で検出されたとき、喫煙していると決定される、項目104に記載の方法。
(項目106)
前記潜在的な吸煙に関連付けられる前記ロールおよびピッチ角を分析し、そのロールおよびピッチ角が事前決定されたロール/ピッチ閾値外になる前記吸煙を破棄することをさらに含む、項目102に記載の方法。
(項目107)
前記潜在的な吸煙間の持続時間を分析し、前記持続時間が事前決定された期間外になる前記吸煙を破棄することをさらに含む、項目102に記載の方法。
(項目108)
前記ユーザが異なる時刻および/または異なる地理的場所において喫煙する前記確率を決定することをさらに含む、項目81に記載の方法。
(項目109)
前記異なる時刻および/または前記異なる地理的場所に基づいて、前記センサデータ収集の周波数を調節することをさらに含む、項目108に記載の方法。
(項目110)
前記センサデータ収集の前記周波数は、前記ユーザが喫煙している前記確率が事前決定された閾値を上回る時刻および/または地理的場所において増加させられる、項目109に記載の方法。
(項目111)
前記センサデータ収集の前記周波数は、前記ユーザが喫煙している前記確率が事前決定された閾値を下回る時刻および/または地理的場所において低減させられる、項目109に記載の方法。
(項目112)
前記ユーザが異なる時刻および/または異なる地理的場所において喫煙する前記確率に基づいて、前記センサのうちの1つ以上のものを選択的に起動することをさらに含む、項目108に記載の方法。
(参照による組み込み)
本明細書で記述される全ての出版物、特許、および特許出願は、各個別出版物、特許、または特許出願が、参照することによって組み込まれるように具体的かつ個別に示された場合と同一の程度に、参照することによって本明細書に組み込まれる。
本開示の新規の特徴は、添付される請求項で詳細に記載される。本開示の特徴および利点のさらなる理解は、本開示の原理が利用される例証的実施形態を記載する、以下の詳細な説明および添付図面を参照することによって取得されるであろう。
図1は、いくつかの実施形態による、医療監視システムを図示する。 図2は、いくつかの実施形態による、医療監視システム内の例示的コンポーネントを図示する。 図3は、いくつかの実施形態による、ウェアラブルデバイス上のジャイロスコープおよび/または加速度計からのセンサデータに基づく、ウェアラブルデバイスのピッチ角、ロール角、および/またはヨー角の決定を図示する。 図4は、いくつかの実施形態による、ユーザが喫煙しているときの参照への角速度ベクトルの規模における相関関係を図示する。 図5は、いくつかの実施形態による、ユーザが摂食しているときの加速度ベクトルおよび角速度ベクトルの規模における相関関係を図示する。 図6は、いくつかの実施形態による、ユーザが歯を磨いているときの加速度ベクトルおよび角速度ベクトルの規模における相関関係を図示する。 図7は、いくつかの実施形態による、ユーザが冷たい飲み物を飲んでいるときの加速度ベクトルおよび角速度ベクトルの規模における相関関係を図示する。 図8は、いくつかの実施形態による、(1回吸煙するための)喫煙エピソード中の加速度ベクトルおよび角速度ベクトルの規模における相関関係を図示する。 図9は、いくつかの実施形態による、煙草の吸煙の回数の関数としてのユーザが煙草を吸煙している確率のグラフである。 図10は、いくつかの実施形態による、ユーザが煙草を吸煙している確率を検出する方法のフローチャートである。 図11は、いくつかの他の実施形態による、ユーザが煙草を吸煙している確率を検出する方法のフローチャートである。 図12は、いくつかのさらなる実施形態による、ユーザが煙草を吸煙している確率を検出する方法のフローチャートである。 図13は、いくつかの実施形態による、ユーザによって1日に吸煙された煙草の本数を描写する、例示的ウィンドウを図示する。 図14は、いくつかの実施形態による、時刻別に吸煙された煙草の内訳を描写する、例示的ウィンドウを図示する。 図15は、いくつかの実施形態による、1週間の間の平日および週末にユーザによって吸煙された煙草の本数を描写する、例示的ウィンドウを図示する。 図16は、いくつかの実施形態による、4週間の期間にわたって時刻別に吸煙された煙草の内訳を描写する、例示的ウィンドウを図示する。 図17は、いくつかの実施形態による、ユーザの毎日の目標を描写する、例示的ウィンドウを図示する。 図18は、いくつかの実施形態による、グループ内の他の喫煙者に対して喫煙者の禁煙成功/実績をランク付けする、例示的ウィンドウを図示する。 図19は、いくつかの実施形態による、ユーザの複数の喫煙測定基準を示す、例示的ウィンドウを図示する。
(詳細な説明)
ここで、その実施例が添付図面に図示される、本開示のいくつかの例示的実施形態を詳細に参照する。可能である限り、同一の参照番号が、同一または類似部品を指すために図面および開示の全体を通して使用されるであろう。
(序論)
ウェアラブルデバイスが、近年、ますます人気になっている。ウェアラブルデバイスは、ユーザについて大量のデータを収集することが可能であるが、現在、特にある医療分野では、大量のデータを正確かつ効率的に分析することができるシステムおよびアルゴリズムがない。
本明細書に説明される本開示の実施形態は、ある医療分野(例えば、禁煙のための喫煙行動の監視等)に適用可能な手から口へのジェスチャのリアルタイム測定を可能にすることができる。データは、ユーザが自分の行動/習慣を効果的に管理または制御することに役立つために使用されることができる。ある場合、データは、ユーザが彼らの健康および福祉を向上させることに役立つことができるユーザのための予防行動健康プログラムを調整するために、医療組織または保険会社によって使用され得る。
本開示の実施形態は、ユーザが彼らの行動/習慣をさらに理解し、彼らの行動/習慣をより効果的に変化させることに役立ち得る。例えば、喫煙の場合、本開示のある実施形態は、ユーザが、時間および場所別に吸煙された煙草の本数、吸煙の回数、喫煙が起こった社会的状況等を知ることを可能にする。喫煙統計および警告が、異なるユーザのために生成されることができ、目標が、禁煙プログラムのために設定され得る。ユーザは、禁煙プログラムにおける彼の進展を同一のソーシャルネットワーク内の他のユーザと比較することもできる。ある場合、イニセンティブが、進展に報酬を与えるために、かつユーザにさらに動機を与えるために、リアルタイムでユーザに提供され得る。
次に、本開示の種々の実施形態が、図面を参照して説明されるであろう。
図1は、いくつかの実施形態による、医療監視システムを図示する。一側面では、医療監視システム100は、ユーザデバイス102と、ウェアラブルデバイス104と、サーバ106と、ジェスチャ分析エンジン108と、データベース110とを含み得る。コンポーネント102、104、106、108、および110の各々は、1つのコンポーネントから別のコンポーネントへのデータの伝送を可能にするネットワーク112または任意のタイプの通信リンクを介して、互いに動作可能に接続され得る。ジェスチャ分析エンジンは、事前決定されたジェスチャを検出および/または監視するために、かつ事前決定されたジェスチャに関連付けられた行動を管理することにおいてユーザを支援するための情報(例えば、推奨)を提供するために、ユーザデバイスならびに/もしくはウェアラブルデバイスからの入力データを分析するように構成され得る。ジェスチャ分析エンジンは、医療監視システム内および/または医療監視システムの外側のいずれかの場所で実装され得る。いくつかの実施形態では、ジェスチャ分析エンジンは、サーバ上に実装され得る。他の実施形態では、ジェスチャ分析エンジンは、ユーザデバイス上に実装され得る。加えて、ジェスチャ分析エンジンは、ウェアラブルデバイス上に実装され得る。いくつかのさらなる実施形態では、複数のジェスチャ分析エンジンは、1つ以上のサーバ、ユーザデバイス、および/もしくはウェアラブルデバイス上に実装され得る。代替として、ジェスチャ分析エンジンは、1つ以上のデータベース内で実装され得る。ジェスチャ分析エンジンは、ソフトウェア、ハードウェア、または医療監視システム内の上記のコンポーネントのうちの1つ以上のものの中のソフトウェアおよびハードウェアの組み合わせを使用して、実装され得る。
ユーザデバイス102は、開示される実施形態と一致する1つ以上の動作を行うように構成されるコンピュータデバイスであり得る。ユーザデバイスの例は、モバイルデバイス、スマートフォン/携帯電話、タブレット、携帯情報端末(PDA)、ラップトップもしくはノートブックコンピュータ、デスクトップコンピュータ、メディアコンテンツプレーヤ、テレビセット、ビデオゲームステーション/システム、仮想現実システム、拡張現実システム、マイクロホン、またはあるタイプの行動データ(例えば、喫煙データ)を分析すること、受信すること、提供すること、もしくはそれをユーザに表示することが可能な任意の電子デバイスを含み得るがそれらに限定されない。ユーザデバイスは、ハンドヘルドオブジェクトであり得る。ユーザデバイスは、携帯用であり得る。ユーザデバイスは、人間のユーザによって携行され得る。ある場合、ユーザデバイスは、人間のユーザから遠隔に位置し得、ユーザは、無線および/または有線通信を使用してユーザデバイスを制御することができる。
ユーザデバイス102は、開示される実施形態と一致する1つ以上の動作のための命令を提供し得る非一過性のコンピュータ読み取り可能な媒体を実行することが可能である1つ以上のプロセッサを含み得る。ユーザデバイスは、1つ以上の動作を行うためのコード、論理、もしくは命令を含む非一過性のコンピュータ読み取り可能な媒体を備えている1つ以上のメモリ記憶デバイスを含み得る。ユーザデバイスは、ユーザデバイスが、ウェアラブルデバイス104、サーバ106、ジェスチャ分析エンジン108、および/またはデータベース110と通信し、それらの間でデータを転送することを可能にする、ソフトウェアアプリケーションを含み得る。ユーザデバイスは、医療監視システム100内の1つ以上の他のコンポーネントとの通信を可能にし得る通信ユニットを含み得る。ある場合、通信ユニットは、単一の通信モジュール、または複数の通信モジュールを含み得る。ある場合、ユーザデバイスは、単一の通信リンクもしくは複数の異なるタイプの通信リンクを使用して、医療監視システム100内の1つ以上のコンポーネントと相互作用することが可能であり得る。
ユーザデバイス102は、ディスプレイを含み得る。ディスプレイは、画面であり得る。ディスプレイは、タッチスクリーンでもあることも、そうでないこともある。ディスプレイは、発光ダイオード(LED)画面、OLED画面,液晶ディスプレイ(LCD)画面、プラズマ画面、または任意の他のタイプの画面であり得る。ディスプレイは、アプリケーションを通して(例えば、ユーザデバイス上で実行されるアプリケーションプログラミングインターフェース(API)を介して)レンダリングされるユーザインターフェース(UI)またはグラフィカルユーザインターフェース(GUI)を示すように構成され得る。GUIは、ユーザが1つ以上のタイプの行動(例えば、喫煙)を監視することを可能にする画像を示し得る。ユーザデバイスは、インターネット上のウェブページおよび/またはウェブサイトを表示するようにも構成され得る。ウェブページ/ウェブサイトのうちの1つ以上のものは、サーバ106によってホストされ、および/もしくはジェスチャ分析エンジン108によってレンダリングされ得る。
ユーザは、アプリケーションを通してGUI内でナビゲートし得る。例えば、ユーザは、画面(例えば、タッチスクリーン)に直接触れることによって、リンクを選択し得る。ユーザは、画面上の点に触れることによって、画面の任意の部分に触れ得る。代替として、ユーザは、ユーザ対話型デバイス(例えば、マウス、ジョイスティック、キーボード、トラックボール、タッチパッド、ボタン、言葉によるコマンド、ジェスチャ認識、姿勢センサ、熱センサ、タッチ容量センサ、または任意の他のデバイス)を用いて、画像の一部を選択し得る。タッチスクリーンは、ユーザのタッチの場所、タッチの長さ、タッチの圧力、および/またはタッチ運動を検出するように構成され得、それによって、前述のタッチの様式の各々は、ユーザからの特定の入力コマンドを示し得る。
ウェアラブルデバイス104は、スマートウォッチ、リストバンド、眼鏡、手袋、ヘッドギア(帽子、ヘルメット、仮想現実ヘッドセット、拡張現実ヘッドセット、頭部搭載型デバイス(HMD)、ヘッドバンド等)、ペンダント、アームバンド、レッグバンド、靴、ベスト、運動感知デバイス等を含み得る。ウェアラブルデバイスは、ユーザの身体の一部の上に装着されるように構成され得る(例えば、スマートウォッチまたはリストバンドが、ユーザの手首の上に装着され得る)。ウェアラブルデバイスは、1つ以上のタイプのセンサを含み得る。センサのタイプの例は、慣性センサ(例えば、慣性測定ユニット(IMU)を形成し得る、加速度計、ジャイロスコープ、および/または重力検出センサ)、場所センサ(例えば、全地球測位システム(GPS)センサ、場所の三角測量を可能にするモバイルデバイス伝送機)、心拍数モニタ、外部温度センサ、皮膚温度センサ、容量タッチセンサ、電気皮膚反応(GSR)を検出するように構成されているセンサ、視覚センサ(例えば、カメラ等の可視光、赤外線、または紫外線を検出することが可能な撮像デバイス)、近接性もしくは範囲センサ(例えば、超音波センサ、ライダ、飛行時間または深度カメラ)、高度センサ、姿勢センサ(例えば、コンパス)、圧力センサ(例えば、気圧計)、湿度センサ、振動センサ、音声センサ(例えば、マイクロホン)、および/または磁場センサ(例えば、磁力計、電磁センサ、無線センサ)を含み得る。
ウェアラブルデバイス104はさらに、信号を環境の中へ発することが可能な1つ以上のデバイスを含み得る。例えば、ウェアラブルデバイスは、電磁スペクトルに沿うエミッタ(例えば、可視光エミッタ、紫外線エミッタ、赤外線エミッタ)を含み得る。ウェアラブルデバイスは、レーザまたは任意の他のタイプの電磁エミッタを含み得る。ウェアラブルデバイスは、超音波信号等の1つ以上の振動を発し得る。ウェアラブルデバイスは、(例えば、スピーカから)可聴音を発し得る。ウェアラブルデバイスは、無線信号また他のタイプの信号等の無線信号を発し得る。
ウェアラブルデバイス104の中に存在し得る、センサの本明細書の任意の実施例は、ユーザデバイス102にも適用され得る。例えば、1つ以上の異なるセンサが、ユーザデバイス102に組み込まれ得る。
図1は、ユーザデバイス102およびウェアラブルデバイス104を2つの別個のデバイスとして図示するが、本開示は、それらに限定されない。いくつかの実施形態では、ユーザデバイスとウェアラブルデバイスとは、単一のデバイスに統合され得る。いくつかの実施形態では、ウェアラブルデバイスは、ユーザデバイスに組み込まれ得る。他の実施形態では、ユーザデバイスは、ウェアラブルデバイスに組み込まれ得る。代替として、ユーザデバイスは、ウェアラブルデバイスの1つ以上の機能を果たすことが可能であり得る。随意に、ウェアラブルデバイスは、ユーザデバイスの1つ以上の機能を果たすことが可能であり得、ユーザデバイスは、ウェアラブルデバイスの1つ以上の機能を果たすことが可能であり得る。
ユーザデバイス102およびウェアラブルデバイス104は、開示される実施形態と一致する1人以上のユーザによって動作させられ得る。いくつかの実施形態では、ユーザは、固有のユーザデバイスおよび固有のウェアラブルデバイスに関連付けられ得る。代替として、ユーザは、複数のユーザデバイスおよびウェアラブルデバイスに関連付けられ得る。本明細書に説明されるようなユーザは、医療監視システム100を通して自分の福祉を向上させようとしている個人または個人群を指し得る。例えば、喫煙者または喫煙者群は、喫煙を止めることを所望し得る。アルコール依存症に罹患している個人または個人群は、飲酒を止めることを所望し得る。過剰な摂食障害に罹患している個人または個人群は、食物摂取量を削減することを所望し得る。上記のユーザは、それらの行動を制御および管理するために医療監視システム100を使用することができる。
ユーザは、開示される実施形態によって行われる1つ以上の動作に関連付けられるサービスを提供するエンティティに登録され得るか、もしくは関連付けられ得る。例えば、ユーザは、あるタイプの行動(例えば、喫煙)を管理することにおいてユーザを支援するための動作を行うジェスチャ分析エンジン108を提供するエンティティ(例えば、会社、団体、個人等)の登録ユーザであり得る。開示される実施形態は、ユーザデバイス102およびウェアラブルデバイス104のユーザと、ジェスチャ分析エンジン108を提供するエンティティ、個人、または複数のエンティティとの間の任意の特定の関係もしくは提携に限定されない。
ユーザデバイス102および/またはウェアラブルデバイス104は、1人以上のユーザから入力を受信するように構成され得る。ユーザは、入力デバイス、例えば、キーボード、マウス、タッチスクリーンパネル、音声認識および/または口述ソフトウェア、もしくは上記の任意の組み合わせを使用して、入力をユーザデバイスおよび/またはウェアラブルデバイスに提供し得る。ユーザ入力は、あるタイプの行動(例えば、喫煙)に対する声明、コメント、質問、または回答を含み得る。異なるユーザが、異なる入力を提供し得る。例えば、ユーザは、ユーザが喫煙しているか、または事前決定された期間内に喫煙したかどうかを示す入力を提供し得る。ある場合、入力は、ある行動(例えば、喫煙)を軽減することを目的としているプログラムの経過中に、ユーザがどのように感じているか(例えば、ユーザが意欲を感じているか、または意欲をなくしているかどうかを)も示し得る。それらの場合において、ユーザの入力は、喫煙に関するユーザの考え、感情、気分、意見、質問、および/または回答を示し得る。
サーバ106は、開示される実施形態と一致する1つ以上の動作を行うように構成される1つ以上のサーバコンピュータであり得る。一側面では、サーバは、それを通してユーザデバイス102およびウェアラブルデバイス104がジェスチャ分析エンジン108およびデータベース110と通信することができる単一のコンピュータとして実装され得る。いくつかの実施形態では、ユーザデバイスおよび/またはウェアラブルデバイスは、直接、ネットワークを通してジェスチャ分析エンジンと通信し得る。いくつかの実施形態では、サーバは、ネットワークを通して、ユーザデバイスおよび/またはウェアラブルデバイスの代わりにジェスチャ分析エンジンもしくはデータベースと通信し得る。いくつかの実施形態では、サーバは、ジェスチャ分析エンジンのうちの1つ以上のものの機能性を具現化し得る。いくつかの実施形態では、1つ以上のジェスチャ分析エンジンは、サーバの内側および/または外側で実装され得る。例えば、ジェスチャ分析 エンジンは、サーバとともに含まれるか、もしくはサーバから遠隔にある、ソフトウェアおよび/またはハードウェアコンポーネントであり得る。
いくつかの実施形態では、ユーザデバイスおよび/またはウェアラブルデバイスは、別個のリンク(図1に示されていない)を通して、サーバに直接接続され得る。ある実施形態では、サーバは、ある開示される実施形態と一致する1つ以上のジェスチャ分析エンジンへのアクセスを提供するように構成されるフロントエンドデバイスとして動作するように構成され得る。サーバは、いくつかの実施形態では、事前決定されたジェスチャを検出および/または監視するため、かつ事前決定されたジェスチャに関連付けられる行動を管理することにおいてユーザを支援するための情報(例えば、推奨)を提供するために、1つ以上のジェスチャ分析エンジンを利用して、ユーザデバイスならびに/もしくはウェアラブルデバイスからの入力データを分析し得る。サーバはまた、データベースのうちの1つ以上のものに記憶されたデータおよび情報を記憶し、検索し、読み出し、ならびに/もしくは分析するように構成され得る。データおよび情報は、1つ以上のウェアラブルデバイス上の加速度計およびジャイロスコープから収集される生データ、ならびに行動のタイプ(例えば、喫煙)に関する各ユーザの履歴的行動パターンおよび社会的相互作用を含み得る。図1は、サーバを単一のサーバとして図示するが、いくつかの実施形態では、複数のデバイスが、サーバに関連付けられる機能性を実装し得る。
サーバは、ウェブサーバ、企業サーバ、または任意の他のタイプのコンピュータサーバを含み得、コンピュータデバイス(例えば、ユーザデバイスおよび/またはウェアラブルデバイス)から要求(例えば、HTTP、またはデータ伝送を開始することができる他のプロトコル)を受理するように、かつコンピュータデバイスに要求されたデータを提供するようにプログラムされるコンピュータであり得る。加えて、サーバは、データを配布するための無料、ケーブル、衛星、および他の放送設備等の放送設備であり得る。サーバは、データネットワーク(例えば、クラウドコンピューティングネットワーク)内のサーバでもあり得る。
サーバは、1つ以上のプロセッサ、プロセッサによって実行されるソフトウェア命令を記憶する1つ以上のメモリデバイス、およびデータ等の既知のコンピューティングコンポーネントを含み得る。サーバは、1つ以上のプロセッサと、プログラム命令を記憶するための少なくとも1つのメモリとを有することができる。プロセッサは、単一または複数のマイクロプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、もしくは特定の命令の組を実行することが可能なデジタル信号プロセッサ(DSP)であり得る。コンピュータ読み取り可能な命令は、フレキシブルディスク、ハードディスク、CD-ROM(コンパクトディスク読み取り専用メモリ)、およびMO(磁気光学)、DVD-ROM(デジタル多用途ディスク読み取り専用メモリ)、DVD RAM(デジタル多用途ディスクランダムアクセスメモリ)、または半導体メモリ等の有形の非一過性コンピュータ読み取り可能な媒体上に記憶されることができる。代替として、方法は、例えば、ASIC、専用コンピュータ、または汎用コンピュータ等のハードウェアコンポーネントもしくはハードウェアおよびソフトウェアの組み合わせで実装されることができる。
図1は、サーバを単一のサーバとして図示するが、いくつかの実施形態では、複数のデバイスが、サーバに関連付けられる機能性を実装し得る。
ネットワーク112は、図1に図示される種々のコンポーネントの間の通信を提供するように構成されるネットワークであり得る。ネットワークは、いくつかの実施形態では、それらの間の通信を可能にするためのネットワークレイアウト内のデバイスおよび/またはコンポーネントを接続する1つ以上のネットワークとして実装され得る。例えば、ユーザデバイス102、ウェアラブルデバイス104、およびジェスチャ分析エンジン108は、ネットワーク112を経由して互いに動作可能に通信し得る。直接通信が、上記のコンポーネントのうちの2つ以上のものの間で提供され得る。直接通信は、いかなる中間デバイスまたはネットワークも必要とすることなく起こり得る。間接通信が、上記のコンポーネントのうちの2つ以上のものの間で提供され得る。間接通信は、1つ以上の中間デバイスもしくはネットワークの助けを借りて起こり得る。例えば、間接通信は、電気通信ネットワークを利用し得る。間接通信は、1つ以上のルータ、通信塔、もしくは任意の他の中間デバイスまたはネットワークの助けを借りて起こり得る。通信のタイプの例は、インターネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、Bluetooth(登録商標)、近距離無線通信(NFC)技術、汎用パケット無線サービス(GPRS)、GSM(登録商標)、拡張データGSM(登録商標)環境(EDGE)、3G、4G、もしくはロングタームエボリューション(LTE)プロトコル等のモバイルデータプロトコルに基づくネットワーク、赤外線(IR)通信技術、および/またはWi-Fiを介した通信を含み得るが、それらに限定されず、無線、有線、もしくはそれらの組み合わせであり得る。いくつかの実施形態では、ネットワークは、携帯電話および/またはポケットベルネットワーク、衛星、認可無線、もしくは認可および無認可無線の組み合わせを使用して、実装され得る。ネットワークは、無線、有線、もしくはそれらの組み合わせであり得る。
ユーザデバイス102、ウェアラブルデバイス104、サーバ106、および/またはジェスチャ分析エンジン110は、1つ以上のデータベース110に接続もしくは相互接続され得る。データベースは、データを記憶するように構成される1つ以上のメモリデバイスであり得る。加えて、データベースは、いくつかの実施形態では、記憶デバイスを伴うコンピュータシステムとしても実装され得る。一側面では、データベースは、開示される実施形態と一致する1つ以上の動作を行うために、ネットワークレイアウトのコンポーネントによって使用され得る。
一実施形態では、データベースは、開示される実施形態と一致する種々のデータセットを含む記憶装置を備え得る。例えば、データベースは、例えば、ウェアラブルデバイス104上に位置する加速度計およびジャイロスコープによって収集される生データを含み得る。データベースはまた、ユーザの選好、履歴的行動パターン、行動のタイプに関連付けられる特性、ユーザの生活様式の変化および/または向上、ユーザがあるタイプの行動を管理もしくは克服することの成功、あるタイプの行動に関するユーザの社会的相互作用、異なる時点にユーザがどのように感じているかを示す声明またはコメント等を含み得る。いくつかの実施形態では、データベースは、インターネットフォーラムおよびソーシャルメディアウェブサイトから取得される、喫煙を止めようとするユーザの試行に関するコメントならびに洞察を含むクラウドソーシングによるデータを含み得る。インターネットフォーラムおよびソーシャルメディアウェブサイトは、個人および/またはグループブログ、FacebookTM、TwitterTM等を含み得る。加えて、いくつかの実施形態では、データベースは、喫煙を止めようとする他のユーザの試行に関するコメントおよび洞察を含むクラウドソーシングによるデータを含み得、それによって、これらのコメントおよび洞察は、1人以上の他のユーザによってジェスチャ分析エンジンに直接入力され得る。クラウドソーシングによるデータは、喫煙を止めようとしている他のユーザの進展についての最新または現在の情報、喫煙を止める方法についての推奨等を含み得る。クラウドソーシングによるデータは、喫煙を止めようとした経験があるか、または何とか失敗なく喫煙を止めた他のユーザによって提供され得る。
ある実施形態では、データベースのうちの1つ以上のものは、サーバと共同設置され得るか、ネットワーク上で互いに共同設置され得るか、もしくは他のデバイスから離れて位置し得る(データベースをネットワークに接続する鎖線によって表される)。当業者は、開示される実施形態がデータベースの構成および/または配列に限定されないことを認識するであろう。
ユーザデバイス、ウェアラブルデバイス、サーバ、ジェスチャ分析エンジン、およびデータベースのうちのいずれかは、いくつかの実施形態では、コンピュータシステムとして実装され得る。加えて、ネットワークは、コンポーネント間の通信のための「中心」点として図1に示されているが、開示される実施形態は、そのように限定されない。例えば、ネットワークレイアウトの1つ以上のコンポーネントは、種々の方法で相互接続され得、いくつかの実施形態では、当業者が理解するであろうように、互いに直接接続され得、互いに共同設置され得、もしくは互いから遠隔にあり得る。加えて、いくつかの開示される実施形態は、サーバ上に実装され得るが、開示される実施形態は、そのように限定されない。例えば、いくつかの実施形態では、他のデバイス(ジェスチャ分析システムおよび/またはデータベース等)は、サーバに関して説明される実施形態を含む、開示される実施形態と一致するプロセスならびに機能性のうちの1つ以上のものを実施するように構成され得る。
特定のコンピュータデバイスが図示され、ネットワークが説明されているが、本明細書に説明される実施形態の精神および範囲から逸脱することなく、他のコンピュータデバイスおよびネットワークが利用され得ることを認識ならびに理解されたい。加えて、ネットワークレイアウトの1つ以上のコンポーネントは、種々の方法で相互接続され得、いくつかの実施形態では、当業者が理解するであろうように、互いに直接接続され得、互いに共同設置され得、もしくは互いから遠隔にあり得る。
ジェスチャ分析エンジンは、プロセッサによって実行されると、事前決定されたジェスチャを検出および/または監視するために、かつ事前決定されたジェスチャに関連付けられる行動を管理することにおいてユーザを支援する情報(例えば、推奨)を提供するために、ユーザデバイスならびに/もしくはウェアラブルデバイスからの入力データを分析する命令を記憶する1つ以上のコンピュータとして実装され得る。ジェスチャ分析エンジンはまた、1つ以上のデータベースに記憶されたデータおよび情報を記憶し、検索し、読み出し、ならびに/もしくは分析するように構成され得る。データおよび情報は、1つ以上のウェアラブルデバイス上の加速度計およびジャイロスコープから収集される生データ、ならびに行動のタイプ(例えば、喫煙)に関する各ユーザの履歴的行動パターンおよび社会的相互作用を含み得る。いくつかの実施形態では、サーバ106は、ジェスチャ分析エンジンが実装されるコンピュータであり得る。
しかしながら、いくつかの実施形態では、1つ以上のジェスチャ分析エンジン108は、サーバ106から遠隔に実装され得る。例えば、ユーザデバイスは、ユーザ入力をサーバ106に送信し得、サーバは、1つ以上の遠隔に位置するデータベース110からデータを読み出し、フィルタ処理し、分析するために、ネットワーク112を経由して1つ以上のジェスチャ分析エンジン108に接続し得る。他の実施形態では、ジェスチャ分析エンジンは、1つ以上のプロセッサによって実行されると、事前決定されたジェスチャを検出および/または監視するために、かつあるタイプの行動を管理もしくは克服することにおいてユーザを支援する情報(例えば、推奨)を提供するために、データを分析するためのプロセスを行うソフトウェアを表し得る。
サーバは、開示される実施形態と一致する1つ以上のプロセスを行うように、ジェスチャ分析エンジンにアクセスして実行し得る。ある構成では、ジェスチャ分析エンジンは、サーバによってアクセス可能なメモリに(例えば、サーバのローカルにあるメモリ、またはネットワーク等の通信リンクを経由してアクセス可能な遠隔メモリに)記憶されたソフトウェアであり得る。したがって、ある側面では、ジェスチャ分析エンジンは、1つ以上のコンピュータとして、サーバによってアクセス可能なメモリデバイスアクセス上に記憶されたソフトウェアとして、もしくはそれらの組み合わせとして実装され得る。例えば、1つのジェスチャ分析エンジンは、1つ以上のジェスチャ認識技法を実行するコンピュータであり得、別のジェスチャ分析エンジンは、サーバによって実行されると、1つ以上のジェスチャ認識技法を行うソフトウェアであり得る。
ジェスチャ分析エンジンの機能、ならびにユーザデバイスおよびウェアラブルデバイスとのその通信が、図2を参照して以下で詳細に説明されるであろう。種々の実施形態が、例として喫煙行動の監視または中止を使用して本明細書に説明されるが、本開示は、それに限定されず、喫煙以外の他のタイプの行動およびアクティビティを監視するために使用され得ることに留意されたい。
図2は、いくつかの実施形態による、医療監視システム内の例示的コンポーネントを図示する。図2を参照すると、医療監視システム200は、ユーザデバイス102と、ウェアラブルデバイス104と、ジェスチャ分析エンジン108とを備え得る。以前に説明されたように、ジェスチャ分析エンジンは、サーバの内側および/または外側の両方に実装され得る。例えば、ジェスチャ分析エンジンは、サーバとともに含まれるか、もしくはサーバから遠隔にあるソフトウェアおよび/またはハードウェアコンポーネントであり得る。いくつかの実施形態では、ジェスチャ分析エンジン(もしくはジェスチャ分析エンジンの1つ以上の機能)は、ユーザデバイスおよび/またはウェアラブルデバイス上に実装され得る。代替として、ユーザデバイス、ウェアラブルデバイス、および/またはサーバは、ジェスチャ分析エンジンの異なる機能を果たすように構成され得る。随意に、ジェスチャ分析エンジンの1つ以上の機能は、ユーザデバイス、ウェアラブルデバイス、および/もしくはサーバにわたって複製され得る。
図2の実施例では、ウェアラブルデバイス104は、少なくとも1つのセンサ105を備え得る。例えば、ウェアラブルデバイスは、加速度計105-1と、ジャイロスコープ105-2とを備え得る。本明細書の他の場所に説明されるような1つ以上の他のタイプのセンサが、ウェアラブルデバイスに組み込まれ得る。
ユーザデバイスおよび/またはウェアラブルデバイスは、入力データ114をジェスチャ分析エンジンに提供するように構成され得る。入力データは、センサデータ114aと、ユーザ入力114bと、ユーザ場所114cと、履歴的行動データ114dと、ソーシャルネットワーク相互作用データ114eとを含み得る。
センサデータは、ウェアラブルデバイス上の加速度計およびジャイロスコープによって収集される生データを含み得る。センサデータは、ウェアラブルデバイス、ユーザデバイス、および/またはサーバ上に位置するメモリに記憶され得る。いくつかの実施形態では、センサデータは、1つ以上のデータベースに記憶され得る。データベースは、サーバ、ユーザデバイス、および/またはウェアラブルデバイス上に位置し得る。代替として、データベースは、サーバ、ユーザデバイス、および/またはウェアラブルデバイスから遠隔に位置し得る。
ユーザ入力は、ユーザデバイスおよび/またはウェアラブルデバイスを介して、ユーザによって提供され得る。ユーザ入力は、ジェスチャ分析エンジンによって提供される質問に応答し得る。質問の例は、ユーザが現在喫煙しているかどうか、ユーザが事前決定された期間内に(例えば、最後の8時間以内に)喫煙したかどうか、事前決定された期間内に吸煙された煙草の本数、ユーザが喫煙した時間および場所、煙草の銘柄、ユーザがその煙草を吸煙する計画だったかどうか、ユーザが単独で喫煙しているか、または他者とともに喫煙しているか、ユーザが喫煙に関して特定の瞬間にどのように感じているか等を含み得る。これらの質問へのユーザの応答は、現在または将来の喫煙エピソードの確率を決定するために、およびユーザが喫煙する可能性が高い場所/時間を予測するために、センサデータを補完するために使用され得る。ユーザ入力から取得されるこの情報は、機械学習プロセスを使用して分析されることができる。
ユーザ場所は、ユーザデバイスおよび/またはウェアラブルデバイス上の場所センサ(例えば、GPS受信機)によって決定され得る。ユーザ場所は、ユーザが喫煙しているか、または喫煙する可能性が高い場所を決定するために使用され得る。ユーザ場所はまた、現在または将来の喫煙エピソードの確率を決定するために、センサデータを補完するために使用され得る。
履歴的行動データは、事前決定された期間にわたって収集される喫煙関連データに対応し得る。履歴的行動データは、ウェアラブルデバイス、ユーザデバイス、および/またはサーバ上に位置するメモリに記憶され得る。いくつかの実施形態では、履歴的行動データは、1つ以上のデータベースに記憶され得る。データベースは、サーバ、ユーザデバイス、および/またはウェアラブルデバイス上に位置し得る。代替として、データベースは、サーバ、ユーザデバイス、および/またはウェアラブルデバイスから遠隔に位置し得る。
ソーシャルネットワーク相互作用データは、ジェスチャ分析エンジンによって提供されるアプリケーション(例えば、モバイルアプリケーション)から取得され得る。アプリケーションは、ユーザがアプリケーション内のソーシャルグループを選ぶこと、および自分の実績をソーシャルグループ内の他のユーザと比較することを可能にし得る。ソーシャルグループは、ユーザによって定義され得る。ソーシャルグループ内のユーザは、アプリケーションを使用して、あるタイプの行動または習慣(例えば、喫煙)を管理もしくは制御しようとし得る。ユーザの実績は、グループ内の他のユーザと比較した、行動もしくは習慣のタイプを管理することにおけるユーザの成功および/または失敗を含み得る。
ジェスチャ分析エンジンは、ウェアラブルデバイスおよび/またはユーザデバイス上に位置する少なくとも1つのセンサからセンサデータを取得するように構成され得る。例えば、ジェスチャ分析エンジンは、ウェアラブルデバイス上に位置する加速度計および/またはジャイロスコープからセンサデータを取得するように構成され得る。前述のように、ウェアラブルデバイスは、ユーザによって(例えば、ユーザの手首の上に)装着され得る。ジェスチャ分析エンジンはさらに、ユーザが所定のジェスチャを行っている確率を決定するために、センサデータを分析するように構成され得る。確率は、センサデータにおける運動ベクトルの規模に部分的に基づいて、運動ベクトルを1つ以上の物理的運動プロファイルと比較することなしに決定され得る。
(ジェスチャのタイプ)
所定のジェスチャは、以下のアクティビティのうちの少なくとも1つに関連付けられ得、それに特有であり得る:喫煙すること、飲むこと、食べること、髭を剃ること、歯を磨くこと、爪を噛むこと、嘔吐すること、または慢性的に咳をすること。ジェスチャ分析エンジンは、ユーザが上記のアクティビティのうちの1つ以上のものを行う確率を決定するように構成され得る。異なるアクティビティに関連付けられたジェスチャは、少なくともセンサデータにおける異なる運動ベクトルの規模に基づいて、運動ベクトルを1つ以上の物理的運動プロファイルと比較することなしに互いに区別され得る。
ある場合、ジェスチャ分析エンジンは、センサデータにおける運動ベクトルの規模およびそれらの持続時間に基づいて、ユーザが熱い液体を飲んでいるか、または冷たい液体を飲んでいるかを決定することが可能であり得る。他の場合では、ジェスチャ分析エンジンは、センサデータにおける運動ベクトルの規模およびそれらの持続時間に基づいて、異なるタイプの食物のユーザの消費を決定することが可能であり得る。例えば、ジェスチャ分析エンジンは、飲む回数、飲む持続時間、ロール、ピッチ等に基づいて、熱い飲み物または冷たい飲み物を識別することができる。ジェスチャ分析エンジンはまた、消費されている食品の一般的タイプ(例えば、ユーザがスプーンを用いてスープを飲んでいる、ナイフおよびフォークを用いて固形食物を食べている、スナックを食べている、箸を使用しているかどうか等)を識別することもできる。したがって、ジェスチャ分析エンジンは、各アクティビティ内の種々のサブカテゴリを検出することが可能であり得る。
ある場合、所定のジェスチャは、ユーザの四肢の反復運動および/または振動を引き起こす神経障害に関連付けられ得る。ジェスチャ分析エンジンは、ユーザが所定のジェスチャを行っている確率を決定し、ユーザが神経障害に罹患している程度を決定するように構成され得る。
(センサデータ)
前述のように、加速度計が、ウェアラブルデバイス上に配置され得る。いくつかの実施形態では、加速度計は、n軸加速度計等の多軸加速度計であり得、nは、2以上の整数であり得る。例えば、いくつかの実施形態では、加速度計は、3軸加速度計であり得る。加速度計は、ウェアラブルデバイスに対して画定される局所座標系内のX軸、Y軸、およびZ軸に沿って加速度を測定することが可能であり得る。
したがって、これらの実施形態では、センサデータにおける運動ベクトルは、加速度ベクトルであり得、運動ベクトルの規模は、加速度ベクトルの規模に対応し得る。加速度ベクトルは、加速度計の異なる軸に沿って測定される複数の加速度成分を含み得る。例えば、X軸、Y軸、およびZ軸に沿った複数の加速度成分は、それぞれ、Ax、Ay、およびAzによって与えられ得る。加速度成分の各々は、ベクトル量であり得る。加速度ベクトルの規模は、A=SQRT(A +A +A )によって与えられ得る。加速度ベクトルの規模は、スカラー量であり得る。
ジェスチャ分析エンジンは、加速器ベクトルの規模に部分的に基づいて、ユーザが所定のジェスチャを行っている確率を決定するように構成され得る。例えば、ジェスチャ分析エンジンは、異なる期間内の加速度ベクトルの規模に部分的に基づいて、加速度ベクトル(および/または加速度ベクトルにおける各加速度成分)を1つ以上の物理的運動プロファイルと比較することなしに確率を決定するように構成され得る。
いくつかの実施形態では、ウェアラブルデバイスのピッチ角および/またはロール角が、X軸、Y軸、ならびにZ軸に沿った加速度成分を使用して、ジェスチャ分析エンジンによって計算され得る。ある場合、ピッチ角は、θ=arctan[A/SQRT(A +A )]によって与えられ得る。いくつかの実施形態では、ウェアラブルデバイスのロール角は、X軸およびZ軸に沿った加速度成分を使用して、計算され得る。ある場合、ロール角は、φ=arctan[-A/A]によって与えられ得る。ピッチ角およびロール角は、それぞれ、Y軸およびX軸の周りの(ウェアラブルデバイスが装着される)ユーザの身体の一部の回転運動を示し得る。いくつかの実施形態では、ジェスチャ分析エンジンは、ピッチ角および/またはロール角に部分的に基づいて、ユーザが所定のジェスチャを行っている確率を決定するように構成され得る。
前述のように、ジャイロスコープも、ウェアラブルデバイス上に配置され得る。これらの実施形態では、センサデータにおける運動ベクトルは、角速度ベクトルであり得、運動ベクトルの規模は、角速度ベクトルの規模に対応し得る。角速度ベクトルは、ジャイロスコープの異なる軸に沿って測定される複数の角速度成分を含み得る。
ジェスチャ分析エンジンは、角速度ベクトルの規模に部分的に基づいて、角速度ベクトルを1つ以上の物理的運動プロファイルと比較することなしにユーザが所定のジェスチャを行っている確率を決定するように構成され得る。例えば、ジェスチャ分析エンジンは、異なる期間内の角速度ベクトルの規模に部分的に基づいて、確率を決定するように構成され得る。
いくつかの実施形態では、図3に示されるように、ウェアラブルデバイスのピッチ角、ロール角、および/またはヨー角は、ウェアラブルデバイス上のジャイロスコープならびに/もしくは加速度計からのセンサデータに基づいて決定され得る。ピッチ角、ロール角、および/またはヨー角は、ウェアラブルデバイス上で画定される局所座標系内のX軸、Y軸、ならびにZ軸の周りのユーザの身体の一部の回転運動を示し得る。図3では、ピッチ角は、Y軸の周りのユーザの手首の回転運動を示し得、ロール角は、X軸の周りのユーザの手首の回転運動を示し得、ヨー角は、Z軸の周りのユーザの手首の回転運動を示し得る。ウェアラブルデバイスからのセンサデータは、後に、センサデータをジェスチャ分析エンジンに伝送し得るユーザデバイスに伝送され得る。いくつかの実施形態では、ウェアラブルデバイスからのセンサデータは、ユーザデバイスを通過することなく、ジェスチャ分析エンジンに直接伝送され得る。ジェスチャ分析エンジンは、ピッチ角、ロール角、および/またはヨー角に部分的に基づいて、ユーザが所定のジェスチャを行っている確率を決定するように構成され得る。
いくつかの実施形態では、ジェスチャ分析エンジンは、加速度ベクトルの規模および角速度ベクトルの規模に部分的に基づいて、加速度ベクトルおよび角速度ベクトルを1つ以上の物理的運動プロファイルと比較することなしにユーザが所定のジェスチャを行っている確率を決定するように構成され得る。前述のように、所定のジェスチャは、喫煙すること、飲むこと、歯を磨くこと、および飲むこと等のアクティビティに関連付けられ得、それに固有であり得る。ジェスチャ分析エンジンは、ユーザが上記のアクティビティのうちの1つ以上のものを行う確率を決定するように構成され得る。異なるアクティビティに関連付けられたジェスチャは、少なくともセンサデータにおける異なる運動ベクトルの規模に部分的に基づいて、運動ベクトルを1つ以上の物理的運動プロファイルと比較することなしに互いに区別され得る。
図4、5、6、および7は、いくつかの実施形態による、ユーザが異なるアクティビティ(ジェスチャ)を行なっているときにウェアラブルデバイス上の加速度計およびジャイロスコープによって収集されるデータを図示する。例えば、図4の部分AおよびBは、それぞれ、ユーザが喫煙しているときの角速度ベクトルおよび加速度ベクトルの規模を図示する。図4に示されるように、部分A内の角速度ベクトルの規模と部分B内の加速度ベクトルの規模とは、丸く囲んだ領域によって示されるように、時間的相関関係を示す。異なる期間にわたって部分A内の角速度ベクトルの規模を部分B内の加速度ベクトルの規模と比較することによって、ジェスチャ分析エンジンは、ユーザのジェスチャが喫煙に対応する確率を決定することができる。例えば、図4では、データは、(部分A内の4つの丸く囲んだ領域によって示されるように)ユーザが4回煙草を吸煙したことを示し得る。
上の分析は、他のタイプの行動またはアクティビティに拡張され得る。例えば、図5の部分AおよびBは、それぞれ、ユーザが摂食しているときの加速度ベクトルおよび角速度ベクトルの規模を図示する。図5の部分AおよびB内の丸く囲んだ領域は、ユーザが摂食しているときの加速度ベクトルの規模と角速度ベクトルの規模との間の相関関係を図示する。
図6の部分AおよびBは、それぞれ、ユーザが歯を磨いているときの加速度ベクトルおよび角速度ベクトルの規模を図示する。図6では、加速度ベクトルの規模は、高い周波数で変化する(部分Aに示される)が、角速度ベクトルの規模は、より低い周波数で変化することが観察され得る。加速度ベクトルおよび角速度ベクトルのこの規模パターンが、歯を磨くことに固有であり得るので、相関関係が依然として作られ得る。
図7の部分AおよびBは、それぞれ、ユーザが冷たい飲み物を飲んでいるときの加速度ベクトルおよび角速度ベクトルの規模を図示する。図7に示されるように、加速度ベクトルの規模と角速度ベクトルの規模との間の相関関係もある。
図5、6、および7を比較すると、加速度ベクトルおよび角速度ベクトルの規模は、異なるアクティビティの間で異なり(かつ異なる周波数で変動し)、したがって、異なるアクティビティを区別するために使用され得ることが観察され得る。具体的には、本開示に説明される種々の実施形態によると、異なる期間にわたってベクトルの規模を単独で比較することによって、かつベクトルを実ときの物理的運動プロファイル(またはパターン)と比較することなしに、行動/アクティビティに関連付けられるジェスチャを検出するために必要とされる処理能力および/または時間が削減されることができる。
いくつかの実施形態では、ジェスチャ分析エンジンは、同一/異なる期間内の加速度ベクトルおよび角速度ベクトルの規模の間の相関関係を決定し、ユーザが所定のジェスチャを行っている確率を決定するように構成され得る。図8は、いくつかの実施形態による、ユーザが喫煙しているときのウェアラブルデバイス上の加速度計およびジャイロスコープによって収集されるデータを図示する。図8の部分AおよびBは、それぞれ、ユーザが喫煙しているときの加速度ベクトルおよび角速度ベクトルの規模を図示する(1回の吸煙に対して)。喫煙エピソードにおいて1回の吸煙中、ユーザは、最初に、煙草を口に運び(手から口へのジェスチャ)、吸い込み(煙草を吸煙し)、口から煙草を除去し(口から手のジェスチャ)、吐き出し得る。図8の領域802では、ユーザの手は、静止位置にあり得る。領域804では、ユーザは、煙草を口に運びつつあり得る。領域806では、ユーザは、煙草を吸煙しつつ(吸い込みつつ)あり得る。領域808では、ユーザは、口から煙草を除去し、吐き出しつつあり得る。領域810では、ユーザの手は、再度、静止位置にあり得る。図8に示されるように、加速度ベクトルの規模と角速度ベクトルの規模とは、喫煙ジェスチャの各部分的運動の相関関係を示し得る。
(ユーザが所定のジェスチャを行っている確率を決定するためのセンサデータの統計的分析)
ジェスチャ分析エンジンは、1つ以上の物理的運動プロファイルパターンに対してセンサデータを比較することなく、センサデータを分析するように構成され得る。本明細書で使用される場合の物理的運動プロファイルパターンは、ユーザの対応する物理的ジェスチャと実質的に同一のプロファイルを有する任意のパターンを指し得る。物理的運動プロファイルパターンの形状は、ユーザの対応する物理的ジェスチャの形状に実質的に類似し得る。例えば、ユーザがL字形ジェスチャを物理的に行う場合、対応する物理的運動プロファイルパターンは、実質的にL字形を有し得る。
いくつかの実施形態では、ジェスチャ分析エンジンは、センサデータにおける複数の特徴の確率関数である多次元分布関数を計算するように構成され得る。特徴は、センサデータから抽出され得る。複数の特徴は、pからpによって表されるn個の特徴を含み得、nは、2以上の任意の整数であり得る。多次元分布関数は、f(p,p,・・・,p)によって表され得る。
複数の特徴は、所定のジェスチャの種々の特性に関連付けられ得る。例えば、いくつかの実施形態では、複数の特徴は、以下の特徴のうちの2つ以上のものを含み得る:(1)ジェスチャ中の部分的運動の持続時間、(2)加速度ベクトルの規模、(3)角速度ベクトルの規模、(4)ロール角、(5)ピッチ角、および/または(6)ヨー角。部分的運動は、例えば、手から口へのジェスチャおよび/または、口から手のジェスチャ。したがって、多次元分布関数は、ジェスチャ分析エンジンによって選択および分析される特徴のタイプに応じて、所定のジェスチャの1つ以上の特性に関連付けられ得る。多次元分布関数は、0~1の単一の確率値を返すように構成され得、確率値は、各特徴のさまざまな可能な値にわたる確率を表す。各特徴は、個別の値によって表され得る。加えて、各特徴は、連続したつながりに沿って測定可能であり得る。複数の特徴は、センサデータ内で符号化され、ジェスチャ分析エンジン108を使用してセンサデータから抽出され得る。
いくつかの実施形態では、2つ以上の特徴は、相関性があり得る。ジェスチャ分析エンジンは、特徴が互いにほぼ直交するように、それらを相関解除するために特異値分解(SVD)を使用することによって、多次元分布関数を計算するように構成され得る。SVDの使用は、多次元分布関数の確率値を計算するために必要とされる処理時間を短縮することができ、ユーザが所定のジェスチャを行う高い(統計的に有意な)確率を決定するためにジェスチャ分析エンジンによって必要とされるデータの量を削減することができる。
いくつかの実施形態では、ジェスチャ分析エンジンは、多次元分布関数f(p,p,・・・,p)=f(pf(p・・・f(p)であるように、各特徴の相関解除された(回転させられた)1D確率密度分布を乗算することによって、多次元分布関数を計算するように構成され得る。関数f(p)は、第1の特徴の1D確率密度分布であり得、関数f(p)は、第2の特徴の1D確率密度分布であり得、関数f(p)は、第3の特徴の1D確率密度分布であり得、関数f(p)は、n番目の特徴の1D確率密度分布であり得る。各特徴の1D確率密度分布は、各特徴のサンプルサイズから取得され得る。いくつかの実施形態では、サンプルサイズは、特徴の全てにわたって一定であり得る。他の実施形態では、サンプルサイズは、異なる特徴の間で可変であり得る。
いくつかの実施形態では、ジェスチャ分析エンジンは、複数の特徴のうちの1つ以上のものが統計的に有意でないかどうかを決定するように構成され得る。例えば、1つ以上の統計的に有意でない特徴は、所定のジェスチャと低い相関関係を有し得る。いくつかの実施形態では、ジェスチャ分析エンジンはさらに、多次元分布関数から1つ以上の統計的に有意でない特徴を除去するように構成され得る。多次元分布関数から1つ以上の統計的に有意でない特徴を除去することによって、多次元分布関数の確率値を計算するために必要とされる計算時間および/もしくは能力が、削減されることができる。
(喫煙統計実施例)
いくつかの実施形態では、ジェスチャ分析エンジンは、ユーザが喫煙している確率を決定するために、センサデータを分析するように構成され得る。確率は、センサデータにおける加速度ベクトルおよび/または角速度ベクトルの規模に部分的に基づいて、加速度ベクトルおよび/または角速度ベクトルを1つ以上の物理的運動プロファイルと比較することなしに決定され得る。これらの実施形態では、ジェスチャ分析エンジンは、ユーザが煙草を吸煙している確率を決定するために、センサデータにおける1つ以上の特徴を分析するように構成され得る。特徴は、以下のうちの少なくとも1つを含み得る:(1)潜在的な煙草がユーザの口の中で検出される持続時間、(2)ユーザの腕のロール角、(3)喫煙者の腕のピッチ角、(4)潜在的な煙草吸煙持続時間、(5)連続した潜在的な吸煙間の持続時間、(6)ユーザが煙草を吸煙し終えるために要する潜在的な吸煙の回数、(7)加速度ベクトルの規模、(8)ユーザの腕の速度、(9)腕から口へのジェスチャに対応する吸入領域、および(10)口から腕を下ろすジェスチャに対応する吐出領域。
ジェスチャ分析エンジンは、センサデータから特徴を抽出し、それらを数学関数に挿入し、これらの特徴が喫煙ジェスチャに一致する信頼(0~100%)レベルを取得し得る。信頼レベルが高い場合、ジェスチャ分析エンジンは、ユーザが煙草を吸煙したことを決定し得る。数学関数は、ユーザ統計を表す。異なるユーザは、異なる統計および関数を有する。数学関数は、その多項式係数aによって表され得る。したがって、関数は、数字aの組によって定義され得る。例えば、以下に示される方程式では、Pは、関数であり、xは、関数に挿入される特徴であり、aは、関数を表す係数である。
Figure 2022058756000002
いくつかの実施形態では、ジェスチャ分析エンジンは、1つ以上の喫煙特性に関連付けられた多次元分布関数を計算するように構成され得る。1つ以上の喫煙特性は、ユーザが煙草を吸煙することに関連付けられ得る。ジェスチャ分析エンジンは、各吸煙に対して多次元分布関数を生成するように構成され得る。ジェスチャ分析エンジンは、以下に基づいて、ユーザが喫煙している確率を決定するように構成され得る:(1)いくつかの潜在的な吸煙、(2)各潜在的な吸煙に対する多次元分布関数、および(3)その数の潜在的な吸煙が生じる持続時間。ジェスチャ分析エンジンは、ある数の潜在的な吸煙に対する多次元分布関数の総和が、事前決定された確率閾値以上かどうかを決定するように構成され得る。例えば、ジェスチャ分析エンジンは、総和が、事前決定された確率閾値以上のとき、ユーザが喫煙しており、総和が、事前決定された確率閾値未満であるとき、ユーザが喫煙していないことを決定し得る。いくつかの実施形態では、ジェスチャ分析エンジンは、事前決定された回数の吸煙が事前決定された期間内で検出されたとき、ユーザが喫煙していると決定し得る。ある場合、事前決定された回数の吸煙は、少なくとも3回吸煙することであり得、事前決定された期間は、約5~6分であり得る。ジェスチャ分析エンジンは、潜在的な吸煙に関連付けられるロールおよびピッチ角を分析し、そのロールおよびピッチ角が事前決定されたロール/ピッチ閾値外になるこれらの吸煙を破棄するように構成され得る。ジェスチャ分析エンジンはまた、潜在的な吸煙間の持続時間を分析し、持続時間が事前決定された期間外になる吸煙を破棄するように構成され得る。
図9は、いくつかの実施形態による、煙草を吸煙の回数の関数としてのユーザが煙草を吸煙している確率のグラフである。ジェスチャ分析エンジン(例えば、ジェスチャ分析エンジン)は、ユーザが喫煙している確率を決定するために、センサデータを分析するように構成され得る。ある場合、図9に示されるように、ジェスチャ分析エンジンは、最初の吸煙に基づいて、ユーザが喫煙している約83%の確率を決定し得る。最初の吸煙は、実際の煙草を吸煙することであり得る。ユーザが2回目に煙草を吸煙するとき、ジェスチャ分析エンジンは、ユーザが実際に喫煙している約95%の確率を決定し得る。ユーザが3回目に煙草を吸煙する時間までに、ジェスチャ分析エンジンは、ユーザが実際に喫煙している約99%の確率を決定し得る。したがって、ジェスチャ分析エンジンは、潜在的な検出された吸煙の回数に基づいて、ユーザが喫煙しているかどうかを決定することが可能であり得る。ある場合、ジェスチャ分析エンジンは、最初の吸煙に基づいて、ユーザの高い確率(例えば、99%)を決定することが可能であり得る。
(適応ジェスチャ認識)
以前に説明されたように、入力データは、ユーザによって提供されるユーザ入力を含み得る。ジェスチャ分析エンジンは、1つ以上のユーザ入力に基づいて、ユーザが喫煙している確率を調節するように構成され得る。ユーザ入力は、以下を含み得る:(1)ユーザが喫煙しなかったことを示す入力信号、(2)ユーザが喫煙していたことを示す入力信号、および(3)ユーザが喫煙していたが、喫煙ジェスチャが認識または検出されなかったことを示す入力信号。
いくつかの実施形態では、ジェスチャ分析エンジンは、特定のタイプの行動またはジェスチャに対して平均的な個人(全員)に適合する広い統計を用いたアルゴリズムを実装し得る。アルゴリズムは、時間と共に統計を特定の個人に適合させるように構成され得る。各個人は、後に、以下で説明されるように、彼/彼女の個人統計を伴う固有の構成ファイルを有し得る。
例えば、ジェスチャ分析エンジンは、分析されたセンサデータおよび1つ以上のユーザ入力に基づいて、ユーザのためのユーザ構成ファイル(UCF)を生成するように構成され得る。最初に、ジェスチャ分析エンジンは、一般UCFを生成し得る。一般UCFは、一般的であり、いかなるユーザに対しても非特定的であり得る。一般UCFは、喫煙に関連付けられるユーザパラメータのリストを含み得る。加えて、一般UCFは、喫煙以外の異なるアクティビティに関連付けられたユーザパラメータのリストを含み得る。これらのアクティビティの例は、以下のうちの少なくとも1つを含み得る:立つこと、歩くこと、座ること、運転すること、飲むこと、食べること、および、立っているかまたは座っている間に寄り掛かかること。寄り掛かかることは、ユーザの肘に関連付けられ得る。例えば、ユーザは、座っており、物体の上に肘を寄り掛からせることもある。いくつかの実施形態では、ジェスチャ分析エンジンは、一般UCFに加えて、ユーザのための左手UCFおよび/または右手UCFを生成するように構成され得る。いくつかの実施形態では、左手UCFおよび/または右手UCFは、一般UCFに組み込まれ得る。
UCFは、ユーザの行動に応じて、時間と共に適合および変化するように構成され得る。したがって、ジェスチャ分析エンジンが、しばらくの間ユーザの履歴的行動データを収集して分析した後、ジェスチャ分析エンジンは、一般UCFおよび/または左/右手UCFに基づいて、ユーザに固有である個人UCFを生成し得る。
いくつかの実施形態では、ジェスチャ分析エンジンは、ユーザが事前決定された期間にわたって所定のジェスチャを行っていないことをシステムが検出するとき、一般UCF、左/右UCF、および/または個人UCFを動的に変更するように構成され得る。例えば、上記のUCFのうちの1つ以上のものは、ユーザが事前決定された期間にわたって喫煙していないことをシステムが検出するとき、動的に変更され得る。いくつかの実施形態では、システムは、ユーザが事前決定された期間にわたって喫煙していないことを検証することをユーザに要求する、質問またはプロンプトを(ユーザデバイスおよび/またはウェアラブルデバイス上で)ユーザに送信し得る。
いくつかの実施形態では、ジェスチャ分析エンジンは、センサデータから取得されるロール角およびピッチ角に基づいて、ユーザが右手で喫煙しているか、または左手で喫煙しているかを決定するように構成され得る。これらの実施形態では、ジェスチャ分析エンジンは、ユーザの左/右手情報で左/右手UCFを更新するように構成され得る。
(個人化情報の送達)
いくつかの実施形態では、ジェスチャ分析エンジンは、多次元分布関数の中へ(センサデータからのもの以外に)追加の特徴を含むように構成され得る。例えば、これらの追加の特徴は、ユーザ入力、ユーザ場所、ユーザの履歴的行動データ、および/またはユーザのソーシャルネットワーク相互作用に関連付けられ得る。これらの追加の特徴は、センサベースではないデータから抽出され得る。
ジェスチャ分析エンジンは、1つ以上の統計関数を使用して入力データを分析するように、かつ分析されたデータをジェスチャ分析エンジンに提供するように構成され得る。ジェスチャ分析エンジンは、自然言語処理(NLP)クラスタリングおよび/または機械学習能力を含み得る。NLPクラスタリングは、機械学習、例えば、統計的機械学習に基づき得る。統計的機械学習は、統計的推測に基づき得る。ジェスチャ分析エンジンは、所定のジェスチャに関連付けられる測定基準または特性を学習するように、かつあるタイプの行動を管理することにおけるユーザの進展を決定するように構成され得る。この機械学習は、1つ以上のデータベースに記憶された実在の入力の大集成を分析することによって、ジェスチャ分析エンジンに達成され得る。ジェスチャ分析エンジンは、その状況(例えば、ジェスチャが行われた場所および時間、どのような状況下か)に応じて、実数値の重みを行動ジェスチャに加えることに基づく、柔軟な確率的決定を行うことが可能な統計的モデルを含み得る。統計的モデルは、馴染みのない入力(例えば、ユーザの新しい腕の運動)および誤りのある入力(例えば、ジェスチャの誤検出)に対してロバストであり得る。
ジェスチャ分析エンジンは、情報をユーザデバイスおよび/またはウェアラブルデバイスに伝送することによって、個人化情報(例えば、推奨)をユーザに配信するように構成され得る。情報は、後に、ユーザデバイスおよび/またはウェアラブルデバイス上でユーザに表示され得る。ユーザは、あるタイプの行動を監視するために情報に依拠し得る。いくつかの実施形態では、ジェスチャ分析エンジンは、ジェスチャ分析エンジンに提供される入力データおよびジェスチャ分析エンジンに基づいて、あるタイプの行動を管理することにおいてユーザを支援するための指導を積極的に提供するように構成され得る。
いくつかの実施形態では、ジェスチャ分析エンジンは、ジェスチャ分析エンジンによって提供されるアプリケーション(例えば、モバイルアプリケーション)を使用して、ユーザのソーシャルネットワーク相互作用を分析するように構成され得る。アプリケーションは、ユーザがアプリケーション内のソーシャルグループを選ぶこと、および自分の実績をソーシャルグループ内の他のユーザと比較することを可能にし得る。ソーシャルグループは、ユーザによって定義され得る。ソーシャルグループ内のユーザは、アプリケーションを使用して、あるタイプの行動または習慣(例えば、喫煙)を管理もしくは制御しようとし得る。ユーザの実績は、グループ内の他のユーザと比較した、行動もしくは習慣のタイプを管理することにおけるユーザの成功および/または失敗を含み得る。いくつかの実施形態では、ソーシャルグループ内で異なる時系列にわたってデータを推定することによって、ジェスチャ分析エンジンは、ユーザの進展をより正確に監視し、個人化推奨をユーザに提供し得る。いくつかの実施形態では、ジェスチャ分析エンジンは、ユーザが異なる時刻および/または異なる地理的場所において所定のジェスチャを行う確率を決定するように構成され得る。例えば、ジェスチャ分析エンジンは、ユーザが異なる時刻および/または異なる地理的場所において喫煙する確率を決定するように構成され得る。いくつかの実施形態では、ジェスチャ分析エンジンは、1人以上のユーザの累積喫煙パターンに基づいて、異なる製品もしくはサービスを宣伝および広告するように構成され得る。
いくつかの実施形態では、ジェスチャ分析エンジンは、リアルタイムで個人化推奨をユーザに動的に提供することができる。個人化推奨は、事前決定された頻度で、例えば、1時間、12時間、24時間、2日、4日毎等に提供され得る。ある場合、ジェスチャ分析エンジンは、ユーザの行動に基づいて、またはユーザの行動の変化があるときに(例えば、ユーザが以前と比較してより多数または少数の煙草を吸煙しているときに)個人化推奨を提供することができる。
いくつかの実施形態では、ユーザが求め、消費するであろう可能性が最も高い情報をユーザに提供することに加えて、ジェスチャ分析エンジンは、個人化推奨をさらに提供し、ユーザのニーズおよび行動に影響を及ぼすことができる。
禁煙プログラム中、ユーザのニーズおよび課題は、毎日変動し得る。例えば、ユーザは、不安、鬱病、意気消沈、エネルギーの欠如、喫煙する衝動等に悩まされ得る。さらに、ユーザは、ストレスおよび周囲の圧力等の他の事象による影響を受け得る。ジェスチャ分析エンジンは、禁煙プログラム中のユーザの体験の動的性質を考慮するように構成されることができる。例えば、ジェスチャ分析エンジンは、異なる時間枠におけるユーザの行動および身体反応特性をパラメータ化することができる。いくつかの実施形態では、ジェスチャ分析エンジンは、ユーザの潜在的なニーズを決定し、これらの潜在的なニーズに基づいて個人化推奨を提供するように構成されることができる。したがって、いくつかの実施形態では、ジェスチャ分析エンジンは、ユーザのニーズおよび行動をより正確に解釈して予測するよう、感情分析が可能であり得る。
いくつかの実施形態では、分析されたデータは、ジェスチャ分析エンジンによって、医療組織、保険会社、および/または政府機関に提供され得る。上記のエンティティのうちの1つ以上のものは、ユーザの健康および福祉を助長する予防行動プログラムを調整するために、データを使用し得る。
(喫煙行動の検出のための方法)
図10は、いくつかの実施形態による、ユーザが煙草を吸煙している確率を検出する方法1000のフローチャートである。第1に、センサデータは、リアルタイムで、断続的に、固定もしくは異なる頻度で、ウェアラブルデバイス上の1つ以上のセンサによって収集され得る(ステップ1002)。センサデータは、ウェアラブルデバイスから直接、またはユーザデバイスを介してのいずれかで、ジェスチャ分析エンジンに伝送され得る。いくつかの実施形態では、ジェスチャ分析エンジンは、ユーザデバイスおよび/またはウェアラブルデバイスから遠隔のサーバ上に位置し得る。代替として、ジェスチャ分析エンジンは、ユーザデバイスおよび/またはウェアラブルデバイス上に位置し得る。随意に、ジェスチャ分析エンジンの種々の側面もしくは機能は、サーバ、ユーザデバイス、および/またはウェアラブルデバイスを使用して、実装され得る。ジェスチャ分析エンジンは、センサデータに基づいてユーザが喫煙している確率を決定するように構成され得る。喫煙行動は、ユーザが1回以上煙草を吸煙することから成り得る。
ウェアラブルセンサ上のセンサのうちのいくつかまたは全ては、任意の時間に起動され得る。いくつかの実施形態では、センサの一部が起動され、ウェアラブルデバイスの電力消費量を削減し得る。ジェスチャ分析エンジンおよび/またはユーザデバイスが、(例えば、確率<1で)ユーザが最初に潜在的に煙草を吸煙し得ることを検出すると、ジェスチャ分析エンジンおよび/またはユーザデバイスは、他のセンサをオンにするための信号をウェアラブルセンサに伝送するように構成され得る。センサデータの一部または全体は、集約され、(直接、またはユーザデバイスを介してのいずれかで)リアルタイムでウェアラブルデバイスからジェスチャ分析エンジンに一括して送信され得る。
ジェスチャ分析エンジンは、センサデータの一部または全体から所定の特徴の組を抽出するように構成され得る(ステップ1004)。ジェスチャ分析エンジンは、潜在的な煙草の吸煙および/または吸煙の回数を評定することによって、ユーザが喫煙している確率を検出するために所定の特徴の組を使用するように構成され得る(ステップ1006および1008)。これは、ある喫煙モデルに対して手から口ならびに口から手のジェスチャの加速度ベクトルおよび/または角速度ベクトルの規模を分析することによって、達成され得る。
評定された吸煙に基づいて、ジェスチャ分析エンジンは、ユーザが煙草を吸煙しているか、または吸煙したかどうかを検出することができる(ステップ1010)。ジェスチャ分析エンジンは、さらなるおよび/または将来の分析のために、喫煙関連情報をデータベースの中へ伝送し、記憶し得る(ステップ1012)。喫煙関連情報は、煙草の吸煙の持続時間、煙草のタイプ、ユーザの個人情報、ユーザの場所、喫煙の時間等を含み得る。喫煙関連情報は、時間と共に蓄積され、ユーザの喫煙行動動向を生成するために使用され得る。喫煙関連情報は、ユーザデバイス上のグラフィカルディスプレイ上に表示され得る(ステップ1014)。ジェスチャ分析エンジンは、統計的分析の信頼レベルを向上させるために、かつユーザが喫煙する可能性が高い時間/場所を予測するために、喫煙行動動向を使用することができる。例えば、ジェスチャ分析エンジンは、情報内の異なるパラメータ間の隠れた相関関係を検出するために、喫煙行動動向を分析し得る。隠れた相関関係は、ユーザ行動および/または習慣を予測するために使用され得る。
図11は、いくつかの他の実施形態による、ユーザが煙草を吸煙している確率を検出する方法1100のフローチャートである。最初に、データが、ウェアラブルデバイス上の加速度計およびジャイロスコープによって収集され得る(ステップ1102および1104)。ある場合、データは、重力の影響を補償するように調節され得る(ステップ1106)。ある場合、データがジェスチャを検出するために不十分である場合、センサデータ収集の時間カウント(例えば、持続時間または頻度)が、増加させられ得る(ステップ1108)。センサデータは、ユーザデバイスに伝送され得る。ユーザデバイスは、ウェアラブルデバイスによって収集されるセンサデータ(例えば、加速度計および/またはジャイロスコープデータ)を監視するように構成され得る。ユーザデバイスは、加速度計またはジャイロスコープデータ内の一方もしくは両方の信号が所定の閾値を下回る信号の領域を探すように構成され得る(ステップ1110)。これらの領域は、「疑わしい吸煙の領域」に対応し得る。加速度計またはジャイロスコープデータの1つ以上の信号が所定の閾値を下回る場合、ユーザデバイスは、サンプリング周波数を増加させる(ステップ1112)ために、事象カウントを増加させるようにウェアラブルデバイスに命令し得る(ステップ1112)。加速度計またはジャイロスコープデータの1つ以上の信号が所定の閾値を上回る場合、センサデータの収集は、その以前のサンプリング周波数で継続する。次に、ユーザデバイスは、時間窓が満了したかどうかを決定する(ステップ1114)。時間窓が満了していない場合、ウェアラブルデバイスは、センサデータを収集し続け得る。時間窓が満了した場合、ユーザデバイスは、事象カウントが閾値カウントを上回るかどうかを決定し得る(ステップ1116)。事象カウントが閾値カウント未満である場合、時間窓および事象カウントは、センサデータの新しい組が収集され得るようにリセットされ得る(ステップ1120)。事象カウントが閾値カウントを上回る場合、センサデータの一部または全体は、ユーザが喫煙している確率を検出するように、ジェスチャ分析エンジンに伝送され得る(ステップ1118)。例えば、十分な領域が所定の時間窓(例えば、10分)内で検出されたとき、ユーザデバイスは、センサデータの一部または全て(それがすでに処理したセンサデータを含む)をジェスチャ分析エンジンに伝送し得る。
ジェスチャ分析エンジンは、各吸煙の候補を所定の統計と比較することによって、それを評価し、各吸煙を評定するように構成され得る。例えば、ジェスチャ分析エンジンは、吸煙の信号から情報(例えば、信号が低い時間の長さ等)を抽出し、各値を所定の経験的統計モデルと比較し得る。モデルは、一般的(全ての喫煙者に同一)、または各喫煙者に対して特定的であり得る。次いで、確率は、吸煙の評定に集約される。いくつかの実施形態では、1つ以上の特徴は、候補吸煙の信号から抽出され、吸煙の評定を生成するために機械学習アルゴリズムを使用して処理され得る。機械学習は、教師付き学習、準教師付き学習、または教師なし学習技法を含み得る。
時間窓内の全ての候補吸煙が評定された後、次いで、ジェスチャ分析エンジンは、たばこが吸煙されたかどうかを決定することができる。例えば、ジェスチャ分析エンジンは、ある評定(例えば、50%)を上回る吸煙の回数を数え、吸煙の回数を閾値(例えば、4回の吸煙)と比較し得る。数えられた吸煙の回数が閾値を上回る場合、ジェスチャ分析エンジンは、ユーザが煙草を吸煙していると決定し得る。逆に、数えられた吸煙の回数が閾値未満である場合、ジェスチャ分析エンジンは、ユーザが煙草を吸煙しておらず、ある他のジェスチャを行っている場合があると決定し得る。
いくつかの実施形態では、ジェスチャ分析エンジンは、単一の吸煙を個々に分析する代わりに、煙草全体の信号(例えば、8秒の信号の代わりに10分の信号)を処理するように構成され得る。煙草全体の信号は、例えば、図4に図示され得る。単一の吸煙の信号は、例えば、図8に図示され得る。ジェスチャ分析エンジンは、加速度計および/またはジャイロスコープ信号の所定の時間窓(例えば、煙草を吸煙するために要し得る時間は、約10分であり得る)を分析し、信号に基づいて、ユーザがおそらく煙草を吸煙していることを検出することができる。ジェスチャ分析エンジンは、信号分散が所定の閾値を下回る合計時間を決定するように構成され得る。代替として、ジェスチャ分析エンジンは、信号分散が閾値を下回る時間と、それが閾値を上回る時間との間の関係を決定するように構成され得る。
ジェスチャ分析エンジンが、時間が所定の値を上回ることを決定する場合、システムは、ユーザがおそらく喫煙し得ることを決定し得る。可能な煙草が検出されると、信号全体が、ジェスチャ分析エンジンに伝送されることができる。ジェスチャ分析エンジンは、(各吸煙を別個に処理する代わりに)信号の全てを分析し、可能な煙草を評定し得る。これは、信号を周波数ドメインに変換し、特徴(例えば、特定の周波数におけるエネルギー等)を抽出することによって行われることができる。ジェスチャ分析エンジンはまた、信号、信号電力、および/または信号導関数(変化率)を処理し、そこから特徴を抽出することもできる。次いで、特徴は、可能な煙草を評定するために使用されることができる。煙草が評定されると、ジェスチャ分析エンジンは、評定が所定の閾値(例えば、50%)を上回るかどうかを決定することができる。評定が閾値を上回る場合、煙草は、検出されていることが決定される。煙草が検出されると、ジェスチャ分析エンジンは、第1の吸煙のサンプルに基づいて、他の吸煙を推定しようとし得る。いくつかの実施形態では、ジェスチャ分析エンジンは、ユーザが煙草を吸煙したかどうかを決定するために、吸煙の候補から、ならびに煙草全体から、特徴を抽出するように構成され得る。
いくつかの実施形態では、ジェスチャ分析エンジンは、行動、パターン、目標合致、および他の消費関連アラートの変化についてユーザに警告し、知らせるように構成され得る。例えば、ジェスチャ分析エンジンは、ユーザ行動がユーザの典型的行動または履歴的行動から逸脱するときにアラートを提供し得る。例えば、ジェスチャ分析エンジンは、ユーザが、通常、朝に2本の煙草、夕方に2本の煙草を吸煙することを検出し得る。システムが、ユーザが正午に追加の2本の煙草を吸煙し始めたことを検出すると、システムは、ユーザが追加の煙草を吸煙することを控え得るように、アラートをユーザに送信し得る。
図12は、いくつかのさらなる実施形態による、ユーザが煙草を吸煙している確率を検出する方法1200のフローチャートである。
最初に、センサデータ(例えば、加速度計データ(Acc)およびジャイロスコープデータ(Gyro))が、ウェアラブルデバイスからユーザデバイス、サーバ、および/またはジェスチャ分析エンジンに伝送され得る。センサデータは、1つ以上の無線または有線通信チャネルを介して伝送され得る。無線通信チャネルは、BLE(Bluetooth(登録商標) Low Energy)、WiFi、3G、および/または4Gネットワークを含み得る。
図12に示されるように、センサデータは、アルゴリズムマネージャ(ALGOマネージャ)に伝送され得る。ALGOマネージャは、ウェアラブルデバイス、ユーザデバイス、サーバ、および/またはジェスチャ分析エンジン上に位置するモジュールであり得る。ALGOマネージャは、センサデータの一部を抽出し、抽出された部分をフィルタモジュール(前置フィルタ)に伝送するように構成され得る。前置フィルタは、ウェアラブルデバイス、ユーザデバイス、サーバ、および/またはジェスチャ分析エンジン上に位置し得る。前置フィルタは、センサデータの分析に先立って、フィルタをセンサデータに適用し得る。いくつかの実施形態では、センサデータを分析することは、フィルタをセンサデータに適用することを含み得る。フィルタは、センサデータにおける雑音を低減させるために適用され得る。いくつかの実施形態では、フィルタは、有限インパルス応答(FIR)フィルタまたは無限インパルス応答(IIR)フィルタ等の高次複合フィルタであり得る。例えば、フィルタは、カルマンフィルタまたはパークス・マクレランフィルタであり得る。いくつかの実施形態では、フィルタは、ウェアラブルデバイス上の1つ以上のプロセッサを使用して適用され得る。代替として、フィルタは、ユーザデバイス上の1つ以上のプロセッサを使用して適用され得る。随意に、フィルタは、サーバ上の1つ以上のプロセッサを使用して適用され得る。いくつかの実施形態では、フィルタは、ジェスチャ分析エンジン内の1つ以上のプロセッサを使用して適用され得る。
フィルタ処理されたセンサデータは、(例えば、12秒ブロック内の)事前決定された時間ブロックのバッファリングされたデータとして、ジェスチャ分析エンジンに提供され得る。バッファリングされたデータは、事前決定された時間間隔で(例えば、5秒毎に)ジェスチャ分析エンジンにおいて受信され得る。ジェスチャ分析エンジンは、バッファリングされたブロックから吸煙の確率を検出するように構成され得る。例えば、ジェスチャ分析エンジンは、候補吸煙の信号内の静的領域を検出するように構成され得る。静的領域は、一方または両方の信号が所定のそれぞれの閾値以下である、信号内の領域に対応し得る。これらの領域は、「疑わしい吸煙の領域」に対応し得る。ジェスチャ分析エンジンは、候補吸煙の信号から特徴を抽出し、吸煙の評定を生成するために統計(例えば、多次元分布関数)を使用して特徴を分析するように構成され得る。それぞれの吸煙の評定を伴う候補吸煙は、吸煙の待ち行列に挿入され得る。ジェスチャ分析エンジンは、吸煙の待ち行列の中の吸煙に基づいて、ユーザが喫煙している確率を決定するように構成され得る。加えて、図12の方法は、図10および11で以前に説明されたステップのうちの1つ以上のものを組み込み得る。
(センサデータ管理)
いくつかの実施形態では、センサデータは、ウェアラブルデバイスがユーザデバイスおよび/またはサーバと動作可能に通信していないとき、ウェアラブルデバイス上のメモリに記憶され得る。これらの実施形態では、センサデータは、ユーザデバイスとウェアラブルデバイスとの間の動作可能な通信が再確立されると、ウェアラブルデバイスからユーザデバイスに伝送され得る。代替として、センサデータは、サーバとウェアラブルデバイスとの間の動作可能な通信が再確立されると、ウェアラブルデバイスからサーバに伝送され得る。
いくつかの実施形態では、データ圧縮ステップが、データ伝送に先立ってセンサデータに適用され得る。センサデータの圧縮は、センサデータを伝送するために必要とされる帯域幅を縮小することができ、センサデータの伝送中のウェアラブルデバイスの電力消費量を削減することもできる。いくつかの実施形態では、データ圧縮ステップは、センサデータのサンプル間の差を計算することを含み得る。差は、時間ベース(t)または空間ベース(X、Y、およびZ)であり得る。例えば、現在のデータサンプルおよび以前のデータサンプルの加速度規模に差がない場合、センサデータは、再伝送されない。逆に、現在のデータサンプルおよび以前のデータサンプルの加速度規模に差がある場合、差のみが(例えば、ウェアラブルデバイスからユーザデバイスおよび/またはサーバに)伝送され得る。センサデータは、所定のビット数(例えば、16ビット)を使用して圧縮され得る。例えば、32ビットまたは64ビットセンサデータは、16ビットに圧縮され得る。
センサデータは、事前決定された周波数で収集され得る。いくつかの実施形態では、事前決定された周波数は、ウェアラブルデバイスの電力消費量を最適化および/または削減するように構成され得る。いくつかの実施形態では、事前決定された周波数は、約10Hz~約20Hzに及び得る。いくつかの実施形態では、1つ以上のセンサは、ユーザが喫煙していないことをジェスチャ分析エンジンが決定すると、第1の事前決定された周波数でセンサデータを収集するように構成され得る。1つ以上のセンサは、ユーザが喫煙しているという高い確率をジェスチャ分析エンジンが決定すると、第2の事前決定された周波数でセンサデータを収集するように構成され得る。第2の事前決定された周波数は、第1の事前決定された周波数より高くあり得る。いくつかの実施形態では、1つ以上のセンサは、事前決定された持続時間にわたってセンサデータを収集するように構成され得る。随意に、1つ以上のセンサは、ウェアラブルデバイスの電源がオンにされているとき、リアルタイムで連続的にセンサデータを収集するように構成され得る。
センサデータ収集の頻度は、異なる時刻および/または異なる地理的場所に基づいて調節され得る。例えば、センサデータ収集の頻度は、ユーザが所定のジェスチャを行う確率が事前決定された閾値を上回る時刻および/または地理的場所において増加させられ得る。逆に、センサデータ収集の頻度は、ユーザが所定のジェスチャを行う確率が事前決定された閾値を下回る時刻および/または地理的場所で低減させられ得る。いくつかの実施形態では、ウェアラブルデバイスおよび/またはユーザデバイス内の1つ以上のセンサは、ユーザが異なる時刻および/または異なる地理的場所において所定のジェスチャを行う確率に基づいて、選択的に起動され得る。
いくつかの実施形態では、1つ以上のセンサは、第1のセンサの群と、第2のセンサの群とを備え得る。第1のセンサの群および第2のセンサの群は、ウェアラブルデバイスの電力消費量を削減するために、かつ収集されたセンサデータの量を削減するために、選択的に起動され得る。センサデータの量の削減は、センサデータのより高速の分析/処理を可能にし、センサデータを記憶するために必要とされるメモリの量を削減することができる。
いくつかの実施形態では、第1のセンサの群は、ウェアラブルデバイスの電源がオンにされるときに起動され得る。第1のセンサの群は、ユーザが喫煙している高い確率があるかどうかを決定するために使用され得る。第2のセンサの群は、ユーザが喫煙しているかどうかを決定することに先立って、非アクティブであり得る。第2のセンサの群は、ユーザが喫煙している高い確率があるかどうかに応じて、ウェアラブルデバイスの電源がオンにされているとき、選択的に起動され得る。例えば、第2のセンサの群は、ユーザが喫煙している高い確率があることを決定することに応じて、選択的に起動され得る。第2のセンサの群は、追加のセンサデータを収集するために起動、され、ユーザが喫煙していることを確認し、喫煙を監視し、追加の喫煙関連データを収集し得る。
いくつかの実施形態では、ウェアラブルデバイスは、複数のエネルギーおよび/または性能モードで動作するように構成され得る。モードは、センサのうちのいくつかのみがオンにされる低電力モードを含み得る。ウェアラブルデバイスは、ウェアラブルデバイスが低電力モードであるとき、低い電力消費量を有し得る。より少ない情報(より少ない量のセンサデータ)が、低電力モードでの分析のために利用可能であるので、所定のジェスチャの検出の精度は、ウェアラブルデバイスが低電力モードであるときに低減させられ得る。加えて、モードは、センサの全てがオンにされる精確モードを含み得る。ウェアラブルデバイスは、ウェアラブルデバイスが精確モードであるとき、高い電力消費量を有し得る。より多くの情報(多量のセンサデータ)が、低電力モードでの分析のために利用可能であるので、所定のジェスチャの検出の精度は、ウェアラブルデバイスが精確モードであるときに向上させられ得る。いくつかの実施形態では、センサデータは、ウェアラブルデバイスおよび/またはユーザデバイスがアイドルモードもしくは充電モードであるときに分析されない場合がある。
いくつかの実施形態では、センサデータは、1つ以上のパラメータを含み得る。パラメータは、以下のうちの少なくとも1つを含み得る:1)ユーザが喫煙する手、(2)ユーザのパルスパターン、(3)ユーザの場所、(4)ウェアラブルデバイス識別子およびユーザデバイス識別子(例えば、MSISDNまたはAndroid IDもしくはAdvertiser IDまたはIMEI+macアドレス)、および、(5)ユーザの喫煙統計。1つ以上のパラメータは、ユーザ、ウェアラブルデバイス、および/もしくはユーザデバイスに固有であり得る。いくつかの実施形態では、ユーザの識別が、1つ以上のパラメータに基づいて認証され得る。ユーザの識別は、ウェアラブルデバイスおよび/またはユーザデバイスの悪用を防止するために認証される必要があり得る。
(ユーザインターフェース)
いくつかの実施形態では、ジェスチャ分析エンジンは、ユーザの行動の統計を含む1つ以上のグラフィカルユーザインターフェース(GUI)を生成し得る。GUIは、ユーザデバイス上の表示画面上にレンダリングされ得る。GUIは、ユーザが、テキストベースのインターフェース、タイプされたコマンド標識、またはテキストナビゲーションとは対照的に、二次表記等のグラフィカルアイコンおよび視覚インジケータを通して電子デバイスと相互作用することを可能にするインターフェースのタイプである。GUI内のアクションは、通常、グラフィカル要素の直接操作を通して行われる。コンピュータに加えて、GUIは、MP3プレーヤ、携帯用メディアプレーヤ、ゲームデバイス、ならびにより小型の家庭用、オフィス、および産業機器等のハンドヘルドデバイスで見出されることができる。GUIは、ソフトウェア、ソフトウェアアプリケーション、ウェブブラウザ等の中で提供され得る。GUIは、ユーザデバイス(例えば、図1のユーザデバイス102)上で表示され得る。GUIは、モバイルアプリケーションを通して提供され得る。そのようなGUIの実施例は、図13から19に図示され、以下のように説明される。
図13のウィンドウ1300は、ユーザデバイスがジェスチャ分析エンジンに接続され、データがジェスチャ分析エンジンから取得された後に生成され得る。ウィンドウ1300は、種々の喫煙監視測定基準を描写する例示的ウィンドウであり得る。ある場合、ウィンドウ1300は、アプリケーションを開くとき、またはアプリケーションにログインするとき、ユーザが最初に視認するであろうホームランディングページに対応し得る。ウィンドウ1300は、日別にユーザの喫煙測定基準を示し得る。図13の実施例では、ウィンドウ1300は、前日と比較して0%向上を伴って、ユーザがその日に4本の煙草を吸煙し、煙草に1.30ドルを使い、その日に4本の煙草を吸煙することによって自分の生涯の44分を潜在的に「浪費した」ことを表示し得る。「浪費した」時間量は、いくつかの煙草を吸煙することによる健康への影響を示し得る。
いくつかの実施形態では、ユーザは、1日以内の異なる時間にわたる自分の喫煙パターンを視認し得る。例えば、図14のウィンドウ1400に示されるように、ユーザは、3回の喫煙エピソード(6+1+2本の煙草)にわたって、その日に9本の煙草を吸煙していた。ウィンドウ1400内の円グラフはさらに、その日の合計喫煙から、喫煙の18%が朝に起こり、39%が正午に起こり、23%が夕方に起こり、20%が夜に起こったことを図示する。
いくつかの実施形態では、ユーザは、週別に自分の喫煙測定基準を視認し得る。例えば、ウィンドウ1500に示されるように、棒グラフは、ユーザが日曜日に16本、月曜日に14本、火曜日に19本、水曜日に17本、木曜日に12本、金曜日に15本、および土曜日に14本の煙草を吸煙したことを示す。ユーザは、木曜日に最も少なく喫煙し、火曜日に最も多く喫煙したことが観察され得る。ウィンドウ1500内の円グラフはさらに、喫煙の38%が平日に起こり、62%が週末に起こったことを示す。
いくつかの実施形態では、ユーザは、月別に自分の喫煙測定基準を視認し得る。例えば、ウィンドウ1600に示されるように、棒グラフは、ユーザが、第1週に102本、第2週に115本、第3週に98本、および第4週に104本の煙草を吸煙したことを示す。ユーザは、第3週に最も少なく喫煙し、第2週に最も多く喫煙したことが観察され得る。ウィンドウ1600内の円グラフはさらに、喫煙の12%が朝に起こり、45%が正午に起こり、26%が夕方に起こり、17%が夜に起こったことを示す。
いくつかの実施形態では、ユーザは、アプリケーションの中で目標を設定し得る。例えば、図17のウィンドウ1700に示されるように、ユーザは、1日に14本の煙草に限定する目標を設定し得る。これは、煙草に4.48ドルを使うようにユーザに要求し得る。加えて、14本の煙草を吸煙することは、ユーザの生涯の154分を潜在的に無駄にし得る。
いくつかの実施形態では、ユーザは、他のユーザと比較して自分の喫煙行動を視認し得る。例えば、図18のウィンドウ1800に示されるように、1日に平均14本の煙草および1週間に平均98本の煙草を吸煙することは、ユーザをユーザ群内の第6パーセンタイルに入れ得る。
いくつかの実施形態では、ユーザは、自分の喫煙パターンに関連付けられる種々の測定基準を視認し得る。例えば、図19のウィンドウ1900は、ユーザが合計425本の煙草を吸煙し、煙草に136ドルを使い、1日に平均17本の煙草を吸煙し、喫煙によって自分の生涯の77時間を潜在的に「浪費した」ことを示す。加えて、ウィンドウ1900は、喫煙の18%が家庭で起こり、62%が職場で起こり、20%が他の場所で起こったことを示す。
図13-19のGUIでは、異なる色および陰影が、区画を互いに区別するために使用され得る。種々の測定基準のための数字および言葉は、読み取りやすさを向上させるように、かつ測定基準を互いに区別するように、異なる色ならびに陰影で提供され得る。任意の色彩設計または任意の他の視覚区別方式が、考慮され得る。
いくつかの実施形態では、ユーザは、自分の喫煙測定基準情報を他のユーザまたは連絡先と共有することが可能であり得る。ユーザはまた、喫煙測定基準情報を他のユーザ(例えば、選択されたソーシャルメディア内の連絡先のネットワーク)と共有するために、ウィンドウ内のソーシャルメディアリンクのうちの1つ以上のものを選択し得る。ソーシャルメディアリンクは、FacebookTMおよびTwitterTM等のソーシャルメディアへのリンクを含み得る。
いくつかの実施形態では、ジェスチャ分析エンジンは、複数のウェアラブルデバイスおよび/またはユーザデバイスから、吸煙/煙草の情報を受信するように構成され得る。各ウェアラブルデバイスおよび/またはユーザデバイスは、ユーザ消費データをジェスチャ分析エンジンに接続されたデータベースに提供するデータノードとしての機能を果たし得る。データベースは、ユーザの喫煙データでリアルタイムに更新され得る。ジェスチャ分析エンジンは、消費統計を生成し、喫煙関連社会パターンを決定するように構成され得る。例えば、ジェスチャ分析エンジンは、集約された消費データ(例えば、日/週/月別に吸煙した煙草の総数)の視覚表現を生成することができる。消費データはさらに、各煙草の銘柄の市場シェア、煙草の銘柄別のユーザ性別毎の消費、および消費者選好を含み得る。消費者選好は、煙草の銘柄別の喫煙の時間、喫煙の場所(家/職場/運転/その他)、喫煙頻度(事象毎、時間毎、個人毎)、1人あたりの消費量、および他の製品(コーヒー等)の消費量との喫煙の相関関係を含み得る。ジェスチャ分析エンジンはまた、異なる銘柄、地理、および/または期間の消費パターン(相関関係)を決定するために、消費統計を分析することもできる。ある場合、喫煙行動の複数の入力を有することによって、ジェスチャ分析エンジンは、異なる喫煙者間の相関関係/影響を相互学習および認識することが可能であり得、それは、ユーザならびにそのソーシャルサークル用の禁煙のための最適化された経路を評価することに役立ち得る。例えば、ジェスチャ分析エンジンは、ユーザXがそのソーシャルサークル内のリーダーであることを検出し得、ユーザXによる禁煙は、そのソーシャルサークル内の他者に有意に影響を及ぼし、喫煙行動を変化させ得る。したがって、ジェスチャ分析エンジンは、効果がソーシャルサークルにわたって増殖されることができるように、禁煙を支援するために追加のイニセンティブをユーザXに提供し得る。
前に説明された実施形態のうちの1つ以上のものでは、ジェスチャ分析システムは、動く手の喫煙パターンと喫煙に関連しない他の動きとを区別することが可能である。本明細書に説明されるアルゴリズムは、統計的分析、機械学習、信号処理、パターン認識、および検出理論に部分的に基づき得る。アルゴリズムは、ある喫煙モデルを仮定し、モデルに基づいて煙草を吸煙することを検出しようとし得る。アルゴリズムはまた、各喫煙者のための異なる喫煙モデルを推定し、特定の喫煙者が喫煙していることを検出するためにモデルを使用し得る。
いくつかの実施形態では、ジェスチャ分析システムは、喫煙する複数のユーザによって装着される複数のウェアラブルデバイスからデータを集約することによって、地理的、時間ベース、およびユーザ属性(例えば、年齢、性別、職業等)煙草消費動向を分析することができる。
いくつかの実施形態では、ジェスチャ分析システムは、ほぼリアルタイムの喫煙およびプログラムにおける目的達成の常時監視を使用することによって、認知行動心理に部分的に基づく禁煙プログラムを実装するために使用されることができる。監視システムを使用して、ユーザは、自分が吸煙した各煙草を通知され、彼/彼女の喫煙パターンに関する瞬間通知および彼/彼女の喫煙削減目標に達することにおける進展についての情報を受信することができる。喫煙アラートのリアルタイム生成は、禁煙のために高度に効果的であり得る。
加えて、さらなる分析のために喫煙行動データをサーバに伝送することによって、種々のパターン認識アルゴリズムが、ユーザの喫煙習慣に効果的に影響を及ぼすためにユーザに提供されるべき必要なマイルストーン/イニセンティブを決定するために使用されることができ、それは、ユーザの喫煙行動を変化させ、喫煙によって引き起こされる健康リスクを減少させることに役立ち得る。
本明細書で使用される場合、Aおよび/またはBは、AまたはBのうちの1つ以上のもの、ならびにAおよびB等のその組み合わせを包含する。「第1の」、「第2の」、「第3の」等の用語は、種々の要素、コンポーネント、領域、および/または区分を表すために本明細書で使用され得るが、これらの要素、コンポーネント、領域、および/または区分は、これらの用語によって限定されるべきではないことが理解されるであろう。これらの用語は、単に、1つの要素、コンポーネント、領域、または区分を別の要素、コンポーネント、領域、または区分と区別するために使用される。したがって、以下で議論される第1の要素、コンポーネント、領域、または区分は、本開示の本教示から逸脱することなく、第2の要素、コンポーネント、領域、または区分と称され得る。
本明細書で使用される用語は、特定の実施形態のみを説明する目的のためであり、本開示を限定することを意図していない。本明細書で使用されるように、「a(1つの)」、「an(1つの)」、および「the(前記)」という単数形は、文脈が明確に指示しない限り、複数形も含むことを意図している。「comprise(~を備えている)」および/または「comprises」、もしくは「include(~を含む)」および/または「including」という用語は、本明細書で使用されるとき、記述された特徴、領域、整数、ステップ、動作、要素、および/またはコンポーネントの存在を規定するが、1つ以上の他の特徴、領域、整数、ステップ、動作、要素、コンポーネント、および/またはそれらの群の存在もしくは追加を除外しないことがさらに理解されるであろう。
本開示の好ましい実施形態が、本明細書に示され、説明されているが、そのような実施形態は、一例のみとして提供されることが、当業者に明白となるであろう。ここで、多数の変形例、変更、および代用が、本開示から逸脱することなく当業者に想起されるであろう。本明細書に説明される本開示の実施形態の種々の代替案が、本開示を実践することにおいて採用され得ることを理解されたい。以下の請求項は、本開示の範囲を定義し、それによって、これらの請求項およびそれらの均等物の範囲内の方法ならびに構造が網羅されることが意図される。

Claims (17)

  1. ジェスチャ認識方法であって、前記ジェスチャ認識方法は、
    ウェアラブルデバイス上に位置する複数のセンサを使用して収集されるセンサデータを取得することであって、前記複数のセンサは、1つ以上の慣性センサを含み、前記ウェアラブルデバイスは、ユーザによって装着されるように構成されている、ことと、
    前記センサデータを分析することにより、前記ユーザが所定のジェスチャを行っている確率を決定することであって、前記確率は、(i)前記センサデータにおける1つ以上の運動ベクトルの規模と、(ii)時刻および前記ユーザの地理的場所とに部分的に基づいて決定される、ことと、
    (1)前記センサデータを伝送するために必要とされる帯域幅と、(2)前記センサデータの伝送中の前記ウェアラブルデバイスの電力消費量とのうちの少なくとも1つを低減するために、データ圧縮ステップを前記センサデータに適用することであって、前記データ圧縮ステップは、前記1つ以上の慣性センサの異なる測定軸に沿った前記センサデータのサンプル間の時間ベースの差を計算することを含む、ことと、
    1つ以上の無線または有線通信チャネルを介して、前記センサデータを分析するように構成される(1)ユーザデバイスおよび(2)サーバのうちの少なくとも1つに前記ウェアラブルデバイスから前記センサデータの一部または全体を伝送することと
    を含む、ジェスチャ認識方法。
  2. 前記センサデータは、前記時刻と、前記地理的場所と、以下のパラメータ:(1)前記ユーザが前記ジェスチャを行うために使用するアクティブな手、(2)前記ユーザのパルスパターン、(3)前記ウェアラブルデバイスの1つ以上の識別子、および(4)前記ジェスチャに関する前記ユーザの行動統計のうちの少なくとも1つとを含む、請求項1に記載の方法。
  3. 前記時刻か、前記ユーザの前記地理的場所か、または前記パラメータのうちの1つ以上かに基づいて、前記ユーザの識別を認証することをさらに含む、請求項2に記載の方法。
  4. 前記時刻および前記ユーザの前記地理的場所に対する変化に部分的に基づいて、前記ユーザが前記所定のジェスチャを行っている前記確率を更新することをさらに含む、請求項1に記載の方法。
  5. 前記確率は、異なる時刻および異なる地理的場所に対して異なる態様で更新される、請求項4に記載の方法。
  6. 前記ユーザが前記所定のジェスチャを行っている前記確率が事前決定された閾値を上回っているか下回っているかを決定することをさらに含む、請求項4に記載の方法。
  7. 前記時刻および前記ユーザの前記地理的場所に部分的に基づいて、前記センサデータが収集される周波数を調節することをさらに含む、請求項6に記載の方法。
  8. 前記ユーザが前記所定のジェスチャを行っている前記確率が前記事前決定された閾値を上回る選択された時刻および地理的場所に対して前記センサデータが収集される前記周波数を増加させることをさらに含む、請求項7に記載の方法。
  9. 前記ユーザが前記所定のジェスチャを行っている前記確率が前記事前決定された閾値を下回る選択された時刻および地理的場所に対して前記センサデータが収集される前記周波数を低減させることをさらに含む、請求項7に記載の方法。
  10. 前記時刻および前記地理的場所において前記ユーザが前記所定のジェスチャを行っている前記確率に基づいて、前記複数のセンサのうちの1つ以上のセンサを選択的に起動することをさらに含む、請求項1に記載の方法。
  11. 前記ウェアラブルデバイスが前記ユーザデバイスまたは前記サーバと通信していないときに、前記ウェアラブルデバイス上のメモリに前記センサデータを記憶することをさらに含む、請求項1に記載の方法。
  12. 前記ウェアラブルデバイスと(1)前記ユーザデバイスおよび(2)前記サーバのうちの少なくとも1つとの間の通信が再確立されたときに、前記ウェアラブルデバイスから(1)前記ユーザデバイスおよび(2)前記サーバのうちの少なくとも1つに前記センサデータを伝送することをさらに含む、請求項11に記載の方法。
  13. 前記時間ベースの差は、前記ウェアラブルデバイスから(1)前記ユーザデバイスおよび(2)前記サーバのうちの少なくとも1つに伝送される、請求項1に記載の方法。
  14. 前記データ圧縮ステップは、所定のビット数または低減させられたビット数を使用することを含む、請求項1に記載の方法。
  15. 前記センサデータを分析することは、フィルタを前記センサデータに適用することを含み、前記フィルタは、有限インパルス応答(FIR)フィルタ、無限インパルス応答(IIR)フィルタ、カルマンフィルタ、およびパークス・マクレランフィルタからなる群より選択される、請求項1に記載の方法。
  16. 前記複数のセンサは、磁力計、心拍数モニタ、全地球測位システム(GPS)受信機、気圧計、外部温度センサ、マイクロホン、皮膚温度センサ、容量センサ、電気皮膚反応を検出するように構成されているセンサ、撮像デバイス、近接性センサ、高度センサ、姿勢センサ、湿度センサ、振動センサ、赤外線センサ、または音声センサのうちの1つ以上を含む、請求項1に記載の方法。
  17. ジェスチャ認識を実装するためのシステムであって、前記システムは、
    ウェアラブルデバイス上に位置する複数のセンサを使用して収集されるセンサデータを記憶するためのメモリであって、前記複数のセンサは、1つ以上の慣性センサを含み、前記ウェアラブルデバイスは、ユーザによって装着されるように構成されている、メモリと、
    1つ以上のプロセッサと
    を備え、
    前記1つ以上のプロセッサは、
    前記センサデータを分析することにより、前記ユーザが所定のジェスチャを行っている確率を決定することであって、前記確率は、(i)前記センサデータにおける運動ベクトルの規模と、(ii)時刻および前記ユーザの地理的場所とに部分的に基づいて決定される、ことと、
    (1)前記センサデータを伝送するために必要とされる帯域幅と、(2)前記センサデータの伝送中の前記ウェアラブルデバイスの電力消費量とのうちの少なくとも1つを低減するために、データ圧縮ステップを前記センサデータに適用することであって、前記データ圧縮ステップは、前記1つ以上の慣性センサの異なる測定軸に沿った前記センサデータのサンプル間の時間ベースの差を計算することを含む、ことと、
    1つ以上の無線または有線通信チャネルを介して、前記センサデータを分析するように構成される(1)ユーザデバイスおよび(2)サーバのうちの少なくとも1つに前記ウェアラブルデバイスから前記センサデータの一部または全体を伝送することと
    を実行するように構成される、システム。
JP2022010028A 2014-12-16 2022-01-26 ジェスチャベースの行動を監視し、それに影響を与える方法およびシステム Active JP7336549B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462092283P 2014-12-16 2014-12-16
US62/092,283 2014-12-16
PCT/US2015/065862 WO2016100368A1 (en) 2014-12-16 2015-12-15 Methods and systems for monitoring and influencing gesture-based behaviors
JP2017533492A JP2018506773A (ja) 2014-12-16 2015-12-15 ジェスチャベースの行動を監視し、それに影響を与える方法およびシステム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017533492A Division JP2018506773A (ja) 2014-12-16 2015-12-15 ジェスチャベースの行動を監視し、それに影響を与える方法およびシステム

Publications (2)

Publication Number Publication Date
JP2022058756A true JP2022058756A (ja) 2022-04-12
JP7336549B2 JP7336549B2 (ja) 2023-08-31

Family

ID=56127477

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017533492A Withdrawn JP2018506773A (ja) 2014-12-16 2015-12-15 ジェスチャベースの行動を監視し、それに影響を与える方法およびシステム
JP2022010028A Active JP7336549B2 (ja) 2014-12-16 2022-01-26 ジェスチャベースの行動を監視し、それに影響を与える方法およびシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017533492A Withdrawn JP2018506773A (ja) 2014-12-16 2015-12-15 ジェスチャベースの行動を監視し、それに影響を与える方法およびシステム

Country Status (6)

Country Link
US (5) US10126829B2 (ja)
EP (1) EP3234731B1 (ja)
JP (2) JP2018506773A (ja)
CN (1) CN107250947B (ja)
HK (1) HK1245940A1 (ja)
WO (1) WO2016100368A1 (ja)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
US9552070B2 (en) * 2014-09-23 2017-01-24 Microsoft Technology Licensing, Llc Tracking hand/body pose
EP3234731B1 (en) 2014-12-16 2020-07-01 Somatix Inc. Methods and systems for monitoring and influencing gesture-based behaviors
US10104913B2 (en) 2015-04-22 2018-10-23 Altria Client Services Llc Pod assembly, dispensing body, and E-vapor apparatus including the same
US10064432B2 (en) 2015-04-22 2018-09-04 Altria Client Services Llc Pod assembly, dispensing body, and E-vapor apparatus including the same
USD874720S1 (en) 2015-04-22 2020-02-04 Altria Client Services, Llc Pod for an electronic vaping device
US10687554B2 (en) 2015-04-22 2020-06-23 Altria Client Services Llc Connection device, cartridge and electronic vaping device
USD874059S1 (en) 2015-04-22 2020-01-28 Altria Client Servies Llc Electronic vaping device
USD980507S1 (en) 2015-04-22 2023-03-07 Altria Client Services Llc Electronic vaping device
US10671031B2 (en) 2015-04-22 2020-06-02 Altria Client Services Llc Body gesture control system for button-less vaping
US11103139B2 (en) * 2015-06-14 2021-08-31 Facense Ltd. Detecting fever from video images and a baseline
US11154203B2 (en) * 2015-06-14 2021-10-26 Facense Ltd. Detecting fever from images and temperatures
US10129348B2 (en) * 2015-12-04 2018-11-13 At&T Intellectual Property I, L.P. Method and apparatus for modifying behavior of a user via a network
CN105549408B (zh) * 2015-12-31 2018-12-18 歌尔股份有限公司 可穿戴设备、智能家居服务器及其控制方法和系统
GB2546737A (en) * 2016-01-26 2017-08-02 Univ Bristol Method and device for detecting a smoking gesture
US20230368046A9 (en) * 2016-01-28 2023-11-16 Medtronic Minimed, Inc. Activation of Ancillary Sensor Systems Based on Triggers from a Wearable Gesture Sensing Device
CA3013053A1 (en) 2016-01-28 2017-08-03 Savor Labs, Inc. Method and apparatus for tracking of food intake and other behaviors and providing relevant feedback
KR20180111872A (ko) * 2016-02-12 2018-10-11 에이엘에스 테라피 디벨럽먼트 인스티튜트 동역학 데이터에 기초한 als 진행의 측정
US10255738B1 (en) 2016-07-25 2019-04-09 United Services Automobile Association (Usaa) Authentication based on through-body signals detected in body area networks
WO2020112986A1 (en) * 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
EP3487395A4 (en) 2016-07-25 2020-03-04 CTRL-Labs Corporation METHODS AND APPARATUS FOR PREDICTING MUSCULOSKELETAL POSITION INFORMATION USING PORTABLE SELF-CONTAINED SENSORS
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US11127501B2 (en) 2016-09-02 2021-09-21 Lumme Health, Inc. Systems and methods for health monitoring
US10007948B1 (en) * 2016-12-22 2018-06-26 Capital One Services, Llc Systems and methods for facilitating a transaction relating to newly identified items using augmented reality
EP3562339A4 (en) * 2016-12-27 2020-08-26 Altria Client Services LLC BODY GESTURE CONTROL SYSTEM FOR BUTTONLESS VAPING
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
US11024064B2 (en) 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
US10551935B2 (en) 2017-04-07 2020-02-04 University Of South Carolina Wearable computing device featuring machine-learning-based smoking detection
CN110809804B (zh) 2017-05-08 2023-10-27 梅西莫股份有限公司 使用适配器将医疗系统与网络控制器配对的系统
WO2019028650A1 (zh) * 2017-08-08 2019-02-14 方超 手势采集系统
CN109426827B (zh) * 2017-08-25 2021-05-07 中国科学院计算技术研究所 一种多模态传感器协同感知方法及系统
US11039645B2 (en) * 2017-09-19 2021-06-22 Rai Strategic Holdings, Inc. Differential pressure sensor for an aerosol delivery device
US10928905B2 (en) * 2017-10-09 2021-02-23 TacSense, Inc. Body motion and position sensing, recognition and analytics from an array of wearable pressure sensors
EP3723604A4 (en) * 2017-12-15 2021-04-21 Somatix Inc. SYSTEMS AND PROCEDURES FOR MONITORING THE WELL-BEING OF A USER
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US20210235766A1 (en) * 2018-04-26 2021-08-05 Philip Morris Products S.A. Automatic consumption detection for use in conversion of consumption of aerosol-generating articles
CN110411460B (zh) * 2018-04-27 2021-08-27 高树安弗(杭州)科技有限公司 用于自适应地控制跟踪设备的方法和系统
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
CN112955070A (zh) * 2018-08-17 2021-06-11 Lvl科技股份有限公司 情境饮用检测的系统和方法
EP4241661A1 (en) * 2018-08-31 2023-09-13 Facebook Technologies, LLC Camera-guided interpretation of neuromuscular signals
WO2020061451A1 (en) 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
US10831280B2 (en) * 2018-10-09 2020-11-10 International Business Machines Corporation Augmented reality system for efficient and intuitive document classification
US11367516B2 (en) 2018-10-31 2022-06-21 Medtronic Minimed, Inc. Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system
CN109737957B (zh) * 2019-01-31 2020-11-06 济南大学 一种采用级联FIR滤波的INS/LiDAR组合导航方法及系统
US20200326765A1 (en) * 2019-04-12 2020-10-15 XRSpace CO., LTD. Head mounted display system capable of indicating a tracking unit to track a hand gesture or a hand movement of a user or not, related method and related non-transitory computer readable storage medium
CN110122929B (zh) * 2019-05-17 2021-07-30 南京大学 一种基于惯性传感器的抽烟事件监测系统及监测方法
JP7152357B2 (ja) * 2019-05-24 2022-10-12 株式会社日立製作所 正解データ作成支援システムおよび正解データ作成支援方法
CN110146657A (zh) * 2019-06-10 2019-08-20 中国烟草总公司郑州烟草研究院 一种评价卷烟落头倾向的方法
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
KR20210153695A (ko) 2019-07-26 2021-12-17 구글 엘엘씨 Imu 및 레이더를 통한 인증 관리
CN118444784A (zh) 2019-07-26 2024-08-06 谷歌有限责任公司 基于雷达的姿势识别的情境敏感控制
KR102479012B1 (ko) * 2019-08-30 2022-12-20 구글 엘엘씨 일시정지된 레이더 제스처에 대한 시각적 표시자
EP3936980B1 (en) 2019-08-30 2024-07-10 Google LLC Input methods for mobile devices
US11032409B1 (en) * 2019-09-20 2021-06-08 Yellcast, Inc Methods for geographic gesturing using a mobile device for interactions with nearby other mobile devices
KR20210052874A (ko) 2019-11-01 2021-05-11 삼성전자주식회사 복수의 센서 신호를 이용하여 사용자의 제스처를 인식하는 전자 장치
CN110779148B (zh) * 2019-11-14 2021-05-14 宁波奥克斯电气股份有限公司 一种基于毫米波的空调趣味控制方法、装置及空调器
IT202000001603A1 (it) * 2020-01-28 2021-07-28 St Microelectronics Srl Sistema e metodo di riconoscimento di un gesto di tocco
EP4111413A4 (en) * 2020-02-24 2024-07-17 Agt Int Gmbh TRACKING USER AND OBJECT DYNAMICS USING A COMPUTERIZED DEVICE
US11150737B2 (en) * 2020-03-16 2021-10-19 Facebook Technologies, Llc Apparatus, system, and method for wrist tracking and gesture detection via time of flight sensors
CN112216062B (zh) * 2020-09-11 2022-05-06 深圳市朗尼科智能股份有限公司 社区安全预警方法、装置、计算机设备以及系统
AU2021106501A4 (en) * 2020-10-23 2021-11-04 Elbaware Limited Device, system and method for determining face touching
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN113288122B (zh) * 2021-05-21 2023-12-19 河南理工大学 一种可穿戴坐姿监测装置和坐姿监测方法
CN115240365B (zh) * 2022-07-19 2023-03-10 成都信息工程大学 一种融合多维信息的电力作业人员危险态势动态感知方法
CN116774597B (zh) * 2023-05-05 2024-07-05 杭州手趣科技有限公司 一种基于可穿戴设备的智能家居设备控制方法及系统
CN116649959B (zh) * 2023-05-31 2024-07-12 北京欧应科技有限公司 监测系统、判断佩戴装置定位的方法及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004024551A (ja) * 2002-06-26 2004-01-29 Renesas Technology Corp センサシステム用半導体装置
JP2009187550A (ja) * 2008-02-04 2009-08-20 Gwangju Inst Of Science & Technology 拡張現実におけるハプティックインタラクション方法およびそのシステム
US20110254760A1 (en) * 2010-04-20 2011-10-20 Invensense, Inc. Wireless Motion Processing Sensor Systems Suitable for Mobile and Battery Operation
US20140257533A1 (en) * 2013-03-05 2014-09-11 Microsoft Corporation Automatic exercise segmentation and recognition
US20140288876A1 (en) * 2013-03-15 2014-09-25 Aliphcom Dynamic control of sampling rate of motion to modify power consumption
JP5613314B1 (ja) * 2013-11-14 2014-10-22 Jfeシステムズ株式会社 ジェスチャー検出装置、ジェスチャー検出プログラム、ジェスチャー認識装置およびジェスチャー認識プログラム

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7689437B1 (en) 2000-06-16 2010-03-30 Bodymedia, Inc. System for monitoring health, wellness and fitness
US6605038B1 (en) 2000-06-16 2003-08-12 Bodymedia, Inc. System for monitoring health, wellness and fitness
IL137759A (en) 2000-08-08 2007-07-16 Eddie Karnieli Method for monitoring food intake
JP2004008573A (ja) * 2002-06-07 2004-01-15 Seiko Instruments Inc 遠隔健康診断装置、及びその診断方法、並びに遠隔健康診断プログラム
JP2006026037A (ja) * 2004-07-15 2006-02-02 Hitachi Ltd 健康管理支援システム
CA2599148A1 (en) * 2005-02-22 2006-08-31 Health-Smart Limited Methods and systems for physiological and psycho-physiological monitoring and uses thereof
US7652609B2 (en) * 2005-08-01 2010-01-26 Samsung Electronics Co., Ltd. Apparatus and method for detecting motion with low power consumption in inertia sensor
US7733224B2 (en) 2006-06-30 2010-06-08 Bao Tran Mesh network personal emergency response appliance
CN104537236A (zh) 2005-12-15 2015-04-22 皇家飞利浦电子股份有限公司 改正人的饮食和活动习惯
TWI348639B (en) * 2005-12-16 2011-09-11 Ind Tech Res Inst Motion recognition system and method for controlling electronic device
US8968195B2 (en) 2006-05-12 2015-03-03 Bao Tran Health monitoring appliance
US7558622B2 (en) 2006-05-24 2009-07-07 Bao Tran Mesh network stroke monitoring appliance
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
US8075499B2 (en) * 2007-05-18 2011-12-13 Vaidhi Nathan Abnormal motion detector and monitor
WO2008134313A1 (en) 2007-04-26 2008-11-06 Heather Raymond A method and system for developing or tracking a program for medical treatment
WO2008157622A1 (en) 2007-06-18 2008-12-24 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Method, apparatus and system for food intake and physical activity assessment
JP2009140107A (ja) * 2007-12-04 2009-06-25 Sony Corp 入力装置及び制御システム
US8920345B2 (en) 2008-12-07 2014-12-30 Apdm, Inc. System and apparatus for continuous monitoring of movement disorders
WO2010137325A1 (ja) * 2009-05-27 2010-12-02 パナソニック株式会社 行動認識装置
US20110153360A1 (en) 2009-12-23 2011-06-23 Al Cure Technologies LLC Method and Apparatus for Verification of Clinical Trial Adherence
US20120016641A1 (en) * 2010-07-13 2012-01-19 Giuseppe Raffa Efficient gesture processing
CN102377871B (zh) * 2010-08-24 2013-12-04 联想(北京)有限公司 一种信息处理设备及其控制方法
WO2012135325A2 (en) * 2011-03-29 2012-10-04 Heartmiles, Llc Data collection unit power and noise management
JP5703090B2 (ja) * 2011-03-30 2015-04-15 株式会社日立製作所 健康管理システム
US8543135B2 (en) * 2011-05-12 2013-09-24 Amit Goyal Contextually aware mobile device
US20130194066A1 (en) 2011-06-10 2013-08-01 Aliphcom Motion profile templates and movement languages for wearable devices
US10463300B2 (en) * 2011-09-19 2019-11-05 Dp Technologies, Inc. Body-worn monitor
US20130077820A1 (en) * 2011-09-26 2013-03-28 Microsoft Corporation Machine learning gesture detection
JP5885292B2 (ja) * 2011-11-08 2016-03-15 公立大学法人首都大学東京 行動認識プログラムおよび行動認識用の処理装置
DE112012004767T5 (de) * 2011-11-16 2014-11-06 Flextronics Ap, Llc Vollständiges Fahrzeugökosystem
TW201336474A (zh) * 2011-12-07 2013-09-16 通路實業集團國際公司 行為追蹤及修正系統
US10776103B2 (en) * 2011-12-19 2020-09-15 Majen Tech, LLC System, method, and computer program product for coordination among multiple devices
US9352207B2 (en) * 2012-01-19 2016-05-31 Nike, Inc. Action detection and activity classification
US9389690B2 (en) * 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
GB2502087A (en) * 2012-05-16 2013-11-20 St Microelectronics Res & Dev Gesture recognition
US9254099B2 (en) 2013-05-23 2016-02-09 Medibotics Llc Smart watch and food-imaging member for monitoring food consumption
JP6011127B2 (ja) * 2012-08-06 2016-10-19 富士ゼロックス株式会社 行為検出プログラム及び行為検出装置
JP6222096B2 (ja) * 2012-09-19 2017-11-01 株式会社ニコン 電子機器、及びプログラム
JP6159556B2 (ja) 2012-09-20 2017-07-05 シャープ株式会社 非水系二次電池、並びに非水系二次電池用難燃剤及び添加剤
US9092600B2 (en) * 2012-11-05 2015-07-28 Microsoft Technology Licensing, Llc User authentication on augmented reality display device
US9477313B2 (en) * 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US9081571B2 (en) * 2012-11-29 2015-07-14 Amazon Technologies, Inc. Gesture detection management for an electronic device
US9865176B2 (en) * 2012-12-07 2018-01-09 Koninklijke Philips N.V. Health monitoring system
KR102037416B1 (ko) * 2012-12-17 2019-10-28 삼성전자주식회사 외부 기기 관리 방법, 외부 기기의 동작 방법, 호스트 단말, 관리 서버 및 외부 기기
US20150164377A1 (en) 2013-03-13 2015-06-18 Vaidhi Nathan System and method of body motion analytics recognition and alerting
US9442570B2 (en) * 2013-03-13 2016-09-13 Google Technology Holdings LLC Method and system for gesture recognition
WO2014178763A1 (en) * 2013-04-30 2014-11-06 Sca Hygiene Products Ab Process and arrangement for collecting and storing data related to a condition of an absorbent product
JP2014238812A (ja) * 2013-05-10 2014-12-18 株式会社リコー 情報処理装置、動作特定方法及び動作特定プログラム
US9798860B1 (en) 2013-05-16 2017-10-24 Carepredict, Inc. Methods and systems for remotely determining levels of healthcare interventions
US20140376773A1 (en) * 2013-06-21 2014-12-25 Leap Motion, Inc. Tunable operational parameters in motion-capture and touchless interface operation
US10456622B2 (en) 2013-11-04 2019-10-29 Intel Corporation Detection of biking, walking, and running
IL229369A (en) * 2013-11-11 2017-12-31 Vestigo Tech Ltd Low-bandwidth system and methods for wireless data monitoring for moving devices
US9418342B2 (en) * 2013-12-06 2016-08-16 At&T Intellectual Property I, L.P. Method and apparatus for detecting mode of motion with principal component analysis and hidden markov model
EP2911089B1 (en) * 2014-02-25 2018-04-04 Karlsruher Institut für Technologie Method and system for handwriting and gesture recognition
US20150254992A1 (en) * 2014-03-06 2015-09-10 Maneesh SETHI Memory-enhancing and habit-training methods and devices
US9740396B1 (en) * 2014-06-25 2017-08-22 Amazon Technologies, Inc. Adaptive gesture recognition
US9847012B2 (en) 2014-07-07 2017-12-19 Google Llc Meal-based medication reminder system
US9699859B1 (en) * 2014-08-01 2017-07-04 Moov Inc. Configuration of an automated personal fitness coaching device
EP3234731B1 (en) 2014-12-16 2020-07-01 Somatix Inc. Methods and systems for monitoring and influencing gesture-based behaviors
CA3013053A1 (en) 2016-01-28 2017-08-03 Savor Labs, Inc. Method and apparatus for tracking of food intake and other behaviors and providing relevant feedback
JP6727921B2 (ja) * 2016-05-18 2020-07-22 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理システム、情報処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004024551A (ja) * 2002-06-26 2004-01-29 Renesas Technology Corp センサシステム用半導体装置
JP2009187550A (ja) * 2008-02-04 2009-08-20 Gwangju Inst Of Science & Technology 拡張現実におけるハプティックインタラクション方法およびそのシステム
US20110254760A1 (en) * 2010-04-20 2011-10-20 Invensense, Inc. Wireless Motion Processing Sensor Systems Suitable for Mobile and Battery Operation
US20140257533A1 (en) * 2013-03-05 2014-09-11 Microsoft Corporation Automatic exercise segmentation and recognition
US20140288876A1 (en) * 2013-03-15 2014-09-25 Aliphcom Dynamic control of sampling rate of motion to modify power consumption
JP5613314B1 (ja) * 2013-11-14 2014-10-22 Jfeシステムズ株式会社 ジェスチャー検出装置、ジェスチャー検出プログラム、ジェスチャー認識装置およびジェスチャー認識プログラム

Also Published As

Publication number Publication date
JP2018506773A (ja) 2018-03-08
WO2016100368A1 (en) 2016-06-23
US10126829B2 (en) 2018-11-13
CN107250947B (zh) 2020-07-28
US20170262064A1 (en) 2017-09-14
US20190079593A1 (en) 2019-03-14
JP7336549B2 (ja) 2023-08-31
CN107250947A (zh) 2017-10-13
US20230359282A1 (en) 2023-11-09
EP3234731B1 (en) 2020-07-01
US11550400B2 (en) 2023-01-10
EP3234731A4 (en) 2018-07-18
EP3234731A1 (en) 2017-10-25
US20220155872A1 (en) 2022-05-19
HK1245940A1 (zh) 2018-08-31
US11112874B2 (en) 2021-09-07
US20200225760A1 (en) 2020-07-16
US10474244B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
JP7336549B2 (ja) ジェスチャベースの行動を監視し、それに影響を与える方法およびシステム
US20180056130A1 (en) Providing insights based on health-related information
US20180144101A1 (en) Identifying diagnosis-relevant health information
US20170143246A1 (en) Systems and methods for estimating and predicting emotional states and affects and providing real time feedback
US20180107943A1 (en) Periodic stress tracking
US20180107793A1 (en) Health activity monitoring and work scheduling
US20140085077A1 (en) Sedentary activity management method and apparatus using data from a data-capable band for managing health and wellness
US20120326873A1 (en) Activity attainment method and apparatus for a wellness application using data from a data-capable band
US20120316932A1 (en) Wellness application for data-capable band
US20150137994A1 (en) Data-capable band management in an autonomous advisory application and network communication data environment
US20180060500A1 (en) Smart health activity scheduling
US20130002435A1 (en) Sleep management method and apparatus for a wellness application using data from a data-capable band
WO2017024161A1 (en) Workout pattern detection
CN105996984B (zh) 利用可穿戴电子装置的久坐时间段检测
WO2012170584A1 (en) General health and wellness management method and apparatus for a wellness application using data from a data-capable band
US20160054876A1 (en) Activity insight micro-engine
WO2012170109A1 (en) Wellness application for data-capable band
CA2933179A1 (en) Data-capable band management
AU2016200452A1 (en) Wellness application for data-capable band
AU2012266892A1 (en) Wellness application for data-capable band

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221223

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230322

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230821

R150 Certificate of patent or registration of utility model

Ref document number: 7336549

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150