JP2016534584A - ユーザ活動追跡システム及び装置 - Google Patents

ユーザ活動追跡システム及び装置 Download PDF

Info

Publication number
JP2016534584A
JP2016534584A JP2015563129A JP2015563129A JP2016534584A JP 2016534584 A JP2016534584 A JP 2016534584A JP 2015563129 A JP2015563129 A JP 2015563129A JP 2015563129 A JP2015563129 A JP 2015563129A JP 2016534584 A JP2016534584 A JP 2016534584A
Authority
JP
Japan
Prior art keywords
communication device
mobile communication
activity
sensor signals
computing hardware
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015563129A
Other languages
English (en)
Other versions
JP6110518B2 (ja
Inventor
ペンナネン、ユホ
キュロラ、アーポ
パルタネン、ユッカ
Original Assignee
フェイスブック,インク.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/930,347 external-priority patent/US9125015B2/en
Application filed by フェイスブック,インク. filed Critical フェイスブック,インク.
Publication of JP2016534584A publication Critical patent/JP2016534584A/ja
Application granted granted Critical
Publication of JP6110518B2 publication Critical patent/JP6110518B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/535Tracking the activity of the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • G01S19/14Receivers specially adapted for specific applications
    • G01S19/19Sporting applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70Services for machine-to-machine communication [M2M] or machine type communication [MTC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本開示は、1つ又は複数の運動センサを含むモバイル通信装置の運動を追跡及び記録するシステムを提供する。モバイル通信装置は、センサ信号をシステムに伝達し、センサ信号は、モバイル通信装置がそのユーザによって曝露されている活動と関連付けられた運動を示している。センサ信号は、中間データを生成するべく事前分類され、中間データは、センサ信号と関連付けられた可能性が高い活動の通知を生成するべく1つ又は複数のプロセッサ内において処理され、且つ、センサ信号と関連付けられた活動の分析を提供するべく、通知の集合体が演算される。システムは、センサ信号を分析してセンサ信号を1つ又は複数の時間ゾーンに分類し、且つ、所与の時間ゾーンと関連付けられた最も可能性が高い活動タイプを判定する。最も可能性が高い活動タイプを通知する情報は、モバイル通信装置に送信される。

Description

本開示は、一般に、ユーザ活動の追跡、記録、及び分析に関し、且つ、更に詳しくは、ユーザのモバイル通信装置によって収集されるセンサデータに基づいてユーザ活動を識別するシステム及び関連する方法に関する。更には、本開示の態様は、非一時的機械可読データストレージ媒体上において記録されたソフトウェアプロダクトをも対象としており、このようなソフトウェアプロダクトは、本開示の方法を実装するべく、演算ハードウェア上において実行可能である。
ユーザ活動、特に、スポーツ活動を検知及び追跡する追跡装置が存在している。既知の活動追跡装置の一例は、関連するユーザの「ランニング」活動を追跡及び分析するGPSレシーバを有する装用可能な腕時計装置である。別の例は、ユーザが運動している間にユーザの運動を記録するべく個々の携帯電話機のGPSシステムを利用するモバイルアプリケーションである。別の例は、ユーザが歩いた歩数を収集するべく、靴の内部において使用されるか又はユーザの衣服に装着される歩数計である。但し、既存の追跡装置には、ウォーキング、ランニング、ジョギング、サイクリング、漕艇、自動車の運転、バスによる移動、鉄道による移動、階段のウォーキング、階段のランニング、ジャンプ、水泳、フットボール競技、及びスキーなどのすべてのタイプのユーザ活動を自動的に検知、記録、分析、及び識別するものが存在していない。
現在、スマートフォンは、全地球測位システム(GPS:Global Positioning System)レシーバ、加速度計、及び近接センサなどの益々多くのセンサを装備しており、且つ、スマートフォンユーザは、自身の活動を自動的に記録、検知、分析、及び識別し得るモバイルアプリケーションの入手に興味を見出し得る。但し、活動のタイプの分析を目的としたユーザ運動の自動的な追跡における主要な課題の1つが、活動タイプの分類である。例えば、ウォーキング活動とランニング活動とは、収集されるセンサデータとの関係において、わずかな違いしか有し得ない。更には、同一の活動の場合にも、スマートフォンがユーザによって携行される方式に応じて、センサデータが変化する場合がある。例えば、スマートフォンは、ユーザの掌中において、或いは、ポケット内において、或いは、バックパック内において、ユーザによって携行され得る。
従って、すべての種類のユーザ活動を正確に検知及び分析すると共に既存の活動追跡解決策の制限に対処した活動追跡解決策に対するニーズが存在している。
本開示は、モバイル通信装置の運動を追跡及び記録するシステムと、これを使用する方法と、の提供を目的としている。
一態様においては、本開示の実施形態は、1つ又は複数の運動センサ及び無線インターフェイスを含むモバイル通信装置の運動を追跡及び記録するシステムを提供している。システムは、モバイル通信装置と通信する通信ネットワークと、モバイル通信装置から動作の際に供給されるデータを処理する演算ハードウェアと、を含む。モバイル通信装置は、例えば、センサデータの形態のセンサ信号をシステムに伝達し、センサ信号は、モバイル通信装置がそのユーザによって取り組まれている活動と関連付けられた運動を示している。
特定の実施形態においては、演算ハードウェアは、センサ信号を分析してセンサ信号を1つ又は複数の時間ゾーンに分類すると共にそれぞれの所与の時間ゾーン内の信号を分析して所与の時間ゾーンと関連付けられた1つ又は複数の最も可能性が高い活動タイプを判定するソフトウェアプロダクトを実行する。演算ハードウェアは、時間ゾーンと関連付けられた最も可能性が高い活動タイプを通知する情報をモバイル通信装置に対して更に送信する。次いで、モバイル通信装置は、時間ゾーンと関連付けられた最も可能性が高い活動タイプを通知する情報が正しい分析を表しているかどうかに関する確認を提供するようにモバイル通信装置のユーザに要求し、且つ、次いで、センサ信号の精度を改善するために、センサ信号の分析を実行するソフトウェアプロダクト内において利用されているパラメータ及び/又はアルゴリズムを修正するべく確認を演算ハードウェアに伝達して戻している。
特定の実施形態においては、演算ハードウェアは、センサ信号を分析してセンサ信号を事前分類し、中間データを生成するソフトウェアプロダクトを実行している。その後に、中間データは、センサ信号と関連付けられた可能性が高い活動の通知を生成するべく1つ又は複数のプロセッサ内において処理されている。演算ハードウェアは、センサ信号と関連付けられた1つ又は複数の活動の分析を提供するべく通知の集合体を更に演算し、且つ、次いで、最も可能性が高い活動タイプを通知する情報をモバイル通信装置に対して送信している。
プロセッサは、実質的に並行してセンサ信号を処理するように構成されており、プロセッサは、相互に、プロセッサにより特定されている活動に対応した信号の特性の識別を特徴とする。
システムは、モバイル通信装置が経験した活動の時間ログを生成し、且つ、活動をタイムラインフォーマットでユーザのグラフィカルユーザインターフェイス上において提示する。
モバイル通信装置は、ラップトップなどの携帯型コンピュータ、スマートフォン、手首装用型電話機、ファブレット、携帯電話機、タブレットコンピュータ、携帯型メディア装置、又はユーザによって装用可能であると共にデータの処理及び表示の能力を有する任意のその他の演算装置のうちの少なくとも1つにより、実装されている。更には、モバイル通信装置の1つ又は複数のセンサは、ジャイロスコープ角度センサ、加速度計、GPS位置センサ、セルラー測位センサ、磁力計、マイクロフォン、カメラ、温度センサのうちの少なくとも1つを使用することにより、実装されている。セルラー測位センサという用語は、セルラーネットワークと関係した情報並びに無線基地局及びその信号に関係した情報を使用することにより、モバイル通信装置の場所及び運動の判定を導出/分析/計測してもよいことを意味し得る。
ソフトウェアプロダクトは、演算ハードウェア上において実行される際に、センサ信号に含まれている情報の分析のために、ニューラルネットワーク、決定フォレスト、及びサポートベクトル機械などの教師付き又は半教師付き分類アルゴリズムを実装するように動作可能である。入力として、教師付き又は半教師付き分類アルゴリズムは、例えば、1つ又は複数のセンサ信号に含まれている情報の周波数成分の振幅を使用することが可能であり、且つ、分類アルゴリズムの出力は、センサ信号を条件とした異なる活動の推定確率である。
別の態様においては、モバイル通信装置は、モバイルソフトウェアアプリケーションを実行するデータプロセッサを含み、モバイルソフトウェアアプリケーションは、実行される際に、モバイル通信装置のグラフィカルユーザインターフェイスにタイムラインの形態で演算ハードウェアから提供された分析済みの活動結果を提示させるように動作可能であり、異なる分析済みの活動は、タイムラインとの関係において相互に異なるシンボルによって表されている。
更に別の態様においては、本開示の実施形態は、モバイル通信装置の運動を追跡及び記録するシステムを使用する方法を提供している。
更に別の態様においては、本開示の実施形態は、ユーザの運動を追跡及び記録するシステムを実装するモバイル通信装置を提供している。
更に別の態様においては、本開示の実施形態は、ソフトウェアプロダクトが、モバイル通信装置の運動を追跡及び記録するシステムを使用する方法を実装するべく演算ハードウェア上において実行可能となるように、非一時的機械可読データストレージ媒体上において記録されたソフトウェアプロダクトを提供している。ソフトウェアプロダクトは、ソフトウェアアプリケーションストアからモバイル通信装置にダウンロード可能である。
本開示の実施形態は、ユーザのモバイル通信装置の1つ又は複数のセンサから収集されたデータを分析することにより、すべてのタイプのユーザ活動を検知、分析、及び識別している。センサデータは、分類アルゴリズムの独立的なインスタンスの組によって処理されており、且つ、それぞれのインスタンスは、任意選択により、特定のタイプの活動を識別することを特徴とする。分類アルゴリズムインスタンスの組の出力を集計及び分析することにより、モバイル通信装置と関連付けられた最も可能性が高いユーザ活動を生成している。識別された活動は、タイムラインフォーマットでモバイル通信装置のグラフィカルユーザインターフェイス上において表示される。ユーザが識別された活動に不同意/同意した場合に、ユーザは、自身のフィードバックを提供してもよく、且つ、フィードバックは、次回の活動の分析及び識別を改善するべく使用されてもよい。従って、ユーザ活動の分析及び識別の精度が時間に伴って最適化される。
或いは、この代わりに、本開示の実施形態は、ユーザのモバイル通信装置の1つ又は複数のセンサから収集されたデータを分析することにより、ユーザ活動を正確に検知、分析、及び識別している。センサデータは、並列プロセッサの組によって処理されており、並列プロセッサは、分類アルゴリズムの並列インスタンスであり、且つ、それぞれのプロセッサは、任意選択により、特定のタイプの活動を識別することを特徴とする。並列プロセッサの組の出力を集計及び分析することにより、モバイル通信装置と関連付けられた最も可能性が高いユーザ活動を生成する。次いで、識別された活動は、タイムラインフォーマットでモバイル通信装置のグラフィカルユーザインターフェイス上において表示される。本開示においては、並列プロセッサとは、ソフトウェアの一部分が異なる中央処理装置(即ち、マイクロプロセッサ)及び/又は分類アルゴリズムの並列インスタンス内において、即ち、並列ソフトウェアプロセスにおいて、実行される実装アーキテクチャを意味し得る。並列とは、実質的に同時に実行される計算プロセスを意味し得るが、このような方法に限定されるものではない。インスタンスの実行は、順番に発生することも可能であり、或いは、実質的に同時に実行されるいくつかのプロセス及び順番に実行されるいくつかのプロセスの組合せとして、発生することもできる。
本開示の更なる態様、利点、特徴、及び目的については、添付の請求項との関連において解釈される例示用の実施形態の図面及び詳細な説明から明らかとなろう。
本発明の特徴は、添付の請求項によって定義されている本発明の範囲を逸脱することなしに、様々な組合せにおいて組み合わせられ得ることを理解されたい。
本発明による実施形態は、具体的には、方法、ストレージ媒体、及びシステムを対象とした添付の請求項において開示されており、例えば、方法などの1つの請求項カテゴリにおいて言及されている任意の特徴は、例えば、システムなどの別の請求項カテゴリにおいても同様に特許請求され得る。添付の請求項における従属関係又は後方参照は、形式的な理由にのみ起因して選択されたものである。但し、請求項及びその特徴の任意の組合せが開示されると共に添付の請求項において選択された従属関係とは無関係に特許請求され得るように、任意の先行する請求項に対する意図的な後方参照(特に、複数従属関係)から結果的に得られる任意の主題も同様に特許請求され得る。
本発明による一実施形態においては、1つ又は複数の運動センサ及び無線インターフェイスを含む少なくとも1つのモバイル通信装置の運動を追跡及び記録するシステムを使用する方法であって、この場合に、システムは、少なくとも1つのモバイル通信装置と通信する通信ネットワークと、少なくとも1つのモバイル通信装置から動作の際に供給されるデータを処理する演算ハードウェアと、を含み、方法は、
1つ又は複数のセンサ信号をシステムに伝達するように少なくとも1つのモバイル通信装置を動作させるステップであって、1つ又は複数のセンサ信号は、少なくとも1つのモバイル通信装置がそのユーザによって取り組まれている活動と関連付けられた運動を通知している、ステップと、
1つ又は複数のセンサ信号を分析する1つ又は複数のソフトウェアプロダクトを実行するようにシステムの演算ハードウェアを動作させるステップであって、演算ハードウェアは、1つ又は複数のセンサ信号を事前分類して中間データを生成するように動作可能であり、且つ、中間データは、その後に、1つ又は複数のセンサ信号と関連付けられた可能性の高い活動の1つ又は複数の通知を生成するべく1つ又は複数のプロセッサ内において処理されており、且つ、演算ハードウェアは、1つ又は複数の信号と関連付けられた1つ又は複数の活動の分析を提供するべく1つ又は複数の通知の集合体を演算するように動作可能である、ステップと、
1つ又は複数の最も可能性が高い活動タイプを通知する情報を少なくとも1つのモバイル通信装置に対して送信するように演算ハードウェアを動作させるステップと、
を含むことを特徴とする。
本発明による更なる実施形態においては、方法は、方法が、
1つ又は複数のセンサ信号を分析してセンサ信号を1つ又は複数の時間ゾーン内に分類すると共にそれぞれの所与の時間ゾーン内の1つ又は複数のセンサ信号を分析して所与の時間ゾーンと関連付けられた最も可能性が高い活動タイプを判定する1つ又は複数のソフトウェアプロダクトを実行するようにシステムの演算ハードウェアを動作させるステップと、
1つ又は複数の時間ゾーンと関連付けられた1つ又は複数の最も可能性が高い活動タイプを通知する情報を少なくとも1つのモバイル通信装置に対して送信するように演算ハードウェアを動作させるステップと、
1つ又は複数の時間ゾーンと関連付けられた1つ又は複数の最も可能性が高い活動タイプを通知する情報が正しい分析を表しているかどうかの確認を提供するようにそのユーザに要求し、且つ、センサ信号の精度を改善するために、1つ又は複数のセンサ信号の分析を実行する1つ又は複数のソフトウェアプロダクトにおいて利用されているパラメータ及び/又はアルゴリズムを修正するべく確認を演算ハードウェアに伝達して戻すように、少なくとも1つのモバイル通信装置を動作させるステップと、
を含むことによって特徴付けられ得る。
本発明の更なる実施形態においては、方法が、実質的に並行して1つ又は複数のセンサ信号を処理するように1つ又は複数のプロセッサを構成するステップを有するという点において方法は特徴付けることが可能であり、1つ又は複数のプロセッサは、相互に、1つ又は複数のプロセッサにより特定されている1つ又は複数の活動に対応した1つ又は複数の信号の特性の識別を特徴とする。
本発明による更なる実施形態においては、方法は、方法が、少なくとも1つのモバイル通信装置が経験した活動の時間ログを生成するようにシステムを動作させるステップを含むという点において特徴付けられ得る。
本発明の更なる実施形態においては、方法は、方法が、パーソナルコンピュータ、携帯型メディア装置、スマートフォン、手首装用型電話機、ファブレット、携帯電話機、タブレットコンピュータのうちの少なくとも1つにより、少なくとも1つのモバイル通信装置を実装するステップを含むという点において特徴けられ得る。
本発明による更なる実施形態においては、方法が、ジャイロスコープ角度センサ、加速度計、GPS位置センサ、セルラー位置センサ、磁力計、マイクロフォン、カメラ、温度センサのうちの少なくとも1つを使用することにより、少なくとも1つのモバイル通信装置の1つ又は複数のセンサを実装するステップを含むという点において方法は特徴付けられ得る。
本発明による更なる実施形態においては、方法は、1つ又は複数のソフトウェアプロダクトが、演算装置上において実行される際に、
1つ又は複数のセンサ信号に含まれている情報の教師付き又は半教師付き分類分析、及び
1つ又は複数のセンサ信号に含まれている情報の発見的分析、
のうちの少なくとも1つを実装するように動作可能であるという点において特徴付けられ得る。
本発明による更なる実施形態においては、方法は、教師付き又は半教師付き分類分析が入力として1つ又は複数のセンサ信号に含まれている情報の周波数成分の振幅を使用することが可能であり、且つ、分類アルゴリズムの出力が、センサ信号を条件とした異なる活動の推定確率であるという点において特徴付けられ得る。
本発明による更なる実施形態においては、方法は、データプロセッサであって、少なくとも1つのモバイルソフトウェアアプリケーションを実行するデータプロセッサを含むように少なくとも1つのモバイル通信装置を構成するステップを含むという点において特徴付けることが可能であり、少なくとも1つのモバイルソフトウェアアプリケーションは、少なくとも1つのモバイル通信装置のグラフィカルユーザインターフェイスに少なくとも1つのタイムラインの形態で演算ハードウェアから提供された分析済みの活動結果を提示させるように動作可能であり、異なる分析済みの活動は、少なくとも1つのタイムラインとの関係において複数の相互に異なる信号によって表されている。
同様に特許請求され得る本発明による更なる実施形態においては、1つ又は複数の運動センサ及び無線インターフェイスを含む少なくとも1つのモバイル通信装置の運動を追跡及び記録するシステムであって、この場合に、システムは、少なくとも1つのモバイル通信装置と通信する通信ネットワークと、少なくとも1つのモバイル通信装置から動作の際に供給されるデータを処理する演算ハードウェアと、を含み、システムは、
少なくとも1つのモバイル通信装置は、1つ又は複数のセンサ信号をシステムに対して伝達するように動作可能であり、1つ又は複数のセンサ信号は、少なくとも1つのモバイル通信装置がそのユーザによって取り組まれた活動と関連付けられた運動を通知しており、
システムの演算ハードウェアは、1つ又は複数のセンサ信号を分析する1つ又は複数のソフトウェアプロダクトを実行するように動作可能であり、演算ハードウェアは、1つ又は複数のセンサ信号を事前分類して中間データを生成するように動作可能であり、且つ、中間データは、その後に、1つ又は複数のセンサ信号と関連付けられた可能性が高い活動の1つ又は複数の通知を生成するべく1つ又は複数のプロセッサにおいて処理され、且つ、演算ハードウェアは、1つ又は複数の信号と関連付けられた1つ又は複数の活動の分析を提供するべく1つ又は複数の通知の集合体を演算するように動作可能であり、且つ、
演算ハードウェアは、1つ又は複数の最も可能性が高い活動タイプを通知する情報を少なくとも1つのモバイル通信装置に対して送信するように動作可能であるという点において特徴付けられ得る。
本発明による更なる実施形態においては、システムは、
システムの演算ハードウェアが、1つ又は複数のセンサ信号を分析してセンサ信号を1つ又は複数の時間ゾーン内に分類すると共にそれぞれの所与の時間ゾーン内の1つ又は複数のセンサ信号を分析して所与の時間ゾーンと関連付けられた最も可能性が高い活動タイプを判定する1つ又は複数のソフトウェアプロダクトを実行するように動作可能であり、
演算ハードウェアは、1つ又は複数の時間ゾーンと関連付けられた1つ又は複数の最も可能性が高い活動タイプを通知する情報を少なくとも1つのモバイル通信装置に送信するように動作可能であり、
少なくとも1つのモバイル通信装置は、1つ又は複数の時間ゾーンと関連付けられた1つ又は複数の最も可能性が高い活動タイプを通知する情報が正しい分析を表しているかどうかの確認を提供するように少なくとも1つのモバイル通信装置のユーザに要求し、且つ、センサ信号の精度を改善するために、1つ又は複数のセンサ信号の分析を実行する1つ又は複数のソフトウェアプロダクトにおいて利用されているパラメータ及び/又はアルゴリズムを修正するべく確認を演算ハードウェアに伝達して戻すように動作可能であるという点において更に特徴付けられ得る。
本発明による更なる実施形態においては、システムは、1つ又は複数のプロセッサが、実質的に並行して1つ又は複数のセンサ信号を処理するように構成されているという点において更に特徴付けることが可能であり、1つ又は複数のプロセッサは、相互に、1つ又は複数のプロセッサが専用化されている1つ又は複数の活動に対応した1つ又は複数の信号の特性の識別を専門としている。
本発明による更なる実施形態においては、システムは、少なくとも1つのモバイル通信装置が経験した活動の時間ログを生成するように動作可能であるという点において更に特徴付けられ得る。
本発明による更なる実施形態においては、システムは、少なくとも1つのモバイル通信装置が、パーソナルコンピュータ、携帯型メディア装置、スマートフォン、手首装用型電話機、ファブレット、携帯電話機、タブレットコンピュータのうちの少なくとも1つにより実装されるという点において更に特徴付けられ得る。
本発明による更なる実施形態においては、システムは、少なくとも1つのモバイル通信装置の1つ又は複数のセンサが、ジャイロスコープ角度センサ、加速度計、GPS位置センサ、セルラー測位センサ、磁力計、マイクロフォン、カメラ、温度センサのうちの少なくとも1つを使用することにより、実装されているという点において更に特徴付けられ得る。
本発明による更なる実施形態においては、システムは、1つ又は複数のソフトウェアプロダクトが、演算ハードウェア上において実行される際に、
1つ又は複数のセンサ信号に含まれている情報の教師付き又は半教師付き分類分析、及び
1つ又は複数のセンサ信号に含まれている情報の発見的分析、
のうちの少なくとも1つを実装するように動作可能であるという点において更に特徴付けられ得る。
本発明による更なる実施形態においては、システムは、教師付き又は半教師付き分類アルゴリズムは、1つ又は複数のセンサ信号に含まれている情報の周波数成分の振幅を入力として使用することが可能であり、且つ、分類アルゴリズムの出力は、センサ信号を条件とした異なる活動の推定確率であるという点において更に特徴付けられ得る。
本発明による更なる実施形態においては、システムは、少なくとも1つのモバイル通信装置が、データプロセッサであって、少なくとも1つのモバイルソフトウェアアプリケーションを実行するデータプロセッサを含み、少なくとも1つのモバイルソフトウェアアプリケーションは、少なくとも1つのモバイル通信装置のグラフィカルユーザインターフェイスに少なくとも1つのタイムラインの形態で演算ハードウェアから提供された分析済みの活動結果を提示させるように動作可能であり、異なる分析済みの活動は、少なくとも1つのタイムラインとの関係において複数の相互に異なるシンボルによって表されているという点において更に特徴付けられ得る。
同様に特許請求され得る本発明の更なる実施形態においては、非一時的機械可読データストレージ媒体上に記憶されているソフトウェアプロダクトは、ソフトウェアプロダクトが、本発明による方法又は上述の実施形態のいずれかを実装するべくモバイル通信装置の演算ハードウェア上において実行可能であるという点において特徴付けられ得る。
本発明の更なる実施形態においては、ソフトウェアプロダクトは、ソフトウェアプロダクトが、ソフトウェアアプリケーションストアからモバイル通信装置にダウンロード可能であるという点において特徴付けられ得る。
同様に特許請求され得る本発明による更なる実施形態は、本発明によるシステム又は上述の実施形態のいずれかを実装する際に使用されるモバイル通信装置であってもよい。
本発明による更なる実施形態は、上述のシステム内において実装されるように構成されると共に上述の方法を実行するために使用されるモバイル通信装置であってもよい。
本発明による更なる実施形態においては、1つ又は複数の非一時的コンピュータ可読ストレージ媒体は、実行される際に本発明による方法又は上述の実施形態のいずれかを実行するように動作可能であるソフトウェアを実装している。
本発明による更なる実施形態においては、1つ又は複数の運動センサ及び無線インターフェイスを含む少なくとも1つのモバイル通信装置の運動を追跡及び記録するシステムであって、システムは、少なくとも1つのモバイル通信装置と通信する通信ネットワークと、少なくとも1つのモバイル通信装置から動作の際に供給されるデータを処理する演算ハードウェアと、を含み、システムは、1つ又は複数のプロセッサと、プロセッサに結合されると共にプロセッサによって実行可能な命令を有する少なくとも1つのメモリと、を有し、プロセッサは、命令を実行した際に本発明による方法又は上述の実施形態のいずれかを実行するように動作可能である。
上述の概要並びに例示用の実施形態に関する以下の詳細な説明は、添付図面との関連において参照された際に十分に理解することができよう。本開示の例示を目的として、添付図面には、本開示の例示用の構造が示されている。但し、本発明は、本明細書に開示されている特定の方法及び手段に限定されるものではない。更には、当業者は、添付図面の縮尺が正確ではないことを理解するであろう。可能な場合には常に、同一の要素が同一の符号によって示されている。
本開示の様々な実装形態を実施するのに適したシステムの概略アーキテクチャの説明図。 本開示による図1のモバイル通信装置と演算ハードウェアの間における情報交換の説明図。 本開示によるモバイル通信装置のグラフィカルユーザインターフェイス(GUI:graphical user interface)の説明図。 本開示によるモバイル通信装置のGUIの代替レイアウトの説明図。 本開示によるモバイル通信装置のユーザの活動を判定する方法のステップの説明図。 本開示によるモバイル通信装置の運動を追跡及び記録するシステムを使用するステップの説明図。 本開示によるモバイル通信装置のGUIの説明図。 本開示による活動分析システムの説明図。 本開示のモバイル通信装置のセンサ及び測位データに基づいてユーザのサイクリング活動を識別する方法ステップの説明図。 本開示によるモバイル通信装置の運動を追跡及び記録するシステムを使用するステップの説明図。
以下の詳細な説明は、本開示の実施形態と、これを実装し得る方法と、を示している。本発明を実施する最良の形態が開示されているが、当業者は、本発明を実行又は実施するその他の実施形態も可能であることを認識するであろう。
本開示は、1つ又は複数の運動センサと、無線インターフェイスと、を含むモバイル通信装置の運動を追跡及び記録するシステムを提供している。システムは、モバイル通信装置と通信する通信ネットワークと、モバイル通信装置から動作の際に供給されるデータを処理する演算ハードウェアと、を含む。モバイル通信装置は、1つ又は複数のセンサ信号をシステムに伝達しており、センサ信号は、モバイル通信装置がそのユーザによって取り組まれている(exposed)活動と関連付けられた運動を示している。
演算ハードウェアは、センサ信号を分析してセンサ信号を1つ又は複数の時間ゾーンに分類すると共にそれぞれの所与の時間ゾーン内の信号を分析して所与の時間ゾーンと関連付けられた最も可能性が高い活動タイプを判定する1つ又は複数のソフトウェアプロダクトを実行する。演算ハードウェアは、時間ゾーンと関連付けられた最も可能性が高い活動タイプを通知する情報をモバイル通信装置に対して更に送信する。次いで、モバイル通信装置は、時間ゾーンと関連付けられた最も可能性が高い活動タイプを通知する情報が正しい分析を表しているかどうかの確認を提供するようにそのユーザに要求し、且つ、次いで、センサ信号の精度を改善するために、センサ信号の分析を実行するソフトウェアプロダクトにおいて利用されているパラメータ及び/又はアルゴリズムを修正するべく、確認を演算ハードウェアに伝達して戻している。
演算ハードウェアは、センサ信号を分析してセンサ信号を事前分類し、中間データを生成する1つ又は複数のソフトウェアプロダクトを実行し、且つ、中間データは、その後に、センサ信号と関連付けられた可能性が高い活動の1つ又は複数の通知を生成するべく、1つ又は複数のプロセッサにおいて処理されている。演算ハードウェアは、センサ信号と関連付けられた1つ又は複数の活動の分析を提供するべく通知の集合体を更に演算し、且つ、最も可能性が高い活動タイプを通知する情報をモバイル通信装置に送信している。
以下、具体的にその参照符号によって添付図面を参照すれば、図1は、本開示の様々な実装形態を実施するのに適したシステム100の概略アーキテクチャの図である。
システム100は、モバイル通信装置102と、通信ネットワーク106により、モバイル通信装置102に通信状態において結合されたサーバシステム104と、を含む。モバイル通信装置102は、ユーザのハンドヘルド型装置(handheld device)であり、モバイル通信装置102の例は、限定を伴うことなしに、スマートフォン、手首装用型電話機、ファブレット、携帯電話機、アンドロイド(Android)、ウィンドウズ(Windows)、及びiOSなどのオペレーティングシステムを実行するタブレットコンピュータを含む。サーバシステム104は、モバイル通信装置102から動作の際に供給されるデータを処理する1つ又は複数のソフトウェアプロダクトを実行する演算ハードウェアを含む。サーバシステム104は、クラウドサービスとして、或いは、単一のサイトにおいて又は複数の相互に空間点に分散されたサイトにおいて配置された専用のサーバとして、構成され得る。更には、通信ネットワーク106の例は、限定を伴うことなしに、電話ネットワーク及びWIFIネットワークを含む。
モバイル通信装置102は、対応するユーザが装置102を携行しつつ1つ又は複数の活動を実行した際に、モバイル通信装置102の位置、運動、加速度、及び/又は環境を判定するべく、1つ又は複数のセンサ108及び1つ又は複数の測位システム110を含む。このような1つ又は複数の活動の例は、限定を伴うことなしに、ウォーキング、ランニング、ジョギング、サイクリング、漕艇、自動車の運転、バスによる移動、鉄道による移動、階段のウォーキング、階段のランニング、ジャンプ、水泳、フットボール競技、及びスキーを含む。センサ108の例は、デカルト座標系のxyz方向におけるモバイル通信装置102の加速度を計測するように構成されたモーションセンサ(motion sensor)を含む。センサ108の更なる例は、ジャイロスコープ角度センサ、磁力計、マイクロフォン、カメラ、及び温度センサを含む。測位システム110は、GPS測位システム、セルラーネットワークのセルタワー情報、屋内測位システム、WIFIフィンガプリンティング(fingerprinting)、及び近接WiFiネットワークのうちの少なくとも1つを実装することにより、モバイル通信装置102の位置を判定するように構成されている。本発明の一実施形態においては、モバイル通信装置102は、センサ108及び測位システム110によって収集された情報を通信ネットワーク106を介してサーバシステム104に定期的に送信してもよい。
サーバシステム104は、受信モジュール112と、第1処理モジュール114と、第2処理モジュール116と、出力モジュール118と、を含む。受信モジュール112は、センサ及び測位データをモバイル通信装置102から受け取る。第1処理モジュール114は、センサ108から収集されたセンサデータを分析するべく第1プロセスを実行し、且つ、第2処理モジュール116は、測位システム110から収集された測位データを分析するべく第2プロセスを実行する。本開示の一実施形態においては、第1及び第2プロセスは、互いに通信してもよいと共に、更には、分析を目的としてデータを交換してもよい並行プロセスである。センサデータに基づいて、第1処理モジュール114は、ユーザの活動タイプを生成し、且つ、測位データに基づいて、第2処理モジュール116は、活動に関係した位置及び運動情報を生成する。出力モジュール118は、活動の活動タイプ情報及び運動/場所情報を処理してユーザの活動の概要/スケジュールを生成する。次いで、出力モジュール118は、活動の概要を通信ネットワーク106上においてモバイル通信装置102に送信する。
モバイル通信装置102は、モバイルソフトウェアアプリケーションを実行するデータプロセッサ(図示せず)を含み、モバイルソフトウェアアプリケーションは、実行される際に、モバイル通信装置のグラフィカルユーザインターフェイス(GUI)にタイムラインの形態でサーバシステム104から提供された活動の概要を提示させるように動作可能である。ユーザは、活動の概要に関する自身の肯定的/否定的フィードバックをサーバシステム104に送信してもよく、且つ、サーバシステム104は、その活動分析を改善するべく、フィードバックを受信、保存、及び実装してもよい。
本発明の一実施形態においては、サーバシステム104におけるステップ/分析の一部分又はすべては、モバイル通信装置102内において利用可能な演算リソースに基づいてモバイル通信装置102内において実装されてもよい。
図1は、一例に過ぎず、これは、添付の請求項の範囲を過度に限定するものではない。当業者は、本明細書の実施形態の多くの変形、代替肢、及び変更を認識するであろう。
図2は、本開示に従って、モバイル通信装置202のユーザの活動を追跡及び分析するためのモバイル通信装置202とサーバシステム204の間における情報交換の説明図である。モバイル通信装置202及びサーバ204は、それぞれ、モバイル通信装置102及びサーバシステム104の例であり、且つ、図1との関連において説明済みである。ステップ206aが、モバイル通信装置202において発生しており、対応するセンサ及び測位システムは、対応するユーザが活動を実行した際に、センサ及び測位データを計測する。ステップ206bは、ユーザ活動の分析のためのモバイル通信装置202からサーバシステム204へのセンサ及び測位データの転送を表している。一実施形態においては、モバイル通信装置202は、センサ及び測位データを連続的に又はバッファされたフォーマットにおいて送信してもよい。別の実施形態においては、モバイル通信装置202は、センサ及び測位データを未加工フォーマットでサーバシステム204に送信してもよい。更に別の実施形態においては、モバイル通信装置202は、サーバシステム204に送信する前に、センサ及び測位データを処理してもよい。ステップ206cが、サーバシステム204において発生しており、サーバシステム204は、装置202から受け取ったセンサ及び測位データを分析している。本発明の一実施形態においては、サーバシステム204は、教師付き分類及び/又はその他の機械学習アルゴリズムに基づいて分析を実行してもよく、且つ、ユーザの活動の概要を形成してもよい。ステップ206dは、サーバシステム204からモバイル通信装置202への活動の概要の伝達を表している。ステップ206eが、モバイル通信装置202において発生しており、活動の概要が、モバイル通信装置202のグラフィカルユーザインターフェイス(GUI)上において表示されている。ステップ206fは、活動の概要に関するサーバシステム204へのユーザの肯定的/否定的フィードバックの転送を表している。最後に、ステップ206gは、活動の更に正確な概要を将来において提供するべく、機械学習アルゴリズム用のパラメータの変更及び/又はトレーニングデータの選択によるサーバシステム204によるフィードバックの実装を表している。活動監視のための機械学習アルゴリズムの例は、限定を伴うことなしに、ニューラルネットワーク(neural network)、決定フォレスト(decision forest)、及びサポートベクトル機械(support vector machine)などの教師付き又は半教師付き分類アルゴリズム(supervised or semisupervised classification algorithm)を含む。フィードバックは、機械学習アルゴリズムに対する入力として提供されており、且つ、機械学習アルゴリズム用のパラメータを変更すると共にトレーニングデータを選択するべく、使用される。
図2は、一例に過ぎず、これは、添付の請求項の範囲を過度に限定するものではない。当業者は、本明細書の実施形態の多くの変形形態、代替形態、及び変更形態を認識するであろう。
図3は、本開示によるモバイル通信装置200のグラフィカルユーザインターフェイス(GUI)302の図であり、且つ、図2との関連において説明済みである。
GUI302は、(ステップ206dにおいてサーバシステム204から受け取った)ユーザの活動の概要をタイムラインフォーマットで表示している。例示用の実施形態においては、GUI302は、ユーザが、レストラン、カフェテリア、及び自宅を順番に訪問したことを通知する3つの場所シンボル、即ち、レストランシンボル304、カフェテリアシンボル306、及び自宅シンボル308により、ユーザの場所を表示している。グラフィカルシンボル304、306、及び308によって表されている場所は、モバイル通信装置202のGPSシステム、セルラーネットワークのセルタワー情報、屋内測位システム、近接WiFi、及びWifiフィンガプリンティングに基づいて識別される。GUI302は、ユーザによって実行される活動を個々のグラフィカルシンボルによって更に表示している。一例においては、ユーザがレストランからカフェテリアまで歩いたことを通知するべく、「ウォーキング」活動シンボル310がレストラン304とカフェテリア306の間に表示されている。更には、ユーザがカフェテリアから自宅までサイクリングしたことを通知するべく、「サイクリング」活動シンボル312がカフェテリア306と自宅308の間に表示されている。
ストーリーラインディスプレイ302は、タッチスクリーンディスプレイであってもよく、且つ、ユーザが「サイクリング」活動シンボル312などの活動通知シンボル又はシンボル312の上方のライン又は近傍のエリアをタッチ又はポイントした際に、ポップアップメニュー314が提示されるように構成されてもよい。ポップアップメニュー314は、ユーザが活動を変更できるようにするテキストフィールド316と、ユーザが活動に関するグラフィカルシンボルを変更できるようにするシンボルフィールド318と、を含む。同様に、ユーザが「レストラン」シンボル304などの場所シンボル又はシンボル304の上方のライン又はその近傍のエリアをタッチ又はポイントした際には、場所を変更するべく、ポップアップメニュー(図示せず)が提示されてもよい。ユーザによる場所/活動シンボルの変更は、フィードバックとしてサーバシステム204に伝達される(ステップ206f)。
図3は、一例に過ぎず、これは、添付の請求項の範囲を過度に限定するものではない。当業者は、本明細書の実施形態の多くの変形形態、代替形態、及び変更形態を認識するであろう。
図4は、モバイル通信装置400のグラフィカルユーザインターフェイス(GUI)402の図であり、これは、モバイル通信装置200の一例であり、且つ、図2及び図3との関連において説明済みである。GUI402は、GUI302の代替レイアウトである。GUI402は、1つ又は複数の活動の開始及び終了時刻に基づいて、以下において集合的に活動ゾーン406と呼称されている、「活動」ゾーン/期間406a、406b、406c、406d、及び406eに分割されたタイムライン404を表示している。それぞれの活動ゾーン406は、活動と、その活動の対応する場所と、を示している。更には、それぞれの活動ゾーン406は、対応する活動のグラフィカルシンボル408又はテキスト記述410によって示されてもよい。
例示用の実施形態においては、タイムライン404は、13:00pmにおいて、ユーザの「サイクリング」活動が終了し、且つ、ユーザが17:10pmまで「仕事場」において留まり、17:10pmにおいて、ユーザが、自宅に向かって「ウォーキング」活動を開始し、17:30pmにおいて、ユーザが自宅に到着し、且つ、18:30pmまで自宅に滞在し、18:30pmにおいて、ユーザが「運転」活動を開始したことを示している。
図4は、一例に過ぎず、これは、添付の請求項の範囲を過度に限定するものではない。当業者は、本明細書の実施形態の多くの変形形態、代替形態、及び変更形態を認識するであろう。
図5は、本開示によるモバイル通信装置500のユーザの活動を判定する方法のステップの図である。ユーザ活動は、モバイル通信装置500によって動作の際に生成されるセンサ及び測位データ及び注釈付きセンサデータ・データベース502から供給を受ける分析論理モジュール(図示せず)によって判定される。分析論理モジュールは、注釈付きセンサデータ・データベース502に対して通信自在に結合されている。本発明の一実施形態においては、分析論理モジュール及び注釈付きデータ・データベース502は、リモートサーバシステムの内部に存在してもよい。本発明の別の実施形態においては、分析論理モジュール及び注釈付きセンサデータ・データベース502は、モバイル通信装置500自体の内部に存在してもよい。
ステップ504において、分析論理モジュールは、モバイル通信装置500のセンサ及び測位システムからユーザのセンサ及び測位データを受け取っている。ステップ506において、分析論理モジュールは、センサ及び測位データをタイムラインフォーマットで注釈付きセンサデータ・データベース502内において保存しており、即ち、センサ及び測位データには、収集されたデータ項目のうちのそれぞれ又はいくつかの項目の時刻及び日付を記録するべく、タイムスタンプが付与されている。注釈付きセンサデータ・データベース502は、対応する事前識別された活動に関するユーザフィードバックからの情報によって注釈が付与された状態で、モバイル通信装置500から受け取ったセンサ及び測位データを含む。
ステップ508において、分析論理モジュールは、注釈付きセンサデータ・データベース502内に保存されているデータを使用してトレーニングされた様々なタイプの機械学習アルゴリズムを使用することにより、タイムラインを分析し、且つ、1つ又は複数の活動期間を線引きし、且つ、それぞれの活動期間においてユーザ活動を認識している。活動を正確に識別するべく、分析論理モジュールは、ユーザのタイプ、モバイル装置のタイプ、ユーザグループのタイプ、モバイル装置グループのタイプ、及び人口統計要因などに基づいて注釈付きセンサ及び測位データを分類することにより、環境及びユーザの個々の特性を考慮してもよい。例えば、長距離ランニングを特定するアクティブなアスリートのモバイル通信装置500の加速度計によって検知される加速度データは、たまにしかランニングしないカジュアルなランナーにおいて検知される加速度データとは異なり得る。アクティブなアスリートは、カジュアルなランナーと比べて、頻度の相対的に小さな変動を有する相対的に予測可能な歩みの間の頻度を伴う相対的に長い歩幅を有し得る。従って、類似の検知データの場合に、ユーザグループのタイプに基づいて、活動タイプが異なる場合がある。更には、いくつかのモバイル通信装置が、その他のものよりも高い精度を有する場合があり、従って、類似の検知データの場合に、モバイル通信装置のタイプに基づいて、活動タイプが異なる場合がある。人口統計的分類とは、同一の活動におけるセンサデータが人ごとに変化し得ることに伴うその性別、年齢、生活の場所などに基づいたユーザのセグメント化を意味し得る。分析論理モジュールは、分類されたセンサデータを更に重み付けしてユーザ固有の特徴を考慮してもよく、即ち、データは、すべてのユーザからの平均データと、使用履歴に基づいた特定のユーザからのユーザ固有の要素と、から構成される重み付けされた要素を有し得るであろう。
ステップ510において、分析論理モジュールは、分類されたセンサデータを使用してユーザ活動のタイムラインを生成してもよく、且つ、タイムラインをモバイル通信装置500に伝達してもよい。モバイル通信装置500は、装置500のユーザインターフェイス上においてタイムラインを表示してもよい。ステップ512において、分析論理モジュールは、モバイル通信装置500から、タイムライン内の1つ又は複数のユーザ活動を訂正する提案を受け取ってもよい。ユーザ活動を訂正する提案は、機械学習アルゴリズムのトレーニングのために注釈付きセンサデータ・データベース502に提供されてもよい。
ステップ514において、モバイル通信装置500は、ユーザインターフェイス分析を使用することにより、提案されたタイムラインがユーザによって観察されたかどうかを監視してもよい。ユーザが、提案されたタイムラインを観察しているが、タイムラインのいずれの活動においても、なんらの訂正をも提供していない場合には、いずれのフィードバックも、肯定的フィードバックとして見なされず、且つ、注釈付きセンサデータ・データベース502内において更新されず、1つ又は複数の活動の分析は、正しく、且つ、アルゴリズム用のトレーニングデータとして使用されてもよい。更には、ユーザが特定の日のストーリーライン/タイムラインを観察しており、且つ、訂正を実施している場合には、ストーリーラインにおいてユーザが変更しなかった認識済みの活動は、恐らくは、正しいものとして見なされ、且つ、アルゴリズム用のトレーニングデータとして使用されてもよいと結論付けることができる。更には、ユーザがストーリーライン内において変更した認識済みの活動は、恐らくは、正しくないものと結論付けることもできる。ユーザによって特定の活動に対して実施された訂正の量は、その活動との関係における認識精度の尺度として使用することができる。注釈付きセンサデータ・データベース502内において、センサデータには、対応する提案された活動に対するユーザフィードバックに関する情報を含む注釈に基づいて、ラベル付与の特定の信頼性により、ラベル付与されてもよい。
本発明の一実施形態においては、分析論理モジュールは、センサ及び測位データに基づいてユーザ活動を判定する第1機械学習アルゴリズムを実装してもよく、且つ、第2機械学習アルゴリズムを新たに導入してもよい。但し、第2アルゴリズムに基づいて分析されたデータが、第1アルゴリズムによって分析されたデータよりも正確である場合には、第2アルゴリズムは、第1アルゴリズムよりも優先順位が高いアルゴリズムであると判定されてもよい。この特徴によれば、異なるセットアップを試験することが可能であり、且つ、機械学習アルゴリズムの能力に関する「投票」を取得することができる。
ステップ504〜514は、例示を目的としたものに過ぎず、且つ、添付の請求項の範囲を逸脱することなしに、1つ又は複数のステップが追加されるか、1つ又は複数のステップが除去されるか、或いは、1つ又は複数のステップが異なるシーケンスにおいて提供されるその他の代替肢も提供され得ることに留意されたい。
図6は、本開示によるモバイル通信装置102の運動を追跡及び記録するシステム100を使用するステップの説明図であり、且つ、図1及び図2との関連において説明済みである。方法は、論理フロー図においてステップの集合体として示されており、これは、ハードウェア、ソフトウェア、又はこれらの組合せにおいて実装され得る一連のステップを表している。
ステップ602において、モバイル通信装置102は、1つ又は複数のセンサ信号をサーバシステム104に伝達するように動作可能であり、センサ信号は、モバイル通信装置102がそのユーザによって取り組まれている活動と関連付けられた運動を示している。センサ信号は、モバイル通信装置102の1つ又は複数のセンサの出力である。
ステップ604において、サーバシステム104の演算ハードウェアは、センサ信号を分析してセンサ信号を活動ゾーンと呼称される1つ又は複数の時間ゾーンに分類すると共にそれぞれの活動ゾーン内のセンサ信号を分析して活動ゾーンと関連付けられた最も可能性が高い活動タイプを判定する1つ又は複数のソフトウェアプロダクトを実行するように動作可能である。
ステップ606において、演算ハードウェアは、1つ又は複数の活動ゾーンと関連付けられた1つ又は複数の最も可能性が高い活動タイプを通知する情報をモバイル通信装置102に送信するように動作している。
ステップ608において、モバイル通信装置102は、最も可能性が高い活動タイプを通知する情報が正しい分析を表しているかどうかの確認を提供するようにそのユーザに要求し、且つ、センサ信号の精度を改善するために、センサ信号の分析を実行するソフトウェアプロダクトにおいて利用されているパラメータ及び/又はアルゴリズムを修正するべく確認を演算ハードウェアに伝達して戻すように動作可能である。
ここで、ステップ602〜608は、例示を目的としたものに過ぎず、且つ、添付の請求項の範囲を逸脱することなしに、1つ又は複数のステップが追加されるか、1つ又は複数のステップが除去されるか、或いは、1つ又は複数のステップが異なるシーケンスにおいて提供されるその他の代替肢も提供され得ることに留意されたい。
図7は、モバイル通信装置700のグラフィカルユーザインターフェイス(GUI)702の説明図であり、これは、モバイル通信装置102の一例であり、且つ、図1との関連において説明済みである。図7に示されている実施形態は、図4に示されている実施形態に類似している。GUI702は、1つ又は複数の活動の開始及び終了時刻に基づいて、以下において活動ゾーン706と集合的に呼称される「活動」ゾーン/期間706a、706b、706c、706d、及び706eに分割されたタイムライン704を表示している。それぞれの活動ゾーン706は、活動と、その活動の対応する場所と、を示している。更には、それぞれの活動ゾーン706は、対応する活動のグラフィカルシンボル708又はテキスト記述710により、示されてもよい。
例示用の一実施形態においては、タイムライン704は、時点13:00pmにおいて、ユーザの「サイクリング」活動が終了し、且つ、ユーザが、時点17:10pmまで「仕事場」において留まり、時点17:10pmにおいて、ユーザが自宅に向かって「ウォーキング」活動を開始し、時点17:30pmにおいて、ユーザが自宅に到着し、且つ、時点18:30pmまで自宅に滞在し、時点18:30pmにおいて、ユーザが「運転」活動を開始したことを示している。
図7は、一例に過ぎず、これは、添付の請求項の範囲を過度に限定するものではない。当業者は、本明細書の実施形態の多くの変形形態、代替形態、及び変更形態を認識することになろう。
図8は、本開示による図1との関連において説明した活動分析システム800の説明図である。活動分析システム800は、対応するモバイル通信装置のセンサ及び測位データ、並びに、ユーザの履歴、プロファイル、人口統計、及び活動タイプに基づいてユーザ活動を識別する。
本発明の一実施形態においては、活動分析システム800は、リモートサーバシステム104の内部に存在してもよい。本発明の別の実施形態においては、活動分析システム800は、少なくとも部分的に、モバイル通信装置102自体の内部において存在してもよい。
活動分析システム800は、受信モジュール802と、事前処理モジュール804と、事前分類モジュール806と、以下において分類器ノード808と呼称される第1〜第n分類器ノード808a〜808nと、活動判定モジュール810と、出力モジュール812と、を含む。受信モジュール802は、未加工データを、即ち、未処理のデータを、モバイル通信装置102のセンサ108及び測位システム110から収集する。事前処理モジュール804は、受信モジュール802によって収集された未加工データを事前処理する。データを事前処理する例は、限定を伴うことなしに、データのフィルタリング、高速フーリエ変換(FFT)を使用した時間から周波数へのドメイン変換などのドメイン遷移の実行、データの分類、データの平均化及びデータの合成、ユーザ活動の様々なタイプを表す1つ又は複数の事前判定されたデータセットに伴う相関の実行を含む。
事前分類モジュール806は、事前処理されたデータを事前処理モジュール804から受け取り、且つ、これを1つ又は複数の広いカテゴリに事前分類する。例えば、モバイル通信装置102のモーションセンサから受け取ったセンサデータは、低速の運動、即ち、階段のウォーキング及びランニングと、高速の運動、即ち、ランニング及びサイクリングを弁別し、且つ、運動のデータを「低速の運動」及び「高速の運動」などの広いカテゴリに分類するべく、既定の速度値と比較される。一実施形態においては、事前分類モジュール806は、事前処理されたデータを事前分類する規則セット及び/又は事前定義された決定論的アルゴリズム(predefined deterministic algorithms)を含む。
それぞれの分類器ノード808は、予め定義された活動に対応したセンサデータの特徴の識別を特徴とするプロセッサを含む。例えば、第1分類器ノードN1 808aは、「サイクリング」活動に関するセンサデータの特性の識別を専門としてもよく、第2分類器ノードN2 808bは、「ウォーキング」活動の識別を専門としてもよく、第3分類器ノードN3 808cは、「ランニング」活動の識別を専門としてもよく、以下同様である。
分類器ノード808は、事前分類されたデータを実質的に並行して処理するように構成されており、それぞれの分類器ノード808は、事前分類されたデータ用の対応する事前定義された活動の尤度を生成する。例示用の実施形態においては、ユーザが「サイクリング」活動を実行した際に、「サイクリング」活動の識別に専用化された第1分類器ノードN1 808aは、確率値「1」を生成してもよく、第2分類器ノードN2 808bは、確率値「0.3」を生成してもよく、且つ、第3分類器ノードN3 808cは、確率値「0.8」を生成してもよい。
活動判定モジュール810は、受信モジュール802によって収集されたセンサ及び測位データに対応する「活動タイプ」を判定するべく、分類器ノード808によって生成された確率値を集計してもよい。分類器ノード808の確率の集計に加えて、活動判定モジュール810は、「活動タイプ」を判定するべく、遷移ウィンドウなどの決定論的規則を利用してもよい。遷移ウィンドウは、活動を過度に頻繁に切り替えないように、活動に対する慣性を設定してもよい。例えば、活動タイプが「サイクリング」から「ウォーキング」に変化し、次いで、非常に高速で「サイクリング」に変化して戻る確率は高くない。遷移ウィンドウなどの決定論的規則は、隠れマルコフモデル(HMM:Hidden Markov Model)などのモデル又はHMMに基づいた更に複雑なモデルを使用することにより、実装されてもよい。
出力モジュール812は、活動判定モジュール810によって判定された1つ又は複数の「活動タイプ」をモバイル通信装置102に提供する。一実施形態においては、出力モジュール812は、判定された活動タイプをタイムラインフォーマットでモバイル通信装置102のグラフィカルユーザインターフェイス(GUI)上において表示してもよい。
図8は、一例に過ぎず、これは、添付の請求項の範囲を過度に限定するものではない。当業者は、本明細書の実施形態の多くの変形形態、代替形態、及び変更形態を認識するであろう。
図9は、本開示の一実施形態による対応するモバイル通信装置のセンサ及び測位データに基づいてユーザの「サイクリング」活動を識別する方法のステップの図である。
本発明の一実施形態においては、ユーザの「サイクリング」活動を識別する方法のステップは、図8の活動分析システム800によって実行されてもよい。活動分析システム800は、リモートサーバシステム104の内部に存在してもよく、或いは、少なくとも部分的に、ユーザ自身のモバイル通信装置102の内部に存在してもよい。
ステップ900において、加速度データの組がモバイル通信装置102の加速度計センサから受け取られている。加速度データの組は、未加工フォーマットを有する、即ち、未処理の状態にあり、且つ、加速度計センサにより、30秒ごとに収集されてもよい。例示用の一実施形態においては、加速度データの組は、3秒の持続時間を有し、且つ、1/20秒ごとに収集された加速度サンプルを含む。従って、それぞれの3秒のデータセットは、合計で60個の加速度サンプルを含み、且つ、それぞれの加速度サンプルは、モバイル通信装置102によって方向付けられた座標系のx、y、及びz方向におけるモバイル通信装置102の加速度を含む。従って、それぞれの加速度サンプルは、3つの値を含み、且つ、3つの第2データセットは、合計で180(3×60)個の値を含む。
ステップ901において、場所データの組がモバイル通信装置102の測位システムから受け取られている。測位データは、タイムスタンプ、場所座標、及びモバイル場所サービスからの推定された水平方向精度を含んでもよい。例示用の一実施形態においては、場所データは、数秒から数分の範囲のインターバルで受け取られている。
ステップ902において、加速度データの組が重力変換を実行されており、それぞれの加速度サンプルごとに、新しい変換済みのサンプルが算出され、この場合に、対応するz成分は、加速度ベクトルの平均値に沿って方向付けされている。別の実施形態においては、加速度データの組は、主成分分析(PCA:Principal Component Analysis)変換を実行されてもよく、この場合には、それぞれの加速度サンプルごとに、新しい変換済みのサンプルが算出され、対応するz成分は、同一の状態に留まるが、対応するx及びy成分は、x及びy成分しか含まれていない際には、それらの成分が加速度サンプルの主成分に沿って方向付けされるように、変換される。
ステップ904において、場所データが事前処理されてもよく、この場合に、データの事前処理の例は、限定を伴うことなしに、データのフィルタリング、高速フーリエ変換(FFT)を使用した時間から周波数へのドメイン変換などのドメイン遷移の実行、データの分類、データの平均化、データに基づいた1つ又は複数の相関の実行、及びデータの合成を含む。ステップ906において、事前処理された場所データに基づいて、モバイル通信装置102の概略速度が推定されてもよい。例えば、概略速度は、連続的な場所座標の間の距離と連続的な場所座標の間の時間差に基づいて推定されてもよい。
ステップ908において、センサ及び場所データの1つ又は複数の特徴が、変換済みの加速度サンプル及び推定された概略速度に基づいて推定されており、それぞれの「特徴」は、数値を有する。特徴の例は、変換済みの加速度サンプルの(x,y,z)成分や加速度サンプルのx、y、又はz成分のフーリエ変換されたバージョンの成分などのそれぞれの成分ごとの平均、分散、最小値、及び最大値を含む。
ステップ908において取得されたデータに対応するユーザ活動は、第1分類器を使用したステップ910における第1分類に基づいて、且つ、第2分類器を使用したステップ912における第2分類に基づいて、認識されてもよい。一実施形態においては、第1及び第2分類器は、図8の分類器ノード808に類似したものであってもよい。本明細書においては、2つの分類器が示されているが、ユーザ活動を認識するべく2つを上回る数の分類器が使用され得ることが当業者には明らかであろう。
第1及び第2分類器は、分類のために、ステップ910及び912において、ニューラルネットワーク、決定フォレスト、又はサポートベクトル機械などの標準的な教師付き分類アルゴリズムを使用している。第1分類器は、「サイクリング」又は「非サイクリング」として分類されたトレーニングサンプルを有する大きなトレーニングデータセットに基づいてトレーニングされた2値分類器であり、且つ、ステップ908において取得されたデータサンプル用の活動ラベル「サイクリング」又は「非サイクリング」を生成する。第2分類器は、相対的に正確にラベル付与されたデータの相対的に小さな組に基づいてトレーニングされたマルチクラス分類器であり、且つ、ステップ908において取得されたデータサンプル用の「サイクリング」、「ランニング」、「自動車」、「鉄道」、「ウォーキング」、及び「その他」のうちの1つの活動ラベルを生成する。
一実施形態においては、ユーザ活動は、第1及び第2分類器の両方が、ステップ908において取得されたデータサンプル用の活動レベルを「サイクリング」として生成した場合に、「サイクリング」として認識される。別の実施形態においては、ユーザ活動は、第1分類器が活動ラベルを「非サイクリング」として生成した際に、第2分類器によって生成される活動ラベルに基づいて認識される。更に別の実施形態においては、ユーザ活動は、第1分類器が活動ラベルを「非サイクリング」として生成し、且つ、第2分類器が「サイクリング」として活動ラベルを生成した際に、「その他」として認識される。更に別の実施形態においては、第1分類器は、ユーザ活動が「非サイクリング」である確率を生成してもよい。「非サイクリング」の確率が高い際には、「サイクリング」を活動として通知するもう1つの分類器の結果は、省略され得るであろう。
ステップ913において、ユーザの歩数が算出されており、且つ、ステップ914において、メタ分類器(meta-classifier)は、歩数データ並びに第1及び第2分類器によって生成されたデータを利用し、ステップ910及び912において識別された活動を合成して1つ又は複数の活動期間を形成している。一実施形態においては、加速度サンプルのうちの第1のサンプル及び最後のサンプルが所与の活動によってラベル付与されるように、N個の連続的な加速度サンプルが存在しており、且つ、大部分(又は、その少なくともx%)がその活動に属している際に、N個の連続的なサンプルの期間全体が、活動期間として識別されている。
ステップ916において、1つ又は複数の活動期間は、場所データ及びベイズの「対話型複数モデル(interactive multiple models)」スムージングアルゴリズム(smoothing algorithm)に基づいて個々の場所と関連付けられてもよい。ステップ918において、モバイル通信装置102が静止状態にあり、且つ、その内部において活動が実行されていない際に、場所データに基づいて1つ又は複数の静止セグメントが認識されてもよい。
ステップ920において、処理済みの場所及び加速度データに基づいて、最終的な活動の発見的方法型の分析(final activity heuristics-type analysis)が実行されている。発見的方法は、規則であり、且つ、規則の一例は、ステップ918において認識される静止セグメントが、x秒よりも短い認識された活動なしの期間を有しており、且つ、隣接した活動期間が、y秒を上回る持続時間を有している場合に、静止セグメントは、隣接した1つ又は複数の活動というラベルをその静止セグメントに付与している活動期間により、置換されるというものである。例えば、10分のサイクリング活動において、ユーザが、その間に、1分間にわたって停止したと思われる場合には、1分の静止セグメントが無視され、且つ、10分間の全体がサイクリング活動と関連付けられる。更には、10分間の期間内において、連続的なサイクリング活動及び輸送活動が存在しており、且つ、その間に、少なくともn分間の停止が存在しておらず、且つ、ウォーキング活動が存在していない場合には、10分間の期間全体が、その時間の大部分において発生した活動によってラベル付与される。但し、輸送活動とサイクリング活動の間に少なくとも1つの検出されたウォーキングサンプルが存在している場合には、サイクリング活動と輸送(transport)活動は、2つの異なる活動期間を形成することになる。
ステップ922において、距離及び歩幅計算が実行されており、且つ、ステップ924において、ステップ920において認識されたユーザ活動の精度を最適化するべく、場所マッチングが実行されている。最後に、ステップ926において、様々なユーザ活動を含むストーリーラインがタイムラインフォーマットで生成されている。
図9は、一例に過ぎず、これは、添付の請求項の範囲を過度に限定するものではない。当業者は、本明細書の実施形態の多くの変形形態、代替形態、及び変更形態を認識するであろう。
図10は、本開示によるモバイル通信装置102の運動を追跡及び記録するシステム100を使用するステップの説明図であり、且つ、図1及び図2との関連において説明済みである。方法は、論理フロー図においてステップの集合体として示されており、これは、ハードウェア、ソフトウェア、又はこれらの組合せにおいて実装され得る一連のステップを表している。
ステップ1002において、モバイル通信装置102は、1つ又は複数のセンサ信号又はこれらに対応したセンサデータをサーバシステム104に伝達するように動作可能であり、センサ信号は、モバイル通信装置102がそのユーザによって取り組まれている活動と関連付けられた運動を通知している。センサ信号又は対応するセンサデータは、モバイル通信装置102の1つ又は複数のセンサの出力である。
ステップ1004において、サーバシステム104の演算ハードウェアは、センサ信号及び対応するセンサデータを分析する1つ又は複数のソフトウェアプロダクトを実行するように動作可能であり、演算ハードウェアは、センサ信号を事前分類して中間データを生成するように動作可能であり、且つ、中間データは、その後に、センサ信号と関連付けられた可能性が高い活動の1つ又は複数の通知を生成するべく1つ又は複数のプロセッサ内において処理される。演算ハードウェアは、1つ又は複数の通知の集合体を演算してセンサ信号と関連付けられた活動の分析を提供するように更に動作可能である。
ステップ1006において、演算ハードウェアは、1つ又は複数の時間ゾーンと関連付けられた最も可能性が高い活動タイプを通知する情報をモバイル通信装置102に送信するように動作可能である。
ステップ1002〜1006は、例示を目的としたものに過ぎず、且つ、添付の請求項の範囲を逸脱することなしに、1つ又は複数のステップが追加されるか、1つ又は複数のステップが除去されるか、或いは、1つ又は複数のステップが異なるシーケンスにおいて提供されるその他の代替形態も提供され得ることに留意されたい。
以上、可能な態様を解明するべく、本発明の実施形態について包括的にかなり詳細に説明したが、当業者は、本発明のその他のバージョンも可能であることを認識するであろう。本発明の実施形態は、刑務所における囚人の監視、老人ホーム、病院における患者の監視、及びこれらに類似した目的のために利用するのに適している。

Claims (34)

  1. 1つ又は複数の運動センサ及び無線インターフェイスを含む少なくとも1つのモバイル通信装置の運動を追跡及び記録するシステムを使用する方法であって、前記システムは、前記少なくとも1つのモバイル通信装置と通信する通信ネットワークと、前記少なくとも1つのモバイル通信装置から動作の際に供給されるデータを処理する演算ハードウェアと、を含む、前記方法において、
    1つ又は複数のセンサ信号を前記システムに伝達するように前記少なくとも1つのモバイル通信装置を動作させるステップであって、前記1つ又は複数のセンサ信号は、前記少なくとも1つのモバイル通信装置がそのユーザによって取り組まれている活動と関連付けられた運動を示している、前記少なくとも1つのモバイル通信装置を動作させるステップと、
    前記1つ又は複数のセンサ信号を分析する1つ又は複数のソフトウェアプロダクトを実行するように前記システムの前記演算ハードウェアを動作させるステップであって、前記演算ハードウェアは、前記1つ又は複数のセンサ信号を事前分類して中間データを生成するように動作可能であり、前記中間データは、その後に、前記1つ又は複数のセンサ信号と関連付けられた可能性が高い活動の1つ又は複数の通知を生成するべく1つ又は複数のプロセッサにより処理され、前記演算ハードウェアは、前記1つ又は複数の通知の集合体を演算して前記1つ又は複数の信号と関連付けられた1つ又は複数の活動の分析を提供するように動作可能である、前記演算ハードウェアを動作させるステップと、
    1つ又は複数の最も可能性が高い活動タイプを通知する情報を前記少なくとも1つのモバイル通信装置に送信するように前記演算ハードウェアを動作させるステップと、
    を備える方法。
  2. 前記1つ又は複数のセンサ信号を分析して前記センサ信号を1つ又は複数の時間ゾーンに分類すると共にそれぞれの所与の時間ゾーン内の前記1つ又は複数のセンサ信号を分析して前記所与の時間ゾーンと関連付けられた最も可能性が高い活動タイプを判定する1つ又は複数のソフトウェアプロダクトを実行するように前記システムの前記演算ハードウェアを動作させるステップと、
    前記1つ又は複数の時間ゾーンと関連付けられた1つ又は複数の最も可能性が高い活動タイプを通知する情報を前記少なくとも1つのモバイル通信装置に送信するように前記演算ハードウェアを動作させるステップと、
    前記1つ又は複数の時間ゾーンと関連付けられた前記1つ又は複数の最も可能性が高い活動タイプを通知する前記情報が正しい分析を表しているかどうかの確認を提供するように前記少なくとも1つのモバイル通信装置のユーザに要求し、且つ、前記センサ信号の精度を改善するために、前記1つ又は複数のセンサ信号の分析を実行する前記1つ又は複数のソフトウェアプロダクトにおいて利用されているパラメータ及びアルゴリズムのうちの少なくとも一方を修正するべく前記確認を前記演算ハードウェアに伝達して戻すように、前記少なくとも1つのモバイル通信装置を動作させるステップと、
    を更に備える請求項1に記載の方法。
  3. 前記1つ又は複数のセンサ信号を実質的に並行して処理するように前記1つ又は複数のプロセッサを構成するステップを備え、
    前記1つ又は複数のプロセッサは、相互に、前記1つ又は複数のプロセッサにより特定されている前記1つ又は複数の活動に対応した前記1つ又は複数の信号の特性を識別するように構成されている、請求項1又は2に記載の方法。
  4. 前記少なくとも1つのモバイル通信装置が経験した活動の時間ログを生成するように前記システムを動作させるステップを備える請求項1〜3のいずれか一項に記載の方法。
  5. パーソナルコンピュータ、携帯型メディア装置、スマートフォン、手首装用型電話機、ファブレット、携帯電話機、タブレットコンピュータのうちの少なくとも1つによって少なくとも1つのモバイル通信装置を実装するステップを備える請求項1〜4のいずれか一項に記載の方法。
  6. ジャイロスコープ角度センサ、加速度計、GPS位置センサ、セルラー位置センサ、磁力計、マイクロフォン、カメラ、温度センサのうちの少なくとも1つを使用して前記少なくとも1つのモバイル通信装置の前記1つ又は複数のセンサを実装するステップを備える請求項1〜5のいずれか一項に記載の方法。
  7. 前記1つ又は複数のソフトウェアプロダクトは、前記演算ハードウェア上において実行される際に、
    前記1つ又は複数のセンサ信号に含まれている情報の教師付き又は半教師付き分類分析、及び
    前記1つ又は複数のセンサ信号に含まれている情報の発見的分析、
    のうちの少なくとも1つを実装するように動作可能である請求項1〜6のいずれか一項に記載の方法。
  8. 前記教師付き又は半教師付き分類アルゴリズムは、前記1つ又は複数のセンサ信号に含まれている前記情報の周波数成分の振幅を入力として使用することが可能であり、且つ、前記分類アルゴリズムの出力は、前記センサ信号を条件とした異なる活動の推定確率である、請求項7に記載の方法。
  9. 少なくとも1つのモバイルソフトウェアアプリケーションを実行するデータプロセッサを含むように前記少なくとも1つのモバイル通信装置を構成するステップを備え、
    前記少なくとも1つのモバイルソフトウェアアプリケーションは、前記少なくとも1つのモバイル通信装置のグラフィカルユーザインターフェイスに少なくとも1つのタイムラインの形態で前記演算ハードウェアから提供された分析済みの活動結果を提示させるように動作可能であり、異なる分析済みの活動は、前記少なくとも1つのタイムラインとの関係において複数の相互に異なるシンボルによって表される、請求項1〜8のいずれか一項に記載の方法。
  10. 1つ又は複数の運動センサ及び無線インターフェイスを含む少なくとも1つのモバイル通信装置の運動を追跡及び記録するシステムであって、
    前記少なくとも1つのモバイル通信装置と通信する通信ネットワークと、前記少なくとも1つのモバイル通信装置から動作の際に供給されるデータを処理する演算ハードウェアと、を備え、前記システムは、1つ又は複数のプロセッサと、前記プロセッサに結合され且つ前記プロセッサによって実行可能である命令を有する少なくとも1つのメモリと、を有し、前記プロセッサは、前記命令を実行する際に、請求項1〜9のいずれか一項に記載の方法を実行するように動作可能である、システム。
  11. 1つ又は複数の非一時的コンピュータ可読記憶媒体であって、実行されると、請求項1〜9のいずれか一項に記載の方法を実行するように動作可能であるソフトウェアを格納する1つ又は複数の非一時的コンピュータ可読記憶媒体。
  12. 前記ソフトウェアは、ソフトウェアアプリケーションストアからモバイル通信装置にダウンロード可能である、請求項11に記載の1つ又は複数の非一時的コンピュータ可読記憶媒体。
  13. 請求項10に記載のシステム内において実装されるように構成され、且つ、請求項1〜9のいずれか一項に記載の方法を実行するために使用されるモバイル通信装置。
  14. 1つ又は複数の運動センサ及び無線インターフェイスを含む少なくとも1つのモバイル通信装置の運動を追跡及び記録するシステムを使用する方法であって、前記システムは、前記少なくとも1つのモバイル通信装置と通信する通信ネットワークと、前記少なくとも1つのモバイル通信装置から動作の際に供給されるデータを処理する演算ハードウェアと、を含む、前記方法において、
    1つ又は複数のセンサ信号を前記システムに伝達するように前記少なくとも1つのモバイル通信装置を動作させるステップであって、前記1つ又は複数のセンサ信号は、前記少なくとも1つのモバイル通信装置がそのユーザによって取り組まれている活動と関連付けられた運動を示している、前記少なくとも1つのモバイル通信装置を動作させるステップと、
    前記1つ又は複数のセンサ信号を分析する1つ又は複数のソフトウェアプロダクトを実行するように前記システムの前記演算ハードウェアを動作させるステップであって、前記演算ハードウェアは、前記1つ又は複数のセンサ信号を事前分類して中間データを生成するように動作可能であり、前記中間データは、その後に、前記1つ又は複数のセンサ信号と関連付けられた可能性の高い活動の1つ又は複数の通知を生成するべく1つ又は複数のプロセッサにより処理され、且つ、前記演算ハードウェアは、前記1つ又は複数の通知の集合体を演算して前記1つ又は複数の信号と関連付けられた1つ又は複数の活動の分析を提供するように動作可能である、前記システムの前記演算ハードウェアを動作させるステップと、
    1つ又は複数の最も可能性が高い活動タイプを通知する情報を前記少なくとも1つのモバイル通信装置に送信するように前記演算ハードウェアを動作させるステップと、
    を備える方法。
  15. 前記1つ又は複数のセンサ信号を分析して前記センサ信号を1つ又は複数の時間ゾーンに分類すると共にそれぞれの所与の時間ゾーン内の前記1つ又は複数のセンサ信号を分析して前記所与の時間ゾーンと関連付けられた最も可能性が高い活動タイプを判定する1つ又は複数のソフトウェアプロダクトを実行するように、前記システムの前記演算ハードウェアを動作させるステップと、
    前記1つ又は複数の時間ゾーンと関連付けられた1つ又は複数の最も可能性が高い活動タイプを通知する情報を前記少なくとも1つのモバイル通信装置に送信するように前記演算ハードウェアを動作させるステップと、
    前記1つ又は複数の時間ゾーンと関連付けられた前記1つ又は複数の最も可能性が高い活動タイプを通知する前記情報が正しい分析を表しているかどうかの確認を提供するように前記少なくとも1つのモバイル通信装置のユーザに要求し、且つ、前記センサ信号の精度を改善するために、前記1つ又は複数のセンサ信号の分析を実行する前記1つ又は複数のソフトウェアプロダクトにおいて利用されているパラメータ及びアルゴリズムのうちの少なくとも一方を修正するべく前記確認を前記演算ハードウェアに伝達して戻すように、前記少なくとも1つのモバイル通信装置を動作させるステップと、
    を更に備える請求項14に記載の方法。
  16. 前記1つ又は複数のセンサ信号を実質的に並行して処理するように前記1つ又は複数のプロセッサを構成するステップを備える、
    前記1つ又は複数のプロセッサは、相互に、前記1つ又は複数のプロセッサにより特定されている1つ又は複数の活動に対応した前記1つ又は複数の信号の特性を識別するように構成されている、請求項14に記載の方法。
  17. 前記少なくとも1つのモバイル通信装置が経験した活動の時間ログを生成するように前記システムを動作させるステップを備える請求項14に記載の方法。
  18. パーソナルコンピュータ、携帯型メディア装置、スマートフォン、手首装用型電話機、ファブレット、携帯電話機、タブレットコンピュータのうちの少なくとも1つによって少なくとも1つのモバイル通信装置を実装するステップを備える請求項14に記載の方法。
  19. ジャイロスコープ角度センサ、加速度計、GPS位置センサ、セルラー位置センサ、磁力計、マイクロフォン、カメラ、温度センサのうちの少なくとも1つを使用して前記少なくとも1つのモバイル通信装置の前記1つ又は複数のセンサを実装するステップを備える請求項14に記載の方法。
  20. 前記1つ又は複数のソフトウェアプロダクトは、前記演算ハードウェア上において実行される際に、
    前記1つ又は複数のセンサ信号に含まれている情報の教師付き又は半教師付き分類分析、及び、
    前記1つ又は複数のセンサ信号に含まれている情報の発見的分析、
    のうちの少なくとも1つを実装するように動作可能である、請求項14に記載の方法。
  21. 前記教師付き又は半教師付き分類アルゴリズムは、前記1つ又は複数のセンサ信号に含まれている前記情報の周波数成分の振幅を入力として使用することが可能であり、且つ、前記分類アルゴリズムの出力は、前記センサ信号を条件とした異なる活動の推定確率である、請求項20に記載の方法。
  22. 少なくとも1つのモバイルソフトウェアアプリケーションを実行するデータプロセッサを含むように前記少なくとも1つのモバイル通信装置を構成するステップを備え、
    前記少なくとも1つのモバイルソフトウェアアプリケーションは、前記少なくとも1つのモバイル通信装置のグラフィカルユーザインターフェイスに少なくとも1つのタイムラインの形態で前記演算ハードウェアから提供された分析済みの活動結果を提示させるように動作可能であり、異なる分析済みの活動は、前記少なくとも1つのタイムラインとの関係において複数の相互に異なるシンボルによって表される、請求項14に記載の方法。
  23. 1つ又は複数の運動センサ及び無線インターフェイスを含む少なくとも1つのモバイル通信装置の運動を追跡及び記録するシステムであって、前記少なくとも1つのモバイル通信装置と通信する通信ネットワークと、前記少なくとも1つのモバイル通信装置から動作の際に供給されるデータを処理する演算ハードウェアと、を備える前記システムにおいて、
    前記少なくとも1つのモバイル通信装置は、1つ又は複数のセンサ信号を前記システムに伝達するように動作可能であり、前記1つ又は複数のセンサ信号は、前記少なくとも1つのモバイル通信装置がそのユーザによって取り組まれている活動と関連付けられた運動を示しており、
    前記システムの前記演算ハードウェアは、前記1つ又は複数のセンサ信号を分析する1つ又は複数のソフトウェアプロダクトを実行するように動作可能であり、
    前記演算ハードウェアは、前記1つ又は複数のセンサ信号を事前分類して中間データを生成するように動作可能であり、
    前記中間データは、その後に、前記1つ又は複数のセンサ信号と関連付けられた可能性が高い活動の1つ又は複数の通知を生成するべく1つ又は複数のプロセッサにより処理され、
    前記演算ハードウェアは、前記1つ又は複数の通知の集合体を演算して前記1つ又は複数の信号と関連付けられた1つ又は複数の活動の分析を提供するように動作可能であり、
    前記演算ハードウェアは、1つ又は複数の最も可能性が高い活動タイプを通知する情報を前記少なくとも1つのモバイル通信装置に送信するように動作可能である、システム。
  24. 前記システムの前記演算ハードウェアは、前記1つ又は複数のセンサ信号を分析して前記センサ信号を1つ又は複数の時間ゾーンに分類すると共にそれぞれの所与の時間ゾーン内の前記1つ又は複数のセンサ信号を分析して前記所与の時間ゾーンと関連付けられた最も可能性が高い活動タイプを判定する1つ又は複数のソフトウェアプロダクトを実行するように動作可能であり、
    前記演算ハードウェアは、前記1つ又は複数の時間ゾーンと関連付けられた1つ又は複数の最も可能性が高い活動タイプを通知する情報を前記少なくとも1つのモバイル通信装置に送信するように動作可能であり、
    前記少なくとも1つのモバイル通信装置は、前記1つ又は複数の時間ゾーンと関連付けられた前記1つ又は複数の最も可能性が高い活動タイプを通知する前記情報が正しい分析を表しているかどうかの確認を提供するように前記少なくとも1つのモバイル通信装置のユーザに要求し、前記センサ信号の精度を改善するために、前記1つ又は複数のセンサ信号の分析を実行する前記1つ又は複数のソフトウェアプロダクト内において利用されているパラメータ及びアルゴリズムのうちのすくなくとも一方を修正するべく前記確認を前記演算ハードウェアに伝達して戻すように動作可能である、請求項23に記載のシステム。
  25. 前記1つ又は複数のプロセッサは、実質的に並行して前記1つ又は複数のセンサ信号を処理するように構成されており、前記1つ又は複数のプロセッサは、相互に、前記1つ又は複数のプロセッサにより特定されている1つ又は複数の活動に対応した前記1つ又は複数の信号の特性を識別するように構成されている、請求項23に記載のシステム。
  26. 前記システムは、前記少なくとも1つのモバイル通信装置が経験した活動の時間ログを生成するように動作可能である、請求項23に記載のシステム。
  27. 前記少なくとも1つのモバイル通信装置は、パーソナルコンピュータ、携帯メディア装置、スマートフォン、手首装用型電話機、ファブレット、携帯電話機、タブレットコンピュータのうちの少なくとも1つによって実装される、請求項23に記載のシステム。
  28. 前記少なくとも1つのモバイル通信装置の1つ又は複数のセンサは、ジャイロスコープ角度センサ、加速度計、GPS位置センサ、セルラー測位センサ、磁力計、マイクロフォン、カメラ、温度センサのうちの少なくとも1つを使用して実装される、請求項23に記載のシステム。
  29. 前記1つ又は複数のソフトウェアプロダクトは、前記演算ハードウェア上において実行される際に、
    (a)前記1つ又は複数のセンサ信号に含まれている情報の教師付き又は半教師付き分類分析、及び
    (b)前記1つ又は複数のセンサ信号に含まれている情報の発見的分析、
    のうちの少なくとも1つを実装するように動作可能である、請求項23に記載のシステム。
  30. 前記教師付き又は半教師付き分類アルゴリズムは、前記1つ又は複数のセンサ信号に含まれている前記情報の周波数成分の振幅を入力として使用することが可能であり、
    前記分類アルゴリズムの出力は、前記センサ信号を条件とした異なる活動の推定確率である、請求項29に記載のシステム。
  31. 前記少なくとも1つのモバイル通信装置は、少なくとも1つのモバイルソフトウェアアプリケーションを実行するデータプロセッサを含み、前記少なくとも1つのモバイルソフトウェアアプリケーションは、前記少なくとも1つのモバイル通信装置のグラフィカルユーザインターフェイスに少なくとも1つのタイムラインの形態で前記演算ハードウェアから提供される分析済みの活動結果を提示させるように動作可能であり、異なる分析済みの活動は、前記少なくとも1つのタイムラインとの関係において複数の相互に異なるシンボルによって表される、請求項23に記載のシステム。
  32. 非一時的機械可読データストレージ媒体に記憶されたソフトウェアプロダクトにおいて、請求項14に記載の方法を実装するべく、モバイル通信装置の演算ハードウェア上において実行可能である、ソフトウェアプロダクト。
  33. ソフトウェアアプリケーションストアから携帯型装置にダウンロード可能である、請求項32に記載のソフトウェアプロダクト。
  34. 請求項23に記載のシステムを実装する際に使用されるモバイル通信装置。
JP2015563129A 2013-06-28 2014-06-18 ユーザ活動追跡システム及び装置 Active JP6110518B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US13/930,321 US8948783B2 (en) 2013-06-28 2013-06-28 User activity tracking system
US13/930,347 US9125015B2 (en) 2013-06-28 2013-06-28 User activity tracking system and device
US13/930,321 2013-06-28
US13/930,347 2013-06-28
PCT/US2014/042839 WO2014209697A1 (en) 2013-06-28 2014-06-18 User activity tracking system and device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016067830A Division JP6151815B2 (ja) 2013-06-28 2016-03-30 ユーザ活動追跡システム及び装置

Publications (2)

Publication Number Publication Date
JP2016534584A true JP2016534584A (ja) 2016-11-04
JP6110518B2 JP6110518B2 (ja) 2017-04-05

Family

ID=52142913

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015563129A Active JP6110518B2 (ja) 2013-06-28 2014-06-18 ユーザ活動追跡システム及び装置
JP2016067830A Active JP6151815B2 (ja) 2013-06-28 2016-03-30 ユーザ活動追跡システム及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016067830A Active JP6151815B2 (ja) 2013-06-28 2016-03-30 ユーザ活動追跡システム及び装置

Country Status (11)

Country Link
US (4) US8948783B2 (ja)
EP (3) EP3014905B1 (ja)
JP (2) JP6110518B2 (ja)
KR (2) KR101672864B1 (ja)
CN (3) CN105872034B (ja)
AU (2) AU2014302977B2 (ja)
BR (1) BR112015032727A8 (ja)
CA (2) CA2916858A1 (ja)
IL (2) IL243350A (ja)
MX (2) MX348615B (ja)
WO (1) WO2014209697A1 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948783B2 (en) * 2013-06-28 2015-02-03 Facebook, Inc. User activity tracking system
US9125015B2 (en) * 2013-06-28 2015-09-01 Facebook, Inc. User activity tracking system and device
US10425686B2 (en) * 2014-04-24 2019-09-24 Free Stream Media Corp. Device-based detection of ambient media to be used by a server to selectively provide secondary content to the device
US11029328B2 (en) 2015-01-07 2021-06-08 Qualcomm Incorporated Smartphone motion classifier
US9864787B2 (en) * 2015-01-21 2018-01-09 Raytheon Company Parallel hypothesis formation for multiple hypotheses tracking
RU2015111633A (ru) * 2015-03-31 2016-10-20 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для обработки показателей активности, связанных с пользователем, способ и система связывания первого элемента и второго элемента
US11874716B2 (en) 2015-08-05 2024-01-16 Suunto Oy Embedded computing device management
US10395519B2 (en) 2015-08-11 2019-08-27 Telecom Italia S.P.A. Method and system for computing an O-D matrix obtained through radio mobile network data
KR20170020085A (ko) * 2015-08-13 2017-02-22 삼성전자주식회사 활동 정보 처리 방법 및 이를 지원하는 전자 장치
KR102382701B1 (ko) * 2015-09-02 2022-04-06 삼성전자 주식회사 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치 및 방법
US11144107B2 (en) 2015-12-01 2021-10-12 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11210299B2 (en) 2015-12-01 2021-12-28 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11137820B2 (en) 2015-12-01 2021-10-05 Amer Sports Digital Services Oy Apparatus and method for presenting thematic maps
US11215457B2 (en) 2015-12-01 2022-01-04 Amer Sports Digital Services Oy Thematic map based route optimization
DE102016015695A1 (de) 2015-12-21 2017-06-22 Suunto Oy Aktivitätsintensitätspegel-Bestimmung
US11587484B2 (en) 2015-12-21 2023-02-21 Suunto Oy Method for controlling a display
GB2579998B (en) * 2015-12-21 2021-02-10 Amer Sports Digital Services Oy Sensor Based context management
US11284807B2 (en) 2015-12-21 2022-03-29 Amer Sports Digital Services Oy Engaging exercising devices with a mobile device
FI127926B (en) 2015-12-21 2019-05-31 Suunto Oy Sensor-based context management
US11541280B2 (en) 2015-12-21 2023-01-03 Suunto Oy Apparatus and exercising device
DE102016015066A1 (de) 2015-12-21 2017-06-22 Suunto Oy Aktivitätsintensitätspegel-Bestimmung
US10433768B2 (en) 2015-12-21 2019-10-08 Amer Sports Digital Services Oy Activity intensity level determination
US11838990B2 (en) 2015-12-21 2023-12-05 Suunto Oy Communicating sensor data in wireless communication systems
US12044789B2 (en) 2016-04-22 2024-07-23 Azar Zandifar Systems and methods for occupancy detection using WiFi sensing technologies
US11043094B2 (en) * 2016-06-08 2021-06-22 Aerial Technologies Inc. System and methods for smart intrusion detection using wireless signals and artificial intelligence
US11703938B2 (en) 2016-10-17 2023-07-18 Suunto Oy Embedded computing device
DE102017009171A1 (de) 2016-10-17 2018-04-19 Amer Sports Digital Services Oy Eingebettete rechenvorrichtung
JP6645957B2 (ja) * 2016-12-16 2020-02-14 株式会社東芝 動作推定方法および動作推定システム
US10535244B2 (en) 2017-03-13 2020-01-14 General Electric Company Patient monitoring system and method for activity tracking
CN109002189B (zh) * 2017-06-07 2021-09-07 斑马智行网络(香港)有限公司 一种运动识别方法、装置、设备和计算机存储介质
US10082554B1 (en) * 2017-07-01 2018-09-25 Tile, Inc. Dynamic selection and modification of tracking device behavior models
US11153364B1 (en) 2017-11-29 2021-10-19 Parallels International Gmbh Embedding remote applications into HTML pages
US11194842B2 (en) * 2018-01-18 2021-12-07 Samsung Electronics Company, Ltd. Methods and systems for interacting with mobile device
JP2019139570A (ja) * 2018-02-13 2019-08-22 株式会社東芝 判別装置、判別方法およびプログラム
US10812334B2 (en) * 2018-06-29 2020-10-20 Forescout Technologies, Inc. Self-training classification
US11531929B2 (en) * 2018-11-09 2022-12-20 Citrix Sysiems, Inc. Systems and methods for machine generated training and imitation learning
KR20200076438A (ko) * 2018-12-19 2020-06-29 삼성전자주식회사 사용자의 액티비티를 추적하는 전자 장치 및 전자 장치의 동작 방법
US11980792B2 (en) * 2019-06-05 2024-05-14 Qeexo, Co. Method and apparatus for calibrating a user activity model used by a mobile device
US11842812B2 (en) 2019-06-27 2023-12-12 GE Precision Healthcare LLC Location-based user authorization for an infant care device
BE1027428B1 (nl) * 2019-07-14 2021-02-11 Niko Nv Sensorsysteem voor activiteitherkenning
US10880691B1 (en) * 2019-10-31 2020-12-29 Root, Inc. Passively capturing and monitoring device behaviors
JP7339167B2 (ja) * 2020-01-17 2023-09-05 株式会社日立製作所 作業支援システム及び作業支援方法
US12039536B2 (en) 2020-10-27 2024-07-16 Prove Identity, Inc. Transaction authentication, authorization, and/or auditing utilizing subscriber-specific behaviors
CN112347991B (zh) * 2020-11-30 2022-04-01 北京理工大学 一种基于隐马尔可夫分析滑雪运动序列的方法
US20230291750A1 (en) * 2022-03-09 2023-09-14 Prove Identity, Inc. Communications device contactability metric
WO2023224217A1 (ko) * 2022-05-20 2023-11-23 삼성전자 주식회사 복수의 전자 장치들에 기반하여 사용자의 활동 상태를 결정하는 방법 및 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10113343A (ja) * 1996-07-03 1998-05-06 Hitachi Ltd 動作及び行動の認識方法及び装置及びシステム
WO2010032579A1 (ja) * 2008-09-19 2010-03-25 株式会社日立製作所 行動履歴の生成方法及び行動履歴の生成システム
WO2012134797A1 (en) * 2011-03-31 2012-10-04 Qualcomm Incorporated Methods, devices, and apparatuses for activity classification using temporal scaling of time-referenced features
WO2012135767A1 (en) * 2011-03-31 2012-10-04 Qualcomm Incorporated Systems, methods, and apparatuses for classifying user activity using combining of likelihood function values in a mobile device
WO2013040493A1 (en) * 2011-09-16 2013-03-21 Qualcomm Incorporated Detecting that a mobile device is riding with a vehicle

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0816986B1 (en) 1996-07-03 2006-09-06 Hitachi, Ltd. System for recognizing motions
US6513532B2 (en) 2000-01-19 2003-02-04 Healthetech, Inc. Diet and activity-monitoring device
US7532924B2 (en) * 2003-09-22 2009-05-12 Cardiac Pacemakers, Inc. Cardiac rhythm management system with exercise test interface
US7171268B1 (en) 2003-12-24 2007-01-30 Pacesetter, Inc. Implantable cardiac stimulation device providing accelerated defibrillation delivery and method
KR20060037640A (ko) 2004-10-28 2006-05-03 에스케이 텔레콤주식회사 환자의 모니터링 시스템 및 방법
KR100810880B1 (ko) 2006-08-09 2008-03-07 (주) 엘지텔레콤 이동 통신망을 이용한 위급 정보 통보 시스템 및 방법과 그시스템에 적용되는 이동통신 단말기
CN101108125B (zh) * 2007-08-02 2010-06-16 无锡微感科技有限公司 一种身体体征动态监测系统
JP2009217378A (ja) * 2008-03-07 2009-09-24 Nippon Telegr & Teleph Corp <Ntt> 行動支援システム及び携帯端末
KR101480053B1 (ko) 2008-04-08 2015-01-09 주식회사 엘지유플러스 모바일단말에서의 사용자 상태정보 서비스 장치 및 방법
JP5215098B2 (ja) 2008-09-17 2013-06-19 オリンパス株式会社 情報処理システム、プログラム及び情報記憶媒体
US8271413B2 (en) * 2008-11-25 2012-09-18 Google Inc. Providing digital content based on expected user behavior
WO2010096691A2 (en) 2009-02-20 2010-08-26 The Regents Of The University Of Colorado, A Body Corporate Footwear-based body weight monitor and postural allocation, physical activity classification, and energy expenditure calculator
US8560267B2 (en) * 2009-09-15 2013-10-15 Imetrikus, Inc. Identifying one or more activities of an animate or inanimate object
US8611326B2 (en) * 2009-09-03 2013-12-17 Apple Inc. Location histories for location aware devices
JP5495014B2 (ja) 2009-09-09 2014-05-21 ソニー株式会社 データ処理装置、データ処理方法、およびプログラム
US20110161085A1 (en) 2009-12-31 2011-06-30 Nokia Corporation Method and apparatus for audio summary of activity for user
CN108509038B (zh) * 2010-08-09 2022-06-07 耐克创新有限合伙公司 用于记录和追踪运动活动的系统和方法
US8311522B1 (en) 2010-09-28 2012-11-13 E.Digital Corporation System and method for managing mobile communications
US9167991B2 (en) 2010-09-30 2015-10-27 Fitbit, Inc. Portable monitoring devices and methods of operating same
US20120130201A1 (en) 2010-11-24 2012-05-24 Fujitsu Limited Diagnosis and Monitoring of Dyspnea
KR101256907B1 (ko) * 2011-01-12 2013-04-22 연세대학교 산학협력단 사용자 상황 실시간 인식 장치 및 방법
JP2012155374A (ja) 2011-01-21 2012-08-16 Sony Corp 情報処理装置、情報処理方法、プログラムおよび情報処理システム
US9110510B2 (en) * 2011-06-03 2015-08-18 Apple Inc. Motion pattern classification and gesture recognition
US8892391B2 (en) * 2011-06-03 2014-11-18 Apple Inc. Activity detection
US20120326873A1 (en) 2011-06-10 2012-12-27 Aliphcom Activity attainment method and apparatus for a wellness application using data from a data-capable band
EP2718915A4 (en) * 2011-06-10 2015-03-11 Aliphcom PERFORMANCE MANAGEMENT IN A DATA ACQUISITION BAND
US11133096B2 (en) 2011-08-08 2021-09-28 Smith & Nephew, Inc. Method for non-invasive motion tracking to augment patient administered physical rehabilitation
US20140324745A1 (en) * 2011-12-21 2014-10-30 Nokia Corporation Method, an apparatus and a computer software for context recognition
US9352207B2 (en) * 2012-01-19 2016-05-31 Nike, Inc. Action detection and activity classification
JP5342025B2 (ja) 2012-01-19 2013-11-13 株式会社東芝 行動推定装置
JP6115028B2 (ja) 2012-05-28 2017-04-19 セイコーエプソン株式会社 行動記録装置、行動記録方法及び行動記録プログラム
JP6000767B2 (ja) 2012-09-04 2016-10-05 公立大学法人公立はこだて未来大学 学習装置、判別装置、行動状態判別システム、および判別方法
US8948783B2 (en) * 2013-06-28 2015-02-03 Facebook, Inc. User activity tracking system
US9125015B2 (en) * 2013-06-28 2015-09-01 Facebook, Inc. User activity tracking system and device
KR20150010255A (ko) 2013-07-18 2015-01-28 삼성전자주식회사 습관을 이용한 진단 장치 및 진단 관리 장치와 그를 이용한 진단 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10113343A (ja) * 1996-07-03 1998-05-06 Hitachi Ltd 動作及び行動の認識方法及び装置及びシステム
WO2010032579A1 (ja) * 2008-09-19 2010-03-25 株式会社日立製作所 行動履歴の生成方法及び行動履歴の生成システム
WO2012134797A1 (en) * 2011-03-31 2012-10-04 Qualcomm Incorporated Methods, devices, and apparatuses for activity classification using temporal scaling of time-referenced features
WO2012135767A1 (en) * 2011-03-31 2012-10-04 Qualcomm Incorporated Systems, methods, and apparatuses for classifying user activity using combining of likelihood function values in a mobile device
WO2013040493A1 (en) * 2011-09-16 2013-03-21 Qualcomm Incorporated Detecting that a mobile device is riding with a vehicle

Also Published As

Publication number Publication date
CN105872034A (zh) 2016-08-17
AU2016202364B2 (en) 2017-01-05
JP2017086855A (ja) 2017-05-25
US20150005030A1 (en) 2015-01-01
KR101799474B1 (ko) 2017-12-20
MX2016000221A (es) 2016-06-15
CA2924691C (en) 2017-05-09
AU2016202364A1 (en) 2016-05-05
AU2014302977B2 (en) 2016-05-26
EP3014905A1 (en) 2016-05-04
EP3487154A1 (en) 2019-05-22
US9118725B2 (en) 2015-08-25
EP2819383B1 (en) 2019-02-06
US9531824B2 (en) 2016-12-27
KR101672864B1 (ko) 2016-11-04
US8948783B2 (en) 2015-02-03
IL245388A0 (en) 2016-06-30
EP3014905A4 (en) 2017-03-15
MX351164B (es) 2017-10-04
IL243350A (en) 2017-01-31
BR112015032727A2 (pt) 2017-07-25
JP6110518B2 (ja) 2017-04-05
US20150326709A1 (en) 2015-11-12
IL245388A (en) 2017-02-28
AU2014302977A1 (en) 2016-02-18
BR112015032727A8 (pt) 2019-12-24
KR20160017125A (ko) 2016-02-15
EP2819383A1 (en) 2014-12-31
US9948734B2 (en) 2018-04-17
CN105872034B (zh) 2017-12-12
WO2014209697A1 (en) 2014-12-31
CA2916858A1 (en) 2014-12-31
EP3014905B1 (en) 2019-01-02
CN110830592A (zh) 2020-02-21
KR20160093741A (ko) 2016-08-08
CA2924691A1 (en) 2014-12-31
JP6151815B2 (ja) 2017-06-21
CN105493528A (zh) 2016-04-13
WO2014209697A8 (en) 2015-04-23
MX348615B (es) 2017-06-21
US20170078418A1 (en) 2017-03-16
US20150100643A1 (en) 2015-04-09

Similar Documents

Publication Publication Date Title
JP6151815B2 (ja) ユーザ活動追跡システム及び装置
US9948735B2 (en) User activity tracking system and device
US20210350286A1 (en) Passive visit detection
US10022071B2 (en) Automatic recognition, learning, monitoring, and management of human physical activities

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170309

R150 Certificate of patent or registration of utility model

Ref document number: 6110518

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250