CN110830592A - 用于通信的系统、方法和设备 - Google Patents
用于通信的系统、方法和设备 Download PDFInfo
- Publication number
- CN110830592A CN110830592A CN201911164997.3A CN201911164997A CN110830592A CN 110830592 A CN110830592 A CN 110830592A CN 201911164997 A CN201911164997 A CN 201911164997A CN 110830592 A CN110830592 A CN 110830592A
- Authority
- CN
- China
- Prior art keywords
- activity
- mobile communication
- communication device
- sensor
- sensor signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 238000004891 communication Methods 0.000 title claims abstract description 26
- 230000000694 effects Effects 0.000 claims abstract description 346
- 238000010295 mobile communication Methods 0.000 claims abstract description 229
- 238000004458 analytical method Methods 0.000 claims abstract description 80
- 230000033001 locomotion Effects 0.000 claims abstract description 55
- 238000004422 calculation algorithm Methods 0.000 claims description 31
- 238000007635 classification algorithm Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 18
- 238000010224 classification analysis Methods 0.000 claims description 17
- 230000001413 cellular effect Effects 0.000 claims description 16
- 230000001133 acceleration Effects 0.000 description 23
- 230000000875 corresponding effect Effects 0.000 description 23
- 238000012545 processing Methods 0.000 description 19
- 238000012790 confirmation Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000001351 cycling effect Effects 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 210000000707 wrist Anatomy 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000386 athletic effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004573 interface analysis Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/535—Tracking the activity of the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/14—Receivers specially adapted for specific applications
- G01S19/19—Sporting applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Physiology (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Environmental & Geological Engineering (AREA)
- Physical Education & Sports Medicine (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Telephonic Communication Services (AREA)
Abstract
本申请涉及用于通信的系统、方法和设备。本公开提供一种用于跟踪和记录包括一个或多个运动传感器的移动通信装置的运动的系统。移动通信装置将传感器信号传送至系统,其中传感器信号表示与移动通信装置被其用户暴露于的活动相关的运动。传感器信号被预分类以产生中间数据,其中在一个或多个处理器中处理中间数据,以产生与传感器信号相关的可能的活动的指示,并且计算指示的集合以提供与传感器信号相关的活动的分析。该系统分析传感器信号以将所述一个或多个传感器信号分类至一个或多个时间区域中,并且确定与给定的时间区域相关的最可能的活动类型。指示最可能的活动类型的信息被发送至移动通信装置。
Description
本申请是申请日为2014年6月18日,申请号为201480047663.7,发明名称为“用于通信的系统、方法和设备”(原发明名称为“用户活动跟踪系统和装置”)的申请的分案申请。
技术领域
本公开大体涉及跟踪、记录和分析用户活动,并且更具体地,涉及用于基于由用户的移动通信装置收集的传感器数据确定用户活动的系统以及相关方法。此外,本公开的方面还针对在非易失性机器可读数据存储介质上记录的软件产品,其中这样的软件产品在计算硬件上可执行,以实现本公开的方法。
背景技术
存在跟踪装置,用于感知并且跟踪用户活动,尤其是体育活动。已知的活动跟踪装置的实例是具有GPS接收器的可佩带的手表装置,该手表装置用于跟踪并分析相关用户的“奔跑”活动。另一实例是移动应用,该移动应用利用各自的移动电话的GPS系统在用户运动时记录用户的移动。另一实例是用于鞋中或者附着于用户的衣物的步进计数器以收集用户所走的步的数量。然而,现有的跟踪装置中没有一种可以自动感知、记录、分析和确定所有类型的用户活动,诸如行走、奔跑、慢跑、骑自行车、划船、驾驶汽车、乘公交车、乘火车、走楼梯、跑楼梯、跳跃、游泳、踢足球以及滑雪。
现今,智能手机配备有增多的数量的传感器,诸如全球定位系统(GPS)接收器、加速计、和近程传感器,并且智能手机用户会发现拥有可以自动记录、感知、分析和确定他们的活动的移动应用是很有趣的。然而,为了分析活动的类型在用户运动的自动跟踪中关键的挑战之一是分类活动类型。例如行走对比奔跑活动,相对收集的传感器数据而言可能仅具有小的差异。此外,对于相同的活动,传感器数据可以根据用户怎样携带智能手机来变化。例如,智能手机可以由用户携带在他/她的手中,或者在口袋中或者在背包中。
因此,存在对活动跟踪解决方案的需求,该方案准确地感知并分析各种用户活动并解决现有的活动跟踪解决方案的限制。
发明内容
本公开寻求提供一种用于跟踪和记录移动通信装置的运动的系统以及使用其的方法。
在一个方面中,本公开的实施方式提供一种用于跟踪和记录包括一个或多个运动传感器和无线接口的移动通信装置的运动的系统。该系统包括用于与移动通信装置通信的通信网络以及用于处理在操作中从移动通信装置提供的数据的计算硬件。移动通信装置将例如以传感器数据的形式的传感器信号传达至系统,其中传感器信号表示与移动通信装置被其用户暴露于的活动相关的运动。
在具体实施方式中,计算硬件执行软件产品,该软件产品用于分析传感器信号以将所述一个或多个传感器信号分类至一个或多个时间区域,并且分析每个给定时间区域以内的信号,以确定与给定的时间区域相关的一个或多个最可能的活动类型。计算硬件将指示与时间区域相关的最可能的活动类型的信息进一步发送至移动通信装置。然后移动通信装置请求其用户提供确认,确认指示与时间区域相关的最可能的活动类型的信息是否表示正确的分析,并且然后将确认传送回到计算硬件,以便修正执行传感器信号的分析的软件产品中使用的参数和/或算法以改善他们的精确度。
在具体实施方式中,计算硬件执行软件产品,该软件产品用于分析传感器信号以预分类传感器信号从而产生中间数据。此后中间数据在一个或多个处理器中处理以产生与传感器信号相关的可能活动的指示。计算硬件进一步计算指示的集合以提供与传感器信号相关的一个或多个活动的分析,并且然后将指示最可能的活动类型的信息发送至移动通信装置。
处理器被配置为基本并行处理传感器信号,其中处理器彼此专用于识别与处理器专用于的活动相对应的信号的特征。
系统产生由移动通信装置经历的活动的时间记录,并且以时间线格式将活动呈现在用户的图形用户界面上。
移动通信装置通过以下中的至少一个实现:便携式计算机,诸如笔记本电脑、智能电话、手腕佩带的电话、平板手机、移动电话、平板电脑、便携式媒体装置或者可以由用户佩带的并且能够处理和显示数据的任何其他计算装置。此外,移动通信装置的一个或多个传感器使用以下中的至少一个实现:陀螺角度传感器、加速计、GPS位置传感器、蜂窝定位传感器、磁力计、麦克风、摄像机、温度传感器。术语蜂窝定位传感器可以涉及确定使用与蜂窝网络有关的信息和与无线电基站以及它们的信号有关的信息可以得出/分析/测量的移动通信装置的位置及运动。
当在计算硬件上执行时,软件产品能操作以实现监督或半监督分类算法,诸如神经网络、决策树以及支持向量机,以便分析包括在传感器信号中的信息。作为输入,监督或半监督分类算法能够使用,例如,包括在一个或多个传感器信号中的信息的频率分量的振幅,并且分类算法的输出是在传感器信号的条件下的不同的活动的估计概率。
在另一方面中,移动通信装置包括用于执行在所述移动通信装置处的移动软件应用的数据处理器,其中移动软件应用能操作以在执行时使得移动通信装置的图形用户界面呈现以时间线的形式的从计算硬件提供的分析活动结果,其中不同的分析活动相对于时间线由彼此不同的符号表示。
在又一方面中,本公开的实施方式提供一种使用用于跟踪和记录移动通信装置的运动的系统的方法。
在又一方面中,本公开的实施方式提供一种用于实现跟踪和记录用户的运动的系统的移动通信装置。
在又一方面中,本公开的实施方式提供记录在非易失性机器可读数据存储介质上的软件产品,使得该软件产品在用于实现该方法的计算硬件上可执行,该方法使用跟踪和记录移动通信装置的运动的系统。软件产品可从软件应用商店下载至移动通信装置。
本公开的实施方式通过分析从用户的移动通信装置的一个或多个传感器收集的数据感知、分析和确定所有类型的用户活动。传感器数据由分类算法的一组独立的实例(instances)处理并且每个实例可选地专用于确定特定类型的活动。一组分类算法实例的输出被集合并分析以产生与移动通信装置相关的最可能的用户活动。确定的活动以时间线格式显示在移动通信装置的图形用户界面上。如果用户不同意/同意确定的活动,那么他们可以提供他们的反馈并且该反馈可以用于改善下一次活动分析和确认。因此,分析的准确性和用户活动的确定随时间优化。
可替换地,本公开的实施方式通过分析从用户的移动通信装置的一个或多个传感器收集的数据准确地感知、分析和确定用户活动。传感器数据由一组并行处理器处理,其中并行处理器是分类算法的并列实例并且每个处理器可选地专用于确定特定类型的活动。一组并行处理器的输出被集合并分析以产生与移动通信装置相关的最可能的用户活动。然后确定的活动以时间线格式显示在移动通信装置的图形用户界面上。在当前公开内容中,并行处理器可以指以下实现架构,其中软件的部分在不同的中央处理单元(即微处理器)和/或分类算法的并列实例,即并行软件处理中执行。并行可以指基本同时执行的计算处理但不限于这样的方法。实例的执行可以逐一进行或作为基本同时执行的一些处理进和逐一执行的一些处理的组合进行。
本公开的另外的方面、优点、特征和目的将从附图和结合以下所附权利要求解释的示例性实施方式的详细说明清晰可见。
将理解本发明的特征在没有背离由所附权利要求限定的本发明的范围的前提下易于与各种组合结合。
尤其在涉及一种系统、一种存储介质以及一种方法的所附权利要求中公开了根据本发明的实施方式,其中,在一个权利要求种类(例如,系统)中提及的任何特征也可以在另一个权利要求种类(例如,方法)中要求保护。对所附权利要求中的从属性或参考回仅为了形式原因选择。然而,从故意参考回到任何先前权利要求(尤其是多个从属性)得到的任何主题也可以要求保护,使得公开并且可以要求保护权利要求和其特征的任何组合,不考虑所附权利要求中选择的从属性。
在根据本发明的实施方式中,使用跟踪和记录包含一个或多个运动传感器和无线接口的至少一个移动通信装置的运动的系统的方法,其中该系统包括与至少一个移动通信装置通信的通信网络以及用于处理在操作中从至少一个移动通信装置提供的处理数据的计算硬件,其特征在于,该方法包括:
操作至少一个移动通信装置以将一个或多个传感器信号传送至系统,其中一个或多个传感器信号表示与至少一个移动通信装置被其用户暴露于的活动相关的运动;
操作系统的计算硬件以执行用于分析一个或多个传感器信号的一个或多个软件产品,其中计算硬件能操作以将一个或多个传感器信号预分类以产生中间数据,并且中间数据此后在一个或多个处理器中被处理以产生与一个或多个传感器信号相关的可能的活动的一个或多个指示,并且计算硬件能操作以计算一个或多个指示的集合以提供与一个或多个信号相关的一个或多个活动的分析;以及
操作计算硬件以将指示一个或多个最可能的活动类型的信息发送至至少一个移动通信装置。
在根据本发明的另一实施方式中,该方法的特征在于,该方法进一步包括:
操作系统的计算硬件以执行用于分析一个或多个传感器信号的一个或多个软件产品,以将所述一个或多个传感器信号分类至一个或多个时间区域,并且以分析每个给定的时间区域以内的一个或多个传感器信号,以确定与给定的时间区域相关的最可能的活动类型;
操作计算硬件以将指示与一个或多个时间区域相关的一个或多个最可能的活动类型的信息发送至至少一个移动通信装置;以及
操作至少一个移动通信装置以请求其用户提供确认,确认指示与一个或多个时间区域相关的一个或多个最可能的活动类型的信息是否表示正确的分析,并且将该确认传送回到计算硬件以便修正执行一个或多个传感器信号的分析的一个或多个软件产品中使用的参数和/或算法以改善它们的精确度。
在根据本发明的另一实施方式中,该方法的特征在于,该方法包括将一个或多个处理器配置为基本上并行处理一个或多个传感器信号,其中一个或多个处理器彼此专用于确定与一个或多个处理器专用于的一个或多个活动相对应的一个或多个信号的特征。
在根据本发明的另一实施方式中,该方法的特征在于,该方法包括操作该系统产生由至少一个移动通信装置经历的活动的时间记录。
在根据本发明的另一实施方式中,该方法的特征在于,该方法包括通过以下中的至少一个实现至少一个移动通信装置:个人计算机、便携式媒体设备、智能电话、手腕佩带电话、平板电话、移动电话、平板电脑。
在根据本发明的另一实施方式中,该方法的特征在于,该方法包括使用以下中的至少一个实现至少移动通信装置的一个或多个传感器:陀螺角度传感器、加速计、GPS位置传感器、蜂窝位置传感器、磁力计、麦克风、摄像机、温度传感器。
在根据本发明的另一实施方式中,该方法的特征在于,一个或多个软件产品能操作以在计算硬件上执行时实现以下中的至少一个:
包括在一个或传感器信号中的信息的监督或半监督分类分析;以及
包括在一个或多个传感器信号中的信息的启发式分析。
在根据本发明的另一实施方式中,该方法的特征在于,监督或半监督分类算法能够使用包括在一个或多个传感器信号中的信息的频率分量的振幅作为输入,并且分类算法的输出是在传感器信号的条件下的不同的活动的估计概率。
在根据本发明的另一实施方式中,该方法的特征在于,该方法包括将至少一个移动通信装置布置为包括用于执行在所述至少一个移动通信装置处的至少一个移动软件应用的数据处理器,其中至少一个移动软件应用能操作以使得至少一个移动通信装置的图形用户界面呈现以至少一个时间线的形式的从计算硬件提供的分析活动结果,其中不同的分析的活动相对于至少一个时间线由多个彼此不同的符号表示。
在根据本发明的另一实施方式中,也可以要求保护用于跟踪和记录包含一个或多个运动传感器和无线接口的至少一个移动通信装置的运动的系统,其中该系统包括与至少一个移动通信装置通信的通信网络以及用于处理在操作中从至少一个移动通信装置提供的数据的计算硬件,该系统的特征在于,
至少一个移动通信装置能操作以将一个或多个传感器信号传送至系统,其中一个或多个传感器信号表示与至少一个移动通信装置被其用户暴露于的活动相关的运动;
系统的计算硬件能操作以执行用于分析一个或多个传感器信号的一个或多个软件产品,其中计算硬件能操作以将一个或多个传感器信号预分类以产生中间数据,并且中间数据此后在一个或多个处理器中被处理以产生与一个或多个传感器信号相关的可能的活动的一个或多个指示,并且计算硬件能操作以计算一个或多个指示的集合以提供与一个或多个信号相关的一个或多个活动的分析;并且
计算硬件能操作以将指示一个或多个最可能的活动类型的信息发送至至少一个移动通信装置。
在根据本发明的另一实施方式中,该方法进一步的特征在于,
系统的计算硬件能操作以执行用于分析一个或多个传感器信号的一个或多个软件产品,以将所述一个或多个传感器信号分类至一个或多个时间区域,并且以分析每个给定的时间区域以内的一个或多个传感器信号,以确定与给定的时间区域相关的最可能的活动类型;
计算硬件能操作以将指示与一个或多个时间区域相关的一个或多个最可能的活动类型的信息发送至至少一个移动通信装置;以及
至少一个移动通信装置能操作以请求其用户提供确认,确认指示与一个或多个时间区域相关的一个或多个最可能的活动类型的信息是否表示正确的分析,并且将该确认传送回到计算硬件以便修正执行一个或多个传感器信号的分析的一个或多个软件产品中使用的参数和/或算法以改善它们的精确度。
在根据本发明的另一实施方式中,该方法进一步的特征在于,一个或多个处理器被配置为基本上并行处理一个或多个传感器信号,其中一个或多个处理器彼此专用于确定与一个或多个处理器专用于的一个或多个活动相对应的一个或多个信号的特征。
在根据本发明的另一实施方式中,该系统进一步的特征在于,该系统能操作以产生由至少一个移动通信装置经历的活动的时间记录。
在根据本发明的另一实施方式中,该系统进一步的特征在于,通过以下中的至少一个实现至少一个移动通信装置:个人计算机、便携式媒体设备、智能电话、手腕佩带电话、平板电话、移动电话、平板电脑。
在根据本发明的另一实施方式中,系统进一步的特征在于,使用以下中的至少一个实现至少移动通信装置的一个或多个传感器:陀螺角度传感器、加速计、GPS位置传感器、蜂窝定位传感器、磁力计、麦克风、摄像机、温度传感器。
在根据本发明的另一实施方式中,系统进一步的特征在于,一个或多个软件产品能操作以在计算硬件上执行时实现以下中的至少一个:
包括在一个或传感器信号中的信息的监督或半监督分类分析;以及
包括在一个或多个传感器信号中的信息的启发式分析。
在根据本发明的另一实施方式中,系统进一步的特征在于,监督或半监督分类算法能够使用包括在一个或多个传感器信号中的信息的频率分量的振幅作为输入,并且分类算法的输是在传感器信号的条件下的不同的活动的估计概率。
在根据本发明的另一实施方式中,系统进一步的特征在于,至少一个移动通信装置包括,用于执行在所述至少一个移动通信装置处的至少一个移动软件应用的数据处理器,其中至少一个移动软件应用能操作以使得至少一个移动通信装置的图形用户界面呈现以至少一个时间线的形式的从计算硬件提供的分析活动结果,其中不同的分析的活动相对于至少一个时间线由多个彼此不同的符号表示。
在根据本发明的另一实施方式中,也可以要求保护,存储在非易失性机器可读数据存储介质上的软件产品,其特征在于,该软件产品在用于实现根据本发明的或者上述实施方式中的任意一个的方法的移动通信装置的计算硬件上可执行。
在根据本发明的另一实施方式中,软件产品的特征在于,软件产品可从软件应用商店下载至移动通信装置。
根据本发明的另一实施方式,也可以要求保护,在实现根据本发明或者上述实施方式中的任意一个的系统时使用的移动通信装置。
根据本发明的另一实施方式可以是被配置为实现如上所述并且在执行如上所述的方法时使用的系统的移动通信。
在根据本发明的另一实施方式中,一个或多个计算机可读非易失性存储介质,体现为软件,当软件被执行时能操作以执行根据本发明或者上述实施方式中的任意一个的方法。
在根据本发明的另一实施方式中,用于跟踪和记录包含一个或多个运动传感器和无线接口的至少一个移动通信装置的运动的系统,其中该系统包括与至少一个移动通信装置通信的通信网络以及用于处理在操作中从至少一个移动通信装置提供的数据的计算硬件,该系统包括:一个或多个处理器;以及耦接至处理器并且包括由处理器可执行的指令的存储器,当处理器执行指令时能操作以执行根据本发明或者上述实施方式中的任意一个的方法。
本公开还涉及以下内容:
1)一种使用用于跟踪和记录包含一个或多个运动传感器和无线接口的至少一个移动通信装置的运动的系统的方法,其中,所述系统包括用于与所述至少一个移动通信装置通信的通信网络以及用于处理在操作中从所述至少一个移动通信装置提供的数据的计算硬件,其特征在于,所述方法包括:
操作所述至少一个移动通信装置以将一个或多个传感器信号传送至所述系统,其中,所述一个或多个传感器信号表示与所述至少一个移动通信装置被其用户暴露于的活动相关的运动;
操作所述系统的所述计算硬件以执行用于分析所述一个或多个传感器信号的一个或多个软件产品,其中,所述计算硬件能操作以将所述一个或多个传感器信号预分类以产生中间数据,并且所述中间数据此后在一个或多个处理器中被处理以产生与所述一个或多个传感器信号相关的可能的活动的一个或多个指示,并且所述计算硬件能操作以计算所述一个或多个指示的集合,以提供与所述一个或多个信号相关的一个或多个活动的分析;以及
操作所述计算硬件以将指示一个或多个最可能的活动类型的信息发送至所述至少一个移动通信装置。
2)根据1)所述的方法,其特征在于,所述方法进一步包括:
操作所述系统的所述计算硬件以执行用于分析所述一个或多个传感器信号的一个或多个软件产品,以将所述一个或多个传感器信号分类至一个或多个时间区域,并且以分析每个给定的时间区域以内的所述一个或多个传感器信号,以确定与所述给定的时间区域相关的最可能的活动类型;
操作所述计算硬件以将指示与所述一个或多个时间区域相关的一个或多个最可能的活动类型的信息发送至所述至少一个移动通信装置;以及
操作所述至少一个移动通信装置以请求所述移动通信装置的用户提供确认,确认指示与所述一个或多个时间区域相关的所述一个或多个最可能的活动类型的信息是否表示正确的分析,并且将所述确认传送回到所述计算硬件以便修正执行所述一个或多个传感器信号的分析的所述一个或多个软件产品中使用的参数和/或算法以改善它们的精确度。
3)根据1)或2)所述的方法,其特征在于,所述方法包括:配置所述一个或多个处理器为基本上并行处理所述一个或多个传感器信号,其中,所述一个或多个处理器彼此专用于确定与所述一个或多个处理器专用于的一个或多个活动相对应的所述一个或多个信号的特征。
4)根据1)至3)中的任一项所述的方法,其特征在于,所述方法包括:操作所述系统以产生由所述至少一个移动通信装置经历的活动的时间记录。
5)根据1)至4)中的任一项所述的方法,其特征在于,所述方法包括:通过以下中的至少一个实现至少一个移动通信装置:个人计算机、便携式媒体设备、智能电话、手腕佩带电话、平板电话、移动电话、平板电脑。
6)根据1)至5)中的任一项所述的方法,其特征在于,所述方法包括:使用以下中的至少一个实现所述至少移动通信装置的所述一个或多个传感器:陀螺角度传感器、加速计、GPS位置传感器、蜂窝位置传感器、磁力计、麦克风、摄像机、温度传感器。
7)根据1)至6)中的任一项所述的方法,其特征在于,所述一个或多个软件产品能操作以在所述计算硬件上执行时实现以下中的至少一个:
包括在所述一个或传感器信号中的信息的监督或半监督分类分析;以及
包括在所述一个或多个传感器信号中的信息的启发式分析。
8)根据7)所述的方法,其特征在于,所述监督或半监督分类算法能够使用包括在所述一个或多个传感器信号中的信息的频率分量的振幅作为输入,并且所述分类算法的输出是在所述传感器信号的条件下的不同的活动的估计概率。
9)根据1)至8)中的任一项所述的方法,其特征在于,所述方法包括将所述至少一个移动通信装置布置为包括用于执行在所述至少一个移动通信装置处的至少一个移动软件应用的数据处理器,其中,所述至少一个移动软件应用能操作以使得所述至少一个移动通信装置的图形用户界面呈现以至少一个时间线的形式的从所述计算硬件提供的分析活动结果,其中,不同的分析活动相对于所述至少一个时间线由多个彼此不同的符号表示。
10)一种用于跟踪和记录包含一个或多个运动传感器和无线接口的至少一个移动通信装置的运动的系统,其中,其中,所述系统包括用于与所述至少一个移动通信装置通信的通信网络以及用于处理在操作中从所述至少一个移动通信装置提供的数据的计算硬件,所述系统包括:一个或多个处理器;以及至少一个存储器,耦接至所述处理器并且包括能由所述处理器执行的指令,所述处理器在执行所述指令时能操作以执行根据1)至9)中的任一项所述的方法。
11)一个或多个计算机可读非易失性存储介质,包含软件,所述软件在被执行时能操作以进行根据1)至9)中的任一项所述的方法。
12)根据11)所述的存储介质,其特征在于,所述软件能从软件应用商店下载到移动通信装置。
13)一种移动通信装置被配置为在根据10)所述的系统中实现并且用于执行根据1)至9)中的任一项所述的方法。
14)一种使用用于跟踪和记录包含一个或多个运动传感器和无线接口的至少一个移动通信装置的运动的系统的方法,其中,所述系统包括与所述至少一个移动通信装置通信的通信网络以及用于处理在操作中从所述至少一个移动通信装置提供的数据的计算硬件,其特征在于,所述方法包括:
操作所述至少一个移动通信装置以将一个或多个传感器信号传送至所述系统,其中,所述一个或多个传感器信号表示与所述至少一个移动通信装置被其用户暴露于的活动相关的运动;
操作所述系统的所述计算硬件以执行用于分析所述一个或多个传感器信号的一个或多个软件产品,其中,所述计算硬件能操作以将所述一个或多个传感器信号预分类以产生中间数据,并且所述中间数据此后在一个或多个处理器中被处理以产生与所述一个或多个传感器信号相关的可能的活动的一个或多个指示,并且所述计算硬件能操作以计算所述一个或多个指示的集合,以提供与所述一个或多个信号相关的一个或多个活动的分析;以及
操作所述计算硬件以将指示一个或多个最可能的活动类型的信息发送至所述至少一个移动通信装置。
15)根据14)所述的方法,其特征在于,所述方法进一步包括:
操作所述系统的所述计算硬件以执行用于分析所述一个或多个传感器信号的一个或多个软件产品,以将所述一个或多个传感器信号分类至一个或多个时间区域,并且以分析每个给定的时间区域以内的所述一个或多个传感器信号,以确定与所述给定的时间区域相关的最可能的活动类型;
操作所述计算硬件以将指示与所述一个或多个时间区域相关的一个或多个最可能的活动类型的信息发送至所述至少一个移动通信装置;以及
操作所述至少一个移动通信装置以请求所述移动通信装置的用户提供确认,确认指示与所述一个或多个时间区域相关的所述一个或多个最可能的活动类型的信息是否表示正确的分析,并且将所述确认传送回到所述计算硬件以便修正执行所述一个或多个传感器信号的分析的所述一个或多个软件产品中使用的参数和/或算法以改善它们的精确度。
16)根据14)所述的方法,其特征在于,所述方法包括:配置所述一个或多个处理器为基本上并行处理所述一个或多个传感器信号,其中,所述一个或多个处理器彼此专用于确定与所述一个或多个处理器专用于的一个或多个活动相对应的所述一个或多个信号的特征。
17)根据14)所述的方法,其特征在于,所述方法包括:操作所述系统以产生由所述至少一个移动通信装置经历的活动的时间记录。
18)根据14)所述的方法,其特征在于,所述方法包括通过以下中的至少一个实现至少一个移动通信装置:个人计算机、便携式媒体设备、智能电话、手腕佩带电话、平板电话、移动电话、平板电脑。
19)根据14)所述的方法,其特征在于,所述方法包括:使用以下中的至少一个实现所述至少移动通信装置的所述一个或多个传感器:陀螺角度传感器、加速计、GPS位置传感器、蜂窝位置传感器、磁力计、麦克风、摄像机、温度传感器。
20)根据14)所述的方法,其特征在于,所述一个或多个软件产品能操作以在所述计算硬件上执行时实现以下中的至少一个:
包括在所述一个或传感器信号中的信息的监督或半监督分类分析;以及
包括在所述一个或多个传感器信号中的信息的启发式分析。
21)根据20)所述的方法,其特征在于,所述监督或半监督分类算法能够使用包括在所述一个或多个传感器信号中的信息的频率分量的振幅作为输入,并且所述分类算法的输出是在所述传感器信号的条件下的不同的活动的估计概率。
22)根据14)所述的方法,其特征在于,所述方法包括:将所述至少一个移动通信装置布置为包括用于执行在所述至少一个移动通信装置处的至少一个移动软件应用的数据处理器,其中,所述至少一个移动软件应用能操作以使得所述至少一个移动通信装置的图形用户界面呈现以至少一个时间线的形式的从所述计算硬件提供的分析活动结果,其中,不同的分析活动相对于所述至少一个时间线由多个彼此不同的符号表示。
23)一种用于跟踪和记录包含一个或多个运动传感器和无线接口的至少一个移动通信装置的运动的系统,其中,所述系统包括与所述至少一个移动通信装置通信的通信网络以及用于处理在操作中从所述至少一个移动通信装置提供的数据的计算硬件,其特征在于,
所述至少一个移动通信装置能操作以将一个或多个传感器信号传送至所述系统,其中,所述一个或多个传感器信号表示与所述至少一个移动通信装置被其用户暴露于的活动相关的运动;
所述系统的所述计算硬件能操作以执行用于分析所述一个或多个传感器信号的一个或多个软件产品,其中,所述计算硬件能操作以将所述一个或多个传感器信号预分类以产生中间数据,并且所述中间数据此后在一个或多个处理器中被处理以产生与所述一个或多个传感器信号相关的可能的活动的一个或多个指示,并且所述计算硬件能操作以计算所述一个或多个指示的集合以提供与所述一个或多个信号相关的一个或多个活动的分析;以及
所述计算硬件能操作以将指示一个或多个最可能的活动类型的信息发送至所述至少一个移动通信装置。
24)根据23)所述的系统,其进一步的特征在于,
所述系统的所述计算硬件能操作以执行用于分析所述一个或多个传感器信号的一个或多个软件产品,以将所述一个或多个传感器信号分类至一个或多个时间区域,并且以分析每个给定的时间区域以内的所述一个或多个传感器信号,以确定与所述给定的时间区域相关的最可能的活动类型;
所述计算硬件能操作以将指示与所述一个或多个时间区域相关的一个或多个最可能的活动类型的信息发送至所述至少一个移动通信装置;以及
所述至少一个移动通信装置能操作以请求其用户提供确认,确认指示与所述一个或多个时间区域相关的所述一个或多个最可能的活动类型的信息是否表示正确的分析,并且将所述确认传送回到所述计算硬件以便修正执行所述一个或多个传感器信号的分析的所述一个或多个软件产品中使用的参数和/或算法以改善它们的精确度。
25)根据23)所述的系统,其特征在于,所述一个或多个处理器被配置为基本上并行处理所述一个或多个传感器信号,其中,所述一个或多个处理器彼此专用于确定与所述一个或多个处理器专用于的一个或多个活动相对应的所述一个或多个信号的特征。
26)根据23)所述的系统,其特征在于,所述系统能操作以产生由所述至少一个移动通信装置经历的活动的时间记录。
27)根据23)所述的系统,其特征在于,通过以下中的至少一个实现所述至少一个移动通信装置:个人计算机、便携式媒体设备、智能电话、手腕佩带电话、平板电话、移动电话、平板电脑。
28)根据23)所述的系统,其特征在于,所述至少移动通信装置的一个或多个传感器使用以下中的至少一个实现:陀螺角度传感器、加速计、GPS位置传感器、蜂窝定位传感器、磁力计、麦克风、摄像机、温度传感器。
29)根据23)所述的系统,其特征在于,所述一个或多个软件产品能操作以在所述计算硬件上执行时实现以下中的至少一个:
(a)包括在所述一个或传感器信号中的信息的监督或半监督分类分析;以及
(b)包括在所述一个或多个传感器信号中的信息的启发式分析。
30)根据29)所述的系统,其特征在于,所述监督或半监督分类算法能够使用包括在所述一个或多个传感器信号中的信息的频率分量的振幅作为输入,并且所述分类算法的输出是在所述传感器信号的条件下的不同的活动的估计概率。
31)根据23)所述的系统,其特征在于,所述至少一个移动通信装置包括用于执行在所述至少一个移动通信装置处的至少一个移动软件应用的数据处理器,其中,所述至少一个移动软件应用能操作以使得所述至少一个移动通信装置的图形用户界面呈现以至少一个时间线的形式的从所述计算硬件提供的分析活动结果,其中不同的分析活动相对于所述至少一个时间线由多个彼此不同的符号表示。
32)一种存储在非易失性机器可读数据存储介质的软件产品,其特征在于,所述软件产品在移动通信装置的计算硬件上可执行以实现根据14)所述的方法。
33)根据32)所述的软件产品,其特征在于,所述软件产品能从软件应用商店下载到所述便携式装置。
34)一种在实现根据23)所述的系统时使用的移动通信装置。
附图说明
以上总结以及示例性实施方式的以下详细说明在结合附图阅读时更好理解。为了示出本公开,本公开的示例性构造在附图中示出。然而,本发明不限于在这里公开的特定方法和手段。此外,本领域技术人员将理解附图不是按比例的。在任何可能的情况下,相同元件已通过相同的标号指出。
图1是适合于实践本公开的各种实施方式的系统的高层架构的示意图;
图2根据本公开的图1的移动通信装置和计算硬件之间的信息交换的示意图;
图3是根据本公开的移动通信装置的图形用户界面(GUI)的示意图;
图4是根据本公开的移动通信装置的GUI的可替换的布局的示意图;
图5是根据本公开的确定移动通信装置的用户的活动的方法的步骤的示意图;
图6是根据本公开的使用用于跟踪和记录移动通信装置的运动的系统的步骤的示意图;
图7是移动通信装置的实例并且已结合图2说明的移动通信装置的图形用户界面(GUI)的示意图;
图8是根据本公开的结合图1说明的活动分析系统的示意图;
图9是根据本公开的实施方式的用于基于相应的移动通信装置的传感器和定位数据确定用户的‘骑自行车’活动的方法的步骤的示意图;
图10是使用根据本公开并且已结合图1和图2说明的用于跟踪和记录移动通信装置的运动的系统的步骤的示意图。
具体实施方式
以下详细说明示出本公开的实施方式以及可以实现的方式。尽管已经公开了执行本发明的最佳模式,但是在本领域中技术人员将认识到执行或实践本发明的其他实施方式也是可能的。
本公开提供一种用于跟踪和记录包括一个或多个运动传感器和无线接口的移动通信装置的运动的系统。该系统包括用于与移动通信装置通信的通信网络以及用于处理在操作中从移动通信装置提供的数据的计算硬件。移动通信装置将一个或多个传感器信号传送至系统,其中传感器信号表示与移动通信装置被其用户暴露于的活动相关的运动。
计算硬件执行一个或多个软件产品,该软件产品用于分析传感器信号以将所述一个或多个传感器信号分类至一个或多个时间区域,并且以分析在每个给定的时间区域以内的信号,以确定与给定的时间区域相关的最可能的活动类型。计算硬件将指示与时间区域相关的最可能的活动类型的信息进一步发送至移动通信装置。然后移动通信装置请求其用户提供确认,确认指示与时间区域相关的最可能的活动类型的信息是否表示正确的分析,并且然后将确认传送回到计算硬件以便修正执行传感器信号的分析的软件产品中使用的参数和/或算法以改善它们的精确度。
计算硬件执行一个或多个软件产品,该软件产品用于分析传感器信号以预分类传感器信号从而产生中间数据,并且该中间数据此后在一个或多个处理器中处理以产生与传感器信号相关的可能的活动的一个或多个指示。计算硬件进一步计算指示的集合以提供与传感器信号相关的一个或多个活动的分析,并且将指示最可能的活动类型的信息发送至移动通信装置。
现在参考附图,尤其通过它们的参考标号,图1是适合于实践本公开的各个实施方式的系统100的高层架构。
系统100包括移动通信装置102,以及通过通信网络106与移动通信装置102通信的服务器系统104。移动通信装置102是用户的手持装置,并且移动通信装置102的实例包括但不限于执行诸如Android、Windows和iOS的操作系统的智能电话、手腕佩带电话、平板手机、移动电话、平板电脑。服务器系统104包括执行一个或多个软件产品的计算硬件,用于处理在操作中从移动通信装置102提供的数据。服务器系统104可以被布置为位于单个地点或者在多个彼此空间分布的地点的云服务或专用服务器。此外,通信网络106的实例包括但不限于远程通信网络和WIFI网络。
移动通信装置102包括一个或多个传感器108和一个或多个定位系统110以确定相应的用户在携带装置102的同时进行一个或多个活动时,移动通信装置102的位置、运动、加速度和/或环境。这样的一个或多个活动的实例包括但不限于,行走、奔跑、慢跑、骑自行车、划船、驾驶汽车、乘公交车、乘火车、走楼梯、跑楼梯、跳跃、游泳、踢足球以及滑雪。传感器108的实例包括运动传感器,该运动传感器被配置为测量移动通信装置102在笛卡尔坐标系的xyz方向上的加速度。传感器108的另一实例包括陀螺角度传感器、磁力计、麦克风、摄像头和温度传感器。定位系统110被配置为通过实施GPS定位系统、蜂窝网络的蜂窝塔信息、室内定位系统、WIFI指纹和近端WiFi网络中的至少一个确定移动通信装置102的位置。在本发明的实施方式中,移动通信装置102可以定期地将由传感器108和定位系统110收集的信息经由通信网络106发送至服务器系统104。
服务器系统104包括接收模块112、第一处理模块114、第二处理模块116和输出模块118。接收模块112从移动通信装置102接收传感器和定位数据。第一处理模块114执行第一处理以分析从传感器108收集的传感器数据,并且第二处理模块116执行第二处理以分析从定位系统110收集的定位数据。在本公开的实施方式中,第一处理和第二处理是并行处理,为了分析的目的,它们可以互相通信并且还可以交换数据。基于传感器数据,第一处理模块114产生用户的活动类型,并且基于定位数据,第二处理模块116产生与活动有关的位置和运动信息。输出模块118处理活动类型信息和活动的运动/位置信息以产生用户的活动的总结/进度表。然后输出模块118将活动总结通过通信网络106发送至移动通信装置102。
移动通信装置102包括数据处理器(未示出),该数据处理器用于执行在所述移动通信装置处的移动软件应用,其中移动软件应用在执行时能操作以使得移动通信装置的图形用户界面(GUI)以时间线格式呈现从服务器系统104提供的活动总结。用户可以将他们对活动总结的肯定的/否定的反馈发送至服务器系统104并且服务器系统104可以接收、存储和实现反馈以改善他们的活动分析。
在本发明的实施方式中,服务器系统104中的某些或全部步骤/分析可以基于移动通信装置102中可用的计算资源在移动通信装置102中实现。
图1仅仅是一个实例,该实例不应过度限制在这里的权利要求的范围。本领域的普通技术人员会认识到在这里的实施方式的很多变化、替代以及修改。
图2是根据本公开的移动通信装置202与用于跟踪和分析移动通信装置202的用户的活动的服务器系统204之间的信息交换的示意图。移动通信装置202和服务器系统204分别是移动通信装置102和服务器系统104的实例,并且已经结合图1说明了。步骤206a发生在移动通信装置202,其中相应的传感器和定位系统测量在相应的用户进行活动时的传感器和定位数据。步骤206b表示将传感器和定位数据从移动通信装置202传送至服务器系统204以分析用户活动。在实施方式中,移动通信装置202可以连续地或者以缓冲格式发送传感器和定位数据。在另一个实施方式中,移动通信装置202可以以原始格式将传感器和定位数据发送至服务器系统204。在又一个实施方式中,移动通信装置202可以在将传感器和定位数据发送至服务器系统204之前处理传感器和定位数据。步骤206c发生在服务器系统204,其中服务器系统204分析从装置202接收的传感器和定位数据。在本发明的实施方式中,服务器系统204可以基于监督分类和/或其它机器学习算法进行分析并且形成用户的活动总结。步骤206d表示将活动总结从服务器系统204传送至移动通信装置202。步骤206e发生在移动通信装置202,其中活动总结显示在移动通信装置202的图形用户界面(GUI)上。步骤206f表示将用户对活动总结的肯定的/否定的反馈传送至服务器系统204。最后,步骤206g表示通过修改参数和/或选择机器学习算法的训练数据由服务器系统204实现反馈以便在将来提供更加准确的活动总结。用于活动监测的机器学习算法的实例包括但不限于,诸如神经网络、决策树以及支持向量机的监督或半监督分类算法。反馈被提供为至机器学习算法的输入并且被用于修改参数并选择机器学习算法的训练数据。
图2仅仅是一个实例,该实例不应过度限制在这里的权利要求的范围。本领域的普通技术人员会认识到在这里的实施方式的很多变化、替代以及修改。
图3是根据本公开的并且已结合图2说明的移动通信装置200的图形用户界面(GUI)302的示意图。
GUI 302以时间线格式显示用户的活动总结(在步骤206d从服务器系统204接收的)。在一个示例性实施方式中,GUI 302通过三个位置符号显示用户的位置,即餐馆符号304、咖啡馆符号306和家的符号308,指示用户相继到了餐馆、咖啡馆和家。由图形符号304、306和308表示的位置基于移动通信装置202的GPS系统、蜂窝网络的蜂窝塔信息、室内定位系统、近端WiFi和/或WiFi指纹确定。GUI 302通过相应的图形符号进一步显示用户进行的活动。在实例中,‘行走’活动符号310显示在餐馆304和咖啡馆306之间以指示用户走着从餐馆到咖啡馆。此外,‘骑自行车’活动符号312显示在咖啡馆306和家308之间以指示用户骑自行车从咖啡馆到家。
故事线显示器302可以是触摸屏显示器并且可以以下方式配置,即在用户触摸或点诸如‘骑自行车’活动符号312的活动指示符号,或者符号312上方的线或者接近符号312的区域时,呈现弹出菜单314。弹出菜单314包括用于使得用户能够修改活动的文本字段316以及用于使得用户能够修改与活动有关的图形符号的符号字段318。相似地,在用户触摸或点诸如‘餐馆’符号304的位置符号,或者符号304以上的线或接近符号304的区域时,可以呈现弹出菜单(未示出)以修改位置。用户对位置/活动符号的修改被作为反馈传送至服务器系统204(步骤206f)。
图3仅仅是一个实例,该实例不应过度限制在这里的权利要求的范围。本领域的普通技术人员会认识到在这里的实施方式的很多变化、替代以及修改。
图4是移动通信装置200的实例并且已结合图2说明的移动通信装置400的图形用户界面(GUI)402的示意图。GUI 402是GUI 302的可替换的布局。GUI 402显示时间线404,该时间线基于一个或多个活动的开始和结束时间被分成‘活动’区域/时段406a、406b、406c、406d和406e,在下文中共同地称为活动区域406。每个活动区域406示出活动以及活动的相应的位置。此外,每个活动区域406可以通过相应的活动的图形符号408或文本描述410示出。
在一个示例性实施方式中,时间线404指示在13:00pm,用户的‘骑自行车’活动结束并且他/她处于‘工作地点’直至17:10pm;在17:10pm,用户开始向着家的‘行走’活动;在17:30pm,用户到达家并且在家直至18:30pm;在18:30pm,用户开始‘驾驶’活动。
图4仅仅是一个实例,该实例不应过度限制在这里的权利要求的范围。本领域的普通技术人员会认识到在这里的实施方式的很多变化、替代以及修改。
图5是根据本公开的确定移动通信装置500的用户的活动的方法的步骤的示意图。用户活动通过提供有在操作中由移动通信装置500产生的传感器和定位数据的分析逻辑模块(未示出),以及注释传感器数据数据库502确定。分析逻辑模块通信耦接至注释传感器数据数据库502。在本发明的实施方式中,分析逻辑模块和注释传感器数据数据库502可以存在于远程服务器系统的内部。在本发明的另一个实施方式中,分析逻辑模块和注释传感器数据数据库502可以存在于移动通信装置500本身内部。
在步骤504,分析逻辑模块接收来自移动通信装置500的传感器和定位系统的用户的传感器和定位数据。在步骤506,分析逻辑模块将时间线格式的传感器和定位数据存储在注释传感器数据数据库502中,即传感器和定位数据是时间戳(time stamped)以记录收集的数据项的每个或一些的时间和日期。注释传感器数据数据库502包括从移动通信装置500接收的传感器和定位数据,注释有来自对于相应的先前确定的活动的用户反馈的信息。
在步骤508,分析逻辑模块分析时间线并且描绘出一个或多个活动时段并且使用不同类型的机器学习算法识别每个活动时间中的用户活动,该机器学习算法是使用存储在注释传感器数据数据库502中的数据训练的。为了准确确定活动,分析逻辑模块可以基于用户的类型、移动装置的类型、用户组的类型、移动装置组的类型以及人口因素等分类注释传感器和定位数据以考虑用户的环境和单独的特点。例如,专业从事长跑的现役的运动员(active athletics)的移动通信装置500的加速计感应的加速度数据可以不同于为很少跑步的业余跑步者感应的加速度数据。现役运动员与业余跑步者相比,可具有更长的步,在步骤之间具有更加可预测的频率,并且频率的变化更低。因此,对于相似的感应数据,活动类型可以基于用户组的类型而不同。此外,一些移动通信装置可能比其他的具有更高的准确性,因此,对于相似的感应数据,活动类型可以基于移动通信装置的类型而不同。人口统计分类可以指基于用户的性别、年龄、生活地点等分割用户,因为相同的活动的传感器数据可以因人而异。分析逻辑模块可以进一步权衡(weight)所分类的传感器数据以考虑到用户特定特征,即数据可以具有由来自所有用户的平均数据组成的加权元素以及基于使用历史来自某些用户的用户特定元素。
在步骤510,分析逻辑模块能够使用分类的传感器数据制成用户活动的时间线,并且将时间线传送至移动通信装置500。移动通信装置500可以将时间线显示在装置500的用户界面上。在步骤512,分析逻辑模块可以从移动通信装置500接收建议以便校正时间线中的一个或多个用户活动。用于校正用户活动的建议可以提供至注释传感器数据数据库502以便训练机器学习算法。
在步骤514,移动通信装置500能够使用用户界面分析法监测用户是否已经看到建议的时间线。如果用户已经看到所建议的时间线而没有对时间线的任何活动提供任何校正,那么没有反馈可以被认为是肯定的反馈并且在注释传感器数据数据库502中更新一个或多个活动的分析是正确的并且可以用作算法的训练数据。此外,如果用户已看到某天的故事线/时间线并且已主动进行了校正,则可以得出结论在故事线中用户没有改变的所识别的活动可被认为是正确的并且可以用作算法的训练数据。此外,可以得出结论在故事线中用户改变的所识别的活动可能是不正确的。用户对某个活动进行的校正的量可以用作对于那个活动的识别精确度的度量。在注释传感器数据数据库502中,传感器数据可以基于包含有关用户对相应的建议活动的反馈的信息的注解,利用作标记的某个置信度来标记。
在本发明的实施方式中,分析逻辑模块可以实现基于传感器和定位数据确定用户活动的第一机器学习算法,并且新引入第二机器学习算法。然而,如果基于第二算法分析的数据比由第一算法分析的数据更加准确,那么第二算法可以被确定为比第一算法优先的算法。这个特征使得能够测试不同的设置并且得到对机器学习算法的能力的“投票”。
应当注意的是在这里步骤504至514仅是说明性的并且在没有背离在这里的权利要求的范围的情况下增加一个或多个步骤、去掉一个或多个步骤或者以不同的顺序提供一个或多个步骤时也可以提供其它的选择。
图6是使用根据本公开并且已结合图1和图2说明的用于跟踪和记录移动通信装置102的运动的系统100的步骤的示意图。该方法在逻辑流程示图中被描述为一系列步骤,表示可以在硬件、软件或其组合中实现的步骤的顺序。
在步骤602,移动通信装置102能操作以将一个或多个传感器信号传送至服务器系统104,其中传感器信号表示与移动通信装置102被其用户暴露于的活动相关的运动。传感器信号是移动通信装置102的一个或多个传感器的输出。
在步骤604,服务器系统104的计算硬件能操作以执行一个或多个软件产品,该一个或多个软件产品用于分析传感器信号以将其分类至一个或多个时间区域,以下简称活动区域,并且以分析每个活动区域以内的传感器信号,以确定与活动区域相关的最可能的活动类型。
在步骤606,计算硬件可被操作为将指示与一个或多个活动区域相关的一个或多个最可能的活动类型的信息发送至移动通信装置102。
在步骤608,移动通信装置102能操作以请求其用户提供确认,确认指示最可能的活动类型的信息是否表示正确的分析,并且然后将确认传送回到计算硬件以便修正执行传感器信号的分析的软件产品中使用的参数和/或算法以改善它们的精确度。
应当注意的是在这里步骤602至608仅是说明性的并且在没有背离在这里的权利要求的范围的情况下增加一个或多个步骤、去掉一个或多个步骤或者以不同的顺序提供一个或多个步骤时也可以提供其它的选择。
图7是移动通信装置102的实例并且已结合图2说明的移动通信装置700的图形用户界面(GUI)702的示意图。在图7中示出的实施方式与在图4中示出的实施方式相似。GUI702显示时间线704,该时间线基于一个或多个活动的开始和结束时间被分成‘活动’区域/时段706a、706b、706c、706d和706e,在下文中共同地称为活动区域706。每个活动区域706示出活动以及活动的相应的位置。此外,每个活动区域706可以通过相应的活动的图形符号708或文本描述710示出。
在一个示例性实施方式中,时间线704指示在时间13:00pm,用户的‘骑自行车’活动结束并且他/她处于‘工作地点’直至17:10pm;在时间17:10pm,用户开始向着家的‘行走’活动;在时间17:30pm,用户到达家并且在家直至时间18:30pm;在时间18:30pm,用户开始‘驾驶’活动。
图7仅仅是一个实例,该实例不应过度限制在这里的权利要求的范围。本领域的普通技术人员会认识到在这里的实施方式的很多变化、替代以及修改。
图8是根据本公开的结合图1说明的活动分析系统800的示意图。活动分析系统800基于相应的移动通信装置的传感器和定位数据,以及历史、资料、人口统计和用户的活动类型确定用户活动。
在本发明的实施方式中,活动分析系统800可以存在于远程服务器系统104内部。在本发明的另一个实施方式中,活动分析系统800可以至少部分地存在于移动通信装置102本身的内部。
活动分析系统800包括接收模块802、预处理模块804、预分类模块806、第一至第n分类器节点808a直到808n,以下简称分类器节点808、活动确定模块810以及输出模块812。接收模块802从移动通信装置102的传感器108和定位系统110收集原始数据,即未处理的数据。预处理模块804预处理由接收模块802收集的原始数据。预处理数据的实例包括但不限于,过滤数据,进行域转换,诸如使用快速傅里叶转换(FFT)的时域至频域转换,分类数据,求数据平均值并且结合数据,将表示各种类型的用户活动的一个或多个预先确定的数据组相关联。
预分类模块806从预处理模块804接收预处理数据并且将其预分类至一个或多个大类。例如,将从移动通信装置102的运动传感器接收的传感器数据与预先确定的速度值相比较以便将慢的运动,即行走和跑楼梯,与快的运动,即奔跑和骑自行车区分开,并且将运动数据分类成诸如‘慢的运动’和‘快的运动’的大类。在实施方式中,预分类模块806包括用于预分类预处理的数据的规则集和/或预定的确定性算法。
每个分类器节点808包括专用于确定对应于预定活动的传感器数据的特征的处理器。例如,第一分类器节点N1 808a可以专用于确定与‘骑自行车’活动有关的传感器数据的特征,第二分类器节点N2 808b可以专用于确定‘行走活动’,第三分类器节点N3 808c可以专用于确定‘奔跑’活动等。
分类器节点808被配置为基本并行处理预分类的数据,其中每个分类器节点808产生预分类的数据的相应的预定活动的可能性。在一个示例性实施方式中,在用户进行‘骑自行车’活动时,专用于识别‘骑自行车’活动的第一分类器节点N1 808a可以产生概率值‘1’,第二分类器节点N2 808b可以产生概率值‘0.3’,并且第三分类器节点N3 808c可以产生概率值‘0.8’。
活动确定模块810可以集合由分类器节点808产生的概率值以确定与由接收模块802收集的传感器和定位数据相对应的‘活动类型’。除集合分类器节点808的概率之外,活动确定模块810可以采用诸如转换窗口(transition windows)的确定性规则以确定‘活动类型’。转换窗口可以设定活动的惯性(inertia)以便不过于频繁地切换活动。例如,活动类型将不会非常快地从‘骑自行车’变化成‘行走’又回到‘骑自行车’。诸如转换窗口的确定性规则能够使用诸如隐马尔可夫模型(HMM)以及基于HMM的更加复杂的模型实现。
输出模块812将由活动确定模块810确定的一个或多个‘活动类型’提供至移动通信装置102。在实施方式中,输出模块812可以将确定的活动类型以时间线格式显示在移动通信装置102的图形用户界面(GUI)上。
图8仅仅是一个实例,该实例不应过度限制在这里的权利要求的范围。本领域的普通技术人员会认识到在这里的实施方式的很多变化、替代以及修改。
图9是根据本公开的实施方式的用于基于相应的移动通信装置的传感器和定位数据确定用户的‘骑自行车’活动的方法的步骤的示意图。
在本发明的实施方式中,用于确定用户的‘骑自行车’活动的方法的步骤可以通过图8的活动分析系统800执行。活动分析系统800可以存在于远程服务器系统104的内部或者可以至少部分地存在于用户的移动通信装置102本身的内部。
在步骤900,从移动通信装置102的加速计传感器接收一组加速度数据。该组加速度数据是原始格式的,即未处理的,并且可以由加速计传感器每30秒收集一次。在一个示例性实施方式中,该组加速度数据具有3秒的持续时间并且包括每1/20秒收集的加速度样本。因此,每个3秒数据组包括总计60个加速度样本并且每个加速度样本包括移动通信装置102在利用移动通信装置102定向的坐标系中的x、y和z方向上的加速度。因此,每个加速度样本包括三个值并且三秒数据组包括总计180(3X60)个值。
在步骤901,从移动通信装置102的定位系统接收一组位置数据。定位数据可以包括来自移动位置服务的时间戳、位置坐标和估计的水平精确度。在一个示例性实施方式中,以从几秒至几分钟的范围的间隔接收位置数据。
在步骤902,该组加速度数据经受重力转换,其中,为每个加速度样本计算新的转换的样本,其中相应的z分量是沿着加速度矢量的平均值定向的。在另一个实施方式中,该组加速度数据可以经受主分量分析(PCA)转换,其中为每个加速度样本计算新的转换样本,其中相应的z坐标仍然相同,但是相应的x和y分量被转换使得当仅包含x和y分量时它们沿着加速度样本的主分量定向。
在步骤904,位置数据可以被预处理,其中预处理数据的实例包括但不限于过滤数据,进行域转换,诸如使用快速傅里叶转换(FFT)从时域至频域转换,分类数据,求数据平均值,对数据进行一个或多个关联,以及结合数据。在步骤906,可以基于预处理的位置数据估计移动通信装置102的粗略速度。例如,可以基于连续的位置坐标之间的距离和连续的位置坐标之间的时间差估计粗略速度。
在步骤908,基于转换的加速度样本和估计的粗略速度估计传感器和位置数据的一个或多个特征,其中每个‘特征’均具有数值。特征的实例包括转换的加速度样本的每个分量(x,y,z)的平均值、变化值、最小值和最大值,加速度样本的x、y或z分量的傅里叶转换版本的分量等。
与在步骤908获得的数据相对应的用户活动可以基于使用第一分类器的在步骤910的第一分类以及使用第二分类器的在步骤912的第二分类识别。在实施方式中,第一分类器和第二分类器可以与图8的分类器节点808相似。尽管在这里示出两个分类器,但本领域技术人员显而易见的是,多于两个分类器可以用于识别用户活动。
在步骤910和912的第一分类器和第二分类器使用用于分类的标准监督分类算法,诸如神经网络、决策树或支持向量机。第一分类器是对于具有分类为‘骑自行车’或者‘非骑自行车’的训练样本的大的训练数据组训练的二进制分类器,并且为在步骤908获得的数据样本产生活动标记‘骑自行车’或‘非骑自行车’。第二分类器是对于更小的组的更加准确地标记的数据训练的多类分类器,并且为在步骤908获得的数据样本产生‘骑自行车’、‘奔跑’、‘开车’、‘乘火车’、‘行走’以及‘其他’中的一个的活动标记。
在实施方式中,如果第一分类器和第二分类器为在步骤908获得的数据样本产生标记‘骑自行车’,则用户活动被识别为‘骑自行车’。在另一个实施方式中,在第一分类器产生活动标记‘非骑自行车’时,则基于由第二分类器产生的活动标记识别用户活动。在又一个实施方式中,在第一分类器产生活动标记‘非骑自行车’并且第二分类器产生一种标记‘骑自行车’时,则用户活动被识别为‘其他’。在又一个实施方式中,第一分类器可以产生用户活动是‘非骑自行车’的概率。在‘非骑自行车’的概率高时,那么可以忽略指示‘骑自行车’活动的其他分类器结果。
在步骤913,计算用户的步进计数,并且在步骤914,元分类器(meta-classifier)利用步进计数数据以及由第一分类器和第二分类器产生的数据结合在步骤910和912识别的活动以形成一个或多个活动时段。在实施方式中,在存在N个连续的加速度样本时,它们中第一个或最后一个利用给定的活动标记,并且大部分(或者至少它们的x%)属于那个活动,N个连续样本的整个时段被确定为活动时段。
在步骤916,一个或多个活动时段可以基于位置数据和贝叶斯‘交互式多模型’平滑算法与相应的位置相关联。在步骤918,在移动通信装置102静止并且在所述移动通信装置处没有进行活动时,一个或多个静止片段可以基于位置数据识别。
在步骤920,最终活动的启发型分析(heuristics-type analysis)基于处理的位置和加速度数据发生。启发式是规则,并且规则的实例是:如果在步骤918识别出静止片段具有比x秒更短的没有识别的活动的时段,并且相邻的活动时段具有大于y秒的持续时间,则静止片段被替换成利用相邻的活动/几个活动标记的活动时段。例如,如果在10分钟骑自行车的活动中,用户在中间出现1分钟的停止,那么1分钟的静止片段被忽视,并且整个10分钟与骑自行车的活动相关联。此外,如果在10分钟的时段中,存在连续的骑自行车和交通活动,并且在中间没有至少n分钟的停止并且没有行走活动,那么整个10分钟的时段利用当时大部分时间所发生的活动来标记。然而,如果在交通和骑自行车活动之间存在至少一个检测出的行走样本,那么骑自行车和交通活动形成两个不同的活动时段。
在步骤922,进行距离和步的计算,并且在步骤924进行地点匹配以优化在步骤920识别的用户活动的准确性。最后,在步骤926,创建故事线,该故事线包括时间线格式的各种用户活动。
图9仅仅是一个实例,该实例不应过度限制在这里的权利要求的范围。本领域的普通技术人员会认识到在这里的实施方式的很多变化、替代以及修改。
图10是使用根据本公开并且已结合图1和图2说明的用于跟踪和记录移动通信装置102的运动的系统100的步骤的示意图。该方法在逻辑流程示图中被描述为一系列步骤,表示可以在硬件、软件或其组合中实现的步骤的顺序。
在步骤1002,移动通信装置102能操作以将一个或多个传感器信号或者与其相对应的传感器数据传送至服务器系统104,其中传感器信号表示与其用户将移动通信装置102暴露于的活动相关的运动。传感器信号或者相应的传感器数据是移动通信装置102的一个或多个传感器的输出。
在步骤1004,服务器系统104的计算硬件能操作以执行用于分析传感器信号和相应的传感器数据的一个或多个软件产品,其中计算硬件能操作以预分类传感器信号以产生中间数据,并且中间数据此后在一个或多个处理器中被处理以产生与传感器信号相关的可能的活动的一个或多个指示。计算硬件进一步能操作以计算一个或多个指示的集合以提供与传感器信号相关的活动的分析。
在步骤1006,计算硬件能操作以将指示与一个或多个时间区域相关的最可能的活动类型的信息发送至移动通信装置102。
应当注意的是在这里步骤1002至1006仅是说明性的并且在没有背离在这里的权利要求的范围的情况下增加一个或多个步骤、去掉一个或多个步骤或者以不同的顺序提供一个或多个步骤时也可以提供其它的选择。
尽管本发明的实施方式已在前面综合描述了,并且以大量的细节阐明了可能的方面,但本领域技术人员将认识到还可能存在本发明的其他版本。本发明的实施方式易于被用于监控监狱中的囚犯,用于监控家中的病人或者医院中的老人等。
Claims (32)
1.一种用于通信的系统,包括:
一个或多个处理器;
预分类模块;以及
存储器,耦接至所述处理器,所述存储器包括能由所述处理器执行的指令,所述处理器在执行所述指令时能操作以:
从移动通信设备接收一个或多个传感器信号,所述一个或多个传感器信号指示与所述移动通信设备的用户相关联的运动;
由所述预分类模块从多个活动大类确定对应于所述传感器信号的至少部分的具体的活动大类,其中,每个所述活动大类包括一个或多个活动类型,并且每个所述活动大类以所述活动大类中的所述活动类型共有的在快慢方面的快和慢为特征,其中,所述预分类模块被布置为使用规则集和/或预定的确定性算法来分类所述传感器信号的至少部分;
通过以下,从在具体的所述活动大类中的活动类型中确定所述用户的一个或多个可能的活动类型:
针对在具体的所述活动大类中的活动类型中的每个,分析所述传感器信号;以及
基于所述分析,计算所述用户的活动类型中的每个的概率;以及
发送可能的所述活动类型到所述移动通信设备。
2.根据权利要求1所述的系统,其中,所述一个或多个处理器被配置为并行处理所述传感器信号,其中,所述处理器相互专用于识别对应于一个或多个活动类型的所述传感器信号的特性。
3.根据权利要求1所述的系统,其中,确定活动类型包括生成所述移动通信设备经历的活动类型的时间记录。
4.根据权利要求1所述的系统,其中,移动通信设备包括个人电脑、便携式媒体设备、智能手机、手腕佩戴电话、平板电话、移动电话或平板电脑。
5.根据权利要求1所述的系统,其中,所述移动通信设备包括一个或多个传感器,所述一个或多个传感器包括陀螺角度传感器、加速计、GPS位置传感器、蜂窝定位传感器、磁力仪、麦克风、摄像机、或者温度传感器。
6.根据权利要求1所述的系统,其中,所述传感器信号的分析包括:
监督分类分析或者半监督分类分析;或者
启发式分析。
7.根据权利要求6所述的系统,其中,所述监督分类分析或者半监督分类分析包括分类算法,所述分类算法用于输入包括在所述传感器信号中的信息的频率分量的振幅,并且所述分类算法的输出是基于所述传感器信号的不同活动类型的估计的概率。
8.根据权利要求1所述的系统,其中,发送确定的活动类型包括发送分析的活动结果到所述移动通信设备,用于显示在所述移动通信设备的软件应用的图形用户界面上,其中,所分析的活动结果包括时间线,所述时间线包括多个相互不同的符号,所述符号表示不同的分析的活动类型。
9.一种用于通信的方法,包括
通过计算设备,从移动通信设备接收一个或多个传感器信号,所述一个或多个传感器信号指示与所述移动通信设备的用户的活动相关联的运动;
通过计算设备,由预分类模块从多个活动大类确定对应于所述传感器信号的至少部分的具体的活动大类,其中,每个所述活动大类包括一个或多个活动类型,并且每个所述活动大类以所述活动大类中的所述活动类型共有的在快慢方面的快和慢为特征,其中,所述预分类模块被布置为使用规则集和/或预定的确定性算法来分类所述传感器信号的至少部分;
通过以下方式,通过计算设备,从在具体的所述活动大类中的活动类型确定所述用户的一个或多个可能的活动类型:
针对在具体的所述活动大类中的活动类型中的每个,分析所述传感器信号;以及
基于所述分析,计算所述用户的活动类型中的每个的概率;以及
通过计算设备,发送可能的所述活动类型至所述移动通信设备。
10.根据权利要求9的所述方法,其中,通过所述计算设备的一个或多个处理器,并行分析所述传感器信号,所述处理器相互专用于识别对应于一个或多个活动类型的所述传感器信号的特性。
11.根据权利要求9的所述方法,其中,确定活动类型包括生成所述移动通信设备经历的活动类型的时间记录。
12.根据权利要求9的所述方法,其中,所述移动通信设备包括个人电脑、便携式媒体设备、智能手机、手腕佩戴电话、平板电话、移动电话或平板电脑。
13.根据权利要求9的所述方法,其中,移动通信设备包括一个或多个传感器,所述一个或多个传感器包括陀螺角度传感器、加速计、GPS位置传感器、蜂窝定位传感器、磁力仪、麦克风、摄像机、或者温度传感器。
14.根据权利要求9的所述方法,其中,所述传感器信号的分析包括:
监督分类分析或者半监督分类分析;或者
启发式分析。
15.根据权利要求14所述的方法,其中,所述监督分类分析或者半监督分类分析包括分类算法,所述分类算法用于输入包括在所述传感器信号中的信息的频率分量的振幅,并且所述分类算法的输出是基于所述传感器信号的不同活动类型的估计的概率。
16.根据权利要求9的所述方法,其中,发送确定的活动类型包括发送分析的活动结果到所述移动通信设备,用于显示在所述移动通信设备的软件应用的图形用户界面上,其中,所分析的活动结果包括时间线,所述时间线包括多个相互不同的符号,所述符号表示不同的分析的活动类型。
17.一种用于通信的设备,包括:
一个或多个处理器;
预分类模块;以及
耦接至所述处理器的存储器,所述存储器包括能由所述处理器执行的指令,所述处理器在执行所述指令时能操作以:
发送所述设备的一个或多个传感器信号到服务器计算系统,其中,所述传感器信号包括与所述设备的用户的活动相关联的运动的指示;以及
基于以下,从所述服务器计算系统接收一个或多个活动类型:
由所述预分类模块从多个活动大类确定对应于所述传感器信号的至少部分的具体的活动大类,其中,每个所述活动大类包括一个或多个活动类型,并且每个所述活动大类以所述活动大类中的所述活动类型共有的在快慢方面的快和慢为特征,其中,所述预分类模块被布置为使用规则集和/或预定的确定性算法来分类所述传感器信号的至少部分;以及
通过以下,确定在所述活动大类中的所述用户的可能的活动类型:
针对在具体的所述活动大类中的活动类型中的每个,分析所述传感器信号;以及
基于所述分析,计算所述用户的活动类型中的每个的概率。
18.根据权利要求17所述的设备,其中,通过所述服务器计算系统的一个或多个处理器,并行分析所述传感器信号,所述处理器相互专用于识别对应于一个或多个活动类型的所述传感器信号的特性。
19.根据权利要求17所述的设备,其中,确定活动类型包括生成所述设备经历的活动类型的时间记录。
20.根据权利要求17所述的设备,其中,所述设备包括个人电脑、便携式媒体设备、智能手机、手腕佩戴电话、平板电话、移动电话或平板电脑。
21.根据权利要求17所述的设备,其中,所述设备包括一个或多个传感器,所述一个或多个传感器包括陀螺角度传感器、加速计、GPS位置传感器、蜂窝定位传感器、磁力仪、麦克风、摄像机、或者温度传感器。
22.根据权利要求17所述的设备,其中,所述传感器信号的分析包括:
监督分类分析或者半监督分类分析;或者
启发式分析。
23.根据权利要求22所述的设备,其中,所述监督分类分析或者半监督分类分析包括分类算法,所述分类算法用于输入包括在所述传感器信号中的信息的频率分量的振幅,并且所述分类算法的输出是基于所述传感器信号的不同活动类型的估计的概率。
24.根据权利要求17所述的设备,其中,接收活动类型包括从所述服务器计算系统接收分析的活动结果,用于显示在所述设备的软件应用的图形用户界面上,其中,所分析的活动结果包括时间线,所述时间线包括多个相互不同的符号,所述符号表示不同的分析的活动类型。
25.一种用于通信的方法,包括:
通过移动通信装置,发送所述移动通信装置的一个或多个传感器信号至服务器计算系统,其中,所述传感器信号包括与所述移动通信装置的用户的活动相关联的运动的指示;以及
通过所述移动通信装置,基于以下,从所述服务器计算系统接收一个或多个活动类型:
由预分类模块从多个活动大类确定对应于所述传感器信号的至少部分的具体的活动大类,其中,每个所述活动大类包括一个或多个活动类型,并且每个所述活动大类以所述活动大类中的所述活动类型共有的在快慢方面的快和慢为特征,其中,所述预分类模块被布置为使用规则集和/或预定的确定性算法来分类所述传感器信号的至少部分;以及
通过以下,确定在所述活动大类中的所述用户的活动类型:针对在具体的所述活动大类中的活动类型中的每个,分析所述传感器信号;以及
基于所述分析,计算所述用户的活动类型中的每个的概率。
26.根据权利要求25所述的方法,其中,通过所述服务器计算系统的一个或多个处理器,并行分析所述传感器信号,所述处理器相互专用于识别对应于一个或多个活动类型的所述传感器信号的特性。
27.根据权利要求25所述的方法,其中,确定活动类型包括生成所述移动通信装置经历的活动类型的时间记录。
28.根据权利要求25所述的方法,其中,所述移动通信装置包括个人电脑、便携式媒体设备、智能手机、手腕佩戴电话、平板电话、移动电话或平板电脑。
29.根据权利要求25所述的方法,其中,所述移动通信装置包括一个或多个传感器,所述一个或多个传感器包括陀螺角度传感器、加速计、GPS位置传感器、蜂窝定位传感器、磁力仪、麦克风、摄像机、或者温度传感器。
30.根据权利要求25所述的方法,其中,所述传感器信号的分析包括:
监督分类分析或者半监督分类分析;或者
启发式分析。
31.根据权利要求30所述的方法,其中,所述监督分类分析或者半监督分类分析包括分类算法,所述分类算法用于输入包括在所述传感器信号中的信息的频率分量的振幅,并且所述分类算法的输出是基于所述传感器信号的不同活动类型的估计的概率。
32.根据权利要求25所述的方法,其中,接收活动类型包括从所述服务器计算系统接收分析的活动结果,用于显示在所述移动通信装置的软件应用的图形用户界面上,其中,所分析的活动结果包括时间线,所述时间线包括多个相互不同的符号,所述符号表示不同的分析的活动类型。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/930,347 | 2013-06-28 | ||
US13/930,321 US8948783B2 (en) | 2013-06-28 | 2013-06-28 | User activity tracking system |
US13/930,347 US9125015B2 (en) | 2013-06-28 | 2013-06-28 | User activity tracking system and device |
US13/930,321 | 2013-06-28 | ||
CN201480047663.7A CN105493528A (zh) | 2013-06-28 | 2014-06-18 | 用户活动跟踪系统和装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480047663.7A Division CN105493528A (zh) | 2013-06-28 | 2014-06-18 | 用户活动跟踪系统和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110830592A true CN110830592A (zh) | 2020-02-21 |
Family
ID=52142913
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911164997.3A Pending CN110830592A (zh) | 2013-06-28 | 2014-06-18 | 用于通信的系统、方法和设备 |
CN201480047663.7A Pending CN105493528A (zh) | 2013-06-28 | 2014-06-18 | 用户活动跟踪系统和装置 |
CN201610183106.9A Active CN105872034B (zh) | 2013-06-28 | 2014-06-18 | 跟踪和记录运动的系统、使用其的方法及移动通信装置 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480047663.7A Pending CN105493528A (zh) | 2013-06-28 | 2014-06-18 | 用户活动跟踪系统和装置 |
CN201610183106.9A Active CN105872034B (zh) | 2013-06-28 | 2014-06-18 | 跟踪和记录运动的系统、使用其的方法及移动通信装置 |
Country Status (11)
Country | Link |
---|---|
US (4) | US8948783B2 (zh) |
EP (3) | EP3014905B1 (zh) |
JP (2) | JP6110518B2 (zh) |
KR (2) | KR101799474B1 (zh) |
CN (3) | CN110830592A (zh) |
AU (2) | AU2014302977B2 (zh) |
BR (1) | BR112015032727A8 (zh) |
CA (2) | CA2916858A1 (zh) |
IL (2) | IL243350A (zh) |
MX (2) | MX351164B (zh) |
WO (1) | WO2014209697A1 (zh) |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8948783B2 (en) * | 2013-06-28 | 2015-02-03 | Facebook, Inc. | User activity tracking system |
US9125015B2 (en) * | 2013-06-28 | 2015-09-01 | Facebook, Inc. | User activity tracking system and device |
US10425686B2 (en) * | 2014-04-24 | 2019-09-24 | Free Stream Media Corp. | Device-based detection of ambient media to be used by a server to selectively provide secondary content to the device |
US11029328B2 (en) | 2015-01-07 | 2021-06-08 | Qualcomm Incorporated | Smartphone motion classifier |
US9864787B2 (en) * | 2015-01-21 | 2018-01-09 | Raytheon Company | Parallel hypothesis formation for multiple hypotheses tracking |
RU2015111633A (ru) | 2015-03-31 | 2016-10-20 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и система для обработки показателей активности, связанных с пользователем, способ и система связывания первого элемента и второго элемента |
US11874716B2 (en) | 2015-08-05 | 2024-01-16 | Suunto Oy | Embedded computing device management |
US10395519B2 (en) | 2015-08-11 | 2019-08-27 | Telecom Italia S.P.A. | Method and system for computing an O-D matrix obtained through radio mobile network data |
KR20170020085A (ko) | 2015-08-13 | 2017-02-22 | 삼성전자주식회사 | 활동 정보 처리 방법 및 이를 지원하는 전자 장치 |
KR102382701B1 (ko) * | 2015-09-02 | 2022-04-06 | 삼성전자 주식회사 | 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치 및 방법 |
US11137820B2 (en) | 2015-12-01 | 2021-10-05 | Amer Sports Digital Services Oy | Apparatus and method for presenting thematic maps |
US11144107B2 (en) | 2015-12-01 | 2021-10-12 | Amer Sports Digital Services Oy | Apparatus and method for presenting thematic maps |
US11215457B2 (en) | 2015-12-01 | 2022-01-04 | Amer Sports Digital Services Oy | Thematic map based route optimization |
US11210299B2 (en) | 2015-12-01 | 2021-12-28 | Amer Sports Digital Services Oy | Apparatus and method for presenting thematic maps |
DE102016015066A1 (de) | 2015-12-21 | 2017-06-22 | Suunto Oy | Aktivitätsintensitätspegel-Bestimmung |
US11284807B2 (en) | 2015-12-21 | 2022-03-29 | Amer Sports Digital Services Oy | Engaging exercising devices with a mobile device |
US11541280B2 (en) | 2015-12-21 | 2023-01-03 | Suunto Oy | Apparatus and exercising device |
GB2579998B (en) * | 2015-12-21 | 2021-02-10 | Amer Sports Digital Services Oy | Sensor Based context management |
US11587484B2 (en) | 2015-12-21 | 2023-02-21 | Suunto Oy | Method for controlling a display |
US11838990B2 (en) | 2015-12-21 | 2023-12-05 | Suunto Oy | Communicating sensor data in wireless communication systems |
US10433768B2 (en) | 2015-12-21 | 2019-10-08 | Amer Sports Digital Services Oy | Activity intensity level determination |
DE102016015695A1 (de) | 2015-12-21 | 2017-06-22 | Suunto Oy | Aktivitätsintensitätspegel-Bestimmung |
FI127926B (en) | 2015-12-21 | 2019-05-31 | Suunto Oy | Sensor-based context management |
US11043094B2 (en) * | 2016-06-08 | 2021-06-22 | Aerial Technologies Inc. | System and methods for smart intrusion detection using wireless signals and artificial intelligence |
US11703938B2 (en) | 2016-10-17 | 2023-07-18 | Suunto Oy | Embedded computing device |
DE102017009171A1 (de) | 2016-10-17 | 2018-04-19 | Amer Sports Digital Services Oy | Eingebettete rechenvorrichtung |
JP6645957B2 (ja) * | 2016-12-16 | 2020-02-14 | 株式会社東芝 | 動作推定方法および動作推定システム |
US10535244B2 (en) | 2017-03-13 | 2020-01-14 | General Electric Company | Patient monitoring system and method for activity tracking |
CN109002189B (zh) * | 2017-06-07 | 2021-09-07 | 斑马智行网络(香港)有限公司 | 一种运动识别方法、装置、设备和计算机存储介质 |
US10082554B1 (en) | 2017-07-01 | 2018-09-25 | Tile, Inc. | Dynamic selection and modification of tracking device behavior models |
US11153364B1 (en) | 2017-11-29 | 2021-10-19 | Parallels International Gmbh | Embedding remote applications into HTML pages |
US11194842B2 (en) * | 2018-01-18 | 2021-12-07 | Samsung Electronics Company, Ltd. | Methods and systems for interacting with mobile device |
JP2019139570A (ja) * | 2018-02-13 | 2019-08-22 | 株式会社東芝 | 判別装置、判別方法およびプログラム |
US11531929B2 (en) * | 2018-11-09 | 2022-12-20 | Citrix Sysiems, Inc. | Systems and methods for machine generated training and imitation learning |
KR20200076438A (ko) * | 2018-12-19 | 2020-06-29 | 삼성전자주식회사 | 사용자의 액티비티를 추적하는 전자 장치 및 전자 장치의 동작 방법 |
US11980792B2 (en) | 2019-06-05 | 2024-05-14 | Qeexo, Co. | Method and apparatus for calibrating a user activity model used by a mobile device |
US11842812B2 (en) | 2019-06-27 | 2023-12-12 | GE Precision Healthcare LLC | Location-based user authorization for an infant care device |
BE1027428B1 (nl) * | 2019-07-14 | 2021-02-11 | Niko Nv | Sensorsysteem voor activiteitherkenning |
US10880691B1 (en) | 2019-10-31 | 2020-12-29 | Root, Inc. | Passively capturing and monitoring device behaviors |
JP7339167B2 (ja) * | 2020-01-17 | 2023-09-05 | 株式会社日立製作所 | 作業支援システム及び作業支援方法 |
CN112347991B (zh) * | 2020-11-30 | 2022-04-01 | 北京理工大学 | 一种基于隐马尔可夫分析滑雪运动序列的方法 |
US20230291750A1 (en) * | 2022-03-09 | 2023-09-14 | Prove Identity, Inc. | Communications device contactability metric |
WO2023224217A1 (ko) * | 2022-05-20 | 2023-11-23 | 삼성전자 주식회사 | 복수의 전자 장치들에 기반하여 사용자의 활동 상태를 결정하는 방법 및 전자 장치 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101108125A (zh) * | 2007-08-02 | 2008-01-23 | 张志强 | 一种身体体征动态监测系统 |
US20110137836A1 (en) * | 2008-09-19 | 2011-06-09 | Hiroyuki Kuriyama | Method and system for generating history of behavior |
US20120310587A1 (en) * | 2011-06-03 | 2012-12-06 | Xiaoyuan Tu | Activity Detection |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0816986B1 (en) | 1996-07-03 | 2006-09-06 | Hitachi, Ltd. | System for recognizing motions |
JP3570163B2 (ja) * | 1996-07-03 | 2004-09-29 | 株式会社日立製作所 | 動作及び行動の認識方法及び装置及びシステム |
US6513532B2 (en) | 2000-01-19 | 2003-02-04 | Healthetech, Inc. | Diet and activity-monitoring device |
US7532924B2 (en) * | 2003-09-22 | 2009-05-12 | Cardiac Pacemakers, Inc. | Cardiac rhythm management system with exercise test interface |
US7171268B1 (en) | 2003-12-24 | 2007-01-30 | Pacesetter, Inc. | Implantable cardiac stimulation device providing accelerated defibrillation delivery and method |
KR20060037640A (ko) | 2004-10-28 | 2006-05-03 | 에스케이 텔레콤주식회사 | 환자의 모니터링 시스템 및 방법 |
KR100810880B1 (ko) | 2006-08-09 | 2008-03-07 | (주) 엘지텔레콤 | 이동 통신망을 이용한 위급 정보 통보 시스템 및 방법과 그시스템에 적용되는 이동통신 단말기 |
JP2009217378A (ja) * | 2008-03-07 | 2009-09-24 | Nippon Telegr & Teleph Corp <Ntt> | 行動支援システム及び携帯端末 |
KR101480053B1 (ko) | 2008-04-08 | 2015-01-09 | 주식회사 엘지유플러스 | 모바일단말에서의 사용자 상태정보 서비스 장치 및 방법 |
JP5215098B2 (ja) | 2008-09-17 | 2013-06-19 | オリンパス株式会社 | 情報処理システム、プログラム及び情報記憶媒体 |
US8271413B2 (en) * | 2008-11-25 | 2012-09-18 | Google Inc. | Providing digital content based on expected user behavior |
WO2010096691A2 (en) | 2009-02-20 | 2010-08-26 | The Regents Of The University Of Colorado, A Body Corporate | Footwear-based body weight monitor and postural allocation, physical activity classification, and energy expenditure calculator |
US8560267B2 (en) * | 2009-09-15 | 2013-10-15 | Imetrikus, Inc. | Identifying one or more activities of an animate or inanimate object |
US8611326B2 (en) * | 2009-09-03 | 2013-12-17 | Apple Inc. | Location histories for location aware devices |
JP5495014B2 (ja) | 2009-09-09 | 2014-05-21 | ソニー株式会社 | データ処理装置、データ処理方法、およびプログラム |
US20110161085A1 (en) | 2009-12-31 | 2011-06-30 | Nokia Corporation | Method and apparatus for audio summary of activity for user |
KR101817048B1 (ko) * | 2010-08-09 | 2018-01-09 | 나이키 이노베이트 씨.브이. | 모바일 장치를 이용한 피트니스 모니터링 |
US8311522B1 (en) | 2010-09-28 | 2012-11-13 | E.Digital Corporation | System and method for managing mobile communications |
US9167991B2 (en) | 2010-09-30 | 2015-10-27 | Fitbit, Inc. | Portable monitoring devices and methods of operating same |
US20120130201A1 (en) | 2010-11-24 | 2012-05-24 | Fujitsu Limited | Diagnosis and Monitoring of Dyspnea |
KR101256907B1 (ko) * | 2011-01-12 | 2013-04-22 | 연세대학교 산학협력단 | 사용자 상황 실시간 인식 장치 및 방법 |
JP2012155374A (ja) | 2011-01-21 | 2012-08-16 | Sony Corp | 情報処理装置、情報処理方法、プログラムおよび情報処理システム |
US8930300B2 (en) * | 2011-03-31 | 2015-01-06 | Qualcomm Incorporated | Systems, methods, and apparatuses for classifying user activity using temporal combining in a mobile device |
US9407706B2 (en) * | 2011-03-31 | 2016-08-02 | Qualcomm Incorporated | Methods, devices, and apparatuses for activity classification using temporal scaling of time-referenced features |
US9110510B2 (en) * | 2011-06-03 | 2015-08-18 | Apple Inc. | Motion pattern classification and gesture recognition |
EP2718915A4 (en) * | 2011-06-10 | 2015-03-11 | Aliphcom | PERFORMANCE MANAGEMENT IN A DATA ACQUISITION BAND |
US20120326873A1 (en) | 2011-06-10 | 2012-12-27 | Aliphcom | Activity attainment method and apparatus for a wellness application using data from a data-capable band |
US11133096B2 (en) | 2011-08-08 | 2021-09-28 | Smith & Nephew, Inc. | Method for non-invasive motion tracking to augment patient administered physical rehabilitation |
WO2013040493A1 (en) * | 2011-09-16 | 2013-03-21 | Qualcomm Incorporated | Detecting that a mobile device is riding with a vehicle |
EP2795538A4 (en) * | 2011-12-21 | 2016-01-27 | Nokia Technologies Oy | PROCESS, DEVICE AND COMPUTER SOFTWARE FOR CONTEX IDENTIFICATION |
JP5342025B2 (ja) | 2012-01-19 | 2013-11-13 | 株式会社東芝 | 行動推定装置 |
US9352207B2 (en) * | 2012-01-19 | 2016-05-31 | Nike, Inc. | Action detection and activity classification |
JP6115028B2 (ja) | 2012-05-28 | 2017-04-19 | セイコーエプソン株式会社 | 行動記録装置、行動記録方法及び行動記録プログラム |
JP6000767B2 (ja) | 2012-09-04 | 2016-10-05 | 公立大学法人公立はこだて未来大学 | 学習装置、判別装置、行動状態判別システム、および判別方法 |
US8948783B2 (en) * | 2013-06-28 | 2015-02-03 | Facebook, Inc. | User activity tracking system |
US9125015B2 (en) * | 2013-06-28 | 2015-09-01 | Facebook, Inc. | User activity tracking system and device |
KR20150010255A (ko) | 2013-07-18 | 2015-01-28 | 삼성전자주식회사 | 습관을 이용한 진단 장치 및 진단 관리 장치와 그를 이용한 진단 방법 |
-
2013
- 2013-06-28 US US13/930,321 patent/US8948783B2/en active Active
-
2014
- 2014-06-18 BR BR112015032727A patent/BR112015032727A8/pt not_active Application Discontinuation
- 2014-06-18 EP EP14817172.1A patent/EP3014905B1/en active Active
- 2014-06-18 CN CN201911164997.3A patent/CN110830592A/zh active Pending
- 2014-06-18 KR KR1020167020801A patent/KR101799474B1/ko active IP Right Grant
- 2014-06-18 JP JP2015563129A patent/JP6110518B2/ja active Active
- 2014-06-18 CN CN201480047663.7A patent/CN105493528A/zh active Pending
- 2014-06-18 KR KR1020167002376A patent/KR101672864B1/ko active IP Right Grant
- 2014-06-18 CA CA2916858A patent/CA2916858A1/en not_active Abandoned
- 2014-06-18 MX MX2016014314A patent/MX351164B/es unknown
- 2014-06-18 CA CA2924691A patent/CA2924691C/en not_active Expired - Fee Related
- 2014-06-18 AU AU2014302977A patent/AU2014302977B2/en not_active Ceased
- 2014-06-18 EP EP18248202.6A patent/EP3487154A1/en not_active Withdrawn
- 2014-06-18 WO PCT/US2014/042839 patent/WO2014209697A1/en active Application Filing
- 2014-06-18 CN CN201610183106.9A patent/CN105872034B/zh active Active
- 2014-06-18 MX MX2016000221A patent/MX348615B/es active IP Right Grant
- 2014-06-26 EP EP14174168.6A patent/EP2819383B1/en active Active
- 2014-12-15 US US14/570,966 patent/US9118725B2/en active Active
-
2015
- 2015-07-22 US US14/806,449 patent/US9531824B2/en active Active
- 2015-12-24 IL IL243350A patent/IL243350A/en not_active IP Right Cessation
-
2016
- 2016-03-30 JP JP2016067830A patent/JP6151815B2/ja active Active
- 2016-04-14 AU AU2016202364A patent/AU2016202364B2/en not_active Ceased
- 2016-05-02 IL IL245388A patent/IL245388A/en not_active IP Right Cessation
- 2016-11-03 US US15/343,046 patent/US9948734B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101108125A (zh) * | 2007-08-02 | 2008-01-23 | 张志强 | 一种身体体征动态监测系统 |
US20110137836A1 (en) * | 2008-09-19 | 2011-06-09 | Hiroyuki Kuriyama | Method and system for generating history of behavior |
US20120310587A1 (en) * | 2011-06-03 | 2012-12-06 | Xiaoyuan Tu | Activity Detection |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110830592A (zh) | 用于通信的系统、方法和设备 | |
US9948735B2 (en) | User activity tracking system and device | |
US10022071B2 (en) | Automatic recognition, learning, monitoring, and management of human physical activities | |
US20160166180A1 (en) | Enhanced Real Time Frailty Assessment for Mobile | |
KR102065577B1 (ko) | 지능정보기술을 활용한 생활밀착형 운동수행분석 및 운동추천 시스템 | |
US20220151511A1 (en) | System, apparatus and method for activity classification for a watch sensor | |
US20200390370A1 (en) | System, apparatus and method for activity classification | |
JP2015049711A (ja) | 操作解析装置、操作解析方法及び操作解析プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: California, USA Applicant after: Yuan platform Co. Address before: California, USA Applicant before: Facebook, Inc. |
|
AD01 | Patent right deemed abandoned | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20231215 |