CN110276235B - 通过感测瞬态事件和连续事件的智能装置的情境感知 - Google Patents

通过感测瞬态事件和连续事件的智能装置的情境感知 Download PDF

Info

Publication number
CN110276235B
CN110276235B CN201910072433.0A CN201910072433A CN110276235B CN 110276235 B CN110276235 B CN 110276235B CN 201910072433 A CN201910072433 A CN 201910072433A CN 110276235 B CN110276235 B CN 110276235B
Authority
CN
China
Prior art keywords
context
classification
event
transient
events
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910072433.0A
Other languages
English (en)
Other versions
CN110276235A (zh
Inventor
M·乔达里
A·库马
G·辛格
R·巴勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STMICROELECTRONICS INTERNATIONAL NV
STMicroelectronics lnc USA
Original Assignee
STMICROELECTRONICS INTERNATIONAL NV
STMicroelectronics lnc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STMICROELECTRONICS INTERNATIONAL NV, STMicroelectronics lnc USA filed Critical STMICROELECTRONICS INTERNATIONAL NV
Priority to CN202310679601.9A priority Critical patent/CN116738284A/zh
Publication of CN110276235A publication Critical patent/CN110276235A/zh
Application granted granted Critical
Publication of CN110276235B publication Critical patent/CN110276235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/003—Kinematic accelerometers, i.e. measuring acceleration in relation to an external reference frame, e.g. Ferratis accelerometers
    • G01P15/005—Kinematic accelerometers, i.e. measuring acceleration in relation to an external reference frame, e.g. Ferratis accelerometers measuring translational acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/50—Service provisioning or reconfiguring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Dentistry (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)

Abstract

本公开的实施例涉及通过感测瞬态事件和连续事件的智能装置的情境感知。分布式计算系统用于自主地了解智能装置的环境情境中的人工智能。原始情境数据由与智能装置相关联的传感器检测。原始情境数据由智能装置预处理，并且然后被提供至基于云的服务器以进行进一步处理。在基于云的服务器处，各种特征数据集合从经预处理的情境数据而获得。各种特征数据集合被与对应的分类参数相比较，以确定在情境中发生的连续事件的分类和/或瞬态事件的分类(如果有的话)。连续事件和瞬态事件的所确定的分类将被用于自主地配置智能装置或者另一相关智能装置，以适应情境。

Description

通过感测瞬态事件和连续事件的智能装置的情境感知
技术领域
本公开大体上涉及集成在智能装置中的传感器，并且更具体地，涉及使用由集成在智能装置中的传感器获得的信息来提供智能装置的情境信息。
背景技术
目前，移动电话和可穿戴电子装置配备有能够本地地或者与基于云的服务器协调地执行复杂计算的快速处理器。移动装置还可以包括多个微机电传感器(MEMS)，该多个微机电传感器(MEMS)可以使得能够确定装置的用户的各种类型的情境信息。对于获得情境信息有用的传感器中的一些传感器是加速度计、气压计、陀螺仪、磁力仪和麦克风。
有关运动活动的研究工作已经对用户的基本移动活动进行了分类，诸如，步行、慢跑和骑自行车。语音检测技术使用麦克风记录来从背景噪声中检测人类语音，并且被用于应用，诸如，音频会议、语音识别和回声消除。还研究了对移动装置用户的空间环境的检测，以确定用户的环境设置，诸如，在办公室中、在街道上、在体育场处、在海滩上等。
发明内容
本公开涉及一种用于针对在例如，人机交互(HMI)和物联网(IoT)中的基于情境感知的应用来确定智能电子装置的概率性情境的技术。装置包括集成在装置内的各种传感器。该技术检测并且处理来自传感器的情境数据，并且该情境数据包括但不限于：用户的运动活动、有关装置的声音信息(包括用户的语音活动和有关装置的其它声音信息)和用户周围空间环境信息。该技术区分在有关智能装置的各种不同情境域(诸如，例如，智能装置的用户的运动活动、有关智能装置的声音信息和使用智能装置的空间环境)中的每个情境域中的连续事件和瞬态事件。该技术包括基本级联系感知分析和元级情境感知分析。在基本级分析中，单独处理两个一般类别的事件(即，瞬态事件或者连续事件)。然后，在元级处理中组合单独确定的基本级情境感知结果，以获得元级情境感知。基本级情境感知结果和元级情境感知结果由智能装置用于自动地对情境做出反应，而不需要人工指令或者输入。
由集成到装置中或者与装置相关联的各种传感器来检测原始情境数据。原始数据将由被嵌入在装置中(即，本地处理)或者被通信地耦合至装置(即，由基于云的服务器远程处理)的处理器接收并且处理。
具体地，对于瞬态事件，在基本级情境感知分析中进行两步处理。第一步是：检测到发生了某一瞬态事件。第二步是：确定发生的瞬态事件的类型。在确定瞬态事件的类型中，将使用分类元素和分类参数。分类元素包括瞬态事件的显式类型和“这些都不是”类型。分类参数包括与瞬态事件的每个显式类型对应的特征数据的参数。从用于第一步和第二步分析的原始数据获得不同的特征数据集合。在第二步执行对基本级瞬态事件的类型的概率性确定，其结果可以被输出至元级情境感知分析。
在元级情境感知分析中，基于并发(“并发分析”)或者顺序(“顺序分析”)中的至少一个同时对瞬态事件和连续事件的类型进行分析。并发分析评价基本级瞬态事件和连续事件，该基本级瞬态事件和连续事件被确定为同时发生或者存在以增强概率性确定，并且消除不合理的基本级分析结果。顺序分析评价基本级瞬态事件和连续事件，该基本级瞬态事件和连续事件被确定为顺序发生或者存在，以增强概率性确定，并且消除不合理的基本级分析结果。顺序分析还生成事件序列作为情境中的更新。
该技术包括用于通过传感器来检测物理情境信息的新方法，并且除了在智能装置的或者与智能装置有关的物理情境中发生的连续事件之外，还以适合对瞬态事件进行分析的方式来收集这种检测到的情境信息。基本级情境感知和元级情境感知的结果中的至少一个结果由与传感器相关联的智能装置或者远程服务器使用，以将相关联的智能装置配置为自主地适应所确定的情境或者对所确定的情境做出反应。
相关联的智能装置可以是包括本地计算能力或者在连接和分布式计算架构中待被通信地耦合至远程计算能力的能力中的至少一个能力的任何智能装置。智能装置可以是智能电话、联网家庭中的智能家电或者物联网(IoT)应用中的智能集线器。智能装置可以通过本地或者远程数据通信而被耦合至传感器。移动装置是智能装置的示例。移动装置包括由用户“移动的”携带的任何智能装置。
参照形成本公开的部分的附图，具有随后将变得显而易见的其它技术改进的这些特征存在于如本文更全面地描述并且要求保护的构造和操作的细节中。
附图说明
通过参照仅用于说明目的的以下附图，将更全面地理解本公开。附图不一定按比例绘制，并且在整个附图中，出于说明之目的，相似结构或者功能的元件由相同的附图标记一般地表示。附图未描述本文所公开的教导的每个方面，并且不限制权利要求书的范围。
图1图示了指示示例基本级“站立到坐下”瞬态事件的示例传感器数据；
图2图示了指示示例基本级“步行”连续事件的示例传感器数据；
图3图示了指示接下来是连续“步行”事件的瞬态“站立到坐下”事件的示例元级序列的示例传感器数据；
图4图示了在元级情境感知分析中连续事件与瞬态事件的示例组合；
图5图示了示例元级情境感知分析中的示例有限状态机操作；
图6图示了在相对于示例运动向量事件的元级情境感知分析中的示例有限状态机操作；
图7图示了具有相关联的传感器套件的示例智能装置；
图8图示了示例操作环境；
图9图示了示例智能装置的细节；
图10图示了根据本公开的示例服务器的细节；
图11图示了根据本公开的示例操作过程；
图12图示了根据本公开的另一示例操作过程；
图13图示了根据本公开的另一示例操作过程；以及
图14和图15图示了根据本公开的对示例事件序列的示例元级分析。
具体实施方式
可以单独或者结合其它特征和公开利用本文所公开的特征和教导中的每一个以提供用于通过智能装置或者智能系统来实现情境感知的系统和方法。参照附图1至15进一步详细描述了单独地以及组合地利用这些附加特征和教导中的许多特征和教导的代表性示例。该详细描述旨在向本领域的技术人员教导用于实践本公开的各个方面的进一步细节，而不旨在限制权利要求书的范围。因此，上面在详细描述中公开的特征的组合对于在最广泛的意义上实践本教导可以不是必需的，而是仅仅为了描述本公开的特定代表性示例而公开。
在下面的描述中，仅为了进行说明，阐述了具体的术语以提供对用于通过智能装置或者智能系统来实现情境感知的系统和方法的透彻理解。然而，对于本领域的技术人员而言将显而易见的是：这些具体细节不是实践本公开的教导所必需的。而且，还可以使用其它方法和系统。
1.概述
随着机器学习和人工智能的发展，硬件能力的不断扩展和硬件大小的缩小，智能装置有可能变得更加智能和自主。所公开的技术提供了一种用于智能装置自动检测并且感知到情境，识别情境更新，自主地配置和重新配置其本身以适应情境或者响应于情境更新而自主地采取动作的解决方案。例如，对于联网家庭中的智能恒温器，该技术使智能集线器(该智能集线器可以是被固定在家庭中的移动装置或者智能控制集线器)能够自动检测并且感知到房主已经回家，并且相应地将恒温器设置到房主喜欢或者预先选择的温度。
利用该技术，房主不再必须以不同的温度为一天中的不同时间段手动设置恒温器，并且不再必须通过移动电话来手动给出指令以控制恒温器。该技术使移动电话或者在用户附近的另一智能装置能够自动检测用户的情境和用户的动作，诸如，当用户打开车库门，将车停放在车库中，并且然后进入家中时。然后，这种情境感知信息将被用于将恒温器设置为特定于房主的优选温度和湿度水平。
如本文使用的，情境可以是有关智能装置的任何物理环境。物理环境可以包括但不限于：有关智能装置的运动信息、声音信息和空间环境信息，这些通常被称为情境信息。例如，当用户携带智能电话在锻炼时，这种锻炼活动可以是智能电话的运动情境，锻炼的位置(例如，运动俱乐部)可以是智能电话的空间环境情境，并且健身房中的噪声可以是智能电话的声音情境。
由于智能装置通常是与实际检测情境信息的智能装置相关联的传感器，因此，智能装置的情境还被称为有关传感器的情境。应该了解，传感器可以被集成到智能装置或者可以通过其它链路与智能装置相关联。例如，被嵌入在可穿戴装置(例如，智能手表)中的传感器可以与被链接至智能手表的智能电话相关联。进一步地，由智能装置的传感器检测到的情境信息不必仅被用于配置智能装置。由传感器检测到的情境信息可以由第一智能装置处理以推断第二装置的情境，并且可以基于第一装置的所确定的情境来配置第二装置。例如，房主的智能电话中的传感器套件可以检测情境信息，并且智能电话可以处理情境信息并且确定房主进入家中，并且这种所确定的情境信息可以被用于配置所连接的恒温器以建立室温。
可以基于对连续事件和/或状态的周期性检测以及对瞬态事件的非周期性事件检测来检测传感器的情境。如本文使用的，术语“事件”可以包括在情境中以动态或者稳定性质发生的任何事。例如，步行是事件，并且站立不动也是事件。在某种意义上，空间环境也是事件：事件发生为传感器被带入空间环境。连续事件可以是持续相对长时间段(诸如，大于5秒)的任何事件。瞬态事件是持续相对较短时间段(诸如，小于1秒)的事件和/或指示从先前的连续事件到稍后的连续事件的变化的事件。例如，步行和站立不动都可以是连续事件，并且停止步行可以是介于步行和站立不动之间的瞬态事件。对于另一示例，说话和沉默可以都是连续事件，并且开始说话可以是瞬态事件并且可以介于连续事件沉默和连续事件说话之间。不需要固定连续事件和/或瞬态事件的定义，而是可以对其进行定制和/或动态更新。
可以基于分类系统来对连续事件和瞬态事件进行分类。分类系统可以包括分别明确地表示事件的类型的显式分类元素和表示未被明确表示的任何事件的“这些都不是”分类元素。在添加或者去除特定显式连续事件分类元素和/或特定显式瞬态事件分类元素时，该技术是灵活的。可以基于特定应用和/或使用场景来定制和动态调整连续事件和/或瞬态事件的分类。连续事件和/或瞬态事件的分类可以在情境的任何区域中，包括但不限于：智能装置的或者有关智能装置的运动情境、声音情境和空间环境情境。有关在智能装置周围的运动、声音和空间环境中的连续事件和/或瞬态事件的分类结果可以被用于导出有关智能装置的元级情境感知。
每个显式连续事件分类元素和每个显式瞬态事件分类元素可以与分类参数集合相关联，该分类参数集合是预定数据值和/或从由传感器从检测到的原始情境数据获得的特征数据集合的数据值的范围。可以将用于连续事件和/或瞬态事件的分类参数一起聚集到分类参数库中，该分类参数库可以被存储在智能电子装置的存储器中或者可以通过远程服务器(诸如，基于云的服务器)访问。可以单独地为连续事件和瞬态事件建立这种分类参数库，并且还可以单独地为各种情境域(例如，运动情境、声音情境、空间环境情境)建立这种分类参数库。进一步地，分类参数和分类元素不必在相同的情境域(例如，运动、声音、空间环境)中。注意，情境域(或者“context domain”)是基于用户的实际情境定义的，并且可以基于情境感知目的的具体应用来灵活地定义情境域(或者“context domain”)。传感器可以被配置为检测特定情境域上的数据，例如，针对运动数据的加速度计。例如，声音相关特征数据的参数可以被用于步行事件的分类元素，该步行事件在运动情境中。空间环境相关特征数据的参数还可以被用于步行事件的分类。例如，步行事件分类可以包括地形平坦度分类参数。如果通过气压计确定地形的高度急剧增加(这是空间环境情境)，则相关联的用户的运动活动不太可能是步行，而更可能是攀爬。
基本级情境感知分析包括：基于概率性分析使用由传感器检测到的情境信息和现有连续事件分类、现有瞬态事件分类、用于连续事件分类的参数库和/或用于瞬态事件分类的参数库中的一个或者多个，来确定连续事件和/或瞬态事件的分类(如果有的话)。然后可以在元级情境感知分析中组合基本级情境感知分析结果(即，连续事件和瞬态事件的概率性分类)。
移动装置可以被用作智能装置的说明性示例以进一步描述情境感知技术。例如，如在图7中图示的示例移动装置(作为智能装置的示例)可以包括传感器套件，该传感器套件包括许多传感器，诸如，加速度计、气压计、陀螺仪、磁力计、GPS、光传感器、接近传感器、麦克风等。可以从这些异类传感器获得关于移动装置的情境的情境信息。传感器套件可以包括检测和识别特定情境所需的多个传感器。例如，单轴、双轴和三轴加速度计、气压计、陀螺仪、磁力计和麦克风可以检测并且提供用于原始情境数据的输入，以便确定携带移动装置的用户的连续和瞬态运动活动。例如，单个麦克风或者麦克风阵列可以被用于检测并且提供用于声音情境(例如，用户的语音活动或者有关用户的装置的人类语音活动)的原始情境数据。麦克风、接近传感器、光传感器、气压计、气体传感器、UV传感器、湿度传感器等可以被用于检测并且提供用于空间环境情境数据的输入，即，移动装置周围的空间环境。
来自传感器或者移动装置的其它组件(如同时钟、GPS或者Wi-Fi)的确定性输入也可以被用于确定移动装置的情境。移动装置中的时钟可以提供日期和时间。GPS信号强度和Wi-Fi信号强度可以提供移动装置的位置信息。例如，GPS信号可以提供室外位置信息。Wi-Fi信号强度可以被用于室内定位。
传感器检测并且提供移动装置的情境的原始数据。可以对从传感器接收到的原始数据进行预处理以提取所需数据。可以在进行预处理时实施各种信号处理算法和技术，并且所有信号处理算法和技术都包括在本公开中。
在所有预处理技术中，可以对原始情境数据执行数据过滤以去除噪声。例如，为了确定移动装置的人类语音情境，可以将具有高于或者低于人类语音的声音频率范围的频率的任何原始声音数据都视为噪声，并且在进行数据预处理时将其过滤掉。噪声消除可以使用高通或者低通滤波器，并且还可以包括用于减少偏移噪声的滤波元件。应该了解，噪声过滤取决于特定的情境感知任务，并且原始数据条可以是一个情境确定任务中的噪声，但是可以是对于另一情境感知任务有价值的信息。
预处理还可以包括：向原始数据添加时间信息。该时间信息可以指示智能装置什么时候接收到原始数据和/或传感器什么时候获得原始数据。
预处理还可以包括：基于各种标准来对原始数据进行过滤。例如，可以基于情境中的人类活动的特性来对原始情境数据进行过滤。例如，对于人类语音相关的情境数据，可以将包括在100Hz到8KHz之外的声音频率的任何声音信息视为噪声并且将其过滤掉。
在可以由智能装置本地地进行的对原始数据的预处理之后，然后可以针对情境感知进一步处理情境数据。情境感知分析可以由智能装置本地地进行，或者可以由服务器远程地完成。
将从经预处理的情境数据获得特征数据。在获得特征数据时，可以应用一系列时间窗口。可以基于情境数据的区域(例如，运动、声音或者空间环境情境)来选择时间窗口。还可以基于检测数据的传感器来选择时间窗口。例如，可以向加速度计数据而不是气压计数据应用较小的时间窗口，因为高度变化通常比水平速度变化发生得慢。在实施例中，在其它条件相同的情况下，被用于获得用于检测瞬态事件和/或对瞬态事件进行分类的特征数据的时间窗口短于被用于获得用于对连续事件进行分类的特征数据的时间窗口。原因包括：连续事件比同一情境区域中的瞬态事件持续得长，并且不需要与较短时间窗口相关联的相同高频数据处理。例如，对于由加速度计检测到的相同运动情境数据，应用较短的时间窗口(例如，小于2秒)以用于确定运动情境瞬态事件，并且应用较长的时间窗口(例如，长于5秒)以用于确定运动情境连续事件。
在应用时间窗口的情况下，从传感器数据提取特征数据以用于进行对连续事件分类的后验图概率分析以及用于检测瞬态事件。所提取的特征数据与分类参数库中的相关分类参数对应，该相关分类参数又与显式分类元素对应。例如，如果运动区域情境是分析的目标，则将提取与用于运动区域事件分类元素的分类参数对应的特征数据。如果声音区域情境是分析的目标，则将提取与用于声音区域事件分类元素的分类参数对应的特征数据。
可以利用用户的运动活动、用户的语音活动或者用户的装置周围的人类语音活动以及装置周围的空间环境的示例来说明移动装置的示例情境。可以基于人类运动活动、语音活动和空间环境的连续/重复性质(即，连续事件)或者偶尔间歇性质(即，瞬态事件)来对人类运动活动、语音活动和空间环境进行分类。因此，可以将情境(即，人类运动活动、语音活动和空间环境)的示例元素中的每个元素分类为连续运动事件、连续语音事件、空间环境中的连续事件、瞬态运动事件、瞬态语音事件和空间环境中的瞬态事件。与在非常小的持续时间内存在的瞬态事件相比较，用户的、和用户周围空间环境中的连续运动和语音事件持续相对更长的持续时间。用户的、和用户周围空间环境中的连续运动和语音事件可以在更长的时间尺度上发生改变，例如，通常在几秒或者几分钟内。空间环境可以在较短的持续时间内包围移动装置(即，瞬态事件)，或者在较长的持续时间内包围移动装置(即，连续事件)。用户的运动和语音活动中的瞬态事件可以在非常短的持续时间内发生。应该了解，在将持续事件与瞬态事件分开的持续时间上，没有固定阈值。例如，通常，可以预期用户的以及用户周围空间环境中的连续运动和语音事件存在5秒或者更久，而用户的运动、语音和空间环境中的瞬态事件会偶尔出现并且持续时间会更短，并且通常持续小于1秒的时间。用户的运动、语音和空间环境中的瞬态事件还可以表示用户的两个连续运动事件、有关用户的两个连续语音事件或者用户周围的两个连续空间环境之间的转换。例如，坐着和站立是连续运动活动，因为在相对较长的持续时间内执行这些活动，而坐着到站立或者站立到坐着是瞬态运动事件，因为它们在性质上是暂时的并且持续时间非常短。由于用户的运动、语音和空间环境中的瞬态事件在性质上是偶尔的，并且不定期地发生，因此，首先提取特征数据以通过使用从由传感器检测到的经预处理的情境数据提取的附加的和/或备选的特征数据，来确定在进行后验概率分析以对瞬态事件进行分类之前，在情境中是否发生了瞬态事件。
图1示出了三轴加速度计的、展示站立到坐着瞬态运动事件的示例信号幅度波形。瞬态事件在性质上是非周期性的并且在非常短的持续时间(被示出为大约2秒)内发生。该技术首先检测到发生瞬态事件，并且然后获得事件分类的后验图。
不同的框架被用于用户的运动、语音或者空间环境中的连续事件以及用于用户的运动、语音和空间环境中的瞬态事件，使得针对用户的连续事件和用户的瞬态事件的单独处理实现更准确结果。由于假设除了针对瞬态事件的时间点之外，在每个时刻都呈现有关移动装置的运动、语音和空间环境中的连续事件，因此，不会有单独的处理来检测连续事件的存在。可以直接提取并且处理特征数据以基于相应后验图中的后验概率来估计连续事件的分类。相应地，设计算法以直接提供后验图的分析，而不需要首先检测有关用户的运动、语音或者空间环境中的连续事件的存在。图2示出了用于连续运动活动“步行”的三轴加速度计的示例信号幅度波形。连续运动活动发生较长的持续时间。连续事件和瞬态事件的分类元素被分组为表示示例运动情境、声音情境和空间环境情境的向量。用于运动、语音事件和空间环境中的连续事件以及用于运动、语音和空间环境中的瞬态事件的单独向量被用于解释向量中的每个向量的性质的固有差异。这样分组为用于事件分类的向量还促进对对应的传感器信号的数据处理，以提取对应的特征数据。运动向量中的每个运动向量内的分类元素(本文中也被称为“类(class)”/“类(classes)”)彼此相互排斥。例如，对于连续运动向量，“步行”类和“站立不动”类彼此排斥，因为用户无法同时步行和站立不动。连续运动向量和瞬态运动向量中的类也是相互排斥的。例如，用户无法同时进行连续向量的“步行”类和瞬态向量的“停止步行”类。每个向量还具有表示每个向量中未被明确并入作为类的剩余事件的“这些都不是”类。该“这些都不是”类允许向量的元素的概率的总和等于1，这促进了数学计算。
用于连续运动事件的向量可以被称为“运动活动向量”(MAV)。MAV向量的元素表示用户的连续运动活动或者不存在用户的连续运动活动。即，没有运动也是连续运动事件。
单独的向量(运动瞬态向量(MTV))可以被用于瞬态运动事件，该单独的向量包含瞬态运动事件的所有显式类和用于其它瞬态运动事件的“这些都不是”类。
例如，运动活动向量(MAV)可以包括以下类：[步行；骑自行车；静止；上楼；下楼；慢跑；在车内；电梯上升；电梯下降；这些都不是]。
运动瞬态向量(MTV)的类表示持续时间非常短和/或暂时性质的运动活动。例如，运动瞬态向量(MTV)可以包括以下类：[坐着到站立；站立到坐着；躺着到坐着；坐着到躺着；躺着到站立；站立到躺着；下降；站立到深蹲；深蹲到站立；锻炼；握手；扔物体；拉；推；这些都不是]。
连续空间环境的、提供对移动装置用户的空间环境的精确推断并且对更高水平的推断有用的各种类将被包括在空间环境向量(SEV)中。根据具体应用的需要，可以选择性地选择SEV元素。例如，代替空间环境的显式元素，可以选择SEV只包含“开放空间”或者“封闭空间”作为两个元素。
例如，空间环境向量(SEV)可以包括以下类：[街道；大自然；海滩；体育场；办公室；购物中心；家；这些都不是]。
空间环境瞬态向量(SETV)是由在空间环境中发生的瞬态事件组成的向量。在描述移动装置的使用情境的特定方面时，在空间环境中发生的瞬态事件的检测和概率信息会很重要。
例如，空间环境瞬态向量(SETV)可以包括以下类：[门铃；启动引擎；敲门；器具掉落；脚步；高压锅的哨声；关门；拍手；微炉哔哔声；打印机声音；鼠标点击；这些都不是]。
除了描述空间环境的声音信号之外，人类语音还可以对有关移动装置的使用情境的情境感知是有价值的。在性质上是连续的人类语音的类被包括在语音活动向量(VAV)中，并且在声音瞬态向量(VTV)中定义在性质上暂时和间歇的人类语音的类。
例如，声音活动向量(VAV)可以包括以下类：[沉默；面对面讲话；电话交谈；多方对话；用户说话；另一个人说话；背景对话；这些都不是]。
声音瞬态向量(VTV)可以包括以下类：[哭泣；鸣汽笛；呼喊；大喊；这些都不是]。
可以应用规则来定义瞬态向量MTV、VTV和SETV的属性以及其与连续状态向量MAV、VAV和SEV的关系。例如，可以规定：
对于每个瞬态事件向量，在给定时间点，只有一个“类”或者元素是可能的，即，瞬态事件向量中的所有元素是相互排斥的；
MAV和MATV的元素不能同时发生；和/或
瞬态事件可以或者不可以在每个时刻都存在。
每个向量中的“这些都不是”类表示每个向量的未被明确地并入作为相应瞬态向量中的分类元素的所有剩余分类。这允许向量的所有元素的概率的总和等于1，这促进了数学计算。而且，该“这些都不是”类使得向量表示很灵活，使得可以根据需要来将新的类明确地并入相应向量，这将仅改变该向量的“这些都不是”类的构成。
可以假设：在任何给定时刻，在SETV向量中，仅单个事件为真。而且，为了使表示尽可能紧凑，可以将所有连续的声音(如同风扇、空调等)明确地或者隐含地包括在SEV中的分类元素中。MTV、VTV、SETV向量中的分类元素/类通常分别短于MAV、VAV、SEV向量中的分类元素。
用于表示有关装置用户的情境的信息的一般综合框架将对若干应用有用。框架将根据时间提供来自相应向量的可能活动或者事件的概率。可以基于作为从原始传感器数据提取的特征数据的“观察”来将这些估计为MAV、MTV、VAV、VTV、SEV和SETV向量的每个类/元素在给定时间的后验概率。后验概率值的时间序列的对应向量是相应的“后验图”，即，是基本级情境感知信息的分析输出的运动活动后验图(MAP)、运动后验图(MTP)、声音活动后验图(VAP)、声音瞬态后验图(VTP)、空间环境后验图(SEP)和空间环境(SETP)。具体地，可以通过将获得的特征数据与对应的分类参数相比较以估计事件的可能分类来获得后验概率。瞬态事件的持续时间较短，但是可以具有携带有关特定情境的实质信息的能力，并且因此，在特定场景中，提高了整体情境感知的准确性。例如，SETV中的器具掉落可以表示空间环境为家，并且因此，增强了从SEV获得的结果。在另一示例中，SETV中车辆的按喇叭声将随着空间环境为街道而增强。因此，检测特定瞬态事件并且对其进行分类可以提高整体情境感知结果的信任，从而使对情境感知进行决定并且对情境的相关自主反应更稳健。由于底层传感器信号的不同性质，而获得用于SEV和SETV的后验图的处理是不同的，最突出的不同是出现相应分类元素的持续时间。运动瞬态事件(MTV)还可以表示从一个连续状态到另一个连续状态的变化。例如，坐着到站立的瞬态事件表示状态从坐着到站立的状态变化。
每个显式类/分类元素(即，向量中除了“这些都不是”类之外的类)可以与分类参数库中的分类参数集合相关联。可以通过将相关特征数据与类的分类参数相比较，来获得显式类的后验图，以获得表示检测到的事件有多大可能属于该类事件的值。
例如，连续运动向量中的分类元素“步行”可以与下面从加速度计的原始数据提取的特征数据中的分类参数相关联：
a.帧中的信号幅度的平均值；
b.帧的信号幅度的最大值；
c.帧的信号幅度的最小值；
d.帧的信号幅度的均方根(RMS)；
e.三个累积绘图特征：
平均最小值，被定义为前15％的数据的平均值。
平均中等值，被定义为30％到40％部分之间的数据的平均值。
平均最大值，被定义为80％到95％部分之间的数据的平均值；
f.10个LPC系数，10阶线性预测器的系数。
对于另一示例，对于运动瞬态向量中的类“坐着到站立”，分类参数可以包括在事件的持续时间内加速度计信号幅度的唯一绘图形状。可以绘制加速度计信号幅度的所获得的特征数据，并且将其与唯一绘图形状相比较以确定检测到的瞬态事件的后验图(即，概率值)是“坐着到站立”类。
应该了解，仅出于说明之目的提供向量的上述实例，其不限制本公开的范围。可以不同地为运动、声音和空间环境情境创建连续和瞬态事件分类的向量，并且所有向量都包括在本公开中。例如，语音向量VAV和VTV专门用于人类语音事件，这是声音情境的示例。用于声音情境的向量可以包括其它类。
因此，还可以以各种方法来定制分类参数库。例如，还可以针对用户、特定地理位置和/或一天、一个月或者一年中的特定时间定制分类参数库。
在基本级分析时确定了连续事件和瞬态事件的可能分类之后，可以基于基本级分析的结果(即，确定的事件分类)来执行元级分析。可以从有关运动、声音和/或空间环境中的连续事件以及运动、声音和/或空间环境中的瞬态事件的基本级后验图信息导出元级情境感知。例如，如果检测到事件序列并且通过基本级后验图分析将其确定为以下瞬态事件：关闭汽车发动机、打开车门或者接下来是连续步行事件的坐着到站立，则元级分析可以生成个人已经停放了他的汽车并且离开了汽车的元级决定。这种元级感知可以被用于将移动装置配置为经由GPS和/或室内定位技术来进行自动确定，并且存储汽车的停放位置以供用户稍后在停车场容易地对汽车进行定位。在另一示例中，如果运动活动被检测为持续坐着，并且空间环境被检测为演讲室/会议室，并且此后，检测到接下来是连续步行至空间环境“开放环境”的坐着到站立的瞬态事件，则元级分析结果可以表示会议或者演讲结束。基于该元级情境感知，移动电话可以被配置为自动从静音切换到一般使用模式，并且主动地向用户通知后续日历任务。
图3示出了三轴加速度计的展示接下来是步行的连续运动活动的个人从坐位站起来的瞬态运动事件的信号幅度波形。这是瞬态运动事件和连续运动事件相继发生的实际场景。如本文讨论的，坐着到站立的瞬态事件在随机时刻发生，并且不会周期性地重复。因此，需要首先检测到发生瞬态事件，并且然后对其进行分类。步行的连续运动活动是MAV的活动中的一个活动，并且不需要首先检测到连续运动活动的存在。
如本文描述的，在基本级分析中，对于运动、声音和空间环境情境中的连续事件，处理并且周期性地输出是相应向量内的分类元素形式的后验图概率，而根据相应情境中检测到瞬态事件，处理并且非周期性地输出是相应瞬态向量内的分类元素形式的后验图概率。
图4示出了用于将运动、声音和空间环境情境中的连续事件的周期性地处理的后验图与运动、声音和空间环境中的瞬态事件的非周期性地处理的后验图组合以用于进行元级分析的方法。按照时间间隔T0来周期性地获得连续的运动、声音和空间环境后验图。顶部子图显示了以每个间隔T0秒周期性地获得的后验图。瞬态事件是持续时间较短的瞬间，并且因此是非周期性地获得的。如在中间子图中示出的，当获得瞬态事件后验图时，时间点(或者非常短的持续时间)t1和t2在时间间隔T0内，即，t1、t2<T0。底部子图显示了在元级情境感知分析中的组合后验图。运动、声音和空间环境中的连续事件的周期性后验图或者其衍生的分类决定，以及运动、声音和空间环境中的瞬态事件的非周期性后验图或者衍生的分类决定的组合为在元级情境感知分析中的进一步处理形成基础。
为了描述智能装置的基本级情境分析，使用示例向量运动活动向量(MAV)、运动瞬态向量(MTV)、声音活动向量(VAV)、声音瞬态向量(VTV)、空间环境向量(SEV)和空间环境瞬态示例(SETV)。元级情境感知分析认为人类活动是多样的，并且情境是可从不同传感器获得的基本级情境信息的复杂衍生物。元级情境感知分析将对以顺序方式发生的基本级连续和/或瞬态事件、或者同时或者以交错方式发生的事件进行分析。例如，并发事件可以包括：个人在观看电视并且面对面地或者在电话中与另一个人在说话。示例顺序事件可以是：个人在锻炼并且暂停面对面地或者在电话中与另一个人说话并且然后，恢复锻炼。而且，在一些场景中确定单个基本级情境事件可能是模糊的，并且可能由于例如，输入不足而产生多种可能的解释(即，可能的分类)。当使单个基本级事件分类适应到活动序列中时，可以去除一些模糊性，因为在模糊的事件之前和/或之后，模糊性在逻辑上与事件无关。例如，如果确定事件序列包括“停止汽车引擎”、“步行较短距离”、“开门(或者打开车门)”、“步行另一较短距离”和“坐到沙发上(或者坐到汽车中)”，则可以在逻辑上去除“开门”和“打开车门”之间以及“坐到沙发上”和“坐到汽车中”之间的不确定性，因为个人不太可能停止发动机，步行较短距离，打开车门，步行另一距离，并且然后坐回到汽车中。可以利用合适的信息处理框架(诸如，有限状态机)来实现基于基本级后验图分类信息的元级情境感知分析。
作为说明性示例，主要从运动活动向量(MAV)、运动瞬态向量(MTV)、声音活动向量(VAV)、声音瞬态向量(VTV)、空间环境向量(SEV)和空间环境瞬态示例(SETV)的后验图获得基本级情境感知。取决于特定元级分析，可以使用可获得的基本级后验图概率中的一些或者全部。基于元级应用的要求，运动、声音和空间环境中的连续事件的分类向量以及运动、声音和空间环境中的瞬态事件的分类向量可以被包括在元级分析中。MAV、MTV、VAV、VTV、SEV和SETV的元素也是灵活的，并且可以基于要检测的元级情境的要求来进行选择。
可以使用不同的方法来从基本级事件分类导出元级情境感知，包括但不限于：确定性有限自动机(DFA)、分层隐马尔可夫模型(HHMM)、N元语法模型(N-gram model)、决定树、概率图形模型(PGM)、贝叶斯网络(BN)、动态贝叶斯网络(DBN)等。对被用于从基本级事件分类导出元级情境感知的方法的选择取决于使用要被用于特定应用的统计模型或者图表的适合性和输出要求，例如，以硬决定或者软决定形式的输出。例如，可以使用有限状态机分析。可以在状态图中以图形方式展示状态转移矩阵中的信息。图5示出了用于基于基本级后验图分析结果的元级分析的示例广义有限状态机(FSM)。
来自向量MAV、MTV、VAV、VTV、SEV、SETV的元素集合的子集形成输入字母表。使得输入字母表由向量I＝[ai、bj、ck、dl、em、fn]表示，其中相应元素是MAV的第i个元素、MTV的第j个元素、VAV的第k个元素、VTV的第l个元素、SEV的第m个元素和SETV的第n个元素。这些元素形成FSM的输入字母表。取决于在时间t时的当前状态和输入字母表，决定下一状态和输出字母表。为了检测元级情境，可以设计状态图，该状态图可以包括所有可能的场景。
为了说明从后验图形式的基本级情境感知结果导出元级情境感知和决定相应向量的运动/声音/空间环境事件的决定，在图6中提供了说明性示例。在图6的说明性示例中，假设移动装置的情境中的实际事件序列是：用户在驾驶汽车，停下，下车，以及步行离开。检测到情境更新的该序列会引起移动装置的自动配置，例如，自动配置为为了方便用户而确定并且保存停放的汽车的位置。基于由与移动装置相关联的传感器检测到的情境数据来从基本级后验图获得基本级情境感知分析结果。
图6给出了展示了使用有限状态机(FSM)来从基本级情境分析结果(即，事件分类)导出元级情境感知的说明性示例。FSM是由以下部分组成的6元组：i)初始状态S0、ii)最终状态SL，其中针对该特定示例的L为5、iii)输入字母表输入的有限集合pj，j∈1、2、...、M，其中针对该示例的M为11、iv)输出字母表k∈0、1、...N-1，其中针对特定示例，N为2、v)接受状态集合Si，其中，i∈1、2、...、N-1、以及vi)转换函数(δ：St×pj→St+1)。图6是根据接收到的输入字母表以及产生的其对应输出，紧凑地显示了从一种状态到另一种状态的转换的状态图。在该示例中，输入是连续运动事件和瞬态运动事件的元素/类。
由于MAV和MTV是相互排斥的，即，其分类元素/类不能同时发生，因此，两个向量的所有元素都被视为输入字母表。在FSM中，状态0是初始状态，而状态5是最终状态。当通过使用MAV的后验图(被称为“MAP”)来确定“在车内”的连续运动事件时，状态机从初始状态0进入状态1，或者其保持处于初始状态。在获得“在车内”连续运动事件之后，如果通过使用MAP检测到运动活动“静止”，则FSM改变为状态2。“静止”状态表示汽车已经停止。在停止之后，用户离开汽车。该动作首先被检测为瞬态运动事件，该瞬态运动事件此后通过使用MTV的后验图(被称为“MVP”)被分类为“坐着到站立”事件。最后，通过使用MAP获得用户步行离开汽车作为“步行”的连续运动活动。设计状态机，使得如果汽车例如，在交通信号处停止并且再次恢复，则状态机能够适当地适应。而且，状态机合理地稳健以处理接收到的任何假数据或者基于基本级后验图可能做出的错误决定。
词袋模型是一种简单的表示，其中存在来自不同活动/空间环境/瞬态事件向量的多个元素集合，并且这些向量的出现顺序不重要。例如，如同来自SETV的警报声、玻璃破碎声、哭声、尖叫声的瞬态事件的多个集合将表示紧急情况的元级情境，并且可以根据其建立元级分析。通常，可以从对有关移动装置的运动、声音和空间环境情境中的连续事件和/或瞬态事件的检测导出元级情境。
除了基本级分析结果(即，事件的可能的类)之外，如同日期和时间、GPS位置等确定性传感器输入也可能对元级情境感知分析有用。进一步地，确定性传感器输入可以促进概率性情境感知分析。例如，可以在确定在情境中发生瞬态事件和确定瞬态事件的分类中的至少一个时，考虑确定性信息(如同情境的时间和地理位置)。
上面的示例说明了除了集成到智能装置中或者与智能装置相关联的传感器的运动、声音和/或空间环境情境中的连续事件之外，检测瞬态事件以及对瞬态事件进行分类的优点。在如本技术中指定的那样适当地检测到瞬态事件以及对瞬态事件进行了分类的情况下，除了传感器和相关联的数据处理之外的许多领域可以受益。例如，通过使用本技术来自主地使设备设置适应于检测到的并且对其进行了分类的情境，联网家庭领域将受益。机器人技术领域也可以受益于本技术以提高机器人机器的环境(即，情境)感知。通过能够将用户的手动决定和某些场景中的动作与检测到的情境和环境联系起来，人工智能领域可以受益。本领域的普通技术人员还了解所公开的技术的其它技术优点。
2.示例系统
图7图示了用于确定与智能装置相关联的传感器的情境的示例本地系统100。在该示例中，系统100可以包括传感器套件110和智能装置120。传感器套件110可以集成在智能装置120中和/或可以通信地和/或电力地耦合至智能装置120。传感器套件110可以包括用于检测各种情境数据的各种传感器。该各种传感器可以包括但不限于：接近传感器、基于卫星的定位传感器(例如，GPS传感器)、环境传感器(例如，气体传感器和/或湿度传感器)、一个或者多个运动传感器(被示出为加速度计和陀螺仪)、气压计、磁力计、麦克风和其它传感器。各种情境数据可以包括情境的运动、声音和空间环境信息中的至少一个。
智能装置120可以包括处理单元122(例如，通用或者专用处理器或者微控制器(MCU))和存储器124。存储器124可以存储计算机可执行指令，该计算机可执行指令在由处理单元122执行时将处理单元122配置为实施本地情境感知模块126和本地装置配置模块130。存储器124还可以存储本地分类参数库135，该本地分类参数库135是用于连续和/或瞬态事件的分类的分类参数的数据库。
智能装置120还可以包括显示单元140、接口单元150、射频(RF)单元160和其它组件170。
图8图示了用于情境感知分析的操作环境200。在环境200中，本地系统100可以与情境210内的用户212相关联。如了解的，传感器实际检测有关情境210的信息。传感器套件110可能需要被耦合至具有有限计算能力的第一智能装置120，以使得能够将检测到的原始情境数据传输至具有更多计算能力的装置(例如，服务器或者更强大的第二智能装置120)。此处，出于说明之目的而在环境200中使用本地系统100，而不限制本公开的范围。例如，传感器110可以被耦合至不包括在图7中示出的智能装置120的组件中的所有组件的智能装置120。
本地系统100可以通过通信网络230被通信地耦合至服务器220。服务器220可以包括处理单元222和存储器230。存储器230可以包括计算机可执行指令，该计算机可执行指令在由处理单元222执行时将处理单元222配置为实施远程情境感知模块232和远程装置配置单元240。存储器230还包括远程分类参数库234，该远程分类参数库234是存储在存储器230上的数据库。
服务器220还可以包括接口单元250、RF单元260和其它组件270。
在操作中，本地系统100和服务器220以及其相应组件可以单独地或者组合地运行以实现情境感知。本地系统100的传感器110被用于检测情境210的情境数据。应该了解，传感器110可以驻留在不同的本地智能装置120中或者可以被耦合至不同的本地智能装置120，该本地智能装置120可以通过网络230直接地或者通过服务器220间接地被通信地耦合至彼此。对由传感器110检测到的情境数据的数据处理可以由相应相关联的智能装置120在本地处理，或者可以由服务器220集中处理。对检测到的情境数据的处理还可以被分布在本地智能装置120和服务器220之中，使得可以最佳地平衡数据处理中的计算能力、效率和及时性。例如，可以在(多个)智能装置120上本地地对检测到的情境数据进行预处理，并且然后在服务器220上对其进行集中处理。还可以首先在相应本地智能装置120处本地地对检测到的情境数据进行预处理，并且然后由本地智能装置120中的另一本地智能装置120(例如，作为本地处理集线器)收集，以通过自己或者与服务器220一起处理情境感知。在此处的描述中，使用本地智能装置120和服务器220之间或之中的分布式处理的说明性示例。在示例中，智能装置120可以与服务器220通信以至少部分地从基于云的存储器230接收来自服务器220的分类参数库。这种说明性示例不限制本公开的范围。
图9图示了示出了本地情境感知模块126的细节的示例智能装置120。如在图9中示出的，本地情境感知模块126可以包括传感器输入接收单元310、数据预处理单元320、特征数据提取单元330、瞬态事件检测单元340、瞬态事件分类单元350、连续事件分类单元360和本地元级情境确定单元370。
在操作中，传感器输入接收单元310可以被配置为接收由传感器套件110的传感器检测到的原始情境数据。
数据预处理单元320可以被配置为对接收到的原始情境数据进行预处理以促进进一步处理。在示例中，预处理可以包括：对原始情境数据进行过滤以去除噪声数据。可以通过硬件噪声消除电路系统或者通过数字数据处理来实现噪声过滤。有关硬件噪声消除/过滤，数据预处理单元320可以控制对硬件元件的设置和/或配置以适应特定的噪声消除要求。例如，数据预处理单元320可以根据针对情境感知分析的特定数据采集要求，来控制要通过高通或者低通电路元件传输的原始数据。
数据预处理还可以包括：向由传感器110检测到的原始数据添加时间信息(例如，应用时间戳)。在示例中，智能装置120在向检测到的原始数据添加时间戳时使用相同的时间尺度，使得可以容易地合并和/或同时处理由不同智能装置120接收到的原始数据，以增强原始数据的可用性。
特征提取单元330可以被配置为从由传感器检测到的情境数据生成特征数据。生成特征数据可以包括：从由传感器110检测到的原始情境数据提取原始形式的特征数据，或者可以包括：基于原始情境数据来生成特征数据。特征数据可以与被包括在本地参数库135和/或远程参数库234中的分类参数对应。特征数据可以特定于检测到情境数据的传感器的类型、情境感知场景的类型(例如，运动情境或者声音情境)或者特定应用(例如，用于联网家庭或者用于智能车辆中的自主驾驶)。在示例中，特征提取单元330可以生成用于检测瞬态事件、用于对检测到的瞬态事件进行分类或者用于对连续事件进行分类的不同特征数据。在示例中，特征提取单元330可以通过使用一系列时间窗口来处理接收到的情境数据(即，向情境数据应用时间窗口)以用于提取特征数据。时间窗口可以根据要检测和/或进行分类的事件的类型(例如，连续事件或者瞬态事件)发生变化，并且可以根据情境数据的对应情境域(例如，运动情境或者声音情境)发生变化。
在示例中，特征提取单元330单独地从由传感器110中的每个传感器检测到的情境数据生成特征数据。
瞬态事件检测单元340可以被配置为检测是否发生瞬态事件。瞬态事件检测单元340可以基于瞬态事件的暂时性质和短持续时间来检测是否发生瞬态事件。例如，如果由加速度计检测到的运动数据指示信号幅度的突然变化超出先前的读数的范围并且信号幅度的变化持续较短持续时间，则瞬态事件检测单元340可以确定已经发生运动中的瞬态事件。在检测到发生瞬态事件时，瞬态事件检测单元340可以使用由特征数据提取单元330获得的特征数据。
瞬态事件分类单元350可以被配置为确定检测到的瞬态事件的分类。可以基于从原始情境数据获得的特征数据、用于瞬态事件的分类向量(例如，VTV、MTV)和分类参数来确定分类。具体地，例如，瞬态事件分类单元350可以对特征数据进行分析(例如，将特征数据与分类参数库中与分类向量中的类对应的对应分类参数相比较)，并且确定向量中的哪个类与检测到的瞬态事件相匹配。应该了解，瞬态分类向量中只有一个类不必与检测到的瞬态事件相匹配。比较结果可能表明瞬态事件分类向量(例如，MTV)中的两个相互排斥的类都具有与检测到的瞬态事件相匹配的足够高的可能性值。瞬态事件分类单元350可以输出用于元级处理的两个类，以潜在地去除不确定性。
连续事件分类单元360可以被配置为确定连续事件的分类。可以基于从原始情境数据获得的特征数据、用于连续事件的分类向量(例如，VAV、MAV)和对应的分类参数来确定分类。具体地，例如，连续事件分类单元360可以将特征数据与针对连续事件分类向量中的类的对应分类参数相比较，并且确定分类向量中的哪个类与连续事件相匹配。应该了解，分类向量中只有一个类不必与连续事件相匹配。比较结果可能表明连续事件分类向量(例如，MAV)中的两个相互排斥的类都具有与连续事件相匹配的足够高的可能性值。连续事件分类单元360可以输出用于元级处理的两个类，以潜在地去除不确定性。
对于瞬态事件检测单元340、瞬态事件分类单元350和连续事件分类单元360中的每一个，可以使用本地参数库130和/或远程参数库234来执行操作。
本地元级情境确定单元370可以被配置为在与服务器220协调或者不与服务器220协调的情况下、在本地智能装置120侧进行元级分析。该元级分析基于连续事件和瞬态事件的并发相关性和/或顺序相关性，来对连续事件和瞬态事件的基本级分类进行分析(如果有的话)。元级分析可以引起一些基本级分类作为不太可能的概率结果被去除。元级分析还可以引起建立连续事件和/或瞬态事件的类的序列。本地装置配置单元130可以被配置为直接或者间接经由元级分析结果基于连续事件和/或瞬态事件的所确定的基本级分类，来配置与情境210中的传感器110相关联的智能装置，该元级分析结果又基于基本级分类结果。可以通过任何现在已知的或者未来开发的方法来实施配置，并且所有这些方法都包括在本公开中。
图10图示了示出了远程情境感知模块232的细节的示例服务器220。如在图10中示出的，远程情境感知模块232可以包括客户端输入接收单元410、数据预处理单元420、特征数据提取单元430、瞬态事件检测单元440、瞬态事件分类单元450、连续事件分类单元460和远程元级情境确定单元470。
服务器220还可以包括远程参数库234，该远程参数库234是用于连续和/或瞬态事件的分类的分类参数的数据库，并且被存储在存储器230上。
服务器220的组件可以通过系统总线480(为了进行说明而示出)来本地地、或者通过网络来远程地彼此通信。即，远程情境感知模块232和远程装置配置单元235的元件可以不驻留在相同的物理服务器装置上，而是可以驻留在多个物理服务器装置上并且通过分布式计算架构同时运行。
客户端输入接收单元410可以被配置为从与传感器110相关联的本地智能装置120接收由传感器110检测到的情境数据。从本地智能装置120接收到的情境数据可以是原始情境数据，或者可以是在智能装置120处在本地预处理的情境数据。
数据预处理单元410可以被配置为对接收到的情境数据进行预处理。数据预处理单元410可以以与本地智能装置120的数据预处理单元310的方式相似的方式来对情境数据进行预处理。数据预处理单元410还可以以不同于预处理单元310的方式的方式来对情境数据进行预处理，以利用处理单元222的较高计算能力。例如，可能已经针对噪声过滤和消除而对从本地智能装置120接收到的情境数据进行了预处理，并且可以在服务器220上对该情境数据进行预处理以添加时间信息。
特征数据提取单元430、瞬态事件检测单元440、瞬态事件分类单元450、连续事件分类单元460和远程元级情境确定单元470的操作可以各自与本地智能装置120的特征数据提取单元330、瞬态事件检测单元340、瞬态事件分类单元350、连续事件分类单元360和远程元级情境确定单元370的操作相似。
应该了解，可以通过硬件或者软件(程序代码)或者硬件和软件的组合来实施本地情境感知模块126和/或远程情境感知模块232的任何以及所有元件。可以通过硬件或者软件或者硬件和软件的组合来实施本文(例如，图9和图10)所描述的处理单元和其它功能单元。例如，可以通过现场可编程门阵列(FPGA)、其它可编程逻辑或者其它硬件实施方式中的硬件配置来实现远程情境感知模块232和/或本地情境感知模块126的元件的功能中的任何以及所有功能。本领域的普通技术人员还要明白，上面描述的模块/单元中的多个模块/单元可以被组合为一个模块/单元，并且上面描述的模块/单元中的每一个可以被进一步划分为多个子模块/子单元。
3.示例过程
图11图示了示例操作过程600。在对操作过程600的描述中，采取表明对情境数据的处理被分布在本地智能装置120和服务器220之间的示例。应该了解，该示例分布式处理不是必需的，并且可以在本地智能装置120或者服务器220中的任一个上进行过程600的操作中的任何以及所有操作，这些任何以及所有操作都包括在本公开中。
在示例操作610中，智能装置120的传感器输入接收单元310可以从一个或者多个传感器110接收原始情境数据。
在示例操作620中，智能装置120的数据预处理单元320可以对接收到的原始情境数据进行预处理。具体地，预处理可以包括：在子操作622中，对原始情境数据进行过滤以去除噪声，以及在子操作624中，向原始情境数据添加时间信息(即时间戳)。时间戳可以反映由传感器110检测到情境数据条的时间点和/或智能装置120从传感器110接收到情境数据条的时间点。用于向原始情境数据添加时间信息的其它方法也是可能的，并且包括在本公开中。
可以将经预处理的情境数据从智能装置120传递至服务器220以进行进一步处理。
在服务器侧上的处理可以包括两个级别，基本级情境分析625和元级情境分析685。
在基本级情境分析中，存在两个单独的和/或并行的过程例程，利用操作630至660示出基本级瞬态事件分析，并且利用操作670至680示出基本级连续事件分析。
对于基本级瞬态事件分析，在操作630中，服务器220的特征数据提取单元430可以获得要在检测瞬态事件时使用的第一特征数据集合。该第一特征数据集合可以包括用于检测是否发生任何瞬态事件所需的所有特征数据。备选地，第一特征数据集合可以只包括用于检测是否发生指定瞬态事件的特征数据。例如，取决于情境感知分析的特定场景，特征数据提取单元430还可以提取用于检测是否发生运动情境中的瞬态事件的特征数据。
操作630可以包括子操作632，在该子操作632中，特征数据提取单元430可以在提取第一特征数据集合时应用第一系列时间窗口。可以基于要检测的瞬态事件来选择第一时间窗口集合。例如，对于运动情境中的瞬态事件，可以向情境数据应用小于两秒的一系列时间窗口，以提取第一特征数据集合。
例如，在运动区域瞬态事件检测中，可以使用母小波来分解检测到的加速度计数据，并且使用特定级别的重建来再次重建检测到的加速度计数据。8阶Daubechies母小波可以被用于分解，并且第4级近似可以被用于重建。为了生成特征数据，应用具有90％重叠的每两秒的滑动时间窗口。针对检测瞬态事件而计算的特征数据可以包括短时能量、自相关、平均值、均方根、加速度计数据的平均值的斜率和方差。
在示例操作640中，瞬态事件检测单元440可以基于第一特征数据集合来确定在情境210中是否发生瞬态事件。在示例中，可以相对于特征数据所属的时间窗口来处理特征数据。即，瞬态事件检测单元440可以使用时间窗口的特征数据来确定在时间窗口中是否发生瞬态事件。阈值标准被包括在要与特征数据相比较的对应分类参数中。
例如，可以将第一特征数据集合与用于检测瞬态事件的参数相比较，来看是否满足阈值。例如，在声音情境中，阈值通常可以与麦克风信号幅度和/或频率是否改变到超出先前的连续声音事件的范围的水平有关。在声音情境中，阈值还可以与麦克风信号幅度/频率的变化是否在阈值持续时间内(例如，在第一系列时间窗口中的单个时间窗口内)有关。
在操作642中，确定是否已经经由操作640检测到瞬态事件。如果确定在情境210中未检测到瞬态事件，则停止基本级瞬态事件分析的过程。如果确定在情境210中已经发生瞬态事件，则该过程继续至示例操作650。在示例操作650中，特征数据提取单元430可以从接收到的情境数据获得第二特征数据集合，以用于对瞬态事件进行分类。在示例中，在子操作652中，特征数据提取单元430可以在提取第二特征数据集合时使用相同的第一系列时间窗口。但是该示例不限制本公开的范围，而是可以在提取第二特征数据集合时使用不同系列的时间窗口(例如，比第一系列时间窗口更精细)。
在示例操作660中，瞬态事件分类单元450可以基于第二特征数据集合来确定检测到的瞬态事件的分类。在示例中，瞬态事件分类单元450将第二特征数据集合与远程参数库234中的相应分类参数相比较，以确定特征数据是否与用于瞬态事件的相应分类向量(例如，MTV、VTV、SETV)中的类中的一个或者多个类相匹配。在示例中，使用后验图分析来确定特征数据是否与相应类的分类参数相匹配。
例如，对于运动情境瞬态事件分类，加速度计数据的数据形状可以与坐着到站立和站立到坐着的已经被存储的模板(即，分类参数)相匹配。由于无法直接使这两种形状相匹配，因此，使用动态时间扭曲(DTW)。概率性支持向量机被用于瞬态运动事件的分类。仅针对检测到瞬态事件的输入数据获得概率性值。
对于基本级连续事件分析，在示例操作670中，特征数据提取单元430可以从接收到的情境数据获得第三特征数据集合，以用于对连续事件进行分类。在示例中，在子操作672中，特征数据提取单元430可以在提取第三特征数据集合时使用第二系列时间窗口。该第二系列时间窗口各自大于第一系列时间窗口中的每一个。即，第二系列时间窗口的时间窗口包含比第一系列时间窗口的持续时间更长的持续时间。在示例中，第二系列时间窗口中的时间窗口可以各自为五秒。
例如，在加速度计数据的五秒的时间窗口帧上计算的特征数据包括最大值、最小值、平均值、均方根、三个累积特征和10阶线性预测系数。从气压计数据获得的特征数据是最大值、最小值、RMS、斜率和LPC系数。
在示例操作680中，连续事件分类单元460可以基于第三特征数据集合来确定连续事件的分类。在示例中，连续事件分类单元460将第三特征数据集合与远程参数库234中的相应分类参数相比较，以确定特征数据是否与用于连续事件的相应分类向量(例如，MAV、VAV、SEV)中的类中的一个或者多个类相匹配。
在示例中，使用后验图分析来确定特征数据是否与相应类的分类参数相匹配。具体地，例如，将这些特征数据应用于通用概率性分类器。使用概率性多类支持向量机(SVM)作为通用分类器以提供MAP。可以从概率性SVM分类器获得运动活动后验图(MAP)，该概率SVM分类器用于从加速度计数据获得的特征数据和从气压计数据获得的特征数据。
通过从连续运动活动和瞬态运动事件获得的后验图，可以导出有关相应连续运动事件向量MAV和瞬态运动事件MTV的元素的分类的硬决定。向量(MAV和/或MTV)中具有最高后验概率值的元素可以是针对数据的所提供的时间帧的硬决定。向量中的多个类可以具有相似的后验概率值，并且可以保持多个类中的每个类以在元级分析中进行进一步处理。在示例操作690中，可以在元级情境感知分析中使用基本级事件分类。
具体地，在示例操作690中，远程元级情境确定单元470组合瞬态事件分类(如果有的话)和连续事件分类，以生成元级情境感知结果。在子操作692中，元级情境感知结果可以包括情境更新序列，该情境更新序列包括由时间序列中的一个或者多个瞬态事件干预的多个连续事件。组合连续事件和/或瞬态事件还可以包括：使用对在基本级分析中生成的事件分类的顺序和并发分析来去除不可能的事件分类。
在示例操作695中，本地装置配置模块130和/或远程装置配置模块235可以同时单独地运行，以直接或者间接通过元级情境感知分析结果基于所确定的基本级瞬态事件和/或连续事件，来自主地配置与传感器套件110相关联的智能装置120，该元级情境感知分析结果又基于基本级瞬态事件分类和连续事件分类。在示例中，配置与情境中的一个或者多个传感器相关联的智能装置包括：将智能装置配置为基于瞬态事件的所确定的类别和连续事件的所确定的类别来自动地进行动作。
图12示出了情境感知分析的另一示例过程。如在图12中示出的，利用在操作710中感测到的情境数据，可以针对被示出为框720M的运动情境、被示出为框720S的声音情境和被示出为框720SE的空间环境情境单独地执行基本级情境感知分析。在框720M、720S和/或720SE中的每一个内，可以单独地执行对连续事件的分类以及对瞬态事件的检测和分类(如果有的话)。在框730中，提供基本级分析结果中的每一个(即，运动、声音和空间环境情境中的连续事件和/或瞬态事件的分类)作为用于元级情境感知分析的输入，该框730可以包括与图11中的示例操作690相似的操作。
在瞬态事件检测或者分类操作(720M-1、720M-2、720S-1、720S-2、720SE-1、720SE-2)中的每一个中，可以从通过多个传感器检测到的情境数据获得特征数据。由多个传感器检测到的情境数据是具有数据处理中的相同时间窗口的帧。进一步地，可以通过要在分类操作中使用的反馈回路740来为连续事件分类操作(720M-3、720S-3、720SE-3)和瞬态事件分类操作(720M-2、720S-2、720SE-2)提供基本级情境感知分析结果。例如，可以在时间窗口T0之后的时间窗口2T0中确定稍后的基本级连续运动事件分类时，使用时间窗口T0中的先前基本级连续运动事件分类。还可以在时间窗口T0之后的时间点T1中确定基本级瞬态运动事件分类时，使用在时间窗口T0中的先前基本级连续运动事件分类。
进一步地，还可以通过反馈回路740来将元级情境感知分析的结果提供回基本级事件分类操作720M-2、720S-2、720SE-2、720M-3、720S-3、720SE-3。
图13图示了图12中的示例操作框730的细节。在示例操作810中，可以对从基本级分析生成的并发连续事件分类和瞬态事件分类一起进行评估。并发评估会帮助加强和/或阐明有关基本级情境感知分析的决定。例如，“在电影院中”的并发空间环境连续事件可以增强对“坐着不动”的连续运动事件的发现。空间环境瞬态事件“掉落器具”将使“在街道上”的空间环境连续事件无效。
在示例操作820中，可以对顺序连续事件分类和/或瞬态事件分类一起进行评估。
在示例操作830中，可以去除不太可能的事件分类。
在示例操作840中，可以组合剩余的并发事件分类，这可以包括：在子操作850中，组合不同向量的瞬态事件分类。例如，可以将作为空间环境情境或者声音情境中的电话铃声”的瞬态事件与“坐着到站立”的运动瞬态事件组合。组合结果将增强用户站起来拿电话并且接听到来的电话呼叫的情境感知结果。这种元级情境感知将更有力地帮助在例如，将连接的TV配置为使扬声器的音量较低和/或静音时进行决定。
在示例操作860中，可以组合剩余的事件分类以生成情境更新序列。情境更新序列可以包括在多个情境区域(例如，运动、声音和空间环境)中的情境更新，并且可以包括由瞬态事件干预的连续事件。例如，使用被耦合至用户的智能电话的传感器，可以将情境更新序列确定为包括“驾驶汽车”(连续运动事件)加上并发的“在街道上”(连续空间环境事件)、“停止引擎”(瞬态运动事件)加上“住宅地址”(连续空间环境事件)、“坐着到站立”(瞬态运动事件)加上“住宅地址”、“步行”(连续运动事件)加上“住宅地址”、“停止步行”(瞬态运动事件)、“站立不动”(连续运动事件)加上并发的“门铃铃声”(瞬态空间环境)。利用指示用户正在拜访另一住宅的这种元级情境感知，用户的家中的智能家电(例如，用户的家中的智能温度控件)可以被自动配置为继续“房主离开”的设置。在该示例中，用户的家中的智能家电与另一智能装置的传感器相关联，例如，通过服务器220与用户的移动电话相关联。
图14和图15图示了示例“用户下车并且步行离开”场景上的基本级和元级分析。在图14中，上部子图是三轴加速度计的针对检测用户下车并且步行离开的情境感知应用的幅度波形。检测到在43秒和45秒之间的时间点已经发生了瞬态事件900。中间子图显示了基本级运动活动后验图，即，针对在元级分析中基于顺序组合的连续事件的后验概率。如图所示，“驾驶”910，接下来是“静止”920，并且接下来是“步行”930的连续事件针对相应时间间隔具有最高后验概率值。在“静止”920和“步行”930之间，存在“驾驶”910具有较高概率值的较短时间段，这可以被确定为元级分析中的错误检测，因为在“静止”920和“步行”930之间的几秒内发生驾驶汽车是不合理的。下部子图图示了y轴上针对检测到的瞬态事件的运动瞬态后验图(即，后验概率)。其表明“坐着到站立”瞬态事件分类940比“站立到坐着”瞬态分类950和“这些都不是”瞬态分类960具有高很多的概率值。
图15示出了示例元级分析结果。上部子图是与图14中的三轴加速度计的幅度波形相同的三轴加速度计的幅度波形。中间子图显示了根据从图14中的运动活动后验图导出的时间的对连续运动事件的分析结果，即，“驾驶”910，然后是“静止”920，并且然后是“步行”930。检测并且去除错误的分类。下部子图显示了来自图14中的运动瞬态后验图的对“坐着到站立”瞬态事件分类940的确定。利用图15中的分析结果，确定用户下车并且步行离开。
可以基于以下条款来进一步了解本公开：
条款1，一种系统，包括：一个或者多个传感器，该一个或者多个传感器被配置为检测包括一个或者多个传感器的情境的运动、声音和空间信息中的至少一个的情境数据；以及包含可执行指令的存储介质，该可执行指令当由处理单元执行时将处理单元配置为实施动作，这些动作包括：从一个或者多个传感器接收情境数据，从接收到的情境数据获得第一特征数据集合，基于第一特征数据集合来确定在情境中发生瞬态事件，从接收到的情境数据获得第二特征数据集合，基于第二特征数据集合来确定瞬态事件的分类，从接收到的情境数据获得第三特征数据集合，基于第三特征数据集合来确定情境中的连续事件的分类，以及基于瞬态事件的所确定的分类和连续事件的所确定的分类来配置与情境中的一个或者多个传感器相关联的智能装置。
条款2：根据条款1的系统，其中瞬态事件的分类在运动向量、声音向量和空间环境向量中的至少一个向量。
条款3：根据条款1的系统，其中获得特征数据集合包括：使用一系列时间窗口来处理接收到的情境数据。
条款4：根据条款3的系统，其中：获得第一特征数据集合和获得第二特征数据集合使用第一系列时间窗口；以及获得第三特征数据集合使用第二不同系列的时间窗口。
条款5：根据条款4的系统，其中第一系列时间窗口中的时间窗口短于第二系列时间窗口中的时间窗口。
条款6：根据条款1的系统，其中基于第二特征数据集合来确定瞬态事件的分类包括：利用分类参数库来对第二特征数据集合进行分析。
条款7：根据条款6的系统，其中进行分析包括相对于分类参数库对第二特征数据集合的后验图概率分析。
条款8：根据条款6的系统，其中分类参数库针对用户被定制。
条款9：根据条款6的系统，其中分类参数库针对地理位置被定制。
条款10：根据条款6的系统，其中分类参数库针对时间被定制。
条款11：根据条款6的系统，其进一步包括：至少部分地从基于云的数据库接收分类参数库。
条款12：根据条款1的系统，其中获得特征数据集合针对由一个或者多个传感器中的每个传感器检测到的情境信息被进行。
条款13：根据条款12的系统，其中确定在情境中发生瞬态事件使用从由一个或者多个传感器中的第一传感器和第二传感器检测到的情境信息获得的特征数据。
条款14：根据条款13的系统，其中由第一传感器检测到的情境信息和由第二传感器检测到的信息在数据处理的同一时间窗口内。
条款15：根据条款1的系统，其进一步包括：基于情境中的人类活动的特性来对接收到的情境数据进行过滤。
条款16：根据条款1的系统，其中确定在情境中发生瞬态事件和确定瞬态事件的分类中的至少一个考虑包括情境的时间和地理位置中的至少一个的确定性信息。
条款17：根据条款1的系统，其中确定瞬态事件的分类考虑在瞬态事件之前的连续事件。
条款18：根据条款1的系统，其中：瞬态事件的分类在被包括在第一运动向量、第一声音向量和第一空间环境向量中的至少一个中的分类元素中被确定；连续事件的分类在被包括在第二运动向量、第二声音向量和第二空间环境向量中的至少一个中的分类元素中被确定；以及第一运动向量和第二运动向量在情境的相同时间点彼此相互排斥。
条款19：根据条款18的系统，其中第一运动向量中的分类元素在情境的相同时间点彼此相互排斥。
条款20：根据条款18的系统，其中第一运动向量、第一声音向量或者第一空间环境向量中的分类元素分别比第二运动向量、第二声音向量或者第二空间环境向量中的分类元素持续得短。
条款21：根据条款1的系统，其中配置与情境中的一个或者多个传感器相关联的智能装置包括：将智能装置配置为基于瞬态事件的所确定的分类和连续事件的所确定的分类来自动地进行动作。
条款22：根据条款1的系统，其进一步包括：向从一个或者多个传感器接收到的情境数据添加时间信息。
条款23：根据条款1的系统，其中在基于第一特征数据集合确定在情境中发生瞬态事件之后，发生从接收到的情境数据获得第二特征数据集合和基于第二特征数据集合来确定瞬态事件的分类中的至少一个。
条款24：根据条款1的系统，其进一步包括：基于瞬态事件的所确定的分类和连续事件的所确定的分类来确定情境更新的序列，以及其中，配置智能装置基于情境更新的序列。
条款25：根据条款24的系统，其中基于瞬态事件的所确定的分类和连续事件的所确定的分类来确定情境更新的序列包括：对瞬态事件的所确定的分类和连续事件的苏确定的分类中的并发分类以及瞬态事件的所确定的分类和连续事件的所确定的分类中的顺序分类进行评估。
条款26：根据条款25的系统，其中在评估中使用规则。
条款27：根据条款24的系统，其中基于瞬态事件的所确定的分类和连续事件的所确定的分类来确定情境更新的序列包括：使用有限状态机算法或者训练模型中的至少一个。
条款28：根据条款1的系统，其进一步包括：组合连续事件的分类和瞬态事件的分类以获得元级情境感知分析结果。
条款29：根据条款28的系统，其中组合连续事件的分类和瞬态事件的分类包括：去除连续事件的分类和瞬态事件的分类中的至少一个。
条款30：根据条款28的系统，其中组合连续事件的分类和瞬态事件的分类包括：将运动向量、声音向量和空间环境向量中的一个向量中的瞬态事件的分类与运动向量、声音向量和空间环境向量中的另一个向量中的瞬态事件组合。
条款31：一种方法，包括：由第一智能装置从一个或者多个传感器接收有关一个或者多个传感器的情境的情境数据；从接收到的情境数据获得第一特征数据集合；基于第一特征数据集合来确定在情境中发生瞬态事件；从接收到的情境数据获得第二特征数据集合；基于第二特征数据集合来确定瞬态事件的分类；以及基于瞬态事件的所确定的分类来配置与情境中的一个或者多个传感器相关联的智能装置。
条款32：根据条款31的方法，其中确定瞬态事件的类别在被通信地耦合至第一智能装置的服务器处被进行。
条款33：一种智能装置，所述智能装置包括：被配置为检测智能装置的情境的情境数据的一个或者多个传感器；处理器；以及包含可执行指令的存储介质，该可执行指令当由处理器执行时将处理器配置为实施动作，这些动作包括：从一个或者多个传感器接收情境数据，从接收到的情境数据获得第一特征数据集合，基于第一特征数据集合来确定在情境中发生瞬态事件，从接收到的情境数据获得第二特征数据集合，基于第二特征数据集合来确定瞬态事件的分类，从接收到的情境数据获得第三特征数据集合，基于第三特征数据集合来确定情境中的连续事件的分类，以及基于瞬态事件的所确定的分类和连续事件的所确定的分类来配置智能装置。
通常，在接下来的权利要求书中，所使用的术语不应该被解释为将权利要求书限制为在本说明书和权利要求书中所公开的特定实施例，而是应该被解释为包括所有可能的实施例以及这种权利要求书赋予的等效物的全部范围。因此，所公开的实施例的宽度和范围不应该受上述示例性实施例中的任何一例限制，而是应该只根据所附的权利要求书及其等效物来进行限定。

Claims (20)

1.一种配置智能设备的系统，包括：
一个或者多个传感器，所述一个或者多个传感器被配置为检测包括所述一个或者多个传感器的情境的运动、声音和空间信息中的至少一个的情境数据；以及
包含可执行指令的存储介质，所述可执行指令在由处理单元执行时，将所述处理单元配置为实施动作，所述动作包括：
从所述一个或者多个传感器接收所述情境数据，
从所接收到的情境数据生成第一特征数据集合，
基于所述第一特征数据集合来确定在所述情境中发生瞬态事件，
从所接收到的情境数据生成第二特征数据集合，
基于所述第二特征数据集合来确定所述瞬态事件的分类，
从所接收到的情境数据生成第三特征数据集合，
基于所述第三特征数据集合来确定所述情境中的连续事件的分类，
通过评估已分类的瞬态事件和已分类的连续事件的并发事件以及已分类的瞬态事件和已分类的连续事件的顺序事件，确定基于所述瞬态事件的所述分类和所述连续事件的所述分类的情境更新的序列；以及
基于所述情境更新的所述序列，来配置具有处理器电路、并且与所述情境中的所述一个或者多个传感器相关联的智能装置。
2.根据权利要求1所述的系统，其中所述瞬态事件的所述分类在运动向量、声音向量和空间环境向量中的至少一个向量中。
3.根据权利要求1所述的系统，其中所述生成所述特征数据集合包括：使用一系列时间窗口来处理所接收到的情境数据。
4.根据权利要求3所述的系统，其中：
所述生成所述第二特征数据集合使用第一系列时间窗口；以及
所述生成所述第三特征数据集合使用不同的第二系列时间窗口。
5.根据权利要求4所述的系统，其中所述第一系列时间窗口中的时间窗口短于所述第二系列时间窗口中的时间窗口。
6.根据权利要求1所述的系统，其中所述基于所述第二特征数据集合来确定所述瞬态事件的所述分类包括：利用多个分类参数来对所述第二特征数据集合进行分析。
7.根据权利要求6所述的系统，其中所述分析包括相对于分类参数库对所述第二特征数据集合的后验图概率分析。
8.根据权利要求7所述的系统，其中所述分类参数库针对用户、地理位置或者时间中的至少一个被定制。
9.根据权利要求1所述的系统，其中所述生成所述特征数据集合针对由所述一个或者多个传感器中的每个传感器检测到的情境信息被进行。
10.根据权利要求1所述的系统，进一步包括：组合所述连续事件的所述分类和所述瞬态事件的所述分类，以获得元级情境感知分析结果。
11.根据权利要求10所述的系统，其中所述组合所述连续事件的所述分类和所述瞬态事件的所述分类包括：去除所述连续事件的所述分类和所述瞬态事件的所述分类中的至少一个。
12.根据权利要求10所述的系统，其中所述组合所述连续事件的所述分类和所述瞬态事件的所述分类包括：将运动向量、声音向量和空间环境向量中的一个向量中的瞬态事件的分类与所述运动向量、所述声音向量和所述空间环境向量中的另一个向量中的瞬态事件组合。
13.根据权利要求1所述的系统，进一步包括：基于所述情境中的人类活动的特性来对所接收到的情境数据进行过滤。
14.根据权利要求1所述的系统，其中所述确定所述瞬态事件的所述分类考虑在所述瞬态事件之前的连续事件。
15.根据权利要求1所述的系统，其中：
所述瞬态事件的所述分类在被包含在第一运动向量、第一声音向量和第一空间环境向量中的至少一个中的分类元素中被确定；
所述连续事件的所述分类在被包括在第二运动向量、第二声音向量和第二空间环境向量中的至少一个中的分类元素中被确定；以及
所述第一运动向量和所述第二运动向量在所述情境的相同时间点彼此相互排斥。
16.根据权利要求1所述的系统，其中所述配置与所述情境中的所述一个或者多个传感器相关联的所述智能装置包括：将所述智能装置配置为基于所述瞬态事件的所确定的分类和所述连续事件的所确定的分类来自动地进行动作。
17.一种配置智能设备的方法，包括：
由第一智能装置从一个或者多个传感器接收有关所述一个或者多个传感器的情境的情境数据；
从所接收到的情境数据生成第一特征数据集合；
基于所述第一特征数据集合来确定在所述情境中发生瞬态事件；
从所接收到的情境数据生成第二特征数据集合；
基于所述第二特征数据集合来确定所述瞬态事件的分类；
通过评估已分类的瞬态事件和已分类的连续事件的并发事件以及已分类的瞬态事件和已分类的连续事件的顺序事件，确定基于所述瞬态事件的所述分类和连续事件的分类的情境更新的序列；以及
基于所述情境更新的所述序列，来配置与所述情境中的所述一个或者多个传感器相关联的智能装置。
18.根据权利要求17所述的方法，其中所述确定所述瞬态事件的分类在被通信地耦合至所述第一智能装置的服务器处被进行。
19.一种智能装置，包括：
一个或者多个传感器，所述一个或者多个传感器被配置为检测所述智能装置的情境的情境数据；
处理器；以及
包含可执行指令的存储介质，所述可执行指令在由所述处理器执行时，将所述处理器配置为实施动作，所述动作包括：从所述一个或者多个传感器接收所述情境数据，
从所接收到的情境数据生成第一特征数据集合，
基于所述第一特征数据集合来确定在所述情境中发生瞬态事件，
从所接收到的情境数据生成第二特征数据集合，
基于所述第二特征数据集合来确定所述瞬态事件的分类，
从所接收到的情境数据生成第三特征数据集合，
基于所述第三特征数据集合来确定所述情境中的连续事件的分类，
通过评估已分类的瞬态事件和已分类的连续事件的并发事件以及已分类的瞬态事件和已分类的连续事件的顺序事件，确定基于所述瞬态事件的所述分类和所述连续事件的所述分类的情境更新的序列；以及
基于所述情境更新的所述序列来配置所述智能装置。
20.根据权利要求19所述的智能装置，其进一步包括：基于所述瞬态事件的所确定的分类和所述连续事件的所确定的分类来确定情境更新的序列，以及
其中所述配置所述智能装置基于的是所述情境更新的所述序列。
CN201910072433.0A 2018-01-25 2019-01-25 通过感测瞬态事件和连续事件的智能装置的情境感知 Active CN110276235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310679601.9A CN116738284A (zh) 2018-01-25 2019-01-25 通过感测瞬态事件和连续事件的智能装置的情境感知

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862621740P 2018-01-25 2018-01-25
US62/621,740 2018-01-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310679601.9A Division CN116738284A (zh) 2018-01-25 2019-01-25 通过感测瞬态事件和连续事件的智能装置的情境感知

Publications (2)

Publication Number Publication Date
CN110276235A CN110276235A (zh) 2019-09-24
CN110276235B true CN110276235B (zh) 2023-06-16

Family

ID=67298548

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310679601.9A Pending CN116738284A (zh) 2018-01-25 2019-01-25 通过感测瞬态事件和连续事件的智能装置的情境感知
CN201910072433.0A Active CN110276235B (zh) 2018-01-25 2019-01-25 通过感测瞬态事件和连续事件的智能装置的情境感知

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310679601.9A Pending CN116738284A (zh) 2018-01-25 2019-01-25 通过感测瞬态事件和连续事件的智能装置的情境感知

Country Status (2)

Country Link
US (2) US10976337B2 (zh)
CN (2) CN116738284A (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201904265A (zh) * 2017-03-31 2019-01-16 加拿大商艾維吉隆股份有限公司 異常運動偵測方法及系統
CN116738284A (zh) * 2018-01-25 2023-09-12 意法半导体公司 通过感测瞬态事件和连续事件的智能装置的情境感知
WO2021002893A1 (en) * 2019-03-07 2021-01-07 Roar for Good Emergency button
US10972261B1 (en) * 2019-10-18 2021-04-06 Via Science, Inc. Secure data processing
US10978093B1 (en) * 2019-12-18 2021-04-13 Audio Analytic Ltd Computer apparatus and method implementing sound detection to recognize an activity
WO2021218768A1 (en) * 2020-04-30 2021-11-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system for dynamically providing notifications
CN111639462B (zh) * 2020-05-29 2023-04-18 桂林电子科技大学 一种基于深度置信神经网络的自然通风环境下建筑室内热舒适预测方法
CN111683443B (zh) * 2020-06-18 2022-11-15 北京百瑞互联技术有限公司 一种基于状态机的人机交互方法
CN111964719A (zh) * 2020-08-11 2020-11-20 成都大象分形智能科技有限公司 基于人工智能的农业传感器作物精准营养系统及方法
WO2022092474A1 (en) * 2020-10-30 2022-05-05 Samsung Electronics Co., Ltd. Method and system for assigning unique voice for electronic device
US20220164662A1 (en) * 2020-11-24 2022-05-26 Qualcomm Incorporated Context-based model selection
CN113314113B (zh) * 2021-05-19 2023-11-28 广州大学 一种智能插座控制方法、装置、设备及存储介质
CN115982622B (zh) * 2022-12-30 2024-01-23 中国核动力研究设计院 核反应堆冷却剂系统运行瞬态快速识别方法、装置及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104823121A (zh) * 2012-09-30 2015-08-05 谷歌公司 智能控制器内的自动存在检测及与存在相关的控制
CN107211109A (zh) * 2014-11-20 2017-09-26 博拉斯特运动有限公司 视频和运动事件集成系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6525658B2 (en) 2001-06-11 2003-02-25 Ensco, Inc. Method and device for event detection utilizing data from a multiplicity of sensor sources
US8320932B2 (en) * 2006-04-11 2012-11-27 Motorola Solutions, Inc. Method and system of utilizing a context vector and method and system of utilizing a context vector and database for location applications
FI20095570L (fi) * 2009-05-22 2009-09-11 Valtion Teknillinen Kontekstin tunnistaminen mobiiliaitteissa
US20110206219A1 (en) * 2010-02-23 2011-08-25 Martin Pamler Electronic device for receiving and transmitting audio signals
US20110316880A1 (en) * 2010-06-29 2011-12-29 Nokia Corporation Method and apparatus providing for adaptation of an augmentative content for output at a location based on a contextual characteristic
RU2013114722A (ru) * 2010-09-17 2014-10-27 Нокиа Корпорейшн Способ и устройство для сегментации контекстной информации
US9336295B2 (en) * 2012-12-03 2016-05-10 Qualcomm Incorporated Fusing contextual inferences semantically
US9870535B2 (en) 2015-02-26 2018-01-16 Stmicroelectronics, Inc. Method and apparatus for determining probabilistic context awareness of a mobile device user using a single sensor and/or multi-sensor data fusion
CN116738284A (zh) * 2018-01-25 2023-09-12 意法半导体公司 通过感测瞬态事件和连续事件的智能装置的情境感知

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104823121A (zh) * 2012-09-30 2015-08-05 谷歌公司 智能控制器内的自动存在检测及与存在相关的控制
CN107211109A (zh) * 2014-11-20 2017-09-26 博拉斯特运动有限公司 视频和运动事件集成系统

Also Published As

Publication number Publication date
CN116738284A (zh) 2023-09-12
CN110276235A (zh) 2019-09-24
US10976337B2 (en) 2021-04-13
US20190227096A1 (en) 2019-07-25
US11467180B2 (en) 2022-10-11
US20210208179A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
CN110276235B (zh) 通过感测瞬态事件和连续事件的智能装置的情境感知
CN110176226B (zh) 一种语音识别、及语音识别模型训练方法及装置
CN107784357B (zh) 基于多模态深度神经网络的个性化智能唤醒系统及方法
Santos et al. Providing user context for mobile and social networking applications
US10504031B2 (en) Method and apparatus for determining probabilistic context awareness of a mobile device user using a single sensor and/or multi-sensor data fusion
US9159324B2 (en) Identifying people that are proximate to a mobile device user via social graphs, speech models, and user context
US11094316B2 (en) Audio analytics for natural language processing
CN101938691A (zh) 多模态邻近度检测
KR102515023B1 (ko) 전자 장치 및 그 제어 방법
Xu et al. Attention-based gait recognition and walking direction estimation in wi-fi networks
Kim et al. Deep neural network-based indoor emergency awareness using contextual information from sound, human activity, and indoor position on mobile device
Do et al. Soham: A sound-based human activity monitoring framework for home service robots
KR20190136706A (ko) 개인 관심상황 발생 예측/인지 장치 및 방법
CN115148197A (zh) 语音唤醒方法、装置、存储介质及系统
Kalimuthu et al. Human activity recognition based on smart home environment and their applications, challenges
Dargie Adaptive audio-based context recognition
Bruckner Probabilistic models in building automation: recognizing scenarios with statistical methods
US20230237897A1 (en) Method of reducing a false trigger alarm on a security ecosystem
Melo et al. Environment aware ADL recognition system based on decision tree and activity frame
KR20210048382A (ko) 음성 분석 방법 및 장치
JP2016225742A (ja) 情報処理装置、情報処理方法、及びプログラム
CN107203259B (zh) 用于使用单和/或多传感器数据融合确定移动设备使用者的概率性内容感知的方法和装置
KR20190117856A (ko) 사용자와의 대화를 위한 정보를 생성하는 시스템 및 방법
Choujaa et al. Activity recognition from mobile phone data: State of the art, prospects and open problems
Baghezza et al. Activity recognition in the city using embedded systems and anonymous sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant