CN104350473B - 情景感知地图应用程序 - Google Patents

情景感知地图应用程序 Download PDF

Info

Publication number
CN104350473B
CN104350473B CN201380029693.0A CN201380029693A CN104350473B CN 104350473 B CN104350473 B CN 104350473B CN 201380029693 A CN201380029693 A CN 201380029693A CN 104350473 B CN104350473 B CN 104350473B
Authority
CN
China
Prior art keywords
data
environmental activity
activity
profile
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380029693.0A
Other languages
English (en)
Other versions
CN104350473A (zh
Inventor
P·皮埃蒙特
涂晓源
C·摩尔
B·P·陈
C·布鲁门伯格
S·普拉潘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Publication of CN104350473A publication Critical patent/CN104350473A/zh
Application granted granted Critical
Publication of CN104350473B publication Critical patent/CN104350473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • G01C21/367Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • G01S19/14Receivers specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3058Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/10Details of telephonic subscriber devices including a GPS signal receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Abstract

所述实施例涉及利用便携式电子设备监视、处理、呈现和管理由一系列传感器捕集的数据的技术和系统,以及提供情景感知地图和导航应用程序的位置感知技术。情景感知地图应用程序提供包括视觉和音频输入和输出的用户界面,并提供若干地图模式,该地图模式可基于由通过一系列传感器捕集的数据和位置感知技术所确定的情景而改变。

Description

情景感知地图应用程序
相关申请的交叉引用
本专利申请要求2012年6月6日提交的美国临时申请61/656,459的权益,该临时申请以引用方式并入本文。
背景技术
移动电子设备随着设备功能发展已变得越来越复杂。设备诸如智能电话和平板设备常常用于包括通信、网页浏览和导航的多种活动。除了蜂窝无线电和Wi-Fi连接以外,一些移动设备还包含一组传感器,其提供关于设备状态和设备用户的信息的连续更新。一些设备包括可提供有关设备加速度的数据的加速度计,并且一些设备包括可提供与移动设备的位置有关的信息的GPS接收器。在移动设备上执行的应用程序中的一些可以找到由无线电和传感器采集到的可用于应用目的的信息。
发明内容
征表示特定活动剖面图,并因此当在不同活动剖面图之间区分时适于使用。在一个实施例中,活动剖面图之中最适合区分的特征可在操作520中被用于计算用于该活动的在一个实施例中,情景感知地图和导航应用程序可检测并学习适当的情况,以将导航和地图绘制用户界面转换入和转换出不同的地图绘制和导航模式。历史信息和矢量地图数据诸如路面属性(例如,隧道、道路、桥梁等)有助于对系统的输入以改善预测。在一个实施例中,情景感知地图应用程序提供可包括视觉和音频输入和输出的用户界面。
在一个实施例中,移动电子设备运行情景感知地图应用程序。移动设备还可运行除情景感知地图应用程序以外的另外的应用程序,诸如提供媒体回放功能性和互联网浏览能力。移动电子设备的实施例可采用若干形式,其除了包括智能电话设备诸如iPhone以外,还包括个人媒体播放器设 备诸如iPod个人媒体播放器家族。移动电子设备还可采用平板电脑诸如iPad的形式,上述列举的所有设备由Apple Inc.(Cupertino California)制造。
在一个实施例中,传感器的输出可被分析以确定该设备的情景是否已改变(诸如,例如用户已携带该设备行走,以及因为用户在以较快速度运动的汽车中,所以情景已改变),并且这种情景变化可被用于触发该设备的导航地图的启动或从行走模式切换到汽车地图模式,其中该地图可不同并且地图上的信息也可不同。
在一个实施例中,描述了用于提供情景感知地图应用程序的由在移动电子设备中的处理系统执行的方法。在一个实施例中,移动设备包括至少数据存储设备和被布置用于检测环境活动的传感器,数据存储设备和传感器均被耦接到带有一个或多个微处理器的处理系统。通过执行至少以下操作可实施该方法:从电子设备上的一个或多个传感器检测环境活动;基于一个或多个输出确定环境活动的变化;以及响应于确定环境活动的变化,启动或改变在该电子设备上执行的地图绘制应用程序的模式。
本文所述的各种实施例可以以许多方式实现,包括作为方法、系统、设备以及计算机可读介质来实现。以上概述不包括本发明所有方面的详尽列表。预期本发明包括可根据以上概述的各方面以及以下具体实施方式中所公开的那些的所有合适组合来实践的所有系统和方法。
附图说明
本发明以举例的方式进行说明并且不局限于附图的图形,在附图中类似的标号指示类似的元件,并且其中:
图1是适于和所述实施例一起使用的移动电子设备的框图;
图2是在电子设备中检测和剖析情景活动的方法的一个实施例的流程图;
图3是可被用于识别环境活动数据的过程的实施例的流程图;
图4是根据所述实施例细化代表性的学习过程的流程图;
图5是根据所述实施例在学习和分类期间细化代表性的统计过滤过程的流程图;并且
图6是运行情景感知地图应用程序的示例的移动电子设备的实施例的框图。
具体实施方式
将参考以下讨论的细节来描述本发明的多个实施例和方面,并且附图将图示所述多个实施例。以下说明书和附图对于本发明是示例性的,并且不应被理解为限制本发明。描述了众多的具体细节以提供对本发明的各种实施例的彻底理解。然而,在某些实例中,熟知的或常规的细节并未被描述以提供对本发明的实施例的简明论述。
在本说明书中对“一个实施例”或“实施例”的引用是指结合该实施例描述的特定特征、结构或特性可以被包括在本发明的至少一个实施例中。在本说明书中的各个位置出现的短语“在一个实施例中”不一定都是指同一个实施例。虽然下文按照一些顺序操作来描述该过程,但应当理解,所描述的一些操作可以不同的顺序被执行。此外,一些操作也可以并行地而并非按顺序执行。
图1是适于和所述实施例一起使用的移动电子设备100的框图。在一个实施例中,设备100包括处理系统102,其带有用于控制该设备总体操作的一个或多个微处理器。文件、媒体和其他数据可被存储在位于非暂态、非易失性存储器存储设备104和数据高速缓存106上的文件系统中。非易失性存储器104可以是基于闪存的存储器设备或非易失性存储器的一些其他形式。数据高速缓存106可以是随机存取存储器(RAM)120的一部分,随机存取存储器120可以被用于对非易失性存储器频繁访问数据提供改善的访问时间。除了用作数据高速缓存以外,RAM 120还可提供用于在移动电子设备100上执行应用程序的存储器空间。另外,只读存储器(ROM)122可被移动设备100用于引导数据、固件或用于该设备的其他关键系统数据。
移动设备100还可包括用户输入设备108,诸如附接到显示设备110的触摸屏。用户输入设备108可允许用户向该设备提供控制用户引导活动的输入。该设备还可包括其他输入设备(例如,用于语音命令和控制的麦克风等)。显示设备110可包含用户界面,诸如通过iOS设备提供的用户界面,该iOS设备诸如iPhone、iPad和iPod touch。数据总线111可有利于在 至少非易失性存储器104、文件系统数据高速缓存106、处理系统102和编解码器112之间的数据传输。编解码器112可产生用于扬声器114的模拟输出信号,该扬声器可以是电子设备100内部的扬声器,或是经由头戴式耳机、耳机或蓝牙音频连接在该设备的外部的扬声器。网络/总线接口116可允许经由包括无线收发器的多个设备的有线或无线网络连接。移动设备100还可包括一个或多个传感器117,该传感器可提供用于感测该设备的情景或活动状态的数据,该情景或活动状态任选地包括该设备用户的状态。这些传感器可包括下列中的一种或多种:(a)全球定位系统(GPS)接收器;(b)接近传感器;(c)环境光线传感器;(d)加速度计;(e)触摸输入面板;(f)取向传感器;以及(g)电子罗盘。GPS接收器可确定该设备的位置和速度,并且环境光线传感器可以确定该设备是否被用在黑暗地方中或在外面太阳光下。接近传感器可确定该设备是否在对象旁边(例如,在用户头部旁边)。关于传感器的进一步细节可见于美国专利7,633,076,该美国专利以引用方式并入本文。
图2是在电子设备中检测并剖析情景活动的方法的一个实施例的流程图。在该设备中的地图应用程序中的一者或多者的操作模式可基于该移动设备的检测出的情景而改变。根据一个实施例,过程200在操作202处通过传感器初始检测环境活动。例如,在移动电子设备中的传感器可基于已为行走而校准并规格化的模型,通过使各种运动和加速度测量相互关联来检测出用户在行走。下一步,在操作204,在传感器继续检测环境活动时,进来的传感器数据经由贝叶斯统计模型过滤,该贝叶斯统计模型提高传感器数据的准确度,在一个实施例中,该准确度允许由传感器生成的数据跨设备范围被规格化,每种设备带有不同的传感器性能和准确度剖面图。这允许制造商使用产品的不同型号(或版本)的不同传感器,但是提供与这些不同传感器的至少子集一起工作的统计模型。在一个实施例中,传感器数据可被处理系统过滤并处理并且存储在存储器中或被写入到存储设备。
传感器数据被过滤并处理是因为一些活动不容易与从传感器提供类似数据的其他活动区分开。例如,在一个实施例中,传感器数据可以容易区分一个活动剖面图与另一个活动剖面图,例如行走对跑步,这是因为在每个活动期间采集到的数据集之间存在较大区别。然而,在分析完成前,在住宅道路上骑自行车和驾驶可呈现类似的原始传感器数据。使用被称为线 性判别分析(LDA)的统计分析方法可改善辨别一个活动与另一个活动的能力。
线性判别分析可对与在设备训练阶段期间采集的样本传感器数据相关联的推导值执行。线性判别分析基于一个活动的推导特征值与第二活动的推导特征值之间的差异,识别可用于辨别不同活动的特定推导特征。在一个实施例中,线性判别分析被用于推导用于对数据集分类的值,并更好辨别一个活动剖面图与另一个活动剖面图。推导值从原始加速度计数据计算并表示在加速度计数据(例如,量值、倾斜角、与频率相关联的能量等)中反映的运动图案的特性。抽象值是与抽象特征相关联的值,其中该抽象特征是如同通过线性判别分析所确定的辨别特定活动与其他活动的某些推导特征的线性组合。关于原始传感器数据过滤器的进一步信息在图5中提供。在一个实施例中,204的过滤操作是可选的并且可被省略。
在操作206,处理系统可处理环境活动数据以便确定该环境活动是否被识别。在一个实施例中,处理系统可将所接收的环境活动数据与已知用户活动的数据图案或剖面图进行比较。换句话讲,所接收的环境活动数据以这样的方式进行处理,以便形成对应于环境活动数据的数据图案或数据剖面图,该数据图案或数据剖面图然后与已知被识别物理活动的数据图案进行比较。如果处理系统确定不存在匹配,或至少匹配程度不足以指示完全匹配,那么过程200结束。然而应当指出的是,在一些实施例中,未被识别的刺激活动数据被存储用于潜在的后续处理。甚至在过程200结束后,可在以后的某个时间点再次开始该过程。(例如在过程200结束时间后的3或5分钟),并且过程200可随时间推移重复该过程。
当在操作206时环境数据被识别,并且接着该已识别环境数据在操作208处被存储在存储器设备中。应当指出的是,操作202-208可在后台中操作并且不需要用户干预。通过这种方式,如有必要,环境活动数据被连续接收、评估并存储。然而,为了不使存储器资源过载,特定的具体实施可需要仅特定量的存储器资源用于存储环境活动数据。例如,在先前存储的数据被更新数据覆写后,对应于价值10分钟的环境数据的存储器资源可被存储。通过这种方式,用户具有对最新数据的访问权限,并且该最新数据可以是最相关的环境活动数据。在另一个实施例中,在操作202、204、206和208中的检测和过滤以及识别和存储可只在该设备在特定模式时发生, 诸如其中地图应用程序在最前并被配置为接收用户输入的模式,或其中地图应用程序已启动并在执行但是处于后台(例如,不是前台)进程的模式。在一个实施例中,操作202、204、206和208的动作只可在地图应用程序已启动并在执行时被执行,而不管前台还是后台状态。
在操作210,当基于活动会话中的明显变化接收到模式切换触发时,发起模式切换。在所述实施例中,该活动会话可与具体活动诸如跑步、行走或驾驶相关。在一些情况下,起始的触发可以是通过移动电子设备使用例如用户界面的方式从用户接收的用户发起事件。然而,在其他情况下,该模式切换可基于环境活动数据的识别,或环境活动与其他外部因素诸如位置和温度的组合被自动发起。当明显的活动会话与设备或地图模式之间存在差异时,该移动电子设备可触发模式切换。例如,当用户开始慢跑或跑步时,该移动电子设备可识别与跑步相关联的数据特性(速度改变、步幅长度改变、定期加速和减速,等等)以自动检索跑步会话模板,该跑步会话模板可包括改变向用户再现或显示地图数据的方式以高亮对用户在跑步时可以有用的活动。在这个示例中,地图模式变化可以涉及从行走地图UI(用户界面)切换到跑步地图UI。
在操作212,根据已识别活动的活动数据从传感器接收,并且在操作214,已存储环境活动数据中的至少一些被检索。下一步在操作216,已存储环境数据中的至少一些和活动数据以根据活动会话的方式进行处理。例如,当与行走相关联的环境数据转换到与驾驶相关联的数据时,地图应用程序可从行走地图模式切换到驾驶导航模式。在驾驶模式中,向用户显示的信息是对基于如通过贝叶斯统计模型过滤的输入信息总体敏感的情景。例如,当在驾驶模式时,带有情景感知地图绘制应用程序的移动设备可经由接近传感器分析亮度级。位置服务(GPS、Wi-Fi)可提供当前的时间和地理位置。地图数据可描述路面结构的类型,诸如州际公路,桥梁,隧道,或其他路面结构。通过对这些输入中的每个输入加权并使用导航应用程序的历史信息,子系统可触发渐变为相应视图模式(例如,晚上模式、白天模式等)的用户界面。
图3是可以被用于识别环境活动数据的过程的实施例的流程图。在一个实施例中,过程300可以由移动电子设备诸如图1的移动电子设备执行。过程300在操作302处初始接收环境活动数据。该环境活动数据可以 从传感器直接接收或从存储环境活动数据中的至少一些的存储器设备接收。在一些情况下,这个步骤可涉及与计算设备的用户交互,以选择或输入导致确定是否进行过程300的信息。这对电力资源有限,诸如具有有限电池剩余电量的电池供电设备的那些情况是有用的。这种干预可特别适用于通常在后台中运行并且可以不由用户注意到的过程300。过程300可接着进行操作304,在操作304,处理系统使用所接收的环境活动数据生成数据剖面图。该数据剖面图可使用数据剖面图发生器生成,该数据剖面图发生器可以实现为由处理系统执行的软件指令。在一个实施例中,该数据剖面图发生器可基于可与具体活动对应的特定活动标记对环境活动数据分类。该活动标记接着可在操作306中用于与已知或已识别活动数据剖面图进行比较,,在操作306,该环境活动标记与至少一个已识别活动数据剖面图进行比较。在这种情况下,根据匹配的程度,过程300可指示环境活动数据对应于已知的活动数据剖面图。
例如,在一个实施例中,当环境活动数据包括指示对应于行走的速度和位置的运动数据时,数据剖面图发生器可将环境活动数据识别为行走。在一些情况下,数据剖面图发生器可分配数据剖面图(或多个剖面图)的概率。这可在环境活动数据一定程度地模糊或不易拟合预先建立的活动模型时是特别有用的。利用这个数据,情景感知地图应用程序可使用经由位置感知与地图数据和位置数据结合的传感器数据,以确定对应于活动情景的用户活动的一般图案。用户在一天中的特定时间从被识别为工作地点的位置行走可假设成为了通勤到用户住宅而向用户的汽车行走或向附近公共交通行走。如果传感器数据和位置感知数据指示用户接下来在该用户的住宅的大体方向以驾驶速度行进,那么这个假设可得到证实。这个数据可以接着针对已知的公共交通路线和时间表交叉引用,以确定该用户是否在驾驶汽车,或作为另外一种选择地在公共汽车、火车或一些其他公共交通形式上。这个信息可基于可用的情景,触发情景感知地图应用程序中的模式切换以显示可能的目的地或其他有用的信息。声音提示也可用于请求来自用户的另外信息并确认基于情景的用户活动估计是正确的。
如果在操作308不存在匹配的已识别活动数据剖面图,那么过程300进行到操作310,在操作310,可调用学习选项。在一些实施例中,学习选项是否被调用可通过用户界面的方式由用户在设定操作期间或实时预先确 定。如果确定学习选项是不可用的或未被选择,那么过程300停止并且不再进行处理任何已接收环境活动数据的进一步动作。另一方面,如果判定学习选项是可用的并且用于学习先前未被识别的环境活动数据,那么过程300进行下面描述的过程400。
转回操作308,如果至少一个已识别活动数据剖面图紧密匹配足以被视为是已识别的,那么在操作312,基于已识别的活动,对应于已识别活动的用户活动模板被检索,准备用于任何需要的地图应用程序模式变化。该活动模板可被用于限定各种地图应用程序模式。模板可被例如作为XML文件提供,并且可以被包括在移动电子设备的固件中或在应用程序更新期间被下载到该移动设备。
图4是细化根据所述实施例的代表性学习过程400的流程图。过程400可在操作402通过分析并过滤数据以生成环境活动剖面图开始。可对相关的传感器数据执行统计分析并过滤以改善环境数据分类的准确度。过滤过程在图5中示出并在下面进一步详细描述。该过程接着可进行到操作404,在操作404,环境活动剖面图被标记为识别剖面图,以及进行到操作406,在操作406,可将现在已识别的环境活动剖面图与活动模板相关联。一旦传感器数据已被分析、过滤并分类,环境活动剖面图就可被分配给该数据。现在已识别的环境活动剖面图可和活动模板成对,该活动模板与对应于已识别的环境活动剖面图的地图应用程序模式的类别相关联。
例如,如果已识别的环境活动剖面图的类别是在步道上行走,那么,多个可用行走地图模板中的任一个可被用于生成行走模式地图。从位置服务采集的数据可地理定位该设备,并且与该地理位置相关联的地图数据可被读取以采集关于该设备附近的位置的信息。在一个实施例中,与地图数据相关联的元数据可被读取以提供周围区域的信息。另选地,在一个实施例中,地图图像数据可被直接分析以采集周围区域的信息。在任何情况下,在操作408,已识别的活动数据剖面图数据库被更新以包括已识别的环境活动剖面图和到相关联活动模板的链接。在一个实施例中,在已识别活动剖面图数据库已更新后,该处理系统可进行到操作312,以检索用于该已识别活动的应用程序模式模板。
图5是描述过程500的流程图,过程500用于过滤并分类传感器数据以生成环境活动剖面图。在一个实施例中,在学习阶段期间,供学习的来自活动的已记录传感器数据505可被用作分类系统的输入。该传感器数据可包括从移动设备的加速度计收集的加速度计数据。就能够在三维空间中采集运动数据的三轴加速度计而言,该加速度计的输出可被视为由x、y和z分量构成的矢量。基本特征矢量可在操作510计算,以定量并分类所收集的加速度计数据,该加速度计数据表示在该数据内发现的运动图案的不同特性。在一个实施例中,除了其他特征以外,推导特征可以包括给定矢量的运动的量值、跨零轴的次数、移动设备的倾斜角,以及与该数据内任何周期性运动相关联的频率数据。
在一个实施例中,在学习阶段期间,该设备可尝试确定匹配未来传感器输入与当前被学习的传感器数据的适当方法。因此,在操作515执行线性判别分析,以确定哪一个推导特征表示特定活动剖面图,并因此当在不同活动剖面图之间区分时适于使用。在一个实施例中,活动剖面图之中最适合区分的特征可在操作520中被用于计算用于该活动的可能性模型。在一个实施例中,当活动剖面图是已知时,线性判别分析和可能性模型的结果可被用作贝叶斯分类器530的输入,贝叶斯分类器530可确定给定传感器输入可与给定活动剖面图相关联的概率。
在一个实施例中,用于改善数据分类的过滤方法也用于将横跨设备或横跨设备种类的传感器性能中的轻微差异规格化。例如,由智能电话设备采集到的原始传感器数据的类型将与为平板设备采集的数据轻微不同。另外,由于各种传感器的制造、设计或校准中的变化,因此各个设备之间或设备世代之间可存在一些偏差。在一个实施例中,每个设备的统计模型在使用该设备的传感器的设备设定期间被训练。在设备训练期间,设备传感器与基准传感器数据之间的微小偏差可通过用于相同产品种类的设备的统计模型被规格化。可以大到足以影响设备情景选择的性能的在产品种类之间的偏差可通过调节用于该产品种类的模型来处理。
图6是示例移动电子设备600的框图,该移动电子设备显示示例情景感知地图应用程序。在各个实施例中,该移动设备可以是便携式媒体播放器,智能电话或平板设备。移动电子设备600可包括显示器和触摸屏以显示图形用户界面并允许用户输入,该显示器和触摸屏类似于例如图1的显示设备110和用户输入设备108。在一个实施例中,示例地图应用程序604可显示数据诸如信息显示602,该信息显示可示出信息诸如当前设备位置或 当前导航目的地。在一个实施例中,地图模式选择器606可被用于转换到不同地图模式,或地图模式可基于由活动剖面图确定的情景信息进行自动选择。
在前述的说明书中,已经参照具体的示例性实施例描述了本发明。显而易见的是,可在不脱离以下权利要求所示的本发明的更广泛的实质和范围的情况下对实施例做出各种修改。因此,说明书和附图应被认为是出于例证目的而非限制目的。各个方面、实施例、具体实施或实施例的特征可被单独使用或以任何组合使用。
所述实施例还可体现为在非暂态计算机可读介质上的计算机可读代码。与被具体设计用于传播暂态信号的介质不同,非暂态计算机可读介质是可存储数据的任何数据存储设备,所存储的数据可在然后被计算机系统读取。非暂态计算机可读介质的示例包括软盘、闪存存储器设备、光盘、CD-ROM以及磁-光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、磁卡或光卡,或适合存储电子指令的任何介质类型。在各种实施例中,存储在机器可读存储介质上的软件指令可结合硬连线电路用于实现本发明。因此,本技术并不局限于硬件电路和软件指令的任何特定组合,或局限于用于指令的任何特定来源,该指令由与用于执行本文所述一个或多个操作的装置相关联的处理系统执行。
所述实施例的许多特征和优点从所撰写的说明书是显而易见的,因此,附属权利要求旨在覆盖所述实施例的这类特征和优点。进一步地,由于许多更改和变化对于本领域的技术人员来说易于进行,所述实施例不应局限于如图所示和描述的确切构造和操作。因此,所有合适的更改和等同物可以被诉诸落入本实施例的范围之内。

Claims (22)

1.一种提供情景感知地图应用程序的方法,包括:
从来自电子设备上的一组传感器的一个或多个输出检测环境活动;
使用贝叶斯统计模型经由从样本传感器数据创建的一组环境活动剖面图来过滤环境活动;
基于所述过滤确定环境活动的变化;以及
响应于确定环境活动的所述变化,启动或改变在所述电子设备上执行的地图绘制应用的模式。
2.根据权利要求1所述的方法,其中所述环境活动包括来自选自一组传感器的多个传感器的输出,所述一组传感器包括全球定位系统GPS接收器、接近传感器、环境光传感器、加速度计、触摸输入面板、取向传感器或电子罗盘中的至少一个。
3.根据权利要求1所述的方法,其中环境活动剖面图在训练阶段期间经由线性判别分析从样本传感器数据创建,并且其中创建所述环境活动剖面图包括:
从所述电子设备上的所述一组传感器接收环境活动数据;
使用线性判别分析生成对应于所接收的环境活动数据的数据剖面图;
使用贝叶斯分类器比较所述数据剖面图与已识别的环境活动;
经由线性判别分析和贝叶斯分类器将跨设备种类的传感器输出规格化;以及
使用所接收的环境活动来更新一组已识别的环境活动剖面图。
4.根据权利要求1所述的方法,其中改变在所述电子设备上执行的地图绘制应用的模式包括:
存储在处于地图绘制应用的第一模式时的传感器数据;
基于环境活动的变化接收模式切换触发;
将地图绘制应用的模式改变为第二模式;
根据当前活动会话从所述一组传感器接收活动数据;
检索在处于地图绘制应用的第一模式时所存储的传感器数据的至少一部分;以及
处理所存储的传感器数据用于所述地图绘制应用的第二模式。
5.根据权利要求4所述的方法,其中所述地图绘制应用具有包括行走模式、跑步模式或驾驶模式的地图模式。
6.根据权利要求5所述的方法,还包括公共交通模式或骑自行车模式。
7.根据权利要求5或6所述的方法,其中每个模式具有包括白天模式变体和晚上模式变体的替换变体。
8.根据权利要求7所述的方法,其中所述模式变体由包括亮度级、当前时间、地理位置和地图数据的参数确定。
9.一种在电子设备处的机器实现的方法,所述方法包括:
从来自所述电子设备上的一组传感器的一个或多个输出接收环境活动数据;
使用线性判别分析生成对应于所接收的环境活动数据的数据剖面图;
使用贝叶斯分类器比较所述数据剖面图与已识别的环境活动;
经由线性判别分析和贝叶斯分类器将跨设备种类的传感器输出规格化;以及
使用所接收的环境活动来更新一组已识别的环境活动剖面图。
10.根据权利要求9所述的机器实现的方法,其中用于所接收的环境活动数据的所述数据剖面图匹配一组已识别的环境活动剖面图中的数据剖面图。
11.根据权利要求9所述的机器实现的方法,其中所接收的环境活动数据剖面图被添加到一组已识别的环境活动剖面图。
12.一种提供情景感知地图应用程序的系统,包括:
用于从来自电子设备上的一组传感器的一个或多个输出检测环境活动的装置;
用于使用贝叶斯统计模型经由从样本传感器数据创建的一组环境活动剖面图来过滤环境活动的装置;
用于基于所述过滤确定环境活动的变化的装置;以及
用于响应于确定环境活动的所述变化,启动或改变在所述电子设备上执行的地图绘制应用的模式的装置。
13.根据权利要求12所述的系统,其中所述环境活动包括来自选自一组传感器的多个传感器的输出,所述一组传感器包括全球定位系统GPS接收器、接近传感器、环境光传感器、加速度计、触摸输入面板、取向传感器或电子罗盘中的至少一个。
14.根据权利要求13所述的系统,其中所述贝叶斯统计模型要使用环境活动剖面图来过滤检测到的环境活动,所述环境活动剖面图在训练阶段期间经由线性判别分析从样本传感器数据创建,并且其中所述系统另外包括:
用于从所述电子设备上的所述一组传感器接收环境活动数据的装置;
用于使用线性判别分析生成对应于所接收的环境活动数据的数据剖面图的装置;
用于使用贝叶斯分类器比较所述数据剖面图与已识别的环境活动的装置;
用于经由线性判别分析和贝叶斯分类器将跨设备种类的传感器输出规格化的装置;以及
用于使用所接收的环境活动来更新一组已识别的环境活动剖面图的装置。
15.根据权利要求12所述的系统,其中用于启动或改变在所述电子设备上执行的地图绘制应用的模式的装置包括:
用于存储在处于地图绘制应用的第一模式时的传感器数据的装置;
用于基于环境活动的变化接收模式切换触发的装置;
用于将地图绘制应用的模式改变为第二模式的装置;
用于根据当前活动会话从所述一组传感器接收活动数据的装置;
用于检索在处于地图绘制应用的第一模式时所存储的传感器数据的至少一部分的装置;以及
用于处理所存储的传感器数据用于所述地图绘制应用的第二模式的装置。
16.根据权利要求15所述的系统,其中所述地图绘制应用具有包括行走模式、跑步模式或驾驶模式的地图模式,每种模式具有至少包括白天模式变体和晚上模式变体的替换变体。
17.根据权利要求16所述的系统,所述地图模式还包括公共交通模式或骑自行车模式。
18.根据权利要求17所述的系统,其中所述模式变体由包括亮度级、当前时间、地理位置和地图数据的参数确定。
19.一种电子设备,包括:
一个或多个传感器,所述一个或多个传感器感测所述电子设备的环境活动;
数据存储设备,所述数据存储设备存储从所述一个或多个传感器接收的传感器数据;和
处理逻辑,所述处理逻辑执行情景感知地图应用,所述情景感知地图应用使所述处理逻辑:
经由在处于第一地图模式时来自所述一个或多个传感器的传感器数据检测环境活动;
使用贝叶斯分类器来过滤所述传感器数据以确定与所述环境活动相关联的活动剖面图;
存储与所述环境活动相关联的传感器数据;
接收指示所述情景感知地图应用从第一地图模式至第二地图模式的模式改变的触发;
根据与第二地图模式相关联的活动会话从所述一个或多个传感器接收活动数据;
检索所存储的传感器数据的至少一部分;以及
处理所存储的传感器数据用于所述情景感知地图应用的第二地图模式。
20.根据权利要求19所述的电子设备,其中用于所接收的环境活动数据的数据剖面图匹配一组已识别的环境活动剖面图中的数据剖面图。
21.根据权利要求19所述的电子设备,其中所接收的环境活动数据剖面图被添加到一组已识别的环境活动剖面图。
22.根据权利要求19所述的电子设备,其中贝叶斯分类器和线性判别分析将设备之间的传感器输出规格化。
CN201380029693.0A 2012-06-06 2013-04-29 情景感知地图应用程序 Active CN104350473B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261656459P 2012-06-06 2012-06-06
US61/656,459 2012-06-06
US13/627,871 2012-09-26
US13/627,871 US10274336B2 (en) 2012-06-06 2012-09-26 Context aware map application
PCT/US2013/038681 WO2013184249A1 (en) 2012-06-06 2013-04-29 Context aware map application

Publications (2)

Publication Number Publication Date
CN104350473A CN104350473A (zh) 2015-02-11
CN104350473B true CN104350473B (zh) 2017-06-23

Family

ID=48471092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380029693.0A Active CN104350473B (zh) 2012-06-06 2013-04-29 情景感知地图应用程序

Country Status (4)

Country Link
US (1) US10274336B2 (zh)
CN (1) CN104350473B (zh)
DE (1) DE112013002835T5 (zh)
WO (1) WO2013184249A1 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9141974B2 (en) * 2008-01-16 2015-09-22 Martin Kelly Jones Systems and methods for determining mobile thing (MT) identification and/or MT motion activity using sensor data of wireless communication device
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US8706415B2 (en) * 2011-05-23 2014-04-22 Microsoft Corporation Changing emphasis of list items in a map navigation tool
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
CN103678417B (zh) * 2012-09-25 2017-11-24 华为技术有限公司 人机交互数据处理方法和装置
US9726498B2 (en) * 2012-11-29 2017-08-08 Sensor Platforms, Inc. Combining monitoring sensor measurements and system signals to determine device context
US9261380B2 (en) * 2013-02-01 2016-02-16 Apple Inc. Intelligent adjustment of map viewports at launch
CN113470640B (zh) 2013-02-07 2022-04-26 苹果公司 数字助理的语音触发器
US9983093B2 (en) * 2013-05-06 2018-05-29 Here Global B.V. Assessing the road quality of one or more road segments in a road network
US9615231B2 (en) * 2013-06-04 2017-04-04 Sony Corporation Configuring user interface (UI) based on context
US9110561B2 (en) * 2013-08-12 2015-08-18 Apple Inc. Context sensitive actions
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9857195B2 (en) * 2014-05-30 2018-01-02 Google Inc. Selection and presentation of geographic content in an automotive environment
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9752883B1 (en) 2014-06-04 2017-09-05 Google Inc. Using current user context to determine mapping characteristics
US9594808B2 (en) 2014-06-04 2017-03-14 Google Inc. Determining relevance of points of interest to a user
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
WO2016036552A1 (en) 2014-09-02 2016-03-10 Apple Inc. User interactions for a mapping application
US10342462B2 (en) * 2014-10-26 2019-07-09 David Martin Application of gait characteristics for mobile
SE538331C2 (en) * 2014-11-21 2016-05-17 Melaud Ab Earphones with sensor controlled audio output
EP3232925B1 (en) * 2014-12-18 2019-09-04 Koninklijke Philips N.V. Activity classification and communication system for wearable medical device
WO2016126733A1 (en) 2015-02-02 2016-08-11 Apple Inc. Device, method, and graphical user interface for establishing a relationship and connection between two devices
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9696171B2 (en) 2015-09-25 2017-07-04 International Business Machines Corporation Displaying suggested stops on a map based on context-based analysis of purpose of the journey
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
CN107436773A (zh) * 2016-05-25 2017-12-05 全球能源互联网研究院 一种安卓的基于规则的场景自适应方法
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
US10520919B2 (en) 2017-05-01 2019-12-31 General Electric Company Systems and methods for receiving sensor data for an operating additive manufacturing machine and mapping the sensor data with process data which controls the operation of the machine
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
CN107426425A (zh) * 2017-07-25 2017-12-01 珠海市魅族科技有限公司 应用程序控制方法、装置、计算机装置及可读存储介质
US10586534B1 (en) * 2017-09-27 2020-03-10 Amazon Technologies, Inc. Voice-controlled device control using acoustic echo cancellation statistics
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
CN110018477B (zh) * 2019-03-06 2020-12-25 武汉光庭信息技术股份有限公司 一种adas传感器数据的分类处理方法和装置
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11863700B2 (en) * 2019-05-06 2024-01-02 Apple Inc. Providing user interfaces based on use contexts and managing playback of media
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) * 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN113641237A (zh) * 2020-04-23 2021-11-12 摩托罗拉移动有限责任公司 用于电子设备中的特征操作模式控制的方法和系统
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404120A (zh) * 2008-10-28 2009-04-08 北京世纪高通科技有限公司 判断浮动车行驶状态的方法及装置
CN101438334A (zh) * 2006-03-03 2009-05-20 因瑞克斯有限公司 未来交通状况的动态时序预测
CN101581585A (zh) * 2009-06-17 2009-11-18 深圳市凯立德计算机系统技术有限公司 基于步行的导航装置及导航方法
CN101915582A (zh) * 2010-08-13 2010-12-15 深圳市凯立德计算机系统技术有限公司 导航设备及其路径规划方法和导航方法
CN102278995A (zh) * 2011-04-27 2011-12-14 中国石油大学(华东) 基于gps探测的贝叶斯路径规划装置及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553310B1 (en) * 2000-11-14 2003-04-22 Hewlett-Packard Company Method of and apparatus for topologically based retrieval of information
US20070022380A1 (en) 2005-07-20 2007-01-25 Microsoft Corporation Context aware task page
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US8374775B2 (en) * 2009-11-05 2013-02-12 Apple Inc. Adaptive sensor-based activity classification
US20110215903A1 (en) 2010-03-04 2011-09-08 Nokia Corporation Apparatus and Associated Methods
US8478306B2 (en) * 2010-11-10 2013-07-02 Google Inc. Self-aware profile switching on a mobile computing device
US9407706B2 (en) * 2011-03-31 2016-08-02 Qualcomm Incorporated Methods, devices, and apparatuses for activity classification using temporal scaling of time-referenced features

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101438334A (zh) * 2006-03-03 2009-05-20 因瑞克斯有限公司 未来交通状况的动态时序预测
CN101404120A (zh) * 2008-10-28 2009-04-08 北京世纪高通科技有限公司 判断浮动车行驶状态的方法及装置
CN101581585A (zh) * 2009-06-17 2009-11-18 深圳市凯立德计算机系统技术有限公司 基于步行的导航装置及导航方法
CN101915582A (zh) * 2010-08-13 2010-12-15 深圳市凯立德计算机系统技术有限公司 导航设备及其路径规划方法和导航方法
CN102278995A (zh) * 2011-04-27 2011-12-14 中国石油大学(华东) 基于gps探测的贝叶斯路径规划装置及方法

Also Published As

Publication number Publication date
WO2013184249A1 (en) 2013-12-12
AU2013272253A1 (en) 2014-12-04
DE112013002835T5 (de) 2015-02-26
CN104350473A (zh) 2015-02-11
US10274336B2 (en) 2019-04-30
US20130332113A1 (en) 2013-12-12

Similar Documents

Publication Publication Date Title
CN104350473B (zh) 情景感知地图应用程序
CN106251889B (zh) 连接到音频输出系统时的智能音频回放
US11162806B2 (en) Learning and predictive navigation system
CN107577227A (zh) 操作无人驾驶车辆的方法、装置和数据处理系统
JP5935516B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20120109862A1 (en) User device and method of recognizing user context
CN103428361A (zh) 操作地理定位系统
CN105023451A (zh) 驾驶场景预测和自动车辆设置调整
CN108225347B (zh) 通信终端、移动引导系统以及移动引导方法
CN103916473A (zh) 行程信息处理方法及相关装置
CN106203306A (zh) 年龄的预测方法、装置及终端
CN106228158A (zh) 图片检测的方法和装置
Efthymiou et al. Transportation mode detection from low-power smartphone sensors using tree-based ensembles
CN105737841A (zh) 一种获得道路通过时间的方法及电子设备
CN107907886A (zh) 行驶状况识别方法、装置、存储介质及终端设备
CN107735648A (zh) 导航期间的交通通知
EP3040682B1 (en) Learning and predictive navigation system
JP6183489B2 (ja) 情報処理システム、情報処理方法、及びプログラム
CN104977016A (zh) 导航处理方法及移动智能终端
US11195019B2 (en) Method and apparatus for providing information based on object recognition, and mapping apparatus therefor
CN106331310A (zh) 移动终端及其控制方法
CN114898303A (zh) 应用于智能终端的导盲方法、系统以及智能终端
CN113696849B (zh) 基于手势的车辆控制方法、装置和存储介质
CN114741047A (zh) 一种音量调节方法及音量调节系统
JP7059881B2 (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant