CN104520719B - 使用运动数据的多计量检测和处理 - Google Patents

使用运动数据的多计量检测和处理 Download PDF

Info

Publication number
CN104520719B
CN104520719B CN201380029270.9A CN201380029270A CN104520719B CN 104520719 B CN104520719 B CN 104520719B CN 201380029270 A CN201380029270 A CN 201380029270A CN 104520719 B CN104520719 B CN 104520719B
Authority
CN
China
Prior art keywords
data
portable computing
accelerometer
motion
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380029270.9A
Other languages
English (en)
Other versions
CN104520719A (zh
Inventor
A·詹
J·斯塔夫罗普洛斯
A·诺伊豪泽尔
W·林奇
V·库兹涅佐夫
J·克里斯特尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nielsen Co US LLC
Original Assignee
Nielsen Co US LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/691,166 external-priority patent/US9696336B2/en
Application filed by Nielsen Co US LLC filed Critical Nielsen Co US LLC
Publication of CN104520719A publication Critical patent/CN104520719A/zh
Application granted granted Critical
Publication of CN104520719B publication Critical patent/CN104520719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers

Abstract

公开了用于根据针对各自的用户创建的一个或者多个加速度计简档识别便携式用户设备的用户的系统和方法。媒体会话期间,便携式计算设备收集媒体曝光数据,同时收集来自加速度计的数据并将其与用户简档进行比较。该比较验证用户并确定用户所参与的身体活动。可以从便携式计算设备收集附加数据,以确定设备自身的一个或多个操作条件,包括检测由一个用户实际上携带的多台设备。设备还会产生总的运动串,并将总的运动串进行比较以确定串是否匹配,从而指示一个用户携带着多台设备。

Description

使用运动数据的多计量检测和处理
相关申请
本申请是于2011年11月30日提交的申请号为13/307,634、发明名称为“移动/位置监控以及到媒体消费的链接”、申请人为Jain等人的美国专利申请的部分继续申请,该美国专利申请的内容通过引用全部并入本文。
技术领域
本公开致力于收视率测量技术。更具体地,本公开涉及一种监控个人计量设备,用于确定与媒体曝光相关的运动活动,并且用于检测自身可能携带多台计量仪的个人或者小组成员。
背景技术
最近便携式电话、膝上型电脑、掌上电脑(PDA)以及基于平板电脑的计算机处理设备(例如iPadTM,XoomTM,Galaxy TabTM以及PlaybookTM)的激增激励了新尺寸的个人计算设备。通常被称为“便携式计算设备”,这些设备通常包括界面,例如触摸屏,微型/便携键盘和其他外围设备,界面允许用户输入和接收数据,就如同它们在固定的个人计算机(PC)上一样。便携式计算设备受到当前关注的一个方面是在便携计算设备上使用加速度计。通常来说,加速度计是测量设备的加速度的传感器,其中加速度归因于运动或者重力。使用静态力(例如恒定重力),或者动态力(例如使设备移动或者振动)可以产生加速度。
一个例子包括由STMicroelectronics制造的LIS331DL 3轴加速度计,其是小型的低能耗线性加速度计。该设备的特征在于数字I2C/SPI串行接口标准输出以及智能嵌入功能。能够检测加速度的传感元件被制造为用硅生产惯性传感器和制动器。使用CMOS工艺制造IC接口,该CMOS工艺提供了被修整为与传感元件特征更好地匹配的专用电路。LIS331DL具有动态用户可选的满量程±2g/±8g并且能够采用100Hz或400Hz的输出数据率测量加速度。本领域技术人员应认识到,以上仅仅是一个示例,并且来自各个制造商的许多其他加速度计也适于本发明。
加速度计以及一些情况下的磁力计,作为测量与便携式计算设备有关的人体运动的有效工具而被广泛接受。在监控人体运动过程中加速度计提供若干优势,这些优势在于其对运动的频率和强度的响应使得它们优于活动度测量计或计步器。并且,加速度计在感测过程中不需要便携式计算设备的计算能力(computing power)。加速度计中的压电或MEMS(微机电系统)传感器实际感测运动加速度以及重力场的大小。
便携式计算设备还成为用于收视率测量目的的热门候选。除了测量在线媒体使用情况,例如网页、程序和文件,便携式计算设备特别适用于问卷调查。另外,通过使用专用麦克风,便携式计算设备可用于监控对媒体数据的用户曝光,例如无线广播和电视广播、流音频和/或视频、广告牌、产品等。这些应用的一些示例在发明名称为“采集研究数据”、申请人为Joan Fitzgerald等人的美国专利申请No.12/246,225,发明名称为“执行研究操作的方法和系统”、申请人为Gopalakrishnan等人的美国专利申请No.11/643,128,以及发明名称为“用于执行研究操作的方法和系统”、申请人为Flanagan,III等人的美国专利申请No.11/643,360中进行过说明,其中这些美国专利申请中的每一个都转让给了本申请的受让人,这些美国专利申请的内容通过引用全部并入本文。
在要求改进的便携式计算设备领域中收视率测量的一个领域是用户识别领域,特别是装备了加速度计的便携式计算设备领域中的用户识别领域。所需要的是允许便携式计算设备采集和处理加速度计数据的系统和方法,从而允许识别特定用户并且当发生媒体曝光时(例如,浏览网页,浏览或者收听广播或者流媒体)登记与用户相关的身体活动(或静止)。为了完成这些,需要加速度计情况从而唯一识别每个用户以及特定身体活动。此外,加速度计情况可以用于确定未注册的是否在特定时间使用该设备。这些配置是有利的,在于它们提供了一种非侵入式方式,用于根据它们的身体活动、静止或者二者的结合来识别用户,而不是依赖于在媒体会话的开始时、由用户提供的数据输入,该媒体会话可能与实际使用设备的用户相关,或者可能与实际使用设备的用户不相关。
另外,在检测设备顺应性方面加速度计数据很有用,以确定用户或者小组成员是否正确使用便携式计量设备和/或是否携带多台设备。通常,用户和/或小组成员可以携带多台设备,这会引起不准确的媒体测量结果。有利地是当这些现象发生的时候,使用加速度计数据来识别这些现象。
发明内容
在特定实施例中,公开了计算机实施的方法和系统,用于处理有形介质中的数据,以根据从便携式计算设备(例如加速度计)中的传感器数据中获得的物理特征识别用户和活动,并且将识别数据和身体活动二者与媒体曝光数据相关联。媒体曝光数据可以从设备外部接收的媒体(例如无线电和/或电视广播,或者在另一设备上(例如计算机)播放的流媒体)中获取。媒体曝光数据可以从以下数据中提取:嵌入在媒体的音频部分内的辅助代码,或者从音频中提出的声音签名。媒体曝光数据还可以从设备内部产生的媒体(例如网页,软件应用,媒体应用以及在设备自身上播放的媒体)中获取。
训练会话期间从加速度计中收集的原始数据经过处理和分段用于特征提取,其中这些特征用于将加速度计数据分类为针对用户简档的身体活动。媒体会话期间,便携式计算设备收集媒体曝光数据,同时收集来自加速度计的数据并且将其与用户简档比较。该比较对用户进行验证并确定用户参与的身体活动。可以从便携式计算设备收集附加数据,以确定设备自身的一个或多个操作条件。另外,可以比较来自多台设备的加速度计读数,以确定是否一个人在携带多台设备。
附图说明
本发明采用示例的方式进行例示但是并不限于附图的这些图,其中相同的附图标记表示类似的元件,并且附图中:
图1为示例性便携式计算设备,该便携式计算设备被配置为根据示例性实施例登记加速度计数据、数据使用和/或媒体曝光;
图2示出处理加速度计数据来确定用户特征和/或活动的示例性过程;
图3的示例图说明可用于使用基于时间的处理来登记身体活动的加速度计输出数据;
图4的示例图说明可用于使用基于频率的处理来登记身体活动的加速度计输出数据;
图5示出用于登记加速度计数据并将加速度计数据与媒体曝光数据合并的示例性配置;
图5A是使用图5中示例的配置产生的示例性报告;
图6为用于收集来自多台便携式计算设备的加速度计和媒体曝光数据,并将用户与特定的媒体和身体活动相匹配的示例性实施例;
图7为示出基于所监测的加速度计数据识别最有可能已经暴露在媒体事件下的用户的概率确定的示例性图示;
图8为用于使用加速度计数据确定便携式设备顺应性并检测多个计量仪器的示例性配置;以及
图9示出执行总体运动相关性从而确定匹配的加速度计数据的示例性实施例。
具体实施方式
图1为便携式计算设备100的示例性实施例,便携式计算设备100可以是智能电话,台式计算机等。设备100可以包括:中央处理单元(CPU)101(CPU 101可包括一个或多个计算机可读存储介质),存储器控制器102,一个或者多个处理器103,外围接口104,RF电路105,音频电路106,扬声器120,麦克风120,具有显示控制器112的输入/输出(I/O)子系统111,用于一个或多个传感器113的控制电路以及输入设备控制114。这些元件可以通过设备100中的一条或多条通信总线或信号线进行通信。应当理解的是,设备100仅是便携式多功能设备100的一个示例,并且设备100可以拥有比所示出的部件更多或更少的部件,或者可以组合两种或多种部件,或者可以具有不同的部件配置或排布方式。图1中所示的各种部件可以采用硬件,软件或者软硬件组合的方式实现,包括一个或多个信号处理和/或专用集成电路。
解码器110用于将嵌入到音频信号中的辅助数据进行解码,以便检测对媒体的曝光。对此类辅助数据进行编解码的技术的示例已在2005年3月22日颁布的、名称为“音频信号中信息的解码”的美国专利No.6,871,180中公开,该美国专利已转让给本申请的受让人,该美国专利的内容通过引用全部并入本文。其他将音频数据中的数据进行编码的适当技术在授予Ronald S.Kolessar的美国专利No.7,640,141以及授予JamesM.Jensen等人的美国专利No.5,764,763中公开了,这些美国专利同样都转让给了本申请的受让人,将这些美国专利的内容通过引用全部并入本文。其他合适的编码技术在授予Aijala等人的美国专利No.5,579,124、授予Fardeau等人的美国专利No.5,574,962、No.5,581,800和No.5,787,334,以及授予Jensen等人的美国专利No.5,450,490中公开,这些美国专利中的每一个都转让给了本申请的受让人,并且这些美国专利的所有内容通过引用全部并入本文。
采用多个代码符号进行编码的音频信号在麦克风121处被接收,或者经由通过音频电路106的直接链路(direct link)接收。接收到的音频信号可以来自流媒体、广播、以其他方式通信的信号或者从设备中的存储装置中再生的信号。它可以是直接耦合信号或者声耦合信号。从结合附图的以下描述中可以理解,解码器110能够检测除按照上文公开的格式布置的那些代码以外的代码。
对于在时域中接收的音频信号,解码器110将这些信号优先地通过快速傅里叶变换(FFT)变换到频域,但也可以使用直接余弦变换、线性调频变换(chirp transform)或者温诺格拉德变换算法(Winograd transform algorithm,WFTA)作为替代。任何其他提供必要的分辨率的时域到频域的变换函数都可以在这些场合使用。可以理解的是某些实现中,可以通过滤波器、通过专用集成电路、或者其他适当的设备或者这些设备的组合执行变换。还可以由一台或者多台同样实现图1中所示的一项或者多项其余功能的设备来实现解码。
以符号值导出函数(derivation function)处理经频域转换的音频信号,以对每个包含在所接收音频信号的代码符号产生符号值的流。产生的符号值可代表例如,经瞬时测量或者经一段时间测量的、以绝对刻度或者相对刻度表示的信号能量、功率、声压级、幅值等,并且可以表达为单个值或者多个值。其中将符号编码为一组单频分量,每一个具有预定频率,符号值优选表示单频分量值或者基于单频分量值的一个或多个数值。
基于一个符号接着一个符号,随着时间将符号值的流累积到适当的存储设备(例如存储器108)。该配置通过周期性累积各种可能的符号的符号值,针对用于对周期性重复的编码符号进行解码具有优势。例如,如果希望每X秒重现一次给定符号,那么可以按照nX秒(n>1)的周期存储符号值的流,并且将其添加到一个或多个nX秒持续时间的符号值流的存储值中,这样随着时间累积峰值符号值,提高所存储的值的信噪比。然后检查累积的符号值,以检测编码消息的出现,其中将检测到的消息作为结果输出。通过相关性还是其他图案匹配技术,通过将存储的累积值或者这些值的处理后的版本相对于存储的图案进行匹配来执行这一功能。然而,该过程优选通过检查峰值累加符号值以及它们的相关定时来执行,以重构它们的编码消息。在第一符号值的流被存储后和/或将每个后续流都进行添加后执行该过程,这样,一旦存储的信噪比、累加的符号值的流展示出有效的消息图案,就检测到该信息。
另选地或者额外地,处理器103可以处理频域音频数据,以从中提取签名,即音频信号所固有的数据表达信息,用于识别音频信号或者获得与音频信号相关的其他信息(例如,其来源或者分布路径)。用于提取签名的适当技术包括在Ellis等人的美国专利No.5,612,729以及Thomas等人的美国专利No.4,739,398中公开的那些技术中,这两个美国专利中的每一个都转让给了本申请的受让人,并且二者的内容通过引用全部并入本文。还有其他适当的技术为Scherbatskoy的美国专利No.2,662,168、Moon等人的美国专利No.3,919,479、Kiewit等人的美国专利No.4,697,209、Lert等人的美国专利No.4,677,466、Wheatley等人的美国专利No.5,512,933、Welsh等人的美国专利No.4,955,070、Schulze的美国专利No.4,918,730、Kenyon等人的美国专利No.4,843,562、Kenyon等人的美国专利No.4,450,551、Lert等人的美国专利No.4,230,990、Lu等人的美国专利No.5,594,934、Bichsel的欧洲公开专利申请EP0887958、Wang等人的PCT公开WO02/11123、以及Young等人的PCT公开WO91/11062的主题,它们的所有内容通过引用全部并入本文。如上所讨论的,代码检测和/或签名提取用于为设备400的用户识别和确定媒体的曝光。
存储器108可以包括高速随机存取存储器(RAM),并且还可以包括非易失性存储器,例如一个或多个磁盘存储设备,闪存设备,或者其他非易失性固态存储设备。由设备100的其他部件(例如处理器103,解码器110和外围接口104)对存储器108的访问可以由存储控制器102进行控制。外围接口104将设备的输入和输出外围设备连接到处理器103和存储器108。一个或多个处理器103运行或者执行各种软件程序和/或存储在存储器108中的指令集合,用于执行设备100的各种功能并用于处理数据。在一些实施例中,外围接口104、处理器103、解码器110和存储控制器102可以在单个芯片上实现,例如芯片101。在另一些实施例中,可以在多个独立芯片上实现它们。
RF(射频)电路105接收和发送RF信号,也称为电磁信号。射频电路105将电信号转换为电磁信号,或者将电磁信号转换为电信号,并且与通信网络和其他通信设备经由电磁信号进行通信。RF电路105可以包括用于执行这些功能的已知电路,包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片组、用户识别模块(SIM)卡、存储器等。RF电路105可以通过无线通信与诸如因特网(也称为万维网(WWW)、内联网和/或无线网络(例如移动电话网络、无线局域网(LAN)和/或城域网(MAN))的网络和其他设备进行通信。无线通信使用多个通信标准、协议和技术中的任意一个,包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、宽带码分多址接入(W-CDMA)、码分多址接入(CDMA)、时分多址接入(TDMA)、蓝牙、无线保真(Wi-Fi)(例如,IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE802.11n)、网际协议语音(VoIP)、全球微波接入互操作性(Wi-MAX)、电子邮件协议(例如,因特网消息访问协议(IMAP)和/或邮局协议(POP))、即时通信(例如,可扩展通信和表示协议(XMPP)、用于即时通信和现场支持扩展的会话初始化协议(SIMPLE)、和/或即时通信和现场服务(IMPS)、和/或短信服务(SMS))、或者其他适当的通信协议,包括到本文件申请日时尚未开发出来的通信协议。
音频电路106、扬声器120和麦克风121提供了用户和设备100之间的音频接口。音频电路106可以接收来自外围接口104的音频数据,将音频数据转换为电信号,并将电信号传送给扬声器120。扬声器120将电信号转换为人类可以听到的声波。音频电路106还接收由麦克风121从声波转换成的电信号,声波可以包括如上所述的编码后的音频。音频电路106将电信号转换为音频数据,并将音频数据传送给外围接口104用于处理。音频数据可以从存储器408和/或RF电路105中检索到和/或通过外围接口104传送到存储器408和/或RF电路105。在一些实施例中,音频电路106还包括耳机插孔,用于提供音频电路106和可移除的音频输入/输出外围设备之间的接口,可去掉的音频输入/输出外围设备例如为只有输出的头戴式耳机或者既有输出(例如,单耳或者双耳头戴式耳机)又有输入(例如,麦克风)的头戴式设备。
I/O子系统111将设备100上的输入/输出外围设备(例如触摸屏115和其他输入/控制设备117)连接到外围接口104。I/O子系统111可以包括显示控制器112以及一个或多个输入控制器114,用于其他输入或控制设备。一个或多个输入控制器114接收来自其他输入或控制设备117的电信号,或者向其他输入或控制设备117发送电信号。其他输入/控制设备117可以包括实体按键(例如,按钮,摇杆按钮等)、拨号盘、滑动开关、操纵杆、点击式转盘(click wheel)等。在一些另选的实施例中,输入控制器114可以连接到如下部件中的任意一个(或者都不连接):键盘,红外端口,USB端口以及指针设备(例如,鼠标,用于扬声器120和/或麦克风121的音量控制的上/下按钮)。触摸屏115还可以用于实现虚拟按钮或软按钮以及一个或多个软键盘。
触摸屏115提供设备和用户之间的输入界面和输出界面。显示控制器112接收来自触摸屏115的电信号和/或向触摸屏115发送电信号。触摸屏115向用户显示可视输出。可视输出可包括图形、文字、图标、视频、以及它们的任意组合(统称为“图形”)。在一些实施例中,部分或者所有的视觉输出可以与用户界面对象对应,进一步的细节如下所述。如上所述,触摸屏115具有触敏表面、基于触觉和/或触感接触接收来自用户的输入的传感器或者一套传感器。触摸屏115和显示控制器112(与任意相关模块和/或储存器108中的指令集合一起)检测触摸屏115上的接触(以及任意移动或者接触的中断),并将检测到的接触转换为与触摸屏上显示的用户界面对象(例如,一个或多个软键、图标、网页或者图像)的交互。在示例性实施例中,触摸屏115和用户之间的接触点与用户的手指对应。触摸屏115可以使用LCD(液晶显示)技术,或者LPD(发光聚合物显示)技术,但其他实施例中可以使用其他显示技术。触摸屏115和显示控制器112可以使用目前已知或者后续开发的多项触摸传感技术中的任意一项检测接触和接触的任何移动或停止,触摸传感技术包括但不限于电容性的、电阻性的、红外的以及表面声波技术,以及其他接近传感器阵列或者用于确定一个或多个与触摸屏112的接触点的其他元件。
设备100还可包括一个或多个传感器116,例如光学传感器,光学传感器包括电荷耦合器件(CCD)或者互补金属氧化物半导体(CMOS)光电晶体管。光学传感器可以捕捉静止图像或者视频,其中该传感器可与触摸屏显示器115结合进行操作。
设备100还包括一个或多个加速度计107,加速度计107可与外部接口104可操作地连接。另选地,加速度计107可以与I/O子系统111的输入控制器114连接。正如下面将更详细讨论的,加速度计可配置为沿x,y和z轴输出加速度计数据。优选地,原始的加速度计数据输出到存储在存储器108中的设备的应用程序接口(API),用于进一步处理。
在一些实施例中,存储在存储器108中的软件部件可包括操作系统109、通信模块110、接触/运动模块113、文字/图形模块111、全球定位系统(GPS)模块112以及应用114。操作系统109(例如,Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS、或者嵌入式操作系统(如VxWorks))包括各种软件部件和/或用于控制和管理通用系统任务(例如,存储器管理、存储设备控制、电源管理等)的驱动器,并且帮助各个硬件和软件部件之间的通信。通信模块110帮助经由一个或多个外部端口与其他设备的通信,并且还包括用于处理由RF电路105接收的数据的各种软件部件。可以提供外部端口(例如,通用串行总线(USB)、火线等)并且将外部端口适用于与其他设备直接连接或者通过网络(例如,因特网、无线LAN等)间接连接。
接触/运动模块113可以检测与触摸屏115(与显示控制器112结合)以及其他触敏设备(例如,触摸板或者物理点击式转盘)的接触。接触/运动模块113包括用于执行与接触检测相关的各种操作的各种软件部件,与接触检测相关的各种操作例如为确定是否发生接触,确定接触是否移动并在整个触摸屏115范围内追踪该移动,以及确定接触是否已经中断(即,是否接触已经终止)。确定接触点的移动可以包括确定速率(幅值)、速度(幅值和方向)、和/或接触点的加速度(幅值和/或方向的变化)。这些操作可以应用于单个接触(例如,一个手指的接触)或者同时发生的多个接触(例如,“多触摸”/多手指接触)。在一些实施例中,接触/运动模块113和显示控制器112还会检测触摸板上的接触。
文字/图形模块111包括用于在触摸屏115上渲染和显示图形的各种已知的软件部件,包括用于改变显示的图形色饱和度的部件。正如本文所使用的,术语“图形”包括任何可以向用户显示的对象,包括但不限于文字、网页、图标(例如用户界面对象,包括软键)、数字图像、视频、动画等。另外,可以提供软键盘,用于在需要文字输入的各种应用程序中提供文字。GPS模块112确定设备的位置,并提供该信息用于在各种应用中使用。应用114可以包括各种模块,包括地址簿/联系人列表、电子邮件、即时消息、视频会议、媒体播放器、窗口小部件、即时消息、照相机/图像管理等。其他应用的示例包括word处理程序、支持JAVA的应用、加密技术、数字权限管理、语音识别以及语音复制。
转向图2,公开了一种用于获取和处理加速度计数据的示例性过程。来自x,y和/或z轴的原始加速度计数据201由加速度计输出,并且在202中经受预处理。通常,加速度计是异步的,在于它们在每个时间单位输出不同的采样速率。预处理202对进来的加速度计数据实施差值,以产生信号处理所需的规则的采样间隔。并且,预处理能够对在测量的加速度信号中有时候被发现的低频分量进行寻址。采用这种方式,预处理202将原始数据转换为更希望的形式,从中可以提取有用的特征。当实施时间插值时,优选使用线性插值过程。当使用频率噪声滤除时,可以使用小波变换(多贝西小波)或者加权移动平均。
在优选实施例中,作为预处理202或者分段203的一部分执行数据分析,从而确定加速度计数据的简档(profile)或者“模板”。这里,特征模板向量最初作为简档而被初始地计算和存储,该简档表示属于加速度计数据的移动特征。特征模板向量然后针对后来获得的加速度计数据可以被用于后续的比较,以认证与特定用户相关的运动。可在时域或者频域分析加速度计数据。对于时域分析,从三个加速度信号(x,y,z)随时间(t)的变化可以确定物理特征。对于频域分析,针对给定频带范围内的每个频率可以确定物理特征。给定的函数或者信号还可以使用变换在时域和频域之间转换,如下进行更详细的讨论。
分段步骤203过程中,分析加速度计数据以识别信号的边界,来确定单一(例如,坐,静止)或者周期性(例如,步行,跑动)事件。优选的,分段是基于加速度计数据中的一个或多个峰值。在一个实施例中,使用合成(x,y,z)加速度信号Ci,基于来确定分段和/或周期。
其中,xi,yi,zi和Ci为测量编号为i的前后向加速度、横向加速度、竖向加速度和合成加速度,并且其中k为信号中记录的测量的次数。因此,在用户在走路的时刻,合成的步态信号是总信号和横向轴(z)之间的夹角。例如,根据一只脚接触地面的开始时刻以及同一只脚再次接触地面的结束时刻可以确定步态周期。利用周期检测算法中的1步提取或者2步提取可以计算分段周期,或者通过周期性步态周期的给定时段计算分段周期。
由数据分析202和分段203导出特征提取204,其中可以在时域或者频域完成加速度计数据特征提取。对于时域提取,可以使用“平均周期”法将所有提取的周期平均化。另选地,还可以使用“周期矩阵(matrix with cycle)”,“n位二进制标准化直方图”,或者“不同阶累积”方法。关于这些特征提取技术的细节可以在以下文献中找到:Heikki J.Ailistoet al.,“Identifying People From Gait Pattern With Accelerometers,”Proceedingsof the SPIE,5779:7-14,2005;Mohammad O.Derawi et al.,“International Conferenceon Intelligent Information hiding and Multimedia Signal Processing-SpecialSession on Advances in Biometrics,”2010;J.Mantyjarvi et al.,“IdentifyingUsers of Portable Devices from Gait Pattern With Accelerometers,”IEEEInternational Conference on Acoustics,Speech and Signal Processing(ICASSP’05),2:ii/973-ii/976,2005;以及Sebastian Sprager et al.,“Gait IdentificationUsing Cumulants of Accelerometer Data,”Proceedings of the 2nd WSEASInternational Conference on Sensors,and Signals and Visualization,imaging andSimulation and Materials Science,″pp.94-99,Stevens Point,Wisconsin,USA 2009(WSEAS)。
对于频域提取,对加速度计数据执行变换,以将其转换到频域(如果必要,反之亦然)。示例性变换包括离散傅里叶变换(DFT)、快速傅里叶变换(FFT)、离散余弦变换(DCT)、离散小波变换(DWT)以及小波包分解(WPD)。使用上述基于时间或频率技术中的任意一个,可以选择特定特征进行提取。在一个实施例中,信号的基频从信号在整个取样窗的傅里叶变换中找到。用于分析的最终值可以是信号的三个主频的均值。在另一个实施例中,使用取样窗内对加速度值的算术平均值。另选地,可以使用窗内信号的最大或最小值。还有其他特征,例如平均数、从始至终的幅值、标准偏差、峰-峰幅值、均方根(RMS)、拓扑、四分位全距(IQR)、峰-峰宽度/长度(x),也是适合的。
对提取的特征使用分类205,用于为便携式计算设备的用户创建加速度计数据的简档或模板。优选地,最初的简档在“训练”时期期间产生,其中加速度计记录来自用户的各种预定身体行动。训练数据包括从加速度计信号中提取的输入对象。与简档有关的函数可以是连续值(回归的)或者可以预测关于输入的分类标签(特征向量),用于分类。为此目的可以使用各种分类度量,包括(1)支持向量机(SVM),或者类似的非概率二进制线性分类器,(2)主要分量分析(PCA),或者类似的基于正交线性变换的过程,(3)线性判别分析(LDA)和/或(4)自组织映射,例如Kohonen映射(KSOM)。一旦从训练时段产生了一个或多个简档,该简档可用于后续的比较处理。在一个实施例中,使用多个分类度量形成针对同一加速度计数据的多个简档。
对于比较处理206,优选地应用比较函数从而将特征向量相互比较,例如距离度量函数,其定义了一组元素之间的距离。为此目的的适当的比较度量包括互相关、绝对曼哈坦距离、欧几里德距离、和/或动态时间规整(DTW)。如果比较处理206的结果达到或者超过预定阈值,那么作出匹配207。如果没有做出匹配,那么比较处理206可以加载来自205的根据不同分类度量产生的不同的简档,以执行新的比较。可以重复该处理过程直到做出匹配。如果没有发现匹配,那么该数据被丢弃或者存储,用于可能的重新分类为新的物理事件或新的用户。
图3示出对加速度计数据的简化的示例性捕捉,作为按基于时间的比例的图形绘制。信号300被分段成四个部分205-308,限定出信号片段301-304的边界。图3的示例中,信号301例示了用户走动,信号302例示了用户停止,信号303例示了用户跑动,而信号302例示了用户坐着。取决于采样速率和所使用的存储器配置,存储在预定时间周期上延伸的每个信号,连同与信号相关的每个片段。每个信号和信号片段被优选地打上时间戳。在一个实施例中,依据预定时间周期将连续的信号采样进行交叠,以便对处于“预定时段之间”的记录事件的片段(例如,走路,躺下)进行解释。使用时间戳,由预定时间段截取的周期内的最后的片段可以与后续信号的第一片段组合并重新创建。
图4示出对加速度计数据的简化的示例性捕捉,作为按基于频率的比例的图形绘制。图4的示例表示出由频域熵测量值组成的两个数据组(401,402),其中数据组401表示用户在坐着,而数据组402表示用户在站着/在走。可以理解的是,取决于所提取的特征(例如,平均值、标准偏差、相关性等),用于图4的其他测量值也是合适的。
图5示出一个实施例,其中便携式处理设备收集与媒体曝光相关的信息连同加速度计数据,以产生媒体会话输出508。与外部媒体501、内部媒体502以及数据503相关的曝光数据在504中被收集并且匹配/记录。为了该实施例的目的,“外部媒体”指的是由便携式设备之外的源产生的媒体,并且普遍可访问,无论是通过无线电,或者通过线缆、卫星、网络、互联网(包括因特网)、打印、显示、分布在存储介质上、或者通过任意其他人类可感知的手段或技术,借助或者无需借助机器或设备,无需考虑形式和内容,并且包括但不限于音频、视频、音/视频、文字、图像、动画片、数据库、广播、显示(包括但不限于视频显示、招贴画以及公告牌)、标志、信号、网页、打印介质以及流媒体数据。“内部媒体”通常指的是与外部媒体相同的媒体,除了该媒体是在便携式设备内部生成并且可以包括元数据。如图5中参考标记503所使用的“数据”指的是与操作条件和/或便携式处理设备的状态相关的操作数据,例如,打开/关闭的软件应用,通信状态(例如,WiFi、蓝牙、无线打开/关闭)、电池电量等。
504中,数据相关外部媒体501曝光在步骤504中被检测/匹配。如果外部媒体包括经编码的辅助代码,那么将媒体进行解码,以检测这些代码和与这些代码相关的信息(例如,表演的名称、艺术家、歌曲名、程序、内容提供者ID、广播/多播/小范围播放的时间等)的存在。如果根据近来的媒体做出音频和/或视频签名,那么在设备上形成并存储该签名。在一实施例中,可以通过网络将签名传送到设备外部,以进行匹配,其中匹配结果传回便携式设备。在另选实施例中,可以在设备自身比较和/或匹配该签名。操作相关数据503也在504中记录。504中的检测/匹配/记录过程可以在单个处理器(例如,图1中所示CPU 101)上执行,也可以在多个处理器上执行。然后可以将504的结果存储在一个或多个存储器设备内(如图1的存储器108)。
同时在504中执行检测/匹配/记录过程,在过程506中匹配和/或记录加速度计数据,以识别由上述任意一项技术确定的特定用户和/或身体活动。然后可以通过将加速度计数据与预先存储在用户简档中的加速度计数据相匹配来验证该活动。然后将加速度计相关的数据与来自504的媒体数据相关联507来生成媒体曝光报告,如图5A中所例示。这里,示例性报告针对单个用户510(“1234”)而示出,其中媒体511的类型和节目信息512连同媒体会话的开始时间513和结束时间514一起被列出。将根据加速度计数据分类的活动515,连同验证结果516一起列出。还可以列出操作数据,例如电池寿命517以及应用打开518。
如图5A可以看出,可以记录多种类型的媒体并且将其与加速度计数据相关联。该示例中,媒体会话519期间,将用户1234登记为在早上8点45分32秒和早上8点49分32秒之间收听了WABC无线电台的“X节目”,同时处于坐着的姿态。针对用户坐着的加速度计数据与用户针对该项活动的简档匹配,然后经验证后列出。媒体会话520还显示用户1234正在收听WABC,但是现在正在收听“Y节目”并且加速度计数据登记用户在走动。再一次,加速度计数据与用户简档匹配并且被验证。媒体会话521期间,用户正在观看福克斯的电视节目“ZShow”,并且已经验证加速度计数据表示用户现在是站着的。
媒体会话522期间,设备被登记为正在访问因特网网站(“Fox.com”),并且加速度计数据指示用户正在坐着。另外,媒体会话存储应用数据518,表示浏览器(“OperaMini”)是打开的并且在会话期间是活动的。针对应用插件以及518中访问的其他软件(例如,媒体播放器),还可以在报告中进一步提供附加信息。在会话522示例中,加速度计数据与用户的现有简档不匹配,且没有经过验证。验证失效可能因很多原因而发生,例如用户坐在非常规位置,例如地板或者新椅子上,或者由于一个不同的用户实际上在操作这台便携式计算设备。相应地,便携式设备存储了未经验证的简档,用于未来的比较以及可能的与用户的新的身体状态的关联。如果不能随后做出关联,那么媒体会话522就会被标记为“未被验证”,并且可能会被贬低(例如,使用统计权重)或者另选地针对媒体曝光报告而被丢弃。
继续参见图5A,媒体会话523示出设备目前已经转移到一个新的互联网网站(“CNN.com”)。然而,加速度计数据不能被登记或者被认证为一个识别出的活动。在一个实施例中,含有未识别出的活动的媒体会话同样被简单地存储,并且被标记,而且可能被贬低(例如,使用统计权重)或者针对媒体曝光报告而被丢弃。通过使用概率处理,优选地将未识别出的活动与该未识别出的活动之前和/或之后一次或多次测得的识别出的活动进行比较。如果该时间段内具有足够的识别和验证,那么该反常的加速度计读数和媒体会话对认证的用户是可信的。当特别的用户习惯或事件(例如,坐着时腿部紧张地来回动,走路时吃东西)使得加速度计读数偏到一个它们无法识别的点的时候,这一技术特别有利。另一方面,如果该时间段内没有充分的识别和验证,那么就将该反常的加速度计读数和媒体会话贬低或者丢弃。
转向图6,公开了一个实施例,其中从多个便携式处理设备601-604接收媒体曝光数据。使用上述任意一项技术,每个便携式处理设备产生媒体数据601A-604A和加速度计数据601B-604B。设备601-604中的每一个使用计算机、数据或电话网络(有线和/或无线)将该数据传送给服务器605。在一个实施例中,在服务器605上执行媒体检测、匹配和/或记录(参见图5中的504)、加速度计匹配/记录(参见图5的506)以及关联(参见图5的507)。在另一实施例中,在相应便携式设备中的每一个上执行这些步骤。在又一实施例中,在设备上执行这些步骤中的一些,而在服务器605上执行其他步骤。
服务器605内处理的数据可以用于媒体曝光分析的基础。图6的示例中,针对与相应的便携式计算设备601-604相关联的四个用户620-623,分析了四个媒体项目610-613。媒体项目610-613可以是上面结合图5描述的内部和外部媒体中的任意媒体连同便携式计算设备数据。通过使用加速度计简档与认证,可以针对每个用户确认媒体曝光。例如,用户1620被认证为已经暴露于媒体1610、媒体2611和媒体3612。用户2621已经被登记为针对媒体2611和媒体4613进行了认证,但是没有针对媒体1610进行认证。用户3622将会针对媒体3612进行认证,而用户4623将会登记为针对媒体2611进行认证,但是没有针对媒体4613进行认证。
这一配置开辟了许多关于对多个相关用户(例如家庭)进行媒体曝光测量的可能性。通过下载带有加速度计认证功能的媒体测量应用,一个家庭中便携式计算设备的每个用户可以互相登记设备,允许共享加速度计简档,或者通过数据连接(例如以太网,WiFi,蓝牙等)将加速度计简档推送到家庭中的其他设备。加速度计简档的共享使得媒体测量公司能够捕捉家庭中的一个成员使用另一个家庭成员设备的情况。如果加速度计数据与其他设备中共享的简档匹配,那么登记至该简档的用户就被正确地认为暴露在了该媒体下。
加速度计简档还可以用于通过使用出现在设备上的提示在更基础的水平上认证用户。如果简档在设备上不匹配,则可以配置模块以使用识别提问来提示用户,例如“你是[姓名]吗?数据与你存储的加速度计简档不匹配”。同样地,可以将加速度计简档配置为将设备最初没有识别出的反常活动进行分类。例如,未识别出的加速度计数据可以触发询问用户它们所参与的活动的提示。提示可以采用预定菜单的形式,或者另选地允许用户输入对活动的文字性描述。用户对提示的响应随后将用于创建新的活动类型,该新的活动类型将会添加到用户的简档中用于后续比较。上述配置提供了一种用于确认识别以及用户的活动的强有力的工具,用于收视率测量目的。
转向图7,提供了一种示例表700来说明上述实施例是如何还能用于确定多个用户中的一个或多个暴露在媒体事件701(例如提供网页、播放媒体等)的可能性的。媒体事件也可以是上述任意的外部和/或内部媒体。转向图7,在特定时间段(11点到11点半)监测四个用户(用户1-用户4)。在11点10分到11点15分这一时间段期间,监测到媒体事件701,其中用户1-4是可能已经暴露于该媒体事件的潜在用户。
图7的图表中,在媒体事件701之前和之后监测每个用户的加速度计数据。对于用户1,加速度计数据指示用户从11点到11点5分正在参与快走(FW)。取决于所使用的加速度计事件数据的间隔大小,诸如走路的动作可以分割成具体类型,例如在平地上走、向上走和/或下台阶等。对于例如跑步、静坐(直立坐、坐在倾斜位置)和/或躺(平躺/侧躺)之类的动作也可以这样做。对于图7的示例,每个动作事件被示出为具有两种类型(类型1和2),尽管本领域技术人员可以理解根据加速度计的灵敏度和可用的处理能量可以使用更多或更少数量的类型。在附加实施例中,可以收集和处理加速度计数据,以展示活动的大致水平(高度/中度/低度/无)。图7的示例中,活动水平采用条标识,其中一个条标示低度/无运动或活动,两个条标示中度运动,三个条标示高度运动。另外,运动水平的标示可以由多于三个条或者指示符,并且还可以采用其他方式标示,例如字符,颜色,或者其他任意适当的标记。
回到用户1,该用户被记录为在11点和11点5分之间具有一种类型的快走(FW2)。在11点10分,用户1参与第二种类型的快走(FW1),并且接下来在11点15和11点20之间静坐(S1)。11点25分,用户1改变坐姿(S2)并且在11点30分恢复到原始坐姿(S1)。用户1的每个活动也可被编译,以显示活动的大致水平,其中快走(FW)和/或跑(R)被标示为具有高度运动活动(三个条),而坐者被标示为具有低度运动活动(一个条)。用户2的监测确定该用户在11点和11点20之间在坐着(S1),在11点25按照第一姿态(L1)躺下,在11点30分按照第二姿态(L2)躺下。在整个时间段的持续时间内,这些活动中每一项都被登记为低度运动活动(一个条)。
对用户3的监测确定该用户在11点和11点5分时分别正在跑(R2)以及随后减速到快走(FW1)。然后在媒体事件持续期间(11:10-11:15)用户3坐下(S1),然后在11点20分参与慢走(SW1),并且在11点25和11点30之间坐下(S1)。与用户1和用户2类似的是,用户3的高度/中度/低度运动活动也同样被记录(分别显示为三个条,两个条和一个条)。监测到用户4在11点时在跑步,11点5分参与慢走,11点10分在坐着,11点15分到11点25分之间再次走,并且11点30分在坐着。同样地,这些活动中每一项也被记录为高度/中度/低度运动。
当使用上述任意一项技术监测媒体曝光的时候,图7所示的运动活动可以同时进行处理,或者使用时间戳分别处理从而将加速度计事件与媒体事件关联。图7的示例中,检测到媒体事件701发生在11点10分到11点15分。如前面提到的,媒体事件可以是显示网页、播放媒体、接收广播等。当将加速度计数据与媒体事件701关联时,处理时间片段的离散的块,以确定媒体事件701前后的运动模式。在700的例子中,刚好在701之前和703之后的时间块处理媒体事件701。对于用户1和用户4,可以看出在媒体事件701之前、期间以及之后检测到各种运动事件,使得它们不太可能已经观测到事件。然而对于用户2和用户3,可以看出在事件701的过程中,二者都是静止的。二者都可以被选择为暴露于媒体事件701的潜在用户。
在一实施例中,可以执行附加处理,从而以更高的精确度确定用户媒体曝光。可以将加速度计时间片段串在一起,以确定媒体事件之前、过程中和之后的整个运动模式。观察用户2,可以看出整个时间段(11:05-11:20)期间,该用户以较低的运动度坐着。然而,用户3在媒体事件前参与运动(FW1)、过渡到低度运动状态、在推断的媒体事件之后继续运动(SW1)。使用逻辑处理,可以确定用户3是最有可能暴露在该媒体事件中的用户,因为过渡到低度运动状态与媒体事件吻合,暗示用户3有目的性的运动,以暴露在媒体事件701中。
可以理解的是,图7的例示是一个简化的例子,其他配置也可以在该公开中被设想。例如,可以在媒体事件周围按等级测量加速度计数据,以确定最有可能的用户。这里,第一步是仅在媒体事件的时间段测量加速度计数据,并且除去没有达到预定标准(例如,具有低运动状态)的用户。接下来,对于剩下的用户将在更宽的时间段(例如,媒体事件前/后的一个时间片段)处理加速度计数据,并且将没有达到标准的用户去除。于是此后可以递增地(例如,一次一个时间周期)扩展该时间段,直到只剩下一个用户。在没有用户剩余的情况下,处理会返回到之前的时间片段,并且将所有剩余用户(可能是2个或者更多)登记为暴露在媒体事件中。这样的处理技术具有精简精确确定用户媒体曝光所需的处理过程的有益效果。
在另外的实施例中,两个或多个用户之间的加速度计数据可以相比较,以确定运动模式的相似性。这些相似性可以指示用户共同暴露在媒体事件中。同样地,可以配置处理过程,从而使加速度计数据的处理首先使用高度/中度/低度/无运动度特征,以排除用户,然后处理特定运动(躺,坐着,站着,走动,跑动),以进一步缩小暴露在媒体事件中的潜在用户范围。同样地,多个媒体事件可以相互比较,以增加或降低用户暴露在媒体事件中的概率。当然,随着分析复杂度的增加,可以采用诸如模糊逻辑以及甚至是概率逻辑的技术来确立模式和可以识别用户媒体曝光的概率。
图8示出了被配置为使用上述的加速度计数据来确定设备使用的系统800。更具体的,系统800可以有利地配置为检测特定用户或者小组成员的重复计量佩戴。图8的示例中,设备1-4(801-804)产生加速度计数据并且将它们通过有线或无线方式传送到中央服务器805,将这些数据作为全球数据库820的一部分进行存储,该全球数据库820可以保存有所有用户、设备、加速度计简档等的记录。在一个实施例中,设备801-804可以提前登记到中央服务器805,从而各个设备801-804与特定的个人相关联,并且所有相关的个人可以被识别为属于特定群组(例如家庭、商业团体等)。在该示例中,设备801-804与一个家庭相关联,所有登记的设备801-804的加速度计数据被相关联并且存储在数据库806中。
对于该示例中的每台设备(设备1-4)807,按照与上面公开的方式类似的方式确定运动808和运动类型809。这里,中央服务器805确定设备1(801)登记轻度/无运动,以及用户在坐着(类型1)。设备2(802)登记中度运动,并且用户在走动。设备4(804)也登记轻度/无运动,用户在坐着(类型2)。然而设备3无法登记与特定用户简档一致的运动,这可以表明另一个用户拥有设备3。由于设备1-4登记在一个普通群组下,服务器805可通过将该数据与群组的其他成员进行比较可以处理未被识别的加速度计数据。如上面进行的更详细的解释,可以使用用于将加速度计数据和/或简档中的特征向量进行比较的比较函数执行比较处理,例如限定一组的元素之间的距离的距离度量函数。以此为目的的适当比较度量包括互相关、绝对曼哈坦距离、欧几里德距离、和/或动态时间规整(DTW)。如果比较处理的结果达到或者超过预定阈值,那么做出匹配。如果无法做出匹配,那么比较处理会加载不同的简档来执行新的比较。可重复该处理直到做出匹配。
在图8示例中,设备3的加速度计数据与设备1(810)、设备2(811)和设备4(812)的加速度计数据比较。如果没有找到匹配,则丢弃814加速度计数据。然而,如果找到设备3的加速度计数据与另一个设备匹配,那么将设备3被标记为另一台设备的重复品。换句话说,该标记将指示设备的加速度计数据与另一用户的加速度计数据和/或简档匹配,指示一个用户拥有多台设备。
在上述实施例中,设备3的加速度计数据可以与依次被识别出运动808和运动类型809的其他设备的匹配的加速度计简档相比较。在另一实施例中,设备3的加速度计数据可以直接与群组中其他设备的特定时间段期间接收的加速度计数据进行比较。这种配置在多台设备没有登记可用特定用户简档识别的运动的情况下可以是有利的。继续图8的示例,如果设备2(802)和设备3(803)没有登记可用特定用户简档识别的运动,这可能是由于这样的事实,就是出现了之前在训练过程期间没有针对那个用户登记的特定运动。这种情况下,在本公开中直接比较给定时间段内加了时间戳的加速度计数据会比较直截了当,只要群组中设备的数量不是大得不合理。如果设备2和设备3的加速度计数据匹配(即,在预定阈值内是类似的),则可以确定这些设备实际上由同一个用户持有,尽管事实上特定的加速度计简档对于特定运动来说之前是不可用的。另外,当群组之外的用户携带多台设备的情况下,直接比较给定时间段的加了时间戳的加速度计数据会是有利的。在该示例中,如果设备2(802)和设备3(803)没有登记用特定用户简档可识别的运动,这可能是由于事实上未登记的人或者群组之外的人实际上持有多台设备。本领域技术人员可以理解的是加速度计数据对于确定便携式设备的使用具有广范的各种应用。
当要求对于大量用户进行运动检测监控时,可能在一个时间跨度内使用总的运动数据确定重复计量。在图9的示例中,替代使用特定的加速度计读数,而是针对每台设备获得总的运动估计。对于总的运动估计,在较短时间段内(例如,5秒、10秒、30秒)测量加速度计运动并且在较长时间段内(例如,1分钟、5分钟、10分钟,1-4小时等)进行聚集并且远程传送。对于每个较短的时间段,在设备上设定最小运动阈值。如果运动超过阈值,则针对那个时间段分配“1”。如果运动没有超过阈值,则针对那个时间段分配“0”。相应地,如图9所示,针对较长时间段产生一系列“0”和“1”。
这里,提供了一个示例性运动矩阵900,其中针对设备901-906示出了总的运动串。每个串由跨较长时间段908的每个较短时段907的数值组成。相应地,每个串可以作为经特定时间段的运动的“指纹”。鉴于此,每个总的运动指纹可以用于经离散时间段区分设备/用户。如从图9中可以看出,设备901和905的总的运动指纹精确匹配,其强烈地暗示同一用户携带两台设备。当然,对于该确定来说精确匹配不是必须要求的。对于总的运动指纹匹配也可以实施特定的容许阈值(例如,80%,90%匹配等)。
另外,匹配过程可以采用数据移位技术将子串与其他子串进行比较。例如,设备901的子串909可以向左或右移位一个框,并且与矩阵900的其他子串比较。如从图9中可以看出,设备901的总的运动串与设备903的串不匹配。然而,如果将子串909在位置上向左进行移位,就会发现设备901和903之间的匹配。类似的,如果将子串909向右移动一个位置,就会发现设备901和906之间的匹配。另外,加速度计数据可以使时间平均的,以降低噪声。
可以理解的是本文公开的技术并不是严格限于加速度计,而是可以跨广泛的各种运动传感技术而被应用,这些运动传感技术包括磁性传感器和磁力计、甚至针对特定实施例的光学传感器和红外传感器。
从上面可以理解的是本文使用的术语模块并不限于特定物理模块的功能,而是可以包括任意数量的软件部件。通常,根据一个实施例的计算机程序产品包括其中嵌入有计算机可读程序代码的计算机可用介质(例如,标准RAM、光盘、USB驱动等),其中计算机可读程序代码适于由处理器102(与操作系统协同工作)执行,以实现上述方法。就此而言,可以以任意期望的语言实现该程序代码,并且可以将该程序代码实现为机器代码、汇编代码、字节代码、可编译源代码等(例如,通过C、C++、C#、Java、Actionscript、Objective-C、Javascript、CSS、XML等)。
尽管前面的详细说明中展现了至少一个示例性实施例,应当理解的是存在大量的变形。同样可以理解的是本文所述的一个或多个示例性实施例并非意在以任何方式限定本发明的范围、适用性或者配置。反而,前面的详细说明将为本领域技术人员提供用于实现所描述的一个或多个实施例的便捷、启发性的路径图。应当理解的是在不偏离本发明范围和其合法的等同替代的情况下,可以对元件的功能和布置做出各种改变。

Claims (20)

1.一种用于确定由一个人实际携带的多台便携式计算设备的计算机实施的方法,该方法包括:
通过数据网络从多台便携式计算设备中的至少一台便携式计算设备接收媒体曝光数据;
通过所述数据网络分别从所述多台便携式计算设备中的每台便携式计算设备接收运动串,所述串包括第一时间段的运动的连续二进制表示;
比较处理器中的所述运动串,以确定至少两个运动串是否在预定阈值内相匹配;以及
识别产生匹配运动串的设备由所述一个人实际携带。
2.根据权利要求1所述的计算机实施的方法,其中,所述第一时间段包括多个较短的时间段,并且其中所述连续二进制表示包括表示每个较短时间段内的运动的一系列值。
3.根据权利要求2所述的计算机实施的方法,其中,所述一系列值中的每一个值是通过确定所述较短时间段内的总的运动是否超过运动阈值而形成的。
4.根据权利要求3所述的计算机实施的方法,其中,如果所述较短时间段内的总的运动达到或者超过所述运动阈值,则产生二进位“1”,并且如果所述较短时间段内的总的运动没有达到或者超过所述运动阈值,则产生二进位“0”。
5.根据权利要求2所述的计算机实施的方法,所述方法进一步包括:比较处理器中每个运动串的子串,以确定至少两个运动子串是否在预定阈值内相匹配。
6.根据权利要求5所述的计算机实施的方法,所述方法进一步包括:确定所识别的设备是否提供媒体曝光数据。
7.一种用于检测由一个人实际携带的多台便携式计算设备的系统,该系统包括:
第一输入端,该第一输入端用于通过数据网络从多台便携式计算设备中的至少一台便携式计算设备接收媒体曝光数据;
第二输入端,该第二输入端用于通过所述数据网络分别从所述多台便携式计算设备中的每一台便携式计算设备接收运动串,每个所述串包括第一时间段的运动的连续二进制表示;以及
处理器,该处理器可操作地与所述第一输入端和所述第二输入端相连,所述处理器被配置为比较所述运动串,以确定至少两个运动串是否在预定阈值内相匹配,并且识别产生匹配运动串的设备由所述一个人实际携带。
8.根据权利要求7所述的系统,其中,所述第一时间段包括多个较短时间段,并且其中所述连续的二进制表示包括表示每个较短时间段内的运动的一系列值。
9.根据权利要求8所述的系统,其中,所述一系列值中的每一个值是通过确定所述较短时间段内的总的运动是否超过运动阈值而形成的。
10.根据权利要求9所述的系统,其中,如果所述较短时间段内的总的运动达到或者超过所述运动阈值,则产生二进位“1”,并且如果所述较短时间段内的总的运动没有达到或者超过所述运动阈值,则产生二进位“0”。
11.根据权利要求8所述的系统,所述系统进一步包括:比较处理器中每个运动串的子串,以确定至少两个运动子串是否在预定阈值内相匹配。
12.根据权利要求7所述的系统,所述系统还包括:确定所识别的设备是否提供媒体曝光数据。
13.一种用于确定由一个人实际携带的多台便携式计算设备的计算机实施的方法,所述方法包括:
从多台便携式计算设备中的至少一台便携式计算设备接收媒体曝光数据;
从所述多台便携式计算设备接收分段的加速度计数据;
从每个分段的加速度计数据中提取特征并且针对每台便携式计算设备形成加速度计分类数据;
将每个加速度计分类数据与如下中的至少一个相比较:(i)另一台便携式计算设备的加速度计分类数据以及(ii)存储的另一台便携式计算设备的简档,以确定一台便携式计算设备的加速度计分类数据是否与另一台便携式计算设备的足够类似;以及
如果所述比较确定所述一台便携式计算设备的加速度计分类数据与所述另一台计算设备的足够类似,则识别所述一台便携式计算设备具有与所述另一台计算设备相同的用户。
14.根据权利要求13所述的计算机实施的方法,其中,所述媒体曝光数据包括如下中的至少一种:(i)从音频中检测出的辅助代码,以及(ii)从音频中提取的一个或多个签名。
15.根据权利要求13所述的计算机实施的方法,其中,所述媒体曝光数据包括如下中的至少一种:(i)网页,(ii)应用数据,以及(iii)元数据。
16.根据权利要求13所述的计算机实施的方法,其中,存储的简档包括之前获得的所述多台便携式计算设备的加速度计分类数据。
17.根据权利要求16所述的计算机实施的方法,其中,所述加速度计分类数据和之前获得的加速度计分类数据均包括第一时间段的运动的连续二进制表示。
18.根据权利要求17所述的计算机实施的方法,其中,所述比较包括将所述加速度计分类数据与之前获得的加速度计分类数据进行比较,以基于如下中的一个确定相似度:(1)互相关,(2)绝对曼哈坦距离,(3)欧几里德距离,和(4)动态时间规整。
19.根据权利要求18所述的计算机实施的方法,其中,当所述相似度高于预定阈值水平时,所述加速度计分类数据是足够相似的。
20.根据权利要求13所述的计算机实施的方法,其中,所述多台便携式计算设备中的每一台与群组相关联。
CN201380029270.9A 2012-11-30 2013-08-12 使用运动数据的多计量检测和处理 Active CN104520719B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/691,166 US9696336B2 (en) 2011-11-30 2012-11-30 Multiple meter detection and processing using motion data
US13/691,166 2012-11-30
PCT/US2013/054501 WO2014084928A1 (en) 2012-11-30 2013-08-12 Multiple meter detection and processing using motion data

Publications (2)

Publication Number Publication Date
CN104520719A CN104520719A (zh) 2015-04-15
CN104520719B true CN104520719B (zh) 2017-12-08

Family

ID=50828337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380029270.9A Active CN104520719B (zh) 2012-11-30 2013-08-12 使用运动数据的多计量检测和处理

Country Status (4)

Country Link
EP (2) EP2926148B1 (zh)
CN (1) CN104520719B (zh)
CA (1) CA2875354C (zh)
WO (1) WO2014084928A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696336B2 (en) 2011-11-30 2017-07-04 The Nielsen Company (Us), Llc Multiple meter detection and processing using motion data
WO2018002995A1 (ja) 2016-06-27 2018-01-04 富士通株式会社 生体リズムの検出装置、検出方法、及び、検出プログラム
CN106123911A (zh) * 2016-08-06 2016-11-16 深圳市爱康伟达智能医疗科技有限公司 一种基于加速传感器和角速度传感器的记步方法
US20200390370A1 (en) * 2017-12-12 2020-12-17 Mindmaze Holding Sa System, apparatus and method for activity classification
CN108413968B (zh) * 2018-07-10 2018-10-09 上海奥孛睿斯科技有限公司 一种运动识别的方法和系统
CN110715658A (zh) * 2019-09-16 2020-01-21 深圳市航天华拓科技有限公司 应用于可穿戴设备的检测作弊方法、装置及监控系统
CN113486985B (zh) * 2021-08-02 2023-04-18 汤恩智能科技(上海)有限公司 电动设备的用户识别方法、管理方法、介质和电子设备

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2662168A (en) 1946-11-09 1953-12-08 Serge A Scherbatskoy System of determining the listening habits of wave signal receiver users
US3919479A (en) 1972-09-21 1975-11-11 First National Bank Of Boston Broadcast signal identification system
US4230990C1 (en) 1979-03-16 2002-04-09 John G Lert Jr Broadcast program identification method and system
US4450551A (en) 1981-06-19 1984-05-22 Sanyo Electric Co., Ltd. Keel-tipped stylus, and method and device for making keel-tipped stylus
US4697209A (en) 1984-04-26 1987-09-29 A. C. Nielsen Company Methods and apparatus for automatically identifying programs viewed or recorded
US4677466A (en) 1985-07-29 1987-06-30 A. C. Nielsen Company Broadcast program identification method and apparatus
US4739398A (en) 1986-05-02 1988-04-19 Control Data Corporation Method, apparatus and system for recognizing broadcast segments
DE3720882A1 (de) 1987-06-24 1989-01-05 Media Control Musik Medien Verfahren und schaltungsanordnung zum automatischen wiedererkennen von signalfolgen
US4843562A (en) 1987-06-24 1989-06-27 Broadcast Data Systems Limited Partnership Broadcast information classification system and method
US4955070A (en) 1988-06-29 1990-09-04 Viewfacts, Inc. Apparatus and method for automatically monitoring broadcast band listening habits
AU7224491A (en) 1990-01-18 1991-08-05 Elliott D Blatt Method and apparatus for broadcast media audience measurement
FR2681997A1 (fr) 1991-09-30 1993-04-02 Arbitron Cy Procede et dispositif d'identification automatique d'un programme comportant un signal sonore.
US5436653A (en) 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
GB9221678D0 (en) 1992-10-15 1992-11-25 Taylor Nelson Group Limited Identifying a received programme stream
WO1994011989A1 (en) 1992-11-16 1994-05-26 The Arbitron Company Method and apparatus for encoding/decoding broadcast or recorded segments and monitoring audience exposure thereto
US5450490A (en) 1994-03-31 1995-09-12 The Arbitron Company Apparatus and methods for including codes in audio signals and decoding
US5594934A (en) 1994-09-21 1997-01-14 A.C. Nielsen Company Real time correlation meter
ATE231666T1 (de) 1997-06-23 2003-02-15 Liechti Ag Verfahren für die kompression der aufnahmen von umgebungsgeräuschen, verfahren für die erfassung von programmelementen darin, vorrichtung und computer-programm dafür
US6871180B1 (en) 1999-05-25 2005-03-22 Arbitron Inc. Decoding of information in audio signals
US6990453B2 (en) 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US7239981B2 (en) 2002-07-26 2007-07-03 Arbitron Inc. Systems and methods for gathering audience measurement data
FI20045336A0 (fi) * 2004-09-13 2004-09-13 Valtion Teknillinen Menetelmä mukana kuljetettavan henkilökohtaisen laitteen kantajan verifiointiin/identifiointiin
US7764641B2 (en) * 2005-02-05 2010-07-27 Cisco Technology, Inc. Techniques for determining communication state using accelerometer data
US20120245978A1 (en) * 2006-07-12 2012-09-27 Arbitron, Inc. System and method for determinimg contextual characteristics of media exposure data
AU2007272434B2 (en) * 2006-07-12 2014-05-22 Arbitron Inc. Methods and systems for compliance confirmation and incentives
WO2009062176A2 (en) * 2007-11-09 2009-05-14 Google Inc. Activating applications based on accelerometer data
US9020780B2 (en) * 2007-12-31 2015-04-28 The Nielsen Company (Us), Llc Motion detector module
US8990142B2 (en) * 2009-10-30 2015-03-24 The Nielsen Company (Us), Llc Distributed audience measurement systems and methods
CN102053866A (zh) * 2009-11-03 2011-05-11 英华达(上海)电子有限公司 便携式电子设备的处理方法和便携式电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Cumulant-Based Method for Gait Identification Using Accelerometer Data with Principal Component Analysis and Support Vector Machine;SPRAGER et al.;《WSEAS TRANSACTION on SIGNAL PROCESSING》;20091130;第5卷(第11期);说明书第4、20-22页 *

Also Published As

Publication number Publication date
EP2926148A1 (en) 2015-10-07
CA2875354C (en) 2018-04-10
EP3567377A1 (en) 2019-11-13
EP2926148A4 (en) 2016-08-03
EP2926148B1 (en) 2019-07-31
WO2014084928A1 (en) 2014-06-05
CN104520719A (zh) 2015-04-15
CA2875354A1 (en) 2014-06-05

Similar Documents

Publication Publication Date Title
US11828769B2 (en) Multiple meter detection and processing using motion data
CN104520719B (zh) 使用运动数据的多计量检测和处理
US20130138386A1 (en) Movement/position monitoring and linking to media consumption
Liang et al. Audio-based activities of daily living (adl) recognition with large-scale acoustic embeddings from online videos
US9332363B2 (en) System and method for determining meter presence utilizing ambient fingerprints
Liu et al. When good becomes evil: Keystroke inference with smartwatch
US9223297B2 (en) Systems and methods for identifying a user of an electronic device
CN103650035B (zh) 经由社交图谱、语音模型和用户情境识别接近移动装置用户的人
US20120245978A1 (en) System and method for determinimg contextual characteristics of media exposure data
US20130222277A1 (en) Systems and methods for identifying a user of an electronic device
WO2019147918A1 (en) Method for training fraudulent transaction detection model, detection method, and corresponding apparatus
CA2658977A1 (en) Monitoring usage of a portable user appliance
Wolff Behavioral biometric identification on mobile devices
Panda et al. Behavioral acoustic emanations: Attack and verification of pin entry using keypress sounds
WO2017085743A2 (en) Wearable personal safety device with image and voice processing capabilities
Darbar et al. Surfacesense: Smartphone can recognize where it is kept
Cleland et al. Mobile based prompted labeling of large scale activity data
US20220092158A1 (en) Validating a User Using a Digital Behavioral Fingerprint Generated with Sensor Data from the User's Portable Device
KR102337217B1 (ko) 전자 장치 및 그 동작 방법
Lee et al. DeepIdentifier: A Deep Learning-Based Lightweight Approach for User Identity Recognition
Wang et al. Activity recognition based on smartphone and dual-tree complex wavelet transform
CN105786362B (zh) 一种基于姿势信息的提醒方法和装置
Putri et al. Optimized Active Learning for User's Behavior Modelling based on Non-Intrusive Smartphone.
El-Sayed et al. Gender Identification Using 3D Touch Sensor
Stokkenes et al. Smartphone Multi-modal Biometric Presentation Attack Detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant