CN109981897A - 一种基于单个智能手机细粒度振动的定位方法 - Google Patents

一种基于单个智能手机细粒度振动的定位方法 Download PDF

Info

Publication number
CN109981897A
CN109981897A CN201910188835.7A CN201910188835A CN109981897A CN 109981897 A CN109981897 A CN 109981897A CN 201910188835 A CN201910188835 A CN 201910188835A CN 109981897 A CN109981897 A CN 109981897A
Authority
CN
China
Prior art keywords
vibration
smart phone
extracted
window
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910188835.7A
Other languages
English (en)
Inventor
刘向阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan University of Technology
Original Assignee
Dongguan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan University of Technology filed Critical Dongguan University of Technology
Priority to CN201910188835.7A priority Critical patent/CN109981897A/zh
Publication of CN109981897A publication Critical patent/CN109981897A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Telephone Function (AREA)

Abstract

本发明公开了一种基于单个智能手机细粒度振动的定位方法，该方法能够基于其独特的振动特征稳健地识别不同的表面，随着振动质量在一个智能手机的振动器电机和麦克风来进行传感，基于时间序列来提取振动特征，这些振动特征产生特殊的声波，用内置的麦克风就能感觉到。我们通过实验观察到，即使由于硬件缺陷导致振动频率出现不规则，但在每个振动周期中创建的模式看起来非常相似。我们开发了一种专门的基于峰值检测的算法来提取这些模式，然后将它们用作振动特征来表示不同的表面。为了使这些振动特征对环境噪声具有鲁棒性，我们在实验过程中随时间提取了许多振动模式，并通过获取它们的中值来组合它们。

Description

一种基于单个智能手机细粒度振动的定位方法
技术领域
本发明涉及一种定位方法，具体而言，涉及一种基于单个智能手机细粒度振动的定位方法。
背景技术
基于振动的传感技术已被证明是一种低成本、易于采用的区分标定曲面的方法。以前的研究要么开发了用于创建和/或感知振动的自定义硬件(这些硬件不容易部署/扩展)，要么使用IMU传感器来感知由于手机振动而产生的移动(这些移动频率非常低，而且粒度不够细)。在本文中，我们突破了基于振动感知的极限，首次证明了商品现货(COTS)智能手机可以用于提取鲁棒且一致的基于细粒度的声音特征来识别不同的表面。然而，使用智能手机实现高精度准确且稳健的基于振动的感测涉及若干挑战。
基于振动的传感已经被证明是朝向低成本和易于采用的差异化表面解决方案的有前途的方向。这种感知最有用的应用之一是粗略的符号定位/标记，例如确定用户的设备是在他手中、口袋里还是在他卧室的桌子上。关键的直觉是，由于材料的不同特性，不同的表面会对振动产生不同的响应。此外，到达放置在表面上的不同物体的振动也可以使这些物体振动，这产生了该位置特有的更多声音，从而产生特定于该位置的特殊声音。这种对位置的符号标记可以为我们提供关于更一般的用户活动和意图的间接信息，而无需任何专用基础设施，因此，可以允许我们开发有用的应用程序，例如情境感知智能通知,删除等。然而，这种标记仍然不是普遍存在的，因为现有系统要么与COTS智能手机不兼容(即,使用定制硬件)，要么它们不能足够可靠地提取振动签名。
过去已经提出了几种基于振动传感的技术来实现不同类型的应用。与我们的工作最相关的技术是将设备(例如智能手机)放在表面上，振动设备本身使设备振动，然后使用内置麦克风和/或惯性测量单元IMU传感器的技术(加速度计和/或陀螺仪)记录表面对这些振动的响应。上述作品主要有四个局限性。首先，他们大多开发自定义硬件(如单独的微控制器、振动电机和/或压电传感器)来实现他们的传感目标。然而，大多数COTS智能手机的感知能力有限，对安装在智能手机上的硬件的控制也有限。由于这些原因，它们的技术与COTS智能手机不兼容，而且不容易推广到不同的硬件。其次，使用单个COTS智能手机的技术依赖于从内置IMU传感器中提取的运动特征。然而，由于IMU传感器的采样频率较低，这些特征非常粗糙，这自然导致低分类精度。此外，由于IMU传感器只能感应运动，因此它们的方案完全忽略了振动过程中产生的声波。第三，基于我们在两款不同智能手机上的实验，我们观察到COTS智能手机上安装的振动电机所引起的振动频率响应(通过内置麦克风观察到)呈现出反复的不规则性，这使得提取可靠特征成为一项具有挑战性的任务。发生这种情况是因为智能手机，其振动电机以及其余硬件在每次实验过程中以不规则的频率振动，这是由于硬件缺陷造成的。这种行为是随机的、不可控制的，因此必然会在同一位置提取的特征中产生显著的变化，从而导致分类错误。据发明人所知，这一点在以往的作品中完全被忽略了，因为没有一部作品是通过内置的麦克风进行单智能手机的细粒度振动感知的。第四，使用麦克风基于直接频域特征(例如振动声谱)提取声音(以kHz的数量级采样)的技术非常容易受到噪声的影响，即使间歇性说话也会显着影响它们的性能。
发明内容
针对现有技术中存在的问题，本发明目的是开发基础设施免费的粗粒度级别符号定位/标记方案，其中(1)与具有不同硬件的COTS智能手机一起工作，(2)可靠地提取代表不同位置的细粒度特征，以及(3)对环境噪声有鲁棒性。为此，我们提出了一种基于单个智能手机细粒度振动的定位方法，该方法能够基于其独特的振动特征稳健地识别不同的表面。为了使VibroTag易于扩展和兼容COTS智能手机，我们设计的技术使其仅依赖于内置电机和麦克风来进行传感。此外，我们设计的技术使它们适用于具有不同硬件的不同智能手机。为了提取可靠的特征，我们提出了一种新的基于时间序列的方法来提取振动特征。关键的直觉是，随着振动质量在一个智能手机的振动器电机反复来回移动，它会导致整个智能手机里面的结构和硬件在一种特殊的振动模式，这取决于智能手机所放置表面的振动响应(或吸收属性)。这些振动产生特殊的声波，我们用内置的麦克风就能感觉到。我们通过实验观察到，即使由于硬件缺陷导致振动频率出现不规则，但在每个振动周期中创建的模式看起来非常相似。我们开发了一种专门的基于峰值检测的算法来提取这些模式，然后将它们用作振动特征来表示不同的表面。为了使这些振动特征对环境噪声具有鲁棒性，我们在实验过程中随时间提取了许多振动模式，并通过获取它们的中值来组合它们。为了分类，我们使用具有动态时间扭曲(DTW)距离的最近邻(NN)分类器作为基于不同时间序列的振动签名之间的比较度量。VibroTag在一个志愿者公寓中为7个不同位置提取的振动特征，可以观察到两个非常相似的表面，即床和沙发的振动特征是非常不同的。本发明提出的基于时间序列的振动特征提取方法是实现VibroTag分类精度高的关键。
为了实现上述发明目的，本发明采用的技术方案为：一种基于单个智能手机细粒度振动的定位方法，随着振动质量在一个智能手机的振动器电机和麦克风来进行传感，基于时间序列来提取振动特征，其特征在于：
步骤一、从音频信号的RMS包络中提取特征，随机选择不同时间序列窗口，每个大小S，然后为每一个时间窗口执行不等式正常化，在整个时间序列选择窗口执行FFT分析,提取相对应的频率最高的振幅，识别模式通过检测峰值，提取时间序列模式之间连续峰值，检查在不同的时间窗口中是否提取了至少M个有效的特征，最后通过取所有时间窗口的中值来组合所有提取的模式；
步骤二、对所选窗口中的整个时间序列进行了标准化；
步骤三、对窗口中的信号进行FFT分析并计算PSD；
步骤四、基于计算的PSD，振冲标记确定了对应于图案近似重复频率的峰值频率，将该值用于峰值检测算法；
步骤五、利用检测到的峰值，在连续峰值的基础上提取每个窗口中连续峰值之间的时间序列模式；
步骤六、检查是否从随机选择的窗口中提取了至少M个特征，如果算法无法在窗口中找到峰值并提取有效样本，则随机选择新窗口并重复该过程，直到M个样本被提取出来；
步骤七、使用中值组合所有提取的模式。
在获得时间序列形状特征后，利用这些特征建立训练模型进行分类。通过在波形之间执行最佳对齐来计算波形之间的距离，采用DTW距离作为振动形状特征之间的比较度量，利用这些特征对k近邻(kNN)分类器进行训练。DTW是一种基于动态编程的解决方案，用于获得任何长度之间的最小距离对齐，并允许通过最小化两者之间的距离来将一种波形的非线性映射到另一种波形；DTW通过确定两个波形之间的最小距离变形路径，即使它们彼此失真或移位，也能给出两个波形之间的直观距离；DTW距离是在边界条件和局部路径约束下计算的两个波形之间的最佳翘曲路径的欧几里德距离。利用从多个收发天线对获得的每个击键具有多个形状特征，为每个形状特征构建单独的kNN分类器，每个kNN分类器使用从所有TX-RX天线对的CSI时间序列中提取的相应特征进行训练，为了对检测到的击键进行分类，将该击键的形状特征提供给它们对应的kNN分类器，并从整体中的每个分类器获得决策，每个kNN分类器使用DTW距离度量在相应形状特征的k个最近邻居中搜索多数类标签，通过对集合中所有kNN分类器的决策进行多数表决来计算最终结果。
有益效果：
我们在部署中使用了两个基于Android的智能手机，即Nexus 4和OnePlus 2，并开发了一个应用程序，可同时生成振动和采样音频数据。我们为II个不同的个体测试了我们的系统，我们在不同地点收集了超过数天的数据。我们的结果表明，我们可以识别的位置，平均精度高，而只有少数量的训练样本。而且，即使在没有任何再培训要求，平均精度仍然保持较高。
在本发明中，我们做出了四个关键贡献。首先，提出了第一种基于智能手机的单COTS振动感知符号定位技术。其次，提出了一种基于时间序列的特征提取方法，该方法对环境噪声具有较强的鲁棒性。第三，我们使用两种不同的Android智能手机(即Nexus 4和OnePlus 2)实施了VibroTag。第四，我们在各种环境和位置评估了VibroTag，我们的结果显示我们在多天内获得的超高精度。
具体实施方式
以下通过具体实施例对本发明作进一步详细说明。
与本发明相关的现有研究工作包括一些基于振动的传感和通信技术，以及一些基于声音的室内定位技术。ViBand使用由不同物体产生的振动引起的变化来识别这些物体，例如电动牙刷。Ripple使用振动电机和加速度计进行通信。第二个版本，Ripple II使用了振动电机和麦克风，开发了基于振动的OFDM通信。据作者所知，我们是第一个开发出一种可靠和精确的系统，它可以产生振动，并利用这些振动产生的声学特征来探测目标和标记位置。我们还对24名参与者进行了可用性研究，他们说它有效，并且发现它在日常生活中有用。与VibSense具有相同作者的VibKeyboard提出了利用物理振动的虚拟键盘。VibSense基于以下思想：触摸对表面(如桌子或门)的影响会导致冲击波通过材料传输，可通过加速度计或更灵敏的压电振动传感器被动检测到。他们利用低成本压电传感器以及依赖功率谱密度剖面的触控识别和定位算法，对无源/有源振动收发信机进行了原型设计。ForcePhone产生声音并使用结构承载振动。基于振动的智能手机表面识别，使用内置的振动器和加速度计。从振动不完全学习定位。通过加速和声音特征的主动采样来进行符号对象定位。与本文提出的工作最直接的关系是格里芬的一项专利，题目是：无线设备的用户手动检测。它建议使用加速度信号检测到的振动来确定手机是在用户手中，还是在皮套中，还是在支架中。与上述所有系统相比，我们使用的是智能手机，并提供了一个强大的管道，通过设备本身产生的震动，提取出正确的空间标签功能。我们推动了基于振动感知的极限，这是第一种只使用智能手机(不使用其他设备)，同时高保真度的方法。在本发明中，我们开发了一种方案，用于提取基于振动的物体传感或位置标记的鲁棒特征。EchoTag生成声音信号，然后使用来自环境的反射，使用智能手机实现厘米级标记。我们的工作不同，因为我们尝试使用振动而不是声音信号。此外，他们的工作需要精确的标记，而且必须准确地标记位置，因为他们产生的音频信号以及随后产生的感觉高度依赖于位置。EchoTag是4步，我们只使用2步。我们不使用这种需要在用户端进行操作的细粒度标记。
工作原理：声音本质上是由振动物质产生的压力波。这些波是纵向的，即它们沿着行进轴振荡，其中振荡由介质(例如空气)中分子的压缩和稀疏化造成。例如，人类的声音是建立在我们声带内部产生的振动的产生的，而音频扬声器通过使用电磁铁对隔膜进行机械刺激，将电信号转换成物理振动，从而产生声音。VibroTag基于直觉，即不同的表面对智能手机引入的振动有不同的反应。当智能手机振动时，它不仅会机械地刺激手机内部的结构和硬件，还会刺激手机所在的表面。一方面，一些表面往往吸收大部分振动能量(如沙发)，另一方面，一些表面可能会出现共振响应，开始与智能手机同步振动(如智能手机的表面振动与内部的振动电机同步)。此外，这些振动的影响可以到达放置在附近的不同物体，这些物体也可能受到机械上的刺激(尤其是较轻的物体)，从而产生更多的声音。由于不同的表面对振动的响应不同(就其对智能手机的运动的吸收/阻尼效果而言)，并且由于不同的表面通常放置有不同的物体，这些表面特有的声音是在振动过程中产生的，我们可以使用压电设备(例如内置麦克风)感知，然后利用它来区分这些表面。
电动振子马达利用电磁感应原理，将不平衡的质量绕中心位置作无序运动，从而产生振动。今天的智能手机中使用的振动电机通常被称为硬币型振动电机，因为它们具有类似硬币的形状和尺寸。智能手机中广泛采用两种类型的硬币型振动电机：(i)基于线性谐振执行器(LRA)(例如用于Nexus 4)和(ii)基于偏心旋转质量(ERM)(例如用于OnePlus 2)。在基于LRA的电动机中，振动是由悬浮在线圈附近的磁性物质的线性运动产生的，称为“音圈”。当对电机施加交流电流时，线圈也表现得像磁铁(由于产生的电磁场)，并根据电流的方向引起质量的吸引或排斥。这将产生与输入交流信号相同频率的振动，而振动幅值由信号的峰间电压决定。因此，LRAs可以同时控制振动的大小和频率。基于ERM的电机使用直流电机绕轴旋转偏心质量。由于质量相对于旋转轴不对称，它会导致设备在运动过程中振动。振动的振幅和频率都取决于电机的转速，而转速又可以通过输入直流电压来控制。
VibroTag系统由五个不同的阶段组成。在第一阶段，智能手机振动约五秒钟，同时通过内置麦克风同时记录对振动的表面响应。振动期间产生的声音以固定的44.1kHz进行采样。其次，在频域和时域中分析记录的声音以提取稳健的表面/位置特定特征。第三，在特征定位数据库中记录所选特征及其对应特征。第四，VibroTag使用特征位置数据库来训练其位置分类模块。在测试阶段，利用训练过的分类器将采集到的新定位特征与特征定位数据库中的记录进行比较，试图确定定位。接下来，我们将讨论如何设计VibroTag的两个主要功能，即由于振动可靠地提取声学特征，以及使用它们各自提取的特征对不同位置进行稳健/准确分类。
为了在不同的位置之间进行区分，我们需要提取能够唯一且一致地表示这些位置的特征。然而，我们在VibroTag实现这一目标时面临两个主要挑战。第一个挑战来自于背景噪声源，如厨房和卫生间的排风扇，短暂的人们交流等。第二个挑战是智能手机硬件(即麦克风和振动电机)的不完善，影响了智能手机振动时的音频采样过程。接下来，我们将详细讨论这些挑战，然后描述如何解决它们以提取可靠且一致的特性。
为了减少背景噪声的影响，我们采取了两种方法。首先，为了消除固定的背景噪声，如风扇产生的噪声等，我们对录制的音频信号进行一阶微分。其次，为了减少短期噪声的影响，我们对手机进行了至少5秒的振动，并在时间上提取了多个特征，最后将这些特征结合起来得到单一的一致特征。第二个挑战是快速傅立叶变换FFT和谱图容易受到噪声的影响。提取的所有这些实验的时间序列特征是一致的，几乎相同。从现在起，当我们提到音频信号时，我们指的是音频信号的一阶差。我们也只允许20-5500赫兹之间的频率，这是人类的听觉范围，只是为了消除任何不需要的在更高频率的噪音。
除了前面讨论的局限性，仅在频域中分析音频信号会导致时域信息的完全丢失。因此，我们利用短时傅立叶变换(Short time傅里叶变换，STFT)来研究智能手机振动在频率和时间域的变化。可以观察到这两种情况的变化经常发生在相似的频率范围内，我们也注意到一些模式随着时间的推移而重复。智能手机的振动是由于其振动电机内部的质量的往复运动而产生的。振动电机试图以自己的振动频率移动智能手机(以及内部硬件)，然而，智能手机的运动受到了自身重量/结构以及它所处表面的吸收特性的限制。整个过程会产生特殊的压力波，由内置麦克风感知。由于振动电机内部的质量反复往复运动，在振动周期不规则的每一个周期内都会产生类似的压力波，这些压力波会反映在记录的音频信号的时间序列中。我们认为，即使这些模式的重复频率有不规则之处，这些模式本身也必须非常相似。
振动响应时间序列分析：基于我们对记录音频信号的均方根包络线的时间序列分析，我们将信号的均方根包络线置于N个样本的滑动窗口之上。在我们当前的VibroTag实现中，我们选择了N＝15个音频样本。我们选择RMS包络进行分析，因为它平均了短期噪声变化，但仍保持大部分振动响应相关信息的完整性。这种现象除去后很快就会显现出来。时间序列对应于4800个音频样本窗口(即0.1088秒)。我们可以明显地看到某些模式在这两个时间序列中重复，这些模式重复的频率近似于智能手机振动电机振动质量的频率。我们还可以观察到，两种场景中的时间序列模式在时间上是一致的，并且一种场景中的模式与另一种场景中的模式是不同的。这种差异在以前的基于频率的分析中是无法观察到的。我们的目标是使用这些模式作为特征来稳健地区分表面。然而，也产生了两个问题:(1)这些特征的重复频率和出现的地点并不确切，我们如何才能正确提取这些特征？(2)我们如何确保在某个时间段内提取的特征在其他时间段内也会重复出现，从而真正代表地表响应？为了回答这些问题，我们采用峰值检测算法来检测实验过程中随时间推移出现的时间序列模式，然后取实验中提取的所有模式的中值来实现单个形状特征。其次，讨论了基于峰值检测的时间序列特征提取算法。
VibroTag通过四个步骤从音频信号的RMS包络中提取特征:(1)随机选择不同时间序列窗口,每个大小S(S＝4800样品在我们当前的实现),然后为每一个时间窗口(2)执行不等式正常化，在整个时间序列选择窗口(3)执行FFT分析,提取相对应的频率最高的振幅(对应于时间序列的近似重复频率模式),(4)识别模式通过检测峰值,(5)提取时间序列模式之间连续峰值,(6)检查在不同的时间窗口中是否提取了至少M个有效的特征(在我们的实现中M＝100)，最后通过取所有时间窗口的中值来组合所有提取的模式。接下来，我们解释步骤(2)-(6)。一旦一个时间窗口被随机选择，在第二步中，VibroTag max-min对所选窗口中的整个时间序列进行了标准化，使峰值检测算法的参数化可以很容易地推广。如前所述，在音频信号的RMS包络中，振动模式的重复频率是不规则的。然而，为了使峰值检测算法能够工作，需要将其移到一个近似的数字。因此在第三步，VibroTag对窗口中的信号进行FFT分析并计算PSD。基于计算的PSD，振冲标记确定了对应于图案近似重复频率的峰值频率。然后将该值用于峰值检测算法，这是第四步。VibroTag的峰值检测算法采用最小峰值凸度(MINPRO)、最小峰值距离(MINDIST)和最小峰值强度(MINSTR)三个参数对峰值数量进行稳健性检测。一个山峰的突出程度是由它相对于周围其它山峰的高度和位置决定的。我们调整MINPRO，以便我们只检测那些至少具有MINPRO相对重要性的峰值。我们根据模式的最大重复率约为fo+δf的事实来调整MINDIST，从而丢弃冗余峰值。基于实验中,我们测量δf不清楚句子是满足3-sigma,第三个标准差的重复频率。这是必需的，因为一些峰值可能会更早出现。为了进一步筛选冗余峰，我们只选择大于最小STR乘以中值峰值的峰值。在我们目前的实施中，我们选择MINPRO＝0.65，秒，δf＝6.5，MINSTR＝0.5。我们仅在系统设计期间执行此参数化。在实际部署期间，我们不需要最终用户校准工作。
第五步，VibroTag利用检测到的峰值，在连续峰值的基础上提取每个窗口中连续峰值之间的时间序列模式。在第六步中，我们的算法检查是否从随机选择的窗口中提取了至少M＝100个特征。如果我们的算法无法在窗口中找到峰值并提取有效样本，则它会随机选择新窗口并重复该过程，直到M＝100个样本被提取出来。在现实生活场景中，提取表面足够有效特征所需的迭代次数可用于告诉用户设备是否正确放置在表面上，环境是否过于嘈杂以测试或训练位置等。最后，VibroTag使用中值组合所有提取的模式(丢失75％数据之外的任何内容)。例如，当在背景中播放嘈杂的音乐(即可变噪声)时，收敛所需的平均迭代次数为～1351，对于中等噪声/音量级别，该数值为～495，而没有可变噪声情景是136。对每个场景取20多个不同的样本均值。这有助于获得一个单一的鲁棒特征，有助于消除短期的噪声变化，即使存在不同类型的噪声，所有这些实验都是一致的，几乎是相同的。不同场景的形状彼此不同，我们使用这些波形的形状作为特征，因为这些形状同时保留了波形的时域和频域信息，因此更适合用于分类。
在获得时间序列形状特征后，VibroTag利用这些特征建立训练模型进行分类。由于VibroTag需要对不同表面的形状特征进行比较，因此我们需要一个能够有效衡量两个表面形状特征相似性的比较度量。
VibroTag使用一种著名的方法，称为动态时间扭曲(DTW)，通过在波形之间执行最佳对齐来计算波形之间的距离。采用DTW距离作为振动形状特征之间的比较度量，利用这些特征对k近邻(k-nearest neighbour,kNN)分类器进行训练。接下来，我们首先解释如何将DTW应用于振动形状特征，然后解释如何训练kNN分类器。
DTW是一种基于动态编程的解决方案，用于获得任何长度之间的最小距离对齐，并允许通过最小化两者之间的距离来将一种波形的非线性映射到另一种波形。与欧几里德距离相比，DTW通过确定两个波形之间的最小距离变形路径，即使它们彼此失真或移位，也能给出两个波形之间的直观距离。DTW距离是在边界条件和局部路径约束下计算的两个波形之间的最佳翘曲路径的欧几里德距离。在我们的实验中，DTW距离被证明是比较两个不同按键形状特征的有效度量。VibroTag使用27度，45度和63度的局部路径约束，同时确定两个波形之间的最小成本变形路径。DTW能够处理床场景特征间不同DTW距离的波形为2.3，沙发场景特征间DTW距离为3.1。然而，这些场景的特征之间的平均DTW距离是16.59。
为了最大限度地利用从多个收发天线对获得的每个击键具有多个形状特征的优点，我们为每个形状特征构建单独的分类器。还要写出k＝5如何工作，为什么需要邻居以及如果我们的家伙与其他等级的异常值匹配，他们为什么可以提供帮助。WiKey要求用户提供识别击键的训练数据，每个分类器使用从所有TX-RX天线对的CSI时间序列中提取的相应特征进行训练。为了对检测到的击键进行分类，WiKey将该击键的形状特征提供给它们对应的kNN分类器，并从整体中的每个分类器获得决策。每个kNN分类器使用DTW距离度量在相应形状特征的k个最近邻居中搜索多数类标签。WiKey通过对集合中所有kNN分类器的决策进行多数表决来计算最终结果。
我们开发了一个Android应用程序，用于同时产生振动和采样音频信号。我们的应用程序在一个单独的高优先级异步线程中记录音频，这有助于最小化采样相关的不规范。我们在单声道上使用16位PCM编码，采样率为44100hz，进行录音。每个数据实例构成5秒的音频数据，振动电机在此期间持续振动。我们对应用程序进行编程，将收集到的音频数据记录在远程计算服务器上，稍后将使用MATLAB处理这些数据。所有数据上传相关的任务都被编程成在单独的线程中运行。我们的应用程序仅通过打开或关闭智能手机的振动电机来控制它，因此不会改变振动的振幅或模式。这使得智能手机可以在其默认的振动设置下振动，这有助于保持在相同表面/位置收集的数据样本的一致性。此外，它使VibroTag适用于智能手机不提供任何振幅控制其振动电机。我们在两个Android设备上评测了VibroTag，即谷歌Nexus 4和OnePlus2。
我们通过在两种不同类型的环境(即办公室和公寓)中进行大量实验来评估VibroTag的性能。我们选择这些环境是因为它们代表了真实用例场景，其中用户定期与不同的对象和表面进行交互。我们收集了来自两个不同志愿者的数据，一个是Nexus 4，另一个是OnePlus 2，我们分别命名为User-1和User-2。两名志愿者都是大学研究生，他们在同一个办公室工作，但住在不同的公寓大楼。对居住在公寓/办公室工作的人的移动或工作条件没有任何限制。例如，当我们在办公室环境中收集数据时，办公室中的其他人正常工作和聊天，就像他们在正常工作日那样。同样，数据收集不会对志愿者的公寓伙伴的日常活动(烹饪，吃饭，看电视，清洁等)造成任何干扰。因此，我们对VibroTag的评估考虑了现实环境，其中大多数时间都存在来自人类活动的噪音。首先，要了解VibroTag放置在表面(例如卧室桌子)时对智能手机的位置和方向的敏感度，每个志愿者都在他的洗手间/浴室(厕所水箱)，床上，卧室桌子，客厅桌上和客厅沙发收集数据。在这组实验中，我们收集了三种不同情景的数据，即(1)最少限制，(2)适度限制和(3)高度限制。为此，我们将每个表面划分为三个不同的区域。我们将高度受限制的区域标记为与智能手机大小相同的几英寸，中等受限区域是高度限制区域的4-5倍，中等限制区域与受限制最小的区域的大小相比大约为两倍。
其次，我们进行了实验以实现VibroTag的两种应用，即符号定位和对象识别。在定位方面，每个志愿者手里都有相关的数据，裤子口袋，汽车(变速器前的小隔间)，洗手间，床上，卧室的桌子，厨房的柜台，客厅的桌子，客厅的沙发和办公室的桌子。志愿者每天进行这些实验，连续5-6天。在这些实验中，我们对智能手机的具体位置和方向限制最少。然而，User-2也在高限制和中等限制下进行了这些实验。对于物体识别，User1还收集了纸板箱，地毯，抽屉内，金属桌子，鼠标垫，泡沫椅，打印机页面包，打印机，金属架，沙发座椅和木椅(办公室环境)和浴室垫，冰箱，餐椅(泡沫)，餐桌(木制)，地板(木制)，微波炉，厕所壁架，电视桌，窗台和XBox的环境数据。
我们使用混淆矩阵、真阳性率(TPRs)和假阳性率(FPRs)等指标来评价上述实验中VibroTag的分类性能。
我们将VibroTag的灵敏度定义为它能够区分放置在同一位置/表面的智能手机的不同位置和方向。例如，用户可以将智能手机放在办公桌上的几个可能的位置和不同的方向。VibroTag的灵敏度是一个重要的度量标准，因为我们声称用户可以灵活地将智能手机放在一个表面上，而不必担心其位置和方向的厘米级差异(不像EchoTag)。如果VibroTag过于灵敏，这一要求将无法得到满足。
正如我们之前提到的，为了确定VibroTag在不同表面上的敏感性，每个志愿者在五个不同表面上收集三种不同情况的数据，即(1)最少限制，(2)中度限制和(3)高度限制。对于每种情况，从每个表面收集大约25至30个样本。为实现这一目标，我们将每个表面划分为3个不同的区域。第一个区域是指高度受限的智能手机放置在一个与智能手机本身尺寸相近的区域内。然而，只要智能手机的中心与区域中心大致保持一致，志愿者仍然可以根据自己的智能手机的准确位置灵活一些。第二个区域(即中度受限)是一个外矩形区域，大约是第一个区域的4-5倍。第三个区域(即限制最少的区域)的面积大约是第一个区域的两倍。然而，在最不受限制的实验中，志愿者被允许将智能手机放置在第三个区域之外，只要智能手机放置在相同的表面，每隔一段时间就可以将智能手机放置在第三个区域之外。
从VibroTag应用程序中吸取的教训总结如下。
首先，VibroTag中使用的时间序列特征比频域特征对正常人类活动和环境噪声更具有鲁棒性，使得曲面的预测精度更高。正因为如此，振子标签的预测精度不会随着噪音的增加而急剧下降。重要的是，大多数可识别的振动特征是在我们测试的表面的20Hz到5.5KHz的声频频段内发现的。VibroTag使用每个类15个随机样本集，可以有效区分20多个对象和表面的组合。也可以区分多个抽象的表面，例如由不同类型的木材制成的桌子表面。我们还发现，对于我们测试的大多数类，位置预测是同质的。此外，在我们的算法经过训练后，将放置在位置表面附近的不同物体作为噪声进行处理并有效地去除，使得表面仍然可以被识别。
其次，传感器硬件的质量对预测结果的影响可以忽略不计。采用智能手机麦克风传感器和振动电机进行传感，使之成为大多数智能物联网和COTS设备的理想部署。
这些应用程序可以根据产生的好处分为两类：1)帮助用户记住事物，2)为用户节省查找和启动所需应用程序的时间。
应用：Hand-vs-Pocket检测，FindMy-Phone(手机在车上，没有声音，没有振动),物体检测(Radar Cat paper)，测瓶装水的量，智能通知，建筑地标，上下文通知，老人护理(检测是否使用该装置)。
本发明设计、实现和评价了一种基于振动感知的表面识别符号定位技术。我们的方法非常容易部署，而且不引人注目，因为它与多个不同COTS智能手机一起工作，并且只需要用户进行最少的训练。我们做出了四大贡献。

Claims (5)

1.一种基于单个智能手机细粒度振动的定位方法，随着振动质量在一个智能手机的振动器电机和麦克风来进行传感，基于时间序列来提取振动特征，其特征在于：
步骤一、从音频信号的RMS包络中提取特征，随机选择不同时间序列窗口，每个大小S，然后为每一个时间窗口执行不等式正常化，在整个时间序列选择窗口执行FFT分析,提取相对应的频率最高的振幅，识别模式通过检测峰值，提取时间序列模式之间连续峰值，检查在不同的时间窗口中是否提取了至少M个有效的特征，最后通过取所有时间窗口的中值来组合所有提取的模式；
步骤二、对所选窗口中的整个时间序列进行了标准化；
步骤三、对窗口中的信号进行FFT分析并计算PSD；
步骤四、基于计算的PSD，振冲标记确定了对应于图案近似重复频率的峰值频率，将该值用于峰值检测算法；
步骤五、利用检测到的峰值，在连续峰值的基础上提取每个窗口中连续峰值之间的时间序列模式；
步骤六、检查是否从随机选择的窗口中提取了至少M个特征，如果算法无法在窗口中找到峰值并提取有效样本，则随机选择新窗口并重复该过程，直到M个样本被提取出来；
步骤七、使用中值组合所有提取的模式。
2.根据权利要求1所述的基于单个智能手机细粒度振动的定位方法，其特征在于：
在获得时间序列形状特征后，利用这些特征建立训练模型进行分类。
3.根据权利要求2所述的基于单个智能手机细粒度振动的定位方法，其特征在于：
通过在波形之间执行最佳对齐来计算波形之间的距离，采用DTW距离作为振动形状特征之间的比较度量，利用这些特征对k近邻(kNN)分类器进行训练。
4.根据权利要求3所述的基于单个智能手机细粒度振动的定位方法，其特征在于：
DTW是一种基于动态编程的解决方案，用于获得任何长度之间的最小距离对齐，并允许通过最小化两者之间的距离来将一种波形的非线性映射到另一种波形；DTW通过确定两个波形之间的最小距离变形路径，即使它们彼此失真或移位，也能给出两个波形之间的直观距离；DTW距离是在边界条件和局部路径约束下计算的两个波形之间的最佳翘曲路径的欧几里德距离。
5.根据权利要求3所述的基于单个智能手机细粒度振动的定位方法，其特征在于：
利用从多个收发天线对获得的每个击键具有多个形状特征，为每个形状特征构建单独的kNN分类器，每个kNN分类器使用从所有TX-RX天线对的CSI时间序列中提取的相应特征进行训练，为了对检测到的击键进行分类，将该击键的形状特征提供给它们对应的kNN分类器，并从整体中的每个分类器获得决策，每个kNN分类器使用DTW距离度量在相应形状特征的k个最近邻居中搜索多数类标签，通过对集合中所有kNN分类器的决策进行多数表决来计算最终结果。
CN201910188835.7A 2019-03-13 2019-03-13 一种基于单个智能手机细粒度振动的定位方法 Pending CN109981897A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910188835.7A CN109981897A (zh) 2019-03-13 2019-03-13 一种基于单个智能手机细粒度振动的定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910188835.7A CN109981897A (zh) 2019-03-13 2019-03-13 一种基于单个智能手机细粒度振动的定位方法

Publications (1)

Publication Number Publication Date
CN109981897A true CN109981897A (zh) 2019-07-05

Family

ID=67078735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910188835.7A Pending CN109981897A (zh) 2019-03-13 2019-03-13 一种基于单个智能手机细粒度振动的定位方法

Country Status (1)

Country Link
CN (1) CN109981897A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111121759A (zh) * 2019-12-30 2020-05-08 杭州电子科技大学 一种基于多层长短期记忆网络的地磁室内定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005077288A (ja) * 2003-09-01 2005-03-24 Nissan Motor Co Ltd レーダ装置
US20160360977A1 (en) * 2015-06-09 2016-12-15 University Of Connecticut Method and apparatus for heart rate monitoring using an electrocardiogram sensor
CN106375582A (zh) * 2016-09-06 2017-02-01 广东欧珀移动通信有限公司 振动控制方法及装置
CN107782520A (zh) * 2017-09-22 2018-03-09 上海卫星工程研究所 微小卫星随机振动试验下凹控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005077288A (ja) * 2003-09-01 2005-03-24 Nissan Motor Co Ltd レーダ装置
US20160360977A1 (en) * 2015-06-09 2016-12-15 University Of Connecticut Method and apparatus for heart rate monitoring using an electrocardiogram sensor
CN106375582A (zh) * 2016-09-06 2017-02-01 广东欧珀移动通信有限公司 振动控制方法及装置
CN107782520A (zh) * 2017-09-22 2018-03-09 上海卫星工程研究所 微小卫星随机振动试验下凹控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111121759A (zh) * 2019-12-30 2020-05-08 杭州电子科技大学 一种基于多层长短期记忆网络的地磁室内定位方法
CN111121759B (zh) * 2019-12-30 2021-07-27 杭州电子科技大学 一种基于多层长短期记忆网络的地磁室内定位方法

Similar Documents

Publication Publication Date Title
Clemente et al. Smart seismic sensing for indoor fall detection, location, and notification
Zhang et al. Accelword: Energy efficient hotword detection through accelerometer
CN100412777C (zh) 定位表面冲击的方法及其实现设备
CN102741919B (zh) 用于使用声学信号提供用户接口的方法和设备、包括用户接口的装置
Sun et al. Pandaa: physical arrangement detection of networked devices through ambient-sound awareness
Jia et al. SoundLoc: Accurate room-level indoor localization using acoustic signatures
Liu et al. Vibsense: Sensing touches on ubiquitous surfaces through vibration
CN103038725A (zh) 使用连续波超声信号的无触摸感测和手势辨识
Kunze et al. Symbolic Object Localization Through Active Sampling of Acceleration and Sound Signatures: (Nominated for the Best Paper Award)
Ogris et al. Using ultrasonic hand tracking to augment motion analysis based recognition of manipulative gestures
Song et al. Deep room recognition using inaudible echos
CN109256146A (zh) 音频检测方法、装置及存储介质
Guo et al. Localising speech, footsteps and other sounds using resource-constrained devices
CN109870697A (zh) 一种基于超声波声学的物体检测和分类方法
US9829577B2 (en) Active indoor location sensing for mobile devices
Bieber et al. The hearing trousers pocket: activity recognition by alternative sensors
CN107690034A (zh) 基于环境背景声音的智能情景模式切换系统及方法
Feng et al. An adl recognition system on smart phone
Dissanayake et al. Detecting door events using a smartphone via active sound sensing
CN109981897A (zh) 一种基于单个智能手机细粒度振动的定位方法
Uchiyama et al. Context recognition by wireless sensing: A comprehensive survey
Ali et al. Fine-grained vibration based sensing using a smartphone
Diaconita et al. Do you hear what i hear? using acoustic probing to detect smartphone locations
Pätzold et al. Audio-based roughness sensing and tactile feedback for haptic perception in telepresence
Kunze Compensating for on-body placement effects in activity recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190705