CN111929689A

CN111929689A - 一种基于手机自带传感器的物体成像方法

Info

Publication number: CN111929689A
Application number: CN202010708936.5A
Authority: CN
Inventors: 王骏超; 张乃音; 李晨铭; 钱鸿强
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2020-07-22
Filing date: 2020-07-22
Publication date: 2020-11-13
Anticipated expiration: 2040-07-22
Also published as: CN111929689B

Abstract

本发明公开了一种基于手机自带传感器的物体成像方法。本发明是调用手机的扬声器发射特定频段的声波，并通过手机麦克风接收反射波的信息，同时调用手机的加速度计采集手机的加速度数据。扫描结束后，将反射波数据和加速度数据通过卡尔曼滤波、滑动窗口、硬性归零、声音能量处理等算法处理成一张声学图像。本发明创新性地仅借助手机自带的传感器，作为发射、接收和处理的设备，达到简单地用声波成像物体大致形状的目的，而不需要外接设备。不仅减小了体积，而且成本比较低，有利于声波成像技术在民用领域的推广和普及。

Description

一种基于手机自带传感器的物体成像方法

技术领域

本发明涉及一种成像方法，具体是一种基于手机自带传感器的物体成像方法。

背景技术

随着社会需求的不断深化和科学技术的蓬勃发展，声音成像技术取得了很大的进步。声波成像是利用声波作为传递信息的载体，以各式各样的声学仪器作为成像设备的图像显示及分析技术。其基本工作原理是，利用主动发声设备发射特定频段或者复合频段的声波，再由一个接收器接收反射的声波，反射波中携带着物体的信息，通过计算机算法处理便可以形成一维或多维图像，并通过显示设备将其显示出来。

自然界就有利用声波进行成像的例子。比如，蝙蝠就是在喉部产生短促而高频的超声波(＞20kHz)，经鼻或嘴传出后被附近物体反射回来形成回声，回声被外耳接收后经中耳至内耳转化为神经电信号并向上更高级中枢传递，最后听觉神经中枢对回声本身以及发出声与回声间的差异进行分析，从而确定前方物体的位置、大小、形状、结构以及运动速度与方向。

除此以外，声波成像还被广泛地应用在航天航空、水下探测、地质勘探、医学诊断等领域。在军事领域，潜艇的声纳系统是舰艇的“眼睛”和“耳朵”。舰艇利用所装备的声纳设备搜索有无目标并且识别目标的类型、吨位、航速等,以便一方面更有效地打击目标,另一方面尽可能地隐藏自己,以免受到对方的袭击。

在传统的声波成像技术应用中，往往需要借助特定的系统和复杂的仪器来达到声波成像的目的。声波成像技术主要应用在医学和勘探等领域，仪器大多体积庞大且价格昂贵；在普通民众中的普及有限，比如说教育领域，中学教师在介绍反射波相关知识的时候往往都是借助抽象的公式和定理，而没有让学生真实地看到反射波的各种现象。

本发明所描述的方法致力于解决上述问题，简化声波成像技术，仅借助手机自带的麦克风、扬声器和加速度计即可达到声波成像的目的。使声成像技术在社会大众中可以得到更好的推广和普及。目前，市场上有两种与本方法相似的技术方案。

第一种是传统的超声设备B超机。通过主机加超声波探头，超声波探头发送超声波并且接收反射波，经过主机算法的处理对人体内部的病变进行精确的检测。第二种是小型化的声波成像设备，比如UProbe，将传统超声设备的主机加超声波探头浓缩到一个超声波探头中，通过一个探头达成发射、接收、处理的流程，通过手机APP接收超声波探头生成的声学图像并显示。

如上文所述的两种声波成像技术的应用存在的不足在于，传统的声波成像设备体积庞大而且价格昂贵。小型化的声波成像设备虽然减小了体积便于携带，但是仍然需要解决外接设备，且同样价格昂贵。

发明内容

本发明针对现有技术的不足，提出了一种通过调用手机自身的硬件收集加速度和反射波数据而不需要借助外接设备从而生成一张声学图像的方法。

本发明的主要技术构思：

具体内容如下：移动手机，调用手机的扬声器发射设定频段的声波，并通过手机麦克风接收反射波的信息，同时调用手机的加速度计采集手机的加速度数据。扫描结束后，将反射波数据和加速度数据通过卡尔曼滤波、滑动窗口、硬性归零、声音能量处理等算法处理成一张声学图像。

数据采集

1.1数据采集

使用一个前端界面，使用者点击开始按钮后，前端界面调用手机的扬声器发射软件设定好的设定频段的声波，同时此时使用者开始移动手机扫描待测物体，前端界面会同时调用加速度计和麦克风采集加速度数据和反射波数据。

1.2数据上传

将加速度数据通过二进制流实时上传到数据处理端，而反射波数据则是在扫描结束后打包成文件再上传到数据处理端。

数据处理端

2.1加速度数据处理

数据处理端接收到处理数据的指令后，从指定位置读取加速度数据。加速度的数据的处理主要分两步，加速度数据预处理与轨迹点的生成。首先是将加速度数据通过硬性归零和卡尔曼滤波修正由于手机传感器的电气特性或者使用者等原因产生的零值漂移，随机误差和累计误差。然后通过牛顿第二运动定律将加速度数据计算为轨迹点。

2.2反射波数据处理

为了可以让声音信息反应被扫描物体的形状信息，将反射波处理为声音能量。首先对声音能量做STFT变换，提取每一帧声音数据所包含的各频率分量的幅值。然后通过帕塞瓦尔的定理计算出每一帧的平均能量。

2.3成像

将声音能量数据插入到生成的轨迹点中，然后通过双线性插值将轨迹补全为一个平面，最后通过热力图来表示不同点的声音能量大小；以此获得了一张被扫描物体的声学图像。

本发明的有益效果：

1、仅借助手机自身的元件达到声音成像的目的，体积小便于携带。

2、成像的设备是常用的智能手机，使用成本比较低，价格便宜。

3、不需要外接设备就可以演示简单的声音成像技术，有利于声音成像技术的推广，比如在中学老师介绍反射波相关知识的时候，可以使用本发明作为教具。

附图说明

图1为本发明方法总体执行流程图；

图2为数据采集模块工作流程图；

图3为卡尔曼滤波状态图；

图4为硬归零算法执行流程图；

图5为卡尔曼滤波前后数据比较图；

图6为轨迹点模块预设轨迹与实际测试得到的实验结果对比图；

图7为计算声音能量执行流程图；

图8为meshgrid函数和griddata函数执行流程图。

具体实施方式

为使本发明的目的，技术方案及效果更加清楚，明确，以下结合图1～8对本发明进一步详细说明。本发明包括数据采集端和数据处理端两个模块，其算法总流程图如图1所示。

具体内容如下：

1.第一模块：数据采集端

数据采集端模块的主要功能是提供给使用者一个可以操作的界面。在这个前端界面中，使用者可以点击打开录音按钮，此时前端代码会调用手机的麦克风准备开始录音。然后点击开始按钮，此时前端代码会调用手机扬声器发射特定频段的声波，此时使用者可以开始移动手机扫描待测物体。在移动过程中，手机的麦克风和加速度计会分别记录加速度数据和反射波数据，加速度数据会实时上传到数据处理端，写入指定文件夹。完成扫描后。使用者点击停止按钮，前端页面停止调用手机，反射波数据打包成文件存在前端界面的缓存中。最后使用者点击上传按钮，反射波数据被发送到数据处理端指定文件夹，等待处理。该模块的流程图如图2所示。

2.第二模块：数据处理端

数据处理端进行数据处理的过程可以分为三个步骤：加速度数据处理，声音数据处理，以及待测物体成像。

2.1加速度数据处理

首先是加速度数据处理，加速度数据处理分三步：硬归零，卡尔曼滤波，牛顿第二运动定律。实验手机所用的加速度传感器为MEMS传感器，由于其自身的电气和机械特性，其收集到的加速度数据的主要误差类型及产生原因如表1。

表1加速度数据误差类型及其来源

由于累积误差主要来源于漂移误差、随机误差的累积，所以只需针对漂移误差、随机误差进行处理，即可同时达到减小累积误差的目的。针对这两种误差，本发明采用了卡尔曼滤波和硬性归零两种方法，在处理误差的同时，将加速度数据转化成为运动轨迹点

在本发明中使用卡尔曼滤波来处理本系统中的随机误差。如图3所示为卡尔曼滤波算法的流程图。卡尔曼滤波包括预测和状态更新两个过程，两个过程的公式如下表所示:

表2卡尔曼滤波原理公式

利用线性系统状态方程，使用系统前一时刻状态的估计值、此时刻状态的观测值来对状态变量的估计进行更新，对此时刻状态进行最优估计和校准，以不断迭代、预测、修正的方法对动力系统进行状态估计。由于实验过程中的观测数据中包括系统中的噪声和干扰，即本文所表述的系统中的随机误差，所以卡尔曼滤波的最优估计也可看作是滤波过程。

除了卡尔曼滤波之外，本发明还采用了硬性归零算法来抑制系统的漂移误差，包括零值漂移和惯性波动。其中，零值漂移是指由于环境温度、磁场等原因使得手机静止时加速度数据在0附近波动；惯性波动是指手机单沿某一方向运动时，另一方向上的加速度数据由于惯性的存在而不为零。加速度数据的波动会导致速度计算存在较大误差，从而影响轨迹的计算。设计一种硬性归零算法，减少上述两种漂移误差导致的速度误差。

硬性归零算法的工作流程图如图4所示。首先利用加速度数据计算出每一采样时刻的速度，加速度数据有x、y两个方向的分量，针对每一个方向上的数据分别进行处理，这里以x方向为例：

V_t＝V_t-1+a_tT (1)

其中，V_t、V_t-1分别为x方向上该时刻与上一时刻的速度值，a_t为该时刻x方向的加速度，T为采样周期。以20个采样点为一个窗口，计算每个窗口中速度的标准差：

以标准差σ_n作为阈值，将窗口内所有小于阈值的数据归0，遍历所有窗口。分别对x、y方向上的加速度数据做上述处理，即可得到两个方向上误差较小的速度数据。

在加速度数据经过滤波处理后，使用牛顿第二运动定律将每个方向的加速度数据计算为轨迹点。由于相邻的两个采样点的时间间隔足够小，两个相邻的点之间的运动可以近似为匀速直线运动，速度为两个采样点处速度的均值。分别使用两个方向上的速度数据，即可计算出各方向上每一个采样周期内的位移及其在对于时间的累加。

将通过第一模块扫描获得的加速度数据读取到后端处理程序中，经过卡尔曼滤波和硬性归零得到的加速度数据前后对比图如图5所示。可以看到经过滤波处理的曲线更加平滑，有效地缓解了加速度数据的随机误差和零值漂移问题。本发明对加速度数据通过两次滤波，可以使加速度数据更加接近于手机移动的真实状态。滤波处理完之后，将加速度数据计算为轨迹点，其效果图和预定轨迹对比图如图6所示，从轨迹计算得到的结果看来，本算法能够很好地计算出手机运动的曲线，经过分析可以知道实验误差在10％以内，满足后续成像的要求。

2.2声音数据处理

声音数据处理分为两步，STFT变换获得每一帧各频率的幅值然后通过帕塞瓦尔定理计算出每一帧的平均能量，声音数据处理流程图如图7所示。

通过对声音信号进行频谱分析可以知道，每一帧的声音能量中包含了大量的频率分量。所以第一步本发明通过STFT短时傅里叶变换将每一帧声音数据中的各频率分量的幅值提取出来。然后据根帕斯瓦尔定理，序列在时域的能量与其在变换域的能量，即各次谐波的功率之和相等。对于复指数形式的傅里叶级数，由于复指数函数的功率即为其系数的模的平方，可直接将傅里叶系数进行平方求和运算得到其能量值。因此，每一帧声音信号的短时平均能量E_i可通过所有频率分量的幅值平方求和获得，公式如下所示:

2.3成像

成像模块的处理过程分为两步，轨迹点和声音能量匹配以及双线性插值。

轨迹点和声音能量匹配的目的是将轨迹点和声音能量可以相对应，使得声音能量数据可以反应出该轨迹点处反射波的能量大小即物体的形状信息。因为声音能量的数据量比轨迹点的数据量多，所以通过轨迹点的数量来选取滑动窗口的大小，并且将每个窗口内的声音数据求和，用meshgird函数和griddata函数，两个函数的执行流程图如图8所示。将声音能量的数据赋值到轨迹点上匹配完毕后，对此时的轨迹进行双线性插值，将轨迹补全为一张平面图，并且通过热力图的方式来反应该平面上各部分声音能量的大小。

该模块的伪码如下，将加速度数据处理得到的轨迹点数据和声音数据处理得到的声音能量数据，经过成像模块处理。

算法1:成像(伪代码部分)

输入:轨迹点,声音能量

过程:

1：n＝声音能量总数/轨迹点的数量

2:for i in range(0,声音能量总数)

3:声音能量数据暂存+＝声音能量[i]

4:if(i％n＝＝0):

5:匹配声音能量.append(声音能量数据暂存)

6:声音能量数据暂存＝0

7:n1＝匹配声音能量长度

8:for i in range(0,nl):

9:匹配声音能量[i]＝(1-min(匹配声音能量)/(max(匹配声音能量)-min(匹配声音能量))

10:xt＝np.arrange(轨迹点x坐标最小值轨迹点x坐标最大值,步长)#生成一个x方向序列用于生成作图网格面

11:yt＝np.arange(轨迹点y坐标最小值,轨迹点y坐标最大值,步长)#生成一个y方向序列用于生成作图网格面

12:xt,yt＝np.meshgrid(xt,y)#生成网格面

13:zi＝griddata(轨迹点坐标,匹配声音能量数据,method＝‘双线性插值’)#将声音能量数据插入网格面

14:plt.imshow(zi,,插值方式＝‘双线性插值’,作图方式＝‘彩虹热力图’)

通过实际测试，本发明可以仅通过调用手机自身的麦克风、加速度计和扬声器获得扫描物体的大致轮廓。因为对硬件要求比较低只需要智能手机配备加速度计、麦克风和扬声器即可使用本发明，所以对于声波成像技术在普通民众中的推广和普及有很大的帮助。

本发明还可以在加速度数据处理模块加入姿态融合算法提升一定的精度，也可以换用相关元件精度更高的测试设备。

综上，本发明创新性地仅借助手机自带的传感器，作为发射、接收和处理的设备，达到简单地用声波成像物体大致形状的目的，而不需要外接设备。不仅减小了体积，而且成本比较低，有利于声波成像技术在民用领域的推广和普及。

Claims

1.一种基于手机自带传感器的物体成像方法，其特征在于该方法具体是：

调用手机的扬声器发射设定频段的声波，移动手机扫描待测物体；同时调用加速度计和麦克风采集加速度数据和反射波数据；

将加速度数据通过二进制流实时上传，反射波数据在扫描结束后打包成文件再上传；

接收到处理数据的指令后，从指定位置读取加速度数据；将加速度数据通过硬性归零算法和卡尔曼滤波算法修正由于手机传感器的电气特性或者使用者原因产生的漂移误差，随机误差和累计误差；通过牛顿第二运动定律将加速度数据转化为轨迹点；

将反射波数据转化为声音能量，对声音能量做STFT变换，提取每一帧反射波数据所包含的各频率分量的幅值，通过帕塞瓦尔的定理计算每一帧的平均能量；

将声音能量数据插入到生成的轨迹点中，通过双线性插值将轨迹补全为一个平面，通过热力图来表示不同点的声音能量大小，以此获得了一张被扫描物体的声学图像。

2.根据权利要求1所述的一种基于手机自带传感器的物体成像方法，其特征在于：调用手机扬声器、加速度计和麦克风的过程采用界面化设计。

3.根据权利要求1所述的一种基于手机自带传感器的物体成像方法，其特征在于：所述的漂移误差包括零值漂移和惯性波动。

4.根据权利要求1所述的一种基于手机自带传感器的物体成像方法，其特征在于：硬性归零算法具体是：

利用加速度数据计算出每一采样时刻的速度，加速度数据有x、y两个方向的分量，针对每一个方向上的数据分别进行处理，这里以x方向为例：

V_t＝V_t-1+a_tT

其中，V_t、V_t-1分别为x方向上t时刻与t-1时刻的速度值，a_t为t时刻x方向的加速度，T为采样周期；以20个采样点为一个窗口，计算每个窗口中速度的标准差；以标准差作为阈值，将窗口内所有小于阈值的数据归0，遍历所有窗口，分别对x、y方向上的加速度数据做上述处理，即可得到两个方向上误差较小的速度数据。