CN105607288A - 基于声波探测辅助的智能眼镜全方位车辆零部件完整性检测方法 - Google Patents

Abstract

基于声波探测辅助的智能眼镜全方位车辆零部件完整性检测方法，属于零部件检测领域，用于解决现有技术中智能眼镜检测零部件完整性存在局限性的问题，技术要点是：在云服务器上对智能眼镜采集到的声波数据进行预处理，并采用小波变换确定异常点的空间位置以及分布情况；在云服务器上将预处理过的声波数据与数据库中标准的零部件的声波数据进行声波匹配。效果：可以辅助智能眼镜的结果，对车辆零部件进行完整的状态评估。

Description

基于声波探测辅助的智能眼镜全方位车辆零部件完整性检测方法

技术领域

本发明属于零部件检测领域，尤其涉及一种车辆零部件完整性检测方法。

背景技术

1、智能眼镜是指像智能手机一样，具有独立的操作系统，可以由用户安装软件、游戏等软件服务商提供的程序，可通过语音或动作操作完成添加日程、地图导航、与好友互动、拍照和视频、与朋友展开视频通话等功能，并可以通过移动通讯网络来实现无线网络接入的这样一类眼镜的总称。

宝马公司日前推出了一款智能眼镜产品，可以详细“指导”人们维修车辆，只要用户看着故障发动机，“智能眼镜”就能向用户显示修理发动机的步骤。

据悉，这款增强现实眼镜是宝马公司“增强现实：现实的延伸”项目的一部分，其程序中内置了宝马的所有车型，并且将不断更新数据。用户在佩戴这款眼镜时，可以看到发动机的各个区域，操作指南位于眼镜屏幕的左上角，而左下方会显示工作中需要用到的工具，每一个工具都标有号码，便于用户查找。此外，这款眼镜还配有耳机，并能读取操作信息，维修过程中，用户可以根据眼前出现的3D动画拆卸相关零部件。

宝马公司表示，“借助增强现实技术，用户可以直观地看到其正在维修的发动机的相关信息和三维动画，帮助他判断和消除故障。通过内置耳机，维修者还可以听到每一个操作步骤的语音指示。”据了解，宝马的这款智能眼镜目前仅面向该公司的维修工程师推出。

此前，增强现实公司Metaio曾为谷歌眼镜的用户带来一款功能类似的应用，其可以通过内置目镜显示操作指示，并利用电脑模型识别和覆盖3D内容。Metaio公司的技术人员称，“我们正在开发应用于其他可穿戴设备上应用软件，当你在驾驶途中，如果有一个信号灯亮了，那么你就可以在应用上基于不同信号来选择应对方案。

2、智能眼镜相比于其他的可穿戴设备，与人的视觉直接相联系，以最直接，最快速的方式作用于人的视觉感官，在视觉成像的同时提供辅助信息，宝马公司的智能眼镜针对汽车维修服务以智能眼镜为基础提供专业教程，指导新手或者培训技师。

由于智能眼镜的特点，对于视觉图像的分析已经由于模式识别的发展功能上得到了最大化的强化，对于技师的在车辆维修的同时提供全方位全视角的辅助。但是对于一些零部件深层的故障或隐患除了凭借技师的经验，单纯的依靠智能眼镜是无法检查提前发现进行排查的，

发明内容

为了解决现有技术中智能眼镜检测零部件完整性存在局限性的问题，本发明提供了一种基于声波探测辅助的智能眼镜全方位车辆零部件完整性检测方法，可以对于零部件的完整性进行全面检测。

为了实现上述目的，本发明的技术方案是：基于声波探测辅助的智能眼镜全方位车辆零部件完整性检测方法，包括：

S1.智能眼镜采集零部件的图像，通过智能眼镜所携带的无线传输模块，将图像数据传输到云服务器；

S2.智能眼镜采集零部件的声波，通过智能眼镜所携带的无线传输数模块，将声波数据传输到云服务器；

S3.在云服务器上对智能眼镜采集到的图像进行预处理；

S4.在云服务器上对智能眼镜采集到的声波数据进行预处理，并采用小波变换确定异常点的空间位置以及分布情况；

S5.预处理后的图像，由技师在智能眼镜上选定图像区域，并将该区域的图像与云服务器的数据库中的标准的零部件模型的图像进行轮廓匹配；

S6.在云服务器上将预处理过的声波数据与数据库中标准的零部件的声波数据进行声波匹配。

进一步的，所述方法还包括：

S7.云服务器对零部件进行图像和声波的综合诊断，分别提取图像上的轮廓属性、颜色属性、破损情况作为图像属性信息，提取声波的振幅、频率作为声波属性信息，所述图像属性信息和声波属相信息作为诊断模型输入参数；对零部件的目前的状态进行诊断，得到零部件为正常和异常的状态信息。

进一步的，所述诊断模型为BP神经网络模型，正常和异常状态信息是BP神经网络对各种标准零部件和故障零部件训练得到。

进一步的，所述方法还包括：

S8.对零部件的未来状态进行预测，预测模型为神经网络，神经网络模型前期进行了海量样本训练，所述样本训练包括零部件的使用寿命、可能的异常情况，经过样本训练，模型的输入为图像属性信息和声波属相信息，神经网络算法自动匹配到最相近的训练样本，得出零部件未来的预测信息。

进一步的，所述预处理包括降噪处理和奇异性检测。

进一步的，所述方法还包括：

S9.将云服务器的分析结果反映到智能眼镜上的自带屏幕上，并提供分析图像和声波的分析的过程属性数据以及分析过程，供技师选择进行相关内容查看。

进一步的，步骤S5中，智能眼镜会提示感兴趣区域供技师进行选择，或由技师指定感兴趣的区域，由智能眼镜去定位，获取感兴趣区域的信息，基于图像的匹配主要由canny算法提取边缘，对比零部件的边缘完整性即可。

有益效果：

本发明为了技师适用智能眼镜进行车辆维修的同时以声波辅助探测车辆内部，对于收到的声波进行分析，检测车辆的零部件状态，并与智能眼镜检测到的车辆零部件进行对比，辅助智能眼镜的结果，对车辆零部件进行完整的状态评估。

在智能眼镜对车辆零部件进行检测的同时对车辆零部件进行声波分析，将图像分析的结果与声音分析的结果相结合，以声波的分析结果辅助图像的分析结果，对车辆零部件当前状态进行评估，并对零部件的未来使用状态进行预测，从而在车辆零部件损坏之前进行拆卸更换，保障用户的驾驶安全系数。

常规的智能眼镜检测车辆零部件，对图像进行预处理，对于获取的图像进行分析，与正常状态的零部件进行对比，发现零件外部是否有变形；同时对零部件进行声波探测，探测其内部是否有异常，根据声波与图像的双重分析结果对车辆零部件现状进行评估，并对零部件的未来使用状况进行预测。

附图说明

图1是实施例中所述方法实现的流程图；

图2是非极大值抑制原理图。

具体实施方式

实施例1:基于声波探测辅助的智能眼镜全方位车辆零部件完整性检测方法，其特征在于，包括：

S1.智能眼镜采集零部件的图像，通过智能眼镜所携带的无线传输模块，将图像数据传输到云服务器。

S2.智能眼镜采集零部件的声波，通过智能眼镜所携带的无线传输数模块，将声波数据传输到云服务器。

S3.在云服务器上对智能眼镜采集到的图像进行预处理。所述预处理包括降噪处理和奇异性检测，包括消除噪声信息，去除奇异点，直方图均衡化，均值滤波常规的图像预处理方法可以大幅度的降低图像的噪声点的影响。

S4.在云服务器上对智能眼镜采集到的声波数据进行预处理，并采用小波变换进行处理，小波变换具有空间局部化性质，可以确定异常点的空间位置以及分布情况。

S5.预处理后的图像，由技师在智能眼镜上选定图像区域，并将该区域的图像与云服务器的数据库中的标准的零部件模型的图像进行轮廓匹配；匹配后从图像上检测匹配是否有缺失，从而确定该零部件的外部完整性。匹配是从图像的角度出发，对零部件进行sobel边缘检测，匹配是将选定的零部件图像与标准的零件轮廓(需要提前在库中建立完成零件的轮廓)进行对比，将两个边缘模型重合在同一个三维空间上显示，不同的边缘可以明显显示出来，匹配后可从图像上看出不同，技师则可以采取相应措施，sobel边缘检测由下面两个模版组成，分别对图像中的每一个点用该模版进行运算。

S6.在云服务器上将预处理过的声波数据与数据库中标准的零部件的声波数据进行声波匹配，从而从声波角度确定该零部件的内部完整性。从声波的角度出发，针对声波探测就是记录声波探测零部件返回的波形所形成的波形库，使用智能眼镜对零部件件检测的时候使用同样的声波进行探测，对返回的波形进行分析，与数据库中的波形进行对比，此对比方法将两个波的图像绘制在智能眼镜上，可明显看出两波形是否有不同，该目的是主要针对图像边缘完整，但是零件内部已经出现破损的情况进行的检测，匹配之后技师则可以进行正常的对于车辆的维护工作。

上述技术方案，使得所述方法具有如下效果：

1、本实施例首先可以完善智能眼镜的功能，增加智能眼镜的适用范围，不仅对看得见的影像进行分析，对于看不见的，零部件的内部结构也可以进行探测。

2、本实施例的分析部分都在后台云服务器上，对于智能眼镜的处理能力要求比较低。

3、本实施例对车辆零部件的检测所得到的结论不仅对目前零部件的状态进行分析，并且对于零部件的以后的工作年限或可能发生的异常进行预测，这样的检查对于用户的安全而言是更加有保障的。

作为技术方案的优选，本实施例还包括以下步骤：S7.云服务器对零部件进行图像和声波的综合诊断，分别提取图像上的轮廓属性、颜色属性、破损情况作为图像属性信息，提取声波的振幅、频率作为声波属性信息，所述图像属性信息和声波属相信息作为诊断模型输入参数；对零部件的目前的状态进行诊断，得到零部件为正常和异常的状态信息。其中，所述诊断模型优选为BP神经网络模型，正常和异常状态信息是BP神经网络对各种标准零部件和故障零部件训练得到。在云服务器上运行专家诊断决策系统，该系统使智能眼镜采集到的图像与声波数据与后台云服务器上数据库中各项标准零部件的数据进行对比，系统的原型是BP神经网络模型(算法如下)，正常和异常的界定是透过系统中的神经网络对各种各样故障零部件和正常零部件的训练结果，通过大量的测试，可以通过分类器学习到该结果，使用该结果辅助技师对零部件进行检测。

BP神经网络的主要思想是对q个输入样本：p₁,p₂…,p_q,已知与其对应的输出样本为：T₁,T₂,…T_q,学习的目的是用网络的实际输出:A₁,A₂,…,A_q与目标矢量T₁,T₂,…T_q之间的误差来修改权值使得误差实际输出与目标输出尽可能的接近，其学习阶段可以分为一下两个阶段：

一.输入已知学习的样本，通过设置的网络结果和前一次迭代的权值和阈值，从网络的第一层向后计算各神经元输出。二.对权值和阈值进行修改，从最后一层向前计算各权值和阈值对总误差的影像，据此对各权值和阈值进行修改。以上两个阶段交替反复，直到收敛。

作为技术方案的进一步优选，本方法还包括以下步骤：S8.对零部件的未来状态进行预测，预测模型为神经网络，神经网络模型前期进行了海量样本训练，所述样本训练包括零部件的使用寿命、可能的异常情况，经过样本训练，模型的输入为图像属性信息和声波属相信息，神经网络算法自动匹配到最相近的训练样本，得出零部件未来的预测信息。

作为技术方案的进一步优选，本方法还包括以下步骤：S9.将云服务器的分析结果反映到智能眼镜上的自带屏幕上，并提供分析图像和声波的分析的过程属性数据以及分析过程，供技师选择进行相关内容查看。

1.降噪处理和奇异性检测可以采用均值滤波算法：

构造如下公式的均值滤波器

$R=\frac{1}{9}\underset{k=1}{\overset{9}{\Σ}}\left(Z_i\right)$

按顺序对图像的每一个像素进行扫描并运算，这样即可去掉噪声点和奇异点。

2.小波变换

小波变换是一种信号的时间——尺度分析方法，他具有多分辨率分析的特点，而且在时频两域都具有表征信号局部特征的能力，是一种窗口大小固定不变但其形状可变，时间窗和频率窗都可变的时频局部化分析方法。即再低频部分具有较高的频率分辨率和时间分辨率，在高频部分具有较高的时间分辨率和较低的频率分辨率，很适合探测正常信号中夹带的瞬态反常现象并展示其成分，所以被誉为分析信号的显微镜。

波分析是把信号分解成低频al和高频dl两部分，在分解中，低频al中失去的信息由高频dl捕获。在下一层的分解中，又将al分解成低频a2和高频d2两部分，低频a2中失去的信息由高频d2捕获，如此类推下去，可以进行更深层次的分解。

二维小波函数是通过一维小波函数经过张量积变换得到的，二维小波函数分解是把尺度j的低频部分分解成四部分：尺度j+1的低频部分和三个方向(水平、垂直、斜线)的高频部分。

对于图像来说，如果需要进行快速或实时传输以及大量存储，就需要对图像数据进行压缩。在同样的通信容量下，如果图像数据压缩后在传输，就可以传输更多的图像信息。例如，用普通的电话线传输图像信息。图像压缩研究的就是寻找高压缩比的方法且压缩后的图像要有合适的信噪比,在压缩传输后还要恢复原信号，并且在压缩、传输、恢复的过程中，还要求图像的失真度小。这就是图像压缩的研究问题。

图像数据往往存在各种信息的冗余、如空间冗余、信息熵冗余、视觉冗余和结构冗余等等。所谓压缩就是去掉各种冗余，保留对我们有用的信息。图像压缩的过程常称为编码。相对的，图像的恢复当然就是解码了。

图像压缩的方法通常可分为有失真编码和无失真编码两大类：

无失真编码方法如改进的霍夫曼编码。

有失真编码方法的还原图像较之原始图像存在着一些误差，但视觉效果是可以接受的。常见的方法有预测编码、变换编码、量化编码、信息熵编码、分频带编码和结构编码等等。

而将小波分析引入图像压缩的范畴也是一个重要的手段，并且有着它自己的特点。它的特点在于压缩比高、压缩速度快，压缩后能保持信号与图像的特征基本不变，且在传递过程中可以抗干扰等等。

3.通过技师在智能眼镜上选定特定区域，进行匹配

智能眼镜会提示感兴趣区域供技师进行选择，或由技师指定感兴趣的区域，由智能眼镜去定位，获取感兴趣区域的信息，基于图像的匹配主要由canny算法提取边缘，对比零部件的边缘完整性即可。

Canny边缘提取算法：

1.Canny算法通常处理的图像为灰度图，因此如果摄像机获取的是彩色图像，那首先就得进行灰度化。对一幅彩色图进行灰度化，就是根据图像各个通道的采样值进行加权平均。以RGB格式的彩图为例，通常灰度化采用的方法主要有：

方法1：Gray＝(R+G+B)/3；

方法2：Gray＝0.299R+0.587G+0.114B；(这种参数考虑到了人眼的生理特点)

2.图像高斯滤波的实现可以用两个一维高斯核分别两次加权实现，也可以通过一个二维高斯核一次卷积实现。1)高斯核实现

$K=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{x^2}{2{\mathrm{\σ}}^2}}$

上式为离散化的一维高斯函数，确定参数就可以得到一维核向量。

$K=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}}$

上式为离散化的二维高斯函数，确定参数就可以得到二维核向量。

3.图像高斯滤波对图像进行高斯滤波，是根据待滤波的像素点及其邻域点的灰度值按照一定的参数规则进行加权平均。这样可以有效滤去理想图像中叠加的高频噪声。通常滤波和边缘检测是矛盾的概念，抑制了噪声会使得图像边缘模糊，这回增加边缘定位的不确定性；而如果要提高边缘检测的灵敏度，同时对噪声也提高了灵敏度。实际工程经验表明，高斯函数确定的核可以在抗噪声干扰和边缘检测精确定位之间提供较好的折衷方案。这就是所谓的高斯图像滤波，具体实现代码见下文。

4.用一阶偏导的有限差分来计算梯度的幅值和方向，关于图像灰度值得梯度可使用一阶有限差分来进行近似，这样就可以得图像在x和y方向上偏导数的两个矩阵。Canny算法中所采用的卷积算子，表达如下：

P[i，j]＝(f[i，j+1]-f[i，j]+f[1+1，j+1]-f[i+1，j])/2

Q[i，j]＝(f[i，j]-f[i+1，j]+f[1，j+1]-f[i+1，j+1])/2

$M\[i,j\]=\sqrt{P{\[i,j\]}^2+Q{\[i,j\]}^2}$

θ[i，j]＝arctan(Q[i，j]/P[i，j])

其x向、y向的一阶偏导数矩阵，梯度幅值以及梯度方向的数学表达式为：

$S_x=\left[\begin{array}{cc}-1& 1\\ -1& 1\end{array}\right],S_y=\left[\begin{array}{cc}1& 1\\ -1& -1\end{array}\right]$

求出这几个矩阵后，就可以进行下一步的检测过程。

5.对梯度幅值进行非极大值抑制，图像梯度幅值矩阵中的元素值越大，说明图像中该点的梯度值越大，但这不不能说明该点就是边缘(这仅仅是属于图像增强的过程)。在Canny算法中，非极大值抑制是进行边缘检测的重要步骤，通俗意义上是指寻找像素点局部最大值，将非极大值点所对应的灰度值置为0，这样可以剔除掉一大部分非边缘的点。

根据图2可知，要进行非极大值抑制，就首先要确定像素点C的灰度值在其8值邻域内是否为最大。图1中线条A方向为C点的梯度方向，这样就可以确定其局部的最大值肯定分布在这条线上，也即出了C点外，梯度方向的交点dTmp1和dTmp2这两个点的值也可能会是局部最大值。因此，判断C点灰度与这两个点灰度大小即可判断C点是否为其邻域内的局部最大灰度点。如果经过判断，C点灰度值小于这两个点中的任一个，那就说明C点不是局部极大值，那么则可以排除C点为边缘。这就是非极大值抑制的工作原理。

实施例2:一种基于声波探测辅助的智能眼镜全方位车辆零部件完整性检测方法，包括如下步骤：

1.智能眼镜采集图像，通过智能眼镜所携带的无线传输数据计数比如Wifi将数据图像传输到后台云服务器。

2.对零部件的声波采集，通过智能眼镜所携带的无线传输数据计数比如Wifi将声波数据传输到后台云服务器。

3.在后台云服务器上对智能眼镜采集到的图像进行图像处理相关的预处理，包括消除噪声信息，去除奇异点，直方图均衡化，均值滤波常规的图像预处理方法可以大幅度的降低图像的噪声点的影响。

4.在后台云服务器上对采集到的声波信号进行降噪处理，奇异性检测，采用小波变换进行处理，小波变换具有空间局部化性质，可以确定异常点的空间位置以及分布情况。

5.在后台云服务器上通过智能眼镜采集到的图像，通过技师在智能眼镜上选定特定区域，通过匹配数据库(数据可中需要准备零件的模型)中的标准的零件模型进行轮廓匹配，匹配之后从图像上检测匹配是否有缺失，从而确定该零部件的外部完整性。

6.在后台云服务器上对预处理过的声波进行与数据库(需要提前建立大量的正常以及异常的训练样本)中进行匹配，从而从声波角度确定硬件的目前状态。

7.通过云服务器上的专家诊断决策系统对零部件进行图像和声波的综合诊断，分别提取图像上的轮廓属性，颜色属性，破损情况作为属性信息，提取声波的振幅以及频率作为属性信息，这些属性作为诊断系统的模型输入参数。

8.对零部件的目前的状态进行诊断，正常和异常，并对零部件的未来状态进行预测，预测模型为神经网络，神经网络模型需要提前进行大量样本的训练，训练的好处在于提高预测的准确性。包括零部件的使用寿命，可能的异常情况等，经过多样本的训练，模型的输入为声波和图像的特征信息，神经网络算法会自动的匹配到最相近的训练样本，最终得出当前零部件的状态和未来的预测信息。

9.将后台云服务器的分析结果反映到智能眼镜上的自带屏幕上，并提供分析图像和声波的分析的过程属性数据，以及分析过程，供技师选择进行相关具体内容的查看，以方便技师进行具体的情况深入原理进行分析。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.基于声波探测辅助的智能眼镜全方位车辆零部件完整性检测方法，其特征在于，包括：

S1.智能眼镜采集零部件的图像，通过智能眼镜所携带的无线传输模块，将图像数据传输到云服务器；

S2.智能眼镜采集零部件的声波，通过智能眼镜所携带的无线传输数模块，将声波数据传输到云服务器；

S3.在云服务器上对智能眼镜采集到的图像进行预处理；

S4.在云服务器上对智能眼镜采集到的声波数据进行预处理，并采用小波变换确定异常点的空间位置以及分布情况；

S5.预处理后的图像，由技师在智能眼镜上选定图像区域，并将该区域的图像与云服务器的数据库中的标准的零部件模型的图像进行轮廓匹配；

S6.在云服务器上将预处理过的声波数据与数据库中标准的零部件的声波数据进行声波匹配。

2.如权利要求1所述的基于声波探测辅助的智能眼镜全方位车辆零部件完整性检测方法，其特征在于，还包括：

S7.云服务器对零部件进行图像和声波的综合诊断，分别提取图像上的轮廓属性、颜色属性、破损情况作为图像属性信息，提取声波的振幅、频率作为声波属性信息，所述图像属性信息和声波属相信息作为诊断模型输入参数；对零部件的目前的状态进行诊断，得到零部件为正常和异常的状态信息。

3.如权利要求1所述的基于声波探测辅助的智能眼镜全方位车辆零部件完整性检测方法，其特征在于，所述诊断模型为BP神经网络模型，正常和异常状态信息是BP神经网络对各种标准零部件和故障零部件训练得到。

4.如权利要求1所述的基于声波探测辅助的智能眼镜全方位车辆零部件完整性检测方法，其特征在于，还包括：

S8.对零部件的未来状态进行预测，预测模型为神经网络，神经网络模型前期进行了海量样本训练，所述样本训练包括零部件的使用寿命、可能的异常情况，经过样本训练，模型的输入为图像属性信息和声波属相信息，神经网络算法自动匹配到最相近的训练样本，得出零部件未来的预测信息。

5.如权利要求1所述的基于声波探测辅助的智能眼镜全方位车辆零部件完整性检测方法，其特征在于，所述预处理包括降噪处理和奇异性检测。

6.如权利要求1所述的基于声波探测辅助的智能眼镜全方位车辆零部件完整性检测方法，其特征在于，还包括：

S9.将云服务器的分析结果反映到智能眼镜上的自带屏幕上，并提供分析图像和声波的分析的过程属性数据以及分析过程，供技师选择进行相关内容查看。

7.如权利要求1所述的基于声波探测辅助的智能眼镜全方位车辆零部件完整性检测方法，其特征在于，步骤S5中，智能眼镜会提示感兴趣区域供技师进行选择，或由技师指定感兴趣的区域，由智能眼镜去定位，获取感兴趣区域的信息，基于图像的匹配主要由canny算法提取边缘，对比零部件的边缘完整性即可。