CN109658523A - 利用ar增强现实应用实现车辆各功能使用说明的方法 - Google Patents

Abstract

本发明公开了一种利用AR增强现实应用实现车辆各功能使用说明的方法，利用增强虚拟现实技术，通过计算机系统对获取的图像/声音数据信息进行处理，并将生成的虚拟物体、场景或系统提示信息叠加到真实场景中，其实现的过程包括：首先，根据扫描图像进行目标识别，实现对用户手机扫描的物品做出响应；然后，将扫描识别后的目标物品与存储的物品信息比较，得出扫描结果；最后，用户通过终端APP把扫描结果作为请求发送给计算机系统处理器，处理器对相应的请求进行处理，并把对应的物品功能作为响应发送给APP显示在用户手机上，增强用户对现实世界的感知，实现车辆各功能的使用说明，方便、简单、直观、生动，且经济环保。

Description

利用AR增强现实应用实现车辆各功能使用说明的方法

技术领域

本发明涉及一种增强现实（AR）应用技术，借助于计算机图形技术和可视化技术使乘客在乘车过程中了解所乘车辆各功能的使用说明。

背景技术

为响应国家环保、节能、绿色出行的号召，并在现有的共享领域增强广大消费者的节能意识，同时为了降低家庭汽车保有成本，缓解交通堵塞，减少公路的磨损，减少空气污染，降低对能量的依赖性，共享汽车应运而生。

共享汽车将移动互联网与新能源汽车分时租赁深度结合，打造短途分时租赁汽车，利用手机等终端实现一键用车，随取随还，随租随走，为用户提供更便捷、更经济的出行服务。

现有的共享汽车APP只能帮助消费者完成个人认证，定位找附近网点的车。对于汽车的各种标识，功能并不熟悉，使用起来会有一定的困难和阻碍。鉴于此，对于初次接触共享电动汽车的消费者，简单、方便、快捷、易懂的使用说明书显得尤为重要。

增强现实（AR）是在虚拟现实（VR）的基础上发展起来的新技术，也称为混合现实，通过计算机系统提供的信息增加用户对现实世界感知，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实世界的增强。这是一种结合虚拟化技术再来观察世界的方式。是一种借助于计算机图形技术和可视化技术，通过图像识别、动作捕捉、虚拟现实等技术的综合应用，将虚拟信息精确地叠加在现实世界的“虚实”交互技术。

因此，如能将增强现实应用技术用于车辆各功能使用说明，必然能够帮助消费者快速了解所乘车辆，进而安全驾驶，文明出行。且简单易懂，更真实形象。

发明内容

本发明针对现有技术不足，提出一种利用AR增强现实应用实现车辆各功能使用说明的方法，对于初次接触共享电动汽车的消费者，利用AR增强现实应用，完成用户/乘客在乘车过程中对所乘车辆各功能的使用说明。

本发明所采用的技术方案：

一种利用AR增强现实应用实现车辆各功能使用说明的方法，利用增强虚拟现实技术，通过计算机系统对获取的图像/声音数据信息进行处理，并将生成的虚拟物体、场景或系统提示信息叠加到真实场景中，其实现的过程包括：

首先，根据扫描图像进行目标识别，实现对用户手机扫描的物品做出响应；

然后，将扫描识别后的目标物品与存储的物品信息比较，得出扫描结果；

最后，用户通过终端APP把扫描结果作为请求发送给计算机系统处理器，处理器对相应的请求进行处理，并把对应的物品功能作为响应发送给APP显示在用户手机上，增强用户对现实世界的感知，实现车辆各功能的使用说明。

所述的利用AR增强现实应用实现车辆各功能使用说明的方法，基于图像扫描识别目标，完成数字图像的识别的过程包括图像采集、图像预处理、图像分割、特征提取以及图像识别各步骤，其中，图像采集是将采集到的图像通过图像传感器将光学信号转换成模拟电流信号，通过AID转化为数字信号后用软件进行预处理；图像采集使用标识姿态估计映射三维空间位置，在三维空间中，通过标记角点的精确位置来估计摄像机与标记之间的变换，在物体与摄像机之间找到一个欧式空间的变换，该变换由旋转矩阵和平移矩阵构成[R|T]，然后使用特定算法实现欧氏转换[R|T]。

所述的利用AR增强现实应用实现车辆各功能使用说明的方法，图像预处理通过对图像进行平移、旋转和缩放几何规范，使得图像识别能够快速、准确；同时，采用卡尔曼滤波方式在保持图像特征的状态下进行噪声消除；采用图像分割技术，根据汽车各功能按键之间有明显的边缘，采用基于边缘分割方法将特征目标从复杂的图像中分割出来。

所述的利用AR增强现实应用实现车辆各功能使用说明的方法，基于边缘的分割依赖于由边缘检测算子找到的图像边缘，这些边缘标示出了图像在灰度、彩色、纹理方面不连续的位置，采用后续的处理将边缘合并为边缘链，达到部分或全部分割，即将局部边缘聚合到一幅图像中，使其中只出现对应于存在的物体或图像部分的边缘链：首先需要确定边缘，边缘定义为：两个具有不同灰度的均匀图像区域的边界，即边界反映局部的灰度变化；局部边缘是图像中局部灰度级以简单的方式作极快变化的小区域，这种局部变化可用一定窗口运算的边缘检测算子来检测，即通过检查每个像素点的邻域并对其灰度变化进行量化来达到边界提取的目的；使用prewitt算子进行边缘检测，对于孤立的一些点，把边缘点连接成边缘链，形成直线、曲线、各种轮廓线，直到能表示图像中物体的边界；边缘形成线特征包括二个过程：抽取可能的边缘点，将滤出的边缘连接成直线、曲线、轮廓线，或用一定的直线、曲线去拟合这些可能的边缘点。

所述的利用AR增强现实应用实现车辆各功能使用说明的方法，使用SURF描述子进行特征提取，将某一图像的多个特性组合在一起，形成一个特征向量来代表该类对象，如果只有单个数值特征，则特征向量为一个一维向量，如果是n个特性的组合，则为一个n维特征向量；将该类特征向量作为识别系统的输入，一个n维特征就是位于n维空间中的点，而识别分类的任务就是找到对这个n维空间的一种划分，所述n为自然数。

所述的利用AR增强现实应用实现车辆各功能使用说明的方法，为了提高识别率，引入人工智能进行图像识别训练，采用三维卷积神经网络，使用大量的样本训练提高识别率，通过分类器进行训练，使神经网络的识别准确率提高到合适的阈值，以使AI能够识别图像中的特定物体；从图像中随机选取一小块局域作为训练样本，从该样本中学习到一些特征，然后将这些特征作为滤波器，与原始整个图像作卷积运算，从而得到原始图像中任意位置上的不同特征的激活值；通过下图所示的卷积结构先从大的特征开始识别，逐渐识别各层次的特征匹配，最后达到正确识别目标物的目的。

所述的利用AR增强现实应用实现车辆各功能使用说明的方法，优化训练算法，加入声控检索，使用深度识别算法，建立声学模型，将采样后的声音信息提取特征点进行解码，然后使用神经网络进行识别。

本发明的有益效果：

1、本发明利用AR增强现实应用实现车辆各功能使用说明的方法，通过AR技术能够帮助消费者快速了解所乘/使用车辆的各方面功能及使用操作，增强了用户使用体验，有利于实现安全驾驶。方便、简单、直观，生动。

2、本发明利用AR增强现实应用实现车辆各功能使用说明的方法，作为AR技术实际应用的例子，证明了AR技术对真实世界的有利影响，可以促进AR技术的快速商业化应用与发展，便捷了人们的生活。经济，环保。

附图说明

图1是本发明利用AR增强现实应用实现车辆各功能使用说明的方法技术架构示意图；

图2-1、图2-2是图像采集使用标识姿态估计三维空间位置映射示意图；

图3是基于边缘分割和基于区域分割的图像分割示意图；

图4是三维卷积神经网络简化的AlexNet模型结构；

图5-1、图5-2是终端APP功能设计页面选项及终端显示页面示意图。

具体实施方式

下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。

实施例1

参见图1，本发明利用AR增强现实应用实现车辆各功能使用说明的方法，利用增强虚拟现实技术，通过计算机系统对获取的图像/声音数据信息进行处理，并将生成的虚拟物体、场景或系统提示信息叠加到真实场景中，其实现的过程包括：首先，根据扫描图像进行目标识别，实现对用户手机扫描的物品做出响应；然后，将扫描识别后的目标物品与存储的物品信息比较，得出扫描结果；最后，用户通过终端APP把扫描结果作为请求发送给计算机系统处理器，处理器对相应的请求进行处理，并把对应的物品功能作为响应（response）发送给APP显示在用户手机上，增强用户对现实世界的感知，实现车辆各功能的使用说明。

实施例2

参见图1～图5-1、图5-2，本实施例的利用AR增强现实应用实现车辆各功能使用说明的方法，具体实现过程如下：

第一阶段：基于图像识别目标

完成数字图像的识别要经过图像采集、图像预处理、图像分割、特征提取、图像识别等步骤。

1、图像采集

图像采集是将采集到的图像通过图像传感器将光学信号转换成模拟电流信号，通过AID转化为数字信号后用软件进行预处理。

图像采集使用标识姿态估计映射三维空间位置。在三维空间中，可通过标记角点的精确位置来估计摄像机与标记之间的变换。此操作称为二维到三维的姿态估计，如图2-1，图2-2所示。该估计过程会在物体与摄像机之间找到一个欧式空间的变换，该变换仅由旋转矩阵和平移矩阵构成[R|T]，然后使用特定算法实现欧氏转换[R|T]。

2、图像预处理

图像预处理需要对图像进行平移、旋转和缩放等几何规范，使得图像识别能够快速、准确。同时，图像滤波的主要目的是在保持图像特征的状态下进行噪声消除（在成像过程中由测量误差和一些不确定的随机因素形成的效应,统称为噪声），在众多的噪声消除方法中，效果最好且应用最广泛的是卡尔曼滤波方式，卡尔曼滤波（Kalman filtering）一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法，它便于计算机编程实现, 并能够对现场采集的数据进行实时的更新和处理，且能在消除噪声的同时保护图像细节。

3、图像分割

图像分割的目的是将特征目标从复杂的图像中分割出来，所以图像分割是实现机器视觉图像自动识别与分析的重要问题，其分割质量对后续图像的分析具有重要影响。

图像分割根据不同特征可分为基于边缘分割和基于区域分割，如图3所示；因为汽车各功能按键之间有明显的边缘，所以这里选择基于边缘分割方法。

基于边缘的分割依赖于由边缘检测算子找到的图像边缘，这些边缘标示出了图像在灰度、彩色、纹理等方面不连续的位置。必须采用后续的处理将边缘合并为边缘链，它与图像中的边界对应得更好。最终的目标是至少达到部分分割，即将局部边缘聚合到一幅图像中，使其中只出现对应于存在的物体或图像部分的边缘链。

首先需要确定边缘，边缘定义为：两个具有不同灰度的均匀图像区域的边界，即边界反映局部的灰度变化。局部边缘是图像中局部灰度级以简单（即单调）的方式作极快变化的小区域。这种局部变化可用一定窗口运算的边缘检测算子来检测。

边缘检测算子就是通过检查每个像素点的邻域并对其灰度变化进行量化来达到边界提取的目的的。而且大部分的检测算子还可以确定边界变化的方向。常用的边缘检测算子有一阶微分算子（如Roberts算子、Prewitt算子、Sobel算子）、二阶微分算子（如Laplacian算子）、Kirsch算子、Frei-Chen综合正交算子、Canny算子；他们的特征如下表所示：

根据我们的情况，我们使用prewitt算子进行边缘检测。使用边缘检测算子检测处理的都是孤立的一些点，必须把边缘点连接成边缘链，形成直线、曲线、各种轮廓线等，直到能表示图像中物体的边界。边缘形成线特征包括二个过程：抽取可能的边缘点；将滤出的边缘连接成直线、曲线、轮廓线，或用一定的直线、曲线去拟合它们。

4、特征提取

作为机器视觉图像目标识别的一个中间节点，特征提取对目标识别的精度和速度具有重要影响。特征没有万能和精确的定义。特征的精确定义往往由问题或者应用类型决定，这里我们认为特征就是某一类对象区别于其他类对象的相应（本质）特点或特性，或是这些特点和特性的集合。

我们提取的特征应该在同类图像之间差异较小（较小的类内距），在不同类别的图像之间差异较大（较大的类间距）的图像特征， 我们称之为最具有区分能力（mostdiscriminative）的特征。

对于图像特征提取，不同的描述子不断被提出，其中，GLOH（Gradient locationorientation histograms）和 SIFT（Scaleinvariant feature transform）描述子性能稳定，应用较为广泛；SURF（Speeded-up robust features）描述子在图像目标特征明显时能够快速识别，应用效果较好。我们要实现的功能中图像目标特征比较明显，容易区分，所以使用SURF描述子进行特征提取。

我们常常将某一图像的多个特性组合在一起，形成一个特征向量来代表该类对象，如果只有单个数值特征，则特征向量为一个一维向量，如果是n个特性的组合，则为一个n维特征向量。该类特征向量常常作为识别系统的输入。实际上，一个n维特征就是位于n维空间中的点，而识别分类的任务就是找到对这个n维空间的一种划分。

第二阶段：基于人工智能识别目标

使用图像特征匹配技术对图像有较严格的要求，图形的整体识别率有限，为了提高识别率，需要引入人工智能进行图像识别训练，使用大量的样本训练提高识别率，以使AI能够识别图像中的特定物体。

三维卷积神经网络是一种为了处理二维输入数据而特殊设计的多层人工神经网络。网络中的每层都由多个二维平面组成，而每个平面由多个独立的神经元组成。相邻两层的神经元之间互相连接。

我们从图像中随机选取一小块局域作为训练样本，从该样本中学习到一些特征，然后将这些特征作为滤波器，与原始整个图像作卷积运算，从而得到原始图像中任意位置上的不同特征的激活值。通过如图4所示的卷积结构先从大的特征开始识别，逐渐识别各层次的特征匹配，最后达到正确识别目标物的目的。

三维卷积神经网络技术需要使用大量的样本进行训练，通过分类器进行训练，使我们神经网络的识别准确率提高到合适的阈值。

第三阶段：优化训练算法，加入声控检索

声控的部分同样需要使用深度识别算法，建立声学模型，将采样后的声音信息提取特征点进行解码，然后使用神经网络进行识别。

第四阶段：APP功能设计

1. UI设计：欢迎页面有以下三个选项，如图5-1所示；首先用户点击欢迎页面的三个选项之一，出现扫描框，然后使用APP扫描，进行物品/选项识别；

2. 功能设计：扫描识别的图像经过“图像采集”采集到指定格式的图像数据，再经过“图像预处理”后消除噪声，大大减少了后面要处理的数据量，“图像分割”将图像分为几个不同的部分，将图像的像素点分为不同集合，进一步减少了图像数据量，“特征提取”提取出图像标志自己的特征向量，然后根据图像的特征向量通过“基于人工智能进行物体识别”识别出扫描物体，将结果反馈给APP，APP接收到扫描结果后，根据反馈结果，显示给用户不同的帮助文档。显示的帮助文档界面如图5-2所示。

Claims (7)

1.一种利用AR增强现实应用实现车辆各功能使用说明的方法，利用增强虚拟现实技术，通过计算机系统对获取的图像/声音数据信息进行处理，并将生成的虚拟物体、场景或系统提示信息叠加到真实场景中，其实现的过程包括：

首先，根据扫描图像进行目标识别，实现对用户手机扫描的物品做出响应；

然后，将扫描识别后的目标物品与存储的物品信息比较，得出扫描结果；

最后，用户通过终端APP把扫描结果作为请求发送给计算机系统处理器，处理器对相应的请求进行处理，并把对应的物品功能作为响应发送给APP显示在用户手机上，增强用户对现实世界的感知，实现车辆各功能的使用说明。

2.根据权利要求1所述的利用AR增强现实应用实现车辆各功能使用说明的方法，其特征在于：基于图像扫描识别目标，完成数字图像的识别的过程包括图像采集、图像预处理、图像分割、特征提取以及图像识别各步骤，其中，

图像采集是将采集到的图像通过图像传感器将光学信号转换成模拟电流信号，通过AID转化为数字信号后用软件进行预处理；

图像采集使用标识姿态估计映射三维空间位置，在三维空间中，通过标记角点的精确位置来估计摄像机与标记之间的变换，在物体与摄像机之间找到一个欧式空间的变换，该变换由旋转矩阵和平移矩阵构成[R|T]，然后使用特定算法实现欧氏转换[R|T]。

3.根据权利要求2所述的利用AR增强现实应用实现车辆各功能使用说明的方法，其特征在于：图像预处理通过对图像进行平移、旋转和缩放几何规范，使得图像识别能够快速、准确；同时，采用卡尔曼滤波方式在保持图像特征的状态下进行噪声消除；

采用图像分割技术，根据汽车各功能按键之间有明显的边缘，采用基于边缘分割方法将特征目标从复杂的图像中分割出来。

4.根据权利要求3所述的利用AR增强现实应用实现车辆各功能使用说明的方法，其特征在于：基于边缘的分割依赖于由边缘检测算子找到的图像边缘，这些边缘标示出了图像在灰度、彩色、纹理方面不连续的位置，采用后续的处理将边缘合并为边缘链，达到部分或全部分割，即将局部边缘聚合到一幅图像中，使其中只出现对应于存在的物体或图像部分的边缘链：

首先需要确定边缘，边缘定义为：两个具有不同灰度的均匀图像区域的边界，即边界反映局部的灰度变化；局部边缘是图像中局部灰度级以简单的方式作极快变化的小区域，这种局部变化可用一定窗口运算的边缘检测算子来检测，即通过检查每个像素点的邻域并对其灰度变化进行量化来达到边界提取的目的；

使用prewitt算子进行边缘检测，对于孤立的一些点，把边缘点连接成边缘链，形成直线、曲线、各种轮廓线，直到能表示图像中物体的边界；边缘形成线特征包括二个过程：抽取可能的边缘点，将滤出的边缘连接成直线、曲线、轮廓线，或用一定的直线、曲线去拟合这些可能的边缘点。

5.根据权利要求2、3或4所述的利用AR增强现实应用实现车辆各功能使用说明的方法，其特征在于：使用SURF描述子进行特征提取，将某一图像的多个特性组合在一起，形成一个特征向量来代表该类对象，如果只有单个数值特征，则特征向量为一个一维向量，如果是n个特性的组合，则为一个n维特征向量；将该类特征向量作为识别系统的输入，一个n维特征就是位于n维空间中的点，而识别分类的任务就是找到对这个n维空间的一种划分，所述n为自然数。

6.根据权利要求5所述的利用AR增强现实应用实现车辆各功能使用说明的方法，其特征在于：为了提高识别率，引入人工智能进行图像识别训练，采用三维卷积神经网络，使用大量的样本训练提高识别率，通过分类器进行训练，使神经网络的识别准确率提高到合适的阈值，以使AI能够识别图像中的特定物体；从图像中随机选取一小块局域作为训练样本，从该样本中学习到一些特征，然后将这些特征作为滤波器，与原始整个图像作卷积运算，从而得到原始图像中任意位置上的不同特征的激活值；通过下图所示的卷积结构先从大的特征开始识别，逐渐识别各层次的特征匹配，最后达到正确识别目标物的目的。

7.根据权利要求2、3、4或6所述的利用AR增强现实应用实现车辆各功能使用说明的方法，其特征在于：优化训练算法，加入声控检索，使用深度识别算法，建立声学模型，将采样后的声音信息提取特征点进行解码，然后使用神经网络进行识别。