CN114661026A - 基于增强现实的交互式车辆远程诊断方法、系统及其存储介质 - Google Patents

Abstract

本发明公开了一种基于增强现实的交互式车辆远程诊断方法、系统及其存储介质，该方法包括：采集并存储车机系统上报的车辆诊断数据为第一数据流，同时采集车辆以及操作现场场景的音频、视频以及图像为第二数据流；增强现实应用平台生成第一诊断增强现实应用、第二诊断增强现实应用并上报云端服务器；根据第一诊断增强现实应用判断车辆故障类型并根据车辆故障类型匹配故障解决方案，下发故障解决方案以及对应的解决方案增强显示应用；和/或根据故障解决方案以及第二诊断增强现实应用生成并下发从引导诊断方案增强现实应用；引导对车辆进行进一步检测、诊断以及维修。本申请实现车辆远程交互式诊断，提升现场人员的车辆故障检测、诊断、维修能力。

Description

基于增强现实的交互式车辆远程诊断方法、系统及其存储 介质

技术领域

本申请涉及汽车维护与检测技术领域，特别是一种基于增强现实 的交互式车辆远程诊断方法、系统及其存储介质。

背景技术

随着汽车电子技术不断地发展，当前生成的汽车均集成了车载诊 断系统(OBD),OBD系统实时监测发动机、催化转化器、颗粒捕集器、 氧传感器、排放控制系统、燃油系统、EGR等系统和部件,然后通过 不同与排放有关的部件信息，联接到ECU电控单元，它能检测、分析 与排放相关故障的功能，当出现排放故障时，ECU记录故障信息和相 关代码，并通过故障灯发出警告，告知驾驶员,ECU通过标准数据接 口，保证对故障信息的访问和处理。汽车故障诊断仪是用于配合OBD 系统使用的车辆故障自检终端、汽车故障诊断仪(又称汽车解码器) 是用于检测汽车故障的便携式智能汽车故障自检仪，用户可以利用它 迅速地读取汽车电控系统中的故障，并通过液晶显示屏显示故障信 息，迅速查明发生故障的部位及原因。

AR技术正逐步向工业制造领域渗透和应用，为工业领域的研发、 生成、管理、服务、销售和售后市场等各环节带来了深刻变革，将对 智能制造产生不可估量的影响。AR在工业有很多落地的应用场景， 包括AR远程协助、AR工业维修、AR制造装配、AR智能巡检、AR实 操培训等等。基于AR技术和VR技术发展，人们开发了用于辅助汽车 远程诊断的系统，如北美宝马公司宣布推出的用于宝马中心、4S店 和车间等场景的全套AR解决方案，包括技术信息系统TIS 2.0、技 术支持与科研辅助线上平台TSARA以及TSARAVision智能眼镜(硬件采用RealWear HMT-1，并搭载Ubimax Frontline增强现实软件)。 用于帮助技术人员快速获得信息和实时的远程支持，远程专家以AR 形式将技术指示和示意图投射在现场技术人员的显示屏中，也可以通 过智能眼镜看到现场情况，并截屏和放大查看以做出判断。同时现场 人员可通过语音控制调阅文档，不需要双手点击操作，从而节省时间， 提高工作效率，这种信息交流方式比发送电子表格和照片或通过电话 解释复杂的技术问题更高效。

现有的用于车辆故障检测、诊断、维修的各种汽车诊断设备及软 件系统，这些设备和系统能够帮助用户有效地对车辆进行故障检测、 排除、维修。用户可以通过使用便携式或移动电子设备(如智能手机 或平板电脑)的前置相机和显示元件，以增强或补充在显示器上渲染 (描绘)的图像或视频内容。由AR应用平台提供的补充信息可以是 与零件、部件或涉及车辆的诊断程序有关的文本数据、图像数据、视 频数据、图形指示符和/或音频信息。然而，现有基于AR/VR的汽车 远程诊断系统往往是将现场车辆诊断数据和现场音频/视频数据上 传到服务器端，在服务器端通过AR/VR技术呈现车辆检测情况，以便 于后端技术人员能够远程地进行车辆检测、诊断以及维修，然后通过 音频、视频等方式实时指导现场人员对车辆进行故障检测、诊断以及 维修。由于数据偏差等多种因素，还是会造成一定的误差，使得远程 辅助失败，因此，需要对现有的基于AR/VR的汽车远程诊断系统进一 步优化。

发明内容

本发明的主要目的在于提出一种基于增强现实的交互式车辆远 程诊断方法、系统及其存储介质，旨在解决现有的基于AR的汽车远 程诊断系统运行存在较大偏差的技术问题。

为了解决上述技术问题，本发明提供了一种基于增强现实的交互 式车辆远程诊断方法，所述方法包括：

采集并存储车机系统上报的车辆诊断数据为第一数据流，同时采 集车辆以及操作现场场景的音频、视频以及图像为第二数据流；

将所述第一数据流和所述第二数据流加载到增强现实应用平台， 基于所述第一数据流生成第一诊断增强现实应用，基于所述第二数据 流生成第二诊断增强现实应用，并将所述第一诊断增强现实应用、第 二诊断增强现实应用上报云端服务器；

在所述云端服务器根据所述第一诊断增强现实应用判断车辆故 障类型并根据所述车辆故障类型匹配故障解决方案，下发所述故障解 决方案以及对应的解决方案增强显示应用；和/或根据所述故障解决 方案以及所述第二诊断增强现实应用生成并下发从引导诊断方案增 强现实应用；

接收到所述故障解决方案、解决方案增强显示应用和引导诊断方 案增强现实应用，根据所述故障解决方案提供的信息和所述解决方案 增强显示应用、引导诊断方案增强现实应用的引导对车辆进行进一步 检测、诊断以及维修。

进一步的，所述将所述第一数据流和所述第二数据流加载到增强 现实应用平台，基于所述第一数据流生成第一诊断增强现实应用，基 于所述第二数据流生成第二诊断增强现实应用，并将所述第一诊断增 强现实应用、第二诊断增强现实应用上报云端服务器的步骤之前，所 述方法还包括：

在现场使用的终端设备和所述云端服务器上安装所述增强现实 应用平台。

进一步的，将所述第一诊断增强现实应用、第二诊断增强现实应 用上报云端服务器后，所述方法还包括：

判断所述第一诊断增强现实应用、第二诊断增强现实应用中的车 辆信息是否匹配，若是不匹配，下发重新采集所述第一数据流和所述 第二数据流的提示。

进一步的，在所述云端服务器根据所述第一诊断增强现实应用判 断车辆故障类型并根据所述车辆故障类型匹配故障解决方案包括：

判断所述第一诊断增强现实应用、第二诊断增强现实应用中的车 辆信息是否匹配，若匹配，根据所述第一诊断增强现实应用确定所述 车辆故障类型，并根据所述车辆故障类型在故障解决方案数据库中匹 配对应的故障解决方案。

进一步的，在所述云端服务器根据所述第一诊断增强现实应用判 断车辆故障类型并根据所述车辆故障类型匹配故障解决方案，下发所 述故障解决方案以及对应的解决方案增强显示应用包括：

所述故障解决方案至少包括用于消除车辆故障的数据、算法、操 作信息，所述解决方案增强显示应用包括根据所述故障解决方案生成 的多个操作指令，检测到当前操作指令被执行后提示进行下一个操作 指令直到故障解决。

可选的，若是当前操作指令没有完成，重复提醒用户执行当前操 作指令。

检测当前操作指令是否完成则是通过检测当前操作指令中指示 的某组件完成了当前操作指令；检测过程依然是通过OBD采集车辆 ECU的信息完成，OBD采集车辆ECU的信息传输给增强现实应用平台 同时传输给终端设备。

进一步的，根据所述故障解决方案以及所述第二诊断增强现实应 用生成并下发从引导诊断方案增强现实应用包括：

根据所述故障解决方案生成的车辆诊断方案，所述引导诊断方案 增强现实应用包括执行所述车辆诊断方案的多个操作指令，检测到当 前操作指令被执行后提示进行下一个操作指令直到完成车辆诊断工 作。

进一步的，在所述云端服务器根据所述第一诊断增强现实应用判 断车辆故障类型并根据所述车辆故障类型匹配故障解决方案，下发所 述故障解决方案以及对应的解决方案增强显示应用还包括：

判断所述第一诊断增强现实应用、第二诊断增强现实应用中的车 辆信息是否匹配，若匹配，在所述云端服务器和所述终端设备同时记 录对应的车辆信息，当终端设备所采集的所述第一数据流与所述车辆 信息匹配时，所述云端服务器和所述终端设备调取对应的记录信息。 云端服务器、终端设备对车辆信息进行标记，在下次车辆诊断时，对 当前诊断的车辆信息进行比对，比对成功后，从服务器提取解决方案， 节约诊断时间。

进一步的，根据所述故障解决方案提供的信息和所述解决方案增 强显示应用、引导诊断方案增强现实应用的引导对车辆进行进一步检 测、诊断以及维修的步骤具体包括：

接收到所述故障解决方案提供的信息和所述解决方案增强显示 应用、引导诊断方案增强现实应用，通过语音、视频或图像识别方式 提供所述故障解决方案提供的信息，通过生物特征识别方式控制所述 解决方案增强显示应用、所述引导诊断方案增强现实应用，引导对车 辆进行进一步检测、诊断以及维修。具体的，生物特征识别方式可以 是语音控制、手势控制、表情控制、眼睛控制等等。

进一步的，根据所述故障解决方案提供的信息和所述解决方案增 强显示应用、引导诊断方案增强现实应用的引导对车辆进行进一步检 测、诊断以及维修的步骤之后，所述方法还包括：

接收到所述故障解决方案提供的信息和所述解决方案增强显示 应用、引导诊断方案增强现实应用，与所述云端服务器实时通信，引 导用户根据所述故障解决方案提供的信息和所述解决方案增强显示 应用、引导诊断方案增强现实应用对车辆进行进一步检测、诊断以及 维修，并监控操作错误情况。

基于同一发明构思，本发明的另一方面，提供了一种基于增强现 实的交互式车辆远程诊断系统，所述系统至少包括终端设备、云端服 务器；

所述终端设备，用于与车机系统进行交互，采集并存储车机系统 上报的车辆诊断数据为第一数据流，同时采集车辆以及操作现场场景 的音频、视频以及图像为第二数据流；将所述第一数据流和所述第二 数据流加载到增强现实应用平台，基于所述第一数据流生成第一诊断 增强现实应用，基于所述第二数据流生成第二诊断增强现实应用，并 将所述第一诊断增强现实应用、第二诊断增强现实应用上报云端服务 器；接收到所述故障解决方案、解决方案增强显示应用和引导诊断方 案增强现实应用，根据所述故障解决方案提供的信息和所述解决方案 增强显示应用、引导诊断方案增强现实应用的引导对车辆进行进一步 检测、诊断以及维修。

所述云端服务器，用于与所述终端设备进行交互，在所述云端服 务器根据所述第一诊断增强现实应用判断车辆故障类型并根据所述 车辆故障类型匹配故障解决方案，下发所述故障解决方案以及对应的 解决方案增强显示应用；和/或根据所述故障解决方案以及所述第二 诊断增强现实应用生成并下发从引导诊断方案增强现实应用。

基于同一发明构思，本发明的另一方面，提供了一种计算机可读 存储介质，所述计算机可读存储介质上存储有基于增强现实的交互式 车辆远程诊断程序，所述基于增强现实的交互式车辆远程诊断程序被 处理器执行时实现上述的基于增强现实的交互式车辆远程诊断方法 的步骤。

本发明技术方案的有益效果：

本申请的基于增强现实的交互式车辆远程诊断方法、系统及其存 储介质，通过在云端服务器、现场终端设备(如故障诊断设备、智能 手机、VR眼镜等)同时安装增强现实应用平台，从而远程技术人员 可以通过云端服务器获取车辆以及操作现场场景数据信息，从而通过 VR设备进行直观地呈现，为现场人员快速地提供故障解决方案或者 对应的车辆诊断方案，该故障解决方案、车辆诊断方案同样可以通过 终端设备的增强现实应用平台进行直观地呈现，从而便捷地实现车辆 远程交互式故障排除、车辆诊断，提升现场人员的车辆故障检测、诊 断、维修能力。

附图说明

图1是实现本发明各个实施例的一种终端设备的硬件结构示意 图；

图2是本发明实施例提供的一种通信网络系统架构图；

图3是本发明实施例提供的一种基于增强现实的交互式车辆远程 诊断方法流程图；

图4是本发明实施例提供的一种基于增强现实的交互式车辆远程 诊断系统硬件结构框图；

图5是本发明实施例提供的基于增强现实的交互式车辆远程诊断 系统运行状态流程图；

图6是本发明实施例提供的终端设备中AR部件硬件结构框图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做 进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不 用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件” 或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意 义。因此，“模块”、“部件”或“单元”可以混合地使用。

终端设备可以以各种形式来实施，只要能够满足车辆维修保养功 能应用软件以及虚拟现实仿真平台软件的基本运行环境要求即可。例 如，本发明中描述的终端可以包括诸如汽车故障诊断仪、VR眼镜、手 机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等终端设 备，以及诸如数字TV、台式计算机等固定终端。

后续描述中将以终端设备为例进行说明，本领域技术人员将理解 的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的 构造也能够应用于固定类型的终端。

请参阅图1，其为实现本发明各个实施例的一种终端设备的硬件 结构示意图，该终端设备100可以包括：RF(Radio Frequency，射 频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频) 输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人 员可以理解，图1中示出的终端设备结构并不构成对终端设备的限定， 终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或 者不同的部件布置。

下面结合图1对终端设备的各个部件进行具体的介绍：

射频单元101可用于收发信息或通话过程中，信号的接收和发送， 具体的，将基站的下行信息接收后，给处理器110处理；另外，将上 行的数据发送给基站。通常，射频单元101包括但不限于天线、至少 一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外， 射频单元101还可以通过公共交通费用快捷支付与网络和其他设备通 信。上述公共交通费用快捷支付可以使用任一通信标准或协议，包括 但不限于GSM(Global System ofMobile communication，全球移 动通讯系统)、GPRS(General Packet Radio Service，通用分组无 线服务)、CDMA2000(Code Division Multiple Access 2000，码分 多址2000)、WCDMA(Wideband Code Division Multiple Access,宽 带码分多址)、TD-SCDMA(TimeDivision-Synchronous Code Division Multiple Access，时分同步码分多址)、FDD-LTE(Frequency Division Duplexing-Long Term Evolution，频分双工长期演进)和TDD-LTE(Time Division Duplexing-Long Term Evolution，分时双工长期 演进)等。

WiFi属于短距离无线传输技术，终端设备通过WiFi模块102可以 帮助用户收发电子邮件、浏览页面和访问流式媒体等，它为用户提供 了无线的宽带互联网访问。虽然图1示出了WiFi模块102，但是可以理 解的是，其并不属于终端设备的必须构成，完全可以根据需要在不改 变发明的本质的范围内而省略。

音频输出单元103可以在终端设备100处于呼叫信号接收模式、通 话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将 射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数 据转换成音频信号并且输出为声音。而且，音频输出单元103还可以 提供与终端设备100执行的特定功能相关的音频输出(例如，呼叫信号 接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、 蜂鸣器等等。

A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以 包括图形处理器(Graphics Processing Unit，GPU)1041和麦克风 1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕 获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处 理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后 的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频 单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、 记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音 (音频数据)，并且能够将这样的声音处理为音频数据。处理后的音 频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元 101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型 的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的 过程中产生的噪声或者干扰。

终端设备100还包括至少一种传感器105，比如光传感器、运动传 感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传 感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板 1061的亮度，接近传感器可在终端设备100移动到耳边时，关闭显示 面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测 各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大 小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、 磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至 于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感 器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器， 在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。 显示单元106可包括显示面板1061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生 与终端设备的用户设置以及功能控制有关的键信号输入。具体地，用 户输入单元107可包括触控面板1071以及其他输入设备1072。触控面 板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如 用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在 触控面板1071附近的操作)，并根据预先设定的程式驱动相应的连接 装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其 中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号， 将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信 息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110 发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以 及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户 输入单元107还可以包括其他输入设备1072。具体地，其他输入设备 1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关 按键等)、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做 限定。

进一步的，触控面板1071可覆盖显示面板1061，当触控面板1071 检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事 件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提 供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是 作为两个独立的部件来实现终端设备的输入和输出功能，但是在某些 实施例中，可以将触控面板1071与显示面板1061集成而实现终端设备 的输入和输出功能，具体此处不做限定。

接口单元108用作至少一个外部装置与终端设备100连接可以通 过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外 部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用 于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频 I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的 输入(例如，数据信息、电力等等)并且将接收到的输入传输到终端设 备100内的一个或多个元件或者可以用于在终端设备100和外部装置 之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要 包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、 至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等) 等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、 电话本等)等。此外，存储器109可以包括高速随机存取存储器，还 可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、 或其他易失性固态存储器件。

处理器110是终端设备的控制中心，利用各种接口和线路连接整 个终端设备的各个部分，通过运行或执行存储在存储器109内的软件 程序和/或模块，以及调用存储在存储器109内的数据，执行终端设备 的各种功能和处理数据，从而对终端设备进行整体监控。处理器110 可包括一个或多个处理单元；优选的，处理器110可集成应用处理器 和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面 和应用程序等，调制解调处理器主要处理公共交通费用快捷支付。可 以理解的是，上述调制解调处理器也可以不集成到处理器110中。

终端设备100还可以包括给各个部件供电的电源111(比如电池)， 优选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而 通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管图1未示出，终端设备100还可以包括蓝牙模块等，在此不再 赘述。

为了便于理解本发明实施例，下面对本发明的终端设备所基于的 通信网络系统进行描述。

请参阅图2，图2为本发明实施例提供的一种通信网络系统架构 图，该通信网络系统为通用移动通信技术的LTE系统，该LTE系统包括 依次通讯连接的UE(User Equipment，用户设备)201，E-UTRAN (Evolved UMTS Terrestrial Radio Access Network，演进式UMTS 陆地无线接入网)202，EPC(Evolved Packet Core，演进式分组核 心网)203和运营商的IP业务204。

具体地，UE201可以是上述终端100，此处不再赘述。

E-UTRAN202包括eNodeB2021和其它eNodeB2022等。其中， eNodeB2021可以通过回程(backhaul)(例如X2接口)与其它 eNodeB2022连接，eNodeB2021连接到EPC203，eNodeB2021可以提供 UE201到EPC203的接入。

EPC203可以包括MME(Mobility Management Entity，移动性管 理实体)2031，HSS(Home Subscriber Server，归属用户服务器) 2032，其它MME2033，SGW(Serving GateWay，服务网关)2034， PGW(PDN Gate Way，分组数据网络网关)2035和PCRF(Policy andCharging Rules Function，政策和资费功能实体)2036等。其中， MME2031是处理UE201和EPC203之间信令的控制节点，提供承载和连接 管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器(图 中未示)之类的功能，并且保存有一些有关服务特征、数据速率等用 户专用的信息。所有用户数据都可以通过SGW2034进行发送，PGW2035 可以提供UE 201的IP地址分配以及其它功能，PCRF2036是业务数据流 和IP承载资源的策略与计费控制策略决策点，它为策略与计费执行功 能单元(图中未示)选择及提供可用的策略和计费控制决策。

IP业务204可以包括因特网、内联网、IMS(IP Multimedia Subsystem，IP多媒体子系统)或其它IP业务等。

虽然上述以LTE系统为例进行了介绍，但本领域技术人员应当知 晓，本发明不仅仅适用于LTE系统，也可以适用于其他公共交通费用 快捷支付系统，例如GSM、CDMA2000、WCDMA、TD-SCDMA以及未来新的 网络系统等，此处不做限定。

基于上述终端设备100硬件结构、通信网络系统提出本发明方法 各个实施例。

实施例1

如图3、5所示，本发明实施例提供了一种基于增强现实的交互 式车辆远程诊断方法，所述方法包括：

S101、采集并存储车机系统上报的车辆诊断数据为第一数据流， 同时采集车辆以及操作现场场景的音频、视频以及图像为第二数据 流；

S102、将所述第一数据流和所述第二数据流加载到增强现实应用 平台，基于所述第一数据流生成第一诊断增强现实应用，基于所述第 二数据流生成第二诊断增强现实应用，并将所述第一诊断增强现实应 用、第二诊断增强现实应用上报云端服务器；

具体的，在现场使用的终端设备和所述云端服务器上安装所述增 强现实应用平台。虚拟现实技术作为仿真技术的一个重要方向，是仿 真技术与计算机图形学、人机接口技术、多媒体技术、传感技术、网 络技术等多种技术的集合，可以包括以下功能：产品功能三维模型本 地导入接口、数字样机评审、交互式虚拟装配、三维模型在线导入、 多通道立体显示、通过VR外设接口、刚体物理仿真、动画编辑器、 约束管理器、场景管理器、材质管理器、柔体物理仿真、可视化编辑、 照片级实时渲染、VR协同编辑、人机工程仿真。如MakeReal3D“工 业产品全生命周期虚拟现实仿真平台”，集成了虚拟现实仿真技术在 产品设计、制造、营销、使用、维护等生命周期各环节的应用与开发， 从而帮助工业客户提高工作效率及产品体验。

S103、在所述云端服务器根据所述第一诊断增强现实应用判断车 辆故障类型并根据所述车辆故障类型匹配故障解决方案，下发所述故 障解决方案以及对应的解决方案增强显示应用；和/或根据所述故障 解决方案以及所述第二诊断增强现实应用生成并下发从引导诊断方 案增强现实应用；

判断所述第一诊断增强现实应用、第二诊断增强现实应用中的车 辆信息是否匹配，若是不匹配，下发重新采集所述第一数据流和所述 第二数据流的提示。若匹配，根据所述第一诊断增强现实应用确定所 述车辆故障类型，并根据所述车辆故障类型在故障解决方案数据库中 匹配对应的故障解决方案。

可选的，当无法确定车辆故障类型时，后台技术人员在云端服务 器结合所述第一数据流和所述第二数据流进行人工操作判断，且当故 障解决方案数据库中无法对该车辆故障类型提供匹配的故障解决方 案时，后台技术人员可以自定义该车辆故障类型并保存，同时将对应 的故障解决方案增加到故障解决方案数据库中。

具体的，所述故障解决方案至少包括用于消除车辆故障的数据、 算法、操作信息，所述解决方案增强显示应用包括根据所述故障解决 方案生成的多个操作指令，检测到当前操作指令被执行后提示进行下 一个操作指令直到故障解决。

可选的，若是当前操作指令没有完成，重复提醒用户执行当前操 作指令。

检测当前操作指令是否完成则是通过检测当前操作指令中指示 的某组件完成了当前操作指令；检测过程依然是通过OBD采集车辆 ECU的信息完成，OBD采集车辆ECU的信息传输给增强现实应用平台 同时传输给终端设备。

可选的，根据所述故障解决方案以及所述第二诊断增强现实应用 生成并下发从引导诊断方案增强现实应用包括：根据所述故障解决方 案生成的车辆诊断方案，所述引导诊断方案增强现实应用包括执行所 述车辆诊断方案的多个操作指令，检测到当前操作指令被执行后提示 进行下一个操作指令直到完成车辆诊断工作。

具体的，基于增强现实应用平台获取第一诊断增强现实应用，解 析第一数据流匹配对应车辆信息后，调取增强现实应用平台内集成的 车辆虚拟现实模型，在车辆虚拟现实模型界面通过标记、提示说明等 多种方式将、第二诊断增强现实应用中的音频、视频、图像、现场人 员的判断说明等信息进行记录并生成对应的故障情况说明程序。

同理，基于同一增强现实应用平台获取解决方案增强显示应用、 引导诊断方案增强现实应用。解决方案增强显示应用包含基于故障解 决方案，为了排除车辆故障状态，基于该车辆的虚拟现实模型，用户 应执行的每一步骤，同时展示在同一个场景中；并按照组件不同，各 步骤显示在对应的组件处，以直接指导用户操作。引导诊断方案增强 现实应用：包括显示待诊断的错误信息、标记问题错误点、标记即将 进行的故障清除码等。

解决方案增强显示应用，一个记载了解决车辆故障问题的所有操 作步骤，让用户完成解决方案的所有动作指令，从而排除车辆故障状 态，用户可选择解决方案增强显示应用，结合实际场景手动操作诊断 仪完成车辆诊断工作；这种方式可被广泛应用于DIY用户和初次使用 诊断仪的用户。

引导诊断方案增强现实应用，采用引导用户自己诊断车辆故障问 题的成型，实质上是一个引导诊断程序，引导用户进行故障排查、故 障检测等操作，用户可选择引导诊断方案增强现实应用，通过语音/ 手势控制增强现实诊断设备进行车辆智能诊断工作，这种方式因为 “智能、错失率极低、可解放双手”等优势可被广泛应用于任何需要 进行车辆诊断工作的场景。

可选的，在所述云端服务器根据所述第一诊断增强现实应用判断 车辆故障类型并根据所述车辆故障类型匹配故障解决方案，下发所述 故障解决方案以及对应的解决方案增强显示应用还包括：

判断所述第一诊断增强现实应用、第二诊断增强现实应用中的车 辆信息是否匹配，若匹配，在所述云端服务器和所述终端设备同时记 录对应的车辆信息，当终端设备所采集的所述第一数据流与所述车辆 信息匹配时，所述云端服务器和所述终端设备调取对应的记录信息。 云端服务器、终端设备对车辆信息进行标记，在下次车辆诊断时，对 当前诊断的车辆信息进行比对，比对成功后，从服务器提取解决方案， 节约诊断时间。

S104、接收到所述故障解决方案、解决方案增强显示应用和引导 诊断方案增强现实应用，根据所述故障解决方案提供的信息和所述解 决方案增强显示应用、引导诊断方案增强现实应用的引导对车辆进行 进一步检测、诊断以及维修。

具体的，接收到所述故障解决方案提供的信息和所述解决方案增 强显示应用、引导诊断方案增强现实应用，通过语音、视频或图像识 别方式提供所述故障解决方案提供的信息，通过生物特征识别方式控 制所述解决方案增强显示应用、所述引导诊断方案增强现实应用，引 导对车辆进行进一步检测、诊断以及维修。具体的，生物特征识别方 式可以是语音控制、手势控制、表情控制、眼睛控制等等。现场人员 (用户)通过使用AR，摆脱手持设备的限制,专心于维修过程；现场人 员(用户)可通过声音或手势，操控诊断设备。

可选的，根据所述故障解决方案提供的信息和所述解决方案增强 显示应用、引导诊断方案增强现实应用的引导对车辆进行进一步检 测、诊断以及维修的步骤之后，所述方法还包括：

接收到所述故障解决方案提供的信息和所述解决方案增强显示 应用、引导诊断方案增强现实应用，与所述云端服务器实时通信，引 导用户根据所述故障解决方案提供的信息和所述解决方案增强显示 应用、引导诊断方案增强现实应用对车辆进行进一步检测、诊断以及 维修，并监控操作错误情况。当现场人员无法根据故障解决方案进行 操作时，后台技术人员可利用网络等,通过AR获取维修现场的实时画 面，指导现场人员进行维修；引导按照步骤完成诊断，并实时监控错 误问题等，进一步的，远程端可以实时看到用户操作的步骤。在授权 后，后台技术人员可远程操控现场终端设备。

可选的，在所述云端服务器根据所述第一诊断增强现实应用判断 车辆故障类型并根据所述车辆故障类型匹配故障解决方案，下发所述 故障解决方案以及对应的解决方案增强显示应用；和/或根据所述故 障解决方案以及所述第二诊断增强现实应用生成并下发从引导诊断 方案增强现实应用的步骤之前，所述方法还包括：

当第二数据流中包括利用全景摄像头采集的车辆以及操作现场 场景图像数据时，利用AR设备呈现车辆以及操作现场场景的立体情 景。

具体的，当通过VR设备呈现的虚拟现实图像难以判断车辆以及 操作现场场景图像时，若是现场人员具有全景摄像头，全景摄像头可 以采用Insta360或Gopro全景摄像头，通过连接到type-C接口或 Mini-usb或苹果lightning接口接到终端设备上；可以通过全景摄 像头采集的车辆以及操作现场场景图像数据时，采用实时或者后台技 术人员选择方式，采用VR眼镜等呈现车辆以及操作现场场景的立体 情景，在VR眼镜中进行全景播放，后台技术人员带上VR眼镜后，仿 佛置身于汽车维修现场，通过观察汽车实时数据，结合现场画面，便 可对汽车状况进行准确分析。

实施例2

如图4所示，本发明实施例还提供了一种基于增强现实的交互式 车辆远程诊断系统，所述系统至少包括终端设备100、云端服务器200；终端设备100与云端服务器200通过网络连接，可以是3G、4G、 5G、WIFI等等。

所述终端设备100，用于与车机系统300进行交互，采集并存储 车机系统300上报的车辆诊断数据为第一数据流，同时采集车辆以及 操作现场场景的音频、视频以及图像为第二数据流；将所述第一数据 流和所述第二数据流加载到增强现实应用平台，基于所述第一数据流 生成第一诊断增强现实应用，基于所述第二数据流生成第二诊断增强 现实应用，并将所述第一诊断增强现实应用、第二诊断增强现实应用 上报云端服务器；接收到所述故障解决方案、解决方案增强显示应用 和引导诊断方案增强现实应用，根据所述故障解决方案提供的信息和 所述解决方案增强显示应用、引导诊断方案增强现实应用的引导对车 辆进行进一步检测、诊断以及维修。具体的，车辆诊断数据包括算法 ID、算法运行参数与车辆品牌信息、车型信息、VIN、ECU零件号、 ECU固件/软件版本的其中一种或者多种。

所述云端服务器200，用于与所述终端设备100进行交互，在所 述云端服务器200根据所述第一诊断增强现实应用判断车辆故障类 型并根据所述车辆故障类型匹配故障解决方案，下发所述故障解决方 案以及对应的解决方案增强显示应用；和/或根据所述故障解决方案 以及所述第二诊断增强现实应用生成并下发从引导诊断方案增强现 实应用。

基于同一发明构思，本发明的另一方面，提供了一种基于增强现 实的交互式车辆远程诊断系统，所述系统至少包括终端设备、云端服 务器；

具体的，终端设备100可以多种形态，如VR眼镜、汽车故障诊 断仪与OBD连接器结合等，操作时，现场人员(用户)可通过AR设备， 对拍摄到的物件进行识别，与汽车维修资料进行结合，标出名称、电 路走向、拆解等增强现实诊断画面中的操作步骤流程等。AR与终端设备的记忆模块可以记录配对信息，首次配对后，可默认自动连接。 例如，基于AR智能眼镜，现场人员解放了双手的同时以第一视角与 后台技术人员实时沟通；基于富媒体技术(文字、图片、文档、白板 等功能)实现远程指导和交互，保证后天技术人员指导的可视化和准 确性；实时AR辅助指导，后台技术人员通过AR实时标记、圈点、手 绘等AR工具，将指导信息叠加于前端所见内容之上，现场操作人员 可实时查看AR叠加内容，并实时追踪；基于云端服务器的管理平台， 管理人员不但可以查看历史数据，结合大数据平台分析处理实现态势 感知，以及促进维修工作流程的优化改进，实现智能化管理。

终端设备100可以包括汽车故障诊断仪、OBD连接器、AR部件/VR 部件等所有硬件功能模块以及软件功能模块，也可以是汽车故障诊断 仪、OBD连接器、AR部件/VR部件融合为一体机，终端设备100与车 机系统300可以通过OBD接头建立连接，也可以采用VCI设备，VCI 设备集成有蓝牙通讯模组，可以实现终端设备100与车机系统300的 无线通讯功能。

如图6所示，终端设备100的AR部件10包括以下组成单元：

电源单元11：实现对其他单元的电源提供，满足各部件正常运 作。电源供电方式包含：直流供电部分(供电电压转换组件等)，电 池供电部分(电池组件、充电组件、电池包含组件、供电电压转换组 件)中的一种或多种组合。

摄像单元12：主要由镜头、感光组件等组成，实现可见光和非 可见光的感光并形成图像的过程，可根据需要搭配一个或多个镜头， 满足可见光、或非可见光或可见光和非可见光两者的成像处理。

AR处理单元13：可运行操作系统及应用软件，对应的软件可存 储于“存储单元”。“电源单元”提供AR部件运行所需电源，启动应 用软件，可通过“通讯模块”与“VCI/Other”等连接，实现不同的 功能，在“显示单元”中予以展示，用户根据展示内容，可通过“按 键及控制单元”或“音频单元”进行对应的应用操作(如：选择，翻 页，确认，返回，数值输入等等)，同时“AR处理单元”对“摄像单 元”和“音频单元”获取的视频、音频数据进行加工处理，如：合成、 存储、标定(手势识别)等。

通讯单元14：由有线模块(如：USB、网线等)或无线模块(如： WiFi、4G/5G等无线网络、蓝牙等组成)，可实现与“VCI/Other”部 件、网络等的通讯功能。

显示单元15：主要由显示面板、投影等组成，满足AR处理单元 的展示内容呈现。

音频单元16：由音频接收(如:MIC等)和音频输出(如：Speaker 等)组成，满足AR处理单元的音频输入和输出。

按键及控制单元17：由按键、触摸板等组成，实现对AR部件 的物理操作控制，如：开机、内容选择等等。

存储单元18：满足AR部件运行时，数据存储和交换等需求。

实施例3

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存 储介质上存储有基于增强现实的交互式车辆远程诊断程序，所述基于 增强现实的交互式车辆远程诊断程序被处理器执行时实现实施例1 的基于增强现实的交互式车辆远程诊断方法的步骤。

本申请的基于增强现实的交互式车辆远程诊断方法、系统及其存 储介质，通过在云端服务器、现场终端设备(如故障诊断设备、智能 手机、VR眼镜等)同时安装增强现实应用平台，从而远程技术人员 可以通过云端服务器获取车辆以及操作现场场景数据信息，从而通过 VR设备进行直观地呈现，为现场人员快速地提供故障解决方案或者 对应的车辆诊断方案，该故障解决方案、车辆诊断方案同样可以通过 终端设备的增强现实应用平台进行直观地呈现，从而便捷地实现车辆 远程交互式故障排除、车辆诊断，提升现场人员的车辆故障检测、诊 断、维修能力。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其 他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、 方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的 其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的 要素。在没有更多限制的情况下，由语句“包括一个……”限定的要 素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另 外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解 到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现， 当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这 样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部 分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存 储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台 终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等) 执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范 围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变 换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明 的专利保护范围内。

Claims (11)

1.一种基于增强现实的交互式车辆远程诊断方法，其特征在于，所述方法包括：

采集并存储车机系统上报的车辆诊断数据为第一数据流，同时采集车辆以及操作现场场景的音频、视频以及图像为第二数据流；

将所述第一数据流和所述第二数据流加载到增强现实应用平台，基于所述第一数据流生成第一诊断增强现实应用，基于所述第二数据流生成第二诊断增强现实应用，并将所述第一诊断增强现实应用、第二诊断增强现实应用上报云端服务器；

在所述云端服务器根据所述第一诊断增强现实应用判断车辆故障类型并根据所述车辆故障类型匹配故障解决方案，下发所述故障解决方案以及对应的解决方案增强显示应用；和/或根据所述故障解决方案以及所述第二诊断增强现实应用生成并下发从引导诊断方案增强现实应用；

接收到所述故障解决方案、解决方案增强显示应用和引导诊断方案增强现实应用，根据所述故障解决方案提供的信息和所述解决方案增强显示应用、引导诊断方案增强现实应用的引导对车辆进行进一步检测、诊断以及维修。

2.根据权利要求1所述的基于增强现实的交互式车辆远程诊断方法，其特征在于，将所述第一数据流和所述第二数据流加载到增强现实应用平台，基于所述第一数据流生成第一诊断增强现实应用，基于所述第二数据流生成第二诊断增强现实应用，并将所述第一诊断增强现实应用、第二诊断增强现实应用上报云端服务器的步骤之前，所述方法还包括：

在现场使用的终端设备和所述云端服务器上安装所述增强现实应用平台。

3.根据权利要求1所述的基于增强现实的交互式车辆远程诊断方法，其特征在于，将所述第一诊断增强现实应用、第二诊断增强现实应用上报云端服务器后，所述方法还包括：

判断所述第一诊断增强现实应用、第二诊断增强现实应用中的车辆信息是否匹配，若是不匹配，下发重新采集所述第一数据流和所述第二数据流的提示。

4.根据权利要求1所述的基于增强现实的交互式车辆远程诊断方法，其特征在于，在所述云端服务器根据所述第一诊断增强现实应用判断车辆故障类型并根据所述车辆故障类型匹配故障解决方案包括：

判断所述第一诊断增强现实应用、第二诊断增强现实应用中的车辆信息是否匹配，若匹配，根据所述第一诊断增强现实应用确定所述车辆故障类型，并根据所述车辆故障类型在故障解决方案数据库中匹配对应的故障解决方案。

5.根据权利要求1所述的基于增强现实的交互式车辆远程诊断方法，其特征在于，在所述云端服务器根据所述第一诊断增强现实应用判断车辆故障类型并根据所述车辆故障类型匹配故障解决方案，下发所述故障解决方案以及对应的解决方案增强显示应用包括：

所述故障解决方案至少包括用于消除车辆故障的数据、算法、操作信息，所述解决方案增强显示应用包括根据所述故障解决方案生成的多个操作指令，检测到当前操作指令被执行后提示进行下一个操作指令直到故障解决。

6.根据权利要求1所述的基于增强现实的交互式车辆远程诊断方法，其特征在于，根据所述故障解决方案以及所述第二诊断增强现实应用生成并下发从引导诊断方案增强现实应用包括：

根据所述故障解决方案生成的车辆诊断方案，所述引导诊断方案增强现实应用包括执行所述车辆诊断方案的多个操作指令，检测到当前操作指令被执行后提示进行下一个操作指令直到完成车辆诊断工作。

7.根据权利要求1所述的基于增强现实的交互式车辆远程诊断方法，其特征在于，在所述云端服务器根据所述第一诊断增强现实应用判断车辆故障类型并根据所述车辆故障类型匹配故障解决方案，下发所述故障解决方案以及对应的解决方案增强显示应用还包括：

判断所述第一诊断增强现实应用、第二诊断增强现实应用中的车辆信息是否匹配，若匹配，在所述云端服务器和所述终端设备同时记录对应的车辆信息，当终端设备所采集的所述第一数据流与所述车辆信息匹配时，所述云端服务器和所述终端设备调取对应的记录信息。

8.根据权利要求1所述的基于增强现实的交互式车辆远程诊断方法，其特征在于，根据所述故障解决方案提供的信息和所述解决方案增强显示应用、引导诊断方案增强现实应用的引导对车辆进行进一步检测、诊断以及维修的步骤具体包括：

接收到所述故障解决方案提供的信息和所述解决方案增强显示应用、引导诊断方案增强现实应用，通过语音、视频或图像识别方式提供所述故障解决方案提供的信息，通过生物特征识别方式控制所述解决方案增强显示应用、所述引导诊断方案增强现实应用，引导对车辆进行进一步检测、诊断以及维修。

9.根据权利要求1所述的基于增强现实的交互式车辆远程诊断方法，其特征在于，根据所述故障解决方案提供的信息和所述解决方案增强显示应用、引导诊断方案增强现实应用的引导对车辆进行进一步检测、诊断以及维修的步骤之后，所述方法还包括：

接收到所述故障解决方案提供的信息和所述解决方案增强显示应用、引导诊断方案增强现实应用，与所述云端服务器实时通信，引导用户根据所述故障解决方案提供的信息和所述解决方案增强显示应用、引导诊断方案增强现实应用对车辆进行进一步检测、诊断以及维修，并监控操作错误情况。

10.一种基于增强现实的交互式车辆远程诊断系统，其特征在于，所述系统至少包括终端设备、云端服务器；

所述终端设备，用于与车机系统进行交互，采集并存储车机系统上报的车辆诊断数据为第一数据流，同时采集车辆以及操作现场场景的音频、视频以及图像为第二数据流；将所述第一数据流和所述第二数据流加载到增强现实应用平台，基于所述第一数据流生成第一诊断增强现实应用，基于所述第二数据流生成第二诊断增强现实应用，并将所述第一诊断增强现实应用、第二诊断增强现实应用上报云端服务器；接收到所述故障解决方案、解决方案增强显示应用和引导诊断方案增强现实应用，根据所述故障解决方案提供的信息和所述解决方案增强显示应用、引导诊断方案增强现实应用的引导对车辆进行进一步检测、诊断以及维修。

所述云端服务器，用于与所述终端设备进行交互，在所述云端服务器根据所述第一诊断增强现实应用判断车辆故障类型并根据所述车辆故障类型匹配故障解决方案，下发所述故障解决方案以及对应的解决方案增强显示应用；和/或根据所述故障解决方案以及所述第二诊断增强现实应用生成并下发从引导诊断方案增强现实应用。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于增强现实的交互式车辆远程诊断程序，所述基于增强现实的交互式车辆远程诊断程序被处理器执行时实现如权利要求1-9任意一项所述的基于增强现实的交互式车辆远程诊断方法的步骤。

Images