CN110673726B - Ar远程专家协助方法及系统 - Google Patents

Abstract

本发明公开AR远程专家协助方法包括：生成专家数据关联集合、获取当前的现场对象识别数据，获取专家呼叫信息，操作端根据专家呼叫信息向专家端发送呼叫请求，在呼叫请求中包括现场对象识别数据、专家端返回维修信息。操作端接收到专家协助数据及维修标记信息。操作端通过AR眼镜播放专家协助数据及维修标记信息，使维修标记信息叠加于当前视野画面上。通过AR设备接收操作者(维修者)现场的维修图像，通过远程呼叫专家，不限于本地资源，从专家端获取与现场维修设备匹配的维修信息，操作者(维修者)所佩戴的AR设备可对上述维修信息及内容播放，从而便于操作者(维修者)的维修操作，维修效率高，且成本低。

Description

AR远程专家协助方法及系统

技术领域

本发明属于AR技术及相关应用的技术领域，尤其涉及AR远程专家协助方法及系统。

背景技术

现有的设备维修及维护时，多依赖于维修者的经验对设备或机器维修，其维修的效率多取决于熟练程度。在需要对新设备或陌生设备维修时，只能通过维修手册对维修操作给予指导。但现场的设备情况通常较为复杂，很难通过查阅维修手册解决。针对上述问题，现有技术通过电话求助的方式对现场的维修操作给予协助，但该方式，由于其现场维修者很难对设备情况描述清楚，同时对较为复杂的设备的维修需要较长的维修过程，从而无法通过远程同步视频的方式给予有效解决，维修成本高，维修效率低。

发明内容

本发明实施方式提供AR远程专家协助方法及系统，用于至少解决上述技术问题之一。

第一方面，本发明提供了AR远程专家协助方法，该方法实施于包括操作端和专家端的系统中，该方法包括：

步骤S101，建立现场对象识别数据与专家信息的关联，该关联生成专家数据关联集合。

步骤S102，操作端根据操作端所设置的AR眼镜端扫描当前视野且获取当前视野图像，AR眼镜端识别当前视野图像获取当前的现场对象识别数据。

步骤S103，操作端根据当前的现场对象识别数据检索专家数据关联集合，获取与现场对象识别数据对应的专家信息，专家信息中包括专家呼叫信息。

步骤S104，操作端根据专家呼叫信息向专家端发送呼叫请求，在呼叫请求中包括现场对象识别数据。

步骤S105，专家端应答操作端的呼叫请求且与操作端建立通信。专家端获取操作端的当前视野图像，根据当前视野图像获取视野区域标识点坐标信息。专家端根据现场对象识别数据生成专家协助数据。专家端根据视野区域标识点坐标信息获取维修标记信息。专家端将专家协助数据及维修标记信息推动至操作端。

步骤S106，操作端接收到专家协助数据及维修标记信息。操作端通过AR眼镜播放专家协助数据及维修标记信息，使维修标记信息叠加于当前视野画面上。

在本发明另一种AR远程专家协助方法的实施方式中，步骤S103中包括，专家端为多个，专家信息为多个专家信息，每个专家信息中对应一个专家呼叫信息。

步骤S104中包括，操作端根据多个专家呼叫信息向多个专家端发送呼叫请求。

在本发明另一种AR远程专家协助方法的实施方式中，步骤S105中还包括，

步骤S105中还包括，专家端为多个，各专家端将本地的维修标记信息及视野区域标识点坐标信息推送至操作端，各专家端的本地的维修标记信息或视野区域标识点坐标信息中包括各专家端的标识信息。

步骤S106中还包括，操作端将从多个专家端接收的各专家视野区域标识点坐标信息通过均值化获取均值后的标准坐标信息。根据标准坐标信息及各专家视野区域标识点坐标信息获取各坐标点偏差值，根据各坐标点偏差值校正各专家端本地的维修标记信息。操作端根据专家端的标识信息及各专家端本地的维修标记信息生成各专家端的标识符。

操作端通过AR眼镜播放多个专家端的协助数据、校正后的各专家端本地的维修标记信息及各专家端的标识符，使多个专家端的协助数据、校正后的各专家端本地的维修标记信息及各专家端的标识符叠加于当前视野画面上。

在本发明另一种AR远程专家协助方法的实施方式中，

步骤S105中还包括，专家端为多个，多个专家端将本地所采集的实时音频文件传递至操作端。

步骤S106中还包括，操作端将从多个专家端所采集的本地音频文件分别缓存至多声道存储器中。将缓存于多声道存储器中的多个本地音频文件按时间帧合成为本地合成音频。操作端通过AR眼镜播放本地合成音频。

在本发明另一种AR远程专家协助方法的实施方式中，步骤S105中还包括，若当前网速小于设定网速，专家端按设定采集时间间隔采集并将本地所采集的实时音频文件传递至操作端。

步骤106中还包括，操作端从多个专家端接收多个时间间隔所采集的多时间段实时音频文件，操作端从已接收的设定个数的多时间段实时音频文件中获取其占用存储空间最大的时间段音频文件作为标准实时音频文件。

操作端判断当前接收的当前时间段音频文件的占用存储空间是否小于标准实时音频文件的占用存储空间，若否，则将当前时间段音频文件根据采集时间顺序排列到播放队列中。

若是，则接收下一时间段的音频文件，将下一时间段的音频文件合并当前时间段音频文件获取合并时间段音频文件。若合并时间段音频文件小于标准实时音频文件的占用存储空间则返回本步骤，直至合并时间段音频文件大于或等于标准实时音频文件的占用存储空间。

若播放队列文件中的时间段音频文件数量等于设定数量，则根据播放队列文件生成本地音频文件。

在本发明另一种AR远程专家协助方法的实施方式中，步骤S103中根据当前的现场对象识别数据检索专家数据关联集合的步骤包括，

根据当前的现场对象识别数据检索本地维修数据库，若本地维修数据库中不存在与之对应的维修数据，则根据当前的现场对象识别数据检索专家数据关联集合。

在本发明另一种AR远程专家协助方法的实施方式中，步骤S105后中还包括，

步骤S1051，专家端根据操作端发送的现场对象识别数据在本地获取与之对应的AR模型图像文件。建立根据AR模型图像文件与专家协助数据的第一关联文件，或建立根据AR模型图像文件与维修标记信息的第二关联文件，且将AR模型图像文件及第一关联文件或第二关联文件推送到操作端。

步骤S106中还包括，操作端接收AR模型图像文件以及第一关联文件或第二关联文件。根据AR模型图像文件、第一关联文件及专家协助数据生成第一维修画面，根据AR模型图像文件、第二关联文件及维修标记信息生成第二维修画面。在操作端的AR眼镜端显示第一维修画面及第二维修画面，以使第一维修画面及第二维修画面叠加于当前视野画面上。

在本发明另一种AR远程专家协助方法的实施方式中，步骤S102中包括，

步骤S1021，根据操作端的AR眼镜端扫描当前视野且获取第一预扫描当前视野图像。

步骤S1022，获取第一预扫描当前视野图像的识别率，若识别率低于设定值，则生成重新识别信息且发送至操作端的AR眼镜端，根据第一预扫描当前视野图像检索识别关联，从多个识别对象数据中获取对应的一个或多个当前备选识别对象数据。且将一个或多个当前备选识别对象数据发送到操作端的AR眼镜端。

若识别率高于设定值，则识别AR眼镜端以设定扫描精度，重新扫描当前视野图像获取所对应的当前识别对象数据。

操作端的AR眼镜端接收到的重新识别信息后，在本地播放一个或多个当前备选识别对象数据，AR眼镜端接收操作端对一个或多个当前备选识别对象数据的备选选择信息。根据备选选择信息获取当前备选识别对象数据，提取当前备选识别对象数据中的识别对象区域信息。AR眼镜端根据识别对象区域信息重新扫描当前视野，且再次获取当前视野图像。

同时，本发明还提供了一种AR远程专家协助系统，包括：关联建立单元、操作端及专家端。其中，

关联建立单元，配置为建立现场对象识别数据与专家信息的关联，该关联生成专家数据关联集合。

操作端，配置为根据操作端所设置的AR眼镜端扫描当前视野且获取当前视野图像，AR眼镜端识别当前视野图像获取当前的现场对象识别数据。

操作端根据当前的现场对象识别数据检索专家数据关联集合，获取与现场对象识别数据对应的专家信息。

专家信息中包括专家呼叫信息，专家端为多个，专家信息为多个专家信息，每个专家信息中对应一个专家呼叫信息；

操作端根据专家呼叫信息向专家端发送呼叫请求，在呼叫请求中包括现场对象识别数据。

专家端应答操作端的呼叫请求且与操作端建立通信。专家端获取操作端的当前视野图像，根据当前视野图像获取视野区域标识点坐标信息。专家端根据现场对象识别数据生成专家协助数据。专家端根据视野区域标识点坐标信息获取维修标记信息。专家端将专家协助数据及维修标记信息推动至操作端。

操作端接收到专家协助数据及维修标记信息。操作端通过AR眼镜播放专家协助数据及维修标记信息，使维修标记信息叠加于当前视野画面上。

在本发明另一种AR远程专家协助系统的实施方式中，专家端为多个。

操作端将从多个专家端接收的各专家视野区域标识点坐标信息通过均值化获取均值后的标准坐标信息；根据标准坐标信息及各专家视野区域标识点坐标信息获取各坐标点偏差值，根据各坐标点偏差值校正各专家端本地的维修标记信息；操作端根据专家端的标识信息及各专家端本地的维修标记信息生成各专家端的标识符；

操作端通过AR眼镜播放多个专家端的协助数据、校正后的各专家端本地的维修标记信息及各专家端的标识符，使多个专家端的协助数据、校正后的各专家端本地的维修标记信息及各专家端的标识符叠加于当前视野画面上。

由此可知，本发明中的AR远程专家协助方法及系统，通过AR设备接收操作者(维修者)现场的维修图像，通过远程呼叫专家，不限于本地资源，从专家端获取与现场维修设备匹配的维修信息，该维修信息中包括标识信息及维修的文字内容及AR模型图像，操作者(维修者)所佩戴的AR设备可对上述维修信息及内容播放，从而便于操作者(维修者)的维修操作，维修效率高，维护成本低。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施方式提供的AR远程专家协助方法的流程图。

图2为本发明另一种实施方式提供的AR远程专家协助方法的流程图。

图3为本发明再一种实施方式提供的AR远程专家协助方法的流程图。

图4为本发明一实施方式提供的AR远程协助系统的组合示意图。

图5为本发明一实施方式提供的AR远程专家协助方法的信息流图。

图6为本发明一实施方式提供的当前视野图像的呈像示意图。

图7为本发明一实施方式提供在维修标记信息中的标识点呈像示意图。

图8为本发明另一实施方式提供的AR远程协助系统的组合示意图。

实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

为了解决现有方法的缺陷，第一方面，本发明提供了AR远程专家协助方法，该方法实施于包括操作端和专家端的系统中，如图1、4所示，该方法包括：

第一方面，本发明提供了AR远程专家协助方法，该方法实施于包括操作端和专家端的系统中，如图1、4所示，该方法包括：

步骤S101，生成专家数据关联集合。

在本步骤中，建立现场对象识别数据与专家信息的关联，该关联生成专家数据关联集合。

例如，可在操作端设置的服务器上建立上述关联，例如，表1所示，现场对象识别数据可以为现场所识别的对象名称，如：发动机，电源模块或驱动部件等名称，上述专家信息包括，专家名称、专家电话号码或专家的微信号码或QQ号码。

现场对象识别数据专家名称专家电话号码微信号码或QQ号码

发动机长春公司 177……7501 Z1/62…33

电源模块 杭州公司 189……3415 Z2/17…06

驱动部件 宁波公司 136……1764 Z3/81…10

表1

步骤S102，获取当前的现场对象识别数据。

在本步骤中，操作端201根据操作端所设置的AR眼镜端扫描当前视野且获取当前视野图像，AR眼镜端识别当前视野图像获取当前的现场对象识别数据。

操作端201为操作者佩戴AR眼镜端，其能够扫描当前维修部件的一端。操作者头部佩戴AR眼镜(即AR眼镜端)，朝向待维修的机械部件或电器部件，例如面相汽车发动机部件。启动AR眼镜扫描当前视野中的汽车发动机部件，AR眼镜端获取到当前视野中的汽车发动机部件图像后，根据该图像检索本地预存的多部件图像与现场对象识别数据的对照关系(如表2所示)，调取与当前图像对应的现场对象识别数据。

采集图像 识别结果

当前图像1 发动机

当前图像2 电源模块

当前图像3 驱动部件

表2

AR识别的识别结果和识别过程都有PTC Vuforia SDK来操作并实现(即根据该图像检索本地预存的多部件图像与现场对象识别数据的对照关系)，程序内只对接相应API即可导出其识别结果。

如AR眼镜端获取的采集图像为“当前图像1”的画面或图像时时，对应表2，输出其识别结果是“发动机”。

步骤S103，获取专家呼叫信息。

优选地，在本步骤中，操作端201根据当前的现场对象识别数据检索专家数据关联集合，获取与现场对象识别数据对应的专家信息，专家信息中包括专家呼叫信息。

操作端201根据步骤S102中获取的现场对象识别数据，比对步骤S101中的专家数据关联集合获取专家呼叫信息。既通过对象名称，发动机，驱动部件检索表1，如，“现场对象识别数据”是“发动机”，所对应的专家名称为“长春公司，专家电话号码为177……7501”。

在本步骤中另一种优选地实施方式中，操作端201还可以根据步骤S102中获取的现场对象识别数据，比对步骤S101中的专家数据关联集合获取专家的微信号码或QQ号码，如“现场对象识别数据”是“发动机”，所对应的专家名称为“长春公司，专家微信号码或QQ号码为Z1/62…33。从而便于通过无线网络建立语音或视频通话。

步骤S104，操作端发出呼叫请求。

在本步骤中，操作端201根据步骤S103中所获取的专家呼叫信息向专家端301发送呼叫请求，在呼叫请求中包括现场对象识别数据。

操作端201向专家端301发送呼叫请求，在该呼叫请求中包括“现场对象识别数据”，如“发动机”的字符信息。

优选地，当“专家端”为产品厂家，而“操作端”为产品的客户时，在该“呼叫请求”中还可以包括操作端201采集“现场对象识别数据”的采集时间、所采集操作者佩戴AR眼镜端的AR眼镜标识信息，即可以在专家端301接收到上述采集时间或AR眼镜标识信息后，判断上述信息是否为“现场对象识别数据”是否为产品厂家在出厂登记的相关记录。上述相关记录中包括，AR眼镜标识、产品的出厂时间(对照当前采集时间即可了解，现有产品的使用时间)、产品的部件图等信息。因此，提高了专家端在接收到操作端请求后，对操作端情况的快速了解，以便于给出适合的解决方案。

步骤S105，专家端返回维修信息。

在本步骤中，专家端301应答操作端201的呼叫请求且与操作端201建立通信。上述建立通信，可以是通过专家电话建立视频通话联系，若当前无线信号的强度大于设定的通信强度的要求，则可以通过应用平台，利用“微信号码或QQ号码”建立的视频通信联系。

在建立上述通信连接后，专家端301获取操作端201的当前视野图像。专家端301可通过操作端201的AR眼镜对当前视野图像给予采集。如图6所示，专家端301根据当前视野图像40获取视野区域标识点41、42、43、44坐标信息，该坐标信息根据当前视野图像40的边界50标出，该坐标的圆点为51。

专家端301根据现场对象识别数据生成专家协助数据。专家端301根据当前视野图像生成维修标记信息，根据维修标记信息及视野区域标识点坐标信息获取维修标记信息。如上述维修标记信息中包括标记图形，则在维修标记点信息中，包括维修标记点坐标信息及根据该坐标信息生成标记图形的函数，从而可减少数据传输量，同时，在不同的系统中，都可实现对坐标图形的重现，其关键并非是图形本身的意义，而是其可有效指出维修位置。

专家端301将专家协助数据及维修标记信息推动至操作端。

如，专家端301根据“发动机”回复“专家协助数据”，该“专家协助数据”包括，维修流程的文字信息、维修语音信息以及维修的视频或动画。专家端301在当前视野图像40中做出标记线段60(其标记点为61、62)作为维修标记，如图7所示，根据视野区域标识点41、42、43、44的坐标信息、标记线段60(其标记点为61、62)的坐标信息、标记点为61、62生成标记线段60的渲染函数获取维修标记信息，其中，包括坐标的圆点为51的位置信息，从而便于标注上述标识点的相对位置。

步骤S106，在操作端通过AR眼镜播放维修画面。

在本步骤中，操作端201接收到专家协助数据及维修标记信息。操作端通过AR眼镜播放专家协助数据及维修标记信息，使维修标记信息叠加于当前视野画面上。即，将图7中的标识点41、42、43、44及标记线段60叠加于当前AR眼镜佩戴者的视野图像中。

从而本发明中的AR远程专家协助方法，与远程专家通信的同时，远程专家可通过标识的方式，标识维修位置，从而提升沟通的准确性及效率。

在本发明另一种AR远程专家协助方法的实施方式中，如图8所示，步骤S103中包括，专家端为多个专家端，包括专家端301、专家端302及专家端303。专家信息为多个专家信息，每个专家信息中对应一个专家呼叫信息(或微信号码或QQ号码)。

步骤S104中包括，操作端201根据多个专家呼叫信息向多个专家端发送呼叫请求，在呼叫请求中包括现场对象识别数据。从而实现对多个专家端的呼叫请求。

在本发明另一种AR远程专家协助方法的实施方式中，步骤S105中还包括，

步骤S105中还包括，专家端为多个(专家端301、专家端302及专家端303)。各专家端将专家端301、专家端302及专家端303)本地的维修标记信息及视野区域标识点坐标信息推送至操作端，各专家端的本地的维修标记信息或视野区域标识点坐标信息中包括各专家端的标识信息。专家端的标识信息可以为标识专家端的编号，也可以为专家端所在的IP地址等标识信息。

步骤S106中还包括，操作端201将从多个专家端接收的各专家视野区域标识点坐标信息通过均值化获取均值后的标准坐标信息。根据标准坐标信息及各专家视野区域标识点坐标信息获取各坐标点偏差值，根据各坐标点偏差值校正各专家端本地的维修标记信息。操作端根据专家端的标识信息及各专家端本地的维修标记信息生成各专家端的标识符。从而保证多个专家端给出的维修标记可在一个画面上准确呈现，通过标识符区分各专家的标识。需要说明的是，上述的“标识符”并非一定为文字或字符形式，也可以为编号等图形，图像的显示方式。

操作端201通过AR眼镜播放多个专家端的协助数据、校正后的各专家端本地的维修标记信息及各专家端的标识符，使多个专家端的协助数据、校正后的各专家端本地的维修标记信息及各专家端的标识符叠加于当前视野画面上。从而保证在维修过程中，操作端能对多方意见综合，从而提供维修效率，降低差错率。

在本发明另一种AR远程专家协助方法的实施方式中，其中。

步骤S105中还包括，专家端为多个，多个专家端将本地所采集的实时音频文件传递至操作端。

步骤S106中还包括，操作端将从多个专家端所采集的本地音频文件分别缓存至多声道存储器中。将缓存于多声道存储器中的多个本地音频文件按时间帧合成为本地合成音频。操作端通过AR眼镜播放本地合成音频。

在本发明另一种AR远程专家协助方法的实施方式中，步骤S105中还包括，若当前网速小于设定网速，专家端按设定采集时间间隔采集并将本地所采集的实时音频文件传递至操作端。

步骤S106中还包括，操作端从多个专家端接收多个时间间隔所采集的多时间段实时音频文件，操作端从已接收的设定个数的多时间段实时音频文件中获取其占用存储空间最大的时间段音频文件作为标准实时音频文件。从而保证多声道的语音播放。

操作端判断当前接收的当前时间段音频文件的占用存储空间是否小于标准实时音频文件的占用存储空间，若否，则将当前时间段音频文件根据采集时间顺序排列到播放队列中。

若是，则接收下一时间段的音频文件，将下一时间段的音频文件合并当前时间段音频文件获取合并时间段音频文件。若合并时间段音频文件小于标准实时音频文件的占用存储空间则返回本步骤，直至合并时间段音频文件大于或等于标准实时音频文件的占用存储空间。

若播放队列文件中的时间段音频文件数量等于设定数量，则根据播放队列文件生成本地音频文件。从而在网路传输速度慢时，可对音频连续播放，获取较好的播放效果。需要说明的是，上述的音频文件指的是，其在播放时具有语音“音高”的文件。不包括没有语音的音频文件。

在本发明另一种AR远程专家协助方法的实施方式中，步骤S103中根据当前的现场对象识别数据检索专家数据关联集合的步骤包括，

根据当前的现场对象识别数据检索本地维修数据库，若本地维修数据库中不存在与之对应的维修数据，则根据当前的现场对象识别数据检索专家数据关联集合。

在本发明另一种AR远程专家协助方法的实施方式中，如图2所示，步骤S105后中还包括，

步骤S1051，生成AR模型图像文件及第一关联文件或第二关联文件。

本步骤中，专家端根据操作端发送的现场对象识别数据在本地获取与之对应的AR模型图像文件。建立根据AR模型图像文件与专家协助数据的第一关联文件，或建立根据AR模型图像文件与维修标记信息的第二关联文件，且将AR模型图像文件及第一关联文件或第二关联文件推送到操作端。

步骤S106中还包括，操作端接收AR模型图像文件以及第一关联文件或第二关联文件。根据AR模型图像文件、第一关联文件及专家协助数据生成第一维修画面，根据AR模型图像文件、第二关联文件及维修标记信息生成第二维修画面。在操作端的AR眼镜端显示第一维修画面及第二维修画面，以使第一维修画面及第二维修画面叠加于当前视野画面上。从而在播放端实现对AR模型图像的播放。

在本发明另一种AR远程专家协助方法的实施方式中，如图3所示，步骤S102中包括，

步骤S1021，获取第一预扫描当前视野图像。

本步骤中，根据操作端的AR眼镜端扫描当前视野且获取第一预扫描当前视野图像。

步骤S1022，判断当前视野图像质量。

获取第一预扫描当前视野图像的识别率，若识别率低于设定值，则生成重新识别信息且发送至操作端的AR眼镜端，根据第一预扫描当前视野图像检索识别关联，从多个识别对象数据中获取对应的一个或多个当前备选识别对象数据。且将一个或多个当前备选识别对象数据发送到操作端的AR眼镜端。

若识别率高于设定值，则识别AR眼镜端以设定扫描精度，重新扫描当前视野图像获取所对应的当前识别对象数据。

操作端的AR眼镜端接收到的重新识别信息后，在本地播放一个或多个当前备选识别对象数据，AR眼镜端接收操作端对一个或多个当前备选识别对象数据的备选选择信息。根据备选选择信息获取当前备选识别对象数据，提取当前备选识别对象数据中的识别对象区域信息。AR眼镜端根据识别对象区域信息重新扫描当前视野，且再次获取当前视野图像。通过控制初步标识的准确度，提高维修过程的准确性且提高维修效率。

同时，本发明还提供了一种AR远程专家协助系统，如图4所示，包括：关联建立单元101、操作端201及专家端301。其中，

关联建立单元101，配置为建立现场对象识别数据与专家信息的关联，该关联生成专家数据关联集合。

操作端201，配置为根据操作端所设置的AR眼镜端扫描当前视野且获取当前视野图像，AR眼镜端识别当前视野图像获取当前的现场对象识别数据。

操作端201根据当前的现场对象识别数据检索专家数据关联集合，获取与现场对象识别数据对应的专家信息，专家信息中包括专家呼叫信息。

操作端201根据专家呼叫信息向专家端301发送呼叫请求，在呼叫请求中包括现场对象识别数据。

专家端301应答操作端的呼叫请求且与操作端建立通信。专家端获取操作端的当前视野图像，根据当前视野图像获取视野区域标识点坐标信息。专家端根据现场对象识别数据生成专家协助数据。专家端根据当前视野图像生成维修标记信息，根据维修标记信息及视野区域标识点坐标信息获取维修标记信息。专家端将专家协助数据及维修标记信息推动至操作端。

操作端201接收到专家协助数据及维修标记信息。操作端通过AR眼镜播放专家协助数据及维修标记信息，使维修标记信息叠加于当前视野画面上。

在本发明另一种AR远程专家协助系统的实施方式中，专家端为多个。

操作端201还配置为，根据多个专家呼叫信息向多个专家端发送呼叫请求，在呼叫请求中包括现场对象识别数据。

作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施方式中的语音信号处理方法对应的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储介质中，当被处理器执行时，执行上述任意方法实施方式中的语音信号处理方法。

非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序。存储数据区可存储根据语音信号处理单元的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至语音信号处理单元。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本发明实施方式还提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述任一项语音信号处理方法。

本发明实施方式的电子设备以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括:音频、音频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子单元。

以上所描述的单元实施方式仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施方式方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施方式或者实施方式的某些部分的方法。

最后应说明的是：以上实施方式仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施方式技术方案的精神和范围。

Claims (8)

1.AR远程专家协助方法，该方法实施于包括操作端和专家端的系统中，其特征在于，包括：

步骤S101，建立现场对象识别数据与专家信息的关联，该关联生成专家数据关联集合；

步骤S102，所述操作端根据操作端所设置的AR眼镜端扫描当前视野且获取当前视野图像，AR眼镜端识别所述当前视野图像获取当前的现场对象识别数据；

步骤S103，所述操作端根据所述当前的现场对象识别数据检索所述专家数据关联集合，获取与所述现场对象识别数据对应的专家信息，所述专家信息中包括专家呼叫信息，所述步骤S103中包括，所述专家端为多个，所述专家信息为多个专家信息，每个所述专家信息中对应一个专家呼叫信息；

步骤S104，所述操作端根据所述专家呼叫信息向专家端发送呼叫请求，在所述呼叫请求中包括所述现场对象识别数据，所述步骤S104中包括，操作端根据所述多个专家呼叫信息向多个专家端发送呼叫请求；

步骤S105，所述专家端应答所述操作端的呼叫请求且与所述操作端建立通信；专家端获取所述操作端的当前视野图像，根据所述当前视野图像获取视野区域标识点坐标信息；专家端根据所述现场对象识别数据生成专家协助数据；专家端根据所述视野区域标识点坐标信息获取维修标记信息；专家端将所述专家协助数据及所述维修标记信息推动至所述操作端，所述步骤S105中还包括，所述专家端为多个，各专家端将本地的维修标记信息及所述视野区域标识点坐标信息推送至所述操作端，所述各专家端的本地的维修标记信息或所述视野区域标识点坐标信息中包括各专家端的标识信息；

步骤S106，所述操作端接收到所述专家协助数据及所述维修标记信息；所述操作端通过AR眼镜播放所述专家协助数据及所述维修标记信息，使所述维修标记信息叠加于当前视野画面上，所述操作端将从多个所述专家端接收的各专家视野区域标识点坐标信息通过均值化获取均值后的标准坐标信息；根据标准坐标信息及所述各专家视野区域标识点坐标信息获取各坐标点偏差值，根据所述各坐标点偏差值校正各专家端本地的维修标记信息；所述操作端根据所述专家端的标识信息及各专家端本地的维修标记信息生成各专家端的标识符；

所述操作端通过AR眼镜播放所述多个专家端的协助数据、校正后的所述各专家端本地的维修标记信息及所述各专家端的标识符，使所述多个专家端的协助数据、校正后的所述各专家端本地的维修标记信息及所述各专家端的标识符叠加于当前视野画面上。

2.根据权利要求1所述的AR远程专家协助方法，

所述步骤S105中还包括，所述专家端为多个，多个所述专家端将本地所采集的实时音频文件传递至操作端；

所述步骤S106中还包括，所述操作端将从所述多个专家端所采集的本地音频文件分别缓存至多声道存储器中；将所述缓存于多声道存储器中的多个本地音频文件按时间帧合成为本地合成音频；所述操作端通过AR眼镜播放所述本地合成音频。

3.根据权利要求2所述的AR远程专家协助方法，

所述步骤S105中还包括，若当前网速小于设定网速，所述专家端按设定采集时间间隔采集并将本地所采集的实时音频文件传递至操作端；

所述步骤106中还包括，所述操作端从所述多个专家端接收多个时间间隔所采集的多时间段实时音频文件，所述操作端从已接收的设定个数的所述多时间段实时音频文件中获取其占用存储空间最大的时间段音频文件作为标准实时音频文件；

所述操作端判断当前接收的当前时间段音频文件的占用存储空间是否小于所述标准实时音频文件的占用存储空间，若否，则将当前时间段音频文件根据采集时间顺序排列到播放队列中；

若是，则接收下一时间段的音频文件，将所述下一时间段的音频文件合并当前时间段音频文件获取合并时间段音频文件；若合并时间段音频文件小于所述标准实时音频文件的占用存储空间则返回本步骤，直至合并时间段音频文件大于或等于所述标准实时音频文件的占用存储空间；

若所述播放队列文件中的时间段音频文件数量等于设定数量，则根据所述播放队列文件生成本地音频文件。

4.根据权利要求1所述的AR远程专家协助方法，所述步骤S103中根据所述当前的现场对象识别数据检索所述专家数据关联集合的步骤包括，

根据所述当前的现场对象识别数据检索本地维修数据库，若所述本地维修数据库中不存在与之对应的维修数据，则根据所述当前的现场对象识别数据检索所述专家数据关联集合。

5.根据权利要求1所述的AR远程专家协助方法，其中，

所述步骤S105后中还包括，

步骤S1051，所述专家端根据所述操作端发送的所述现场对象识别数据在本地获取与之对应的AR模型图像文件；

建立根据AR模型图像文件与专家协助数据的第一关联文件，或建立根据AR模型图像文件与所述维修标记信息的第二关联文件，且将所述AR模型图像文件及所述第一关联文件或第二关联文件推送到所述操作端；

所述步骤S106中还包括，所述操作端接收AR模型图像文件以及所述第一关联文件或第二关联文件；根据所述AR模型图像文件、所述第一关联文件及所述专家协助数据生成第一维修画面，根据所述AR模型图像文件、所述第二关联文件及所述维修标记信息生成第二维修画面；在所述操作端的AR眼镜端显示所述第一维修画面及所述第二维修画面，以使所述第一维修画面及所述第二维修画面叠加于当前视野画面上。

6.根据权利要求1所述的AR远程专家协助方法，所述步骤S102中包括，

步骤S1021，根据操作端的AR眼镜端扫描当前视野且获取第一预扫描当前视野图像；

步骤S1022，获取所述第一预扫描当前视野图像的识别率，若所述识别率低于设定值，则生成重新识别信息且发送至所述操作端的AR眼镜端，根据所述第一预扫描当前视野图像检索识别关联，从多个识别对象数据中获取对应的一个或多个当前备选识别对象数据；且将所述一个或多个当前备选识别对象数据发送到所述操作端的AR眼镜端；

若所述识别率高于设定值，则识别所述AR眼镜端以设定扫描精度，重新扫描当前视野图像获取所对应的当前识别对象数据；

所述操作端的AR眼镜端接收到的重新识别信息后，在本地播放一个或多个当前备选识别对象数据，所述AR眼镜端接收操作端对所述一个或多个当前备选识别对象数据的备选选择信息；根据所述备选选择信息获取当前备选识别对象数据，提取所述当前备选识别对象数据中的识别对象区域信息；所述AR眼镜端根据所述识别对象区域信息重新扫描当前视野，且再次获取当前视野图像。

7.AR远程专家协助系统，其特征在于，包括：关联建立单元、操作端及专家端；其中，

所述关联建立单元，配置为建立现场对象识别数据与专家信息的关联，该关联生成专家数据关联集合；

所述操作端，配置为根据操作端所设置的AR眼镜端扫描当前视野且获取当前视野图像，AR眼镜端识别所述当前视野图像获取当前的现场对象识别数据；

所述操作端根据所述当前的现场对象识别数据检索所述专家数据关联集合，获取与所述现场对象识别数据对应的专家信息，所述专家信息中包括专家呼叫信息，所述专家端为多个，所述专家信息为多个专家信息，每个所述专家信息中对应一个专家呼叫信息；

所述操作端根据所述专家呼叫信息向专家端发送呼叫请求，在所述呼叫请求中包括所述现场对象识别数据；

操作端根据所述多个专家呼叫信息向多个专家端发送呼叫请求；

所述专家端应答所述操作端的呼叫请求且与所述操作端建立通信；专家端获取所述操作端的当前视野图像，根据所述当前视野图像获取视野区域标识点坐标信息；专家端根据所述现场对象识别数据生成专家协助数据；专家端根据所述视野区域标识点坐标信息获取维修标记信息；专家端将所述专家协助数据及所述维修标记信息推动至所述操作端；

所述专家端为多个，各专家端将本地的维修标记信息及所述视野区域标识点坐标信息推送至所述操作端，所述各专家端的本地的维修标记信息或所述视野区域标识点坐标信息中包括各专家端的标识信息；

所述操作端接收到所述专家协助数据及所述维修标记信息；所述操作端通过AR眼镜播放所述专家协助数据及所述维修标记信息，使所述维修标记信息叠加于当前视野画面上，所述操作端将从多个所述专家端接收的各专家视野区域标识点坐标信息通过均值化获取均值后的标准坐标信息；根据标准坐标信息及所述各专家视野区域标识点坐标信息获取各坐标点偏差值，根据所述各坐标点偏差值校正各专家端本地的维修标记信息；所述操作端根据所述专家端的标识信息及各专家端本地的维修标记信息生成各专家端的标识符；

所述操作端通过AR眼镜播放所述多个专家端的协助数据、校正后的所述各专家端本地的维修标记信息及所述各专家端的标识符，使所述多个专家端的协助数据、校正后的所述各专家端本地的维修标记信息及所述各专家端的标识符叠加于当前视野画面上。

8.根据权利要求7所述的AR远程专家协助系统，所述专家端为多个；

所述操作端还配置为，根据多个专家呼叫信息向多个专家端发送呼叫请求，在所述呼叫请求中包括所述现场对象识别数据。