CN110673727B - Ar远程协助方法及系统 - Google Patents

Ar远程协助方法及系统 Download PDF

Info

Publication number
CN110673727B
CN110673727B CN201910896969.4A CN201910896969A CN110673727B CN 110673727 B CN110673727 B CN 110673727B CN 201910896969 A CN201910896969 A CN 201910896969A CN 110673727 B CN110673727 B CN 110673727B
Authority
CN
China
Prior art keywords
current
data
remote assistance
recognition
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910896969.4A
Other languages
English (en)
Other versions
CN110673727A (zh
Inventor
黄建红
张东
陈术尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Saihong Zhongzhi Network Technology Co ltd
Original Assignee
Zhejiang Saihong Zhongzhi Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Saihong Zhongzhi Network Technology Co ltd filed Critical Zhejiang Saihong Zhongzhi Network Technology Co ltd
Priority to CN201910896969.4A priority Critical patent/CN110673727B/zh
Publication of CN110673727A publication Critical patent/CN110673727A/zh
Application granted granted Critical
Publication of CN110673727B publication Critical patent/CN110673727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开AR远程协助方法包括：建立现场识别数据与远程协助数据的协助关联。根据操作者所佩戴的AR眼镜端扫描当前视野图像，识别当前视野图像获取所对应的当前识别对象数据。根据获取的当前识别对象数据对应协助关联，获取与之对应的当前远程协助数据。根据当前远程协助数据以及对应的AR模型图像推送到操作者所佩戴的AR眼镜端，使操作者所佩戴的AR眼镜端能够显示当前远程协助数据以及对应的AR模型图像。通过AR设备接收维修者现场的维修图像，获取与现场维修设备匹配的维修信息，该维修信息中包括维修的文字内容及AR模型图像。从而便于操作者(维修者)的维修操作，提高了维修效率，降低了维护成本。同时，本发明还公开了AR远程协助系统。

Description

AR远程协助方法及系统
技术领域
本发明属于AR技术及相关应用的技术领域，尤其涉及AR远程协助方法及系统。
背景技术
现有的设备维修及维护时，多依赖于维修者的经验对设备或机器维修，其维修的效率多依赖于熟练程度。在需要对新设备或陌生设备维修时，只能通过维修手册或远程电话的方式，对现场的维修操作给予指导。但现场的设备情况通常较为复杂，很难通过简单的电话指导或查阅维修手册解决。针对上述问题，现有技术通过远程同步视频的方式给予远程协助，但该方式，由于其现场维修者很难对设备情况描述清楚，同时对较为复杂的设备的维修需要较长的维修过程，从而无法通过远程同步视频的方式给予有效解决，提高了维修成本，维修效率低。
发明内容
本发明实施方式提供AR远程协助方法及系统，用于至少解决上述技术问题之一。
第一方面，本发明提供了AR远程协助方法，包括：
步骤S101，建立现场识别数据与所述远程协助数据的协助关联，所述远程协助数据中包括与所述识别对象所对应的AR模型图像，所述步骤S101中还包括，步骤S1011，建立具有平面对象图像、具有圆筒形状的对象图像及能够由多个规则几何形状所组成的对象图像与多个所述识别对象一一对应的识别关联；
步骤S102，根据操作者所佩戴的AR眼镜端扫描当前视野且获取当前视野图像，识别所述当前视野图像获取所对应的当前识别对象数据，根据所述识别关联识别所述当前视野图像，从所述多个所述识别对象中获取所对应的当前识别对象数据；
所述步骤S102中包括，
步骤S1021，根据操作者所佩戴的AR眼镜端扫描当前视野且获取第一预扫描当前视野图像，所述当前视野图像包括，具有平面形状的对象图像、具有圆筒形状的对象图像及能够由多个规则几何形状所组成的对象图像；
步骤S1022，获取所述第一预扫描当前视野图像的识别率，若所述识别率低于设定值，则生成重新识别信息且发送至所述操作者所佩戴的AR眼镜端，根据所述第一预扫描当前视野图像检索所述识别关联，从所述多个识别对象数据中获取对应的一个或多个当前备选识别对象数据；且将所述一个或多个当前备选识别对象数据发送到所述操作者所佩戴的AR眼镜端；
若所述识别率高于设定值，则识别所述AR眼镜端以设定扫描精度，重新扫描当前视野图像获取所对应的当前识别对象数据；
所述操作者所佩戴的AR眼镜端接收到的重新识别信息后，在本地播放一个或多个当前备选识别对象数据，所述佩戴的AR眼镜端接收操作者对所述一个或多个当前备选识别对象数据的备选选择信息；根据所述备选选择信息获取当前备选识别对象数据，提取所述当前备选识别对象数据中的识别对象区域信息；所述AR眼镜端根据所述识别对象区域信息重新扫描当前视野，且再次获取当前视野图像。
步骤S103，根据步骤S102中获取的当前识别对象数据对应所述协助关联，获取与之对应的当前远程协助数据；
步骤S104，根据所述当前远程协助数据以及所述对应的AR模型图像推送到所述操作者所佩戴的AR眼镜端，使所述操作者所佩戴的AR眼镜端能够显示所述当前远程协助数据以及所述对应的AR模型图像。
在本发明另一种AR远程协助方法的实施方式中，所述远程协助数据包括结构化数据及非结构化数据。所述结构化数据包括多个固定格式的字段。所述非结构化数据包括，图片、视频、文档及网页数据。
在本发明另一种AR远程协助方法的实施方式中，所述步骤S104中还包括步骤S1041，根据所述当前远程协助数据以及所述对应的AR模型图像组成工作流界面，将所述工作流界面推送到所述操作者所佩戴的AR眼镜端，使所述操作者所佩戴的AR眼镜端能够显示所述工作流界面。
同时，本发明还提供一种AR远程协助系统，该系统包括：协助关联建立单元、当前识别对象数据获取单元、当前远程协助数据获取单元及AR模型成像单元。
其中所述协助关联建立单元，配置为建立现场识别数据与所述远程协助数据的协助关联，所述远程协助数据中包括与所述识别对象所对应的AR模型图像。
所述当前识别对象数据获取单元，配置为根据操作者所佩戴的AR眼镜端扫描当前视野图像，识别所述当前视野图像获取所对应的当前识别对象数据。
所述当前远程协助数据获取单元，配置为根据步骤S102中获取的当前识别对象数据对应所述协助关联，获取与之对应的当前远程协助数据。
所述AR模型成像单元，配置为根据当前识别对象数据获取单元中获取的当前识别对象数据对应所述协助关联，获取与之对应的当前远程协助数据。
所述当前远程协助数据以及所述对应的AR模型图像推送到所述操作者所佩戴的AR眼镜端，使所述操作者所佩戴的AR眼镜端能够显示所述当前远程协助数据以及所述对应的AR模型图像。
在本发明另一种AR远程协助系统的实施方式中，所述当前视野图像包括，具有平面形状的对象图像、具有圆筒形状的对象图像及能够由多个规则几何形状所组成的对象图像。
所述协助关联建立单元，还配置为建立具有平面形状的对象图像、具有圆筒形状的对象图像及能够由多个规则几何形状所组成的对象图像与多个所述识别对象一一对应的识别关联。
所述当前识别对象数据获取单元，还配置为根据所述识别关联识别所述当前视野图像，从所述多个所述识别对象中获取所对应的当前识别对象数据。
在本发明另一种AR远程协助系统的实施方式中，所述具有平面形状的对象图像包括具有对象辨识信息的二维码。
在本发明另一种AR远程协助系统的实施方式中，所述当前识别对象数据获取单元还配置为：根据操作者所佩戴的AR眼镜端扫描当前视野且获取第一预扫描当前视野图像。
获取所述第一预扫描当前视野图像的识别率，若所述识别率低于设定值，则生成重新识别信息且发送至所述操作者所佩戴的AR眼镜端，根据所述第一预扫描当前视野图像检索所述识别关联，从所述多个识别对象数据中获取对应的一个或多个当前备选识别对象数据。且将所述一个或多个当前备选识别对象数据发送到所述操作者所佩戴的AR眼镜端。
若所述识别率高于设定值，则识别所述AR眼镜端以设定扫描精度，重新扫描当前视野图像获取所对应的当前识别对象数据。
在本发明另一种AR远程协助系统的实施方式中，所述操作者所佩戴的AR眼镜端接收到的重新识别信息后，在本地播放一个或多个当前备选识别对象数据，所述佩戴的AR眼镜端接收操作者对所述一个或多个当前备选识别对象数据的备选选择信息。根据所述备选选择信息获取当前备选识别对象数据，提取所述当前备选识别对象数据中的识别对象区域信息。所述AR眼镜端根据所述识别对象区域信息重新扫描当前视野，且再次获取当前视野图像。
在本发明另一种AR远程协助系统的实施方式中，所述远程协助数据包括结构化数据及非结构化数据。所述结构化数据包括多个固定格式的字段。所述非结构化数据包括，图片、视频、文档及网页数据。
在本发明另一种AR远程协助系统的实施方式中，所述AR模型成像单元还配置为，根据所述当前远程协助数据以及所述对应的AR模型图像组成工作流界面，将所述工作流界面推送到所述操作者所佩戴的AR眼镜端，使所述操作者所佩戴的AR眼镜端能够显示所述工作流界面。
由此可知，本发明中的AR远程协助方法及系统，通过AR设备接收操作者(维修者)现场的维修图像，通过识别、匹配获取与现场维修设备匹配的维修信息，该维修信息中包括维修的文字内容及AR模型图像，操作者(维修者)所佩戴的AR设备可对上述维修信息及内容播放，从而便于操作者(维修者)的维修操作，提高了维修效率，降低了维护成本。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施方式提供的AR远程协助方法的流程图。
图2为本发明另一实施方式提供的AR远程协助方法的流程图。
图3为本发明又一实施方式提供的AR远程协助方法的流程图。
图4为本发明一实施方式提供的AR远程协助系统的组合示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
为了解决现有方法的缺陷，在本发明一种AR远程协助方法中，如图1所示，包括：
步骤S101，建立协助关联。
本步骤中，建立现场识别数据与远程协助数据的协助关联，远程协助数据中包括与识别对象所对应的AR模型图像。
例如，在维修服务器端建立现场识别数据“发动机”与远程协助数据“发动机维修数据”的协助关联关系。在“发动机维修数据”中包括一个或多个页面的发动机维修界面，每个发动机维修界面对应发动机维修步骤的字段。在“发动机维修数据”中还包括发动机对应的AR三维模型。
步骤S102，获取当前识别对象数据。
本步骤中，根据操作者所佩戴的AR眼镜端扫描当前视野图像，识别当前视野图像获取所对应的当前识别对象数据。
AR识别对象取决于你预先的设定，识别数据需提前采集。
在发动机场景下，有两个识别对象选项：图片或发动机实体。如选用图片作为识别对象，那不论你的图片是一个平面或是筒状或者为图片矩阵，都可使用，此时使用时不论你是否扫描发动机，只要在识别时摄像机画面有图片匹配的数据即可。如选用实体，那只在有发动机实体时，才能被引擎所识别。
AR识别的准确率和识别结果和识别过程都有PTC Vuforia SDK来操作并实现，程序内只对接相应API。说明：对本程序来说，识别只涉及三个阶段：
准备阶段：采集和提交识别对象，当提交识别数据时，将会在Vuforia开发者网站，看到对应数据的识别率，满分为5星，最低为1星，5星是识别率高，反之1星识别率低(相同或类似的识别对象并不做限制，Vufoia限制提交相同文件名的识别对象数据)。
识别中：程序内使用识别功能，启用Vuforia识别，使用摄像头进行识别。
识别后：在摄像头数据实时处理后，比对预先识别数据，根据数据和摄像头实时画面反馈识别结果，程序再根据结果做对应的操作。
例如：操作者维修“发动机”时，所佩戴的AR眼镜作为上述服务器的一个终端，扫描当前视野中的发动机图像。AR系统通过PTC Vuforia SDK对所获取的“发动机”图像识别，确认当前图像所对应的当前识别对象数据为“发动机”。并将当前识别对象数据为“发动机”上传至维修服务器端。
步骤S103，获取当前远程协助数据。
本步骤中，根据步骤S102中获取的当前识别对象数据对应协助关联，获取与之对应的当前远程协助数据。
例如：维修服务器端根据步骤S102中获取的当前识别对象数据“发动机”查询步骤S101中的“发动机”与“发动机维修数据”的协助关联关系。获取“发动机维修数据”。
步骤S104，AR成像。
本步骤中，根据当前远程协助数据以及对应的AR模型图像推送到操作者所佩戴的AR眼镜端，使操作者所佩戴的AR眼镜端能够显示当前远程协助数据以及对应的AR模型图像。
例如，维修服务器端将获取的“发动机维修数据”推送到操作者终端，即操作者所佩戴的AR眼镜端。操作者所佩戴的AR眼镜端播放发动机维修数据”中包括一个或多个页面的发动机维修界面、以及发动机对应的AR三维模型。
在本发明另一种AR远程协助方法的实施方式中，当前视野图像包括，具有平面形状的对象图像、具有圆筒形状的对象图像及能够由多个规则几何形状所组成的对象图像。
如图2所示，步骤S101中还包括，步骤S1011，建立识别关联。
本步骤中，建立具有平面形状的对象图像、具有圆筒形状的对象图像及能够由多个规则几何形状所组成的对象图像与多个识别对象一一对应的识别关联。
步骤S102中还包括，根据识别关联识别当前视野图像，从多个现场识别数据中获取所对应的当前现场识别数据当前识别对象数据。
在本发明另一种AR远程协助方法的实施方式中，具有平面形状的对象图像包括具有对象辨识信息的二维码。
步骤S102中还包括，步骤S1021，根据操作者所佩戴的AR眼镜端扫描当前视野且获取第一预扫描当前视野图像。
步骤S1022，获取第一预扫描当前视野图像的识别率，若识别率低于设定值，则生成重新识别信息且发送至操作者所佩戴的AR眼镜端。根据第一预扫描当前视野图像检索识别关联，从多个识别对象数据中获取对应的一个或多个当前备选识别对象数据。且将一个或多个当前备选识别对象数据发送到操作者所佩戴的AR眼镜端。
若识别率高于设定值，则识别AR眼镜端以设定扫描精度，重新扫描当前视野图像获取所对应的当前识别对象数据。
在本发明另一种AR远程协助方法的实施方式中，操作者所佩戴的AR眼镜端接收到的重新识别信息后，在本地播放一个或多个当前备选识别对象数据。佩戴的AR眼镜端接收操作者对一个或多个当前备选识别对象数据的备选选择信息。根据备选选择信息获取当前备选识别对象数据，提取当前备选识别对象数据中的识别对象区域信息。AR眼镜端根据识别对象区域信息重新扫描当前视野，且再次获取当前视野图像。
在本发明另一种AR远程协助方法的实施方式中，远程协助数据包括结构化数据及非结构化数据。结构化数据包括多个固定格式的字段。非结构化数据包括，图片、视频、文档及网页数据。
在本发明另一种AR远程协助方法的实施方式中，如图3所示，步骤S104中还包括，步骤S1041，组成工作流界面。
本步骤中，根据当前远程协助数据以及对应的AR模型图像组成工作流界面，将工作流界面推送到操作者所佩戴的AR眼镜端，使操作者所佩戴的AR眼镜端能够显示工作流界面。
同时，本发明还提供了AR远程协助系统，如图4所示，包括：协助关联建立单元101、当前识别对象数据获取单元201、当前远程协助数据获取单元301及AR模型成像单元401。
其中协助关联建立单元101，配置为建立现场识别数据与远程协助数据的协助关联，远程协助数据中包括与现场识别数据所对应的AR模型图像。
当前识别对象数据获取单元201，配置为根据操作者所佩戴的AR眼镜端扫描当前视野图像，识别当前视野图像获取所对应的当前识别对象数据。
当前远程协助数据获取单元301，配置为根据步骤S102中获取的当前识别对象数据对应协助关联，获取与之对应的当前远程协助数据。
AR模型成像单元401，配置为根据当前识别对象数据获取单元中获取的当前识别对象数据对应协助关联，获取与之对应的当前远程协助数据。
当前远程协助数据以及对应的AR模型图像推送到操作者所佩戴的AR眼镜端，使操作者所佩戴的AR眼镜端能够显示当前远程协助数据以及对应的AR模型图像。
在本发明另一种AR远程协助系统的实施方式中，当前视野图像包括，具有平面形状的对象图像、具有圆筒形状的对象图像及能够由多个规则几何形状所组成的对象图像。
协助关联建立单元101，还配置为建立具有平面形状的对象图像、具有圆筒形状的对象图像及能够由多个规则几何形状所组成的对象图像与多个识别对象一一对应的识别关联。
当前识别对象数据获取单元201，还配置为根据识别关联识别当前视野图像，从多个识别对象中获取所对应的当前识别对象数据。
在本发明另一种AR远程协助系统的实施方式中，具有平面形状的对象图像包括具有对象辨识信息的二维码。
在本发明另一种AR远程协助系统的实施方式中，当前识别对象数据获取单元还配置为：根据操作者所佩戴的AR眼镜端扫描当前视野且获取第一预扫描当前视野图像。
获取第一预扫描当前视野图像的识别率，若识别率低于设定值，则生成重新识别信息且发送至操作者所佩戴的AR眼镜端，根据第一预扫描当前视野图像检索识别关联，从多个识别对象数据中获取对应的一个或多个当前备选识别对象数据。且将一个或多个当前备选识别对象数据发送到操作者所佩戴的AR眼镜端。
若识别率高于设定值，则识别AR眼镜端以设定扫描精度，重新扫描当前视野图像获取所对应的当前识别对象数据。
在本发明另一种AR远程协助系统的实施方式中，操作者所佩戴的AR眼镜端接收到的重新识别信息后，在本地播放一个或多个当前备选识别对象数据，佩戴的AR眼镜端接收操作者对一个或多个当前备选识别对象数据的备选选择信息。根据备选选择信息获取当前备选识别对象数据，提取当前备选识别对象数据中的识别对象区域信息。AR眼镜端根据识别对象区域信息重新扫描当前视野，且再次获取当前视野图像。
在本发明另一种AR远程协助系统的实施方式中，远程协助数据包括结构化数据及非结构化数据。结构化数据包括多个固定格式的字段。非结构化数据包括，图片、视频、文档及网页数据。
在本发明另一种AR远程协助系统的实施方式中，AR模型成像单元401还配置为，根据当前远程协助数据以及对应的AR模型图像组成工作流界面，将工作流界面推送到操作者所佩戴的AR眼镜端，使操作者所佩戴的AR眼镜端能够显示工作流界面。
作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施方式中的语音信号处理方法对应的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储介质中，当被处理器执行时，执行上述任意方法实施方式中的语音信号处理方法。
非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序。存储数据区可存储根据语音信号处理单元的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至语音信号处理单元。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施方式还提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述任一项语音信号处理方法。
本发明实施方式的电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括:音频、音频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子单元。
以上所描述的单元实施方式仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施方式方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施方式或者实施方式的某些部分的方法。
最后应说明的是：以上实施方式仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施方式技术方案的精神和范围。

Claims (8)

1.AR远程协助方法，其特征在于，包括：
步骤S101，建立现场识别数据与远程协助数据的协助关联，所述远程协助数据中包括与识别对象所对应的AR模型图像，所述步骤S101中还包括，步骤S1011，建立具有平面对象图像、具有圆筒形状的对象图像及能够由多个规则几何形状所组成的对象图像与多个所述识别对象一一对应的识别关联；
步骤S102，根据操作者所佩戴的AR眼镜端扫描当前视野且获取当前视野图像，识别所述当前视野图像获取所对应的当前识别对象数据，根据所述识别关联识别所述当前视野图像，从所述多个所述识别对象中获取所对应的当前识别对象数据；
所述步骤S102中包括，
步骤S1021，根据操作者所佩戴的AR眼镜端扫描当前视野且获取第一预扫描当前视野图像，所述当前视野图像包括，具有平面形状的对象图像、具有圆筒形状的对象图像及能够由多个规则几何形状所组成的对象图像；
步骤S1022，获取所述第一预扫描当前视野图像的识别率，若所述识别率低于设定值，则生成重新识别信息且发送至所述操作者所佩戴的AR眼镜端，根据所述第一预扫描当前视野图像检索所述识别关联，从所述多个识别对象数据中获取对应的一个或多个当前备选识别对象数据；且将所述一个或多个当前备选识别对象数据发送到所述操作者所佩戴的AR眼镜端；
若所述识别率高于设定值，则识别所述AR眼镜端以设定扫描精度，重新扫描当前视野图像获取所对应的当前识别对象数据；
所述操作者所佩戴的AR眼镜端接收到的重新识别信息后，在本地播放一个或多个当前备选识别对象数据，所述佩戴的AR眼镜端接收操作者对所述一个或多个当前备选识别对象数据的备选选择信息；根据所述备选选择信息获取当前备选识别对象数据，提取所述当前备选识别对象数据中的识别对象区域信息；所述AR眼镜端根据所述识别对象区域信息重新扫描当前视野，且再次获取当前视野图像；
步骤S103，根据步骤S102中获取的当前识别对象数据对应所述协助关联，获取与之对应的当前远程协助数据；
步骤S104，根据所述当前远程协助数据以及所述对应的AR模型图像推送到所述操作者所佩戴的AR眼镜端，使所述操作者所佩戴的AR眼镜端能够显示所述当前远程协助数据以及所述对应的AR模型图像。
2.根据权利要求1所述的AR远程协助方法，所述远程协助数据包括结构化数据及非结构化数据；所述结构化数据包括多个固定格式的字段；所述非结构化数据包括，图片、视频、文档及网页数据。
3.根据权利要求2所述的AR远程协助方法，所述步骤S104中还包括，步骤S1041，根据所述当前远程协助数据以及所述对应的AR模型图像组成工作流界面，将所述工作流界面推送到所述操作者所佩戴的AR眼镜端，使所述操作者所佩戴的AR眼镜端能够显示所述工作流界面。
4.AR远程协助系统，其特征在于，包括：协助关联建立单元、当前识别对象数据获取单元、当前远程协助数据获取单元及AR模型成像单元，其中，
所述协助关联建立单元，配置为建立现场识别数据与所述远程协助数据的协助关联，所述远程协助数据中包括与所述识别对象所对应的AR模型图像；
所述当前识别对象数据获取单元，配置为根据操作者所佩戴的AR眼镜端扫描当前视野图像，识别所述当前视野图像获取所对应的当前识别对象数据；
所述当前远程协助数据获取单元，配置为根据当前识别对象数据获取单元中获取的当前识别对象数据对应所述协助关联，获取与之对应的当前远程协助数据；
所述AR模型成像单元，配置为根据所述当前远程协助数据以及所述对应的AR模型图像推送到所述操作者所佩戴的AR眼镜端，使所述操作者所佩戴的AR眼镜端能够显示所述当前远程协助数据以及所述对应的AR模型图像。
5.根据权利要求4所述的AR远程协助系统，所述当前视野图像包括，具有平面形状的对象图像、具有圆筒形状的对象图像及能够由多个规则几何形状所组成的对象图像；
所述协助关联建立单元，还配置为建立具有平面形状的对象图像、具有圆筒形状的对象图像及能够由多个规则几何形状所组成的对象图像与多个所述识别对象一一对应的识别关联；
所述当前识别对象数据获取单元，还配置为根据所述识别关联识别所述当前视野图像，从所述多个所述识别对象中获取所对应的当前识别对象数据。
6.根据权利要求5所述的AR远程协助系统，所述当前识别对象数据获取单元还配置为：
根据操作者所佩戴的AR眼镜端扫描当前视野且获取第一预扫描当前视野图像；
获取所述第一预扫描当前视野图像的识别率，若所述识别率低于设定值，则生成重新识别信息且发送至所述操作者所佩戴的AR眼镜端，根据所述第一预扫描当前视野图像检索所述识别关联，从所述多个识别对象数据中获取对应的一个或多个当前备选识别对象数据；且将所述一个或多个当前备选识别对象数据发送到所述操作者所佩戴的AR眼镜端。
7.根据权利要求4所述的AR远程协助系统，所述远程协助数据包括结构化数据及非结构化数据；所述结构化数据包括多个固定格式的字段；所述非结构化数据包括，图片、视频、文档及网页数据。
8.根据权利要求7所述的AR远程协助系统，所述AR模型成像单元还配置为，根据所述当前远程协助数据以及所述对应的AR模型图像组成工作流界面，将所述工作流界面推送到所述操作者所佩戴的AR眼镜端，使所述操作者所佩戴的AR眼镜端能够显示所述工作流界面。
CN201910896969.4A 2019-09-23 2019-09-23 Ar远程协助方法及系统 Active CN110673727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910896969.4A CN110673727B (zh) 2019-09-23 2019-09-23 Ar远程协助方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910896969.4A CN110673727B (zh) 2019-09-23 2019-09-23 Ar远程协助方法及系统

Publications (2)

Publication Number Publication Date
CN110673727A CN110673727A (zh) 2020-01-10
CN110673727B true CN110673727B (zh) 2023-07-21

Family

ID=69078562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910896969.4A Active CN110673727B (zh) 2019-09-23 2019-09-23 Ar远程协助方法及系统

Country Status (1)

Country Link
CN (1) CN110673727B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111351789B (zh) * 2020-04-07 2023-05-16 中国联合网络通信集团有限公司 设备检测/维护的方法、系统及电子装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103908361A (zh) * 2014-04-02 2014-07-09 韩晓新 一种假肢关节运动耦合驱动信号的采集运算方法
CN104299493A (zh) * 2014-10-29 2015-01-21 上海大学 一种基于增强现实的电磁场教学与实验系统
CN104919389A (zh) * 2012-11-20 2015-09-16 三星电子株式会社 可穿戴电子设备上的光学传感器的放置
CN105069809A (zh) * 2015-08-31 2015-11-18 中国科学院自动化研究所 一种基于平面混合标识物的相机定位方法及系统
CN105930040A (zh) * 2015-02-27 2016-09-07 三星电子株式会社 包含电子支付系统的电子装置及其操作方法
CN106067833A (zh) * 2015-04-22 2016-11-02 Lg电子株式会社 移动终端及其控制方法
CN106951881A (zh) * 2017-03-30 2017-07-14 成都创想空间文化传播有限公司 一种三维场景呈现方法、装置及系统
CN109344719A (zh) * 2018-09-03 2019-02-15 国网天津市电力公司 基于增强现实和智能眼镜的变电站设备信息查询方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858676B2 (en) * 2015-01-08 2018-01-02 International Business Machines Corporation Displaying location-based rules on augmented reality glasses
CN106340217B (zh) * 2016-10-31 2019-05-03 华中科技大学 基于增强现实技术的制造装备智能系统及其实现方法
US10755480B2 (en) * 2017-05-19 2020-08-25 Ptc Inc. Displaying content in an augmented reality system
CN107547554A (zh) * 2017-09-08 2018-01-05 北京枭龙科技有限公司 一种基于增强现实的智能设备远程协助系统
CN107610269A (zh) * 2017-09-12 2018-01-19 国网上海市电力公司 一种基于ar的电网大数据智能巡检系统及其智能巡检方法
US10769411B2 (en) * 2017-11-15 2020-09-08 Qualcomm Technologies, Inc. Pose estimation and model retrieval for objects in images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104919389A (zh) * 2012-11-20 2015-09-16 三星电子株式会社 可穿戴电子设备上的光学传感器的放置
CN103908361A (zh) * 2014-04-02 2014-07-09 韩晓新 一种假肢关节运动耦合驱动信号的采集运算方法
CN104299493A (zh) * 2014-10-29 2015-01-21 上海大学 一种基于增强现实的电磁场教学与实验系统
CN105930040A (zh) * 2015-02-27 2016-09-07 三星电子株式会社 包含电子支付系统的电子装置及其操作方法
CN106067833A (zh) * 2015-04-22 2016-11-02 Lg电子株式会社 移动终端及其控制方法
CN105069809A (zh) * 2015-08-31 2015-11-18 中国科学院自动化研究所 一种基于平面混合标识物的相机定位方法及系统
CN106951881A (zh) * 2017-03-30 2017-07-14 成都创想空间文化传播有限公司 一种三维场景呈现方法、装置及系统
CN109344719A (zh) * 2018-09-03 2019-02-15 国网天津市电力公司 基于增强现实和智能眼镜的变电站设备信息查询方法

Also Published As

Publication number Publication date
CN110673727A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110673726B (zh) Ar远程专家协助方法及系统
US11270099B2 (en) Method and apparatus for generating facial feature
CN103729902B (zh) 考勤签到方法、考勤登记方法、考勤终端和考勤服务器
CN107205097B (zh) 移动终端查找方法、装置以及计算机可读存储介质
KR101790655B1 (ko) 버스 정보 조회, 피드백 방법, 모바일 단말 및 서버
KR20120024073A (ko) 객체 리스트를 이용한 증강 현실 제공 장치 및 방법
EP2953055A1 (en) Two-dimensional code processing method and terminal
CN101682696A (zh) 移动终端、移动终端的控制方法、移动终端的控制程序和记录了该控制程序的计算机可读记录介质
CN102272673A (zh) 用于为本人自动拍摄照片的方法、装置和计算机程序产品
CN102999844A (zh) 防伪防窜货查询智能取证方法
CN108985421B (zh) 编码信息的生成方法和识别方法
CN110673727B (zh) Ar远程协助方法及系统
CN108171231A (zh) 一种基于图像识别的通信方法和装置
EP4325439A1 (en) Image processing method and apparatus, and device and storage medium
CN110991298B (zh) 图像的处理方法和装置、存储介质及电子装置
CN113538310A (zh) 图像处理方法及装置、电子设备和存储介质
CN104966042A (zh) 手机扫描电视机上的二维码的方法及设备
CN116595220A (zh) 一种图像提取模型构建、图像查询和视频生成方法、装置
CN108965905A (zh) 一种直播数据推流及提供和获取推流地址的方法、装置
CN112990197A (zh) 车牌识别方法及装置、电子设备和存储介质
CN110781861A (zh) 一种通用物体识别的电子设备及方法
KR20110116116A (ko) 휴대 단말기를 이용한 문자 관련 정보 제공 방법 및 휴대 단말기
CN114554226A (zh) 图像处理方法及装置、电子设备和存储介质
CN110149358B (zh) 数据传输方法、系统及装置
CN103927341A (zh) 一种获取场景信息的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 1801, Building 2, Dingchuang Wealth Center, Cangqian Street, Yuhang District, Hangzhou City, Zhejiang Province, 311121

Applicant after: Zhejiang Saihong Zhongzhi Network Technology Co.,Ltd.

Address before: Building 27, Chuangye Street, Dream Town, Cangqian Street, Yuhang District, Hangzhou City, Zhejiang Province, 311121

Applicant before: Zhejiang saibole Zhongzhi Network Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant