CN112995299A - Ar远程协助方法、装置、设备及存储介质 - Google Patents

Ar远程协助方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112995299A
CN112995299A CN202110165721.8A CN202110165721A CN112995299A CN 112995299 A CN112995299 A CN 112995299A CN 202110165721 A CN202110165721 A CN 202110165721A CN 112995299 A CN112995299 A CN 112995299A
Authority
CN
China
Prior art keywords
assistance
information
scene
assisted
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110165721.8A
Other languages
English (en)
Inventor
黄振星
王朝新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCB Finetech Co Ltd
Original Assignee
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCB Finetech Co Ltd filed Critical CCB Finetech Co Ltd
Priority to CN202110165721.8A priority Critical patent/CN112995299A/zh
Publication of CN112995299A publication Critical patent/CN112995299A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/08—Protocols specially adapted for terminal emulation, e.g. Telnet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种AR远程协助方法、装置、设备及存储介质，涉及分布式系统领域。其中，该方法包括：响应第一操作，向协助端设备发起远程协助请求。获取待协助场景的数据信息，将数据信息发送给协助端设备，数据信息用于绘制待协助场景的画面。接收协助端设备发送的协助信息。在待协助场景的画面上展示协助信息。远程端设备通过接收协助端设备发送的协助信息，并在待协助场景的画面上展示协助信息，可以更加清楚地提示用户应该如何进行操作，使得在进行远程协助时表述更加清晰，提高了远程协助的效率，改善了用户体验。

Description

AR远程协助方法、装置、设备及存储介质
技术领域
本发明涉及增强现实(Augmented Reality，AR)领域，具体而言，涉及一种AR远程协助方法、装置、设备及存储介质。
背景技术
近年来，随着技术提升，远程协助在各个行业的应用也越来越广泛。现有的远程协助是利用电话、网络视频或者网络语音等方式提供的。但是，现有的远程协助都存在表述不清的问题，导致远程协助的效率不高，用户体验不好。
发明内容
本发明实施例提供一种AR远程协助方法、装置、设备及存储介质，可以改善现有技术中远程协助都存在表述不清，导致远程协助的效率不高，用户体验不好的问题。
第一方面，本发明实施例提供一种AR远程协助方法，应用于远程端设备，该方法包括：响应第一操作，向协助端设备发起远程协助请求。获取待协助场景的数据信息，将数据信息发送给协助端设备，数据信息用于绘制待协助场景的画面。接收协助端设备发送的协助信息。在待协助场景的画面上展示协助信息。
一些实施方式中，协助信息用于指示远程端设备的用户执行相应的操作。协助信息包括语音指示信息、文字指示信息以及协助动态模型信息。
一些实施方式中，当协助信息包括协助动态模型信息时，在待协助场景的画面上展示协助信息，包括：根据待协助场景的画面和协助信息，确定待协助场景的场景类型。根据场景类型和协助动态模型信息生成协助动态模型。在待协助场景的画面上展示协助动态模型。
一些实施方式中，在待协助场景的画面上展示协助动态模型之后，方法还包括：当协助信息包括语音指示信息和/或文字指示信息时，展示语音指示信息和/或文字指示信息。
一些实施方式中，在待协助场景的画面上展示协助信息之后，该方法还包括：接收协助端设备发送的更新的协助信息。在待协助场景的画面上展示更新的协助信息。
一些实施方式中，待协助场景的数据信息包括待协助场景的图像信息，以及待协助场景的音频信息、地理位置信息中的至少一种。
一些实施方式中，根据待协助场景的画面和协助信息，确定待协助场景的场景类型，包括：将待协助场景的画面和协助信息发送给预设的云平台，预设的云平台用于根据待协助场景的画面和协助信息确定待协助场景的场景类型。
第二方面，本发明实施例提供一种AR远程协助方法，应用于协助端设备，该方法包括：响应远程端设备发起的远程协助请求，接收远程端设备发送的待协助场景的数据信息，数据信息用于绘制待协助场景的画面。获取协助信息，协助信息是用户根据待协助场景的数据信息输入的。将协助信息发送给远程端设备。
一些实施方式中，协助信息用于指示远程端设备的用户执行相应的操作。协助信息包括语音指示信息、文字指示信息以及协助动态模型信息。一些实施方式中，获取协助信息，包括：在协助端设备上展示待协助场景的画面。接收用户作用于待协助场景的画面上的协助操作。根据协助操作，获取协助动态模型信息。
一些实施方式中，获取协助信息，还包括：根据接收到用户的语音信息，获取语音指示信息。
一些实施方式中，获取协助信息，还包括：根据接收到用户输入的文本信息，获取文字指示信息。
一些实施方式中，在将协助信息发送给远程端设备之后，该方法还包括：获取更新的协助信息，将更新的协助信息发送给远程端设备。
第三方面，本发明实施例提供一种AR远程协助装置，应用于远程端设备，该装置包括：响应模块，用于响应第一操作，向协助端设备发起远程协助请求。发送模块，用于获取待协助场景的数据信息，将数据信息发送给协助端设备，数据信息用于绘制待协助场景的画面。接收模块，用于接收协助端设备发送的协助信息。展示模块，用于在待协助场景的画面上展示协助信息。
一些实施方式中，协助信息用于指示远程端设备的用户执行相应的操作。协助信息包括语音指示信息、文字指示信息以及协助动态模型信息。
一些实施方式中，当协助信息包括协助动态模型信息时，展示模块，具体用于根据待协助场景的画面和协助信息，确定待协助场景的场景类型。根据场景类型和协助动态模型信息生成协助动态模型。在待协助场景的画面上展示协助动态模型。
一些实施方式中，展示模块，还用于当协助信息包括语音指示信息和/或文字指示信息时，展示语音指示信息和/或文字指示信息。
一些实施方式中，接收模块，还用于接收协助端设备发送的更新的协助信息。
相应的，展示模块，还用于在待协助场景的画面上展示更新的协助信息。
一些实施方式中，待协助场景的数据信息包括待协助场景的图像信息，以及待协助场景的音频信息、地理位置信息中的至少一种。
一些实施方式中，展示模块，具体用于将待协助场景的画面和协助信息发送给预设的云平台，预设的云平台用于根据待协助场景的画面和协助信息确定待协助场景的场景类型。
第四方面，本发明实施例提供一种AR远程协助装置，应用于协助端设备，该装置包括：接收模块，用于响应远程端设备发起的远程协助请求，接收远程端设备发送的待协助场景的数据信息，数据信息用于绘制待协助场景的画面。获取模块，用于获取协助信息，协助信息是用户根据待协助场景的数据信息输入的。发送模块，用于将协助信息发送给远程端设备。
一些实施方式中，协助信息用于指示远程端设备的用户执行相应的操作。协助信息包括语音指示信息、文字指示信息以及协助动态模型信息。
一些实施方式中，获取模块，具体用于在协助端设备上展示待协助场景的画面。接收用户作用于待协助场景的画面上的协助操作。根据协助操作，获取协助动态模型信息。
一些实施方式中，获取模块，还用于根据接收到用户的语音信息，获取语音指示信息。
一些实施方式中，获取模块，还用于根据接收到用户输入的文本信息，获取文字指示信息。
一些实施方式中，发送模块，还用于获取更新的协助信息，将更新的协助信息发送给远程端设备。
第五方面，本发明实施例提供一种远程端设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行如第一方面提供的方法的步骤。
第六方面，本发明实施例提供一种协助端设备，其特征在于，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行如第二方面提供的方法的步骤。
第七方面，本发明实施例提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行如第一方面提供的方法的步骤。
第八方面，本发明实施例提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行如第二方面提供的方法的步骤。
在本申请中，远程端设备通过接收协助端设备发送的协助信息，并在待协助场景的画面上展示协助信息，可以更加清楚地提示用户应该如何进行操作，使得在进行远程协助时表述更加清晰，提高了远程协助的效率，改善了用户体验。
以上第二方面至第八方面的有益效果，可以参考第一方面中，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的应用于远程端设备的AR远程协助方法的流程示意图；
图2示出了本发明实施例提供的应用于协助端设备的AR远程协助方法的流程示意图；
图3示出了本发明实施例提供的AR远程协助方法的流程示意图；
图4示出了本发明实施例提供的应用于远程端设备的AR远程协助装置的结构示意图；
图5示出了本发明实施例提供的应用于协助端设备的AR远程协助装置的结构示意图；
图6示出了本发明实施例提供的远程端设备的结构示意图；
图7示出了本发明实施例提供的协助端设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，本发明中附图仅起到说明和描述的目的，并不用于限定本发明的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本发明内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，本发明所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。还应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本发明的描述中，还需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
图1示出了本发明实施例提供的应用于远程端设备的AR远程协助方法的流程示意图。其中，远程端设备可以是手机、平板电脑、笔记本电脑、个人数字助理(PersonalDigital Assistant，PDA)、定制终端等具有拍摄功能的设备。
参考图1，该方法包括：
S101、响应第一操作，向协助端设备发起远程协助请求。
一些实施方式中，第一操作用于指示协助端设备发起远程协助请求。例如，可以是作用于远程协助应用程序中的点击操作，或者是预设的手势操作等，在此不做限制。发起的远程协助请求可以使得远程端设备与预设的协助端设备进行通信连接，以进行远程协助。
S102、获取待协助场景的数据信息，将数据信息发送给协助端设备，数据信息用于绘制待协助场景的画面。
一些实施方式中，待协助场景的数据信息包括待协助场景的图像信息，以及待协助场景的音频信息、地理位置信息中的至少一种。例如，可以通过远程端设备的摄像头获取待协助场景的图像信息。通过远程端设备的麦克风获取待协助场景的音频信息。通过定位模块，如全球定位系统(Global Positioning System。GPS)模块或北斗定位系统模块获取远程端设备的地理位置信息等。
S103、接收协助端设备发送的协助信息。
S104、在待协助场景的画面上展示协助信息。
一些实施方式中，在待协助场景的画面上展示协助信息，包括：根据待协助场景的画面和协助信息，确定待协助场景的场景类型。根据场景类型和协助信息生成协助动态模型。在待协助场景的画面上展示协助动态模型。协助信息用于指示远程端设备的用户执行相应的操作。协助信息包括语音指示信息、文字指示信息以及协助动态模型信息。
其中，根据待协助场景的画面和协助信息，确定待协助场景的场景类型可以将待协助场景的画面和协助信息发送给预设的云平台，预设的云平台用于根据待协助场景的画面和协助信息确定待协助场景的场景类型。例如，可以对待协助场景的画面进行识别，通过识别到的特征物体确定场景类型。例如，若能够识别到服务台、自主取款机(AutomatedTeller Machine，ATM)银行柜台等，则可以确定场景类型为银行，若能够识别到轮椅、老人、护工等，则可以确定场景类型为养老机构等。
当场景类似时，还可以根据协助信息进一步确定场景类型。例如，当识别到轮椅、老人、护工等时，还有可能是医院场景，若协助信息中包括如“养老机构”、“老人院”等关键词，则可以确定场景类型为养老机构。若协助信息中包括如“护士”、“大夫”、“手术”等关键词，则可以确定场景类型为医疗机构。
而根据场景类型和协助信息生成协助动态模型、以及在待协助场景的画面上展示协助动态模型，则可以根据协助信息确定模型的类型。例如，若协助信息用于指示一个区域，则可以建立一个箭头的模型，指向待协助场景的画面中对应的区域，同时可以在箭头的模型上展示文字信息。若协助信息用于指示用户进行特定的动作，则可以建立该动作的模型，该动作可以是静态的，也可以是动态的，若该动作是动态的，则建立的动作模型还包括一个动画效果，以完整展示该动作。
可选的，在展示协助信息时，若协助信息中包括音频和/或文本，则还可以播放音频或展示文本提示信息，进一步的进行提示。
可选的，在待协助场景的画面上展示协助信息之后，该方法还包括：接收协助端设备发送的更新的协助信息。在待协助场景的画面上展示更新的协助信息。由于协助端设备可能会持续发送协助信息，因此可以多次接收协助信息，并将每次接收到的协助信息进行展示。
图2示出了本发明实施例提供的应用于协助端设备的AR远程协助方法的流程示意图。其中，协助端设备可以是手机、平板电脑、笔记本电脑、台式电脑等设备。
参考图2，该方法包括：
S201、响应远程端设备发起的远程协助请求，接收远程端设备发送的待协助场景的数据信息。
其中，数据信息用于绘制待协助场景的画面。
S202、获取协助信息。
其中，协助信息是用户根据待协助场景的数据信息输入的。
一些实施方式中，可以在协助端设备上展示待协助场景的画面。然后用户作用于待协助场景的画面上的协助操作。最后根据协助操作，获取协助信息。其中，协助端设备包括输入装置，如触摸屏、键盘、鼠标等。用户在观看待协助场景后，根据需要进行协助的内容输入相应的协助信息。
例如，若需要指示一个目标区域，则可以接收作用于触摸屏的滑动轨迹，该滑动轨迹的终点指向的区域则为目标区域。或者，需要指示一个预设动作，则可以通过键盘、鼠标选择协助端设备中预先存储的动作信息，作为协助信息。或者，还可以通过麦克风接收用户的语音信息，将语音信息作为协助信息。
S203、将协助信息发送给远程端设备。
可选的，在将协助信息发送给远程端设备之后，还可以获取更新的协助信息，将更新的协助信息发送给远程端设备。更新的协助信息是协助端设备再次接收到的协助信息。
在本实施例中，远程端设备通过接收协助端设备发送的协助信息，并在待协助场景的画面上展示协助信息，可以更加清楚地提示用户应该如何进行操作，使得在进行远程协助时表述更加清晰，提高了远程协助的效率，改善了用户体验。
图3示出了本发明实施例提供的AR远程协助方法的流程示意图。在此，基于图3，对远程端设备和协助端设备之间的交互进行说明。
S301、远程端设备响应第一操作。
S302、远程端设备向协助端设备发起远程协助请求。
S303、远程端设备获取待协助场景的数据信息。
S304、协助端设备响应远程请求。
S305、远程端设备向协助端设备发送数据信息。
S306、协助端设备接收数据信息。
S307、协助端设备获取协助信息。
S308、协助端设备将协助信息发送给远程端设备。
S309、远程端设备接收协助信息。
S310、远程端设备根据待协助场景的画面和协助信息，确定待协助场景的场景类型。
S311、远程端设备根据场景类型和协助信息生成协助动态模型。
S312、远程端设备在待协助场景的画面上展示协助动态模型，并执行S309。
本实施例的有益效果与上述实施例类似，在此不做赘述。
基于前述实施例的AR远程协助方法，本申请实施例还提供了一种AR远程协助方法装置。
图4示出了本发明实施例提供的应用于远程端设备的AR远程协助装置的结构示意图。
如图4所示，本发明实施例提供一种AR远程协助装置，装置包括：
响应模块401，用于响应第一操作，向协助端设备发起远程协助请求。
发送模块402，用于获取待协助场景的数据信息，将数据信息发送给协助端设备，数据信息用于绘制待协助场景的画面。
接收模块403，用于接收协助端设备发送的协助信息。
展示模块404，用于在待协助场景的画面上展示协助信息。
一些实施方式中，协助信息用于指示远程端设备的用户执行相应的操作。协助信息包括语音指示信息、文字指示信息以及协助动态模型信息。
一些实施方式中，展示模块404，具体用于根据待协助场景的画面和协助信息，确定待协助场景的场景类型。根据场景类型和协助动态模型信息生成协助动态模型。在待协助场景的画面上展示协助动态模型。
一些实施方式中，展示模块404，还用于当协助信息包括语音指示信息和/或文字指示信息时，展示语音指示信息和/或文字指示信息。
一些实施方式中，接收模块403，还用于接收协助端设备发送的更新的协助信息。
相应的，展示模块404，还用于在待协助场景的画面上展示更新的协助信息。
一些实施方式中，待协助场景的数据信息包括待协助场景的图像信息，以及待协助场景的音频信息、地理位置信息中的至少一种。
一些实施方式中，展示模块404，具体用于将待协助场景的画面和协助信息发送给预设的云平台，预设的云平台用于根据待协助场景的画面和协助信息确定待协助场景的场景类型。
图5示出了本发明实施例提供的应用于远程端设备的AR远程协助装置的结构示意图。
如图5所示，本发明实施例提供一种AR远程协助装置，装置包括：
接收模块501，用于响应远程端设备发起的远程协助请求，接收远程端设备发送的待协助场景的数据信息，数据信息用于绘制待协助场景的画面。
获取模块502，用于获取协助信息，协助信息是用户根据待协助场景的数据信息输入的。
发送模块503，用于将协助信息发送给远程端设备。
一些实施方式中，协助信息用于指示远程端设备的用户执行相应的操作。协助信息包括语音指示信息、文字指示信息以及协助动态模型信息。
一些实施方式中，获取模块501，具体用于在协助端设备上展示待协助场景的画面。接收用户作用于待协助场景的画面上的协助操作。根据协助操作，获取协助动态模型信息。
一些实施方式中，获取模块501，还用于根据接收到用户的语音信息，获取语音指示信息。
一些实施方式中，获取模块501，还用于根据接收到用户输入的文本信息，获取文字指示信息。
一些实施方式中，发送模块503，还用于获取更新的协助信息，将更新的协助信息发送给远程端设备。
上述装置可以集成于服务器、计算机等设备，本发明在此不作限制。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，该深度学习模型训练装置的具体工作过程，可以参考前述方法实施例中所述的深度学习模型训练方法的对应过程，本发明中不再赘述。
应该理解，以上所描述的装置实施例仅仅是示意性的，本发明实施例所揭露的装置和方法，也可以通过其它的方式实现。例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得用户终端或司机终端执行本发明各个实施例所述方法的全部或部分步骤。
也即，本领域内的技术人员应明白，本发明实施例可以采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式中的任一种实现。
基于此，本发明实施例还提供一种程序产品，该程序产品可以是U盘、移动硬盘、ROM、RAM、磁碟或者光盘等存储介质，存储介质上可以存储有计算机程序，计算机程序被处理器运行时执行如前述方法实施例中所述的深度学习模型训练方法的步骤。具体实现方式和技术效果类似，在此不再赘述。
可选地，本发明实施例还提供一种远程端设备，该远程端设备可以是手机、平板电脑等移动终端设备，图6示出了本发明实施例提供的远程端设备的结构示意图。
如图6所示，该远程端设备6可以包括：处理器601、存储介质602和总线603，存储介质602存储有处理器601可执行的机器可读指令，当电子设备运行时，处理器601与存储介质602之间通过总线603通信，处理器601执行机器可读指令，以执行时执行如前述实施例中所述的深度学习模型训练方法的步骤。具体实现方式和技术效果类似，在此不再赘述。
为了便于说明，在上述远程端设备中仅描述了一个处理器。然而，应当注意，一些实施例中，本发明中的远程端设备还可以包括多个处理器，因此本发明中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。
可选地，本发明实施例还提供一种协助端设备，该协助端设备可以是手机、平板电脑、笔记本电脑、台式电脑等终端设备，图7示出了本发明实施例提供的协助端设备的结构示意图。
如图7所示，该协助端设备7可以包括：处理器701、存储介质702和总线703，存储介质702存储有处理器701可执行的机器可读指令，当电子设备运行时，处理器701与存储介质702之间通过总线703通信，处理器701执行机器可读指令，以执行时执行如前述实施例中所述的深度学习模型训练方法的步骤。具体实现方式和技术效果类似，在此不再赘述。
为了便于说明，在上述协助端设备中仅描述了一个处理器。然而，应当注意，一些实施例中，本发明中的协助端设备还可以包括多个处理器，因此本发明中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。
本发明实施例提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行应用于远程端设备的方法的步骤。
本发明实施例提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行应用于协助端设备的方法的步骤。
以上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (19)

1.一种AR远程协助方法，应用于远程端设备，其特征在于，所述方法包括：
响应第一操作，向协助端设备发起远程协助请求；
获取待协助场景的数据信息，将所述数据信息发送给所述协助端设备，所述数据信息用于绘制所述待协助场景的画面；
接收所述协助端设备发送的协助信息；
在所述待协助场景的画面上展示所述协助信息。
2.根据权利要求1所述的方法，其特征在于，所述协助信息用于指示远程端设备的用户执行相应的操作；
所述协助信息包括语音指示信息、文字指示信息以及协助动态模型信息。
3.根据权利要求2所述的方法，其特征在于，当所述协助信息包括所述协助动态模型信息时，所述在所述待协助场景的画面上展示所述协助信息，包括：
根据所述待协助场景的画面和所述协助信息，确定所述待协助场景的场景类型；
根据所述场景类型和所述协助动态模型信息生成协助动态模型；
在所述待协助场景的画面上展示所述协助动态模型。
4.根据权利要求3所述的方法，其特征在于，在所述待协助场景的画面上展示所述协助动态模型之后，所述方法还包括：
当所述协助信息包括语音指示信息和/或文字指示信息时，展示所述语音指示信息和/或文字指示信息。
5.根据权利要求1-4任一项所述的方法，其特征在于，在所述待协助场景的画面上展示所述协助信息之后，所述方法还包括：
接收所述协助端设备发送的更新的协助信息；
在所述待协助场景的画面上展示所述更新的协助信息。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述待协助场景的数据信息包括所述待协助场景的图像信息，以及待协助场景的音频信息、地理位置信息中的至少一种。
7.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述待协助场景的画面和所述协助信息，确定所述待协助场景的场景类型，包括：
将所述待协助场景的画面和所述协助信息发送给预设的云平台，所述预设的云平台用于根据所述待协助场景的画面和所述协助信息确定所述待协助场景的场景类型。
8.一种AR远程协助方法，应用于协助端设备，其特征在于，所述方法包括：
响应远程端设备发起的远程协助请求，接收所述远程端设备发送的待协助场景的数据信息，所述数据信息用于绘制所述待协助场景的画面；
获取协助信息，所述协助信息是用户根据所述待协助场景的数据信息输入的；
将所述协助信息发送给所述远程端设备。
9.根据权利要求8所述的方法，其特征在于，所述协助信息用于指示远程端设备的用户执行相应的操作；
所述协助信息包括语音指示信息、文字指示信息以及协助动态模型信息。
10.根据权利要求9所述的方法，其特征在于，所述获取协助信息，包括：
在所述协助端设备上展示所述待协助场景的画面；
接收用户作用于所述待协助场景的画面上的协助操作；
根据所述协助操作，获取所述协助动态模型信息。
11.根据权利要求10所述的方法，其特征在于，所述获取协助信息，还包括：
根据接收到用户的语音信息，获取所述语音指示信息。
12.根据权利要求10所述的方法，其特征在于，所述获取协助信息，还包括：
根据接收到用户输入的文本信息，获取所述文字指示信息。
13.根据权利要求9-12任一项所述的方法，其特征在于，在将所述协助信息发送给所述远程端设备之后，所述方法还包括：
获取更新的协助信息，将所述更新的协助信息发送给远程端设备。
14.一种AR远程协助装置，应用于远程端设备，其特征在于，所述装置包括：
响应模块，用于响应第一操作，向协助端设备发起远程协助请求；
发送模块，用于获取待协助场景的数据信息，将所述数据信息发送给所述协助端设备，所述数据信息用于绘制所述待协助场景的画面；
接收模块，用于接收所述协助端设备发送的协助信息；
展示模块，用于在所述待协助场景的画面上展示所述协助信息。
15.一种AR远程协助装置，应用于协助端设备，其特征在于，所述装置包括：
接收模块，用于响应远程端设备发起的远程协助请求，接收所述远程端设备发送的待协助场景的数据信息，所述数据信息用于绘制所述待协助场景的画面；
获取模块，用于获取协助信息，所述协助信息是用户根据所述待协助场景的数据信息输入的；
发送模块，用于将所述协助信息发送给所述远程端设备。
16.一种远程端设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述远程端设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至7任一项所述的方法的步骤。
17.一种协助端设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述协助端设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求8至13任一项所述的方法的步骤。
18.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的方法的步骤。
19.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求8至13任一项所述的方法的步骤。
CN202110165721.8A 2021-02-06 2021-02-06 Ar远程协助方法、装置、设备及存储介质 Pending CN112995299A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110165721.8A CN112995299A (zh) 2021-02-06 2021-02-06 Ar远程协助方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110165721.8A CN112995299A (zh) 2021-02-06 2021-02-06 Ar远程协助方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112995299A true CN112995299A (zh) 2021-06-18

Family

ID=76348575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110165721.8A Pending CN112995299A (zh) 2021-02-06 2021-02-06 Ar远程协助方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112995299A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113703899A (zh) * 2021-08-31 2021-11-26 维沃移动通信有限公司 远程互动协作方法和装置
CN113778596A (zh) * 2021-08-25 2021-12-10 维沃移动通信有限公司 远程协助方法、装置和电子设备
CN113821287A (zh) * 2021-09-06 2021-12-21 深圳太力生物技术有限责任公司 基于机器人的细胞操作任务处理方法、装置、设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130332346A1 (en) * 2011-12-09 2013-12-12 Huawei Technologies Co., Ltd. Self-service terminal, self-service system and transaction service method
WO2015131577A1 (zh) * 2014-09-22 2015-09-11 中兴通讯股份有限公司 一种远程协助方法、装置和计算机存储介质
CN107070980A (zh) * 2017-01-22 2017-08-18 微鲸科技有限公司 智能终端的远程协助方法、装置及系统
CN107395671A (zh) * 2017-06-12 2017-11-24 深圳增强现实技术有限公司 远程协助方法、系统及增强现实终端
CN108063825A (zh) * 2017-12-26 2018-05-22 三星电子（中国）研发中心 一种远程协助方法
CN110661880A (zh) * 2019-10-12 2020-01-07 西安维度视界科技有限公司 一种远程协助方法、系统和存储介质
CN111147810A (zh) * 2018-11-02 2020-05-12 通用汽车有限责任公司 增强现实（ar）远程车辆协助

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130332346A1 (en) * 2011-12-09 2013-12-12 Huawei Technologies Co., Ltd. Self-service terminal, self-service system and transaction service method
WO2015131577A1 (zh) * 2014-09-22 2015-09-11 中兴通讯股份有限公司 一种远程协助方法、装置和计算机存储介质
CN107070980A (zh) * 2017-01-22 2017-08-18 微鲸科技有限公司 智能终端的远程协助方法、装置及系统
CN107395671A (zh) * 2017-06-12 2017-11-24 深圳增强现实技术有限公司 远程协助方法、系统及增强现实终端
CN108063825A (zh) * 2017-12-26 2018-05-22 三星电子（中国）研发中心 一种远程协助方法
CN111147810A (zh) * 2018-11-02 2020-05-12 通用汽车有限责任公司 增强现实（ar）远程车辆协助
CN110661880A (zh) * 2019-10-12 2020-01-07 西安维度视界科技有限公司 一种远程协助方法、系统和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周春波等: "基于增强现实技术的变电运检远程协助平台研究", 《云南水力发电》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113778596A (zh) * 2021-08-25 2021-12-10 维沃移动通信有限公司 远程协助方法、装置和电子设备
CN113703899A (zh) * 2021-08-31 2021-11-26 维沃移动通信有限公司 远程互动协作方法和装置
CN113821287A (zh) * 2021-09-06 2021-12-21 深圳太力生物技术有限责任公司 基于机器人的细胞操作任务处理方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
EP3465620B1 (en) Shared experience with contextual augmentation
CN112995299A (zh) Ar远程协助方法、装置、设备及存储介质
US9317500B2 (en) Synchronizing translated digital content
US9992429B2 (en) Video pinning
US9641471B2 (en) Electronic device, and method and computer-readable recording medium for displaying message in electronic device
US9542949B2 (en) Satisfying specified intent(s) based on multimodal request(s)
CN112068752B (zh) 一种空间展示方法、装置、电子设备及存储介质
KR20170012979A (ko) 영상 공유 서비스를 위한 전자 장치 및 방법
CN113344677B (zh) 直播界面控制的方法、装置、存储介质与电子设备
CN109947528B (zh) 信息处理方法和装置
CN113269611A (zh) Vr看房方法及装置、存储介质及电子设备
CN116567360A (zh) 直播特效处理方法、装置、计算机设备和存储介质
CN112069350A (zh) 歌曲推荐方法、装置、设备以及计算机存储介质
CN111274489A (zh) 信息处理方法、装置、设备及存储介质
JP2023100616A (ja) コンテンツ配信装置、コンテンツ配信プログラム、コンテンツ配信方法、コンテンツ表示装置、コンテンツ表示プログラムおよびコンテンツ表示方法
CN108536830B (zh) 图片动态搜索方法、装置、设备、服务器和存储介质
CN114398135B (zh) 交互方法、装置、电子设备、存储介质和程序产品
EP4351117A1 (en) Information display method and apparatus, and electronic device
CN113126863B (zh) 对象选择实现方法及装置、存储介质及电子设备
CN114296627A (zh) 内容显示方法、装置、设备及存储介质
CN113377271A (zh) 文本获取方法、装置、计算机设备及介质
CN113204724A (zh) 创建互动信息的方法、装置、电子设备及存储介质
CN112272304A (zh) 一种直播处理方法、装置、电子设备及存储介质
CN114415837B (zh) 一种操作辅助系统及方法
CN113840165B (zh) 屏幕录制方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination