CN113542714A - 远程交互通信系统及装置 - Google Patents

远程交互通信系统及装置 Download PDF

Info

Publication number
CN113542714A
CN113542714A CN202110753614.7A CN202110753614A CN113542714A CN 113542714 A CN113542714 A CN 113542714A CN 202110753614 A CN202110753614 A CN 202110753614A CN 113542714 A CN113542714 A CN 113542714A
Authority
CN
China
Prior art keywords
terminal
picture data
user
edge computing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110753614.7A
Other languages
English (en)
Inventor
邹彭
王琪栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evergrande New Energy Automobile Investment Holding Group Co Ltd
Original Assignee
Evergrande New Energy Automobile Investment Holding Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evergrande New Energy Automobile Investment Holding Group Co Ltd filed Critical Evergrande New Energy Automobile Investment Holding Group Co Ltd
Priority to CN202110753614.7A priority Critical patent/CN113542714A/zh
Publication of CN113542714A publication Critical patent/CN113542714A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种远程交互通信系统及装置，该系统包括：第一AR终端、边缘计算设备、AR服务平台及第二AR终端，第一AR终端采集当前的画面数据并传输至边缘计算设备；边缘计算设备对第一AR终端的画面数据进行处理得到有效画面数据，并传输至AR服务平台；AR服务平台将有效画面数据传输至第二AR终端；第二AR终端将有效画面数据对应的画面展示给第二用户，接收第二用户对展示画面操作产生的反馈信息，并通过AR服务平台、边缘计算设备转发至第一AR终端以展示给第一用户。本申请可以提高远程交互反馈的及时、有效性。

Description

远程交互通信系统及装置
技术领域
本申请涉及智能制造领域，尤其涉及一种远程交互通信系统及装置。
背景技术
随着维修场景日渐复杂，设计、培训和维修周期却被要求变得越来越短，损坏设备的及时维修维护是生产线正常运行的重要前提条件。然而，传统维修维保工作通常是前端的现场工作人员通过工业局域网进行视频录制，录制完毕上传至远程服务器中进行存储。后端人员通过远程服务器挑选所需的画面数据进行查看，再给出相应解决办法，并反馈至现场工作人员。
后端人员无法进行实时在线协助处理，只能事后通过查看全部画面数据确认问题，耗时长且反馈效率低。此外，网络部署周期长，需占用大量服务器资源进行录制视频资源存储及处理，严重影响服务器稳定。
如何提高诸如维修场景远程交互反馈的及时、有效性，是目前需要解决的技术问题。
发明内容
本申请实施例的目的是提供一种远程交互通信系统及装置，用以解决现有远程交互通信反馈不够及时有效的问题。
为了解决上述技术问题，本说明书是这样实现的：
第一方面，提供了一种远程交互通信系统，包括：第一增强现实AR终端、边缘计算设备、AR服务平台及第二AR终端，
第一AR终端，采集当前的画面数据并传输至边缘计算设备；以及从边缘计算设备接收第二AR终端针对画面数据的反馈信息并展示；
边缘计算设备，设置在第一AR终端和AR服务平台之间以对第一AR终端的画面数据进行处理得到画面数据中的有效画面数据，并将有效画面数据传输至AR服务平台；以及从AR服务平台接收第二AR终端针对画面数据的反馈并转发至第一AR终端；
AR服务平台，根据第一AR终端的有效画面数据确定第一AR终端的第一用户对应的第二用户，并将有效画面数据传输至第二用户对应的第二AR终端；以及接收第二AR终端发送的反馈信息并转发至边缘计算设备；
第二AR终端，将有效画面数据对应的画面展示给第二用户；以及接收第二用户对有效画面数据的画面操作产生的反馈信息。
可选的，边缘计算设备对第一AR终端的画面数据进行处理得到画面数据中的有效画面数据，具体包括：根据第一AR终端与第二AR终端对应的远程交互应用场景，确定画面数据中的有效画面数据；将有效画面数据转换为图像数据、视频数据和音频数据中的至少一项。
可选的，有效画面数据包括第一AR终端暂停采集时当前画面数据对应的图像数据，第一AR终端从边缘计算设备接收第二AR终端针对画面数据的反馈信息并展示，包括：从边缘计算设备接收第二用户对图像数据对应画面进行标注后的第一标注画面；将第一标注画面AR展示给第一用户。
可选的，在将第一标注画面AR展示给第一用户之后，第一AR终端还用于：恢复采集当前画面数据。
可选的，有效画面数据包括第一AR终端采集的画面数据对应的视频数据，第一AR终端从边缘计算设备接收第二AR终端针对画面数据的反馈信息并展示，包括：从边缘计算设备接收第二用户的第二标注画面，第二标注画面为第二用户对视频数据中的目标画面进行标注后的画面；将第二标注画面AR展示给第一用户。
可选的，有效画面数据包括第一AR终端采集的画面数据对应的视频数据，第一AR终端从边缘计算设备接收第二AR终端针对画面数据的反馈信息并展示，包括：从边缘计算设备接收第二用户的操作文件，操作文件为第二用户基于视频数据中的目标画面反馈的操作文件；将操作文件AR展示给第一用户。
可选的，有效画面数据包括第一AR终端采集的画面数据对应的音频数据，第一AR终端从边缘计算设备接收第二AR终端针对画面数据的反馈信息并展示，包括：从边缘计算设备接收第二用户的语音数据，语音数据为第二用户基于音频数据反馈的语音；将第二用户反馈的语音播放给第一用户。
可选的，第一AR终端、边缘计算设备、AR服务平台及第二AR终端之间通过5G专用网络进行远程交互通信。
第二方面，提供了一种边缘计算设备，设置在第一AR终端和AR服务平台之间，边缘计算设备包括：处理模块，对第一AR终端采集的画面数据进行处理，以得到画面数据中的有效画面数据；传输模块，将有效画面数据传输至AR服务平台，AR服务平台用于将有效画面数据传输至目标第二AR终端以获取目标第二AR终端针对有效画面数据的反馈信息；转发模块，从AR服务平台接收反馈信息并转发至第一AR终端，第一AR终端接收反馈信息并展示。
第三方面，提供了一种AR服务平台，设置在第二AR终端和边缘计算设备之间，AR服务平台包括：接收模块，从边缘计算设备接收第一AR终端采集的有效画面数据；确定模块，根据有效画面数据确定第一AR终端的第一用户对应的第二用户；传输模块，将有效画面数据传输至第二用户对应的第二AR终端；转发模块，接收第二AR终端针对有效画面数据发送的反馈信息并转发至边缘计算设备，边缘计算设备用于将反馈信息转发至第一AR终端进行展示。
在本申请实施例中，远程交互通信系统包括第一AR终端、边缘计算设备、AR服务平台及第二AR终端，第一AR终端采集当前的画面数据并传输至边缘计算设备；边缘计算设备对第一AR终端的画面数据进行处理得到有效画面数据，并传输至AR服务平台；AR服务平台将有效画面数据传输至第二AR终端；第二AR终端将有效画面数据对应的画面展示给第二用户，接收第二用户对展示画面操作产生的反馈信息，并通过AR服务平台、边缘计算设备转发至第一AR终端以展示给第一用户，由此通过多端AR交互、边缘计算设备提取有效画面数据传输及云平台数据中转，而无需远程服务器再进行画面数据处理，从而具有可以显著缩短数据传输周期距离，降低画面显示时延，当前采集画面实现及时同步，传输速度快且视频流畅，提升远程交互效率的优点。通过设置本地侧边缘计算设备处理得到有效画面数据至远程服务器，无需占用大量远程服务器资源，所有的画面数据下沉至本地服务器，可以保证远程服务器的稳定，满足远程交互通信系统的安全保护需求。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请实施例的远程交互通信系统的结构方框图。
图2是本申请实施例的远程交互通信系统的应用场景示例图。
图3是本申请实施例的边缘计算设备的结构方框图。
图4是本申请实施例的AR服务平台的结构方框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请中附图编号仅用于区分方案中的各个步骤，不用于限定各个步骤的执行顺序，具体执行顺序以说明书中描述为准。
为了解决现有技术中存在的问题，本申请实施例提供一种远程交互通信系统，包括第一增强现实(Augmented Reality,AR)终端、边缘计算设备、AR服务平台及第二AR终端。
第一AR终端，采集当前的画面数据并传输至边缘计算设备，以及从边缘计算设备接收第二AR终端针对画面数据的反馈信息并展示。
边缘计算设备，设置在第一AR终端和AR服务平台之间以对第一AR终端的画面数据进行处理得到画面数据中的有效画面数据，并将有效画面数据传输至AR服务平台，以及从AR服务平台接收第二AR终端针对画面数据的反馈并转发至第一AR终端。
AR服务平台，根据第一AR终端的有效画面数据确定第一AR终端的第一用户对应的第二用户，并将有效画面数据传输至第二用户对应的第二AR终端，以及接收第二AR终端发送的反馈信息并转发至边缘计算设备。
第二AR终端，将有效画面数据对应的画面展示给第二用户，以及接收第二用户对有效画面数据的画面操作产生的反馈信息。
图1示出了本申请实施例的远程交互通信系统的结构方框图，如图1所示，远程交互通信系统100包括第一AR终端10、边缘计算设备20、AR服务平台30及第二AR终端40。
第一AR终端10与边缘计算设备20连接，边缘计算设备20与AR服务平台30连接，AR服务平台30与第二AR终端40连接，由此第一AR终端10依次通过边缘计算设备20、AR服务平台30而实现与第二AR终端40的交互。
第一AR终端10与边缘计算设备20之间可以通过Wi-Fi、2G/3G/4G/5G网络通信等进行无线连接。
边缘计算设备20与AR服务平台30之间、AR服务平台30与第二AR终端40之间可以通过无线连接，其中无线连接具体地可以包括2G/3G/4G/5G网络通信等。
本申请实施例中，第一AR终端、边缘计算设备、AR服务平台及第二AR终端对应的两两设备之间，优选通过5G专用网络进行无线连接通信，下文中会展开说明，这里不再赘述。
第一AR终端10例如是第一用户佩戴的AR眼镜，通过AR眼镜对当前场景，例如设备维修作业场景，进行现场画面采集，得到对应的画面数据。在一个实施例中，画面数据包括图像数据、视频数据和音频数据中至少一项。
在第一AR终端10采集当前画面的过程中，如果持续录制则可以得到对应的连续视频或音频数据。此外，第一AR终端10可根据接收到的第一用户的预定指令，例如暂停口令，可实现将当前采集画面暂停，即冻屏得到对应的图像数据。第一AR终端10可将采集或接收的画面数据通过AR的方式展示给第一用户。
边缘计算设备20设置在第一AR终端10的边缘侧，通过在第一AR终端10的本地部署服务器边缘节点，可以单独划分出专用区域用于实时接收第一AR终端10当前采集的画面数据，并进行存储、处理及同步传输至AR服务平台30。
第一AR终端10采集的所有画面数据直接在本地的边缘计算设备20进行处理，本申请实施例中，边缘计算设备20可以对第一AR终端10采集的画面数据进行实时同步优化处理，以及时过滤筛选出其中的有效画面数据。这里，有效画面数据是第一AR终端10向第二AR终端40发起的远程交互过程中，需要第二AR终端40针对性反馈的画面数据。
可选的，边缘计算设备20对第一AR终端10的画面数据进行处理得到画面数据中的有效画面数据，具体包括：根据第一AR终端10与第二AR终端20对应的远程交互应用场景，确定画面数据中的有效画面数据；将有效画面数据转换为图像数据、视频数据和音频数据中的至少一项。
例如远程交互应用场景为设备维修，因此边缘计算设备20可以将第一AR终端10采集的与设备维修无关的画面数据剔除掉，剩余的为有效画面数据，例如待维修设备的具体出现故障的具体部位或状态画面；或者，将第一AR终端10根据第一用户的暂停指令当前冻屏的画面数据筛选为有效画面数据；或者，某些场合下，第二用户仅需要设备维修现场的音频来进行反馈。
如此，边缘计算设备20可仅将筛选的有效画面数据传输至远程的AR服务平台30，并通过AR服务平台30中转至第二AR终端40。相比现有技术将所有现场采集画面均传输并存储至远程服务器的方式，本申请能够利用有限的网络带宽实现第一AR终端10与第二AR终端40的及时有效的远程交互通信。
AR服务平台30在接收到边缘计算设备20同步传输的有效画面数据后，首先确定与第一用户交互的第二用户，再将该有效画面数据传输至第二用户对应的第二AR终端。
本申请实施例中，AR服务平台30可以支持多方AR终端协作，多方用户共同接入AR服务平台中，进行多方多人实时远程交互通讯，支持一对多、一对多、多对多等各种场景。
第二AR终端40可以是与AR服务平台交互的显示设备，例如AR眼镜、移动终端、个人电脑等等，用于展示画面给第二用户。第二AR终端40还可以根据第二用户对展示画面的操作，例如对画面进行文字或图形的标注，根据画面场景提供对应的操作手册、说明书等操作文件，或者发送语音指导等反馈信息。
在第一AR终端10与第二AR终端40进行远程交互通信时，若有效画面数据包括第一AR终端暂停采集时当前画面数据对应的图像数据，则第一AR终端从边缘计算设备接收第二AR终端针对画面数据的反馈信息并展示，包括：从边缘计算设备接收第二用户对图像数据对应画面进行标注后的第一标注画面；将第一标注画面AR展示给第一用户。
在该实施例中，边缘计算设备20将第一AR终端10暂停当前采集时的暂停画面经有效画面数据筛选处理后，将对应转换的图像数据同步传输至AR服务平台30，由AR服务平台30将该图像数据转发至第二AR终端40，由第二AR终端40展示给对应的第二用户，例如远程专家。第二用户可以远程对暂停画面进行文字或图形的标注，例如标注暂停画面对应的待维修设备的某个或某些位置需要怎么操作，哪个位置有问题需要维修等等，这些具有标注信息的画面数据可通过AR服务平台30反向传输至第一AR终端10，并展示给佩戴第一AR终端10的第一用户。
在将第一标注画面AR展示给第一用户之后，第一AR终端还用于：恢复采集当前画面数据。
第一用户在接收到第二用户的反馈后，根据反馈对应执行相应操作，此时可以恢复第一AR终端10的画面数据采集，以及时通过边缘计算设备20、AR服务平台30和第二AR终端40将实时采集的画面展示给第二用户，以便第二用户继续跟踪第一用户的当前操作再进行相应的反馈。
在一个实施例中，有效画面数据包括第一AR终端采集的画面数据对应的视频数据，第一AR终端从边缘计算设备接收第二AR终端针对画面数据的反馈信息并展示，包括：从边缘计算设备接收第二用户的第二标注画面，第二标注画面为第二用户对视频数据中的目标画面进行标注后的画面；将第二标注画面AR展示给第一用户。
该实施例中，边缘计算设备20将第一AR终端10实时采集的画面数据经有效画面数据筛选处理后，将对应转换的视频数据同步传输至AR服务平台30，由AR服务平台30将该视频数据转发至第二AR终端40，由第二AR终端40展示给对应的第二用户。第二用户可以在实时观看接收的视频数据对应视频过程中，随时暂停视频播放，并对当前暂停的目标画面进行文字或图形的标注，这些具有标注信息的画面数据可通过AR服务平台30反向传输至第一AR终端10，并展示给佩戴第一AR终端10的第一用户。
在一个实施例中，有效画面数据包括第一AR终端采集的画面数据对应的视频数据，第一AR终端从边缘计算设备接收第二AR终端针对画面数据的反馈信息并展示，包括：从边缘计算设备接收第二用户的操作文件，操作文件为第二用户基于视频数据中的目标画面反馈的操作文件；将操作文件AR展示给第一用户。
与上述实施例不同的时，该实施例中第二用户可以在实时观看接收的视频数据对应视频过程中，根据播放视频中第一用户展示的画面内容提供对应的操作文件，例如第二用户从播放视频中发现当前第一用户需要借助说明书维修设备时，则可以获取对应的说明书等操作文件，并及时通过AR服务平台30反向传输至第一AR终端10，并AR展示给佩戴第一AR终端10的第一用户。
在一个实施例中，有效画面数据包括第一AR终端采集的画面数据对应的音频数据，第一AR终端从边缘计算设备接收第二AR终端针对画面数据的反馈信息并展示，包括：从边缘计算设备接收第二用户的语音数据，语音数据为第二用户基于音频数据反馈的语音；将第二用户反馈的语音播放给第一用户。
该实施例中，边缘计算设备20将第一AR终端10实时采集的画面数据经有效画面数据筛选处理后，将对应转换的音频数据同步传输至AR服务平台30，由AR服务平台30将该音频数据转发至第二AR终端40，由第二AR终端40播放给对应的第二用户。或者，由AR服务平台30将该音频数据转换为第二AR终端40可展示的文字后转发至第二AR终端40，由第二AR终端40展示给对应的第二用户。第二用户可以根据接收的音频数据提供对应的语音反馈，这些语音反馈信息可通过AR服务平台30反向传输至第一AR终端10，并播放或展示给佩戴第一AR终端10的第一用户。
在本申请实施例的远程交互通信系统中，通过多端AR交互、边缘计算设备提取有效画面数据传输及云平台数据中转，而无需远程服务器再进行画面数据处理，从而具有可以显著缩短数据传输周期距离，降低画面显示时延，当前采集画面实现及时同步，传输速度快且视频流畅，提升远程交互效率的优点。通过设置本地侧边缘计算设备处理得到有效画面数据至远程服务器，无需占用大量远程服务器资源，所有的画面数据下沉至本地服务器，可以保证远程服务器的稳定，满足远程交互通信系统的安全保护需求。
本申请实施例的系统可以应用于不同的业务场景，实现信息及时有效的实时交互，实现远程在线辅助。
可选的，第一AR终端、边缘计算设备、AR服务平台及第二AR终端之间通过5G专用网络进行远程交互通信。
本申请实施例中，在远程交互通信系统部署5G工业网络，现场已有前提下，通过5G客户前置设备(Customer Premise Equipment，CPE)网关把5G信号基站传输的5G信号转换为Wi-Fi信号，用户佩戴的AR终端可以通过5GWi-Fi连接到5G信号。通过5G网络进行实时远程交互，可以进一步降低画面显示时延。
此外，可以把5G进行网络切片，根据不同的远程交互通信应用场景定制独立网络支撑，从而根据不同行业不同企业的需求，对5G网络进行定制化的划分得到专用的5G子网络。切片完后把AR服务平台部署在该专用子网络以专门进行画面数据收发处理，保证资源最大利用并提高远程交互通信的可靠性。
下面，结合图2的示例的应用场景对本申请实施例的远程交互通信系统进行展开说明。
如图2所示，现场工作人员通过佩戴的AR眼镜采集待维修设备的维修现场画面，从而抓取现场信息。其中AR眼镜通过5G CPE实现5G网络通信，从而将抓取的现场信息通过5G基站实时上传至边缘计算技术(Mobile Edge Computing，MEC)服务器。由MEC服务器进行处理以得到现场信息中的有效画面数据，MEC服务器将有效画面数据传输至与现场工作人员对应远程交互的远程专家的显示终端，以展示给远程专家，由此远程专家可以根据实时展示的画面及时提供反馈信息，以对现场工作人员进行维修作业指导。
可选的，本申请实施例还提供了一种边缘计算设备，设置在第一AR终端和AR服务平台之间，图3是本申请实施例的边缘计算设备的结构方框图。
如图3所示，边缘计算设备20包括处理模块202、传输模块204及转发模块206。
处理模块202，对第一AR终端采集的画面数据进行处理，以得到画面数据中的有效画面数据；
传输模块204，将有效画面数据传输至AR服务平台，AR服务平台用于将有效画面数据传输至目标第二AR终端以获取目标第二AR终端针对有效画面数据的反馈信息；
转发模块206，从AR服务平台接收反馈信息并转发至第一AR终端，第一AR终端接收反馈信息并展示。
本说明书实施例提供的边缘计算设备20能够实现图1至图2实施例的边缘计算设备实现的各个过程，为避免重复，这里不再赘述。
可选的，本申请实施例还提供了一种AR服务平台，设置在第二AR终端和边缘计算设备之间，图4是本申请实施例的AR服务平台的结构方框图。
如图4所示，AR服务平台30包括接收模块302、确定模块304、传输模块306及转发模块308。
接收模块302，从边缘计算设备接收第一AR终端采集的有效画面数据；
确定模块304，根据有效画面数据确定第一AR终端的第一用户对应的第二用户；
传输模块306，将有效画面数据传输至第二用户对应的第二AR终端；
转发模块308，接收第二AR终端针对有效画面数据发送的反馈信息并转发至边缘计算设备，边缘计算设备用于将反馈信息转发至第一AR终端进行展示。
本说明书实施例提供的AR服务平台30能够实现图1至图2实施例的AR服务平台实现的各个过程，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种远程交互通信系统，其特征在于，包括：第一增强现实AR终端、边缘计算设备、AR服务平台及第二AR终端，
所述第一AR终端，采集当前的画面数据并传输至所述边缘计算设备；以及从所述边缘计算设备接收第二AR终端针对所述画面数据的反馈信息并展示；
所述边缘计算设备，设置在所述第一AR终端和AR服务平台之间以对所述第一AR终端的画面数据进行处理得到所述画面数据中的有效画面数据，并将所述有效画面数据传输至所述AR服务平台；以及从所述AR服务平台接收第二AR终端针对所述画面数据的反馈并转发至所述第一AR终端；
所述AR服务平台，根据所述第一AR终端的有效画面数据确定所述第一AR终端的第一用户对应的第二用户，并将所述有效画面数据传输至所述第二用户对应的第二AR终端；以及接收所述第二AR终端发送的反馈信息并转发至所述边缘计算设备；
所述第二AR终端，将所述有效画面数据对应的画面展示给所述第二用户；以及接收所述第二用户对所述有效画面数据的画面操作产生的反馈信息。
2.如权利要求1所述的系统，其特征在于，所述边缘计算设备对所述第一AR终端的画面数据进行处理得到所述画面数据中的有效画面数据，具体包括：
根据所述第一AR终端与所述第二AR终端对应的远程交互应用场景，确定所述画面数据中的有效画面数据；
将所述有效画面数据转换为图像数据、视频数据和音频数据中的至少一项。
3.如权利要求2所述的系统，其特征在于，所述有效画面数据包括所述第一AR终端暂停采集时当前画面数据对应的图像数据，
所述第一AR终端从所述边缘计算设备接收第二AR终端针对所述画面数据的反馈信息并展示，包括：
从所述边缘计算设备接收所述第二用户对所述图像数据对应画面进行标注后的第一标注画面；
将所述第一标注画面AR展示给所述第一用户。
4.如权利要求3所述的系统，其特征在于，在将所述第一标注画面AR展示给所述第一用户之后，所述第一AR终端还用于：
恢复采集当前画面数据。
5.如权利要求2所述的系统，其特征在于，所述有效画面数据包括所述第一AR终端采集的画面数据对应的视频数据，
所述第一AR终端从所述边缘计算设备接收第二AR终端针对所述画面数据的反馈信息并展示，包括：
从所述边缘计算设备接收所述第二用户的第二标注画面，所述第二标注画面为所述第二用户对所述视频数据中的目标画面进行标注后的画面；
将所述第二标注画面AR展示给所述第一用户。
6.如权利要求2所述的系统，其特征在于，所述有效画面数据包括所述第一AR终端采集的画面数据对应的视频数据，
所述第一AR终端从所述边缘计算设备接收第二AR终端针对所述画面数据的反馈信息并展示，包括：
从所述边缘计算设备接收所述第二用户的操作文件，所述操作文件为所述第二用户基于所述视频数据中的目标画面反馈的操作文件；
将所述操作文件AR展示给所述第一用户。
7.如权利要求1所述的系统，其特征在于，所述有效画面数据包括所述第一AR终端采集的画面数据对应的音频数据，
所述第一AR终端从所述边缘计算设备接收第二AR终端针对所述画面数据的反馈信息并展示，包括：
从所述边缘计算设备接收所述第二用户的语音数据，所述语音数据为所述第二用户基于所述音频数据反馈的语音；
将所述第二用户反馈的语音播放给所述第一用户。
8.如权利要求1所述的系统，其特征在于，所述第一AR终端、所述边缘计算设备、所述AR服务平台及所述第二AR终端之间通过5G专用网络进行远程交互通信。
9.一种边缘计算设备，其特征在于，设置在第一AR终端和AR服务平台之间，所述边缘计算设备包括：
处理模块，对所述第一AR终端采集的画面数据进行处理，以得到所述画面数据中的有效画面数据；
传输模块，将所述有效画面数据传输至所述AR服务平台，所述AR服务平台用于将所述有效画面数据传输至目标第二AR终端以获取目标第二AR终端针对所述有效画面数据的反馈信息；
转发模块，从所述AR服务平台接收所述反馈信息并转发至所述第一AR终端，所述第一AR终端接收所述反馈信息并展示。
10.一种AR服务平台，其特征在于，设置在第二AR终端和边缘计算设备之间，所述AR服务平台包括：
接收模块，从所述边缘计算设备接收所述第一AR终端采集的有效画面数据；
确定模块，根据所述有效画面数据确定所述第一AR终端的第一用户对应的第二用户；
传输模块，将所述有效画面数据传输至所述第二用户对应的第二AR终端；
转发模块，接收所述第二AR终端针对所述有效画面数据发送的反馈信息并转发至所述边缘计算设备，所述边缘计算设备用于将所述反馈信息转发至所述第一AR终端进行展示。
CN202110753614.7A 2021-07-02 2021-07-02 远程交互通信系统及装置 Pending CN113542714A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110753614.7A CN113542714A (zh) 2021-07-02 2021-07-02 远程交互通信系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110753614.7A CN113542714A (zh) 2021-07-02 2021-07-02 远程交互通信系统及装置

Publications (1)

Publication Number Publication Date
CN113542714A true CN113542714A (zh) 2021-10-22

Family

ID=78097689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110753614.7A Pending CN113542714A (zh) 2021-07-02 2021-07-02 远程交互通信系统及装置

Country Status (1)

Country Link
CN (1) CN113542714A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107547554A (zh) * 2017-09-08 2018-01-05 北京枭龙科技有限公司 一种基于增强现实的智能设备远程协助系统
CN108170273A (zh) * 2017-12-28 2018-06-15 南京华讯方舟通信设备有限公司 一种基于hololens眼镜的专家远程指导系统及实现方法
CN110519562A (zh) * 2019-08-06 2019-11-29 广州慧睿思通信息科技有限公司 移动侦测方法、装置和系统
CN110581898A (zh) * 2019-10-09 2019-12-17 成都康胜思科技有限公司 基于5g和边缘计算的物联网数据终端系统
CN110740285A (zh) * 2019-10-30 2020-01-31 中车青岛四方机车车辆股份有限公司 一种远程信息处理方法和装置
CN110784628A (zh) * 2019-08-14 2020-02-11 腾讯科技（深圳）有限公司 图像数据的采集处理方法、系统及智能摄像头、服务器
CN110913181A (zh) * 2019-12-06 2020-03-24 太原师范学院 一种基于边缘计算的仓库视频监控系统
CN111541866A (zh) * 2020-03-18 2020-08-14 青岛达摩智联高新技术服务有限公司 一种基于5g的远程协助装置及方法
CN111736553A (zh) * 2020-06-23 2020-10-02 深圳市同益实业股份有限公司 基于工业互联网平台的远程可视化试模系统
CN112788273A (zh) * 2019-11-08 2021-05-11 华为技术有限公司 一种增强现实ar通信系统及基于ar的通信方法
CN112949376A (zh) * 2020-12-17 2021-06-11 宽衍(北京)科技发展有限公司 一种适应于地铁站点的远程协助系统
CN112947585A (zh) * 2021-04-09 2021-06-11 广东电网有限责任公司电力调度控制中心 基于5g云边端协同的电网无人机巡检方法、装置和系统
US20210192413A1 (en) * 2018-04-30 2021-06-24 Telefonaktiebolaget Lm Ericsson (Publ) Automated augmented reality rendering platform for providing remote expert assistance

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107547554A (zh) * 2017-09-08 2018-01-05 北京枭龙科技有限公司 一种基于增强现实的智能设备远程协助系统
CN108170273A (zh) * 2017-12-28 2018-06-15 南京华讯方舟通信设备有限公司 一种基于hololens眼镜的专家远程指导系统及实现方法
US20210192413A1 (en) * 2018-04-30 2021-06-24 Telefonaktiebolaget Lm Ericsson (Publ) Automated augmented reality rendering platform for providing remote expert assistance
CN110519562A (zh) * 2019-08-06 2019-11-29 广州慧睿思通信息科技有限公司 移动侦测方法、装置和系统
CN110784628A (zh) * 2019-08-14 2020-02-11 腾讯科技（深圳）有限公司 图像数据的采集处理方法、系统及智能摄像头、服务器
CN110581898A (zh) * 2019-10-09 2019-12-17 成都康胜思科技有限公司 基于5g和边缘计算的物联网数据终端系统
CN110740285A (zh) * 2019-10-30 2020-01-31 中车青岛四方机车车辆股份有限公司 一种远程信息处理方法和装置
CN112788273A (zh) * 2019-11-08 2021-05-11 华为技术有限公司 一种增强现实ar通信系统及基于ar的通信方法
CN110913181A (zh) * 2019-12-06 2020-03-24 太原师范学院 一种基于边缘计算的仓库视频监控系统
CN111541866A (zh) * 2020-03-18 2020-08-14 青岛达摩智联高新技术服务有限公司 一种基于5g的远程协助装置及方法
CN111736553A (zh) * 2020-06-23 2020-10-02 深圳市同益实业股份有限公司 基于工业互联网平台的远程可视化试模系统
CN112949376A (zh) * 2020-12-17 2021-06-11 宽衍(北京)科技发展有限公司 一种适应于地铁站点的远程协助系统
CN112947585A (zh) * 2021-04-09 2021-06-11 广东电网有限责任公司电力调度控制中心 基于5g云边端协同的电网无人机巡检方法、装置和系统

Similar Documents

Publication Publication Date Title
CN106331613B (zh) 一种基于无人机的通信方法及系统
CN102571726A (zh) 多媒体数据共享的方法、系统及状态判定服务器
CN110248226A (zh) 信息的投屏方法、装置、系统、存储介质和处理器
CN108734808A (zh) 一种巡更方法及系统
CN107092965A (zh) 一种基于故障信息的电力应急指挥方法和系统
CN102821271A (zh) 3g远程视频传输系统
CN102376071A (zh) 保险定损移动查勘系统
CN101888302A (zh) 一种远程会议用交互式图像信息传递系统和方法
CN105897885A (zh) 跨网络数据传输方法和装置
CN105574955A (zh) 一种共享行车记录信息的方法、设备、装置及系统
CN102404559A (zh) 一种视频监控系统与方法
CN102413429B (zh) 基于无线网络标识信号的信息广播方法、系统和客户端
CN106603537A (zh) 一种移动智能终端标注视频信号源的系统及方法
CN108696720B (zh) 一种适用于卫星通信的视频调度系统和方法
CN104349110A (zh) 终端远程交互方法和系统
US11258939B2 (en) System, method and apparatus for networking independent synchronized generation of a series of images
CN103780325A (zh) 一种卫星传输监控监测系统
CN113542714A (zh) 远程交互通信系统及装置
CN103905782A (zh) 移动指挥系统及移动指挥终端系统
CN101453796A (zh) 行动通讯装置即时互动方法
CN115633147A (zh) 一种基于5g多视角的多人远程协作指导系统
CN202931489U (zh) 现场数据的视频回传设备及系统、远程控制系统
CN111556289B (zh) 图像分发方法和系统
CN103476021A (zh) 一种视频监控同步记录移动设备信息的装置
CN101783930A (zh) 一种电视机的交互方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211022

WD01 Invention patent application deemed withdrawn after publication