CN110740285A - 一种远程信息处理方法和装置 - Google Patents

一种远程信息处理方法和装置 Download PDF

Info

Publication number
CN110740285A
CN110740285A CN201911046881.XA CN201911046881A CN110740285A CN 110740285 A CN110740285 A CN 110740285A CN 201911046881 A CN201911046881 A CN 201911046881A CN 110740285 A CN110740285 A CN 110740285A
Authority
CN
China
Prior art keywords
terminal
data
target
server
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911046881.XA
Other languages
English (en)
Inventor
姜良奎
张恒志
张琪
林蓝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
CRRC Qingdao Sifang Co Ltd
Original Assignee
Ocean University of China
CRRC Qingdao Sifang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China, CRRC Qingdao Sifang Co Ltd filed Critical Ocean University of China
Priority to CN201911046881.XA priority Critical patent/CN110740285A/zh
Publication of CN110740285A publication Critical patent/CN110740285A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本申请实施例公开了一种远程信息处理方法和装置,该方法包括第一终端、第二终端和服务器,该第一终端可以是现场运维人员处的终端,第二终端可以是远程指导人员处的终端,在该方法中,第一终端可以采集目标画面的第一视频流数据,并将第一视频流数据发送至服务器,以便服务器将所述第一视频流数据发送至第二终端。其中,目标画面中包括目标设备。第一终端接收服务器发送的第二视频流数据,第二视频流数据是第二终端将第一视频流数据和触屏数据进行整合得到的,触屏数据是第二终端在显示第一视频流数据的过程中通过触屏输入的标记数据。

Description

一种远程信息处理方法和装置
技术领域
本申请涉及网络技术领域,特别是涉及一种远程信息处理方法和装置。
背景技术
轨道交通的飞速发展已经引起了国内外的广泛关注,然而,传统的轨道交通管理模式越来越无法适应智能工业时代需求。
实际上,目前对轨道交通工具的运维人员的培训力度还远远不够,如此,导致运维人员的运维工作不够熟练。当运维人员需要对设备进行运维时,通常还需要更专业的人士进行远程指导,才能更高效的完成对设备的运维工作。因此,为运维人员提供运维过程中的远程指导是非常重要的。
目前,运维过程中的远程指导通常是单一的远程视频沟通,运维人员很难较好的理解远程指导人员的表述内容,从而无法实现与远程指导人员进行有效的沟通。
可见,如何提高远程指导的沟通效果,是目前亟需解决的问题。
发明内容
为了解决上述技术问题,本申请提供了一种远程信息处理方法,使得手持第一终端的现场运维人员可以根据目标画面上的标记数据,更好的理解第二终端处的远程指导人员的表述内容,从而实现与远程指导人员进行有效的沟通。
本申请实施例公开了如下技术方案:
本申请实施例提供了一种远程信息处理方法,所述方法包括:
第一终端采集目标画面的第一视频流数据,并将所述第一视频流数据发送至服务器,以便所述服务器将所述第一视频流数据发送至第二终端,所述目标画面中包括目标设备;
所述第一终端接收所述服务器发送的第二视频流数据,所述第二视频流数据是所述第二终端将所述第一视频流数据和触屏数据进行整合得到的,所述触屏数据是所述第二终端在显示所述第一视频流数据的过程中通过触屏输入的标记数据。
可选的,所述触屏数据中包括触屏坐标,在所述第一终端接收所述服务器发送的第二视频流数据之后,所述方法还包括:
所述第一终端将所述触屏坐标转换为三维坐标;
所述第一终端根据所述三维坐标,将所述标记数据渲染至所述第一终端显示的视频帧中。
可选的,所述方法还包括:
所述第一终端接收所述服务器发送的第一目标数据,所述第一目标数据是所述第二终端发送至所述服务器后由所述服务器发送至所述第一终端的。
可选的,所述服务器中存储有多个设备的图像数据和对应的设备编号,所述方法还包括:
所述第一终端采集目标图像,并将所述目标图像发送至所述服务器,所述目标图像中包括目标设备;
所述第一终端接收所述服务器发送的第二目标数据,所述第二目标数据是所述服务器在根据所述目标图像中的目标设备识别出对应的目标设备编号后确定的数据。
可选的,所述第二目标数据包括所述目标设备的设备信息、实测数据或维修教程中的一种或多种。
本申请实施例还提供了一种远程信息处理装置,所述装置包括:
第一采集单元,用于采集目标画面的第一视频流数据,并将所述第一视频流数据发送至服务器,以便所述服务器将所述第一视频流数据发送至第二终端,所述目标画面中包括目标设备;
第一接收单元,用于接收所述服务器发送的第二视频流数据,所述第二视频流数据是所述第二终端将所述第一视频流数据和触屏数据进行整合得到的,所述触屏数据是所述第二终端在显示所述第一视频流数据的过程中通过触屏输入的标记数据。
可选的,所述装置还包括:
转换单元,用于在所述第一终端接收所述服务器发送的第二视频流数据之后,将所述触屏坐标转换为三维坐标,所述触屏数据中包括触屏坐标,;
渲染单元,用于根据所述三维坐标,将所述标记数据渲染至所述第一终端显示的视频帧中。
可选的,所述装置还包括:
第二接收单元,用于接收所述服务器发送的第一目标数据,所述第一目标数据是所述第二终端发送至所述服务器后由所述服务器发送至所述第一终端的。
可选的,所述装置还包括:
第二采集单元,用于采集目标图像,并将所述目标图像发送至所述服务器,所述目标图像中包括目标设备,所述服务器中存储有多个设备的图像数据和对应的设备编号;
第三接收单元,用于接收所述服务器发送的第二目标数据,所述第二目标数据是所述服务器在根据所述目标图像中的目标设备识别出对应的目标设备编号后确定的数据。
可选的,所述第二目标数据包括所述目标设备的设备信息、实测数据或维修教程中的一种或多种。
由上述技术方案可以看出,该方法包括第一终端、第二终端和服务器,该第一终端可以是现场运维人员处的终端,第二终端可以是远程指导人员处的终端,在该方法中,第一终端可以采集目标画面的第一视频流数据,并将第一视频流数据发送至服务器,以便服务器将所述第一视频流数据发送至第二终端。其中,目标画面中包括目标设备。第一终端接收服务器发送的第二视频流数据,第二视频流数据是第二终端将第一视频流数据和触屏数据进行整合得到的,触屏数据是第二终端在显示第一视频流数据的过程中通过触屏输入的标记数据。这样,在第一终端接收的第二视频流数据中包括有远程指导人员在第二终端显示的目标画面上做出标记数据,从而,手持第一终端的现场运维人员可以根据目标画面上的标记数据,更好的理解第二终端处的远程指导人员的表述内容,从而实现与远程指导人员进行有效的沟通。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的终端设备示意图;
图2为本申请实施例提供的一种远程信息处理方法的信令交互图;
图3为本申请实施例提供的一种客户端的登录界面图;
图4为本申请实施例提供的一种播放第一视频流数据过程中进行标记的场景示意图;
图5为本申请实施例提供的一种渲染标记数据的方法流程图;
图6为本申请实施例提供的一种获取目标设备信息的信令交互图;
图7a为本申请实施例提供的一种在第一终端的显示屏幕上显示实测数据的场景示意图;
图7b为本申请实施例提供的一种在第一终端的显示屏幕上显示维修教程的场景示意图;
图8为本申请实施例提供的一种第一终端和体感控制器的连接应用场景图;
图9为本申请实施例提供的一种远程信息处理装置结构图。
具体实施方式
下面结合附图,对本申请的实施例进行描述。
目前,运维过程中的远程指导通常是单一的远程视频沟通,运维人员很难较好的理解远程指导人员的表述内容,从而无法实现与远程指导人员进行有效的沟通。
为此,本申请实施例提供了一种远程信息处理方法,该方法包括第一终端、第二终端和服务器,该第一终端可以是现场运维技术人员处的终端,第二终端可以是远程指导人员处的终端,在该方法中,第一终端可以采集目标画面的第一视频流数据,并将第一视频流数据发送至服务器,以便服务器将所述第一视频流数据发送至第二终端。其中,目标画面中包括目标设备。第一终端接收服务器发送的第二视频流数据,第二视频流数据是第二终端将第一视频流数据和触屏数据进行整合得到的,触屏数据是第二终端在显示第一视频流数据的过程中通过触屏输入的标记数据。
这样,在第一终端接收的第二视频流数据中包括有远程指导人员在第二终端显示的目标画面上做出标记数据,从而,手持第一终端的现场运维技术人员可以根据目标画面上的标记数据,更好的理解第二终端处的远程指导人员的表述内容,从而实现与远程指导人员进行有效的沟通。
需要说明,本申请实施例中的第一终端和第二终端可以是智能手机、平板电脑或者智能眼镜(如增强现实(Augmented Reality,AR)眼镜等)。参见图1,该图示出了本申请实施例中的终端设备示意图,如图1所示,第一终端和第二终端都可以具有如下功能:通过其串行总线(Universal Serial Bus,USB)接口外接体感控制器(如Leap Motion)实现手势交互;配置有后置摄像头,可采集视野内的场景及显示,可通过视觉算法提取视野中的特征进行识别和追踪。可包括内置扬声器和麦克风,以用于收听语音和通话,具体的,可通过WiFi或通用分组无线服务(General Packet Radio Service,GPRS)与服务器通信。其中,智能眼镜可通过外接带有话筒的耳机进行收听语音和通话,以及通过WiFi与服务器通信。
以及,第一终端和第二终端的发光二极管(Light Emitting Diode,LED)显示屏的分辨率应大于1920*1080,后置摄像头具有大于800万的像素,设备屏幕刷新率应大于60赫兹,其中的中央处理单元处理器应优于骁龙820,且应当支持WiFi、通用串行总线(Universal Serial Bus,USB)接口、麦克风、耳机接口。以及,第一终端的视场角应大于40°。
接下来对本申请实施例提供的远程信息处理方法进行介绍。
参见图2,该图示出了本申请实施例提供的一种远程信息处理方法的信令交互图。如图2所示,所述方法包括:
S201:第一终端采集目标画面的第一视频流数据。
第一终端可以是现场运维人员处的终端,在具体实现中,第一终端可以是智能手机、平板电脑、增强现实(Augmented Reality,AR)眼镜等,为了方便现场运维人员可以进行其他操作,可以将AR眼镜作为第一终端,这样,在应用第一终端时可以尽量减少现场运维人员对第一终端的操作,解放运维人员的双手。
在本申请实施例中,第一终端可以采集目标画面的第一视频流数据,在该目标画面中可以包括现场运维人员进行运维的目标设备。其中,目标设备可以是与轨道交通系统相关的设备。在具体实现中,目标设备可以是高速智能列车等相关设备。
需要说明,第一视频流数据可以包括第一终端采集的视野内的画面和第一终端采集的音频数据。这里的音频数据可以包括第一终端所处环境中包括的数据,如目标设备发出的声音数据和现场运维人员的语音数据等。这样,现场运维人员的语音也可以包括在第一视频流数据中。
在具体实现中,参见图3,该图示出了本申请实施例提供的一种客户端的登录界面图。现场运维人员和远程指导人员可以通过分别在第一终端和第二终端上登录相应的客户端/服务端,以在该客户端上进行相应操作,以实现本申请实施例中的方法。
S202:第一终端将第一视频流数据发送至服务器。
S203:服务器接收第一视频流数据。
S204:服务器将第一视频流数据发送至第二终端。
S205:第二终端接收第一视频流数据。
在本申请实施例中,第一终端可以将第一视频流数据发送至服务器,并由服务器将第一视频流数据发送至第二终端。其中,服务器可以是设备运维服务器,第二终端可以是远程指导人员处的终端。第二终端可以接收该第一视频流数据。
S206:第二终端显示第一视频流数据,并采集第二终端在显示第一视频流数据的过程中通过触屏输入的标记数据,将标记数据作为触屏数据。并将第一视频流数据与触屏数据进行整合,得到第二视频流数据。
第二终端在接收到第一视频流数据后,可以在第二终端的显示屏上进行显示,这样,可以保证第一终端和第二终端上显示相同的目标画面。由于第一视频流数据中还包括了第一终端采集的音频数据,这样,远程指导人员还可以在第二终端播放第一视频流数据的过程中,接收到现场运维人员发出的语音。
同时,远程指导人员可以在第二终端播放第一视频流数据时,在观看目标画面的同时,通过触屏输入的方式对目标画面中感兴趣的部分进行标记。参见图3,该图示出了本申请实施例提供的一种播放第一视频流数据过程中进行标记的场景示意图。如图3所示,该图3中的标记可以是由远程指导人员在第二终端的显示屏幕上通过触屏操作输入的。从而,第二终端可以采集这些标记数据,将这些标记数据作为触屏数据。也就是说,所述触屏数据是所述第二终端在显示所述第一视频流数据的过程中通过触屏输入的标记数据。
以及,第二终端还可以采集其所处环境中的音频数据,并将触屏数据和第一视频流数据以及采集的音频数据进行整合,得到第二视频流数据。
如此,得到的第二视频流数据中可以包括远程指导人员的语音,远程人员对第一视频流数据对应的目标画面中的标记等数据。
S207:第二终端向服务器发送第二视频流数据。
S208:服务器接收第二视频流数据。
S209:服务器将第二视频流发送至第一终端。
S210:第一终端接收第二视频流数据。
在本申请实施例中,第二终端生成第二视频流数据后,可以向服务器发送该第二视频流数据,服务器接收到该第二视频流数据后,可以将该第二视频流数据发送至第一终端,第一终端接收该第二视频流数据进行播放。
由上述技术方案可以看出,在第一终端接收的第二视频流数据中包括有远程指导人员在第二终端显示的目标画面上做出的标记数据,从而,手持第一终端的现场运维人员可以根据目标画面上的标记数据,更好的理解第二终端处的远程指导人员的表述内容,从而实现与远程指导人员进行有效的沟通。
在一种可能的实现方式中,第二终端采集的触屏数据中可以包括触屏坐标。触屏坐标可以是指远程指导人员在第二终端的屏幕上进行触屏操作的位置坐标。这样,在S210后,即在所述第一终端接收所述服务器发送的第二视频流数据之后,参加图5,该图示出了本申请实施例提供的一种渲染标记数据的方法流程图,所述方法还包括:
S501:所述第一终端将所述触屏坐标转换为三维坐标。
在本申请实施例中,第一终端在接收到第二视频流数据后,可以根据其中触屏数据的触屏坐标,以生成三维世界坐标系中的坐标。在具体实现中,,可以将二维的触屏坐标生成三维OpenGL世界坐标系中的坐标。
S502:所述第一终端根据所述三维坐标,将所述标记数据渲染至所述第一终端显示的视频帧中。
然后,第一终端可以根据生成的三维坐标,将标记数据在第一终端显示的视频帧中进行渲染。其中,第一终端显示的视频帧可以是第一终端将触屏坐标转换为三位坐标时显示的视频帧。
需要说明,由于本申请实施例中收发视频流数据(包括第一视频流数据和第二视频流数据)的频率较高。因此,上述技术方案的执行间隔很短,第一终端与第二终端中显示的视频帧仅有短暂的时间延迟,从而保证在第一终端和第二终端间显示的视频帧几乎相同。
此外,在一种可能的实现方式中,所述方法还包括:
第一终端接收服务器发送的第一目标数据,其中,第一目标数据是第二终端发送至所述服务器后由所述服务器发送至所述第一终端的。
在本申请实施例中,在远程指导人员为现场运维人员进行指导的过程中,远程指导人员还可以根据实际情形向现场运维人员发送需要的数据,如文本数据或视频图像数据等。其中,可以将第二终端向第一终端发送的与此次远程指导相关的数据记为第一目标数据。如此,第二终端可以将第一目标数据发送至服务器,服务器接收到第一目标数据后,可以将第一目标数据发送至第一终端,第一终端接收该第一目标数据,可以依据实际情形对第一目标数据进行相应的操作。例如:第一终端在接收到第一目标数据后的操作可以包括:在接收到第一目标数据后即进行数据的浏览,或者,在结束远程指导后进行第一目标数据的浏览等。
通过该种方法,可以帮助现场运维人员更好的理解远程指导人员的表述内容,提供沟通效率。
目前,已存在的轨道交通运维系统通常是通过监测设备将采集的数据经处理后发送到服务器,服务器通过存储、分析后将得到的数据发送到监测设备的客户端,这样导致数据信息的呈现形式单一,很难向技术人员直观、有效的展示专业数据。
另外,由于设备信息呈现形式不够直观、沟通手段匮乏、信息获取效率不高,对运维人员的培训力度不够,使得运维人员的操作不够熟练,而设备操作培训又受制于设备和运维人员数量比例的不平衡,运维人员难以随时使用高效率的培训资源,从而限制了运维人员的学习进度,严重影响了运维人员对轨道交通设备的现场巡检效率和决策水平。
基于此,在一种可能的实现方式中,在服务器中存储有设备图像数据库,在该设备图像数据中包括多个设备的图像数据和对应的设备编号。其中,设备标号可以用于唯一标识设备。这样,参见图6,该图示出了本申请实施例提供的一种获取目标设备信息的信令交互图,所述方法还包括:
S601:第一终端采集目标图像。
S602:第一终端将目标图像发送至所述服务器。
在本申请实施例中,当现场运维人员需要获知现场一些设备的相关信息时,可以将该设备作为目标设备,现场运维人员可以采集包括该目标设备的目标图像,并将该目标图像发送至服务器。
S603:服务器接收第一终端发送的目标图像。
S604:服务器根据目标图像中的目标设备,识别出目标设备对应的目标设备编号,然后,根据目标设备标号确定该目标设备对应的第二目标数据。也就是说,第二目标数据是服务器在根据目标图像中的目标设备识别出对应的目标设备编号后确定的数据。
在一种可能的实现方式中,第二目标数据包括目标设备的设备信息、实测数据或维修教程中的一种或多种。其中,设备的设备信息可以包括设备的基本信息,如设备的名称、型号等数据,设备的实测数据可以包括对当前设备实时测出的数据,如设备当前的油温变化数据等,设备的维修教程可以包括对该设备的维修相关的教程。
S605:服务器将确定的第二目标数据发送至第一终端。
S606:第一终端接收服务器发送的第二目标数据。
第一终端接收到第二目标数据后,可以根据该第二目标数据的类型应用对应的方式在第一终端的屏幕上展示。参见图7a,该图示出了本申请实施例提供的一种在第一终端的显示屏幕上显示实测数据的场景示意图,如图7a所示,该图中展示了第一终端的屏幕中显示有目标设备的实测数据等信息。参见图7b,该图示出了本申请实施例提供的一种在第一终端的显示屏幕上显示维修教程的场景示意图,如图7b所示,该图展示了第一终端的屏幕中显示有目标设备的拆卸教程等信息。
由此,现场运维人员可以了解设备的基本信息、设备的实时动态数据,还可以观看高铁生成设备及其操作和拆解过程,第一终端的音响设备会发出对应的设备维修操作步骤语音提示,对设备操作环境和设备表面金属材质的高还原度满足了用户对培训交互性和操作过程真实的需求,且结合语音提示使现场培训更加丰富,现场运维人员可独自全方位了解设备情况。
另外,在本申请实施例中,现场运维人员在应用第一终端时,还可以使得第一终端与一个体感控制器(Leap Motion)连接。参见图7,该图示出了本申请实施例提供的一种第一终端和体感控制器的连接应用场景图。其中,体感控制器可以通过两个红外摄像头以200帧每秒以上的速度捕捉画面,根据当前帧和前一帧检测到的数据,通过相关算法计算出旋转的轴向向量、旋转的角度、缩放因子、平移向量等数据,从而对所捕捉画面中的现场运维人员的手部运动通过手部模型在第一终端的屏幕界面中进行渲染,并实现与第一终端屏幕界面在世界坐标系中的模型进行碰撞检测实,从而实现交互功能。用户可以通过相应的手势点击第一终端的系统用户界面(User Interface,UI),抓取虚拟模型。
该方法中体感控制器可以与移动设备直接连接,从而捕捉现场运维人员手部关节的姿态及位置数据,将这些数据重新渲染成具有相同手势的模型,通过和现场运维人员视野内的虚拟物体碰撞检测判断交互逻辑,现场运维人员可通过裸手和界面、设备模型交互,显著提高了用户的使用效率。
在本申请实施例中,可以将第一终端、第二终端和服务器组成一个辅助高铁生产设备运维系统。该系统中的终端设备可以支持智能手机、平板电脑、智能眼镜多种终端设备协同交互。在该方法中,第一终端将包括目标设备的目标图像发送至设备运维服务器,设备运维服务器成功识别设备场景特征以后,将对应的目标设备的第二目标数据发送至第一终端,并实现不同类型的第二目标数据的可视化。以及,体感控制器将第一终端上客户端间的手势数据解算以后重新渲染到视频通话背景中。此外,采集用户的手势渲染到设备屏幕上,通过碰撞检测真实环境和虚拟环境的交互。本发明通过增强现实技术为高铁设备维护人员提供虚实结合的增强信息展示、远程技术指导,保证了便携性的情况下用户可通过移动网络随时随地远程指导,可大幅提升生产效率和运维水平。
本申请采用增强现实技术提升了体验沉浸感、实现了高度的交互性,保证了作业的便携性,为高铁生产设备巡检、维修培训带来了便利。本申请支持多种不同尺寸、分辨率的移动设备,应用智能眼镜的终端设备起到解放双手的作用,用户使用更加方便,借助智能手机、平板电脑的普及程度方便用户随时随地使用该方案对应的系统。通过可视化技术使运维人员更容易理解客观的数据、需要课程指导的用户还能够直观地浏览观看设备的拆解演示,克服了常规枯燥的海量表格数据阅读的问题;运维人员还能获取主观的远程指导,通过远程增强现实标记技术克服了单一的远程视频沟通难以描述的问题,实现了手势、眼睛、语言相结合的沟通效果,体现出在高铁设备运维课题中广阔的使用前景。
本申请实施例还提供了一种远程信息处理装置,参见图8,该图示出了本申请实施例提供的一种远程信息处理装置结构图,所述装置包括:
第一采集单元801,用于采集目标画面的第一视频流数据,并将所述第一视频流数据发送至服务器,以便所述服务器将所述第一视频流数据发送至第二终端,所述目标画面中包括目标设备;
第一接收单元802,用于接收所述服务器发送的第二视频流数据,所述第二视频流数据是所述第二终端将所述第一视频流数据和触屏数据进行整合得到的,所述触屏数据是所述第二终端在显示所述第一视频流数据的过程中通过触屏输入的标记数据。
可选的,所述装置还包括:
转换单元,用于在所述第一终端接收所述服务器发送的第二视频流数据之后,将所述触屏坐标转换为三维坐标,所述触屏数据中包括触屏坐标,;
渲染单元,用于根据所述三维坐标,将所述标记数据渲染至所述第一终端显示的视频帧中。
可选的,所述装置还包括:
第二接收单元,用于接收所述服务器发送的第一目标数据,所述第一目标数据是所述第二终端发送至所述服务器后由所述服务器发送至所述第一终端的。
可选的,所述装置还包括:
第二采集单元,用于采集目标图像,并将所述目标图像发送至所述服务器,所述目标图像中包括目标设备,所述服务器中存储有多个设备的图像数据和对应的设备编号;
第三接收单元,用于接收所述服务器发送的第二目标数据,所述第二目标数据是所述服务器在根据所述目标图像中的目标设备识别出对应的目标设备编号后确定的数据。
可选的,所述第二目标数据包括所述目标设备的设备信息、实测数据或维修教程中的一种或多种。
由上述技术方案可以看出,该方法包括第一终端、第二终端和服务器,该第一终端可以是现场运维人员处的终端,第二终端可以是远程指导人员处的终端,在该方法中,第一终端可以采集目标画面的第一视频流数据,并将第一视频流数据发送至服务器,以便服务器将所述第一视频流数据发送至第二终端。其中,目标画面中包括目标设备。第一终端接收服务器发送的第二视频流数据,第二视频流数据是第二终端将第一视频流数据和触屏数据进行整合得到的,触屏数据是第二终端在显示第一视频流数据的过程中通过触屏输入的标记数据。这样,在第一终端接收的第二视频流数据中包括有远程指导人员在第二终端显示的目标画面上做出标记数据,从而,手持第一终端的现场运维人员可以根据目标画面上的标记数据,更好的理解第二终端处的远程指导人员的表述内容,从而实现与远程指导人员进行有效的沟通。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备及系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述,仅为本申请的一种具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种远程信息处理方法,其特征在于,所述方法包括:
第一终端采集目标画面的第一视频流数据,并将所述第一视频流数据发送至服务器,以便所述服务器将所述第一视频流数据发送至第二终端,所述目标画面中包括目标设备;
所述第一终端接收所述服务器发送的第二视频流数据,所述第二视频流数据是所述第二终端将所述第一视频流数据和触屏数据进行整合得到的,所述触屏数据是所述第二终端在显示所述第一视频流数据的过程中通过触屏输入的标记数据。
2.根据权利要求1所述的方法,其特征在于,所述触屏数据中包括触屏坐标,在所述第一终端接收所述服务器发送的第二视频流数据之后,所述方法还包括:
所述第一终端将所述触屏坐标转换为三维坐标;
所述第一终端根据所述三维坐标,将所述标记数据渲染至所述第一终端显示的视频帧中。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述第一终端接收所述服务器发送的第一目标数据,所述第一目标数据是所述第二终端发送至所述服务器后由所述服务器发送至所述第一终端的。
4.根据权利要求1-3任意一项所述的方法,其特征在于,所述服务器中存储有多个设备的图像数据和对应的设备编号,所述方法还包括:
所述第一终端采集目标图像,并将所述目标图像发送至所述服务器,所述目标图像中包括目标设备;
所述第一终端接收所述服务器发送的第二目标数据,所述第二目标数据是所述服务器在根据所述目标图像中的目标设备识别出对应的目标设备编号后确定的数据。
5.根据权利要求4所述的方法,其特征在于,所述第二目标数据包括所述目标设备的设备信息、实测数据或维修教程中的一种或多种。
6.一种远程信息处理装置,其特征在于,所述装置包括:
第一采集单元,用于采集目标画面的第一视频流数据,并将所述第一视频流数据发送至服务器,以便所述服务器将所述第一视频流数据发送至第二终端,所述目标画面中包括目标设备;
第一接收单元,用于接收所述服务器发送的第二视频流数据,所述第二视频流数据是所述第二终端将所述第一视频流数据和触屏数据进行整合得到的,所述触屏数据是所述第二终端在显示所述第一视频流数据的过程中通过触屏输入的标记数据。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
转换单元,用于在所述第一终端接收所述服务器发送的第二视频流数据之后,将所述触屏坐标转换为三维坐标,所述触屏数据中包括触屏坐标,;
渲染单元,用于根据所述三维坐标,将所述标记数据渲染至所述第一终端显示的视频帧中。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第二接收单元,用于接收所述服务器发送的第一目标数据,所述第一目标数据是所述第二终端发送至所述服务器后由所述服务器发送至所述第一终端的。
9.根据权利要求6-8任意一项所述的装置,其特征在于,所述装置还包括:
第二采集单元,用于采集目标图像,并将所述目标图像发送至所述服务器,所述目标图像中包括目标设备,所述服务器中存储有多个设备的图像数据和对应的设备编号;
第三接收单元,用于接收所述服务器发送的第二目标数据,所述第二目标数据是所述服务器在根据所述目标图像中的目标设备识别出对应的目标设备编号后确定的数据。
10.根据权利要求9所述的装置,其特征在于,所述第二目标数据包括所述目标设备的设备信息、实测数据或维修教程中的一种或多种。
CN201911046881.XA 2019-10-30 2019-10-30 一种远程信息处理方法和装置 Pending CN110740285A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911046881.XA CN110740285A (zh) 2019-10-30 2019-10-30 一种远程信息处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911046881.XA CN110740285A (zh) 2019-10-30 2019-10-30 一种远程信息处理方法和装置

Publications (1)

Publication Number Publication Date
CN110740285A true CN110740285A (zh) 2020-01-31

Family

ID=69271978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911046881.XA Pending CN110740285A (zh) 2019-10-30 2019-10-30 一种远程信息处理方法和装置

Country Status (1)

Country Link
CN (1) CN110740285A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112758136A (zh) * 2021-01-08 2021-05-07 上海申铁信息工程有限公司 一种基于phm和ar的铁路机车车辆应急维护方法与装置
CN113489934A (zh) * 2020-08-24 2021-10-08 青岛海信电子产业控股股份有限公司 一种智能管家服务器、系统及屏幕远程交互方法
CN113542714A (zh) * 2021-07-02 2021-10-22 恒大新能源汽车投资控股集团有限公司 远程交互通信系统及装置
CN114338640A (zh) * 2021-12-31 2022-04-12 北京华宇信息技术有限公司 远程运维方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120229614A1 (en) * 2011-03-07 2012-09-13 Harlan Jacobs Information and Guidance System
CN103336575A (zh) * 2013-06-27 2013-10-02 深圳先进技术研究院 一种人机交互的智能眼镜系统及交互方法
CN105607288A (zh) * 2015-12-29 2016-05-25 大连楼兰科技股份有限公司 基于声波探测辅助的智能眼镜全方位车辆零部件完整性检测方法
CN107547554A (zh) * 2017-09-08 2018-01-05 北京枭龙科技有限公司 一种基于增强现实的智能设备远程协助系统
CN107886172A (zh) * 2017-10-19 2018-04-06 中车青岛四方机车车辆股份有限公司 一种远程可视化维保支持系统
CN107995443A (zh) * 2017-12-18 2018-05-04 快创科技(大连)有限公司 一种基于ar的电梯维修管理系统
CN108170273A (zh) * 2017-12-28 2018-06-15 南京华讯方舟通信设备有限公司 一种基于hololens眼镜的专家远程指导系统及实现方法
CN109218794A (zh) * 2017-06-30 2019-01-15 全球能源互联网研究院 远程作业指导方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120229614A1 (en) * 2011-03-07 2012-09-13 Harlan Jacobs Information and Guidance System
CN103336575A (zh) * 2013-06-27 2013-10-02 深圳先进技术研究院 一种人机交互的智能眼镜系统及交互方法
CN105607288A (zh) * 2015-12-29 2016-05-25 大连楼兰科技股份有限公司 基于声波探测辅助的智能眼镜全方位车辆零部件完整性检测方法
CN109218794A (zh) * 2017-06-30 2019-01-15 全球能源互联网研究院 远程作业指导方法及系统
CN107547554A (zh) * 2017-09-08 2018-01-05 北京枭龙科技有限公司 一种基于增强现实的智能设备远程协助系统
CN107886172A (zh) * 2017-10-19 2018-04-06 中车青岛四方机车车辆股份有限公司 一种远程可视化维保支持系统
CN107995443A (zh) * 2017-12-18 2018-05-04 快创科技(大连)有限公司 一种基于ar的电梯维修管理系统
CN108170273A (zh) * 2017-12-28 2018-06-15 南京华讯方舟通信设备有限公司 一种基于hololens眼镜的专家远程指导系统及实现方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113489934A (zh) * 2020-08-24 2021-10-08 青岛海信电子产业控股股份有限公司 一种智能管家服务器、系统及屏幕远程交互方法
CN112758136A (zh) * 2021-01-08 2021-05-07 上海申铁信息工程有限公司 一种基于phm和ar的铁路机车车辆应急维护方法与装置
CN113542714A (zh) * 2021-07-02 2021-10-22 恒大新能源汽车投资控股集团有限公司 远程交互通信系统及装置
CN114338640A (zh) * 2021-12-31 2022-04-12 北京华宇信息技术有限公司 远程运维方法及系统
CN114338640B (zh) * 2021-12-31 2024-03-26 北京华宇信息技术有限公司 远程运维方法及系统

Similar Documents

Publication Publication Date Title
CN110740285A (zh) 一种远程信息处理方法和装置
CN111417028B (zh) 信息处理方法、装置、存储介质及电子设备
CN109905754B (zh) 虚拟礼物收取方法、装置及存储设备
US9355496B2 (en) Image processing apparatus, image processing method, and medium to display augmented reality objects
CN110189416B (zh) 检修现场的远程指导方法及系统
CN107333087B (zh) 一种基于视频会话的信息共享方法和装置
US9069385B1 (en) Communicating physical gestures as compressed data streams
CN105684045A (zh) 显示控制装置、显示控制方法和程序
EP2741511A3 (en) Apparatus and method for augmented reality
CN104506388A (zh) 一种与ar技术结合的idc监控方法及系统
CN109426343B (zh) 基于虚拟现实的协作训练方法及系统
US20150244984A1 (en) Information processing method and device
CN111784765A (zh) 物体测量、虚拟对象处理方法及装置、介质和电子设备
CN110059624B (zh) 用于检测活体的方法和装置
CN113467603A (zh) 音频处理方法、装置、可读介质及电子设备
CN108537878B (zh) 环境模型生成方法、装置、存储介质及电子设备
CN210090827U (zh) 一种轻便化的ar眼镜实现系统
CN112307323B (zh) 信息推送方法和装置
CN115314684B (zh) 一种铁路桥梁的巡检方法、系统、设备及可读存储介质
CN111985252B (zh) 对话翻译方法及装置、存储介质和电子设备
CN112817441A (zh) 一种按键与人眼识别结合的方法和装置
CN109062413A (zh) 一种ar交互系统及方法
CN113485560A (zh) 显示信息的方法和装置
CN114357348B (zh) 显示方法、装置和电子设备
CN210402267U (zh) 一种可穿戴ar设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200131