CN114726904A - 对信号源进行远程安全交互的系统和方法 - Google Patents

Abstract

本发明涉及对信号源进行远程安全交互的方法，所述方法包括：双链路设备单向接收信号源界面以及将该信号源界面单向传输至界面显控设备；界面显控设备接收信号源界面，并将其编码为网络流信号，以及将网络流信号通过网络传输至交互终端；交互终端接收所述网络流信号并进行解码和显示信号源界面；交互终端采集用户输入的控制命令，以及将控制命令通过网络传输至界面显控设备；界面显控设备接收控制命令，并将控制命令单向发送至双链路设备；双链路设备接收控制命令并进行响应，包括：根据控制命令中的用于控制信号源的控制命令，单向控制信号源，使信号源对所述控制命令进行响应。通过本发明，能实现对信号源的安全交互。

Description

对信号源进行远程安全交互的系统和方法

技术领域

本发明涉及信号源交互方法技术领域，尤其涉及信号源远程安全交互方法和系统。

背景技术

现有技术在实施异地远程网络访问时，无法确保被访问计算机的安全性，被访问计算机通常因为网络访问而被暴露于网络中，并可能因此而受到网络攻击。

发明内容

针对上述问题，本申请第一方面提出对信号源进行远程安全交互的方法，所述方法包括：

双链路设备单向接收信号源界面以及将该信号源界面单向传输至界面显控设备；

界面显控设备接收信号源界面，并将其编码为网络流信号，以及将网络流信号通过网络传输至交互终端；

交互终端接收所述网络流信号并进行解码和显示信号源界面；

交互终端采集用户输入的控制命令，以及将控制命令通过网络传输至界面显控设备；

界面显控设备接收控制命令，并将控制命令单向发送至双链路设备；

双链路设备接收控制命令并进行响应，包括：根据控制命令中的用于控制信号源的控制命令，单向控制信号源，使信号源对所述控制命令进行响应。

本申请第二方面提出对信号源进行远程安全交互的系统，所述系统包括：

交互终端、界面显控设备和第一双链路设备；

所述交互终端、界面显控设备和第一双链路设备分别用于执行前述方法中的对应部分的动作。

通过本发明的上述实施例，可以实现对异地远程网络访问过程中被访问信号源的安全交互。

附图说明

图1a示出根据一些实施例的对信号源进行远程安全交互的系统的示意性框图。

图2a示出图1a中的点划线框内的双链路设备与界面显控设备、信号源的各连接关系。

图2b示出根据本发明一些实施例的ui界面及信号源控制装置。

图2c示出根据本发明一些实施例的融合装置。

图3a示出图1a中的点划线框内的双链路设备与界面显控设备、信号源的各连接关系。

图3b示出根据本发明一些实施例的ui界面及信号源控制装置。

图3c示出根据本发明一些实施例的融合装置。

图3d示出图2a和图3a所示的系统中所涉的单向传输线实施例。

图3e示出根据本发明一些实施例的安全指令服务箱。

图3f示出根据本发明一些实施例的安全指令服务箱。

图4示出根据本发明一些实施例的对信号源进行远程安全交互的方法的泳道图。

具体实施方式

本申请中，凡涉及通过网络实现的，其本质旨在涵盖通过交换机、路由器等必要的固件或软件实现的有线或无线的网络连接，也涵盖通过一些服务端或其他计算机等作为中介实现的有线或无线的网络连接，本申请为简化描述，突出发明点，在描述网络连接时有时略去了对路由器/交换机的说明。在本申请中，所涉及的网络可以包括Wi-fi网络、蓝牙网络、私人区域网络(PAN)、局域网 (LAN)、广域网(WAN)、IEEE 802.1x、内联网、互联网、外联网及其各项组合。网络也可以包括数字蜂窝电话网络，其可以包括全球移动通信系统(GSM)、通用分组无线服务(GPRS)、cdmaOne、CDMA1600、演进-数据优化的(EV-DO)、增强型数据速率GSM演进(EDGE)、通用移动通信系统(UMTS)、数字增强型无绳通信 (DECT)、数字AMPS(IS-136/TDMA)、集成数字增强型网络(iDEN)、WiMAX、LTE、 LTE advanced、移动宽带无线接入(MBWA)、IEEE 802.20。网络可以是公共接入的、私人的、虚拟私人的例如VPN。

在本申请中，所述单向传输线上可以包括各种可以实现单向传输或单向控制目的的装置，所述的用于实现单向传输或单向控制目的装置可以是一个单向控制设备或单向传输线缆等单向传输装置，或是由一个控制装置和传输线缆等组成的整体，在作为整体实现单向传输或单向控制目的时，本申请并不限制整体中的各个控制装置或连接线缆本身必须是单向工作的，例如，有些设备或设备间的连接线缆或许存在双向或多向通路，但作为整体仍可以实现单向传输或单向控制，再例如，所述单向传输线上可能涉及网络连接(件)，但当该网络连接件结合了其他设备后，其结合后的整体仍可以实现单向的目的，如下文还将描述的，此类情况也都在本发明的预料范围和要求保护的范围内。

在本发明所在技术领域，ui数据是描述一个ui界面的各个组成部分及各部分所处的位置等信息的数据，所述各个组成部分和位置如保存、标绘、删除、录屏、撤销、清空等交互标签，及指针位置。控制虚拟ui界面的控制命令例如可以包括点击下拉菜单，移动、放大或缩小显示窗口位置，等等,也即，虚拟 ui界面在控制命令的控制下会出现变化，如，出现显示窗口移动，放大或缩小，这些变化结果即为虚拟ui界面的响应结果，本申请中用虚拟ui界面响应结果对应的ui数据来表示发生变化后的虚拟ui界面所对应的ui数据。

在本申请中，涉及光纤，串口等连线的使用，为搭配这些连线，可能需要配套使用的转换模块，例如在将信号从网络转换到光纤上时，需要网转光模块，但在计算机网络端口本身即为光端口的情况下，可以省略额外的网转光模块，鉴于这种模块是否必要可以根据实际应用场景来确定，为本领域技术人员所熟知，故为简化起见，没有一一加以说明，但不表明对必要转换模块的省略。

下面将参考附图并结合实施例来示例性地说明本发明，需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。另外，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

图1a示出根据一些实施例的对信号源进行远程安全交互的系统的示意性框图。

图1a所示的所述交互系统包括交互终端1300、界面显控设备1100，和一个双链路设备1500。交互终端1300和界面显控设备1100通过网络建立连接，图示为通过网络设备1200建立连接。所述交互系统还可以包括图示的各个单向传输线1103,1104,1502,1503。交互系统还可以包括交互终端1300对应的控制命令产生设备1301和交互终端1300对应的显示设备1302。交互系统还可以包括另外一个(或多个)界面显控设备1100＇。界面显控设备1100＇和界面显控设备1100通过网络和交互终端1300连接。

所述控制命令产生设备1301可以是以电感应、磁感应、热感性、力感应、光感应、声感应等各种方式来捕获操作的触控屏，或键盘、鼠标等其他控制动作的控制命令产生设备。根据本发明的一些实施例，控制命令产生设备1301可以为透明的触控装置，可以使该透明的触控装置在空间上叠加在显示设备1302 上，显示设备1302提供控制对象的画面，通过参考透明的触控装置下方的显示设备1302的画面，可以在控制命令产生设备上实现可视化触控。控制命令产生设备1301和显示设备1302可以集成为一体，例如作为触控显示屏幕存在，或者可以都集成在交互终端1300上。

根据本发明的一些实施例，界面显控设备1100单向接收双链路设备1500 的界面B(对应于双链路设备单向传输界面至界面显控设备)，将界面B编码为网络流信号，交互终端1300可以根据交互指令获取界面B所对应的网络流信息，从而向显示设备1302输出相应界面。例如，可以在交互终端1300引入操作界面，响应于对操作界面上的一个控件的点击，交互终端获取界面B；响应于对操作界面上的另一控件的点击，交互终端获取其他界面，例如其他界面显控设备1100'上的界面。

交互终端1300通过上述方式获取有关界面后，将其输出至显示设备1302。为简化起见，在本申请的一些描述中，略去网络传输过程中所涉及的视频编码和/或解码过程的描述。

用户可以参考显示设备1302显示的界面，借助控制命令产生设备1301输入控制命令。交互终端1300接收所述控制命令，并通过网络将控制命令传输至界面显控设备1100。例如可以通过图示网络设备1200将控制命令发送至界面显控设备1100，或者通过一个服务器1400和网络设备1200将控制命令发送至界面显控设备1100来实现所述控制命令的发送。交互终端1300也可以将控制命令发送至服务器1400，以供服务器保存相关记录，或统一管理，或者交互终端1300发送所述控制命令之前，发送相应的请求至服务器1400，经服务器1400授权后执行所述控制命令的发送。

界面显控设备1100进一步将接收到的控制命令单向发送(例如通过图示的单向传输线1104)至双链路设备1500，使其对控制命令进行响应。该双链路设备1500在响应控制命令时可以先将控制命令中的坐标转换为双链路设备1500 的程序空间的坐标。双链路设备1500的响应结果(界面)可以通过一条与其相连的单向传输线1103直接输出至界面显控设备1100。根据本发明的一些实施例，所述控制命令也可以为不含坐标信息的快捷键命令，此时，无需进行坐标转换。

双链路设备1500根据所述控制命令进行响应，并将作为响应结果的响应界面通过单向传输线1103传输至界面显控设备1100。

除了将界面实时发送给交互终端外，根据本发明的一些实施例，界面显控设备1100还可以将所述界面暂存起来，根据实际需要或网络情况，在未来一个时刻发送给交互终端1300，或者将一段时间的多个界面编码为视频，再将该视频编码为网络流发送给交互终端1300。根据本发明的一些实施例，界面显控设备1100还可以将所述界面，或前述视频暂存到服务器或云端，根据实际需要或网络情况，在未来一个时刻将所述界面或视频发送给交互终端1300。所述界面包括前面提到的界面显控设备收到的来自双链路设备的界面。

交互终端1300通过网络获取界面显控设备1100的响应界面以及将响应界面输出至显示设备1302上。例如交互终端1300可以通过图示网络设备1200获取界面显控设备1100所接收的来自双链路设备1500的响应结果，或者通过一个服务器1400和网络设备1200获取界面显控设备1100所接收的来自双链路设备1500的响应结果。

交互终端1300通过上述方式获取有关界面后，将其输出至显示设备1302。为简化起见，在本申请的一些描述中，略去网络传输过程中所涉及的视频编码和/或解码过程的描述。

根据本发明的一些实施例，控制命令除了包括用于控制双链路设备的控制指令之外，还可以包括用于指示以下操作的控制命令：

对交互终端上的双链路设备界面布局进行调整、对交互终端上的ui界面进行操作、对双链路设备界面进行截屏或者请求截屏内容、对部分截屏内容进行操作、将各双链路设备界面构成的双链路设备界面布局缩略图保存成一个场景预案、将所述截屏的缩略图和各双链路设备界面构成的双链路设备界面布局缩略图保存成一个场景预案、对双链路设备界面中显示的信号源进行操作。

根据本发明的一些实施例，图示单向传输线1104，1502可以包括单向光纤和/或单向串口线，图示单向传输线1103，1503可以包括单向光纤。以上单向传输线还可以包括必要的协议转换模块，如光转电模块，电转光模块等等。

根据本发明的一些实施例，以上交互终端1300也可以包括为界面显控设备的所有功能。因此，对界面显控设备1100的描述也可以同样适用于交互终端 1300，也即，交互终端1300除了具有前述各个功能外，还可以进一步像界面显控设备1100那样运行，包括单向接入一个双链路设备。

根据本发明的一些实施例，界面显控设备1100还可以具有交互终端1300 的所有功能，包括能够采集用户输入的控制命令，或者进一步具有相应的控制命令产生设备和显示设备。。

根据本发明的一些实施例，以上交互系统可以包括多个交互终端，每个交互终端通过网络通信连接，各个交互终端之间能通过网络进行内容分享，所述内容分享包括对各自的界面截图进行分享或对各自从各个界面显控设备获取的内容进行分享。

以上交互终端1300也可以为界面显控设备。因此，对界面显控设备1100 的描述也可以同样适用于交互终端1300。

交互终端1300也可以为一个网页版的交互端，只要其具备向其他界面显控设备1100发送所述控制命令的功能，交互终端的载体可以为手机、PC或其他电子设备。

以上交互系统还可以包括图示界面显控设备1100＇，或更多的界面显控设备。界面显控设备1100＇可以连接一个双链路设备。

以下将进一步描述双链路设备1500的响应过程。

为简化清晰起见，图2a仅仅示出图1a中的点划线框内的双链路设备1500 与界面显控设备1100、信号源1001、信号源1002的各连接关系，省略了图1a 的其余部分，但实际技术方案中仍包含图1a的其余部分。

所述双链路设备1500包括：ui界面及信号源控制装置102；第一单向传输线1501；融合装置108。

所述ui界面及信号源控制装置102用于接收和分析界面显控设备1100发送的所述控制命令，确定与所述控制命令对应的用于控制虚拟ui界面的控制命令和用于控制信号源的控制命令；以及根据所述的用于控制虚拟ui界面的控制命令，控制虚拟ui界面进行响应，以及将虚拟ui界面响应结果对应的ui数据通过第一单向传输线1501输出至融合装置108；所述ui界面及信号源控制装置102还根据所述的用于控制信号源1001的控制命令(假设要控制的为信号源 1001)，通过第二单向传输线1502控制信号源1001进行响应，以及使信号源 1001将响应结果通过第三单向传输线1503输出至所述融合装置108。

融合装置108用于对所述ui数据进行解析，并将解析结果和信号源响应结果进行融合以及将融合结果输出至所述界面显控设备1100。由融合装置108输出至界面显控设备1100的融合结果也为前述双链路设备1500对控制命令的响应结果。所述融合例如为根据解析结果中供信号源显示用的位置和大小，将信号源内容绘制到相应位置，并将ui图标按钮等也绘制在相应位置。

根据本发明的一些实施例，所述ui界面及信号源控制装置102可以预先将一个虚拟ui界面存储和设置为所要操作的虚拟ui界面(也即所要用到的虚拟 ui界面)，以及响应所述控制命令(例如一旦检测到有控制命令输入，或控制命令对应为调取ui界面时)，通过第一单向传输线将所要操作的虚拟ui界面对应的ui数据输出到所述融合装置上,由所述融合装置对所要操作的虚拟ui界面对应的ui数据进行解析以及将该解析结果作为双链路设备1500的输出，输出至所述界面显控设备1100。

根据本发明的一些实施例，所述虚拟ui界面的内容可以包括保存、标绘、删除、录屏、撤销、清空等交互标签、框线分布以及鼠标图案等。各个不同的虚拟ui界面可以有不同的标签、框线分布等。所述标绘意指划线，加入几何结构图，流程图，以及进行标注，加入文字，进行着色等动作。

根据本发明的一些实施例，所述控制虚拟ui界面的控制命令例如可以包括点击下拉菜单，移动、放大或缩小信号源1001的显示窗口位置，等等。

根据本发明的一些实施例，所述用于控制信号源的控制命令例如可以包括改变信号源的视频内容等。

根据本发明的一些实施例，所要操作的虚拟ui界面对应的ui数据和虚拟 ui界面响应结果对应的ui数据包括指针位置数据，即，指针在虚拟ui界面上的分布位置所对应的数据。由于ui数据可以包含指针位置数据，因此，显示于界面显控设备上的显示内容也实时包括指针位置，由此使本地鼠标、键盘等控制可以更为丰富，使相应的对界面的控制效率也提高。

根据本发明的一些实施例，所述ui界面及信号源控制装置102还可以保存虚拟ui界面响应结果，用于更新预先存储的虚拟ui界面，作为下一次所要调取的虚拟ui界面。

根据本发明的一些实施例，所述ui界面及信号源控制装置102还可以被配置为在将虚拟ui界面响应结果对应的ui数据通过第一单向传输线传输至融合装置时，仅仅传输与虚拟ui界面变化部分相关的ui数据。由此可以节约传输量。

根据本发明的一些实施例，将虚拟ui界面响应结果对应的ui数据通过第一单向传输线输出至融合装置108包括将虚拟ui界面响应结果对应的ui数据通过以下方式传输至融合装置：

将虚拟ui界面响应结果对应的ui数据通过作为第一单向传输装置的单向光纤传输至融合装置：

此时所述第一单向传输线上包括单向光纤。其他用于实现单向传输的装置也在本发明预料范围内。

根据本发明的一些实施例，可以将虚拟ui界面响应结果对应的ui数据通过以下方式传输至融合装置：

将虚拟ui界面响应结果对应的ui数据依次通过第一网络(如，交换机等)、网转光设备和单向光纤传输至融合装置。所述融合装置对光纤信号过来的网络流信号进行解码及解析。

根据本发明的一些实施例，可以将虚拟ui界面响应结果对应的ui数据通过以下方式传输至融合装置：

将虚拟ui界面响应结果对应的ui数据依次通过第一网络、以下c)-d)之一的第一单向传输装置和第二网络传输至融合装置：

c)单向光纤；

d)网转光设备、单向光纤和光转网设备的组合。

根据本发明的一些实施例，可以将虚拟ui界面响应结果对应的ui数据通过以下方式传输至融合装置：

将虚拟ui界面响应结果对应的ui数据依次通过以下e)-f)之一的第一单向传输装置和第二网络传输至融合装置：

e)单向光纤；

f)单向光纤和光转网设备的组合。

在本申请中，所述第一网络和第二网络仅为区别描述两个网络而用到的概念，无其他特指含义。

根据本发明的一些实施例，根据所述的用于控制信号源的控制命令，通过第二单向传输线控制信号源进行响应，包括通过以下方式来实现：

通过以下a)-d)之一的第二单向传输装置控制信号源进行响应：

a)单向光纤；

b)单向串口线；

c)单向串口线、串转光设备和单向光纤的组合；

d)单向光纤、光转串设备和单向串口线的组合；

根据本发明的一些实施例，根据所述的用于控制信号源的控制命令，通过第二单向传输线控制信号源进行响应，包括通过以下方式来实现：

依次通过第一网络和以下e)-h)之一的第二单向传输装置控制信号源进行响应：

e)网转串设备和单向串口线的组合；

f)网转光设备和单向光纤的组合；

g)网转串设备、单向串口线、串转光设备和单向光纤的组合；

h)网转光设备、单向光纤、光转串设备和单向串口线的组合；

根据本发明的一些实施例，根据所述的用于控制信号源的控制命令，通过第二单向传输线控制信号源进行响应，包括通过以下方式来实现：

依次通过第一网络、以下i)-m)之一的第二单向传输装置和信号源所在的 (或对应的)第三网络(如，交换机等)控制信号源进行响应：

i)单向光纤；

j)网转串设备、单向串口线和串转网设备的组合；

k)网转光设备、单向光纤和光转网设备的组合；

l)网转串设备、单向串口线、串转光设备、单向光纤和光转网设备的组合；

m)网转光设备、单向光纤、光转串设备、单向串口线和串转网设备的组合；

根据本发明的一些实施例，根据所述的用于控制信号源的控制命令，通过第二单向传输线控制信号源进行响应，包括通过以下方式来实现：

依次通过以下n)-r)之一的第二单向传输装置和信号源所在的(或对应的) 第三网络(如，交换机等)控制信号源进行响应：

n)单向光纤；

o)单向光纤、光转串设备、单向串口线和串转网设备的组合；

p)单向光纤和光转网设备的组合；

q)单向串口线和串转网设备的组合；

r)单向串口线、串转光设备、单向光纤、光转网设备的组合；

根据本发明的一些实施例，根据所述的用于控制信号源的控制命令，通过第二单向传输线控制信号源进行响应，包括通过以下方式来实现：

通过单向控制设备控制信号源进行响应。

根据本发明的一些实施例，所述的通过第二单向传输线控制信号源进行响应，包括通过以下方式来实现：

通过以下a)-d)之一的第二单向传输装置将所述的用于控制信号源的控制命令传输给控制装置，由控制装置控制信号源进行响应：

a)单向光纤；

b)单向串口线；

c)单向串口线、串转光设备和单向光纤的组合；

d)单向光纤、光转串设备和单向串口线的组合；

根据本发明的一些实施例，所述的通过第二单向传输线控制信号源进行响应，包括通过以下方式来实现：

依次通过第一网络和以下e)-h)之一的第二单向传输装置将所述的用于控制信号源的控制命令传输给控制装置，由控制装置控制信号源进行响应：

e)网转串设备和单向串口线的组合；

f)网转光设备和单向光纤的组合；

g)网转串设备、单向串口线、串转光设备和单向光纤的组合；

h)网转光设备、单向光纤、光转串设备和单向串口线的组合。

根据本发明的一些实施例，所述的通过第二单向传输线控制信号源进行响应，包括通过以下方式来实现：

通过第一网络将所述的用于控制信号源的控制命令传输给控制装置，由控制装置通过以下i)-l)之一的第二单向传输装置控制信号源进行响应：

i)单向光纤；

j)单向串口线；

k)单向串口线、串转光设备和单向光纤的组合；

l)单向光纤、光转串设备和单向串口线的组合。

根据本发明的一些实施例，通过以下方式将信号源响应结果通过第三单向传输线输出至所述融合装置：

1)使信号源将响应结果通过作为第三单向传输装置的单向光纤传输至所述融合装置：

根据本发明的一些实施例，通过以下方式将信号源响应结果通过第三单向传输线输出至所述融合装置：

使信号源将响应结果通过作为第三单向传输装置的单向光纤传输至视频编码设备，由视频编码设备将信号源响应结果编码为网络流信号，以及将网络流信号通过第二网络发送至所述融合装置，由所述融合装置将所述网络流信号解码为视频流数据，并将所述视频流数据和虚拟ui界面响应结果对应的ui数据的解析结果进行融合，以及将融合结果输出至界面显控设备1100：

根据本发明的一些实施例，所述第一网络和第二网络网络隔离；所述第二网络和第三网络网络隔离；第一网络和第三网络网络隔离。

根据本发明的一些实施例，双链路设备1500对来自界面显控设备1100的控制命令的响应包括以下步骤S1、S2、S3、S4和S5：

S1.接收和分析控制命令，确定所要操作的虚拟ui界面，将所要操作的虚拟ui界面对应的ui数据通过第一单向传输线输出，并对所要操作的虚拟ui界面对应的ui数据进行解析，将解析结果输出至界面显控设备1100。

S2.接收和分析用户的进一步输入，根据预先存储的输入和控制命令对应关系，确定与所述进一步输入对应的用于控制虚拟ui界面的控制命令和用于控制信号源的控制命令。

所述用于控制虚拟ui界面的控制命令例如可以包括点击下拉菜单，移动、放大或缩小信号源的显示窗口位置，等等。所述用于控制信号源的控制命令例如可以包括改变信号源的视频内容等。

S3.根据所述的用于控制虚拟ui界面的控制命令，控制虚拟ui界面进行响应，以及将虚拟ui界面响应结果对应的ui数据通过第一单向传输线输出；根据所述的用于控制信号源的控制命令，通过第二单向传输线控制信号源进行响应。

S4.将信号源响应结果通过第三单向传输线输出；

S5.对通过第一单向传输线输出的虚拟ui界面响应结果对应的ui数据进行解析，并将解析结果和通过第三单向传输线输出的信号源响应结果进行融合以及将融合结果输出至所述界面显控设备1100。

图2b示出根据本发明一些实施例的ui界面及信号源控制装置102，图2c 示出根据本发明一些实施例的融合装置108。

ui界面及信号源控制装置102包括指令接收单元321，ui界面和信号源响应计算单元322，ui数据分发单元323和控制数据分发单元324。根据本发明的一些其他实施例，所述ui界面及信号源控制装置的各个单元也可以互相合并，或以不同方式重新划分，以同样实现ui界面及信号源控制装置102的整个功能。

指令接收单元321接收控制命令，并将该信号发送至ui界面和信号源响应计算单元322。

ui界面和信号源响应计算单元322对指令接收单元321发送的控制命令进行分析，以确定与所述输入对应的所要操作的虚拟ui界面、用于控制虚拟ui 界面的控制命令以及用于控制信号源的控制命令。ui界面和信号源响应计算单元将所要操作的虚拟ui界面对应的ui数据发送至ui数据分发单元323，再由 ui数据分发单元通过第一单向传输线发送至ui数据解析单元382，ui数据解析单元382将解析结果发送至视频解码和显示单元381，后者接收前述解析结果，并将解析结果(界面)输出到界面显控设备1100。

ui界面和信号源响应计算单元322对指令接收单元321发送的控制命令进行分析，确定用于控制虚拟ui界面325的控制命令和用于控制信号源的控制命令；以及根据所述的用于控制虚拟ui界面325的控制命令，控制虚拟ui界面进行响应，以及将虚拟ui界面响应后对应的ui数据(例如包括放大的显示窗口的信息)发送至ui数据分发单元123，再由ui数据分发单元通过第一单向传输线将响应后的ui数据发送至融合装置108。同时，ui界面和信号源响应计算单元322还将用于控制信号源1001的控制数据(或控制命令)发送至控制数据分发单元324，由控制数据分发单元324通过第二单向传输线发送至信号源 1001，以实现对信号源1001的控制。信号源1001响应所述控制，并将响应结果通过第三单向传输线发送至融合装置108。根据本发明的一些实施例，ui界面和信号源响应计算单元322可以根据控制命令中的位置信息以及当前界面 (双链路设备输出界面或虚拟界面)中的各信号源和ui界面(或其中的控件) 的分布，确定控制命令中用于控制信号源的控制命令或控制命令中用于控制ui 的控制命令。或者对于快捷键输入，可以直接根据预设的对应关系确定其中用于控制信号源的控制命令或控制命令中用于控制ui的控制命令。

融合装置108用于接收ui数据并进行解析，以及将该ui数据的解析结果和信号源1001响应结果进行融合，并将融合结果(界面)输出到界面显控设备 1100。根据图示实施例，融合装置108可以包括视频解码和显示单元381以及 ui数据解析单元382。ui数据解析单元382用于接收ui数据分发单元323发送的ui数据并进行解析，将解析结果发送至视频解码和显示单元381。视频解码和显示单元381一方面接收前述解析结果，另一方面也接收信号源1001的界面内容，并对接收结果进行融合，并将融合结果(界面)输出到界面显控设备1100上，最终呈现在界面显控设备1100上的内容包含一个响应控制命令后的界面以及显示于界面内的响应控制命令后的信号源1001的内容。

图3a-3c示出根据本发明再一些实施例的双链路设备1500＇及组成部分的示意图。

为简化起见，图中与图2a-2c相同或类似的部件采用了相同或类似的数字标记。

图3a中的所述ui界面及信号源控制装置102＇可以接收和分析控制命令，确定用于控制虚拟ui界面的控制命令和用于控制信号源(设所控信号源为信号源1001)的控制命令，以及根据所述的用于控制虚拟ui界面的控制命令，控制虚拟ui界面进行响应，并根据虚拟ui界面响应结果绘制ui界面，以及将绘制的ui界面通过所述单向传输线1507输出至融合装置108＇。所述ui界面及信号源控制装置102＇还用于将初始信号源显示窗口信息和鼠标位置信息，及随后的响应控制命令后的信号源显示窗口信息和鼠标位置信息通过第一单向传输线1508向融合装置108＇输出。ui界面及信号源控制装置102＇可以通过虚拟ui界面及用于控制虚拟ui界面的控制命令实时确定ui界面的变化及相应的信号源显示窗口信息和鼠标位置信息。根据本发明的一些实施例，ui界面和信号源响应计算单元322＇可以根据控制命令中的位置信息以及当前界面(双链路设备输出界面或虚拟界面)中的各信号源和ui界面(或其中的控件)的分布，确定控制命令中用于控制信号源的控制命令或控制命令中用于控制ui的控制命令。或者对于快捷键输入，可以直接根据预设的对应关系确定其中用于控制信号源的控制命令或控制命令中用于控制ui的控制命令。

所述ui界面及信号源控制装置102＇还根据所述的用于控制信号源的控制命令(假设要控制的为信号源1001)，通过第二单向传输线1502控制信号源 1001进行响应，以及使信号源1001将响应结果通过第三单向传输线1503输出至所述融合装置108＇。

融合装置108＇用于接收ui界面(即ui界面帧)，接收所述信号源显示窗口信息和鼠标位置信息，以及接收信号源响应结果,并进行融合以及将融合结果输出至所述界面显控设备1100，所述融合包括在ui界面上的信号源显示窗口内显示信号源响应结果，以及根据鼠标位置信息在相应位置给出鼠标指示。作为其中一个融合方式，例如也可以包括：先输出ui界面，然后在ui界面的信号源显示窗口内显示信号源响应结果，以及在ui界面上的鼠标位置处输出鼠标图样。

图3a和图2a的区别之处在于，图3a中的ui界面及信号源控制装置102＇还根据虚拟ui界面响应结果绘制ui界面，以及将绘制的ui界面通过所述单向传输线1507输出至融合装置108＇，将一些ui数据(如信号源显示窗口信息和鼠标位置信息)通过单向传输线1508传输至融合装置108＇，以及融合装置 108＇对接收到的各个部分进行相应地融合，如前面所描述的。围绕图2a-2c的其他描述(包括针对单向传输线的各种描述)也适用于(或经适当调整适用于) 图3a的实施例，例如，对ui数据到融合装置的单向传输，对信号源的单向控制，信号源响应结果的单向输出等的描述。为简化起见，不再赘述。

图3b示出根据本发明的一些实施例的所述ui界面及信号源控制装置102＇；图3c示出根据本发明的一些实施例的所述融合装置108＇。

所述ui界面及信号源控制装置102＇可以包括指令接收单元321＇，ui界面绘制和事件响应单元322＇，布局数据分发单元323＇，ui界面视频输出单元320＇，和控制数据处理和分发单元324＇。

指令接收单元321＇接收控制命令信号，并将该信号发送至ui界面绘制和事件响应单元322＇。

ui界面绘制和事件响应单元322＇接收和分析指令接收单元321＇发送的控制命令，确定用于控制虚拟ui界面的控制命令以及用于控制信号源的控制命令，并根据用于控制虚拟ui界面的控制命令控制虚拟ui界面进行响应以及绘制ui界面，以及将用于控制信号源的控制命令发送至控制数据处理和分发单元 324＇。

ui界面绘制和事件响应单元322＇还将绘制的ui界面发送至ui界面视频输出单元320＇，并由其通过单向传输线发送至融合装置108＇，由融合装置将所述ui界面输出至界面显控设备1100。

ui界面绘制和事件响应单元322＇还确定ui界面中的信号源显示窗口信息和鼠标位置信息，以及将所述信号源显示窗口信息和鼠标位置信息发送至布局数据分发单元323＇，后者将所述数据通过单向传输线发送至融合装置108＇，使融合装置108＇将相关信号源的视频内容输出至信号源显示窗口，并在相应位置进行鼠标指示。当信号源显示窗口经过用户拖拽放大后，信号源显示窗口的位置和鼠标位置都发生变化，ui界面绘制和事件响应单元322＇将所述变化后的信号源显示窗口的位置和鼠标位置信息实时发送至布局数据分发单元 323＇，后者将所述数据通过单向传输线发送至融合装置108＇,使融合装置108＇将相关信号源的视频内容输出至变化后的信号源显示窗口内，并在相应的新位置进行鼠标指示。

根据本发明的一些实施例，所述ui界面绘制和事件响应单元322＇中的一些功能可以分散到ui界面视频输出单元320＇，布局数据分发单元323＇和控制数据处理和分发单元324＇进行，例如，可以由布局数据分发单元根据ui界面绘制和事件响应单元绘制的ui绘制结果，来确定信号源显示窗口的信息。

根据本发明的一些实施例，融合装置108＇可以包括：ui界面视频接收单元381＇，用于接收ui界面视频输出单元320＇输出的ui界面；布局数据接收单元382＇，用于接收布局数据分发单元323＇发送的所述信号源显示窗口信息和鼠标位置信息；视频解码单元383＇，用于接收信号源响应结果并根据实际需要进行解码；融合单元380＇，用于对接收的ui界面，接收的所述信号源显示窗口信息和鼠标位置信息，以及接收的信号源响应后的界面,进行融合，形成融合界面以及将该融合界面单向传输至界面显控设备，所述融合包括：输出所述绘制的ui界面，根据所述信号源显示窗口信息在信号源显示窗口显示信号源响应结果，以及根据所述鼠标位置信息在最终的输出画面中进行鼠标指示。融合结果(界面)将输出至界面显控设备1100。

根据本发明的一些其他实施例，所述融合装置的各个单元也可以互相合并，或以不同方式重新划分，以同样实现融合装置的整个功能。根据本发明的一些其他实施例，所述各个单元也可以由实现相应功能的硬件来实现。

此外，前面围绕图2a-2c描述的信号源调取和控制过程的各个细节可以被应用于此处，或经适当调整后可以被应用于此处。为简化起见，此处不再赘述。

根据本发明的一些实施例，双链路设备1500＇对来自界面显控设备1100 的控制命令的响应包括以下步骤S1、S2、S3和S4：

S1.接收和分析控制命令，确定用于控制虚拟ui界面的控制命令和用于控制信号源的控制命令，以及根据所述的用于控制虚拟ui界面的控制命令，控制虚拟ui界面进行响应，并根据虚拟ui界面响应结果绘制ui界面，以及将绘制的ui界面通过单向传输线输出至融合装置；

S2.确定虚拟ui界面响应结果对应的信号源显示窗口信息和鼠标位置信息，通过第一单向传输线将信号源显示窗口信息和鼠标位置信息输出至融合装置；

S3.根据所述的用于控制信号源的控制命令，通过第二单向传输线控制信号源进行响应，以及使信号源将信号源响应结果通过第三单向传输线输出至所述融合装置。

S4.接收ui界面，接收所述信号源显示窗口信息和鼠标位置信息，以及接收信号源响应后的界面,并进行融合，形成融合界面以及将该融合界面单向传输至界面显控设备

此外，前面参考各图描述的双链路设备中涉及的各个细节(包括各个单向传输线的示例)也适用于此处。

根据本发明的再一些实施例，可以在双链路设备部分不引入任何ui有关的技术细节以及不考虑鼠标位置及显示，此时，还可以去掉图2a和图3a中的传输线路1501,1507和1508，以及相应地，在上述方法实施例中可以省略与这些传输线路部分相关的步骤。

图3d示出图2a和图3a所示的系统中所涉的单向传输线实施例。为简化清晰起见，图3d仅仅示出双链路设备1500与界面显控设备1100、信号源3001 的各连接关系，省略了其余部分。如图3d所示，双链路设备1500，进一步包括安全指令服务箱3502。控制命令经由网络(交换机)或传输线路发送至安全指令服务箱3502，安全指令服务箱3502(参考图3e)包括指令分发服务器3651，串口光端机发射端3652，串口光端机接收端3652，连接串口光端机接收端和发射端的光纤，光纤中的光纤隔离器3653，以及连接在发射端和指令分发服务器之间的单向串口线，和连接串口光端机接收端3652的单向串口线。指令分发服务器3651用于将收到的控制命令(如网络信号形式的控制命令)转换成串口形式的控制命令，并将该控制命令沿串口光端机发射端，单向光纤，串口光端机接收端输出，如沿图3e第1行的传输链路输出。当控制命令通过光纤接入安全指令服务箱时，安全指令服务箱3502可以包括指令分发服务器3651和单向光纤，指令分发服务器3651用于将控制命令分发至单向光纤，使控制命令通过单向光纤单向传输至信号源，也即，此时不需要另行将网络信号转换为光学信号。根据本发明的一些实施例，当控制命令通过电缆接入安全指令服务箱时，所述系统包括安全指令服务箱，安全指令服务箱包括电转光设备，指令分发服务器和单向光纤，电转光设备用于将控制命令转化成光学信号形式的控制命令，指令分发服务器将光学信号形式的控制命令分发至单向光纤，使控制命令通过单向光纤单向传输至信号源。

根据本发明的一些实施例，图3d所示的系统可以进一步包括指令输出盒 3611。该指令输出盒包括串口和USB口，用于接收安全指令服务箱输入的串口形式的控制命令(如控制鼠标、键盘、多点触控指令)，并对其进行解析，形成HID标准设备协议，从而实现对信号源的多点触控、鼠标和键盘控制。

根据本发明的一些实施例，图3d所示的系统还可以进一步包括安全界面隔离箱3507，该安全界面隔离箱3507(图3f)包括视频光端机发射端3661，视频光端机接收端3662，连接在视频光端机接收端和发射端之间的光纤，光纤中的光纤隔离器3663，以及连接所述发射端的输出端口的视频线。安全界面隔离箱3507用于实现图示的x方向的单向传输。

信号源响应结果通过安全界面隔离箱输出至视频编码设备363；视频编码设备用于将信号源响应结果编码成网络流信号并将该网络流信号传输至双链路设备1500。或者，信号源响应结果通过安全界面隔离箱直接输出至双链路设备。

图4示出根据本发明一些实施例的对信号源进行远程安全交互的方法的泳道图，所述方法包括：

S01交互终端向界面显控设备发起访问请求；

S02界面显控设备接收请求并与交互终端建立连接；

S1双链路设备单向接收信号源界面以及将该信号源界面单向传输至界面显控设备；

S2界面显控设备接收信号源界面，并将其编码为网络流信号，以及将网络流信号通过网络传输至交互终端；

S3交互终端接收所述网络流信号并进行解码和显示信号源界面；

S4交互终端采集用户输入的控制命令，以及将控制命令通过网络传输至界面显控设备；

S5界面显控设备接收控制命令，并将控制命令单向发送至双链路设备；

S6双链路设备接收控制命令并进行响应，包括：根据控制命令中的用于控制信号源的控制命令，单向控制信号源，使信号源对所述控制命令进行响应。

信号源响应结果将如S1所述的继续被双链路设备接收，并被双链路设备单向传输至界面显控设备，之后继续如前面步骤S2-S6所述。

以上步骤S1和步骤S01和S02这两者之间没有必然的先后顺序。

根据本发明的一些实施例，所述双链路设备包括ui界面及信号源控制装置和融合装置；所述响应包括：ui界面及信号源控制装置根据控制命令中的用于控制信号源的控制命令单向控制信号源，信号源响应后的界面单向传输至融合装置；ui界面及信号源控制装置根据控制命令中的用于控制虚拟ui界面的控制命令，控制虚拟ui界面进行响应，并将作为响应结果的ui界面响应数据单向传输至融合装置；融合装置接收ui界面响应数据和信号源响应后的界面，并进行融合，形成最新融合界面以及将该最新融合界面单向传输至界面显控设备。

根据本发明的一些实施例，ui界面数据包括ui数据，信号源显示窗口信息和鼠标位置信息。

根据本发明的一些实施例，所述双链路设备可以包括ui界面及信号源控制装置和融合装置；所述响应包括：ui界面及信号源控制装置根据控制命令中的用于控制虚拟ui界面的控制命令，控制虚拟ui界面进行响应，并根据虚拟 ui界面响应结果绘制ui界面，以及将绘制的ui界面单向传输至融合装置；ui 界面及信号源控制装置还确定虚拟ui界面响应结果对应的信号源显示窗口信息和鼠标位置信息，将信号源显示窗口信息和鼠标位置信息单向传输至融合装置；ui界面及信号源控制装置还根据控制命令中的用于控制信号源的控制命令单向控制信号源，信号源将信号源响应后的界面单向传输至融合装置；融合装置接收ui界面，接收所述信号源显示窗口信息和鼠标位置信息，以及接收信号源响应后的界面,并进行融合，形成最新融合界面以及将该最新融合界面单向传输至界面显控设备。

根据本发明的一些实施例，控制命令包括用于指示以下操作的控制命令：

控制双链路设备、对交互终端上的双链路设备界面布局进行调整、对交互终端上的ui界面进行操作、对双链路设备界面进行截屏或者请求截屏内容、对部分截屏内容进行操作、将各双链路设备界面构成的双链路设备界面布局缩略图保存成一个场景预案、将所述截屏的缩略图和各双链路设备界面构成的双链路设备界面布局缩略图保存成一个场景预案、对双链路设备界面中显示的信号源进行操作。

根据本发明的一些实施例，所述输入包括快捷键输入。

根据本发明的一些实施例，用户输入的控制命令包含输入位置信息。

双链路设备(如前述的ui界面和信号源响应计算单元)可以根据控制命令中的位置信息以及当前界面(双链路设备输出界面或虚拟界面)中的信号源和 ui界面(或其中的控件)的分布，确定控制命令中用于控制信号源的控制命令或控制命令中用于控制ui的控制命令。或者对于快捷键输入，可以直接根据预设的对应关系确定其中用于控制信号源的控制命令或控制命令中用于控制ui 的控制命令。

根据本发明的一些实施例，各信号源所位于的网络之间彼此网络隔离。

根据本发明的一些实施例，交互终端将用户输入的控制命令转换为USB免驱控制协议下的控制命令；所述单向控制信号源包括将控制命令单向传输至信号源。

此外，其他围绕附图4之前的各附图所描述的交互系统的交互过程，如其中描述的双链路设备的响应过程等，也适用于此处，为简化起见，此处不再赘述。

Claims (20)

1.一种对信号源进行远程安全交互的方法，所述方法包括：

双链路设备单向接收信号源界面以及将该信号源界面单向传输至界面显控设备；

界面显控设备接收信号源界面，并将其编码为网络流信号，以及将网络流信号通过网络传输至交互终端；

交互终端接收所述网络流信号并进行解码和显示信号源界面；

交互终端采集用户输入的控制命令，以及将控制命令通过网络传输至界面显控设备；

界面显控设备接收控制命令，并将控制命令单向发送至双链路设备；

双链路设备接收控制命令并进行响应，包括：根据控制命令中的用于控制信号源的控制命令，单向控制信号源，使信号源对所述控制命令进行响应。

2.根据权利要求1所述的方法，其中，所述双链路设备包括ui界面及信号源控制装置和融合装置；所述响应包括：ui界面及信号源控制装置根据控制命令中的用于控制信号源的控制命令单向控制信号源，信号源响应后的界面单向传输至融合装置；ui界面及信号源控制装置根据控制命令中的用于控制虚拟ui界面的控制命令，控制虚拟ui界面进行响应，并将作为响应结果的ui界面响应数据单向传输至融合装置；融合装置接收ui界面响应数据和信号源响应后的界面，并进行融合，形成最新融合界面以及将该最新融合界面单向传输至界面显控设备。

3.根据权利要求2所述的方法，其中，ui界面数据包括ui数据，信号源显示窗口信息和鼠标位置信息。

4.根据权利要求1所述的方法，其中，所述双链路设备包括ui界面及信号源控制装置和融合装置；所述响应包括：ui界面及信号源控制装置根据控制命令中的用于控制虚拟ui界面的控制命令，控制虚拟ui界面进行响应，并根据虚拟ui界面响应结果绘制ui界面，以及将绘制的ui界面单向传输至融合装置；ui界面及信号源控制装置还确定虚拟ui界面响应结果对应的信号源显示窗口信息和鼠标位置信息，将信号源显示窗口信息和鼠标位置信息单向传输至融合装置；ui界面及信号源控制装置还根据控制命令中的用于控制信号源的控制命令单向控制信号源，信号源将信号源响应后的界面单向传输至融合装置；融合装置接收ui界面，接收所述信号源显示窗口信息和鼠标位置信息，以及接收信号源响应后的界面,并进行融合，形成最新融合界面以及将该最新融合界面单向传输至界面显控设备。

5.根据权利要求1、2、3或4所述的方法，其中，所述用户输入包括快捷键输入。

6.根据权利要求1、2、3或4所述的方法，其中，各信号源之间网络隔离。

7.根据权利要求1、2、3或4所述的方法，其中，交互终端将用户输入的控制命令转换为USB免驱控制协议下的控制命令；所述单向控制信号源包括将控制命令单向传输至信号源。

8.根据权利要求1、2、3或4所述的方法，其中，控制命令包括用于指示以下操作的控制命令：

控制双链路设备、对交互终端上的双链路设备界面布局进行调整、对交互终端上的ui界面进行操作、对双链路设备界面进行截屏或者请求截屏内容、对部分截屏内容进行操作、将各双链路设备界面构成的双链路设备界面布局缩略图保存成一个场景预案、将所述截屏的缩略图和各双链路设备界面构成的双链路设备界面布局缩略图保存成一个场景预案、对双链路设备界面中显示的信号源进行操作。

9.根据权利要求1、2、3或4所述的方法，其中，界面显控设备将各个界面暂存起来，根据实际需要或网络情况，在未来一个时刻发送给交互终端；或者界面显控设备将一段时间的多个界面编码为视频，再将该视频编码为网络流发送给交互终端；或者，界面显控设备将来自双链路设备的界面，或前述视频暂存到服务器或云端，根据实际需要或网络情况，在未来一个时刻将所述界面或视频发送给交互终端。

10.对信号源进行远程安全交互的系统，所述系统包括：

交互终端、界面显控设备和第一双链路设备；

所述交互终端、界面显控设备和第一双链路设备分别用于执行权利要求1-8中的对应部分的动作。

11.根据权利要求10所述的系统，其中，交互终端包括个人计算机、手持式或膝上型计算机、平板计算机、蜂窝电话、移动设备、电子设备、智能手机、智能电视之一或其组合。

12.根据权利要求10所述的系统，其中，所述系统包括用于产生控制命令的控制命令产生设备，控制命令产生设备以电感应、磁感应、热感性、力感应、光感应或声感应方式捕获控制动作。

13.根据权利要求10-12之一所述的系统，其中，所述系统包括用于实现权利要求1-8中所述的单向传输的单向传输线。

14.根据权利要求10-12之一所述的系统，其中，所述系统包括附加的界面显控设备，所述附加的界面显控设备和所述界面显控设备通过网络和交互终端连接。

15.根据权利要求10所述的系统，其中，所述系统包括安全指令服务箱，安全指令服务箱包括指令分发服务器，串口光端机发射端，串口光端机接收端，连接在指令分发服务器和串口光端机发射端之间的单向串口线，连接串口光端机接收端和串口光端机发射端的光纤，光纤中的光纤隔离器，以及，连接串口光端机接收端的输出端口的单向串口线，指令分发服务器用于将收到的控制命令转换成串口形式的控制命令，并将该控制命令沿串口光端机发射端，单向光纤，串口光端机接收端输出；或者，

所述系统包括安全指令服务箱，安全指令服务箱包括指令分发服务器和单向光纤，指令分发服务器用于将控制命令分发至单向光纤，使控制命令通过单向光纤单向传输至信号源；或者，

所述系统包括安全指令服务箱，安全指令服务箱包括电转光设备，指令分发服务器和多条单向光纤，电转光设备用于将控制命令转化成光学信号形式的控制命令，指令分发服务器将光学信号形式的控制命令分发至单向光纤，使控制命令通过单向光纤单向传输至信号源。

16.根据权利要求10所述的系统，其中，所述系统包括指令输出盒，该指令输出盒包括串口和USB口，用于接收安全指令服务箱输入的串口形式的控制命令，并对其进行解析，形成HID标准设备协议。

17.根据权利要求10或15所述的系统，其中，所述系统包括安全界面隔离箱，该安全界面隔离箱包括视频光端机发射端，视频光端机接收端，连接在视频光端机接收端和发射端之间的光纤，光纤中的光纤隔离器，以及连接所述视频光端机发射端的输出端口的视频线；

信号源响应结果通过安全界面隔离箱输出至视频编码设备，视频编码设备用于将信号源响应结果编码成网络流信号并将该网络流信号传输至双链路设备；或者，信号源响应结果通过安全界面隔离箱直接输出至双链路设备。

18.根据权利要求14所述的系统，其中，所述系统包括多个交互终端,各个交互终端之间通过网络通信连接。

19.根据权利要求18所述的系统，其中，各个交互终端之间通过网络进行内容分享。

20.根据权利要求19所述的系统，其中，所述内容分享包括对各自的界面截图进行分享或对各自从各个界面显控设备获取的内容进行分享。

Images