CN115277810B - 信号源并行交互系统 - Google Patents
信号源并行交互系统 Download PDFInfo
- Publication number
- CN115277810B CN115277810B CN202210927299.XA CN202210927299A CN115277810B CN 115277810 B CN115277810 B CN 115277810B CN 202210927299 A CN202210927299 A CN 202210927299A CN 115277810 B CN115277810 B CN 115277810B
- Authority
- CN
- China
- Prior art keywords
- interface
- display
- control
- signal source
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 106
- 230000004927 fusion Effects 0.000 claims abstract description 138
- 230000004044 response Effects 0.000 claims description 72
- 230000002452 interceptive effect Effects 0.000 claims description 64
- 230000005540 biological transmission Effects 0.000 claims description 58
- 239000013307 optical fiber Substances 0.000 claims description 11
- 238000002955 isolation Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 description 7
- 230000006698 induction Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- IRLPACMLTUPBCL-KQYNXXCUSA-N 5'-adenylyl sulfate Chemical compound C1=NC=2C(N)=NC=NC=2N1[C@@H]1O[C@H](COP(O)(=O)OS(O)(=O)=O)[C@@H](O)[C@H]1O IRLPACMLTUPBCL-KQYNXXCUSA-N 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/141—Setup of application sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0272—Virtual private networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Digital Computer Display Output (AREA)
Abstract
本发明属于新一代信息技术领域，涉及信号源并行交互系统，其包括：第一、第二交互设备，第一、第二双链路设备，第一、第二多画面解码显示和控制设备；第一、第二双链路设备分别包括第一ui界面及信号源控制装置、第一融合装置以及第二ui界面及信号源控制装置、第二融合装置；第一多画面解码显示和控制设备通过单向视频线向第一、第二融合装置输出第一显示界面；第一融合装置将第一和/或第二显示界面输出至第一交互设备；第一ui界面及信号源控制装置接收来自第一交互设备输入的第一控制指令，能将第一控制指令单向传输至对应的目标多画面解码显示和控制设备，以对目标多画面解码显示和控制设备进行单向控制。本发明可实现对虚机池内多个信号源的安全并行交互。
Description
技术领域
本发明涉及信息技术领域，尤其涉及信号源并行交互系统。
背景技术
在现有技术中，当多个交互终端通过网络访问多个对象时，为确保对象的安全性，通常通过权限设置和/或网络设置，使得特定的交互终端只能通过特定的网络来访问特定的对象，如此导致交互效率很低。
发明内容
针对上述问题，本申请第一方面提出信号源并行交互系统，所述系统包括：第一、第二交互设备，第一、第二双链路设备，第一、第二多画面解码显示和控制设备；第一双链路设备包括第一ui界面及信号源控制装置和第一融合装置；第二双链路设备包括第二ui界面及信号源控制装置和第二融合装置；
第一多画面解码显示和控制设备通过第一网络与第一虚机池建立网络连接，能访问第一虚机池内的一个或多个信号源；第二多画面解码显示和控制设备通过第二网络与第二虚机池建立网络连接，能访问第二虚机池内的一个或多个信号源；
第一多画面解码显示和控制设备用于通过第一单向视频线向第一融合装置输出第一显示界面以及通过第二单向视频线向第二融合装置输出第一显示界面，第一显示界面包括第一多画面解码显示和控制设备从第一虚机池访问获取的一个或多个信号源的显示界面；第二多画面解码显示和控制设备用于通过第三单向视频线向第一融合装置输出第二显示界面以及通过第四单向视频线向第二融合装置输出第二显示界面，第二显示界面包括第二多画面解码显示和控制设备从第二虚机池访问获取的一个或多个信号源的显示界面；
第一融合装置用于单向获取第一和第二显示界面，并将第一和/或第二显示界面输出至第一交互设备的第一显示设备；第二融合装置用于单向获取第一和第二显示界面，并将第一和/或第二显示界面输出至第二交互设备的第二显示设备；
第一ui界面及信号源控制装置用于接收来自第一交互设备输入的第一控制指令；第二双链路设备的第二ui界面及信号源控制装置用于接收来自第二交互设备输入的第二控制指令；第一ui界面及信号源控制装置能将第一控制指令单向传输至第一控制指令所对应的第一或第二多画面解码显示和控制设备以对其进行单向控制；第二ui界面及信号源控制装置能将第二控制指令单向传输至第二控制指令所对应的第一或第二多画面解码显示和控制设备，以对其进行单向控制。
本申请第二方面提出信号源并行交互系统，所述系统包括：第一、第二交互终端，第一、第二界面显控设备，第一、第二双链路设备，第一、第二多画面解码显示和控制设备；第一双链路设备包括第一ui界面及信号源控制装置和第一融合装置；第二双链路设备包括第二ui界面及信号源控制装置和第二融合装置；
第一多画面解码显示和控制设备通过第一网络与第一虚机池建立网络连接，能访问第一虚机池内的一个或多个信号源；第二多画面解码显示和控制设备通过第二网络与第二虚机池建立网络连接，能访问第二虚机池内的一个或多个信号源；
第一多画面解码显示和控制设备用于通过第一单向视频线向第一融合装置输出第一显示界面以及通过第二单向视频线向第二融合装置输出第一显示界面，第一显示界面包括第一多画面解码显示和控制设备从第一虚机池访问获取的一个或多个信号源的显示界面；第二多画面解码显示和控制设备用于通过第三单向视频线向第一融合装置输出第二显示界面以及通过第四单向视频线向第二融合装置输出第二显示界面，第二显示界面包括第二多画面解码显示和控制设备从第二虚机池访问获取的一个或多个信号源的显示界面；
第一融合装置用于单向获取第一和第二显示界面，并将第一和/或第二显示界面通过第五单向视频线输出至第一界面显控设备；第二融合装置用于单向获取第一和第二显示界面，并将第一和/或第二显示界面通过第六单向视频线输出至第二界面显控设备；
第一界面显控设备用于采集所述第一和/或第二显示界面，并将所述第一和/或第二显示界面编码为网络流信号后供第一交互终端通过使用网获取；第二界面显控设备用于采集所述第一和/或第二显示界面，并将所述第一和/或第二显示界面编码为网络流信号后供第一或第二交互终端通过使用网获取；
第一ui界面及信号源控制装置用于接收来自第一界面显控设备单向输入的第一控制指令，其中第一控制指令为第一或第二交互终端通过使用网向第一界面显控设备输入的控制指令；第二ui界面及信号源控制装置用于接收来自第二界面显控设备单向输入的第二控制指令，其中第二控制指令为第一或第二交互终端通过使用网向第二界面显控设备输入的控制指令；第一ui界面及信号源控制装置能将第一控制指令单向传输至第一控制指令所对应的第一或第二多画面解码显示和控制设备，以对其进行单向控制；第二ui界面及信号源控制装置能将第二控制指令单向传输至第二控制指令所对应的第一或第二多画面解码显示和控制设备，以对其进行单向控制。
本申请第二方面提出信号源并行交互系统，所述系统包括：第一、第二交互终端，第一、第二双链路设备，第一至第四界面显控设备，第一、第二多画面解码显示和控制设备；第一双链路设备包括第一ui界面及信号源控制装置和第一融合装置；第二双链路设备包括第二ui界面及信号源控制装置和第二融合装置；
第一多画面解码显示和控制设备通过第一网络与第一虚机池建立网络连接，能访问第一虚机池内的一个或多个信号源；第二多画面解码显示和控制设备通过第二网络与第二虚机池建立网络连接，能访问第二虚机池内的一个或多个信号源；
第一多画面解码显示和控制设备用于通过第一单向视频线向第一融合装置输出第一显示界面以及通过第二单向视频线向第二融合装置输出第一显示界面，第一显示界面包括第一多画面解码显示和控制设备从第一虚机池访问获取的一个或多个信号源的显示界面；第二多画面解码显示和控制设备用于通过第三单向视频线向第一融合装置输出第二显示界面以及通过第四单向视频线向第二融合装置输出第二显示界面，第二显示界面包括第二多画面解码显示和控制设备从第二虚机池访问获取的一个或多个信号源的显示界面；
第一融合装置用于单向获取第一和第二显示界面，并将第一和/或第二显示界面通过第五单向视频线输出至第一界面显控设备；第二融合装置用于单向获取第一和第二显示界面，并将第一和/或第二显示界面通过第六单向视频线输出至第二界面显控设备；
第一界面显控设备用于采集所述第一和/或第二显示界面，并将所述第一和/或第二显示界面编码为网络流信号后供第一或第二交互终端通过使用网获取；第二界面显控设备用于采集所述第一和/或第二显示界面，并将所述第一和/或第二显示界面编码为网络流信号后供第一或第二交互终端通过使用网获取；
第一ui界面及信号源控制装置用于接收来自第三界面显控设备单向输入的第一控制指令，其中第一控制指令为第一或第二交互终端通过使用网向第三界面显控设备输入的控制指令；第二双链路设备的第二ui界面及信号源控制装置用于接收来自第四界面显控设备单向输入的第二控制指令，其中第二控制指令为第一或第二交互终端通过使用网向第四界面显控设备输入的控制指令；第一ui界面及信号源控制装置能将第一控制指令单向传输至第一控制指令所对应的第一或第二多画面解码显示和控制设备，以对其进行单向控制；第二ui界面及信号源控制装置能将第二控制指令单向传输至第二控制指令所对应的第一或第二多画面解码显示和控制设备，以对其进行单向控制。
通过上述实施例，可以经由两个交互设备实现对多个网络内的虚机池内的各个信号源的安全并行交互，虚机池内的各个信号源的底层数据不会因交互设备的交互过程而被泄露，同时，交互过程又不会对虚机池引入任何新的网络暴露风险，也不会增加虚机池内的信号源数据(例如文件夹数据)的额外网络暴露风险；同时还确保了交互设备端及双链路设备不会受到被交互对象(虚机池端)的恶意攻击。
附图说明
图1a示出根据本发明一些实施例的信号源并行交互系统；
图1b示出交互模块上绘制的多个信号源；
图1c示例性地示出双链路设备1500融合形成的界面；
图2a示出根据本发明一些实施例的图1a中的双链路设备及其与周围部件的连接关系；
图2b示出根据本发明一些实施例的ui界面及信号源控制装置；
图2c示出根据本发明一些实施例的融合装置；
图3a示出了根据本发明另一些实施例的图1a中的双链路设备及其与周围部件的连接关系；
图3b示出根据本发明另一些实施例的ui界面及信号源控制装置；
图3c示出根据本发明另一些实施例的融合装置；
图4示出根据本发明另一些实施例的交互系统的部分视图；
图5a示出根据本发明的一些实施例的图4的替代实现方式；
图5b示出根据本发明的一些实施例的图5a的实施方式。
具体实施方式
本申请中，凡涉及通过网络实现的，其本质旨在涵盖通过交换机、路由器等必要的固件或软件实现的有线或无线的网络连接，也涵盖通过一些服务端或其他计算机等作为中介实现的有线或无线的网络连接，本申请为简化描述，突出发明点，在描述网络连接时有时略去了对路由器/交换机的说明。在本申请中，所涉及的网络可以包括Wi-fi网络、蓝牙网络、私人区域网络(PAN)、局域网(LAN)、广域网(WAN)、IEEE 802.1x、内联网、互联网、外联网及其各项组合。网络也可以包括数字蜂窝电话网络，其可以包括全球移动通信系统(GSM)、通用分组无线服务(GPRS)、cdmaOne、CDMA1600、演进-数据优化的(EV-DO)、增强型数据速率GSM演进(EDGE)、通用移动通信系统(UMTS)、数字增强型无绳通信(DECT)、数字AMPS(IS-136/TDMA)、集成数字增强型网络(iDEN)、WiMAX、LTE、LTE advanced、移动宽带无线接入(MBWA)、IEEE 802.20。网络可以是公共接入的、私人的、虚拟私人的例如VPN。
在本申请中，单向传输线上可以包括各种可以实现单向传输或单向控制目的的装置，所述的用于实现单向传输或单向控制目的装置可以是一个单向控制设备，或单向传输线缆等单向传输装置，或是由一个控制装置和传输线缆等组成的整体，在作为整体实现单向传输或单向控制目的时，本申请并不限制整体中的各个控制装置或连接线缆本身必须是单向工作的，例如，有些设备或设备间的连接线缆或许存在双向或多向通路，但作为整体仍可以实现单向传输或单向控制，再例如，所述单向传输线上可能涉及网络连接(件)，但当该网络连接件结合了其他设备后，其结合后的整体仍可以实现单向的目的，如下文还将描述的，此类情况也都在本发明的预料范围和要求保护的范围内。
在本发明所在技术领域，ui数据是描述一个ui界面的各个组成部分及各部分所处的位置等信息的数据，所述各个组成部分和位置如保存、标绘、删除、录屏、撤销、清空等交互标签，及指针位置。控制虚拟ui界面的控制指令例如可以包括点击下拉菜单，移动、放大或缩小显示窗口位置，等等,也即，虚拟ui界面在控制指令的控制下会出现变化，如，出现显示窗口移动，放大或缩小，这些变化结果即为虚拟ui界面的响应结果，本申请中用虚拟ui界面响应结果对应的ui数据来表示发生变化后的虚拟ui界面所对应的ui数据。
在本申请中，涉及光纤，串口等连线的使用，为搭配这些连线，可能需要配套使用的转换模块，例如在将信号从网络转换到光纤上时，需要网转光模块，但在计算机网络端口本身即为光端口的情况下，可以省略额外的网转光模块，鉴于这种模块是否必要可以根据实际应用场景来确定，为本领域技术人员所熟知，故为简化起见，没有一一加以说明，但不表明对必要转换模块的省略。在本申请的附图中，融合装置、ui界面及信号源控制装置、交互设备分别独立存在，根据本发明的一些实施例，这些装置可以作为计算机、平板电脑等计算处理设备的一部分而存在。
在本申请中，界面采集模块所采集的是界面，界面(或显示界面或界面图像)在本申请中指通过显卡对外输出的信号或在没有显卡的情况下，通过其他装置实现的表示当前界面的信号，该界面不是底层的原始数据文件。
下面将参考附图并结合实施例来示例性地说明本发明，需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在本申请中，双链路设备为申请人为描述方便引入的术语，其具体功能如其在上下文中所指出的。
图1a示出根据一些实施例的信号源并行交互系统的示意性框图。
图1a所示的所述交互系统包括两个交互设备1300和1300＇、两个(或更多个)双链路设备1500和1500＇、两个多画面解码显示和控制设备1600和1600＇。
图示交互设备1300包括控制指令产生设备1301和对应的显示设备1302。图示交互设备1300＇包括控制指令产生设备1301＇和对应的显示设备1302＇。
图示两个双链路设备1500，1500＇分别和各自的多画面解码显示和控制设备连接，同时还和对方的多画面解码显示和控制设备连接。为简化起见，图1a中的具有双向箭头的(单向视频传输、单向控制)线中的一个箭头表示控制方向，另一个表示视频传输方向，具体连接方式如图2a和3a所示。
多画面解码显示和控制设备1600和网络1内的虚机池1建立网络连接，多画面解码显示和控制设备1600＇和网络F内的虚机池F建立网络连接。
多画面解码显示和控制设备1600包括界面采集模块1和交互模块1，多画面解码显示和控制设备1600＇包括界面采集模块F和交互模块F。
交互模块1和F分别和图示的网络1和F内的虚机池(或虚拟机)网络连接；网络1和F之间可以网络隔离，所述网络隔离包括彼此之间无法通过网络相互访问的情形，也可以包括通过网络措施实现的隔断。交互模块上安装有程序，可以和虚机池内的虚拟信号源(简称信号源，如虚拟电脑，虚拟服务器)进行交互，包括可以通过网络访问获取各虚机池内的各个信号源的内容，也包括可以在同一交互模块界面上显示一个虚机池内的多个信号源的内容。
根据本发明的一些实施例，所述交互系统还可以包括图示的各个虚机池。
根据本发明的一些实施例，所述系统还可以包括图示的用于实现单向视频传输的单向传输线，在本申请中，也将实现单向视频传输的单向传输线也称为单向视频线。
图示的实现单向视频传输的各个单向传输线包括实现单向视频传输的线缆，或者当单向传输由线缆上包含的配件实现时，所述单向传输线包括线缆和配件；图示的实现单向控制的各个单向传输线包括实现单向控制的线缆，或者当单向传输由线缆上包含的配件实现时，所述单向传输线包括线缆和配件。
以下结合图1a描述所述系统的示例性交互过程。如图1a所示，交互模块1通过网线连接网络1内的虚机池(服务端)1，从而通过网络访问虚机池内的多个信号源内容，交互模块1可以在每个窗口内绘制每个信号源的内容，如图1b所示，交互模块1的界面中的四个窗口中可以分别绘制一个对应的信号源a，b，c，d。
界面采集模块1获取当前界面，而非底层数据(例如文件夹数据)，例如，可以通过截屏机制获取当前的界面，该界面内容通过对应的单向视频线输出至双链路设备1500和/或1500＇。该界面可以通过显卡对外输出至双链路设备。界面采集模块F获取当前界面，而非底层数据(例如文件夹数据)，例如，可以通过截屏机制获取当前的界面，该界面内容通过单向视频线输出至双链路设备1500和/或1500＇。该界面可以通过显卡对外输出至双链路设备。因此，双链路设备1500和1500＇可以获取不同网络1和F内的虚机池1和F中的一个或多个信号源的界面(显示界面或界面图像)。
双链路设备1500获取界面后，将所述界面通过HDMI线或其他视频线输出至交互设备1300中的显示设备1302。双链路设备1500＇获取界面后，将所述界面通过HDMI线或其他视频线输出至交互设备1300＇中的显示设备1302＇。
用户可以查看显示设备1302和/或1302＇的画面，并在控制指令产生设备1301和/或1301＇上执行相应的输入操作，以下以控制指令产生设备1301向双链路设备1500输入控制指令为例来进行描述。所述控制指令产生设备1301可以是以电感应、磁感应、热感性、力感应、光感应、声感应等各种方式来捕获操作的触控屏，或键盘、鼠标等其他控制动作的控制指令产生设备。根据本发明的一些实施例，控制指令产生设备1301可以为透明的触控装置，可以使该透明的触控装置在空间上叠加在显示设备1302上，显示设备1302提供控制对象的画面，通过参考透明的触控装置下方的显示设备1302的画面，可以在控制指令产生设备上实现可视化触控。控制指令产生设备1301和显示设备1302可以集成为一体，例如作为触控显示屏幕存在，或者可以都集成在交互设备1300上。
双链路设备1500接收控制指令后将指令输出至交互模块1和/或F，对交互模块进行单向控制，例如，通过单向传输线将控制指令单向输出至控制指令所要控制的虚机池的信号源所对应的交互模块1和/或F，交互模块1和/或F接受所述控制指令并根据指令进行响应，包括根据指令控制虚机池内的信源进行响应。
同理，若假设用户通过控制指令产生设备1301＇向双链路设备1500＇输入控制指令(下同)，双链路设备1500＇接收控制指令后将指令输出至交互模块1和/或F，对交互模块进行单向控制，例如，通过单向传输线将控制指令单向输出至控制指令所要控制的虚机池的信号源所对应的交互模块1和/或F，交互模块1和/或F接受所述控制指令并根据指令进行响应，包括根据指令控制虚机池内的信源进行响应。
通过上述实施例，可以经由两个交互设备实现对多个网络内的虚机池内的各个信号源的安全并行交互，虚机池内的各个信号源的底层数据不会因交互设备的交互过程而被泄露，同时，交互过程又不会对虚机池引入任何新的网络暴露风险，也不会增加虚机池内的信号源数据(例如文件夹数据)的额外网络暴露风险；同时还确保了交互设备端及双链路设备不会受到被交互对象(虚机池端)的恶意攻击。
图2a示出了根据本发明一些实施例的图1a中的双链路设备及其与周围部件的连接关系，为简化清楚起见，其中省略了图1a中的多画面解码显示和控制设备下方的各个组成部分。
以下将描述双链路设备1500及其响应过程。
所述双链路设备1500包括：ui界面及信号源控制装置102；第一单向传输线1501；融合装置108。
所述ui界面及信号源控制装置102用于接收和分析控制指令产生设备1301发送的所述控制指令，确定与所述控制指令对应的用于控制虚拟ui界面的控制指令和用于控制信号源的控制指令；以及根据所述的用于控制虚拟ui界面的控制指令，控制虚拟ui界面进行响应，以及将虚拟ui界面响应结果对应的ui数据通过第一单向传输线1501输出至融合装置108；所述ui界面及信号源控制装置102还根据所述的用于控制信号源(如虚机池中的其中一个信号源)的控制指令(假设要控制的为信号源a)，单向控制(例如，通过图2a所示的单向控制路径和交互模块1)虚机池中的信号源a进行响应，信号源a将响应结果通过网线输出至多画面解码显示和控制设备1600，如图1a和2a所示。ui界面及信号源控制装置可以预先存储各个交互模块和虚机池的对应关系，因此，当图1b所示的多画面解码显示和控制设备输出的界面被发送至双链路设备1500，以及在双链路设备1500处融合后形成图1c所示的界面时，如果有用户点击a所在的窗口上的播放按钮时，则双链路设备1500在确定作用对象为来自多画面解码显示和控制设备1600的界面时(如通过分析鼠标作用位置及来自多画面解码显示和控制设备的多个界面的分布布局)，将控制指令发送至交互模块1,由交互模块1根据鼠标在其初始输出界面中的位置再将控制指令发送至该位置对应的信号源a。
融合装置108用于对所述ui数据进行解析，并将解析结果和信号源响应结果(信号源响应结果包括单个信号源响应结果或为包括单个信号源响应结果以及其他未做响应的信号源界面的整个交互模块界面，信号源响应结果可通过图1a所示的从虚机池到双链路设备的链路输出至融合装置，如前所述)进行融合以及将融合结果输出至所述显示设备1302。所述融合例如为根据解析结果中供信号源(信号源响应结果)显示用的位置和大小，将信号源响应结果绘制到相应位置，并将ui图标按钮等也绘制在相应位置。
根据本发明的一些实施例，所述ui界面及信号源控制装置102可以预先将一个虚拟ui界面存储和设置为所要操作的虚拟ui界面(也即所要用到的虚拟ui界面)，以及响应所述控制指令(例如一旦检测到有控制指令输入，或控制指令对应为调取ui界面时)，通过第一单向传输线1501将所要操作的虚拟ui界面对应的ui数据输出到所述融合装置上,由所述融合装置对所要操作的虚拟ui界面对应的ui数据进行解析以及将该解析结果输出至显示设备1302。
根据本发明的一些实施例，所述虚拟ui界面的内容可以包括保存、标绘、删除、录屏、撤销、清空等交互标签、框线分布以及鼠标图案等。各个不同的虚拟ui界面可以有不同的标签、框线分布等。所述标绘意指划线，加入几何结构图，流程图，以及进行标注，加入文字，进行着色等动作。
根据本发明的一些实施例，所述控制虚拟ui界面的控制指令例如可以包括点击下拉菜单，移动、放大或缩小信号源的显示窗口位置，等等。
根据本发明的一些实施例，所述用于控制信号源的控制指令例如可以包括点击和改变信号源的视频内容等。
根据本发明的一些实施例，所要操作的虚拟ui界面对应的ui数据和虚拟ui界面响应结果对应的ui数据包括指针位置数据，即，指针在虚拟ui界面上的分布位置所对应的数据。由于ui数据可以包含指针位置数据，因此，显示于显示设备1302上的显示内容也实时包括指针，由此实现对界面的高效控制。
根据本发明的一些实施例，所述ui界面及信号源控制装置102还可以保存虚拟ui界面响应结果，用于更新预先存储的虚拟ui界面，作为下一次所要调取的虚拟ui界面。
根据本发明的一些实施例，所述ui界面及信号源控制装置102还可以被配置为在将虚拟ui界面响应结果对应的ui数据通过第一单向传输线1501传输至融合装置时，仅仅传输与虚拟ui界面变化部分相关的ui数据，由此可以节约传输量。
根据本发明的一些实施例，将虚拟ui界面响应结果对应的ui数据通过第一单向传输线1501输出至融合装置108包括将虚拟ui界面响应结果对应的ui数据通过以下方式传输至融合装置：
将虚拟ui界面响应结果对应的ui数据通过作为第一单向传输线1501的单向光纤传输至融合装置。
此时所述第一单向传输线上包括单向光纤。其他用于实现单向传输的装置也在本发明预料范围内。
根据本发明的一些实施例，单向控制交互模块1，包括通过单向串口线连接交互模块1，以实现对交互模块的控制。
双链路设备1500＇中的融合装置108＇，ui界面及信号源控制装置102＇和单向传输线1501＇类似于双链路设备1500中的对应部分，此处不再详述。
此外，如图1a所示，被双链路设备1500中的融合装置108获取的视频信号，也可以被双链路设备1500＇中的融合装置108＇获取，双链路设备1500中的ui界面及信号源控制装置102可以向交互模块1及交互模块F发送指令，用于控制虚机池的对应信号源，双链路设备1500＇中的ui界面及信号源控制装置102＇可以向交互模块1及交互模块F发送指令，用于控制虚机池的对应信号源。因此，各个双链路设备1500和1500＇可以查看彼此所能查看的信号源，以及操作彼此所能操作的信号源，且依然能实现对网络访问过程中虚机池内的多个被访问信号源的网络安全交互，不会导致信号源的额外网络暴露风险。
根据本发明的一些实施例，所述视频网交换机和指令网交换机所在的网络网络隔离；所述视频网交换机和指令网交换机均与各个交互模块所在的网络网络隔离，各交互模块所在的网络之间也可以网络隔离。
图示虚线框部分101也可以直接是多个计算机(替代其中的交互模块和虚机池)，各个计算机可以位于不同的网络内。
图2b示出根据本发明一些实施例的ui界面及信号源控制装置102，图2c示出根据本发明一些实施例的融合装置108。
ui界面及信号源控制装置102包括指令接收单元321，ui界面和信号源响应计算单元322，ui数据分发单元323和控制数据分发单元324。根据本发明的一些其他实施例，所述ui界面及信号源控制装置的各个单元也可以互相合并，或以不同方式重新划分，以同样实现ui界面及信号源控制装置102的整个功能。
指令接收单元321接收控制指令，并将该信号发送至ui界面和信号源响应计算单元322。
ui界面和信号源响应计算单元322对指令接收单元321发送的控制指令进行分析，以确定与所述输入对应的所要操作的虚拟ui界面、用于控制虚拟ui界面的控制指令以及用于控制信号源的控制指令。ui界面和信号源响应计算单元将所要操作的虚拟ui界面对应的ui数据发送至ui数据分发单元323，再由ui数据分发单元通过第一单向传输线发送至ui数据解析单元382，ui数据解析单元382将解析结果发送至视频解码和显示单元381，后者接收前述解析结果，并将解析结果(界面)输出到显示设备1302。
ui界面和信号源响应计算单元322继续对指令接收单元321发送的控制指令进行分析，确定用于控制虚拟ui界面325的控制指令和用于控制信号源的控制指令；以及根据所述的用于控制虚拟ui界面325的控制指令，控制虚拟ui界面进行响应，以及将虚拟ui界面响应后对应的ui数据(例如包括放大的显示窗口的信息)发送至ui数据分发单元123，再由ui数据分发单元通过第一单向传输线将响应后的ui数据发送至融合装置108。同时，ui界面和信号源响应计算单元322还将用于控制信号源1001的控制数据(或控制指令)发送至控制数据分发单元324，由控制数据分发单元324根据所述的用于控制信号源(如虚机池1中的其中一个信号源a)的控制指令，将控制指令最终发送至交互模块1，从而控制虚机池1中的信号源a的响应，以及使信号源a将响应结果(显示界面)通过网线输出至多画面解码显示和控制设备1600，由界面采集模块1再将响应结果输出至融合装置108，如图1a和2a所示。
根据本发明的一些实施例，ui界面和信号源响应计算单元322可以根据控制指令中的位置信息以及当前界面(双链路设备输出界面或虚拟界面)中的各信号源和ui界面(或其中的控件)的分布，确定控制指令中用于控制信号源的控制指令或控制指令中用于控制ui的控制指令。或者对于快捷键输入，可以直接根据预设的对应关系确定其中用于控制信号源的控制指令或控制指令中用于控制ui的控制指令。
融合装置108用于接收ui数据并进行解析，以及将该ui数据的解析结果和信号源a响应结果(信号源响应结果包括单个信号源响应结果或为包括单个信号源响应结果以及其他未做响应的信号源界面的整个交互模块界面，信号源响应结果可通过图1a所示的从虚机池到双链路设备的链路输出至融合装置，如前所述)进行融合，并将融合结果(界面)输出到显示设备1302。根据图示实施例，融合装置108可以包括视频解码和显示单元381以及ui数据解析单元382。ui数据解析单元382用于接收ui数据分发单元323发送的ui数据并进行解析，将解析结果发送至视频解码和显示单元381。视频解码和显示单元381一方面接收前述解析结果，另一方面也接收信号源a的界面内容，并对接收结果进行融合，并将融合结果(界面)输出到显示设备1302上，最终呈现在显示设备1302上的内容包含一个响应控制指令后的界面以及显示于界面内的响应控制指令后的信号源a的内容。
图3a-3c示出根据本发明再一些实施例的双链路设备1500"和1500""，及其与其他组成部分的连接示意图，其余省略部分可以参考图1a。
为简化起见，图中与图2a-2c相同或类似的部件采用了相同或类似的数字标记。
图3a中的所述ui界面及信号源控制装置102"可以接收和分析控制指令，确定用于控制虚拟ui界面的控制指令和用于控制信号源(设所控信号源为虚机池F中的信号源b)的控制指令，以及根据所述的用于控制虚拟ui界面的控制指令，控制虚拟ui界面进行响应，并根据虚拟ui界面响应结果绘制ui界面，以及将绘制的ui界面通过所述单向传输线1507输出至融合装置108"。所述ui界面及信号源控制装置102"还用于将初始信号源显示窗口信息和鼠标位置信息，及随后的响应控制指令后的信号源显示窗口信息(或简称显示窗口信息)和鼠标位置信息通过单向传输线1508向融合装置108"输出。ui界面及信号源控制装置102"可以通过虚拟ui界面及用于控制虚拟ui界面的控制指令实时确定ui界面的变化及相应的信号源显示窗口信息和鼠标位置信息。
融合装置108"用于接收ui界面(即ui界面帧)，接收所述信号源显示窗口信息和鼠标位置信息，以及接收信号源响应结果,并进行融合以及将融合结果输出至显示设备1302，所述融合包括在ui界面上的信号源显示窗口内显示信号源响应结果，以及根据鼠标位置信息在相应位置给出鼠标指示。作为其中一个融合方式，例如也可以包括：先输出ui界面，然后在ui界面的信号源显示窗口内显示信号源响应结果，以及在ui界面上的鼠标位置处输出鼠标图样。
所述ui界面及信号源控制装置102"还根据所述的用于控制信号源的控制指令(设所控信号源为虚机池1中的信号源b)，将用于控制信号源b的控制指令发送至控制数据分发单元324＇，由控制数据分发单元324＇根据所述的用于控制信号源的控制指令，将控制指令最终发送至虚机池1中的信号源b，单向控制(例如，通过图2a所示的单向控制路径和交互模块1)虚机池中的信号源b进行响应，信号源b将响应结果通过网线输出至多画面解码显示和控制设备1600，如图1a和3a所示。ui界面及信号源控制装置可以预先存储各个交互模块(多画面解码显示和控制设备)和虚机池的对应关系，因此，当图1b所示的多画面解码显示和控制设备输出的界面被发送至双链路设备1500，以及在双链路设备1500处融合后形成图1c所示的界面时，如果有用户点击a所在的窗口上的播放按钮时，则双链路设备1500在确定作用对象为来自多画面解码显示和控制设备1600的界面时(如通过分析鼠标作用位置及来自多画面解码显示和控制设备的多个界面的分布布局)，将控制指令发送至交互模块1,由交互模块1根据鼠标在其初始输出界面中的位置再将控制指令发送至该位置对应的信号源a。
图3a和图2a的区别之处在于，图3a中的ui界面及信号源控制装置102"还根据虚拟ui界面响应结果绘制ui界面，以及将绘制的ui界面通过所述单向传输线1507输出至融合装置108"，将一些ui数据(如信号源显示窗口信息和鼠标位置信息，信号源显示窗口信息简称显示窗口信息)通过单向传输线1508传输至融合装置108"，以及融合装置108"对接收到的各个部分进行相应地融合，如前面所描述的。围绕图2a-2c的其他描述(包括针对单向传输线的各种描述)也适用于图3a的实施例，例如，对ui数据到融合装置的单向传输，对信号源的单向控制等的描述。为简化起见，不再赘述。
图3b示出根据本发明的一些实施例的所述ui界面及信号源控制装置102"；图3c示出根据本发明的一些实施例的所述融合装置108"。
所述ui界面及信号源控制装置102"可以包括指令接收单元321＇，ui界面绘制和事件响应单元322＇，布局数据分发单元323＇，ui界面视频输出单元320＇，和控制数据处理和分发单元324＇。
指令接收单元321＇接收控制指令信号，并将该信号发送至ui界面绘制和事件响应单元322＇。
ui界面绘制和事件响应单元322＇接收和分析指令接收单元321＇发送的控制指令，确定用于控制虚拟ui界面的控制指令以及用于控制信号源的控制指令，并根据用于控制虚拟ui界面的控制指令控制虚拟ui界面进行响应以及绘制ui界面，以及将用于控制信号源的控制指令发送至控制数据处理和分发单元324＇。根据本发明的一些实施例，ui界面和信号源响应计算单元322＇可以根据控制指令中的位置信息以及当前界面(双链路设备输出界面或虚拟界面)中的各信号源和ui界面(或其中的控件)的分布，确定控制指令中用于控制信号源的控制指令或控制指令中用于控制ui的控制指令。或者对于快捷键输入，可以直接根据预设的对应关系确定其中用于控制信号源的控制指令或控制指令中用于控制ui的控制指令。
ui界面绘制和事件响应单元322＇还将绘制的ui界面发送至ui界面视频输出单元320＇，并由其通过单向传输线发送至融合装置108"，由融合装置将所述ui界面输出至显示设备1302。
ui界面绘制和事件响应单元322＇还确定ui界面中的信号源显示窗口信息和鼠标位置信息，以及将所述信号源显示窗口信息和鼠标位置信息发送至布局数据分发单元323＇，后者将所述数据通过单向传输线发送至融合装置108"，使融合装置108"将相关信号源的视频内容输出至信号源显示窗口，并在相应位置进行鼠标指示。当信号源显示窗口经过用户拖拽放大后，信号源显示窗口的位置和鼠标位置都发生变化，ui界面绘制和事件响应单元322＇将所述变化后的信号源显示窗口的位置和鼠标位置信息实时发送至布局数据分发单元323＇，后者将所述数据通过单向传输线发送至融合装置108",使融合装置108"将相关信号源的视频内容输出至变化后的信号源显示窗口内，并在相应的新位置进行鼠标指示。
根据本发明的一些实施例，所述ui界面绘制和事件响应单元322＇中的一些功能可以分散到ui界面视频输出单元320＇，布局数据分发单元323＇和控制数据处理和分发单元324＇进行，例如，可以由布局数据分发单元根据ui界面绘制和事件响应单元绘制的ui绘制结果，来确定信号源显示窗口的信息。
根据本发明的一些实施例，融合装置108"可以包括：ui界面视频接收单元381＇，用于接收ui界面视频输出单元320＇输出的ui界面；布局数据接收单元382＇，用于接收布局数据分发单元323＇发送的所述信号源显示窗口信息和鼠标位置信息；视频解码单元383＇，用于接收信号源响应结果并根据实际需要进行解码；融合单元380＇，用于对接收的ui界面，接收的所述信号源显示窗口信息和鼠标位置信息，以及接收的信号源响应后的界面,进行融合，形成融合界面以及将该融合界面单向传输至界面显控设备，所述融合包括：输出所述绘制的ui界面，根据所述信号源显示窗口信息在对应的信号源显示窗口显示信号源响应结果，以及根据所述鼠标位置信息在最终的输出画面中进行鼠标指示。融合结果(界面)将输出至显示设备1302。
根据本发明的一些其他实施例，所述融合装置的各个单元也可以互相合并，或以不同方式重新划分，以同样实现融合装置的整个功能。根据本发明的一些其他实施例，所述各个单元也可以由实现相应功能的硬件来实现。
此外，前面围绕图2a-2c描述的信号源调取和控制过程的各个细节可以被应用于此处，或经适当调整后可以被应用于此处。为简化起见，此处不再赘述。
根据本发明的再一些实施例，可以在双链路设备部分不引入任何ui有关的技术细节以及不考虑鼠标位置及显示，此时，可以去掉图2a和图3a中的传输线路1501,1507和1508，以及相应地，在上述实施例中可以省略与这些传输线路部分相关的步骤。
双链路设备1500""中的融合装置108""，单向传输线1507＇和1508＇，以及ui界面及信号源控制装置102""与双链路设备1500"中的对应部件类似，因此，不再重复描述。
图4示出根据本发明另一些实施例的交互系统的部分视图，图中仅示出双链路设备4500，4500＇以上部分的各个部件及其连接方式，为简化起见，双链路设备下方的各个部件及连接方式都省略，具体可以参考前面围绕图1a所描述的。图4与图1a的区别之处在于：
双链路设备4500的显示界面(例如由其中的显卡采集后由显卡向外输出)通过单向视频线输出至界面显控设备1，以及双链路设备4500接受来自界面显控设备1的单向控制。根据本发明的一些实施例，双链路设备4500中的融合装置将融合后的内容通过单向传输线输出至界面显控设备1，以及双链路设备4500中的ui界面及信号源控制装置接受来自界面显控设备1的单向控制，关于融合装置和ui界面及信号源控制装置，可以参考图2b，2c和图3b，3c。
同理，双链路设备4500＇的显示界面(例如由其中的显卡采集后由显卡向外输出)通过单向视频线输出至界面显控设备N，以及接受来自界面显控设备N的单向控制。根据本发明的一些实施例，双链路设备4500＇中的融合装置将融合后的内容通过单向传输线输出至界面显控设备N，以及双链路设备4500＇中的ui界面及信号源控制装置接受来自界面显控设备N的单向控制，关于融合装置和ui界面及信号源控制装置，可以参考图2a-3c。根据实际需要，双链路设备4500＇可以直接如图2a和图3a所示连接至显示设备和控制指令产生设备。
界面显控设备1和N将获取的界面编码为网络流信号，交互终端1300"可以根据控制指令产生设备1301"的交互指令通过使用网交换机1800获取各界面所对应的网络流信息，从而向显示设备1302"输出相应界面。为简化起见，在本申请的一些描述中，略去网络传输过程中所涉及的视频编码和/或解码过程的描述。
用户可以参考显示设备1302"显示的界面，借助控制指令产生设备1301"输入控制指令。交互终端1300"接收所述控制指令，并通过网络将控制指令传输至界面显控设备1或N。例如可以通过图示网线和使用网交换机1800将控制指令发送至界面显控设备1或N，或者通过一个额外的服务器和网络设备将控制指令发送至界面显控设备1或N来实现所述控制指令的发送。交互终端1300"也可以将控制指令发送至服务器，以供服务器保存相关记录，或统一管理，或者交互终端发送所述控制指令之前，发送相应的请求至服务器，经服务器授权后执行所述控制指令的发送。
界面显控设备1或N再将控制指令发送至双链路设备4500，4500’，由双链路设备继续对控制指令进行响应，包括将控制指令输出至交互模块，如前面所描述的，此处不再重复。
除了将界面实时发送给交互终端外，根据本发明的一些实施例，界面显控设备还可以将所述界面暂存起来，根据实际需要或网络情况，在未来一个时刻发送给交互终端，或者将一段时间的多个界面编码为视频，再将该视频编码为网络流发送给交互终端。根据本发明的一些实施例，界面显控设备还可以将所述界面，或前述视频暂存到服务器或云端，根据实际需要或网络情况，在未来一个时刻将所述界面或视频发送给交互终端。所述界面包括前面提到的界面显控设备收到的来自双链路设备的界面。
交互终端通过网络从界面显控设备获取所述响应界面以及将响应界面输出至显示设备上。例如交互终端可以通过图示网络设备获取界面显控设备所接收的来自双链路设备的响应结果，或者通过一个服务器和网络设备获取界面显控设备所接收的来自双链路设备的响应结果。
根据本发明的一些实施例，前述提及的用于实现单向传输的单向传输线可以包括单向光纤和/或单向串口线。以上单向传输线还可以包括必要的协议转换模块，如光转电模块，电转光模块等等。
根据本发明的一些实施例，界面显控设备还可以具有交互终端1300"的所有功能，包括能够采集用户输入的控制指令，或者进一步具有相应的控制指令产生设备和显示设备。
根据本发明的一些实施例，以上交互系统可以包括多个交互终端，每个交互终端通过网络通信连接，各个交互终端之间能通过网络进行内容分享，所述内容分享包括对各自的界面截图进行分享或对各自从各个界面显控设备获取的内容进行分享。
交互终端1300"也可以为一个网页版的交互端，只要其具备向其他界面显控设备发送所述控制指令的功能，交互终端包括个人计算机、手持式或膝上型计算机、平板计算机、蜂窝电话、移动设备、电子设备、智能手机、智能电视之一或其组合。
以上对图4的双链路设备4500的描述同样适用于图4的双链路设备4500＇。
通过上述实施例，可以独立于较为庞大的双链路设备，以网络方式实现自由、灵活的轻量化安全交互。
图5a示出根据本发明的一些实施例的图4的替代实现方式，但为简化起见，图5a只示出了图4左半边部分的替代实现方式，其中，融合装置1905向界面显控设备1907单向输出显示界面，界面显控设备1907将其转化为网络流信号，上传至使用网交换机1800。根据本发明的一些实施例，交互终端1300"通过使用网交换机1800将控制指令传输至界面显控设备1908，界面显控设备1908再将指令传输至ui界面及信号源控制装置1902，其中通过界面显控设备1907和1908实现各自路径上的x方向和y方向的单向传输。对双链路设备1500，1500＇，1500"和1500""的描述同样适用于双链路设备4500，4500＇，5500。
图5b示出根据本发明一些实施例的图5a的实施方式，尤其是其中界面显控设备的实施方式，如图中所示，融合装置1905向界面隔离盒1904输出显示界面，界面隔离盒1904内可以包括单向光纤，从而实现界面的单向传输，显示界面随后被传输至界面采集模块1903，由其转化为网络流信号，上传至使用网交换机1800。根据本发明的一些实施例，交互终端1300"通过使用网交换机1800将控制指令传输至网转串设备1900，网转串设备1900内可以包括单向串口线和/或单向光纤，以实现指令的单向传输。根据本发明的一些实施例，网转串设备1900将指令先输出至指令输出盒1901，该指令输出盒包括串口和USB口，用于接收网转串设备1900输入的串口形式的控制指令，并对其进行解析和转化，形成HID标准设备协议下的控制指令，例如将指令转换为鼠标点击动作，输出至ui界面及信号源控制装置1902。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (20)
1.信号源并行交互系统，所述系统包括：第一、第二交互设备，第一、第二双链路设备，第一、第二多画面解码显示和控制设备；第一双链路设备包括第一ui界面及信号源控制装置和第一融合装置；第二双链路设备包括第二ui界面及信号源控制装置和第二融合装置；
第一多画面解码显示和控制设备通过第一网络与第一虚机池建立网络连接，能访问第一虚机池内的一个或多个信号源；第二多画面解码显示和控制设备通过第二网络与第二虚机池建立网络连接，能访问第二虚机池内的一个或多个信号源；
第一多画面解码显示和控制设备用于通过第一单向视频线向第一融合装置输出第一显示界面以及通过第二单向视频线向第二融合装置输出第一显示界面，第一显示界面包括第一多画面解码显示和控制设备从第一虚机池访问获取的一个或多个信号源的显示界面；第二多画面解码显示和控制设备用于通过第三单向视频线向第一融合装置输出第二显示界面以及通过第四单向视频线向第二融合装置输出第二显示界面，第二显示界面包括第二多画面解码显示和控制设备从第二虚机池访问获取的一个或多个信号源的显示界面；
第一融合装置用于单向获取第一和第二显示界面，并将第一和/或第二显示界面输出至第一交互设备的第一显示设备；第二融合装置用于单向获取第一和第二显示界面，并将第一和/或第二显示界面输出至第二交互设备的第二显示设备；
第一ui界面及信号源控制装置用于接收来自第一交互设备输入的第一控制指令；第二双链路设备的第二ui界面及信号源控制装置用于接收来自第二交互设备输入的第二控制指令；第一ui界面及信号源控制装置能将第一控制指令单向传输至第一控制指令所对应的第一或第二多画面解码显示和控制设备以对其进行单向控制；第二ui界面及信号源控制装置能将第二控制指令单向传输至第二控制指令所对应的第一或第二多画面解码显示和控制设备，以对其进行单向控制。
2.根据权利要求1所述的信号源并行交互系统，其中，第一ui界面及信号源控制装置根据第一控制指令中的用于控制虚拟ui界面的控制指令，控制虚拟ui界面进行响应，并将作为响应结果的ui界面响应数据单向传输至第一融合装置；第一融合装置根据ui界面响应数据和第一和/或第二显示界面进行融合，以及将融合形成的界面单向传输至第一交互设备的第一显示设备；
第二ui界面及信号源控制装置根据第二控制指令中的用于控制虚拟ui界面的控制指令，控制虚拟ui界面进行响应，并将作为响应结果的ui界面响应数据单向传输至第二融合装置；第二融合装置根据ui界面响应数据和第一和/或第二显示界面进行融合，以及将融合形成的界面单向传输至第二交互设备的第二显示设备。
3.根据权利要求1所述的信号源并行交互系统，其中，第一ui界面及信号源控制装置根据第一控制指令中的用于控制虚拟ui界面的控制指令，控制虚拟ui界面进行响应，并根据虚拟ui界面响应结果绘制ui界面，以及将绘制的ui界面单向传输至第一融合装置；第一ui界面及信号源控制装置还确定虚拟ui界面响应结果对应的显示窗口信息和鼠标位置信息，将显示窗口信息和鼠标位置信息单向传输至第一融合装置；第一融合装置根据ui界面，显示窗口信息和鼠标位置信息，以及第一和/或第二显示界面，进行融合，以及将融合形成的界面单向传输至第一交互设备的第一显示设备；
第二ui界面及信号源控制装置根据第二控制指令中的用于控制虚拟ui界面的控制指令，控制虚拟ui界面进行响应，并根据虚拟ui界面响应结果绘制ui界面，以及将绘制的ui界面单向传输至第二融合装置；第二ui界面及信号源控制装置还确定虚拟ui界面响应结果对应的信号源显示窗口信息和鼠标位置信息，将信号源显示窗口信息和鼠标位置信息单向传输至第二融合装置；第二融合装置根据ui界面，显示窗口信息和鼠标位置信息，以及第一和/或第二显示界面，进行融合，以及将融合形成的界面单向传输至第二交互设备的第二显示设备。
4.信号源并行交互系统，所述系统包括：第一、第二交互终端，第一、第二界面显控设备，第一、第二双链路设备，第一、第二多画面解码显示和控制设备；第一双链路设备包括第一ui界面及信号源控制装置和第一融合装置；第二双链路设备包括第二ui界面及信号源控制装置和第二融合装置；
第一多画面解码显示和控制设备通过第一网络与第一虚机池建立网络连接，能访问第一虚机池内的一个或多个信号源；第二多画面解码显示和控制设备通过第二网络与第二虚机池建立网络连接，能访问第二虚机池内的一个或多个信号源；
第一多画面解码显示和控制设备用于通过第一单向视频线向第一融合装置输出第一显示界面以及通过第二单向视频线向第二融合装置输出第一显示界面，第一显示界面包括第一多画面解码显示和控制设备从第一虚机池访问获取的一个或多个信号源的显示界面；第二多画面解码显示和控制设备用于通过第三单向视频线向第一融合装置输出第二显示界面以及通过第四单向视频线向第二融合装置输出第二显示界面，第二显示界面包括第二多画面解码显示和控制设备从第二虚机池访问获取的一个或多个信号源的显示界面；
第一融合装置用于单向获取第一和第二显示界面，并将第一和/或第二显示界面通过第五单向视频线输出至第一界面显控设备；第二融合装置用于单向获取第一和第二显示界面，并将第一和/或第二显示界面通过第六单向视频线输出至第二界面显控设备；
第一界面显控设备用于采集所述第一和/或第二显示界面，并将所述第一和/或第二显示界面编码为网络流信号后供第一交互终端通过使用网获取；第二界面显控设备用于采集所述第一和/或第二显示界面，并将所述第一和/或第二显示界面编码为网络流信号后供第一或第二交互终端通过使用网获取；
第一ui界面及信号源控制装置用于接收来自第一界面显控设备单向输入的第一控制指令，其中第一控制指令为第一或第二交互终端通过使用网向第一界面显控设备输入的控制指令；第二ui界面及信号源控制装置用于接收来自第二界面显控设备单向输入的第二控制指令，其中第二控制指令为第一或第二交互终端通过使用网向第二界面显控设备输入的控制指令；第一ui界面及信号源控制装置能将第一控制指令单向传输至第一控制指令所对应的第一或第二多画面解码显示和控制设备，以对其进行单向控制；第二ui界面及信号源控制装置能将第二控制指令单向传输至第二控制指令所对应的第一或第二多画面解码显示和控制设备，以对其进行单向控制。
5.信号源并行交互系统，所述系统包括：第一、第二交互终端，第一、第二双链路设备，第一至第四界面显控设备，第一、第二多画面解码显示和控制设备；第一双链路设备包括第一ui界面及信号源控制装置和第一融合装置；第二双链路设备包括第二ui界面及信号源控制装置和第二融合装置；
第一多画面解码显示和控制设备通过第一网络与第一虚机池建立网络连接，能访问第一虚机池内的一个或多个信号源；第二多画面解码显示和控制设备通过第二网络与第二虚机池建立网络连接，能访问第二虚机池内的一个或多个信号源；
第一多画面解码显示和控制设备用于通过第一单向视频线向第一融合装置输出第一显示界面以及通过第二单向视频线向第二融合装置输出第一显示界面，第一显示界面包括第一多画面解码显示和控制设备从第一虚机池访问获取的一个或多个信号源的显示界面；第二多画面解码显示和控制设备用于通过第三单向视频线向第一融合装置输出第二显示界面以及通过第四单向视频线向第二融合装置输出第二显示界面，第二显示界面包括第二多画面解码显示和控制设备从第二虚机池访问获取的一个或多个信号源的显示界面；
第一融合装置用于单向获取第一和第二显示界面，并将第一和/或第二显示界面通过第五单向视频线输出至第一界面显控设备；第二融合装置用于单向获取第一和第二显示界面，并将第一和/或第二显示界面通过第六单向视频线输出至第二界面显控设备；
第一界面显控设备用于采集所述第一和/或第二显示界面，并将所述第一和/或第二显示界面编码为网络流信号后供第一或第二交互终端通过使用网获取；第二界面显控设备用于采集所述第一和/或第二显示界面，并将所述第一和/或第二显示界面编码为网络流信号后供第一或第二交互终端通过使用网获取；
第一ui界面及信号源控制装置用于接收来自第三界面显控设备单向输入的第一控制指令，其中第一控制指令为第一或第二交互终端通过使用网向第三界面显控设备输入的控制指令；第二双链路设备的第二ui界面及信号源控制装置用于接收来自第四界面显控设备单向输入的第二控制指令，其中第二控制指令为第一或第二交互终端通过使用网向第四界面显控设备输入的控制指令；第一ui界面及信号源控制装置能将第一控制指令单向传输至第一控制指令所对应的第一或第二多画面解码显示和控制设备，以对其进行单向控制；第二ui界面及信号源控制装置能将第二控制指令单向传输至第二控制指令所对应的第一或第二多画面解码显示和控制设备，以对其进行单向控制。
6.根据权利要求5所述的信号源并行交互系统，其中，第一界面显控设备包括第一界面隔离盒和第一界面采集盒，第一界面隔离盒包括单向光纤，第一界面隔离盒接收第一和/或第二显示界面，并通过单向光纤将其传输至第一界面采集盒，第一界面采集盒将第一和/或第二显示界面转化为网络流信号，上传至使用网；
第二界面显控设备包括第二界面隔离盒和第二界面采集盒，第二界面隔离盒包括单向光纤，第二界面隔离盒接收第一和/或第二显示界面，并通过单向光纤将其传输至第二界面采集盒，第二界面采集盒将第一和/或第二显示界面转化为网络流信号，上传至使用网；
第三界面显控设备包括第一网转串设备和第一指令输出盒，第一网转串设备用于将第一控制指令转化为串口形式，并将其输出至第一指令输出盒，该第一指令输出盒包括串口，用于接收第一网转串设备输入的串口形式的控制指令并将其输出至第一ui界面及信号源控制装置；
第四界面显控设备包括第二网转串设备和第二指令输出盒，第二网转串设备用于将第一控制指令转化为串口形式，并将其输出至第二指令输出盒，该第二指令输出盒包括串口，用于接收第二网转串设备输入的串口形式的控制指令并将其输出至第二ui界面及信号源控制装置。
7.根据权利要求5所述的信号源并行交互系统，其中，第三指令输出盒将第一网转串设备输入的串口形式的控制指令转化形成HID标准设备协议下的控制指令后输出至第一ui界面及信号源控制装置；
第四指令输出盒将第二网转串设备输入的串口形式的控制指令转化形成HID标准设备协议下的控制指令后输出至第二ui界面及信号源控制装置。
8.根据权利要求1-7之一所述的信号源并行交互系统，还包括各个单向视频线。
9.根据权利要求4-7之一所述的信号源并行交互系统，其中，第一ui界面及信号源控制装置根据第一控制指令中的用于控制虚拟ui界面的控制指令，控制虚拟ui界面进行响应，并将作为响应结果的ui界面响应数据单向传输至第一融合装置；第一融合装置根据ui界面响应数据和第一和/或第二显示界面进行融合，以及将融合形成的界面单向传输至第一界面显控设备；
第二ui界面及信号源控制装置根据第二控制指令中的用于控制虚拟ui界面的控制指令，控制虚拟ui界面进行响应，并将作为响应结果的ui界面响应数据单向传输至第二融合装置；第二融合装置根据ui界面响应数据和第一和/或第二显示界面进行融合，以及将融合形成的界面单向传输至第二界面显控设备。
10.根据权利要求4-7之一所述的信号源并行交互系统，其中，第一ui界面及信号源控制装置根据第一控制指令中的用于控制虚拟ui界面的控制指令，控制虚拟ui界面进行响应，并根据虚拟ui界面响应结果绘制ui界面，以及将绘制的ui界面单向传输至第一融合装置；第一ui界面及信号源控制装置还确定虚拟ui界面响应结果对应的显示窗口信息和鼠标位置信息，将显示窗口信息和鼠标位置信息单向传输至第一融合装置；第一融合装置根据ui界面，显示窗口信息和鼠标位置信息，以及第一和/或第二显示界面，进行融合，以及将融合形成的界面单向传输至第一界面显控设备；
第二ui界面及信号源控制装置根据第二控制指令中的用于控制虚拟ui界面的控制指令，控制虚拟ui界面进行响应，并根据虚拟ui界面响应结果绘制ui界面，以及将绘制的ui界面单向传输至第二融合装置；第二ui界面及信号源控制装置还确定虚拟ui界面响应结果对应的信号源显示窗口信息和鼠标位置信息，将信号源显示窗口信息和鼠标位置信息单向传输至第二融合装置；第二融合装置根据ui界面，显示窗口信息和鼠标位置信息，以及第一和/或第二显示界面进行融合，并将融合形成的界面单向传输至第二界面显控设备。
11.根据权利要求1-7之一所述的信号源并行交互系统，其中，所述各个单向视频线包括各自对应的显卡。
12.根据权利要求1-7之一所述的信号源并行交互系统，还包括各个虚机池。
13.根据权利要求1-7之一所述的信号源并行交互系统，还包括用于实现所述单向控制目的的装置和用于实现所述单向传输目的的装置。
14.根据权利要求1-7之一所述的信号源并行交互系统，其中，第一多画面解码显示和控制设备将从第一虚机池访问获取的一个或多个信号源的显示界面绘制在各窗口内，各窗口按一个布局进行分布；第二多画面解码显示和控制设备将从第二虚机池访问获取的一个或多个信号源的显示界面绘制在各窗口内，各窗口按一个布局进行分布。
15.根据权利要求1-7之一所述的信号源并行交互系统，其中，第一和第二ui界面及信号源控制装置预先存储各个多画面解码显示和控制设备和虚机池的对应关系。
16.根据权利要求1-7之一所述的信号源并行交互系统，其中，第一和第二指令输出盒用于对分别接收到的第一和第二控制指令进行解析和转化，形成HID标准设备协议下的控制指令，并将其输出至对应的ui界面及信号源控制装置。
17.根据权利要求1-7之一所述的信号源并行交互系统，其中，第一网络、第二网络、和使用网彼此网络隔离。
18.根据权利要求4-7之一所述的信号源并行交互系统，还包括一个额外的服务器，第一和/或第二交互终端通过所述的额外的服务器和使用网将第一和/或第二控制指令发送至第一和/或第二界面显控设备。
19.根据权利要求4-7之一所述的信号源并行交互系统，还包括一个额外的服务器，第一和/或第二交互终端将第一和/或第二控制指令发送至所述的额外的服务器,以供该服务器保存相关记录，或统一管理；和/或，第一和/或第二交互终端在发送第一和/或第二控制指令之前，发送相应的请求至所述的额外的服务器，经该服务器授权后执行发送。
20.根据权利要求4-7之一所述的信号源并行交互系统，其中各界面显控设备将其所采集的各显示界面暂存起来，根据实际需要或网络情况，在未来一个时刻发送给各交互终端；或者,各界面显控设备将其所采集的一段时间的界面编码为视频，再将该视频编码为网络流发送给各交互终端；或者，各界面显控设备还将其所采集的界面或所述视频暂存到一个服务器或云端，根据实际需要或网络情况，在未来一个时刻将所述界面或所述视频发送给各交互终端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210927299.XA CN115277810B (zh) | 2022-08-03 | 2022-08-03 | 信号源并行交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210927299.XA CN115277810B (zh) | 2022-08-03 | 2022-08-03 | 信号源并行交互系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115277810A CN115277810A (zh) | 2022-11-01 |
| CN115277810B true CN115277810B (zh) | 2024-02-09 |
Family
ID=83749847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210927299.XA Active CN115277810B (zh) | 2022-08-03 | 2022-08-03 | 信号源并行交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115277810B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106028004A (zh) * | 2016-07-25 | 2016-10-12 | 厦门视诚科技有限公司 | 多信号输入多画面合成的装置及方法 |
| CN112181593A (zh) * | 2020-09-27 | 2021-01-05 | 北京首都在线科技股份有限公司 | 虚拟机调度方法、装置、设备及存储介质 |
| CN113938633A (zh) * | 2020-06-29 | 2022-01-14 | 聚好看科技股份有限公司 | 一种视频通话处理方法及显示设备 |
| CN114389764A (zh) * | 2022-01-24 | 2022-04-22 | 北京仁光科技有限公司 | 基于多个双链路设备的对多个信号源进行远程交互的方法 |
| CN114726904A (zh) * | 2022-01-24 | 2022-07-08 | 北京仁光科技有限公司 | 对信号源进行远程安全交互的系统和方法 |
| CN114727032A (zh) * | 2021-01-20 | 2022-07-08 | 北京仁光科技有限公司 | 信号源调取和控制方法及系统 |
| CN114726838A (zh) * | 2022-01-24 | 2022-07-08 | 北京仁光科技有限公司 | 对多个信号源进行远程安全交互的系统和方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020248697A1 (zh) * | 2019-06-10 | 2020-12-17 | 海信视像科技股份有限公司 | 显示设备及视频通讯数据处理方法 |
| US11567571B2 (en) * | 2020-05-05 | 2023-01-31 | Autodesk, Inc. | Remote control of a device via a virtual interface |
-
2022
- 2022-08-03 CN CN202210927299.XA patent/CN115277810B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106028004A (zh) * | 2016-07-25 | 2016-10-12 | 厦门视诚科技有限公司 | 多信号输入多画面合成的装置及方法 |
| CN113938633A (zh) * | 2020-06-29 | 2022-01-14 | 聚好看科技股份有限公司 | 一种视频通话处理方法及显示设备 |
| CN112181593A (zh) * | 2020-09-27 | 2021-01-05 | 北京首都在线科技股份有限公司 | 虚拟机调度方法、装置、设备及存储介质 |
| CN114727032A (zh) * | 2021-01-20 | 2022-07-08 | 北京仁光科技有限公司 | 信号源调取和控制方法及系统 |
| CN114389764A (zh) * | 2022-01-24 | 2022-04-22 | 北京仁光科技有限公司 | 基于多个双链路设备的对多个信号源进行远程交互的方法 |
| CN114726904A (zh) * | 2022-01-24 | 2022-07-08 | 北京仁光科技有限公司 | 对信号源进行远程安全交互的系统和方法 |
| CN114726838A (zh) * | 2022-01-24 | 2022-07-08 | 北京仁光科技有限公司 | 对多个信号源进行远程安全交互的系统和方法 |
Non-Patent Citations (2)
| Title |
|---|
| Simulation of waveform interactions for interference analysis of military networks;Chrysanthos Chrysanthou;MILCOM 2009 - 2009 IEEE Military Communications Conference;全文 * |
| 分布式多媒体视讯信号处理系统在北京市轨道交通的应用;梁海英;王征;;现代城市轨道交通(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115277810A (zh) | 2022-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101842559B1 (ko) | 단말기, 서버, 및 단말기 제어 방법 | |
| CN204795335U (zh) | Kvm矩阵系统 | |
| CN112462931B (zh) | 信号源调取和控制方法及系统 | |
| WO2021135626A1 (zh) | 菜单项选择方法、装置、可读介质及电子设备 | |
| WO2022135369A1 (zh) | 打印方法、装置和电子设备 | |
| CN113448622B (zh) | 多信号源界面交互系统 | |
| US20190051147A1 (en) | Remote control method, apparatus, terminal device, and computer readable storage medium | |
| CN111263127A (zh) | 信号源调取和控制方法及系统 | |
| TW201039132A (en) | Improved OSD image generating method in KVM switches | |
| KR102485592B1 (ko) | 실감형 포맷의 영상 콘텐츠를 제공하여 학습 효과를 향상시키는 방법 | |
| CN114726904B (zh) | 对信号源进行远程安全交互的系统和方法 | |
| CN114726838B (zh) | 对多个信号源进行远程安全交互的系统和方法 | |
| CN114389764B (zh) | 基于多个双链路设备的对多个信号源进行远程交互的方法及系统 | |
| CN111641857A (zh) | 受控设备的交互方法及装置、主控设备的交互方法及装置、终端和存储介质 | |
| CN114727032A (zh) | 信号源调取和控制方法及系统 | |
| CN115277810B (zh) | 信号源并行交互系统 | |
| CN111511045B (zh) | 移动终端与电脑的交互方法、装置、电子设备及存储介质 | |
| CN114727033A (zh) | 信号源调取和控制方法及系统 | |
| CN112507329A (zh) | 安全防护方法及装置 | |
| CN115297362A (zh) | 基于网络的信号源并行交互系统 | |
| CN110650210A (zh) | 影像数据获取方法、装置及存储介质 | |
| EP4283497A1 (en) | Electronic document processing method and apparatus, terminal, and storage medium | |
| CN115333810A (zh) | 多网信号源交互系统 | |
| CN114449182A (zh) | 信号源调取和控制方法及系统 | |
| CN114579996B (zh) | 移动盘数据交互系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |