CN111643101A - 用于传输用户界面的方法、医学设备和服务器 - Google Patents

用于传输用户界面的方法、医学设备和服务器 Download PDF

Info

Publication number
CN111643101A
CN111643101A CN202010134329.2A CN202010134329A CN111643101A CN 111643101 A CN111643101 A CN 111643101A CN 202010134329 A CN202010134329 A CN 202010134329A CN 111643101 A CN111643101 A CN 111643101A
Authority
CN
China
Prior art keywords
server
client
frame
latency
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010134329.2A
Other languages
English (en)
Other versions
CN111643101B (zh
Inventor
H.施魏策尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare GmbH
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Publication of CN111643101A publication Critical patent/CN111643101A/zh
Application granted granted Critical
Publication of CN111643101B publication Critical patent/CN111643101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/04Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44Constructional features of apparatus for radiation diagnosis
    • A61B6/4429Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04Network management architectures or arrangements
    • H04L41/045Network management architectures or arrangements comprising client-server management architectures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays
    • H04L43/0864Round trip delays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/08Protocols specially adapted for terminal emulation, e.g. Telnet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/565Conversion or adaptation of application format or content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/565Conversion or adaptation of application format or content
    • H04L67/5651Reducing the amount or size of exchanged application data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/59Providing operational support to end devices by off-loading in the network or by emulation, e.g. when they are unavailable
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/75Indicating network or usage conditions on the user display

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)
  • Small-Scale Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种方法,用于将来自至少一个服务器(12)的用户界面(14)经由代理服务器(4)传输到至少一个客户端(6),其中,将服务器(12)的用户界面(14)传输到客户端(6),使得用户界面(14)被显示在客户端(6)上,并且可以从客户端(6)控制服务器(12),其中,为了在客户端(6)上显示用户界面(14),将多个相继的帧(26)的数据流借助基于分组的传输从服务器(12)传输到客户端(6),其中,为了监视传输,定期重复地为各个帧(26)确定传输的等待时间(AFL,IFL)。此外还涉及一种医学设备(2)和一种服务器(12)。

Description

用于传输用户界面的方法、医学设备和服务器
技术领域
本发明涉及一种用于传输用户界面的方法以及一种医学设备和一种服务器。
背景技术
医院中通常使用大量不同的设备,即,医学设备,这些设备也通常由不同的供应商制造。对于这种医学设备的示例是成像设备(特别是C形臂设备或超声设备)还有导航设备、用于监视患者临床参数的设备或用于对患者进行手术的设备。在单个应用(例如,具体的手术)中使用多个设备的情况下,设备的使用者(例如,外科医生或其他手术工作人员)依靠与这些多个设备的交互。由此得出,为了尽可能最佳的临床结果,这些设备之间的尽可能顺利的互相配合至关重要。
首先,出现问题的是,许多设备争夺患者附近(特别是围绕手术台)的有限空间,因为设备中的每一个都具有一个或多个人机接口,对于使用者该个人机接口必须在有效范围中。这种接口例如是用于显示的显示器以及用于输入的键盘或鼠标或者是触摸屏,即,既用于显示又用于输入的特别的显示器。通常,为了进行交互,用户界面显示在显示器上,该显示器同时用于显示信息以及用于借助输入设备输入控制命令。在此,合并多个设备的接口以节省空间并减少手术台区域中的显示模态和输入模态不容易实现,因为在单个设备中通常由于风险分类的缘故执行连接到相应的接口的措施。附加地,还存在各种设备通常具有设备自己的缆线连接的问题,这特别地在无菌、临床环境中,并且更确切地说在手术环境中导致特别的卫生挑战。
特别地,在运行医学设备时,在信息显示以及控制命令输入时的延迟可能有致命影响。例如,在脊柱外科手术中,通过显示支持对手术工具的导航,该显示的准确的图示是对应地时间上严格的。例如,通过经由显示器的观察,实现将椎弓根螺钉放入椎骨中,该显示器必须对应地可靠地显示当前的状态,因为否则可能严重且持续地损伤患者。
发明内容
因此,本发明要解决的技术问题是,将设备的用户界面为了显示该设备的信息以及为了控制该设备的目的而传输到另外的设备。用户界面的传输应当以尽可能简单且低成本的技术来实现,并且特别是在可能延迟的传输的背景下,同时确保尽可能低风险地对设备进行控制。特别地,还应当捆绑多个设备的用户界面,以便由此特别是在手术室中将布线开销保持得尽可能低。
根据本发明,该技术问题通过具有根据本发明的特征的方法、通过具有根据本发明的特征的医学设备以及通过具有根据本发明的特征的服务器来解决。有利的设计方案、扩展方案和变形方案是本发明的内容。在此,结合方法的实施方案也比照地适用于医学设备以及服务器,反之亦然。
该方法用于将来自至少一个服务器的用户界面经由代理服务器传输到至少一个客户端。特别地,代理服务器和所有客户端是相同设备的组成部分,并且在此,经由至少一个内部网络彼此连接。具有代理服务器和客户端的设备也被称为主设备。代理服务器形成设备向外的接口,并且然后经由至少一个外部网络与一个或多个另外的设备连接,该另外的设备分别表示服务器。用于具有一个服务器或一个客户端的设计方案的实施方案也比照地适用于具有多个服务器或多个客户端的设计方案。内部网络优选地是TCP/IP网络。代理服务器连接在服务器与客户端之间,使得从服务器传输到客户端或者反向传输的所有数据将通过代理服务器。由此,每个服务器的用户界面可同时显示在客户端中的每一个上,并且反之,类似地也可以从单个客户端控制多个服务器。
主设备被构建为用于执行该方法,并且为此特别地具有实施该方法的控制设备,也称为控制器。控制设备例如是还包含代理服务器的计算机。在优选的设计方案中,主设备是医学设备、优选地是医学成像设备、特别优选地是C形臂设备。原则上,医学成像设备具有至少一个显示器,该显示器然后用作客户端,以便替换地或与主设备本身的用户界面组合地还显示一个或多个服务器的一个或多个用户界面。触摸屏作为客户端特别适宜。
在合适的设计方案中,主设备被多部分地构建,并且具有主单元和副单元。因此,在C形臂设备中,主单元具有C形臂和辐射源,以及主控制设备(例如上面提到的控制设备)和显示器、特别是用于控制主设备的显示器。副单元则是侧柜(Beiwagen),该侧柜可以与主单元分开地定位,并且具有一个或多个另外的显示器,其专门特别地用于显示以主设备接收的帧。然后,分别将主设备和副设备的显示器用作客户端。服务器优选地也是医学设备,然而特别地来自另外的制造商,即,来自第三方提供商。例如,服务器是用于在公共坐标系中对各种对象的不同位置进行成像的导航设备,以便例如在规划手术时支持外科医生。这种对象例如是患者、一个或多个医学设备(特别是医学成像设备)、用于治疗或用于手术的仪器或植入物等。
根据该方法,将服务器的用户界面传输到客户端,使得该用户界面显示在客户端上并且可以从客户端控制服务器。由此,对于使用者,能够实现借助客户端控制服务器,并且反之将服务器的信息传输到客户端并且经由该客户端输出。用户界面也被称为GUI(graphical user interface,图形用户界面),并且通常包括用于显示信息的显示面板以及用于输入控制命令的操作面板。通过传输用户界面,可以在客户端上使用该用户界面以便远程控制服务器。用户界面的具体设计方案取决于设备。经由用户界面,客户端接收使用者的输入(例如控制命令)。然后,经由代理服务器将输入转发到服务器并由该服务器进行处理。相反,服务器的光学、声学或触觉输出经由代理服务器传输到客户端,并在那里向使用者输出。通常,可以从客户端与服务器进行交互,其中,对于“交互”,一方面被概括地理解为向使用者输出信息,并且另一方面被概括地理解为由使用者输入以控制设备。
根据该方法,为了在客户端上显示用户界面,借助基于分组的传输将多个相继的帧的数据流从服务器传输到客户端。帧是用于表示用户界面的帧并且由服务器产生。特别地,服务器本身具有显示设备,用于显示以直接控制服务器为目的的用户界面。但是当前,替换地或附加地将帧传输到客户端。当前,这以分组的形式进行。原则上可想到,以多个分组传输各个帧(例如在使用TCP/IP时,该TCP/IP将分组限制到特定的大小),这些分组在传输之后再次组合在一起以获得帧。然而当前,为简化起见但不失一般性地假设,单个帧恰好属于一个分组,即,单个分组包含单个帧。因此,数据流由多个相继的分组组成,这些分组以与服务器的帧刷新率相对应的频率进行发送。除了帧,分组还特别地包含另外的数据、例如帧编号以及另外的参数,该另外的参数根据另外的描述产生。替换地,分组也被称为报文。
特别地,服务器与客户端之间的基于分组的传输是双向的。服务器经由代理服务器将带有帧以及必要时附加的另外的数据的分组发送到客户端。在接收到分组之后,客户端经由代理服务器将分组作为应答发送到服务器。特别地,应答包含帧编号,使得服务器可以将应答与先前所发送的分组相关联。服务器、代理服务器和客户端分别被构建为用于在两个方向上接收、分析分组,并且必要时用于更改、删除或添加数据。
根据该方法,为了监视传输,定期重复地为各个帧(有利地为每个帧)确定传输的等待时间。通过对各个帧、即特别是对各个分组的接收的这种定期重复的监视,实现了在帧存储层(帧缓冲器级)上监视传输的等待时间。因为等待时间原则上确定了对帧的传输需要何种时间,所以可以通过观察帧数据到达客户端来确定(即,特别是来测量或来量化)等待时间。因此当前,帧的或更普遍地,分组的传输被(也就是说定期重复地)用于确定等待时间,使得连续地确定等待时间。然后,依据等待时间合适地促使服务器、代理服务器或客户端做出适当的反应。
特别地,本发明的特别的优点在于,以位于服务器和客户端的帧刷新率的数量级中的频率来测量等待时间。优选地,每当接收到帧时就确定对应的等待时间,使得因此逐帧地测量等待时间,由此得到对应的测量速率。如进一步在下面在细节上实施的,在有利的扩展方案中,没有完全地将帧刷新率从代理服务器转发到客户端,而是降低了帧刷新率,使得在由客户端确定等待时间时可以对应地降低测量速率。尽管如此,在30到60帧/s的示例性的帧刷新率的情况下进行对等待时间的确定,由此通常以几十毫秒为间隔。总的来说,由此可以特别快速地识别传输的减慢,并且对应地可以特别迅速地对此做出反应。特别地,这在临床环境中是有利的,因为在此的延迟和由此产生的错误信息具有特别负面的影响。
特别地,另外的优点是,当前在协议侧(即,通过传输协议)定义对等待时间的确定,使得对硬件不存在特别的要求,并且主要地或甚至完全地以特别低成本的且简单的标准技术可以执行并且特别地也执行该方法。当前,特别地将传输协议理解为特定的规范,即,用于通过服务器、代理服务器和客户端来处理分组的方法步骤以及还有特别地对分组的特定的组合。至少在服务器与代理服务器之间的外部网络中,有线或无线地经由低成本的基于分组的网络(优选地是标准以太网、WLAN等)、并且恰好不经由特别的实时以太网进行对用户界面的传输。内部网络例如基于TCP技术或UDP技术或在标准以太网硬件上运行的类似协议。该方法和在此使用的传输协议的特征在于,对等待时间的监视仅或至少主要在软件侧实现,并且因此不需要特别的硬件,使得使用低成本的标准组件、例如Cat-5缆线。所参与的硬件(即,服务器、代理服务器和客户端)仅必须被构建为用于使用传输协议,即,实施对应的程序,通过该程序促使该方法实施。由此,传输协议在帧存储层上工作,有利地支持任何基于窗的环境。特别地,传输协议还用于经由对应的返回信道将控制命令传输到服务器。
本发明首先特别地基于以下观察:简单的视频分发解决方案原则上适合于将设备的用户界面传输到另外的设备,并且也适合于在设备上捆绑多个用户界面。为此,在硬件侧量取相应的显示器信号。可以说,在此不需要介入对应设备的可能的专有软件,而仅需复制对应设备的输出即可。该解决方案在第三方提供商的设备中特别有利。然而,缺点是在视频分发解决方案中需要附加的硬件,即,附加的接线,以及原则上缺乏用于控制设备的返回信道。在简单的视频分发解决方案的情况下,对于这种返回信道需要附加的缆线还有附加的输入设备。因此,不可能在简单的视频分发解决方案的范围内将设备的用户界面在功能完整的情况下传输到另外的设备。
服务器被构建为用于特别是与具有代理服务器和客户端的对应的主设备相结合地执行该方法。为了执行该方法,服务器特别地具有控制设备,也被称为控制器、例如计算机。
优选地,例如借助为此存储在服务器上的服务器程序、例如DLL(dynamic linklibrary,动态链接库),在软件侧量取服务器的帧。在此,借助该服务器程序执行整个服务器侧的帧发送,特别是由如下组成:从服务器的帧存储器中读取(抓取)帧、可选地对帧进行编码以及将帧基于分组地发送到代理服务器并最终发送到客户端。在此,例如读取并发送由制造商预定义的帧存储器的显示区域。相反,优选地,通过在服务器上接收并且在该服务器上输出控制命令,还借助相同的服务器程序实现对服务器的控制。
在有利的变形方案中,在硬件侧量取服务器的帧,然而在此未介入服务器的硬件。这通过以下实现:将一台单独的、即独立的计算机(该计算机上实施上面描述的服务器程序)经由帧输出连接到服务器,并且然后以该方式从帧存储器中读取帧,必要时对该帧进行编码并且最后经由代理服务器发送到客户端。由此,将单独的计算机用作非侵入式的抓取器。
合适地,返回信道也由所描述的在服务器上或在单独的计算机上的服务器程序提供。对应地,在此进行控制命令从客户端到服务器的发送。在借助单独的计算机进行硬件侧的量取的情况下,该计算机适当地经由用于输入控制命令的对应的接头(例如经由USB接头)与服务器连接。然后,单独的计算机相对于服务器表现得特别类似于输入设备、例如类似于键盘或鼠标。
总的来说,随后在纯软件侧的执行方式的情况下以及在使用单独的计算机的情况下都有利地实现了服务器和客户端的双向连接,而不必介入服务器本身的软件或硬件。由此,技术问题也通过所描述的服务器程序来解决,该服务器程序在服务器上或在连接到服务器的单独的计算机上实施时,促使该服务器执行传输协议,即,特别是与对应的代理服务器和客户端相结合地实施方法中涉及服务器的步骤。因此,这种服务器程序也被认为是创造性的。
同样地,该技术问题通过客户端程序来解决,该客户端程序在主设备上、特别是在主设备的客户端上实施时,促使该主设备执行传输协议,即,特别是与对应的服务器相结合地实施方法中涉及客户端以及优选地还涉及代理服务器的步骤。因此,这种客户端程序也被认为是创造性的。
服务器程序和客户端程序分别是计算机程序。对应地,该技术问题还通过其上存储有服务器程序或客户端程序的计算机可读的数据存储介质来解决。
此外,本发明基于以下观察:远程控制适用于例如基于远程桌面或终端服务器将输入从一个设备转发到另外的设备。经由基于分组的连接传输相应的显示和输入,由此也可以获得用户界面的输入功能。然而在此,根据网络通常产生带宽限制。通过网络也不一定保证例如在显示的延迟方面所要求的可靠性,即,未进行对设备之间的传输的等待时间的监视,而这特别是在临床环境中对于确保显示和输入的现实性是重要的。例如Profinet(品牌名称)的特别的实时网络技术虽然确保了特定的应答时间,然而成本高昂并且还特别地需要硬件侧的修改、例如使用交换机。
总的来说,由此本发明的核心方面尤其在于,通过协议侧所定义的在帧存储层上的等待时间监视,实现了在尽可能简单的标准网络中特别可靠地传输用户界面。
当前,确定等待时间(即,从服务器到客户端的帧数据传输中的延迟),以便据此促使服务器、客户端或代理服务器对此做出适当的反应。在此,合适地在超过用于等待时间的预定的阈值时触发反应。由客户端、由代理服务器或由服务器或由这些组件中的多个确定等待时间。客户端、代理服务器或服务器从数据流(特别是各个分组)中提取为此所需的信息。
当前,等待时间优选地由客户端确定,并且也由该客户端使用,以便相对于使用者适当地匹配该客户端的特性。这是基于如下考虑:客户端代表了用于使用者的接口,并且因此合理地使用该客户端,以便向使用者通知关于传输问题的信息以及直接防止错误输入。
在特别优选的设计方案中,将等待时间确定为绝对等待时间,简称AFL(absoluteframe latency,绝对帧等待时间),即,确定为服务器侧的对相应的帧的处理的开始与客户端侧的对相应的帧的处理的结束之间的差。
在优选的设计方案中,在传输相应的帧时,服务器一并发送时间戳,该时间戳说明了服务器侧的对帧的处理的开始时间,即,从服务器的帧存储器中读取帧的开始。客户端侧的对帧的处理被划分为对于帧的接收过程和显示过程,其中,显示过程特别地仅在接收过程结束时才开始。然后,将绝对等待时间确定为两个时间段之和,即,从开始时间延伸到接收过程的结束的第一时间段,其中该结束特别地由结束时间来标记,该结束时间被对应地确定。第二时间段说明了显示过程的持续时间。结束时间优选地在接收到相应的帧之后通过客户端本身来确定。总的来说,由此,绝对等待时间包括服务器侧的和客户端侧的帧处理以及经由代理服务器和所参与的网络的传输。
为了确定绝对等待时间,客户端需要服务器侧的信息、即开始时间,由服务器将该信息对应地与相应的帧一起传输。由客户端合适地将绝对等待时间或用于确定该绝对等待时间的适当参数与应答的对应的帧编号一起经由代理服务器附加到服务器,使得该服务器随后自身可以确定绝对等待时间。
绝对等待时间优选地由以下的依次实施的步骤并且特别是仅由这些步骤的持续时间之和得出:第一,服务器侧的对帧的读取过程,即,从服务器的帧存储器中读取(抓取)帧;第二,压缩帧,然而该压缩是可选的并且在变形方案中被忽略;第三,基于分组地将帧从服务器经由代理服务器传输到客户端;第四,通过客户端对帧进行接收,特别地具有附加的对帧的解码;第五,通过对应地控制显示器以及适当地切换像素,在客户端上显示帧。在此,第一步骤和第二步骤是服务器侧的对帧的处理的组成部分。第三步骤表示服务器与客户端之间经由代理服务器和各种网络的传输。第四步骤和第五步骤是客户端侧的对帧的处理的组成部分,其中,第四步骤与客户端的接收过程相对应并且第五步骤与显示过程相对应。这些步骤中的每一个具有一定的持续时间,并且这些持续时间之和产生了绝对等待时间。
优选地根据开始时间和结束时间并且由此特别是完全在软件侧地计算从第一步骤的开始直到第四步骤的结束(即,从读取过程的开始直到接收过程的结束)的持续时间。与此相反,以标准方法无法容易地实现对第五步骤(即,显示过程)的持续时间的确定,因为该持续时间通常特别地取决于客户端的图形驱动器或显示控制器,其中,例如帧的垂直同步或双重缓冲至关重要。
在合适的设计方案中,显示过程的持续时间作为预定的偏移量存储在存储器中、特别是存储在客户端的存储器中。例如在准备阶段,通过对应的试验和测量确定偏移量,并且然后将其储存在存储器中,并且然后在持续的运行中仅还在需要时对其进行查询。由此,有利地完全在软件侧实现对绝对等待时间的确定。
在同样合适的变形方案中,由客户端为相应的帧测量显示过程的持续时间。为此,优选地利用特别的显示驱动器运行客户端,该驱动器持续地在相应的帧中动态地测量显示过程的持续时间,特别是与用于客户端的显示控制器的经适当匹配的固件相结合。在此合适地监视显示器的背景光的活动,即,客户端的显示,以确保相应的帧对于使用者实际上也已经变得可见。由此,再次显著地改善对等待时间的确定,并且该对等待时间的确定然后适用于对可靠性要求特别高的应用。与之前所描述的纯软件侧的确定不同,在该设计方案中,对绝对等待时间的确定随后具有硬件侧的匹配,即所描述的对客户端的修改,而该修改有利地也未触及服务器(即,潜在的第三方提供商的设备)。然而除此之外,在该设计方案中在其余方面特别地纯软件侧地实现对绝对等待时间的确定。
在有利的扩展方案中,除了绝对等待时间,还确定了交互等待时间,该交互等待时间特别地先于迄今所述的绝对等待时间。交互等待时间描述了使用者在客户端处的输入在服务器处导致用户界面的改变所需的持续时间。
在多个客户端的情况下,对于不同的数据流也可能产生不同的等待时间。在有利的设计方案中,代理服务器相对于服务器分析多个客户端的绝对等待时间,并且借助最大比较来确定最大的绝对等待时间,然后将该最大的绝对等待时间传输到服务器,使得例如如果最大的绝对等待时间超过阈值,则该服务器可以适当地做出反应。
优选地,服务器和客户端分别具有用于确定开始时间和结束时间的实时时钟,简称RTC(real time clock,实时时钟)。在合适的设计方案中,为此在连接建立时服务器将单调向上计数的计数器(monotonic clock,单调时钟)初始化,该单调向上计数的计数器特别地也用于生成时间戳。由此实现了虚拟时钟,在连接建立时以及特别地还在连接的另外的进程中利用该虚拟时钟定期重复地同步代理服务器。由此,代理服务器确定该代理服务器的时间与服务器的时间的相对偏差。对应地适用于客户端。但是例如与NTP(network timeprotocol,网络时间协议)中一样,优选地放弃对实时时钟的实际的同步。
合适地,经由多个测量取平均得到相应的相对偏差,使得确定总体上更加鲁棒。由此还有利地抵消了网络中的短时的干扰、例如非对称的延迟,该非对称的延迟在确定绝对等待时间时可能导致错误。换言之:在服务器、代理服务器与客户端之间实现了周期性的时间同步,在该周期性的时间同步中不同步实时时钟本身而是这些通信节点中的每一个保持其本身的本地时间,但是在该周期性的时间同步中代理服务器和客户端使其时间周期性地与服务器的时间相适应,即,通过确定与服务器的虚拟时钟的相对偏差。由此,总体上,所描述的同步有利地不取决于所参与的设备上的实际的时钟,并且由此相对于时间转换也特别鲁棒。通过定期重复的适应,所描述的同步还有利地相对于时钟彼此之间的相对漂移是鲁棒的。特别地通过传输协议定义该同步,并且在实施该方法时对应地执行该同步。
优选地,在应答中将绝对等待时间或至少将客户端处的结束时间传输到服务器,该服务器由此结合应答在服务器处的到达时间计算服务器与客户端之间的传输的往返时间。特别地,绝对等待时间与直至客户端的回馈到达服务器所需的时间之和产生往返时间。在多个客户端的情况下,往返时间尤其由多个绝对等待时间中最大的一个产生,即作为服务器与最慢的客户端之间的往返时间。然后特别地,服务器利用往返时间,以便从该往返时间中推导出关于传输带宽的进一步的信息。
替换地且优选附加地,为了确定绝对等待时间,在优选的设计方案中将等待时间确定为两个相继的帧之间的相对等待时间。因此,例如由在客户端处两个相继的帧的结束时间、接收时间或到达时间的差产生相对等待时间。相对等待时间也被简称为IFL(interframe latency,帧间等待时间)。相对等待时间在客户端侧(即,由客户端自身)测量,并且特别是在每个接收到的帧之后,优选地从客户端回报到服务器。与绝对等待时间不同,可以纯客户端侧地确定相对等待时间,即,没有来自服务器的附加的信息。
基于相对等待时间,客户端特别地识别是否定期进行对显示的更新或者是否例如由于连接缓慢或中断将传输冻结或中断。在该关联下,优选地,还确定服务器与客户端之间的传输速度,以便避免经由减慢了的网络进行传输,并且在这种情况下对应地向使用者表明传输速度过低,以便确保足够的可靠性。减慢了的网络例如是具有暂时降低的传输性能的无线网络或具有损坏的缆线的有线网络。
在优选的设计方案中,客户端确定等待时间,将该等待时间与至少一个阈值进行比较并且如果等待时间超过阈值则输出提示。该阈值可适当地调节,并且例如存储在客户端的存储器中。作为提示,例如输出用户界面的半透明的淡入淡出或文本或其组合,该用户界面的半透明的淡入淡出或文本或其组合提示等待时间已超过阈值,并且因此所显示的用户界面可能不再是当前的。合适地对提示进行颜色编码,例如以交通信号灯的方式进行颜色编码,使得在等待时间可接受的情况下输出绿色提示,在到阈值的距离变小的情况下输出黄色提示,并且在超过阈值的情况下输出红色提示。
在另外的优选的设计方案中,客户端确定等待时间,将该等待时间与至少一个阈值进行比较并且如果等待时间超过阈值,则阻止客户端上的服务器的用户界面。由此,封锁了经由客户端的输入。为此,必要时封锁对应的输入设备,即,不将该输入设备的输入转发到服务器。由此,有利地防止了可能的错误输入(例如由于在此期间已改变但是由于等待时间而未示出的对输入元素的关联)。如果超过阈值,则也合适地中断持续的输入。
通常,阈值要么是预定的并且例如存储在客户端的存储器中,要么例如在服务器与客户端之间建立连接时由服务器动态地确定。两个变形方案是有利的并且也可以组合。特别地,动态的确定基于如下想法:主设备首先不知道对于服务器还可以接受何种等待时间,确切地说这一点由服务器本身预先给定,因为服务器的制造商知道具体的风险并且在服务器中实施对应的风险缓解策略。然后,由服务器预先给定阈值,并且例如在运行时间期间(即,在连接存在的情况下)借助传输协议将该阈值传输到客户端。
分级的阈值通常也是有利的,即,阈值包括用于等待时间的多个等级,在相应地超过该多个等级的情况下输出另外的对应的提示,例如实施上面描述的以交通信号灯的方式的提示或另外的对应的动作,或者实施其组合。利用分级的阈值、更确切地说利用多个阈值,借助分级的反应实现了对服务器、代理服务器或客户端的特性的特别精细的调谐。
在具有多个客户端的设计方案中,优选地单独地为每个客户端并由此单独地为每个数据流识别等待时间,即,为服务器与相应的客户端之间的每个单个的连接识别等待时间。同样类似地适用于具有多个服务器的设计方案。
设计方案还适宜的是,替换于或附加于客户端,在该设计方案中代理服务器确定等待时间,因为代理服务器在多个客户端的情况下特别适用于必要时以不同的要求控制各种数据流,并且在此合适地考虑了相应的等待时间。
设计方案还适当的是,在该设计方案中组件中的一个确定等待时间,并且由于等待时间被耦合了到特定的分组,将该等待时间特别地作为分组的一部分发送到组件中的另外一个。在优选的设计方案中,客户端确定等待时间,并在应答中将该等待时间传输到服务器,以便服务器能够对等待时间做出反应,并且例如以便基于风险评估更改用户界面的输出并使其与等待时间匹配。特别地在制造商侧定义服务器的反应。类似地适用于通过代理服务器确定等待时间以及至服务器的对应的转发。
对于客户端,由服务器生成的数据流可能过于内容丰富。换言之:原则上存在客户端不支持服务器的帧刷新率、而是具有较低的帧刷新率的危险,使得客户端由于帧的量而过载,由此可能对应地导致用户界面的错误显示。客户端的接收缓冲器也可能被填满,由此构建了对应的不利的等待时间。为了避免与服务器相比性能较弱的客户端被如此过载或填满,需要合适地设置带宽控制,在该带宽控制中由代理服务器控制服务器与客户端之间的数据流的大小。由此,通过代理服务器在带宽控制的范围内将服务器的帧刷新率优选地与客户端匹配,以便减轻该客户端的负担。
带宽控制相对于背景也有利的是,除了用户界面的帧数据,通常还传输了另外的数据(例如控制命令)。为了特别低成本地设计内部网络和外部网络,该内部网络和外部网络特别地不支持质量保证,简称QoS(quality of service,服务质量),例如,如这在实时网络中就是这种情况。通过限制帧数据的传输以有利于另外的数据,由代理服务器进行的带宽控制现在有利地防止了对另外的数据的传输的干扰,使得特别可靠地传输了另外的数据。
随后描述了用于带宽控制、即特别地用于限制帧刷新率的四个优选的设计,即,静态带宽控制、动态带宽控制、通过去激活不必要的数据流的带宽控制和通过由代理服务器对帧进行编码的带宽控制。更确切地说,动态带宽控制是带宽调节,然而下面也为此使用带宽控制的更普遍的术语。也是有利的是静态设计和动态设计的组合,即,并行地应用静态设计和动态设计。即,如果在代理服务器中没有为静态限制存储针对涉及的客户端的特定的帧刷新率,并且不可能对应地进行静态限制,特别有利的组合是将动态限制用作静态限制的辅助。在具有多个服务器的设计方案的情况下,通过去激活不必要的数据流的带宽控制是特别地合适的。
在合适的设计方案中,通过代理服务器仅在给定的时间段内将帧转发到客户端直到达到最大带宽为止并且在该时间段内所有后续的帧不转发到客户端,服务器以被代理服务器限制到特别是内部网络的最大带宽的帧刷新率发送帧。结果,在传递到客户端时,代理服务器限制了由服务器提供的帧刷新率,并且生成了新的、经匹配的并且特别地降低了的帧刷新率。由此实现了静态限制(即,在带宽的意义上是静态的),反之每时间单位的帧数量完全可以变化。在此,可以说,进行了所传输的帧数据量的滚动求和,并且在超过针对该数据量的上限时,即,在达到最大带宽时忽略帧。例如,在服务器的帧刷新率为30帧/s的情况下关于1s的时间段确定带宽,即计算最后30个帧的带宽。从该30个帧中的第一个帧出发,然后转发尽可能多的帧,直到达到最大带宽为止;必要时拒绝所有其余的帧。在30帧/s的情况下,在33ms之后新的帧准备好,并且对应地以已移动的观察框架重复该过程,使得最旧的帧从求和中脱离。所拒绝的帧不会被代理服务器转发到客户端。如果帧被拒绝,则这由代理服务器在对服务器的应答中进行注明,使得服务器可以根据设计方案对应地做出反应。
最大带宽说明每时间段(即,时间单位)被转发到客户端的最大数据量。最大带宽例如为100Mbit/s。静态带宽控制尤其基于如下考虑:由于压缩,各个帧可能大小不同,并且因此根据压缩来要求变化的带宽。较之在经较弱地压缩的帧的情况下,在经较强地压缩的帧的情况下每时间单位将更多的帧转发到了客户端,以便总体上保持最大带宽。通过静态带宽控制,不仅不损伤客户端的计算能力,而且还有利地不损伤内部网络,使得还与帧数据并行地无危险地传输了另外的数据、例如控制命令,并且内部网络不会冒由于太大量的帧数据而溢出的危险。例如,通过带宽控制将用于帧数据的带宽限制为内部网络的带宽的50%。
设计方案还适当的是,在该设计方案中服务器的帧刷新率不被或不是仅仅被代理服务器降低到最大带宽,而是降低到客户端的最大帧刷新率。最大帧刷新率与预先给定的时间段内的最大帧数量相对应。在静态限制的情况下,在该时间段内传输第一帧,直到达到对于该时间段的最大帧数量,并且拒绝(即,不传输)该时间段内的所有后续帧。例如,客户端的最大帧刷新率为30帧/s,而服务器以40帧/s的帧刷新率发送帧数据,则每秒仅传输前30个帧而不传输剩余的10个帧。该设计一方面特别适合于避免对内部网络的过分要求,并且另一方面也适合于具有特别有限的计算能力的客户端,例如在多部分C形臂设备的主设备的显示器的情况下。在这种客户端的情况下,通过对最大帧刷新率的限制在每个时刻确保接收到的帧数据不会过分要求客户端的计算能力。
合适地,特定于客户端地执行静态限制,即,针对每个客户端单独地执行。合适地,最大帧刷新率是可调节的,并由代理服务器根据客户端进行适当调节。最大帧刷新率存储在代理服务器的存储器中。
在另外的合适的设计方案中,通过确定服务器与客户端之间的往返时间并且依据往返时间仅将帧的子集转发到客户端,代理服务器以动态匹配的帧刷新率转发来自服务器的帧。由此实现了动态限制,在该动态限制中将帧刷新率动态地与客户端的特别是变化的计算能力相匹配。往返时间(简称RTT,round trip time)已经在上面进行了描述,并且对应于将帧从服务器传输到客户端所需的时间与客户端为此应答服务器所需的时间之和。如果往返时间超过特定的上阈值,则降低帧刷新率;反之,如果往返时间低于另外的下阈值,则提高帧刷新率。
因此,往返时间用作用于调节带宽的反馈。增加的往返时间特别地发出填满了客户端的输入缓冲器的信号,使得在该情况下适宜地降低了帧刷新率。相反,减少的往返时间发出客户端的空闲的容量的信号。对应地类似地适用于内部网络的可用带宽。因此,在该设计中,总的来说一方面确保了帧刷新率与当前工作负载以及由此客户端当前的空闲的计算能力的最佳匹配,以及另一方面确保了帧刷新率与内部网络的空闲的带宽的最佳匹配,使得总的来说实现尽可能高的帧刷新率。这在具有特别高的计算能力的特别独立的客户端、例如多部分C形臂设备的副设备的显示器的情况下特别地适合。
在合适的设计方案中,由代理服务器确定往返时间,该代理服务器为此从服务器以及从客户端接收对应的数据。替换地,往返时间由客户端或由服务器确定并且被传输到代理服务器。例如,服务器上的开始时间和客户端上的结束时间与帧或应答共同包含在分组中,并由代理服务器对其进行分析。
在具有动态限制的适宜的设计方案中,被转发的帧的子集由可调节的因子确定,该因子指定了相继的帧的数量,将其中的一个帧转发并且将所有其余的帧拒绝。通过如果往返时间超过上阈值则将因子增加1,并且如果往返时间低于下阈值则将因子减小1,现在依据往返时间匹配帧刷新率。
在标准化的情况下,因子优选地为1,使得将服务器的每个帧传输到客户端。如果往返时间超过上阈值,则将因子以整数步长增加到值X,使得仅还将每第X个帧转发到客户端,并且拒绝其余的帧。相反,如果往返时间低于下阈值,则将因子以整数步长减小。在合适的设计方案中,当往返时间位于上阈值之上的时候,则将因子逐步长地增加;并且当往返时间位于上阈值之下时,则将因子保持恒定。类似地适用于下阈值和因子的减小,其中,因子可以假设为最小值1,在该情况下,客户端完全支持服务器的帧刷新率。
独立于是否进行静态限制或动态限制,在对服务器的应答中将未由代理服务器转发到客户端的帧合适地标记为已拒绝。
在被共同地显示在一个(作为数词)客户端上的多个服务器、还有在多个虚拟服务器的情况下,即,通常在用于一个客户端的多个数据流的情况下,带宽控制是有利的,在该带宽控制中将不需要的数据流去激活,使得进一步节省了带宽并且减轻了内部网络和客户端的负担。在为此合适的设计方案中,在给定的时刻,仅将部分数量的多个服务器的多个数据流显示在客户端上,并且将其余的数据流暂停,使得不将该其余的数据流的帧传输到客户端,使得总的来说实现了带宽减少。由此,当前未由客户端显示的这种数据流被去激活,例如因为当前未由客户端显示的这种数据流对使用者完全不重要或未被使用者请求,或者因为当前未由客户端显示的这种数据流的用于显示的区域被另外的区域覆盖。由此,不显示不需要的帧。为此,客户端向服务器报告实际显示哪些数据流,并且由服务器将所有未被显示的数据流去激活,即,将这些数据流的帧的传输暂停。
在另外的优选的设计方案中,代理服务器对从服务器转发到客户端的帧进行转码,使得减小了该帧的大小,以便在内部网络中需要较少的带宽并且对应地减轻内部网络的负担。只要已经由服务器压缩了帧,代理服务器就执行对数据量的进一步减少。只要帧未由服务器压缩,现在该帧就通过代理服务器来压缩。
对于从服务器经由代理服务器到客户端的连接,优选地借助活动检查通过代理服务器或客户端或两者兼而有之来识别连接丢失。在此,由代理服务器或由客户端或由两者测量自从获得最后传输的帧以来所经过的时间。如果该时间超过例如1s的预先给定的阈值,则确定连接丢失。在连接暂停的情况下,例如如上所述,尽管连接本身仍然存在并可用,然而通常不再传输帧。为了防止在该情况下错误地确定连接丢失,在这种连接暂停的情况下,代替实际的帧通常传输需要尽可能少的带宽的占位符、例如单个像素,并且由此保持连接激活。特别地必要时借助占位符保持连接激活也被称为“心跳”。相反,对于从客户端经由代理服务器到服务器的连接,由该服务器同样地借助对应的活动检查来识别连接丢失。为此,一旦由代理服务器或由客户端接收到服务器的分组,就由客户端或由代理服务器或由两者将应答发送到服务器。然后,服务器测量直至获得应答的时间,并且如果该时间超过了例如1s的预先给定的阈值,则确定连接丢失。特别地在制造商侧定义服务器对连接丢失的反应。
对带宽的限制特别地表示自适应的带宽管理。由于根据客户端的计算能力帧被忽略,因此发送更少的数据并且内部网络的负担更小。这也是有利的,因为存在特别是与另外的且可能时间上严格的数据交换并行的对用户界面的传输。为了该数据交换不被压缩,根据需要减少带宽使用。不需要、优选地甚至放弃了这种用于控制另外的数据和帧的各种流的高成本的实时网络或同样高成本的现场总线硬件。
总的来说,该方法和在此应用的传输协议为监视服务器与客户端之间的传输提供了各种可能性。根据已经说过的,特别地得到了如下可能性:确定用于数据的传输速度;监视数据传输;执行活动检查;确定连接丢失;测量往返时间;在客户端侧、代理服务器侧或服务器侧测量传输数据时的等待时间;测量作为服务器中用于虚拟时钟的时钟发生器的实时时钟之间的差异;以及同步代理服务器、服务器和客户端;以及监视定期重复的更新。由此,根据设计方案,为了做出反应,为服务器提供以下信息的一个或多个:外部网络的带宽;多个客户端中哪个是最慢的客户端;对活动的检查的结果,也称为“心跳”;服务器与相应的客户端之间的往返时间;相对等待时间或绝对等待时间或两者兼而有之;关于在传输到相应的客户端时是否以及特别是还已拒绝了哪些帧的信息;关于帧是否已推迟地被客户端接收到的信息,例如,是因为已超过了用于相对等待时间的阈值,还是由于其他原因导致减慢。所有这些可能性和信息共同地具有优点,即,通过应用或使用这些可能性和信息,普遍显著地减弱了或甚至消除了延迟传输的功能性风险,以及尤其显著地减弱了或甚至消除了服务器的用户界面在客户端上的延迟显示的功能性风险。由此,在使用相应的服务器时,得到了经改善的功能性可靠性。
合适地,在该方法中还根据传输协议监视帧完整性,即,各个帧的完整性。为此,将校验和(例如,CRC32)作为相应的分组的一部分一并发送,该校验和由客户端进行检查。如果客户端确定了与校验和的偏差,则不显示帧,并且在对服务器的对应的应答中将该帧标记为有缺陷。对帧数据的完整性检查在UDP作为传输层的情况下特别有利。
由服务器输出的用户界面特别地由该服务器的制造商预先给定。,客户端适当地根据需要将用户界面缩放到已由客户端或代理服务器为此确定的显示界面上,并且也对应地缩放可能产生的输入界面。设计方案还适当的是,在该设计方案中服务器本身将其用户界面缩放到客户端的显示界面上。优选地,服务器已经支持由客户端所使用的帧分辨率、例如1280×720像素,以便在客户端获得尽可能忠于原状的影像。
客户端被适当地构建为共同显示多个用户界面,特别是彼此相邻地显示,并且由此实现了并行的显示。特别适合的是具有所谓的混合显示的设计方案。在该设计方案中,将客户端的显示界面划分为两个显示区域,即,用于主设备的用户界面(即,用于自显示)的第一区域和用于一个或多个服务器的用户界面(即,用于第三方显示)的第二区域。然后,服务器和主设备的用户界面可以说形成主GUI的子单元,并且总的来说可以从中央位置使用。合适地,客户端被构建为使得(即更确切地说,如果应当进行使用者与服务器的交互)该客户端根据需要在第二区域中显示相应的服务器的用户界面。合适地,第二区域可以在自显示与第三方显示(Fremdanzeige)之间切换,使得可以将客户端的整个显示界面用于与主设备进行交互,并且根据需要将该客户端的整个显示界面切换为用于与服务器进行交互。在多部分的主设备的情况下,优选地在主设备的显示器中使用该设计方案。
在使用医学成像设备作为主设备时,混合显示是特别有利的,因为可能出于管理原因,必须将特定的信息(例如,在辐射源方面的信息)在此永久地显示。这种信息例如是辐射源的活动状态、辐射源的电压、电流、剂量和辐射时间。因此,将该信息永久地显示在第一区域中,而将另外的信息根据需要交替地显示在第二区域中。同样类似的适用于必要时永久地显示的服务器的信息。在多部分的主设备的情况下,优选地在副设备的显示器中使用混合显示。
合适地,具有混合显示的客户端被构建为,主设备对使用者的请求以对话窗口的形式显示在第二区域中,并且随后与在那里的第三方显示叠加、至少临时地叠加,即,直到进行了所需的输入。由此,为与主设备的交互提供了经放大的显示界面,使得对应地可以省空间地设计用于自显示的第一区域的尺寸,并且对应地还将该用于自显示的第一区域的尺寸设计得显著地小于用于第三方显示的第二区域。特别地,第一区域主要包含或仅包含上面描述的待永久显示的信息,而仅在需要时才显示可选的交互,并且然后该可选的交互在第二区域中进行。
合适地,该客户端被构建为具有舒适功能,使得尽可能地减少使用者的不必要的交互。这特别地涉及与服务器交互的同时也需要与主设备进行特定的交互的情况。在该情况下,在舒适功能的范围内,将在与服务器交互时所需的主设备的用户界面的这种显示面板和输入面板与服务器的用户界面共同显示,并且甚至合适地集成到该服务器的用户界面中。特别地由服务器请求所需的主设备的输出面板和输入面板。
特别地,本发明的另外的优点是,可以将多个服务器与多个客户端连接,并且由此,可以捆绑地经由具有多个用于显示用户界面的客户端的单个主设备来控制多个设备。在此,一方面,将多个服务器的用户界面同时且彼此独立地经由客户端显示,并且另一方面,也可以同时且彼此独立地由客户端进行针对服务器的输入。在此,代理服务器优选地在多个客户端之间进行调解,使得在经由客户端中的一个进行输入时,阻止经由另外的客户端的附加的输入,使得因此服务器在给定的时刻总是仅能经由一个客户端进行控制。在此,合适地禁止从一个客户端到另外的客户端的控制的移交。
在多个服务器的情况下,相应的服务器特别地是自身具有至少一个特定的临床功能的独立的医学设备。相应的服务器通常具有自己的用于输出信息的输出设备以及用于进行控制的输入设备。对应地,多个服务器是在物理上彼此可区分的,并且对应地代表多个单独的医学设备。替换地或附加地,以多个实例运行服务器,使得服务器可以说具有对应地带有许多用户界面的多个虚拟设备,随后借助客户端同时地显示该许多用户界面,并且在那里用于控制虚拟设备。
在多个客户端的情况下,相应的客户端被构建为用于显示至少一个用户界面并用于与该用户界面进行交互。为此,客户端具有输出设备,以便显示用户界面,并且由此输出信息。优选地,输出设备是显示器。为了交互,此外客户端还具有输入设备,以便输入控制命令。输入设备例如是键盘或鼠标。特别优选的设计方案是,在该设计方案中客户端具有触摸屏,触摸屏同时是输出设备和输入设备,并且能够实现与用户界面的直接交互。触摸屏被构建为用于单点触摸输入或多点触摸输入。
服务器、代理服务器和客户端分别代表整个网络的通信节点,该整个网络还包含内部网络和外部网络。特别地,每个通信节点被构建为用于独立地执行传输协议,并且还特别地在错误或连接错误之后独立地(即,独立于其余的通信节点地)执行错误校正或重启。合适地,在这种过程中将对应的提示输出到使用者,特别是在这种情况下不能保证可靠的传输。
特别地,每个服务器提供其自己的连接参数,该连接参数特别包括帧分辨率、帧编码或帧格式或以上的组合,使得在合适的设计方案中,以不同的连接参数运行多个服务器。由此可以实现将不同的设备(特别是来自不同制造商的设备)彼此组合,并且共同地借助主设备来控制。
特别地,将无损编码或有损编码用于传输。根据可供使用的应用和带宽,无损或有损地压缩帧。特别地,这在服务器侧确定,因为服务器原则上了解该服务器的应用,并且因此立刻可以决定有损压缩是否是允许的以及是否可以接受。可选地,传输协议使用加密以及相应的认证。传输协议以及特别地还有表示主设备到外部世界的接口的代理服务器被合适地设计为相对于外部网络中常见的干扰(例如,延迟、分组丢失,即数据丢失、重发数据、黑客攻击等)尽可能地鲁棒。
合适地,对于服务器与主设备的每个连接需要握手,借助该握手服务器发出该服务器支持特别的传输协议的信号。特别地,在握手时交换传输协议的版本号。可选地,在握手时还交换一个或多个另外的参数,例如标识信息
(诸如设备ID或序列号)、许可信息、符号、图形或文本,以便例如通过特别的图标或标签表示服务器在客户端上的应用。
此外,经由客户端与服务器的交互优选地取决于使用许可的存在,使用许可存储在服务器上并且由服务器在握手时例如作为许可信息来传输,以便允许用户界面的传输。代理服务器有利地满足看门狗功能,使得不可能进行从外部网络对内部网络的危险访问或恶意访问。特别地,代理服务器还支持服务器的握手,特别是用于认证和加密。优选地仅经由代理服务器进行服务器与客户端之间的任何通信、即数据传输。
附图说明
下面,根据附图详细说明本发明的实施例。附图中分别:
图1示意性地示出了代理服务器以及多个服务器和多个客户端;
图2示意性地示出了在客户端上的显示;
图3示意性地示出了在客户端上的另外的显示;
图4示意性地示出了在客户端上的另外的显示;
图5示意性地示出了对绝对等待时间的确定;
图6示意性地示出了通过客户端对绝对等待时间的确定;
图7示意性地示出了在多个客户端的情况下对绝对等待时间的确定;
图8示意性地示出了对相对等待时间的确定;
图9示意性地示出了静态带宽减少;
图10示意性地示出了动态带宽减少。
具体实施方式
图1中示出了主设备2,该主设备在此是医学成像设备、即C形臂设备。主设备2具有代理服务器4和多个客户端6,该代理服务器和多个客户端经由至少一个内部网络8彼此连接。代理服务器4形成设备2的向外的接口,并且经由至少一个外部网络10与多个服务器12连接,该多个服务器分别是独立的医学设备。用于该布置的实施方案也比照地适用于未示出的具有仅一个服务器12或仅一个客户端6的设计方案。在此,内部网络8示例性地是TCP/IP网络。在此,外部网络10示例性地基于有线的标准以太网。在一种变形方案中,网络8、10中的至少一个是无线的。从服务器12传输到客户端6或者反向传输的所有数据通过代理服务器4。
在此,客户端6分别被构建为触摸屏,以便替换地或与主设备2本身的用户界面14组合地还显示了一个或多个服务器12的一个或多个用户界面14。设计为触摸屏是非强制的。在一种变形方案中,客户端6具有仅用于显示的显示器,并且具有例如鼠标或键盘作为输入设备。触摸屏与另外的输入设备的组合也是可行的。在此,主设备2被多部分地构建,并且具有主单元和副单元,主单元包括代理服务器4、客户端6中的一个以及未示出的C形臂,副单元包括其余的客户端6。服务器12同样是医学设备,然而必要时可能来自另外的制造商。例如,服务器12中的一个是导航设备。
当前,每个服务器12以及主设备2具有用户界面14、也称为GUI(graphical userinterface,图形用户界面)。服务器10的用户界面14经由代理服务器4被传输到客户端6上并在那里显示。由此,每个服务器12的用户界面14可以同时显示在客户端6的每一个上,并且反之,类似地也可以从单个客户端6控制多个服务器12。相应的客户端6被构建为用于共同地显示多个用户界面14。
图2中示出了客户端6的示例性显示,并且在此是混合显示,在该混合显示中客户端6的显示界面16被划分为两个显示区域18、20,即,用于主设备2的用户界面14的第一区域18(图2中在显示界面16的上边缘处)和用于一个或多个服务器12的用户界面14的第二区域20(图2中在第一区域18下方)。现在,在第二区域20中,根据需要显示相应的服务器12的用户界面14,特别是当使用者应当与服务器12进行交互时。然而,第二区域20也可以被切换以显示主设备2的经扩展的用户界面14。图3中示出了用于例如在客户端6的另一个上进行显示的变形方案。在此,可以经由寄存器访问第二区域20。
从图2出发,图4中示出了,具有混合显示的客户端6被附加地构建为使得主设备2对使用者的请求以对话窗口D的形式显示在第二区域20中,并且随后(至少暂时地)与必要时在此处所显示的第三方显示(Fremdanzeige)叠加,即,直到进行了所需的输入。由此,为与主设备2的交互提供了经放大的显示界面。
为了将用户界面14从服务器12经由代理服务器4传输到客户端6,使用特别的方法,该方法实施特别的传输协议,以便通过协议侧所定义的在帧存储层上的等待时间监视来实现在尽可能简单的标准网络中特别可靠地传输用户界面14。
根据该方法,原则上首先将服务器12的用户界面14传输到客户端6,使得用户界面14被显示在客户端6上,并且可以从客户端6控制服务器12。由此,对于使用者,能够实现借助客户端6控制服务器12,并且反之,将服务器12的信息传输到客户端6,并且经由该客户端输出。通常,可以从客户端6与服务器12进行交互,即,不仅进行显示还进行输入。如从图2至图4可以看出的那样,用户界面14通常包括用于显示信息的显示面板22以及用于输入控制命令的操作面板24。用户界面14的具体设计方案取决于设备2、12。
根据该方法,为了在客户端6上显示用户界面14,多个相继的帧26的数据流借助基于分组的传输从服务器12传输到客户端6。当前,这以分组的形式进行,其中当前不失一般性地假设,每个分组包含恰好一个帧26。因此,数据流由多个相继的帧组成,以与服务器12的帧刷新率相对应的频率发送该帧。除了帧26,分组还包含另外的数据、当前为帧编号。
当前,基于分组的传输是双向的。这可在图5至图8中看出。服务器12经由代理服务器4将具有帧26和另外的数据的分组发送到客户端6,该客户端在接收到分组之后经由代理服务器4将同样是分组的应答28发送回服务器12。应答28包含帧编号,使得服务器12可以将应答28与先前发送的分组相关联。
根据该方法,为了对传输进行监视,定期重复地在相应的客户端6处接收到各个帧26时确定传输的等待时间AFL、IFL。通过对各个帧26的接收的监视,实现在帧存储层上监视传输的等待时间AFL、IFL。为此,当前,将由客户端6对帧26的接收(更确切地说定期重复地)用作触发器以确定等待时间AFL、IFL,使得连续地确定等待时间AFL、IFL,并且在此该等待时间以位于服务器12和客户端6的帧刷新率的数量级中的频率来测量。
当前,对等待时间AFL、IFL的确定被用于特别快速地识别经由网络8、10的传输的减慢或客户端6的过载,并且此后触发服务器12、代理服务器4或客户端6的对应的反应。在此,当前在等待时间AFL、IFL超过预定的阈值时触发反应。由客户端6、由代理服务器4或由服务器12或由这些组件中的多个确定等待时间AFL、IFL。为此所需的信息取自数据流、更确切地说取自各个分组。在所示的具有多个服务器12和多个客户端6的设计方案中,单独地为服务器12中的一个与客户端6中的一个之间的每个单个连接并且由此单独地为每个数据流识别等待时间AFL、IFL。
在协议侧(即,通过传输协议)定义对等待时间AFL、IFL的确定,从而对硬件不存在特别的要求,并且以特别低成本且简单的标准技术来执行该方法。至少在外部网络10中,有线或无线地经由低成本的基于分组的网络(例如标准以太网、WLAN等)、并且恰好不经由特别的实时以太网进行用户界面14的传输。当前,内部网络8例如基于TCP技术。传输协议还用于经由对应的返回信道将控制命令传输到相应的服务器12。
当前,等待时间AFL、IFL由客户端6确定,并且也由该客户端使用,以便相对于使用者适当地匹配该客户端的特性。具体地,例如,向使用者通知关于传输问题的信息或者截止经由客户端6的输入以便直接防止错误输入。如果超过阈值,则也中断持续的输入。阈值是可调节的,并且存储在客户端6的存储器中。此外,在超过阈值的情况下输出对应的提示,例如其上提示有等待时间AFL、IFL已超过阈值的文本,并且因此所显示的用户界面14可能不再是当前的。例如将文本显示为用户界面14的半透明的淡入淡出。
图5至图8中示出了用于确定等待时间AFL、IFL的各种设计。在此,图5中示出了具有用于时间t的时间轴的图1的结构的简化图示,并且在图6至图8中,分别在垂直方向上描绘时间t,并且在水平方向上绘制从服务器12经由代理服务器4到一个或多个客户端6的连接。图5至图7中确定了绝对等待时间AFL。图8中在客户端侧确定了相对等待时间IFL。
在传输相应的帧26时,服务器12一并发送时间戳,该时间戳说明服务器侧的对帧26的处理的开始时间t-s,即,开始从服务器12的帧存储器中读取S1帧26。客户端侧的对帧26的处理被划分为对于帧26的接收过程S4和显示过程S5,其中,显示过程S5仅在接收过程S4结束时才开始。然后,将绝对等待时间AFL确定为两个时间段之和,即,从开始时间t-s延伸到接收过程S4的结束的第一时间段,其中该结束特别地由结束时间t-e标记,该结束时间被对应地确定。第二时间段说明显示过程S5的持续时间。结束时间t-e在接收到相应的帧26之后通过客户端6本身来确定。
由此,如图5中所示,绝对等待时间AFL由以下相继实施的步骤S1至S5得出:第一,服务器侧的对帧26的读取过程S1,即,从服务器12的帧存储器中读取(抓取)帧26;第二,压缩S2帧26,然而该压缩是可选的;第三,基于分组地将帧26从服务器12经由代理服务器4传输S3到客户端6;第四,通过客户端6对帧26进行接收和解码S4;第五,在客户端6上显示S5帧26。在此,第一和第二步骤S1、S2是服务器侧的对帧26的处理的组成部分。第三步骤S3表示服务器12与客户端6之间经由代理服务器4和各种网络8、10的传输。第四步骤和第五步骤S4、S5是客户端侧的对帧26的处理的组成部分,其中,第四步骤S4与客户端6的接收过程相对应并且第五步骤S5与显示过程相对应。这些步骤中的每一个具有一定的持续时间,并且这些持续时间之和产生了绝对等待时间AFL。
根据开始时间t-s和结束时间t-e,计算从第一步骤S1的开始直至第四步骤S4的结束的持续时间,并且由此完全是软件侧的。对第五步骤S5(即,显示过程)的持续时间的确定要么作为预定的偏移量存储在存储器中,要么由客户端6为相应的帧26测量,或者两者兼而有之并且随后对应地相加。例如在准备阶段,通过对应的试验和测量确定偏移量,并且然后在持续的运行中进行查询。为了在持续的运行中测量显示过程S5的持续时间,利用特别的显示驱动器运行客户端6,该显示驱动器持续地在相应的帧26中动态地测量显示过程S5的持续时间。
在未示出的扩展中,除了绝对等待时间AFL,还确定了交互等待时间,该交互等待时间在迄今所描述的绝对等待时间AFL之前发生,并且描述了使用者在客户端6处的输入在服务器12处导致用户界面14的改变所需的持续时间。
在多个客户端6的情况下,对于不同的数据流也可能产生不同的绝对等待时间AFL。图7示出了代理服务器4如何相对于服务器12分析多个客户端6的绝对等待时间AFL,并且如何借助最大比较来确定最大的绝对等待时间AFL,然后将该最大的绝对等待时间AFL传输到服务器12,使得该服务器可以适当地做出反应。如图7中所示,在应答28中将绝对等待时间AFL传输到服务器12,该服务器由此结合应答28在服务器12处的到达时间为服务器12与客户端6之间的传输计算往返时间RTT。在此,最大的绝对等待时间AFL与直至最慢的客户端6的反馈28到达服务器12所需的时间之和产生往返时间RTT。
为了确定开始时间t-s和结束时间t-e,服务器12和客户端6分别具有未示出的实时时钟。在连接建立时,服务器12以未示出的方式初始化单调向上计数的计数器,该单调向上计数的计数器也用于生成时间戳。由此实现了虚拟时钟,在连接建立时以及在连接的另外的过程中,利用该虚拟时钟定期重复地同步代理服务器4。由此,代理服务器4确定该代理服务器的时间与服务器12的时间的相对偏差。对应地适用于客户端6。在此,放弃对实时时钟的实际的同步。经由多个测量取平均得到相应的相对偏差。
例如如图8中所示,相对等待时间IFL(inter frame latency,帧间等待时间)被确定为两个相继的帧之间的时间t。例如作为在客户端6处两个相继的帧26的接收时间的差得到相对等待时间IFL。客户端6由此识别是否定期进行对显示的更新或者是否将传输冻结或中断。由此实现了活动检查,如果相对等待时间IFL超过对应的阈值(例如1s),则借助该活动检查来识别连接丢失。
对于内部网络8或客户端6或两者,由服务器12生成的数据流可能过于内容丰富。为了避免网络带宽上的过大负担以及与服务器12相比性能较弱的客户端6上的过载,设置带宽控制,在该带宽控制中特别地由代理服务器4来控制服务器12与客户端6之间帧26的量以及由此数据流的大小。通过帧数据的减少,还避免了对另外的数据的传输的干扰,使得不需要通过网络8、10的附加的质量保证。
图9和图10中描述了用于限制带宽的两个设计,即,在图9中描述了静态带宽控制以及在图10中描述了动态带宽控制。分别将所发送的帧26示为时间t的函数。当前,将两个设计结合,使得如果在代理服务器4中没有为静态限制存储用于相关客户端6的特定的帧刷新率,则使用动态限制。
图9将用于后续帧26的、在时间段t1内合计的带宽b示为时间t的函数。通过代理服务器4仅在给定的时间段t1内将帧26转发到客户端6直到达到最大带宽b-max为止,服务器12通常以被代理服务器4根据图9限制到内部网络8的最大带宽b-max的帧刷新率发送帧26。在例如1s的时间段t1内的所有后续帧26不被转发到客户端6。由此,可以说,进行了所传输的帧数据量的滚动求和,并且在超过针对该数据量的上限时忽略帧26。在时间段t1内累积的数据量在图9中由变大的条状图说明。被拒绝的帧26没有被代理服务器4转发到客户端6,然而在对服务器12的应答28中,注明相关的帧26是否已经被拒绝,使得服务器12可以根据设计方案做出对应的反应。
在根据图10的动态限制中,通过确定服务器12与客户端6之间的往返时间RTT并且依据该往返时间RTT仅将帧26的子集转发到客户端6,代理服务器4以动态地与客户端6的计算时间相匹配的帧刷新率从服务器12转发帧26。这在图10中由在时间上相继的帧26说明,在该时间上相继的帧中仅将每第四个帧26转发到客户端4,并且拒绝三个其间的帧26。通过可调节的因子确定所转发的帧26的子集,该因子指定了相继的帧26的数量,将其中的一个帧转发并且将所有其余的帧拒绝。因此,图10中的因子为4,使得仅转发每第四个帧26。通过如果往返时间RTT超过上阈值则将因子增加1,并且如果往返时间RTT低于下阈值则将因子减小1,现在依据往返时间RTT匹配帧刷新率。
此外,这种在给定的时刻未由客户端6显示的帧26当前甚至完全未被服务器12传输。这在另外的带宽控制的范围内进行,在该另外的带宽控制中,不需要的至相应的客户端6的数据流被去激活,使得进一步节省了带宽并且减轻了内部网络8和相应的客户端6的负担。替换地或附加地,代理服务器4对从服务器12转发到客户端6的帧26进行转码,使得减小了该帧的大小,以便进一步减轻内部网络8的负担。

Claims (15)

1.一种用于将来自至少一个服务器(12)的用户界面(14)经由代理服务器(4)传输到至少一个客户端(6)的方法,
其中,将服务器(12)的用户界面(14)传输到所述客户端(6),使得所述用户界面(14)被显示在所述客户端(6)上,并且能够从所述客户端(6)控制所述服务器(12),
其中,为了在所述客户端(6)上显示所述用户界面(14),将多个相继的帧(26)的数据流借助基于分组的传输从所述服务器(12)传输到所述客户端(6),
其中,为了监视传输,定期重复地为各个帧(26)确定传输的等待时间(AFL,IFL)。
2.根据权利要求1所述的方法,
其中,将所述等待时间(AFL)确定为绝对等待时间,即,确定为服务器侧的对相应的帧(26)的处理的开始与客户端侧的对相应的帧(26)的处理的结束之间的差。
3.根据权利要求2所述的方法,
其中,在传输相应的帧(26)时,所述服务器(12)一并发送时间戳,所述时间戳说明了服务器侧的对帧(26)的处理的开始时间(t-s),即,开始从服务器(12)的帧存储器中读取帧(26),
其中,客户端侧的处理被划分为对于帧(26)的接收过程和显示过程,
其中,将所述绝对等待时间(AFL)确定为两个时间段之和,即,从所述开始时间(t-s)延伸到接收过程的结束的第一时间段以及说明了显示过程的持续时间的第二时间段。
4.根据权利要求3所述的方法,
其中,显示过程的持续时间作为预定的偏移量存储在存储器中,
或者
其中,由所述客户端(6)为相应的帧(26)测量显示过程的持续时间。
5.根据权利要求2至4中任一项所述的方法,
其中,将服务器(12)的用户界面(14)经由所述代理服务器(4)传输到多个客户端(6),使得对于每个客户端(6)存在自己的数据流,
其中,每个客户端(6)为相应的数据流确定所述绝对等待时间(AFL),并且其中所述代理服务器(4)确定最大的绝对等待时间(AFL)并且传输到所述服务器(12)。
6.根据权利要求1至5中任一项所述的方法,
其中,将所述等待时间(IFL)确定为两个相继的帧(26)之间的相对等待时间。
7.根据权利要求1至6中任一项所述的方法,
其中,所述客户端(6)确定所述等待时间(AFL,IFL)并且将所述等待时间与至少一个阈值进行比较,
其中,如果所述等待时间(AFL,IFL)超过阈值,则所述客户端(6)输出提示或者阻止客户端(6)上的服务器(12)的用户界面(14)或者两者兼而有之。
8.根据权利要求1至7中任一项所述的方法,
其中,所述客户端(6)确定所述等待时间(AFL,IFL),并在应答(28)中将所述等待时间传输到所述服务器(12),以使所述服务器(12)能够对所述等待时间(AFL,IFL)做出反应。
9.根据权利要求1至8中任一项所述的方法,
其中,通过所述代理服务器(4)仅在给定的时间段(t1)内将帧(26)转发到所述客户端(6)直到达到最大带宽(b-max)为止,并且在所述时间段(t1)内所有后续的帧(26)不转发到客户端(6),所述服务器(12)以被所述代理服务器(4)限制到最大带宽(b-max)的帧刷新率发送所述帧(26)。
10.根据权利要求1至9中任一项所述的方法,
其中,通过确定所述服务器(12)与所述客户端(6)之间的往返时间(RTT)并且依据所述往返时间(RTT)仅将帧(26)的子集转发到所述客户端(6),所述代理服务器(4)以动态匹配的帧刷新率转发来自服务器(12)的帧(26),
其中,通过可调节的因子确定所转发的帧(26)的子集,所述因子指定了相继的帧(26)的数量,将其中的一个帧转发并且将所有其余的帧拒绝,
其中,如果所述往返时间(RTT)超过上阈值,则将所述因子增加1,并且如果所述往返时间(RTT)低于下阈值,则将所述因子减小1。
11.根据权利要求1至10中任一项所述的方法,
其中,在给定的时刻,仅将部分数量的多个服务器(12)的多个数据流显示在所述客户端(6)上,并且将其余的数据流暂停,使得不将所述其余的数据流的帧(26)传输到客户端。
12.根据权利要求1至11中任一项所述的方法,
其中,所述代理服务器(4)经由至少一个外部网络(10)与所述服务器(12)或与多个服务器(12)连接,其中,所述网络(10)是标准以太网或WLAN网络。
13.根据权利要求1至12中任一项所述的方法,
其中,所述服务器(12)是第一医学设备,并且其中所述代理服务器(4)和所述客户端(6)分别是第二医学设备(2)的一部分,并且其中所述客户端(6)是显示器,使得将第一医学设备的用户界面(14)接通到第二医学设备的显示器上,从而能够从所述第二医学设备(2)控制所述第一医学设备。
14.一种医学设备(2),所述医学设备具有代理服务器(4)和客户端(6),并且所述医学设备被构建为用于将服务器(12)的用户界面(14)传输到所述客户端(6),使得所述用户界面(14)被显示在所述客户端(6)上,并且能够从所述客户端(6)控制所述服务器(12),其中,为了在所述客户端(6)上显示所述用户界面(14),将多个相继的帧(26)的数据流借助基于分组的传输从所述服务器(12)传输到所述客户端(6),其中,为了监视传输,定期重复地为各个帧(26)确定传输的等待时间(AFL,IFL)。
15.一种服务器(12),所述服务器被构建为用于执行根据权利要求1至13中任一项所述的方法。
CN202010134329.2A 2019-03-04 2020-03-02 用于传输用户界面的方法、医学设备和服务器 Active CN111643101B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19160516.1A EP3706393B1 (de) 2019-03-04 2019-03-04 Verfahren zur übertragung einer benutzeroberfläche, medizingerät und anordnung
EP19160516.1 2019-03-04

Publications (2)

Publication Number Publication Date
CN111643101A true CN111643101A (zh) 2020-09-11
CN111643101B CN111643101B (zh) 2023-09-08

Family

ID=65686724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010134329.2A Active CN111643101B (zh) 2019-03-04 2020-03-02 用于传输用户界面的方法、医学设备和服务器

Country Status (3)

Country Link
US (1) US11310347B2 (zh)
EP (1) EP3706393B1 (zh)
CN (1) CN111643101B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11640665B2 (en) * 2019-09-27 2023-05-02 Bfly Operations, Inc. Methods and apparatuses for detecting degraded ultrasound imaging frame rates
US11731043B2 (en) * 2019-11-19 2023-08-22 Sony Interactive Entertainment Inc. Adaptive graphics for cloud gaming

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020144276A1 (en) * 2001-03-30 2002-10-03 Jim Radford Method for streamed data delivery over a communications network
CN103117879A (zh) * 2013-01-30 2013-05-22 昆明理工大学 一种计算机硬件运行参数网络监测系统
US20140032775A1 (en) * 2012-07-30 2014-01-30 Vmware, Inc. User interface remoting through video encoding techniques
CN103914582A (zh) * 2012-12-31 2014-07-09 达索系统公司 从服务器向远程客户端流传输模拟的三维建模的对象
DE102014219760A1 (de) * 2014-09-30 2016-03-31 Siemens Aktiengesellschaft Server verbunden mit zumindest einem tragbaren Informationssystem, zumindest einem mobilen Client und/oder zumindest einem Bedienpanel über ein Netzwerk sowie ein zugehöriges Betriebsverfahren
CN105721335A (zh) * 2014-12-22 2016-06-29 西门子公司 工业自动化系统通讯网络中数据传输方法和耦合通讯设备
US20170118301A1 (en) * 2015-10-22 2017-04-27 The Western Union Company Integration framework and user interface for embedding transfer services into applications
US20170188023A1 (en) * 2015-12-26 2017-06-29 Intel Corporation Method and system of measuring on-screen transitions to determine image processing performance
CN106999257A (zh) * 2014-09-23 2017-08-01 外科安全技术公司 手术室黑盒设备、系统、方法和计算机可读介质
US20170374502A1 (en) * 2016-06-23 2017-12-28 Minutepros.Com Corp. Networked wi-fi stations having multi-level displays and multiple antennas
US20180302594A1 (en) * 2017-04-17 2018-10-18 Broadcast Pix, Inc. Media Production Remote Control and Switching Systems, Methods, Devices, and Configurable User Interfaces

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8238324B2 (en) * 2009-07-24 2012-08-07 Broadcom Corporation Method and system for network aware virtual machines
US10158868B2 (en) * 2013-10-15 2018-12-18 Nvidia Corporation Systems and methods to limit lag between a client and a server for remote computing
US10567775B2 (en) * 2016-10-01 2020-02-18 Intel Corporation Method and system of hardware accelerated video coding with per-frame parameter control
EP3740859A1 (en) * 2018-01-19 2020-11-25 University of South Carolina Multiple format instructional display matrix including real time input

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020144276A1 (en) * 2001-03-30 2002-10-03 Jim Radford Method for streamed data delivery over a communications network
US20140032775A1 (en) * 2012-07-30 2014-01-30 Vmware, Inc. User interface remoting through video encoding techniques
CN103914582A (zh) * 2012-12-31 2014-07-09 达索系统公司 从服务器向远程客户端流传输模拟的三维建模的对象
CN103117879A (zh) * 2013-01-30 2013-05-22 昆明理工大学 一种计算机硬件运行参数网络监测系统
CN106999257A (zh) * 2014-09-23 2017-08-01 外科安全技术公司 手术室黑盒设备、系统、方法和计算机可读介质
DE102014219760A1 (de) * 2014-09-30 2016-03-31 Siemens Aktiengesellschaft Server verbunden mit zumindest einem tragbaren Informationssystem, zumindest einem mobilen Client und/oder zumindest einem Bedienpanel über ein Netzwerk sowie ein zugehöriges Betriebsverfahren
CN105721335A (zh) * 2014-12-22 2016-06-29 西门子公司 工业自动化系统通讯网络中数据传输方法和耦合通讯设备
US20170118301A1 (en) * 2015-10-22 2017-04-27 The Western Union Company Integration framework and user interface for embedding transfer services into applications
US20170188023A1 (en) * 2015-12-26 2017-06-29 Intel Corporation Method and system of measuring on-screen transitions to determine image processing performance
US20170374502A1 (en) * 2016-06-23 2017-12-28 Minutepros.Com Corp. Networked wi-fi stations having multi-level displays and multiple antennas
US20180302594A1 (en) * 2017-04-17 2018-10-18 Broadcast Pix, Inc. Media Production Remote Control and Switching Systems, Methods, Devices, and Configurable User Interfaces

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEIDONG SHI等: ""Scalable Support for 3D Graphics Applications in Cloud"", 《2010 IEEE 3RD INTERNATIONAL CONFERENCE ON CLOUD COMPUTING》 *
WEIDONG SHI等: ""Scalable Support for 3D Graphics Applications in Cloud"", 《2010 IEEE 3RD INTERNATIONAL CONFERENCE ON CLOUD COMPUTING》, 5 July 2010 (2010-07-05), pages 346 - 353, XP031739415 *

Also Published As

Publication number Publication date
EP3706393B1 (de) 2024-04-24
EP3706393C0 (de) 2024-04-24
CN111643101B (zh) 2023-09-08
US20200287993A1 (en) 2020-09-10
US11310347B2 (en) 2022-04-19
EP3706393A1 (de) 2020-09-09

Similar Documents

Publication Publication Date Title
US7430681B1 (en) Methods and apparatus for interfacing a drawing memory with a remote display controller
CN111643101B (zh) 用于传输用户界面的方法、医学设备和服务器
US7483448B2 (en) Method and system for the clock synchronization of network terminals
US9198271B2 (en) X-ray imaging apparatus, control device, radiation imaging apparatus, and method of controlling the same
JP2004180127A (ja) 通信装置及び送信装置並びに受信装置
US8335576B1 (en) Methods and apparatus for bridging an audio controller
JP7011941B2 (ja) クライアント及び受信方法
US20080239074A1 (en) Remote display method and system for a monitor apparatus
JP5523130B2 (ja) 通信装置、通信方法、及びプログラム
US20080114852A1 (en) Serial communications protocol
CA2668671C (en) Serial communications protocol for safety critical systems
Gokhale et al. HoIP: A point-to-point haptic data communication protocol and its evaluation
CN104247377B (zh) 通信装置、通信方法、程序
JP2013251878A (ja) 通信装置、制御装置及びプログラム
JP2005013558A (ja) 被験者情報伝送システム
US20100069108A1 (en) Apparatus and method for transmitting data over a wireless network
EP3874720B1 (en) Data transmission protocol
JP2023554140A (ja) データ伝送制御方法、装置、電子機器及び記憶媒体
CN103460697A (zh) 显示控制装置、显示控制方法和程序
JP2013074338A (ja) タイムサーバ、端末、時刻同期システム、時刻同期方法、及びプログラム
CN112786062A (zh) 带宽自适应网络音频传输方法、设备、介质及系统
JP6334778B2 (ja) 通信仲介装置
US20130141596A1 (en) Transmitter, transmission method, and program
CN115934593A (zh) 在数据流中传输usb数据
JP5552929B2 (ja) 電文送信制御プログラム、通信装置及び電文送信制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant