CN103701877A - 交互式远程会诊系统和交互式远程会诊方法 - Google Patents

Abstract

本发明提供了一种交互式远程会诊系统和一种交互式远程会诊方法，其中交互式远程会诊系统包括客户终端，连接至控制数据传输服务器，在接收到用户的交互请求时，获取同步至其他客户终端的资料数据，并将资料数据通过控制数据传输服务器发送至其他客户终端，以及获取用户当前在客户终端上的操作指令数据，并将操作指令数据通过控制数据传输服务器发送至其他客户终端；其他客户终端，连接至控制数据传输服务器，用于显示资料数据并根据操作指令数据执行相应操作；控制数据传输服务器，用于接收来自客户终端的资料数据，以及将客户终端的资料数据发送至其他客户终端。根据本发明的技术方案可增强远程会诊的交互性和实时性，减少了远程交互的时延。

Description

交互式远程会诊系统和交互式远程会诊方法

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种交互式远程会诊系统和一种交互式远程会诊方法。

背景技术

在医疗领域，远程会诊使医生在无须患者亲临的情况下，对患者的病情作出全面的、仔细的思考、总结和分析，从而作出正确的诊断和制订科学、合适的治疗方案，既提高了诊断准确率，又节省了患者的就诊时间，从而免除了患者长途奔波、挂号排队的劳碌之苦。

会诊过程如下：

会诊前30分钟进入专家诊室（会诊系统），检查视频、音频是否正常，建议准备纸、笔，将想咨询的问题记录下来，防备会诊时忘记。会诊开始，地方主治医生简要介绍病史、检查结果、治疗经过。专家向地方主治医生询问病情，并做出诊断意见和治疗建议。专家解答地方主治医生提问。

在专家和主治医生交流时，需要查看各类信息，包括图像，比如B超、CT等，双方需要在图像上做各种操作，并且这些操作需要双方都能够看到。但据目前的远程会诊技术，双方只能通过视频进行交互，即使可交互操作，但是存在严重的时延，无法达到实时特点。

发明内容

考虑到上述背景技术，本发明的一个目的提供一种交互式远程会诊技术，能够减少远程交互的时延，增强远程会诊双方的交互性和实时性。

根据本发明的一个方面，提供了一种交互式远程会诊系统，包括：客户终端，连接至所述控制数据传输服务器，在接收到用户的交互请求时，获取同步至其他客户终端的资料数据，并将所述资料数据通过所述控制数据传输服务器发送至所述其他客户终端，以及在所述资料数据到达所述其他客户终端后，获取用户当前在所述客户终端上的操作指令数据，并将所述操作指令数据通过所述控制数据传输服务器发送至所述其他客户终端；所述其他客户终端，连接至所述控制数据传输服务器，用于显示所述资料数据并根据所述操作指令数据执行相应操作；所述控制数据传输服务器，用于接收来自所述客户终端的资料数据，以及将所述客户终端的资料数据发送至所述其他客户终端。

在该实施例中，会诊交互多方的终端不需要远程登录，会诊交互多方的终端是平等的，具有相同的操作系统，仅需要将所需的会诊资料发送给交互对方，并将操作指令数据发送给交互对方，无需传递所有的数据，因此减少了数据传输量，从而减少了时延，提高会诊的交互性和实时性。

根据本发明的另一方面，还提供了一种交互式远程会诊方法，包括：在客户终端接收到用户的交互请求时，获取同步至其他客户终端的资料数据；所述客户终端将所述资料数据通过控制数据传输服务器发送至所述其他客户终端，供所述其他客户终端显示；获取用户当前在所述客户终端上的操作指令数据，并将所述操作指令数据通过所述控制数据传输服务器发送至所述其他客户终端，供所述其他客户终端执行。

在该实施例中，会诊交互多方的终端不需要远程登录，会诊交互多方的终端是平等的，具有相同的操作系统，仅需要将所需的会诊资料发送给交互对方，并将操作指令数据发送给交互对方，无需传递所有的数据，因此减少了数据传输量，从而减少了时延，提高会诊的交互性和实时性。

附图说明

图1A是根据本发明的一个实施例的交互式远程会诊系统的示意图；

图1B是根据本发明的另一实施例的交互式远程会诊系统的示意图；

图2是图1所示交互式远程会诊系统中的各组成部分结构示意图；

图3是根据本发明的实施例的交互式远程会诊系统中各组成部分之间的数据交互示意图；

图4是根据本发明的实施例的通信连接建立方法的流程图；

图5是根据本发明的实施例的操作指令数据传输方法的流程图；

图6是根据本发明的实施例的音视频数据传输方法的流程图；

图7是根据本发明的实施例的交互式远程会诊方法的流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

下面结合附图和实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

图1A是根据本发明的一个实施例的交互式远程会诊系统的示意图。

如图1A所示，根据本发明的实施例的交互式远程会诊系统100，包括：

客户终端102，连接至控制数据传输服务器106，在接收到用户的交互请求时，获取同步至其他客户终端104的资料数据，并将资料数据通过控制数据传输服务器106发送至其他客户终端104，以及在资料数据到达其他客户终端后，获取用户当前在客户终端上的操作指令数据，并将操作指令数据通过控制数据传输服务器发送至其他客户终端104；其他客户终端104，连接至控制数据传输服务器106，用于显示资料数据并根据操作指令数据执行相应操作；控制数据传输服务器106，用于接收来自客户终端102的资料数据，以及将客户终端的资料数据发送至其他客户终端104。

在该实施例中，会诊交互多方的终端不需要远程登录，会诊交互多方的终端是平等的，具有相同的操作系统，仅需要将所需的会诊资料发送给交互对方，并将操作指令数据发送给交互对方，无需传递所有的数据，因此减少了数据传输量，从而减少了时延，提高会诊的交互性和实时性。

进一步地，客户终端102还用于获取客户终端102的音视频数据，并将所述音视频数据通过流媒体传输服务器106发送至所述其他客户终端104。所述交互式远程会诊系统100还可以包括：流媒体传输服务器108，用于接收来自所述客户终端102的音视频数据，以及将音视频数据发送至其他客户终端104。在该技术方案中，除了能够进行操作交互之外，还可以进行音视频数据的交互，实现操作和视频的同步，并且由于视频数据与操作数据分别由两个不同的服务器进行传输，因此音视频数据的传输与操作数据的传输不会相互影响，并且也减轻了服务器的负担。

优选的，所述客户终端102还用于在获取所述资料数据后，将所述其他客户终端104的地址信息发送至所述控制数据传输服务器106进行保存。所述控制数据传输服务器106包括：第一信息管理单元，用于保存所述其他客户终端104的地址信息，以根据所述其他客户终端104的地址信息将所述资料数据发送至所述其他客户终端104，并将所述其他客户终端104的地址信息同步至所述流媒体传输服务器108。所述流媒体传输服务器108包括第二信息管理单元，用于保存来自所述控制数据传输服务器106的其他客户终端104的地址信息，以根据所述其他客户终端104的地址信息将所述音视频数据发送至所述其他客户终端104。在流媒体传输服务器108和控制数据传输服务器106中，还保存终端的信息，例如地址信息，服务器管理各终端的信息将与终端相关的数据发送给该终端，并且仅给已注册终端提供服务。

在上述任一技术方案中，优选的，所述第二信息管理单元还用于在保存完所述其他客户终端104的地址信息之后，向所述控制数据传输服务器106和所述客户终端102发送准备响应；所述控制数据传输服务器106还用于在接收到来自所述流媒体传输服务器108的准备响应之后，向所述客户终端102发送准备响应。

在上述任一技术方案中，优选的，所述客户终端102还用于在接收到来自所述控制数据传输服务器106和所述流媒体传输服务器108的准备响应之后，将所述资料数据发送至所述控制数据传输服务器106。控制数据传输服务器106与流媒体传输服务器108与各终端之间能够相互通知，在客户终端102接收到准备响应后，说明系统的各组成部分已经准备就绪，可进行数据传输，即开始会诊。

在上述任一技术方案中，优选的，所述客户终端102还用于在所述客户终端1025的操作权限被取消时，接收来自所述其他客户终端104的操作指令数据，以根据所述操作指令数据模拟标准输入并显示。在目前的远程控制技术中，仅有交互双方的一方可以对其他方的终端的进行控制，而在本实施例中，在交互过程中，可随时改变操作权限，可灵活交互控制权限。

根据本发明的交互式远程会诊系统中的客户端可以是多方进行交互，如图1B所示，在本实施例中，参与远程会诊的终端包括三个，分别是客户终端A、客户终端B和客户终端C，首先当客户终端A按下操作按钮之后，客户终端A具有操作权限，即只有客户终端A才能对操作界面进行操作，其他客户终端只能观看客户终端A的操作过程。当然，当客户终端A取消操作按钮之后，可将操作权限交给其他客户终端。客户终端A将资料数据通过控制数据传输服务器106发送给客户终端B和C，并且将用户在客户终端A上的操作指令也通过控制数据传输服务器106发送至给客户终端B和C，客户终端B和C在接收到该操作指令之后，执行该操作指令。同时客户终端A还能够抓取音视频数据并通过流媒体传输服务器108将该音视频数据发送给客户终端B和C，这样客户终端B和C就能够一边查看资料数据、观看对方的操作，还能够进行会诊语音交流。

图2示出了根据本发明的另一实施例的交互式远程会诊系统。

如图2所示，图1A中的终端102或104（客户子系统）包括：

DICOM连接模块202：负责连接本地PACS系统，将从PACS系统中获取病人的记录，包括基本信息、图像等。

音视频显示及传输模块204：负责实时显示另一端的用户图像，同时将本地摄像头的音视频信息进行编码，然后发送给流媒体传输服务器。

控制指令执行及传输模块206：负责从控制数据传输服务器获取控制命令数据包，然后将指令进行解析，并转换成标准指令执行，例如供外设鼠标或者键盘执行。同时本地的操作也可以获取，并且打成数据包，发送给控制数据传输服务器。

流媒体传输服务器108包括：

客户管理模块208：负责保存客户端的状态以及与各个客户端之间的联系。

音视频数据转发模块210：负责获取一个终端的音视频信息，然后发给另一终端。

控制数据传输服务器212包括：

客户注册模块212：负责保存各终端的状态以及与各个终端之间的联系。

控制指令转发模块214：负责获取一个终端的控制命令数据包信息，然后发给另一终端。

上面各模块之间的数据交互关系请参见图3。

在客户端接收到用户的交互指令时，向控制数据传输服务器106中的客户注册模块212注册交互双方终端的信息，客户注册模块212又将该交互双方终端的信息发送至流媒体传输服务器108中的客户管理模块208进行保存。

通过客户端中的DICOM连接模块202从本地PACS系统获取资料数据，并由控制指令执行及传输模块206将该资料数据发送至控制数据传输服务器106。控制数据传输服务器106根据客户注册模块212中保存的另一终端的地址信息，将该资料数据发送至该另一终端。

音视频显示及传输模块204获得终端侧的音视频数据，将该音视频数据传输至流媒体传输服务器108，流媒体传输服务器108接收到该音视频数据之后，根据保存的另一终端的地址信息，将该音视频数据发送至另一终端。

本系统可以实现两个客户子系统（即两个终端）甚至多个客户子系统之间的互动，为描述方便易懂，本实施例中采用两个客户子系统A、B来举例说明。

系统创建过程如图4所示：

步骤402，客户子系统A中的DICOM连接模块首先从本地PACS系统中获取病人的基本信息和图像信息，并通知控制指令显示及传输模块，现在需要同步互动。

步骤404，控制指令显示及传输模块将客户子系统A的信息发送给控制数据传输服务器。客户子系统A的信息包括IP地址、客户子系统编号等信息。控制数据传输服务器中的客户注册模块，将这些信息保存。同时也保存另一端的客户子系统B的信息，将这两个子系统建立联系。然后通知流媒体传输服务器。

步骤406，流媒体传输服务器能够将客户子系统A和B进行保存和管理，然后发送回应给控制数据传输服务器，同时发送准备响应给客户子系统A。控制传输子系统收到响应后，发送响应回客户子系统A。

步骤408，客户子系统A收到响应后，由控制指令显示及传输模块将病人的信息发送给控制数据传输服务器。

步骤410，控制数据传输服务器中控制指令转发模块收到病人信息后，再根据注册的客户子系统，转发给另外的客户子系统B。

步骤412，另一端的客户子系统B中的控制指令显示及传输模块，自动显示病人的信息，包括需要显示的图像。

下面结合图5和图6进一步说明根据本发明的实施例。图5是根据本发明的实施例的操作指令数据传输方法的流程图。

如图5所示，步骤502，客户子系统A通过鼠标、键盘等标准输入设备获取用户的当前操作数据。

步骤504，将操作数据进行打包成命令，将命令发送到控制数据传输服务器中。

步骤506，控制数据传输服务器从客户注册模块中获取需要转发到另外一个客户子系统B的地址，然后根据地址转发到B中。

步骤508，客户端B收到数据后，解包，模拟标准输入设备控制系统。

步骤510，客户端B上会显示标准输入后的结果。

客户端A和客户端B可以互相传输实时操作，在以上的描述中客户端A和客户端B可以互换。客户端A和客户端B需要做到操作同步，所以在操作过程中，需要相互占用和取消操作权限，在需要操作时，才使用互动过程，在操作结束后，点击取消操作，交出操作权限。

图6是根据本发明的实施例的音视频数据传输方法的流程图。

如图6所示，步骤602，客户子系统A通过摄像头和麦克风获取音视频数据。

步骤604，将音视频数据进行编码，编码成H264数据，并将H264数据打包成RTP包，通过RTP协议传送到流媒体传输服务器。

步骤606，流媒体传输服务器从客户管理模块中获取需要转发到另外一个客户子系统B的地址，然后根据地址转发到客户端B中。

步骤608，客户端B接收到数据包后，解析RTP包，然后解码，最终将音视频数据显示到屏幕上。

客户端A和客户端B可以互相传输实时图像，在以上的描述中客户端A和客户端B可以互换。

因此，基于根据本发明的交互式远程会诊系统，可实现远程交互式会诊，并且实时性强。假设在这个远程系统中有两个用户，用户A和用户B。

首先用户A打开交互式远程会诊系统获取资料数据（例如病人信息），然后点击开始远程连接按钮，系统开始连接。同时用户B也打开远程连接命令。然后B能够看到A发送过来的病人信息，在显示界面上可以对病人信息进行操作。A和B都能够看到对方的视频，听到对方的声音。假设A用户可以操作界面，同时B用户可以看到操作的界面，但是A和B不能同时操作界面，在每一客户端上均显示有操作按钮，只有按下该操作按钮后方可操作界面，如果按下取消操作按钮，则取消实时传输，则无法操作界面，但可以看到对方的操作步骤。如果对方点击取消操作按钮，则可以使用自己的标准设备，进行操作。这样就能够实现控制权限的灵活交换。

图7是根据本发明的实施例的交互式远程会诊方法的流程图。

如图7所示，根据本发明的实施例的交互式远程会诊方法，可以包括以下步骤：

步骤702，在客户终端接收到用户的交互请求时，获取同步至其他客户终端的资料数据；步骤704，客户终端将资料数据通过控制数据传输服务器发送至其他客户终端，供其他客户终端显示；步骤706，获取用户当前在客户终端上的操作指令数据，并将操作指令数据通过控制数据传输服务器发送至其他客户终端，供其他客户终端执行。

在该实施例中，会诊交互多方的终端不需要远程登录，会诊交互多方的终端是平等的，具有相同的操作系统，仅需要将所需的会诊资料发送给交互对方，并将操作指令数据发送给交互对方，无需传递所有的数据，因此减少了数据传输量，从而减少了时延，提高会诊的交互性和实时性。

在上述技术方案中，优选的，还可以包括：获取所述客户终端的音视频数据，并将所述音视频数据通过流媒体传输服务器发送至所述其他客户终端，供所述其他客户终端同步播放。在该技术方案中，除了能够进行操作交互之外，还可以进行音视频数据的交互，实现操作和视频的同步，并且由于视频数据与操作数据分别由两个不同的服务器进行传输，因此音视频数据的传输与操作数据的传输不会相互影响，并且也减轻了服务器的负担。

在上述任一技术方案中，优选的，在所述客户终端获取所述资料数据后，将所述其他客户终端的地址信息发送至所述控制数据传输服务器进行保存，以使所述控制数据传输服务器根据所述其他客户终端的地址信息将所述资料数据发送至所述其他客户终端；所述控制数据传输服务器将所述其他客户终端的地址信息同步至所述流媒体传输服务器，以使所述流媒体传输服务器根据所述其他客户终端的地址信息将所述音视频数据发送至所述其他客户终端。在流媒体传输服务器108和控制数据传输服务器106中，还保存终端的信息，例如地址信息，服务器管理各终端的信息将与终端相关的数据发送给该终端，并且仅给已注册终端提供服务。

在上述技术方案中，优选的，在所述流媒体传输服务器保存完所述其他客户终端的地址信息之后，向所述控制数据传输服务器和所述客户终端发送准备响应；在所述控制数据传输服务器接收到来自所述流媒体传输服务器的准备响应之后，向所述客户终端发送准备响应；在所述客户终端接收到来自所述控制数据传输服务器和所述流媒体传输服务器的准备响应之后，将所述资料数据发送至所述控制数据传输服务器。控制数据传输服务器106与流媒体传输服务器108与各终端之间能够相互通知，在客户终端102接收到准备响应后，说明系统的各组成部分已经准备就绪，可进行数据传输，即开始会诊。

在上述任一技术方案中，优选的，还可以包括：在所述客户终端的操作权限被取消时，所述其他客户终端向所述客户终端发送操作指令数据，所述客户终端根据所述操作指令数据模拟标准输入并显示。在目前的远程控制技术中，仅有交互双方的一方可以对其他方的终端的进行控制，而在本实施例中，在交互过程中，可随时改变操作权限，可灵活交互控制权限。

以上结合附图详细说明了根据本发明的技术方案，根据本发明的技术方案仅需要传输操作指令数据和相关的资料信息，无需像相关技术例如QQ远程控制技术那样，需要将终端的大部分数据传输给对方，因此减少了数据传输量，减少了远程交互的时延，实现视频和操作同步，可增强远程会诊的交互性和实时性，从而使在会诊过程中专家和主治医生都能够准确了解对方的意思，提高了诊断的正确性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种交互式远程会诊系统，其特征在于，包括：

客户终端，连接至所述控制数据传输服务器，在接收到用户的交互请求时，获取同步至其他客户终端的资料数据，并将所述资料数据通过所述控制数据传输服务器发送至所述其他客户终端，以及在所述资料数据到达所述其他客户终端后，获取用户当前在所述客户终端上的操作指令数据，并将所述操作指令数据通过所述控制数据传输服务器发送至所述其他客户终端；

所述其他客户终端，连接至所述控制数据传输服务器，用于显示所述资料数据并根据所述操作指令数据执行相应操作；

所述控制数据传输服务器，用于接收来自所述客户终端的资料数据，以及将所述客户终端的资料数据发送至所述其他客户终端。

2.根据权利要求1所述的交互式远程会诊系统，其特征在于，所述客户终端还用于获取所述客户终端的音视频数据，并将所述音视频数据通过所述流媒体传输服务器发送至所述其他客户终端；

所述交互式远程会诊系统还包括：所述流媒体传输服务器，用于接收来自所述客户终端的音视频数据，以及将所述音视频数据发送至所述其他客户终端。

3.根据权利要求2所述的交互式远程会诊系统，其特征在于，所述客户终端还用于在获取所述资料数据后，将所述其他客户终端的地址信息发送至所述控制数据传输服务器进行保存；

所述控制数据传输服务器包括：第一信息管理单元，用于保存所述其他客户终端的地址信息，以根据所述其他客户终端的地址信息将所述资料数据发送至所述其他客户终端，并将所述其他客户终端的地址信息同步至所述流媒体传输服务器；

所述流媒体传输服务器包括第二信息管理单元，用于保存来自所述控制数据传输服务器的其他客户终端的地址信息，以根据所述其他客户终端的地址信息将所述音视频数据发送至所述其他客户终端。

4.根据权利要求3所述的交互式远程会诊系统，其特征在于，所述第二信息管理单元还用于在保存完所述其他客户终端的地址信息之后，向所述控制数据传输服务器和所述客户终端发送准备响应；

所述控制数据传输服务器还用于在接收到来自所述流媒体传输服务器的准备响应之后，向所述客户终端发送准备响应；

所述客户终端还用于在接收到来自所述控制数据传输服务器和所述流媒体传输服务器的准备响应之后，将所述资料数据发送至所述控制数据传输服务器。

5.根据权利要求1至4中任一项所述的交互式远程会诊系统，其特征在于，所述客户终端还用于在所述客户终端的操作权限被取消时，接收来自所述其他客户终端的操作指令数据，以根据所述操作指令数据模拟标准输入并显示。

6.一种交互式远程会诊方法，其特征在于，包括：

在客户终端接收到用户的交互请求时，获取同步至其他客户终端的资料数据；

所述客户终端将所述资料数据通过控制数据传输服务器发送至所述其他客户终端，供所述其他客户终端显示；

获取用户当前在所述客户终端上的操作指令数据，并将所述操作指令数据通过所述控制数据传输服务器发送至所述其他客户终端，供所述其他客户终端执行。

7.根据权利要求6所述的交互式远程会诊方法，其特征在于，还包括：

获取所述客户终端的音视频数据，并将所述音视频数据通过流媒体传输服务器发送至所述其他客户终端，供所述其他客户终端同步播放。

8.根据权利要求7所述的交互式远程会诊方法，其特征在于，在所述客户终端获取所述资料数据后，将所述其他客户终端的地址信息发送至所述控制数据传输服务器进行保存，以使所述控制数据传输服务器根据所述其他客户终端的地址信息将所述资料数据发送至所述其他客户终端；

所述控制数据传输服务器将所述其他客户终端的地址信息同步至所述流媒体传输服务器，以使所述流媒体传输服务器根据所述其他客户终端的地址信息将所述音视频数据发送至所述其他客户终端。

9.根据权利要求8所述的交互式远程会诊方法，其特征在于，在所述流媒体传输服务器保存完所述其他客户终端的地址信息之后，向所述控制数据传输服务器和所述客户终端发送准备响应；

在所述控制数据传输服务器接收到来自所述流媒体传输服务器的准备响应之后，向所述客户终端发送准备响应；

在所述客户终端接收到来自所述控制数据传输服务器和所述流媒体传输服务器的准备响应之后，将所述资料数据发送至所述控制数据传输服务器。

10.根据权利要求6至9中任一项所述的交互式远程会诊方法，其特征在于，还包括：

在所述客户终端的操作权限被取消时，所述其他客户终端向所述客户终端发送操作指令数据，所述客户终端根据所述操作指令数据模拟标准输入并显示。

Images