CN117041468A - 网络通信方法、装置、设备及存储介质 - Google Patents

网络通信方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117041468A
CN117041468A CN202310899281.8A CN202310899281A CN117041468A CN 117041468 A CN117041468 A CN 117041468A CN 202310899281 A CN202310899281 A CN 202310899281A CN 117041468 A CN117041468 A CN 117041468A
Authority
CN
China
Prior art keywords
client
information
audio
video
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310899281.8A
Other languages
English (en)
Inventor
唐欣欣
朱宏辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ansheng Xiangyuan Technology Development Co ltd
Original Assignee
Beijing Ansheng Xiangyuan Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ansheng Xiangyuan Technology Development Co ltd filed Critical Beijing Ansheng Xiangyuan Technology Development Co ltd
Priority to CN202310899281.8A priority Critical patent/CN117041468A/zh
Publication of CN117041468A publication Critical patent/CN117041468A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请提出一种网络通信方法、装置、设备及存储介质,所述网络通信方法包括:响应于接收的第一客户端的会议请求信息,生成会议房间信息;基于会议房间信息,生成邀请信息并将邀请信息发送至第二客户端;在接收到第二客户端的确认信息的情况下,基于会议房间信息生成通知信息;根据通知信息,对第一客户端和第二客户端之间进行音视频信息的交互,其中,第一客户端和第二客户端中的一个为外网客户端,另一个则为内网客户端。解决了医疗领域数据出外网的敏感性和远程医疗迫切性的需要,同时切实解决了临床的痛点和难点。此外,内网和外网的客户端都不再受限固定的场所,使用便捷性大幅提升,具备临床易用和普适性等特点。

Description

网络通信方法、装置、设备及存储介质
技术领域
本申请涉及医疗系统的信息技术领域,尤其涉及一种网络通信方法、装置、设备及存储介质。
背景技术
目前,出于安全的考虑,大部分医院的信息系统都将处于内网中运行,实现与外网物理隔绝。与此同时,在国家的医联体建设上,推动实现上下联动的分级诊疗格局,这就需要即保证信息的安全,又需实现患者信息和专家的资源跨院区“共享”。
发明内容
本申请实施例提供一种网络通信方法、装置、设备及存储介质,以解决相关技术存在的问题,技术方案如下:
第一方面,本申请实施例提供了一种网络通信方法,包括:
响应于接收的第一客户端的会议请求信息,生成会议房间信息;
基于会议房间信息,生成邀请信息并将邀请信息发送至第二客户端;
在接收到第二客户端的确认信息的情况下,基于会议房间信息生成通知信息;
根据通知信息,对第一客户端和第二客户端之间进行音视频信息的交互,其中,第一客户端和第二客户端中的一个为外网客户端,另一个则为内网客户端。
在一种实施方式中,方法还包括:
创建至少两组第一等待队列,并对第一等待队列进行监听,第一等待队列用于等待第一客户端的会议信息;
创建至少两组第二等待队列,并对第二等待队列进行监听,第二等待队列用于等待第二客户端的会议信息。
在一种实施方式中,在接收到第二客户端的确认信息的情况下,基于会议房间信息生成通知信息包括:
在接收到第二客户端的确认信息的情况下,基于会议房间信息,生成通知第二客户端接收音视频信息的第二通知信息。
在一种实施方式中,根据通知信息,对第一客户端和第二客户端之间进行音视频信息的交互还包括:
根据通知信息,生成视频信息通道和音频信息通道,视频信息通道用于对第一客户端和第二客户端之间进行视频信息的交互,音频信息通道用于对第一客户端和第二客户端之间进行音频信息的交互。
在一种实施方式中,根据通知信息,对第一客户端和第二客户端之间进行音视频信息的交互包括:
根据通知信息,生成第一音频列队和第一视频列队;
利用第一音频列队接收到第一客户端发送的第一音频信息;
将第一音频信息发送至第二客户端,以实现第一客户端和第二客户端之间进行音频信息的交互;
利用第一视频列队接收到第一客户端发送的第一视频信息;
将第一视频信息发送至第二客户端,以实现第一客户端和第二客户端之间进行视频信息的交互。
在一种实施方式中,方法还包括:
获取第一客户端的差异帧图像信息,差异帧图像信息包括差异帧图像片段和差异帧图像片段对应的位置数据,差异帧图像片段是第一客户端将共享的每一帧图像划分为若干个图像片段,在相邻帧图像之间至少一个图像片段存在差异的情况下确定的;
根据第一客户端的差异帧图像信息,生成更新图像信息并将更新图像信息发送至第二客户端,更新图像信息用于控制第二客户端在图片展示区域根据差异帧图像片段和差异帧图像片段对应的位置数据进行图像更新。
在一种实施方式中,方法还包括:
获取第二客户端的输入信息,输入信息包括输入轨迹信息和输入轨迹对应的位置信息,输入轨迹信息是第二客户端在图片展示区域内响应于接收到的输入设备输入事件的情况下生成的;
根据第二客户端的输入信息,生成更新输入信息并将更新输入信息发送至第一客户端,更新输入信息用于控制第一客户端还原输入轨迹和输入轨迹对应的位置。
第二方面,本申请实施例提供了一种网络通信装置,包括:
第一生成模块,用于响应于接收的第一客户端的会议请求信息,生成会议房间信息;
第二生成模块,用于基于会议房间信息,生成邀请信息并将邀请信息发送至第二客户端;
第三生成模块,用于在接收到第二客户端的确认信息的情况下,基于会议房间信息生成通知信息;
第一交互模块,用于根据通知信息,对第一客户端和第二客户端之间进行音视频信息的交互,其中,第一客户端和第二客户端中的一个为外网客户端,另一个则为内网客户端。
第三方面,本申请实施例提供了一种电子设备,该设备包括:存储器和处理器。其中,该存储器和该处理器通过内部连接通路互相通信,该存储器用于存储指令,该处理器用于执行该存储器存储的指令,并且当该处理器执行该存储器存储的指令时,使得该处理器执行上述各方面任一种实施方式中的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储计算机程序,当计算机程序在计算机上运行时,上述各方面任一种实施方式中的方法被执行。
上述技术方案中的优点或有益效果至少包括:
本公开实施例的技术方案,通过响应于接收到的第一客户端的会议请求信息,从而建立了会议房间,即生成会议房间信息,通过会议房间信息向第二客户端发送邀请信息,在接收到第二客户端的确认信息的情况下,可以基于会议房间信息生成通知信息,通过通知信息对第一客户端和第二客户端进行信息交互,其中,第一客户端和第二客户端中的一个为外网客户端,另一个则为内网客户端,从而使得内网和外网之间能够实现信息的交互。解决了医疗领域数据出外网的敏感性和远程医疗迫切性的需要,同时切实解决了临床的痛点和难点。此外,内网和外网的客户端都不再受限固定的场所,使用便捷性大幅提升,具备临床易用和普适性等特点。而且,本实施例的技术方案,能够实现在患者医疗数据不出医院和信息系统数据不集成的情况下,数据的共享以及移动办公,一方面保证了数据的安全,避免了数据集成的实施成本,另外一方面又实现了内网的任何一台客户端与外网的工作站或移动终端的通讯,提高了工作的便捷性和效率。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本申请进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本申请公开的一些实施方式,而不应将其视为是对本申请范围的限制。
图1为本申请一实施例的网络通信方法的流程图;
图2为本申请一实施例的网络通信方法的结构框图;
图3为本申请另一实施例的网络通信方法的流程图;
图4示出根据本发明一实施例的网络通信装置的结构框图;
图5示出根据本发明一实施例的电子设备的结构框图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本申请的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
在相关技术中,目前主流的远程医疗系统,底层采用的是纯外网模式下音视频会议系统,并在此基础上开发相应的业务功能。该方案技术成熟,适合患者和医生在不依赖医院信息系统的情况下进行相关的诊疗;如需要用到医院的信息系统,则通过VPN方式登录至医院内网的特定工作站,然后再进行相关的操作。因医院内和外网隔离,因此一般需设立专属的远程会诊室,另外VPN属于点对点访问,极大地限制了使用的人群和场所。医疗数据因敏感性和安全性通常在院内网运行,与外网物理隔离,而且不同的医疗机构信息系统品牌不一样,无法直接进行数据共享。
远程医疗本质上就是将医疗资源整合在一起,解决基层医疗服务能力,利用信息化手段促进资源纵向流程,提高优质医疗资源可及性和医疗服务整体效率。
图1示出根据本申请一实施例的网络通信方法的流程图。如图1和图2所示,一种网络通信方法,该网络通信方法可以包括:
S110:响应于接收的第一客户端的会议请求信息,生成会议房间信息;
S120:基于会议房间信息,生成邀请信息并将邀请信息发送至第二客户端;
S130:在接收到第二客户端的确认信息的情况下,基于会议房间信息生成通知信息;
S140:根据通知信息,对第一客户端和第二客户端之间进行音视频信息的交互,其中,第一客户端和第二客户端中的一个为外网客户端,另一个则为内网客户端。
在本实施例中,第一客户端可以是云客户端,即外网客户端,云客户端可以登录到云服务器上,实现与云服务器通信,第二客户端可以是内网客户端,内网客户端通过内网前置机登录到云服务器上,且通过内网前置机与云服务器连接。云客户端和内网客户端都可以是移动终端,移动终端例如手机、平板或者是笔记本电脑等。内网前置机可以是内网的PC主机或者是其他的服务器等,外网客户端可以是外网工作站等。其中,第一客户端和第二客户端可以是相反的,即第一客户端是内网客户端,第二客户端是外网客户端。本实施例的方法可以是在云服务器上执行的,也可以是PC主机上执行。
在本实施例中,通过响应于接收到的第一客户端的会议请求信息,建立了会议房间,即生成会议房间信息,通过会议房间信息向第二客户端发送邀请信息,在接收到第二客户端的确认信息的情况下,可以基于会议房间信息生成通知信息,通过通知信息对第一客户端和第二客户端进行信息交互,其中,第一客户端和第二客户端中的一个为外网客户端,另一个则为内网客户端,从而使得内网和外网之间能够实现信息的交互。解决了医疗领域数据出外网的敏感性和远程医疗迫切性的需要,同时切实解决了临床的痛点和难点。此外,内网和外网的客户端都不再受限固定的场所,使用便捷性大幅提升,具备临床易用和普适性等特点。而且,本实施例的技术方案,能够实现在患者医疗数据不出医院和信息系统数据不集成的情况下,实现数据的共享以及移动办公,一方面保证了数据的安全,避免了数据集成的实施成本,另外一方面又实现了内网的任何一台客户端与外网的工作站或移动终端的通讯,提高了工作的便捷性和效率。
在步骤S110中,响应于接收的第一客户端的会议请求信息,生成会议房间信息。
在本实施例中,云端服务器响应于接收到的第一客户的会议请求信息,会根据会议请求信息生成会议房间信息,会议房间信息包括房间号以及房间信息等。
在本实施例之前,在云服务器上部署消息队列服务软件RabbitMQ,并分配公网静态IP,允许内网前置机通过指定IP和端口访问。此外,还部署云服务器上的接口服务、应用服务和数据库,以及内网前置机上的接口服务。
其中,接口服务在启动时,第一客户端通过内网前置机上登录rabbit账号和密码,从而第一客户端与云服务器端的RabbitMQ建立长连接,该长连接用于供第一客户端接收来自MQ的消息,以及发送消息至MQ。
为了提升消息交互的效率,接口服务启动时创建并监听多组等待队列,例如10组等待队列,格式为:QUE_接口编码_ElektaCloudAPI_waiting_N,云端接口编码为C001,N=0~9;内网前置机接口编码为H001,N=0~9。
内网接口服务向云端MQ队列发送请求时,创建并监听一组名为ElektaCloudClientAPI_response_UUIDV4的队列,用于获取响应数据。其中,UUIDV4为随机唯一数,代表一个唯一的消息,同时请求队列中包含参数以及响应的队列(参数是定义要做什么事情,响应队列是将结果返回给谁)。
云服务通过监听队列获取请求,内部逻辑处理完成后,向响应队列返回结果。
第二客户端通过配置文件和WebSocket实现与云服务器建立通讯,同理第一客户端通过配置文件和WebSocket实现与医院内网前置机建立通讯,从而使得第一客户端与第二客户端实现与云服务器连接。
第一客户端通过内网前置机向云服务的MQ随机等待队列(如QUE_C001_ElektaCloudAPI_waiting_0)发送pleaseMeeting接口请求;
云端服务器的pleaseMeeting接口获取请求,创建音视频会议房间,房间规则:ROOM_UUIDV4(UUIDV4为随机唯一数,其中,UUIDV4就是房间号的标识,是系统随机生成的,这样就确保每个房间都是唯一存在,不会和其他的房间号冲突),创建房间是为了满足多组视频会议场景,对于创建和生成房间的信息,为会议房间信息。
在步骤S120中,基于会议房间信息,生成邀请信息并将邀请信息发送至第二客户端;
在本实施例中,会议房间信息包括会议房间的房间规则及房间号等信息,云端服务器根据会议房间信息,第一客户端通过MQ音视频的消息队列QUE_C001_PushPleaseMeeting将消息发送给云端服务器,云端服务通过监听该队列从而能够确定接收到的会议邀请信息,云端服务器生成邀请信息,邀请信息是会议邀请信息,云端服务器通过websocket向第二客户端发送会议邀请。
在步骤S130中,在接收到第二客户端的确认信息的情况下,基于会议房间信息生成通知信息。
在云端服务器向第二客户端发送会议邀请后,第二客户端可以接收到邀请信息。第二客户端的界面上会示出邀请信息,例如通过弹框显示会议邀请对话框的方式示出,在第二客户端通过界面点击“确认”或者是语音输入确认等方式确认信息之后,第二客户端生成确认消息,并将确认消息通过websocket返回给云端服务器。
云端服务器在接收到第二客户端发送的确认信息的情况下,则云端服务器可以根据确认信息和会议房间信息生成通知信息,在云端服务器生成通知信息可以包括通知第二客户端监听音视频队列的信息和通知第一客户端发送音视频的信息。该通知信息通过QUE_C001_ElektaCloudAPI_waiting_0被askmeeting接口监听。
在步骤S140中,根据通知信息,对第一客户端和第二客户端之间进行音视频信息的交互,其中,第一客户端和第二客户端中的一个为外网客户端,另一个则为内网客户端。
云端服务器根据通知信息,接收第一客户端发送的音视频信息,并将该音视频信息发送至第二客户端,同时也可以接收第二客户端的音视频信息,将第二客户端的音视频信息发送至第一客户端,从而实现第一客户端和第二客户端之间进行音视频信息的交互。
在本实施例中,在云端服务器通过在MQ上创建音频
(MT_AUDIO_PUSH_ROOMID_MACID)和视频(MT_VEDIO_PUSH_ROOMID_MACID)两个消息通道,用于转发第一客户端发送的音视频,其中,ROOMID为房间号,MACID为观看者的MACID。
通过消息通道QUE_HOO1_AUDIO_PUSH_ROOMID_MACID告知云端服务器,根据ROOMID生成并订阅音频队列(队列名:
MT_AUDIO_PUSH_ROOMID_MACID),接收第一客户端的音频数据,并向第二客户端发送音频。
通过消息通道QUE_H001_PUSH_START_MEETING告知云服务,生成并订阅视频队列(队列名MT_VEIDO_PUSH_ROOMID_MACID),接收第一客户端的视频数据,并向第二客户端发送视频。
第一客户端通过内网前置机调用ClientServerMuiltSeeVedio接口,根据ROOMID生成并订阅MQ视频队列(队列名:
MT_VEDIO_PUSH_ROOMID_MACID),向第二客户端发送视频。
第一客户端通过内网前置机调用startMeetingAudio接口,根据ROOMID生成并订阅MQ音频队列(队列名:MT_AUIDO_PUSH_ROOMID_MACID),并向第二客户端发送音频。此时,第二客户端可以观看第一客户端的音视频。同理,根据上述内容可以知道,将第一客户端和第二客户端对调,既可以实现第一客户端可以观看到第二客户端的音视频。从而能够实现第一客户端和第二客户端之间的交互。
通过本实施例的方法,在患者医疗数据不出医院、信息系统数据不集成的情况下,实现数据的共享以及移动办公,一方面保证了数据的安全,避免了数据集成的实施成本,另外一方面又实现了内网的任何一台客户端与外网的工作站或移动终端的通讯,提高了工作的便捷性和效率。
纯外网或纯内网环境下的音视频传输及远程协作比较成熟,但内外网模式下的通信,能够更加有效地实现保密性的同时,提升协同通信的作用。内网前置机不需要外网静态IP,节省IP资源并减少被攻击的风险;而且不局限固定的客户端场所,使用便捷性大大提高。
如图3所示,在一种实施方式中,方法还包括:
S310:创建至少两组第一等待队列,并对第一等待队列进行监听,第一等待队列用于等待第一客户端的会议信息;
S320:创建至少两组第二等待队列,并对第二等待队列进行监听,第二等待队列用于等待第二客户端的会议信息。
在本实施例中,在响应于接收的第一客户端的会议请求信息之前,可以通过在云端服务器上建立等待队列,例如:通过云端服务器的接口服务启动时创建并监听10组第二等待队列,第二等待队列用于等待第二客户端的会议信息,格式为:QUE_接口编码_ElektaCloudAPI_waiting_N,第二客户端端的接口编码为C001,N=0~9;通过云端服务器的接口服务启动时创建并监听10组第一等待队列,第一等待队列用于等待第一客户端的会议信息,第一客户端对应的内网前置机接口编码为H001,N=0~9。
在第一客户端通过内网前置机的接口服务向云端服务器的MQ队列发送请求时,创建并监听一组名为ElektaCloudClientAPI_response_UUIDV4的队列,用于获取响应数据。其中,UUIDV4为随机唯一数,代表一个唯一的消息,同时请求队列中包含参数以及响应的队列(参数是定义要做什么事情,响应队列是将结果返回给谁)。
通过本实施例的方法,能够提升第一客户端和第二客户端之间进行信息交互的效率。
在一种实施方式中,在接收到第二客户端的确认信息的情况下,基于会议房间信息生成通知信息包括:
在接收到第二客户端的确认信息的情况下,基于会议房间信息,生成通知第二客户端接收音视频信息的第二通知信息。
在本实施例中,在云端服务器向第二客户端发送会议邀请后,第二客户端可以接收到邀请信息。第二客户端的界面上会示出邀请信息,例如通过弹框显示会议邀请对话框的方式示出,在第二客户端通过界面点击“确认”或者是语音输入确认等方式确认信息之后,第二客户端生成确认消息,并将确认消息通过websocket返回给云端服务器。
云端服务器在接收到第二客户端发送的确认信息的情况下,则云端服务器可以根据确认信息和会议房间信息生成通知信息,在云端服务器生成通知信息可以包括通知第二客户端监听音视频队列的第二通知信息,通过第二通知信息能够通知第二客户端通过监听音视频队列的方式接收音视频信息。即通过该方式能够实现第二客户端接收来自第一客户端的音视频信息。
在一种实施方式中,根据通知信息,对第一客户端和第二客户端之间进行音视频信息的交互还包括:
根据通知信息,生成视频信息通道和音频信息通道,视频信息通道用于对第一客户端和第二客户端之间进行视频信息的交互,音频信息通道用于对第一客户端和第二客户端之间进行音频信息的交互。
在本实施例中,在云端服务器通过在接收到第二客户端的确认信息的时候,云端服务器在MQ上创建音频(MT_AUDIO_PUSH_ROOMID_MACID)和视频(MT_VEDIO_PUSH_ROOMID_MACID)两个消息通道,用于转发第一客户端发送的音视频,其中,ROOMID为房间号,MACID为观看者的MACID。
通过音频消息通道QUE_HOO1_AUDIO_PUSH_ROOMID_MACID告知云端服务器,根据ROOMID生成并订阅音频队列(队列名:
MT_AUDIO_PUSH_ROOMID_MACID),接收第一客户端的音频数据,并向第二客户端发送音频。
通过视频消息通道QUE_H001_PUSH_START_MEETING告知云服务,生成并订阅视频队列(队列名MT_VEIDO_PUSH_ROOMID_MACID),接收第一客户端的视频数据,并向第二客户端发送视频。
通过本实施例的方法中的音频消息通道和视频消息通道,能够有效地实现第一客户端和第二客户端之间的信息交互。
在一种实施方式中,根据通知信息,对第一客户端和第二客户端之间进行音视频信息的交互包括:
根据通知信息,生成第一音频列队和第一视频列队;
利用第一音频列队接收到第一客户端发送的第一音频信息;
将第一音频信息发送至第二客户端,以实现第一客户端和第二客户端之间进行音频信息的交互;
利用第一视频列队接收到第一客户端发送的第一视频信息;
将第一视频信息发送至第二客户端,以实现第一客户端和第二客户端之间进行视频信息的交互。
在本实施例中,第一客户端通过内网前置机调用ClientServerMuiltSeeVedio接口,云端服务器根据ROOMID生成并订阅第一视频队列(队列名:MT_VEDIO_PUSH_ROOMID_MACID),云端服务器通过第一视频队列接收第一客户端发送的第一视频信息,再将接收到的第一视频信息通过视频通道发送至第二客户端,从而实现第一视频信息从第一客户端发送到第二客户端,实现了第一客户端和第二客户端之间的视频信息交互。
第一客户端通过内网前置机调用startMeetingAudio接口,云端服务器根据ROOMID生成并订阅第一音频队列(队列名:
MT_AUIDO_PUSH_ROOMID_MACID),云端服务器根据第一音频队伍向第二客户端发送第一音频信息。从而使得第二客户端可以观看第一客户端发送的音视频,进而实现了。同理,根据上述内容可以知道,将第一客户端和第二客户端对调,既可以实现第一客户端可以观看到第二客户端的音视频。从而能够实现第一客户端和第二客户端之间的交互。
在一种实施方式中,方法还包括:
获取第一客户端的差异帧图像信息,差异帧图像信息包括差异帧图像片段和差异帧图像片段对应的位置数据,差异帧图像片段是第一客户端将共享的每一帧图像划分为若干个图像片段,在相邻帧图像之间至少一个图像片段存在差异的情况下确定的;
根据第一客户端的差异帧图像信息,生成更新图像信息并将更新图像信息发送至第二客户端,更新图像信息用于控制第二客户端在图片展示区域根据差异帧图像片段和差异帧图像片段对应的位置数据进行图像更新。
在本实施例中,为了减少视频的延迟和带宽流量,通过图像分割和差异比较技术,只将有变化图像实时传输至参与方。
具体可以为:第一客户端以每30毫秒通过截屏技术捕获第一客户端的PC电脑的桌面截屏,通常也可以是对视频所在的或者是指定的区域进行截屏。通常会议可以是采用的共享屏幕,因为屏幕上的内容会一直变(比如播放一个视频),那么系统就需要将变化的情况实时在对方的界面反映出来。采用的技术就是每30毫秒截屏一次,这时候获得是一张静态的图,把这个静态的图和上一张静态的图进行对比,把有变化的地方提取出来,然后在对方的屏幕上更新。这样从视觉上就看到了变的动画效果了。
将采集到的图像分割为20*20份(也可以是其他的划分方式,例如9宫格的形式,或者说是其他的图像分割模块)。即差异帧图像片段是第一客户端将共享的每一帧图像划分为若干个图像片段。然后将上次截图的图像与当前图截图的图像进行对比,其中,比对过程是上次截图的图像与当前截图的图像根据划分的图像片段进行比较,再通过RGBA值去匹配每个片段的差异,如果有差异,将当前片段的图片buff(缓冲区是一块内存区域,用于临时存储数据,以便在程序之间传递或处理,在图形处理中,缓冲区用于存储图像数据,以进行像素级别的操作和处理)和当前图片片段的坐标上传,即差异帧图像片段和差异帧图像片段对应的位置数据。
第一客户端通过WebSocket将差异帧图像片段和差异帧图像片段对应的位置数据上传至内网前置机,再转发至rabbitMQ的等待队列中上传至云端服务器。其中,在RabbitMQ中传输图片,将图片数据转换为字节流,并将其作为消息发送。接收方可以接收到这个字节流,并将其转换回图片格式,即通过云端服务器的rabbitMQ生成更新图像信息,并将更新图像信息发送至第二客户端。
第二客户端在进行共享时,先创造一个图片画布,图片画布用于展示接收得到的图片信息,针对每次变更的图片片段,先将图片片段的buff写入到参与方的图片展示区域的指定坐标,局部更新图片的变化,即更新图像信息用于控制第二客户端在图片展示区域根据差异帧图像片段和差异帧图像片段对应的位置数据进行图像更新。
通过本实施例的方法,能够实现第一客户端和第二客户端之间的桌面或者是指定区域的画面共享,院内网的患者数据通过音视频方式共享至外网终端,实现了桌面共享和控制的功能,患者数据仍在医院内网,从而确保了医院数据的安全性和隐私性。且不再依赖特定的工作场所,实现移动办公的需求,提高了工作的便捷性和效率。
在一种实施方式中,方法还包括:
获取第二客户端的输入信息,输入信息包括输入轨迹信息和输入轨迹对应的位置信息,输入轨迹信息是第二客户端在图片展示区域内响应于接收到的输入设备输入事件的情况下生成的;
根据第二客户端的输入信息,生成更新输入信息并将更新输入信息发送至第一客户端,更新输入信息用于控制第一客户端还原输入轨迹和输入轨迹对应的位置。
在本实施例中,第二客户端的输入信息包括输入轨迹信息和输入轨迹对应的位置信息,例如鼠标的滑动痕迹,或者是触控板的滑动痕迹生成的输入轨迹信息和输入轨迹对应的位置信息。其中,输入轨迹对应的位置信息可以是坐标信息。例如:获取第二客户端在图片展示区域监控鼠标的坐标变化和鼠标的事件。
第二客户端通过云端服务器的WebSocket将鼠标的事件和坐标上传至rabbitMQ队列中。通过云端服务器将鼠标的坐标进行换算,换算成第一客户端的坐标和对应的事件,即更新输入信息。云端服务器的rabbitMQ将更新输入信息发送至内网前置机上,再通过内网前置机发送第一客户端上。
第一客户端接收更新信息,即换算后的收到第一客户端的坐标和对应的事件之后,通过C#user32还原鼠标的坐标和事件。
通过本实施例的方法,能够有效地实现了第一客户端和第二客户端之间的远程控制,从而提升了第一客户端和第二客户端之间的交互能力。
图4示出根据本发明一实施例的网络通信装置的结构框图。如图4所示,第二方面,本申请实施例提供了一种网络通信装置,该装置可以包括:
第一生成模块410,用于响应于接收的第一客户端的会议请求信息,生成会议房间信息;
第二生成模块420,用于基于会议房间信息,生成邀请信息并将邀请信息发送至第二客户端;
第三生成模块430,用于在接收到第二客户端的确认信息的情况下,基于会议房间信息生成通知信息;
第一交互模块440,用于根据通知信息,对第一客户端和第二客户端之间进行音视频信息的交互。
本公开实施例的技术方案,通过响应于接收到的第一客户端的会议请求信息,从而建立了会议房间,即生成会议房间信息,通过会议房间信息向第二客户端发送邀请信息,在接收到第二客户端的确认信息的情况下,可以基于会议房间信息生成通知信息,通过通知信息对第一客户端和第二客户端进行信息交互,其中,第一客户端和第二客户端中的一个为外网客户端,另一个则为内网客户端,从而使得内网和外网之间能够实现信息的交互。解决了医疗领域数据出外网的敏感性和远程医疗迫切性的需要,同时切实解决了临床的痛点和难点。此外,内网和外网的客户端都不再受限固定的场所,使用便捷性大幅提升,具备临床易用和普适性等特点。而且,本实施例的技术方案,能够实现在患者医疗数据不出医院和信息系统数据不集成的情况下,数据的共享以及移动办公,一方面保证了数据的安全,避免了数据集成的实施成本,另外一方面又实现了内网的任何一台客户端与外网的工作站或移动终端的通讯,提高了工作的便捷性和效率。
在一种实施方式中,装置还包括:
第一创建模块,用于创建至少两组第一等待队列,并对第一等待队列进行监听,第一等待队列用于等待第一客户端的会议信息;
第二创建模块,用于创建至少两组第二等待队列,并对第二等待队列进行监听,第二等待队列用于等待第二客户端的会议信息。
在一种实施方式中,第三生成模块还用于:
在接收到第二客户端的确认信息的情况下,基于会议房间信息,生成通知第二客户端接收音视频信息的第二通知信息。
在一种实施方式中,第一交互模块还用于:
根据通知信息,生成视频信息通道和音频信息通道,视频信息通道用于对第一客户端和第二客户端之间进行视频信息的交互,音频信息通道用于对第一客户端和第二客户端之间进行音频信息的交互。
在一种实施方式中,第一交互模块包括:
第一生成单元,用于根据通知信息,生成第一音频列队和第一视频列队;
第一利用单元,用于利用第一音频列队接收到第一客户端发送的第一音频信息;
第一发送单元,用于将第一音频信息发送至第二客户端,以实现第一客户端和第二客户端之间进行音频信息的交互;
第二利用单元,用于利用第一视频列队接收到第一客户端发送的第一视频信息;
第二发送单元,用于将第一视频信息发送至第二客户端,以实现第一客户端和第二客户端之间进行视频信息的交互。
在一种实施方式中,装置还包括:
第一获取模块,用于获取第一客户端的差异帧图像信息,差异帧图像信息包括差异帧图像片段和差异帧图像片段对应的位置数据,差异帧图像片段是第一客户端将共享的每一帧图像划分为若干个图像片段,在相邻帧图像之间至少一个图像片段存在差异的情况下确定的;
第四生成模块,用于根据第一客户端的差异帧图像信息,生成更新图像信息并将更新图像信息发送至第二客户端,更新图像信息用于控制第二客户端在图片展示区域根据差异帧图像片段和差异帧图像片段对应的位置数据进行图像更新。
在一种实施方式中,装置还包括:
第二获取模块,用于获取第二客户端的输入信息,输入信息包括输入轨迹信息和输入轨迹对应的位置信息,输入轨迹信息是第二客户端在图片展示区域内响应于接收到的输入设备输入事件的情况下生成的;
第五生成模块,用于根据第二客户端的输入信息,生成更新输入信息并将更新输入信息发送至第一客户端,更新输入信息用于控制第一客户端还原输入轨迹和输入轨迹对应的位置。
本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述,在此不再赘述。
图5示出根据本发明一实施例的电子设备的结构框图。如图5所示,该电子设备包括:存储器910和处理器920,存储器910内存储有可在处理器920上运行的计算机程序。处理器920执行该计算机程序时实现上述实施例中的网络通信方法。存储器910和处理器920的数量可以为一个或多个。
该电子设备/终端/服务器还包括:
通信接口930,用于与外界设备进行通信,进行数据交互传输。
如果存储器910、处理器920和通信接口930独立实现,则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture,EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器910、处理器920及通信接口930集成在一块芯片上,则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现本申请实施例中提供的方法。
本申请实施例还提供了一种芯片,该芯片包括,包括处理器,用于从存储器中调用并运行存储器中存储的指令,使得安装有芯片的通信设备执行本申请实施例提供的方法。
本申请实施例还提供了一种芯片,包括:输入接口、输出接口、处理器和存储器,输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连,处理器用于执行存储器中的代码,当代码被执行时,处理器用于执行申请实施例提供的方法。
应理解的是,上述处理器可以是中央处理器(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(digital signal processing,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(fieldprogrammablegate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是,处理器可以是支持进阶精简指令集机器(advanced RISC machines,ARM)架构的处理器。
进一步地,可选的,上述存储器可以包括只读存储器和随机存取存储器,还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以包括只读存储器(read-onlymemory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以包括随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用。例如,静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic random access memory,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。
应理解的是,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种网络通信方法,其特征在于,包括:
响应于接收的第一客户端的会议请求信息,生成会议房间信息;
基于所述会议房间信息,生成邀请信息并将所述邀请信息发送至第二客户端;
在接收到第二客户端的确认信息的情况下,基于所述会议房间信息生成通知信息;
根据所述通知信息,对所述第一客户端和所述第二客户端之间进行音视频信息的交互,其中,所述第一客户端和所述第二客户端中的一个为外网客户端,另一个则为内网客户端。
2.根据权利要求1所述网络通信方法,其特征在于,所述方法还包括:
创建至少两组第一等待队列,并对所述第一等待队列进行监听,所述第一等待队列用于等待第一客户端的会议信息;
创建至少两组第二等待队列,并对所述第二等待队列进行监听,所述第二等待队列用于等待第二客户端的会议信息。
3.根据权利要求1所述网络通信方法,其特征在于,所述在接收到第二客户端的确认信息的情况下,基于所述会议房间信息生成通知信息包括:
所述在接收到第二客户端的确认信息的情况下,基于所述会议房间信息,生成通知第二客户端接收音视频信息的第二通知信息。
4.根据权利要求1所述网络通信方法,其特征在于,所述根据所述通知信息,对所述第一客户端和所述第二客户端之间进行音视频信息的交互还包括:
根据所述通知信息,生成视频信息通道和音频信息通道,所述视频信息通道用于对所述第一客户端和所述第二客户端之间进行视频信息的交互,所述音频信息通道用于对所述第一客户端和所述第二客户端之间进行音频信息的交互。
5.根据权利要求1所述网络通信方法,其特征在于,所述根据所述通知信息,对所述第一客户端和所述第二客户端之间进行音视频信息的交互包括:
根据所述通知信息,生成第一音频列队和第一视频列队;
利用所述第一音频列队接收到所述第一客户端发送的第一音频信息;
将所述第一音频信息发送至所述第二客户端,以实现所述第一客户端和所述第二客户端之间进行音频信息的交互;
利用所述第一视频列队接收到所述第一客户端发送的第一视频信息;
将所述第一视频信息发送至所述第二客户端,以实现所述第一客户端和所述第二客户端之间进行视频信息的交互。
6.根据权利要求1所述网络通信方法,其特征在于,所述方法还包括:
获取所述第一客户端的差异帧图像信息,所述差异帧图像信息包括差异帧图像片段和所述差异帧图像片段对应的位置数据,所述差异帧图像片段是第一客户端将共享的每一帧图像划分为若干个图像片段,在相邻帧图像之间至少一个图像片段存在差异的情况下确定的;
根据所述第一客户端的差异帧图像信息,生成更新图像信息并将所述更新图像信息发送至所述第二客户端,所述更新图像信息用于控制所述第二客户端在图片展示区域根据差异帧图像片段和所述差异帧图像片段对应的位置数据进行图像更新。
7.根据权利要求1所述网络通信方法,其特征在于,所述方法还包括:
获取所述第二客户端的输入信息,所述输入信息包括输入轨迹信息和输入轨迹对应的位置信息,所述输入轨迹信息是所述第二客户端在图片展示区域内响应于接收到的输入设备输入事件的情况下生成的;
根据所述第二客户端的输入信息,生成更新输入信息并将更新输入信息发送至第一客户端,所述更新输入信息用于控制所述第一客户端还原输入轨迹和输入轨迹对应的位置。
8.一种网络通信装置,其特征在于,包括:
第一生成模块,用于响应于接收的第一客户端的会议请求信息,生成会议房间信息;
第二生成模块,用于基于所述会议房间信息,生成邀请信息并将所述邀请信息发送至第二客户端;
第三生成模块,用于在接收到第二客户端的确认信息的情况下,基于所述会议房间信息生成通知信息;
第一交互模块,用于根据所述通知信息,对所述第一客户端和所述第二客户端之间进行音视频信息的交互。
9.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器中存储指令,所述指令由处理器加载并执行,以实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202310899281.8A 2023-07-20 2023-07-20 网络通信方法、装置、设备及存储介质 Pending CN117041468A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310899281.8A CN117041468A (zh) 2023-07-20 2023-07-20 网络通信方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310899281.8A CN117041468A (zh) 2023-07-20 2023-07-20 网络通信方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117041468A true CN117041468A (zh) 2023-11-10

Family

ID=88640422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310899281.8A Pending CN117041468A (zh) 2023-07-20 2023-07-20 网络通信方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117041468A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754284A (zh) * 2013-12-26 2015-07-01 中国移动通信集团公司 一种视频会议直播方法、设备及系统
CN106331575A (zh) * 2015-06-23 2017-01-11 中兴通讯股份有限公司 一种混合视频会议中双流的实现方法、装置和系统
CN110225146A (zh) * 2019-05-20 2019-09-10 浙江华创视讯科技有限公司 内外网映射方法、装置、电子设备、介质及视频会议系统
CN110891156A (zh) * 2019-10-23 2020-03-17 视联动力信息技术股份有限公司 一种监控摄像头的入会方法及装置
CN112714273A (zh) * 2020-12-25 2021-04-27 北京字节跳动网络技术有限公司 屏幕共享显示方法、装置、设备及存储介质
CN112714350A (zh) * 2020-12-21 2021-04-27 北京飞讯数码科技有限公司 消息处理方法、装置、设备及存储介质
CN114079742A (zh) * 2020-08-11 2022-02-22 邓学胜 一种在线会议实现方法
CN114598749A (zh) * 2020-12-17 2022-06-07 国网信息通信产业集团有限公司 一种服务访问方法及装置
CN115460419A (zh) * 2022-09-01 2022-12-09 联想(北京)有限公司 图像处理方法、装置、电子设备及存储介质
CN116132133A (zh) * 2022-12-30 2023-05-16 上海纽盾科技股份有限公司 保障元宇宙会议安全的方法、装置及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754284A (zh) * 2013-12-26 2015-07-01 中国移动通信集团公司 一种视频会议直播方法、设备及系统
CN106331575A (zh) * 2015-06-23 2017-01-11 中兴通讯股份有限公司 一种混合视频会议中双流的实现方法、装置和系统
CN110225146A (zh) * 2019-05-20 2019-09-10 浙江华创视讯科技有限公司 内外网映射方法、装置、电子设备、介质及视频会议系统
CN110891156A (zh) * 2019-10-23 2020-03-17 视联动力信息技术股份有限公司 一种监控摄像头的入会方法及装置
CN114079742A (zh) * 2020-08-11 2022-02-22 邓学胜 一种在线会议实现方法
CN114598749A (zh) * 2020-12-17 2022-06-07 国网信息通信产业集团有限公司 一种服务访问方法及装置
CN112714350A (zh) * 2020-12-21 2021-04-27 北京飞讯数码科技有限公司 消息处理方法、装置、设备及存储介质
CN112714273A (zh) * 2020-12-25 2021-04-27 北京字节跳动网络技术有限公司 屏幕共享显示方法、装置、设备及存储介质
CN115460419A (zh) * 2022-09-01 2022-12-09 联想(北京)有限公司 图像处理方法、装置、电子设备及存储介质
CN116132133A (zh) * 2022-12-30 2023-05-16 上海纽盾科技股份有限公司 保障元宇宙会议安全的方法、装置及系统

Similar Documents

Publication Publication Date Title
US10873769B2 (en) Live broadcasting method, method for presenting live broadcasting data stream, and terminal
US11785056B2 (en) Web browser interface for spatial communication environments
US9503685B2 (en) Background replacement for videoconferencing
US9049341B2 (en) Method and apparatus for video resource management in video conference
US9009603B2 (en) Web browser interface for spatial communication environments
US20150012831A1 (en) Systems and methods for sharing graphical user interfaces between multiple computers
CN106161219A (zh) 消息处理方法及装置
US9801146B2 (en) Terminal and synchronization control method among terminals
CN113032080B (zh) 页面实现方法、应用程序、电子设备及存储介质
US9060033B2 (en) Generation and caching of content in anticipation of presenting content in web conferences
CN111338590A (zh) 一种屏幕共享的发起、响应方法及互动系统
CN111818383B (zh) 视频数据的生成方法、系统、装置、电子设备及存储介质
JP2022125064A (ja) 情報処理システム、その制御方法及びプログラム。
CN114422460A (zh) 一种在即时通信应用中建立同屏交流分享的方法、系统
WO2018161887A1 (zh) 数据交互方法、装置及存储介质
US10182204B1 (en) Generating images of video chat sessions
CN117041468A (zh) 网络通信方法、装置、设备及存储介质
JP2002149580A (ja) サーバ装置、ユーザ端末装置、仮想空間システム、ユーザ情報配信方法、ユーザ情報表示方法、ユーザ情報配信表示方法、及び記憶媒体
CN113452948B (zh) 会议终端的控制方法、装置、设备及存储介质
CN112181340B (zh) 一种ar图像的共享方法及电子设备
CN108289056A (zh) 分享动态图表的方法、装置以及计算设备
JP7367909B2 (ja) 第一端末、サーバ装置、第二端末、情報処理方法、およびプログラム
CN113420133A (zh) 一种会话处理方法、装置、设备及存储介质
JP7458672B1 (ja) 情報処理装置及びプログラム
JP2005006240A (ja) 画像配信システム及び画像配信サーバ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination