CN117041500B - 一种应用于野外公路工程的视频接入方法 - Google Patents

一种应用于野外公路工程的视频接入方法 Download PDF

Info

Publication number
CN117041500B
CN117041500B CN202311286325.6A CN202311286325A CN117041500B CN 117041500 B CN117041500 B CN 117041500B CN 202311286325 A CN202311286325 A CN 202311286325A CN 117041500 B CN117041500 B CN 117041500B
Authority
CN
China
Prior art keywords
video
connection
vgw
signaling
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311286325.6A
Other languages
English (en)
Other versions
CN117041500A (zh
Inventor
何杰
许国敏
李宁
龚先祁
邝靖
周莉
徐熙
邓媛
陈程
姬峥云
付鸿杰
王世法
曾艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Highway Planning Survey and Design Institute Ltd
Original Assignee
Sichuan Highway Planning Survey and Design Institute Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Highway Planning Survey and Design Institute Ltd filed Critical Sichuan Highway Planning Survey and Design Institute Ltd
Priority to CN202311286325.6A priority Critical patent/CN117041500B/zh
Publication of CN117041500A publication Critical patent/CN117041500A/zh
Application granted granted Critical
Publication of CN117041500B publication Critical patent/CN117041500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/102—Gateways
    • H04L65/1033—Signalling gateways
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1108—Web based protocols, e.g. webRTC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种应用于野外公路工程的视频接入方法，通过网络穿透的方式优先建立用户终端与视频网关VGW之间的点对点连接，穿透成功的情况下，视频流会从现场视频网关直达用户浏览器，不再经过服务器转发，从而节约网络带宽。在无法穿透的情况下，会经过中继服务器建立连接，转发视频流，这种情况仍会消耗网络带宽，受限于网络环境本身，网络穿透的成功率30%~70%左右，但总体上会减少视频流对网络带宽的消耗。

Description

一种应用于野外公路工程的视频接入方法
技术领域
本发明涉及野外公路工程的数据采集以及传输技术领域，具体涉及一种应用于野外公路工程的视频接入方法。
背景技术
当前用于野外公路工程(如桥梁、边坡、隧道)现场视频设备的接入，主要有两种方式：
方式一：在局域网内，使用摄像头与NVR（Network Video Recorder，网络硬盘录像机，即本发明中的视频数据采集设备）组网，完成视频接入，通过局域网内客户端或者浏览器直接从NVR上查看实时视频或者获取历史视频。
方式二：在广域网或专网内，在机房搭建厂商视频服务器，在现场使用摄像头与NVR组网，通过NVR主动注册的方式接入视频到视频服务器，通过客户端或浏览器从中心服务器查看实时视频或者历史视频。
现有视频设备的数据采集、存储与传输方式均存在一定的缺陷：
方式一缺陷：现场组网在局域网内，属于封闭的视频监控系统，仅限于现场办公人员使用，无法接入其他平台，共享视频相关数据。
方式二缺陷：能够接入专网或者公网的视频服务器，但是存在如下缺陷，1.用户只能从视频服务器获取视频流，因此负责视频接入的视频服务器对带宽有极高的要求。2.视频流延时较大，一般在5-15s左右。3.服务器有视频路数限制，扩容会增加经济成本。4.不支持设备的远端维护，维护设备需要到现场操作。
发明内容
本发明的目的在于提供一种应用于野外公路工程的视频接入方法，解决了现有技术中存在的问题。
本发明通过下述技术方案实现：
一种应用于野外公路工程的视频接入方法，包括：
将野外公路工程现场的至少一个视频数据采集设备NVR接入视频网关VGW中，以使视频网关VGW采集视频数据采集设备NVR上的视频数据；
建立视频网关VGW与中心服务器之间的连接，并在中心服务器上添加各个视频网关VGW对应的节点以及节点下每个视频数据采集设备NVR采集的视频信息，所述视频信息用于表征视频数据的基础信息，不包含视频流；
根据节点下每个视频数据采集设备NVR采集的视频信息，通过中心服务器为用户对应的用户终端提供视频记录查询功能，并确定用户在使用视频记录查询功能过程中的视频播放指令，得到视频播放指令对应的目标视频信息；
当得到目标视频信息之后，建立所述用户终端与视频网关VGW之间的点对点连接，得到连接建立结果，所述连接建立结果包括连接成功或者连接失败；
当所述连接建立结果为连接成功时，则根据所述视频播放指令对应的目标视频信息，直接从视频网关VGW拉取对应的目标视频，并传输至用户终端进行播放，完成视频的接入；
当所述连接建立结果为连接失败时，则启用视频中继服务，并通过视频中继服务间接地从视频网关VGW拉取对应的目标视频，并传输至用户终端进行播放，完成视频的接入。
在一种可能的实施方式中，通过中心服务器为用户对应的用户终端提供视频记录查询功能之外，还包括：
通过中心服务器对用户进行鉴权，获取用户鉴权结果，所述用户鉴权结果包括用户鉴权通过或者用户鉴权失败；
当用户鉴权结果为用户鉴权通过时，则通过中心服务器为用户对应的用户终端提供视频记录查询功能；
当用户鉴权结果为用户鉴权失败时，则通过中心服务器拒绝用户的接入。
在一种可能的实施方式中，将野外公路工程现场的至少一个视频数据采集设备NVR接入视频网关VGW中，包括：
通过视频网关VGW调度SDK接口进行设备搜索，以搜索同网段或者跨网段的视频数据采集设备NVR；
在视频网关VGW的管理界面中添加视频数据采集设备NVR的设备信息以及视频数据采集设备NVR下每个视频采集通道对应的通道信息，以使视频网关VGW根据视频数据采集设备NVR的设备信息以及视频数据采集设备NVR下每个视频采集通道对应的通道信息，查看每个视频采集通道对应的视频数据以及对每个视频采集通道对应的摄像头云台进行控制；
其中，每个视频数据采集设备NVR连接多个摄像头，每个摄像头对应一个视频采集通道。
在一种可能的实施方式中，建立视频网关VGW与中心服务器之间的连接，并在中心服务器上添加各个视频网关VGW对应的节点以及节点下每个视频数据采集设备NVR采集的视频信息，包括：
启动中心服务器上的websocket服务，基于所述websocket服务且通过视频网关VGW向中心服务器发送接入请求，并通过中心服务器接收视频网关VGW的接入请求；
通过中心服务器对接入请求进行解析，得到包含于接入请求中的VGW信息，判断该VGW信息是否存在于中心服务器的连接池中，若是，则该视频网关VGW已接入中心服务器，拒绝该视频网关VGW的接入，否则将视频网关VGW的接入请求加入连接池中，为视频网关VGW创建连接；
当中心服务器为视频网关VGW创建连接之后，通过视频网关VGW为中心服务器启用第一读写服务，通过中心服务器为视频网关VGW启用第二读写服务，以使视频网关VGW与中心服务器之间进行数据交互；
以第一读写服务以及第二读写服务为基础，将视频网关VGW中的视频信息同步至中心服务器中；
根据视频信息，通过中心服务器创建多级目录结构，所述多级目录结构包括以视频网关VGW的VGW信息为基础的节点、每个节点下视频数据采集设备NVR的设备信息、每个视频数据采集设备NVR下的通道信息以及每个视频采集通道对应的视频信息。
在一种可能的实施方式中，建立视频网关VGW与中心服务器之间的连接之后，还包括：实时监测视频网关VGW与中心服务器之间的连接状态，所述连接状态包括连接正常或者连接断开；
当所述连接状态为连接断开时，则将视频网关VGW的VGW信息以及对应的连接从连接池中移除，并将视频网关VGW关联的多级目录结构清除。
在一种可能的实施方式中，通过视频网关VGW向中心服务器发送接入请求，包括：
通过视频网关VGW生成接入请求，并将将接入请求发送至中心服务器；
其中，所述接入请求的格式为《ws://中心服务器IP：中心服务器端口/vgwnode?identity=eyJpZCI6Il***》，其中，ws:表示服务启用前缀，中心服务器IP表示中心服务器对应的IP地址，中心服务器端口表示中心服务器上允许视频网关VGW接入的端口号，vgwnode?identity表示中心服务器上的node路由的身份信息， eyJpZCI6Il***表示视频网关VGW的唯一标识信息。
在一种可能的实施方式中，视频网关VGW的唯一标识信息获取方法为：将视频网关VGW的全局唯一ID以及名称转换为json字符串，再用base64编码工具对该json字符串进行编码，以将json字符串转化为url查询参数，得到视频网关VGW的唯一标识信息。
在一种可能的实施方式中，建立所述用户终端与视频网关VGW之间的点对点连接，包括：
建立视频网关VGW与信令服务器之间的连接，并通过视频网关VGW对视频数据采集设备NVR下的每个视频采集通道进行编码，得到唯一视频采集通道编码；
以唯一视频采集通道编码以及视频网关VGW与信令服务器之间的连接为基础，通过视频网关VGW向信令服务器发送第一信令；
通过所述信令服务器接收第一信令之后，以第一信息中的唯一视频采集通道编码为key值，为每个视频采集通道创建一个信令通道；
建立用户终端与信令服务器之间的连接，并将用户终端对应的用户标识传输至信令服务器中，通过所述信令服务器将用户标识以及用户终端与信令服务器之间的连接保存至各个信令通道中，以使视频网关VGW通过信令服务器与用户终端进行信令交互，完成所述用户终端与视频网关VGW之间的点对点连接。
在一种可能的实施方式中，当所述连接建立结果为连接成功时，则根据所述视频播放指令对应的目标视频信息，直接从视频网关VGW拉取对应的目标视频，并传输至用户终端进行播放，完成视频的接入，包括：
当所述连接建立结果为连接成功时，根据所述视频播放指令对应的目标视频信息，生成携带目标视频信息对应的唯一视频采集通道编码的第三信令；
通过信令服务器生成与第三信令对应的第一反馈信令，并将第一反馈信令传输至用户终端终，以使户终端通过目标视频信息对应的唯一视频采集通道编码所对应的信令通道与视频网关VGW进行信令交换；
通过用户终端向视频网关VGW发送视频请求信令，所述视频请求信令用于向视频网关VGW请求通道音视频流类型；
当视频网关VGW接收到视频请求信令之后，根据目标视频信息对应的唯一视频采集通道编码查询对应视频采集通道支持的目标音视频流类型，并生成携带该目标音视频流类型的第二反馈信令；
将所述第二反馈信令通过信令服务器反馈至用户终端中，通过所述用户终端对第二反馈信令进行解析，得到目标音视频流类型，并创建第一WebRTC连接以及根据目标音视频流类型添加第一WebRTC连接所需的第一收发器；
通过视频网关VGW建立第二WebRTC连接，并且通过第一WebRTC连接以及第二WebRTC建立直连视频接入通道；
以所述直连视频接入通道为基础，通过第一收发器获取目标视频信息对应的目标视频流，并播放目标视频流，完成视频的接入。
在一种可能的实施方式中，通播放目标视频流，包括：通过H5 video标签直接无插件播放目标视频流。
本发明提供的一种应用于野外公路工程的视频接入方法，通过网络穿透的方式优先建立用户终端与视频网关VGW之间的点对点连接，穿透成功的情况下，视频流会从现场视频网关直达用户浏览器，不再经过服务器转发，从而节约网络带宽。在无法穿透的情况下，会经过中继服务器建立连接，转发视频流，这种情况仍会消耗网络带宽。受限于网络环境本身，网络穿透的成功率30%~70%左右，总体上会减少视频流对网络带宽的消耗。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
图1为本发明提供的一种应用于野外公路工程的视频接入方法的流程示意图。
图2为本发明提供的应用场景的示意图。
实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
如图1所示，本发明实施例提供了一种应用于野外公路工程的视频接入方法，包括：
S101、将野外公路工程现场的至少一个视频数据采集设备NVR接入视频网关VGW中，以使视频网关VGW采集视频数据采集设备NVR上的视频数据。
视频数据采集设备NVR可以为现场的上位机或者数据处理装置，每个视频数据采集设备NVR上可以连接有多个摄像头，以进行视频数据的采集。
S102、建立视频网关VGW与中心服务器之间的连接，并在中心服务器上添加各个视频网关VGW对应的节点以及节点下每个视频数据采集设备NVR采集的视频信息，所述视频信息用于表征视频数据的基础信息，不包含视频流。
通过建立视频网关VGW与中心服务器之间的连接，可以通过中心服务器的节点管理功能，可以完成与对应视频网关VGW的通道交互，比如通道预置点查询、预置点跳转、云台控制、倍速播放、录像记录查询等。
S103、根据节点下每个视频数据采集设备NVR采集的视频信息，通过中心服务器为用户对应的用户终端提供视频记录查询功能，并确定用户在使用视频记录查询功能过程中的视频播放指令，得到视频播放指令对应的目标视频信息。
当用户点击视频播放时，就可以确定对应的目标视频信息，例如，哪个通道对应的目标视频。用户终端可以是指用户正在使用的浏览器。
S104、当得到目标视频信息之后，建立所述用户终端与视频网关VGW之间的点对点连接，得到连接建立结果，所述连接建立结果包括连接成功或者连接失败。
S105、当所述连接建立结果为连接成功时，则根据所述视频播放指令对应的目标视频信息，直接从视频网关VGW拉取对应的目标视频，并传输至用户终端进行播放，完成视频的接入。
S106、当所述连接建立结果为连接失败时，则启用视频中继服务，并通过视频中继服务间接地从视频网关VGW拉取对应的目标视频，并传输至用户终端进行播放，完成视频的接入。
本发明提供的一种应用于野外公路工程的视频接入方法，通过网络穿透的方式优先建立用户终端与视频网关VGW之间的点对点连接，穿透成功的情况下，视频流会从现场视频网关直达用户浏览器，不再经过服务器转发，从而节约网络带宽。在无法穿透的情况下，会经过中继服务器建立连接，转发视频流，这种情况仍会消耗网络带宽。受限于网络环境本身，网络穿透的成功率30%~70%左右，总体上会减少视频流对网络带宽的消耗。
在软硬件资源充足的情况下，系统能接入的视频路数没有限制。中心服务器支持对视频网关节点的远端维护，不用再奔赴现场操作。
如图2所示，为了便于理解本发明的技术方案，下面对本发明的应用场景进行介绍，具体包括：多个设置于野外公路工程现场的摄像头、多个摄像头连接的视频数据采集设备NVR、多个视频数据采集设备NVR链接的视频网关VGW、视频网关VGW连接的中心服务器、信令服务器以及中继服务器，还包括用户使用的浏览器。其中，用户通过浏览器登录中心服务器查看各种视频信息，当需要进行识别播放时，则通过信令服务器建立直传通道，若建立成功，则进行视频直传，否则通过中继服务器进行视频转发。
在一种可能的实施方式中，通过中心服务器为用户对应的用户终端提供视频记录查询功能之外，还包括：
通过中心服务器对用户进行鉴权，获取用户鉴权结果，所述用户鉴权结果包括用户鉴权通过或者用户鉴权失败。
当用户鉴权结果为用户鉴权通过时，则通过中心服务器为用户对应的用户终端提供视频记录查询功能。
当用户鉴权结果为用户鉴权失败时，则通过中心服务器拒绝用户的接入。
在一种可能的实施方式中，将野外公路工程现场的至少一个视频数据采集设备NVR接入视频网关VGW中，包括：
通过视频网关VGW调度SDK接口进行设备搜索，以搜索同网段或者跨网段的视频数据采集设备NVR。
在视频网关VGW的管理界面中添加视频数据采集设备NVR的设备信息以及视频数据采集设备NVR下每个视频采集通道对应的通道信息，以使视频网关VGW根据视频数据采集设备NVR的设备信息以及视频数据采集设备NVR下每个视频采集通道对应的通道信息，查看每个视频采集通道对应的视频数据以及对每个视频采集通道对应的摄像头云台进行控制。
其中，每个视频数据采集设备NVR连接多个摄像头，每个摄像头对应一个视频采集通道。
可选的，本实施例提供一种视频数据采集设备视频数据采集设备NVR接入视频网关VGW的例子，具体为：
A1、所有摄像头接入到视频数据采集设备NVR中。
A2、视频网关VGW通过SDK提供的设备搜索功能，搜索同网段或者跨网段的设备。
A3、在视频网关VGW设备管理界面中添加搜索出来的视频数据采集设备NVR设备信息。
A4、在视频网关VGW设备管理界面中添加视频数据采集设备NVR下的通道信息。
A5、视频网关VGW通过SDK接口连接所有的视频数据采集设备NVR设备。
A6、视频网关VGW通过SDK接口获取视频数据采集设备NVR下的通道实时或回放音视频流。
A7、视频网关VGW通过SDK接口执行预置点查询、预置点跳转、云台控制、倍速播放、录像记录查询等操作。
A8、视频网关VGW本地功能：设备管理提供视频数据采集设备NVR设备发现、视频数据采集设备NVR设备和通道管理功能，视频预览提供实时视频观看功能，视频回放提供历史视频的检索、下载、播放、跳转、倍速等功能，云台控制提供摄像机的转动、变焦、光圈、预置点等控制功能，事件订阅与上报提供常规事件的订阅和通知功能，系统配置提供视频网关VGW自身配置信息的维护功能。
在一种可能的实施方式中，建立视频网关VGW与中心服务器之间的连接，并在中心服务器上添加各个视频网关VGW对应的节点以及节点下每个视频数据采集设备NVR采集的视频信息，包括：
启动中心服务器上的websocket服务，基于所述websocket服务且通过视频网关VGW向中心服务器发送接入请求，并通过中心服务器接收视频网关VGW的接入请求。
通过中心服务器对接入请求进行解析，得到包含于接入请求中的VGW信息，判断该VGW信息是否存在于中心服务器的连接池中，若是，则该视频网关VGW已接入中心服务器，拒绝该视频网关VGW的接入，否则将视频网关VGW的接入请求加入连接池中，为视频网关VGW创建连接。
当中心服务器为视频网关VGW创建连接之后，通过视频网关VGW为中心服务器启用第一读写服务，通过中心服务器为视频网关VGW启用第二读写服务，以使视频网关VGW与中心服务器之间进行数据交互。
以第一读写服务以及第二读写服务为基础，将视频网关VGW中的视频信息同步至中心服务器中。
根据视频信息，通过中心服务器创建多级目录结构，所述多级目录结构包括以视频网关VGW的VGW信息为基础的节点、每个节点下视频数据采集设备NVR的设备信息、每个视频数据采集设备NVR下的通道信息以及每个视频采集通道对应的视频信息。
在一种可能的实施方式中，建立视频网关VGW与中心服务器之间的连接之后，还包括：实时监测视频网关VGW与中心服务器之间的连接状态，所述连接状态包括连接正常或者连接断开。
当所述连接状态为连接断开时，则将视频网关VGW的VGW信息以及对应的连接从连接池中移除，并将视频网关VGW关联的多级目录结构清除。
在一种可能的实施方式中，通过视频网关VGW向中心服务器发送接入请求，包括：
通过视频网关VGW生成接入请求，并将将接入请求发送至中心服务器。
其中，所述接入请求的格式为《ws://中心服务器IP：中心服务器端口/vgwnode?identity=eyJpZCI6Il***》，其中，ws:表示服务启用前缀，中心服务器IP表示中心服务器对应的IP地址，中心服务器端口表示中心服务器上允许视频网关VGW接入的端口号，vgwnode?identity表示中心服务器上的node路由的身份信息， eyJpZCI6Il***表示视频网关VGW的唯一标识信息。
在一种可能的实施方式中，视频网关VGW的唯一标识信息获取方法为：将视频网关VGW的全局唯一ID以及名称转换为json字符串，再用base64编码工具对该json字符串进行编码，以将json字符串转化为url查询参数，得到视频网关VGW的唯一标识信息。
可选的，本发明实施例提供一种视频网关VGW接入中心服务器的例子，具体为：
B1、中心服务器启动后，在/vgwnode路由上启用websocket服务，等待视频网关VGW的连接接入请求。
B2、视频网关VGW启动后，创建websocket客户端并以地址“ws://中心服务器IP：中心服务器端口/vgwnode?identity=eyJpZCI6Il***”连接中心服务器的websocket服务。
其中，“eyJpZCI6Il***”为视频网关VGW根据其全局唯一ID和名称生成的节点标识信息。生成方式为先将视频网关VGW全局唯一ID（Identity document，身份证标识号）和名称转换为json串，再用base64对json串进行编码，最后转化为合法的url查询参数，得到最终的标识信息。
B3、中心服务器接受视频网关VGW的连接请求，解析视频网关VGW标识信息，得到视频网关VGW的全局唯一ID和名称。
B4、若中心服务器的连接池中已经存在该视频网关VGW的ID，说明ID重复，则会主动断开连接，拒绝该视频网关VGW的接入。
B5、中心服务器将该连接添加到连接池中，并为该连接启动2个任务，分别负责连接数据的读、写任务。
B6、视频网关VGW连接中心服务器的websocket服务成功后，为该连接启动2个任务，分别负责连接数据的读、写任务。
B7、视频网关VGW主动向中心服务器发起数据的同步，同步数据包括该视频网关VGW下所有的NVR信息以及每个NVR下的所有通道信息等。
B8、中心服务器收到视频网关VGW的同步数据后，保存到对应连接的关联数据中。
B9、若连接异常断开，中心服务器会将该连接从连接池中剔除，并清除该连接的关联数据。
B10、至此，视频网关VGW已成功接入到了中心服务器。后续步骤描述中心服务器如何使用节点。
B11、进入中心服务器视频预览或视频回放界面，会触发查询节点连接池中所有连接的关联数据，并在界面上以树的形式展示出来，展示的内容为NVR信息以及每个NVR下的所有通道信息。
B12、用户点击某个通道，会触发视频播放流程，进行视频播放。
B13、与此同时，中心服务器根据通道唯一编码解析出所属的视频网关VGW全局唯一ID，以此去连接池中查找对应连接，通过该连接可以完成与对应视频网关VGW的交互，比如通道预置点查询、预置点跳转、云台控制、倍速播放、录像记录查询等交互。
中心服务器与视频网关VGW交互的自定义消息格式如下：{请求中继消息||响应中继消息||信息同步信息||消息类型|| http的URI||http的方法，包括GET和POST||身份标识||http body携带的数据||http状态码||事务标识}。
在一种可能的实施方式中，建立所述用户终端与视频网关VGW之间的点对点连接，包括：
建立视频网关VGW与信令服务器之间的连接，并通过视频网关VGW对视频数据采集设备NVR下的每个视频采集通道进行编码，得到唯一视频采集通道编码。
以唯一视频采集通道编码以及视频网关VGW与信令服务器之间的连接为基础，通过视频网关VGW向信令服务器发送第一信令。
通过所述信令服务器接收第一信令之后，以第一信息中的唯一视频采集通道编码为key值，为每个视频采集通道创建一个信令通道。
建立用户终端与信令服务器之间的连接，并将用户终端对应的用户标识传输至信令服务器中，通过所述信令服务器将用户标识以及用户终端与信令服务器之间的连接保存至各个信令通道中，以使视频网关VGW通过信令服务器与用户终端进行信令交互，完成所述用户终端与视频网关VGW之间的点对点连接。
可选的，本发明实施例提供一种信令服务器的管理流程，具体为：
C1、创建并启动websocket服务，等待来自于浏览器或视频网关VGW客户端的连接接入请求。
C2、视频网关VGW创建websocket客户端并以地址“ws://信令服务器IP:信令服务器端口”连接信令服务器的websocket服务。
C3、信令服务器等待处理该连接上的信令消息。
信令服务器支持的信令消息类型如下：{信令服务器标识||视频网关标识||加入通道信令||加入通道响应信令||获取音视频流类型信令||获取音视频流类型响应信令||WebRTC的offer信令||WebRTC的answer信令||通知对端新的候选信令||主动离开通道信令||对端离开通道通知信令||对端连接关闭通知信令}。
信令消息格式如下：{命令码||源客户端标识||目标客户端标识||通道唯一编码||信令数据}。
C4、视频网关VGW对NVR下的每个通道进行唯一的编码，规定编码格式为：视频网关VGW全局唯一ID###厂商###NVRID###通道ID，例如视频网关VGW-NVR-DEMO-01###dh###0###0,表示ID为视频网关VGW-NVR-DEMO-01的视频网关VGW下的大华厂商的ID为0的NVR的通道0。这样编码的目的是为了保证通道编码在全局是唯一的、编码与通道是一一对应的，同时系统可以通过解析通道编码就可以检索出通道的逻辑位置，进而可以对通道进行后续播放控制。
C5、视频网关VGW为每个NVR的每个通道发送SIGNAL_JOIN信令。
C6、信令服务器收到视频网关VGW发起的SIGNAL_JOIN信令，以通道唯一编码为key，为每个通道创建一个信令通道。
C7、在信令通道中保存视频网关VGW客户端标识和连接，等待与浏览器的信令交换。
C8、浏览器（用户终端）同样发送SIGNAL_JOIN信令到信令服务器。
C9、信令服务器以通道唯一编码为key查找对应的信令通道，并将浏览器客户端标识和连接保存到信令通道中。
C10、信令服务器给浏览器客户端回复SIGNAL_JOIN_RESP信令。
C11、至此，视频网关VGW和浏览器都加入到了每个信令通道之中，二者之间可以通过信令服务器来交换各自的信令了。
当信令服务器收到视频网关VGW的信令时，会转发给浏览器客户端，同样，当信令服务器收到浏览器客户端的信令时也会转发给视频网关VGW。
在一种可能的实施方式中，当所述连接建立结果为连接成功时，则根据所述视频播放指令对应的目标视频信息，直接从视频网关VGW拉取对应的目标视频，并传输至用户终端进行播放，完成视频的接入，包括：
当所述连接建立结果为连接成功时，根据所述视频播放指令对应的目标视频信息，生成携带目标视频信息对应的唯一视频采集通道编码的第三信令。
通过信令服务器生成与第三信令对应的第一反馈信令，并将第一反馈信令传输至用户终端终，以使户终端通过目标视频信息对应的唯一视频采集通道编码所对应的信令通道与视频网关VGW进行信令交换。
通过用户终端向视频网关VGW发送视频请求信令，所述视频请求信令用于向视频网关VGW请求通道音视频流类型。
当视频网关VGW接收到视频请求信令之后，根据目标视频信息对应的唯一视频采集通道编码查询对应视频采集通道支持的目标音视频流类型，并生成携带该目标音视频流类型的第二反馈信令。
将所述第二反馈信令通过信令服务器反馈至用户终端中，通过所述用户终端对第二反馈信令进行解析，得到目标音视频流类型，并创建第一WebRTC连接以及根据目标音视频流类型添加第一WebRTC连接所需的第一收发器。
通过视频网关VGW建立第二WebRTC连接，并且通过第一WebRTC连接以及第二WebRTC建立直连视频接入通道。
以所述直连视频接入通道为基础，通过第一收发器获取目标视频信息对应的目标视频流，并播放目标视频流，完成视频的接入。
可选的，本发明实施例提供一种视频接入的例子，具体为：
D1、用户进入中心服务器的视频预览或视频回放界面时，会看到所有的NVR信息以及每个NVR下的所有通道信息(参加中心服务器节点管理流程)。
D2、当用户点击某个通道进行视频播放时触发浏览器客户端向信令服务器发起SIGNAL_JOIN信令，信令中会携带通道唯一编码等信息。
D3、浏览器客户端收到信令服务器回复的SIGNAL_JOIN_RESP信令(参见信令服务器管理流程)，表示浏览器客户端可以与通道所属的视频网关VGW正常交换信令了。
D4、浏览器发送SIGNAL_CODEC信令，向视频网关VGW请求通道音视频流类型。
D5、视频网关VGW收到SIGNAL_CODEC信令，根据通道唯一编码查询通道支持的音视频流类型，并以SIGNAL_CODEC_RESP信令的形式返回给浏览器客户端。
D6、浏览器客户端创建WebRTC连接实体RTCPeerConnection，并根据SIGNAL_CODEC_RESP信令携带的音视频流类型添加对应类型的收发器。
D7、浏览器RTCPeerConnection触发底层连接协商事件。
D8、浏览器RTCPeerConnection创建本地Offer SDP，内容包含WebRTC 会话、浏览器支持的编解码器、ICE代理等信息，并以SIGNAL_OFFER信令的形式发送给视频网关VGW。
D9、视频网关VGW创建WebRTC连接实体RTCPeerConnection，保存收到的Offer SDP信息，根据音视频流类型创建对应轨道，并创建Answer SDP，以SIGNAL_ANSWER信令的形式发送给浏览器客户端。
D10、浏览器客户端RTCPeerConnection保存收到的Answer SDP信息。
D11、浏览器客户端为之前创建的RTCPeerConnection添加音视频轨道，等待音视频流数据的到来。
D12、浏览器客户端和视频网关VGW各自向对方发送SIGNAL_CANDIDATE信令，信令中包含了用于双方建立连接的候选地址信息。浏览器会尝试主动连接视频网关VGW发送过来的候选地址，视频网关亦是如此，直到各自筛选出可用用于后续连接的候选地址，并用该地址建立起连接。
D13、双方WebRTC连接建立成功后，视频网关VGW通过SDK获取将对应通道的音视频流数据并通过连接直接发送到浏览器。
D14、浏览器通过H5 video标签直接无插件播放音视频流。
此时通过中心服务器的节点管理功能，可以完成与对应视频网关VGW的通道交互，比如通道预置点查询、预置点跳转、云台控制、倍速播放、录像记录查询等。
在一种可能的实施方式中，通播放目标视频流，包括：通过H5 video标签直接无插件播放目标视频流。
本发明针对野外工程视频接入的特点，提出了一种低延时、低流量、具备远端维护能力的设计方案。
极大的提升了视频播放的实时性：本发明采用WebRTC作为音视频数据的传输方案，浏览器与VGW直接建立WebRTC连接后，VGW实时传输视频流到浏览器通过H5<video>标签进行无插件播放，省去了常规方案中协议转换、分发的开销以及前端播放器协议解析的开销，从而达到实时播放视频的效果，相较于常规方案的播放延时5-10秒左右，本方案的延时在1秒左右。
有效的降低服务器网络带宽的消耗：本发明采用WebRTC作为音视频数据的传输方案，浏览器与VGW之间优先采用网络穿透的方式建立点对点的连接，穿透成功的情况下，视频流会从VGW直达用户浏览器，不再经过服务器转发，从而有效的降低了服务器网络带宽的消耗。根据不同的网络环境统计，网络穿透的成功率在30%~70%左右，也就是说本方案对网络带宽的消耗是常规方案的30%~70%左右。
本发明具备对所有的VGW节点的远端维护能力：所有的VGW节点都会主动注册到中心服务器，并维持一个长链接。通过该长链接，可以对VGW进行远程版本升级、远程重启、远程配置等操作，极大的减少了维护人员亲赴现场操作的必要性。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种应用于野外公路工程的视频接入方法，其特征在于，包括：
将野外公路工程现场的至少一个视频数据采集设备NVR接入视频网关VGW中，以使视频网关VGW采集视频数据采集设备NVR上的视频数据；
建立视频网关VGW与中心服务器之间的连接，并在中心服务器上添加各个视频网关VGW对应的节点以及节点下每个视频数据采集设备NVR采集的视频信息，所述视频信息用于表征视频数据的基础信息，不包含视频流；
根据节点下每个视频数据采集设备NVR采集的视频信息，通过中心服务器为用户对应的用户终端提供视频记录查询功能，并确定用户在使用视频记录查询功能过程中的视频播放指令，得到视频播放指令对应的目标视频信息；
当得到目标视频信息之后，建立所述用户终端与视频网关VGW之间的点对点连接，得到连接建立结果，所述连接建立结果包括连接成功或者连接失败；
当所述连接建立结果为连接成功时，则根据所述视频播放指令对应的目标视频信息，直接从视频网关VGW拉取对应的目标视频，并传输至用户终端进行播放，完成视频的接入；
当所述连接建立结果为连接失败时，则启用视频中继服务，并通过视频中继服务间接地从视频网关VGW拉取对应的目标视频，并传输至用户终端进行播放，完成视频的接入；
将野外公路工程现场的至少一个视频数据采集设备NVR接入视频网关VGW中，包括：
通过视频网关VGW调度SDK接口进行设备搜索，以搜索同网段或者跨网段的视频数据采集设备NVR；
在视频网关VGW的管理界面中添加视频数据采集设备NVR的设备信息以及视频数据采集设备NVR下每个视频采集通道对应的通道信息，以使视频网关VGW根据视频数据采集设备NVR的设备信息以及视频数据采集设备NVR下每个视频采集通道对应的通道信息，查看每个视频采集通道对应的视频数据以及对每个视频采集通道对应的摄像头云台进行控制；
其中，每个视频数据采集设备NVR连接多个摄像头，每个摄像头对应一个视频采集通道；
建立视频网关VGW与中心服务器之间的连接，并在中心服务器上添加各个视频网关VGW对应的节点以及节点下每个视频数据采集设备NVR采集的视频信息，包括：
启动中心服务器上的websocket服务，基于所述websocket服务且通过视频网关VGW向中心服务器发送接入请求，并通过中心服务器接收视频网关VGW的接入请求；
通过中心服务器对接入请求进行解析，得到包含于接入请求中的VGW信息，判断该VGW信息是否存在于中心服务器的连接池中，若是，则该视频网关VGW已接入中心服务器，拒绝该视频网关VGW的接入，否则将视频网关VGW的接入请求加入连接池中，为视频网关VGW创建连接；
当中心服务器为视频网关VGW创建连接之后，通过视频网关VGW为中心服务器启用第一读写服务，通过中心服务器为视频网关VGW启用第二读写服务，以使视频网关VGW与中心服务器之间进行数据交互；
以第一读写服务以及第二读写服务为基础，将视频网关VGW中的视频信息同步至中心服务器中；
根据视频信息，通过中心服务器创建多级目录结构，所述多级目录结构包括以视频网关VGW的VGW信息为基础的节点、每个节点下视频数据采集设备NVR的设备信息、每个视频数据采集设备NVR下的通道信息以及每个视频采集通道对应的视频信息；
建立所述用户终端与视频网关VGW之间的点对点连接，包括：
建立视频网关VGW与信令服务器之间的连接，并通过视频网关VGW对视频数据采集设备NVR下的每个视频采集通道进行编码，得到唯一视频采集通道编码；
以唯一视频采集通道编码以及视频网关VGW与信令服务器之间的连接为基础，通过视频网关VGW向信令服务器发送第一信令；
通过所述信令服务器接收第一信令之后，以第一信息中的唯一视频采集通道编码为key值，为每个视频采集通道创建一个信令通道；
建立用户终端与信令服务器之间的连接，并将用户终端对应的用户标识传输至信令服务器中，通过所述信令服务器将用户标识以及用户终端与信令服务器之间的连接保存至各个信令通道中，以使视频网关VGW通过信令服务器与用户终端进行信令交互，完成所述用户终端与视频网关VGW之间的点对点连接；
当所述连接建立结果为连接成功时，则根据所述视频播放指令对应的目标视频信息，直接从视频网关VGW拉取对应的目标视频，并传输至用户终端进行播放，完成视频的接入，包括：
当所述连接建立结果为连接成功时，根据所述视频播放指令对应的目标视频信息，生成携带目标视频信息对应的唯一视频采集通道编码的第三信令；
通过信令服务器生成与第三信令对应的第一反馈信令，并将第一反馈信令传输至用户终端，以使用户终端通过目标视频信息对应的唯一视频采集通道编码所对应的信令通道与视频网关VGW进行信令交换；
通过用户终端向视频网关VGW发送视频请求信令，所述视频请求信令用于向视频网关VGW请求通道音视频流类型；
当视频网关VGW接收到视频请求信令之后，根据目标视频信息对应的唯一视频采集通道编码查询对应视频采集通道支持的目标音视频流类型，并生成携带该目标音视频流类型的第二反馈信令；
将所述第二反馈信令通过信令服务器反馈至用户终端中，通过所述用户终端对第二反馈信令进行解析，得到目标音视频流类型，并创建第一WebRTC连接以及根据目标音视频流类型添加第一WebRTC连接所需的第一收发器；
通过视频网关VGW建立第二WebRTC连接，并且通过第一WebRTC连接以及第二WebRTC建立直连视频接入通道；
以所述直连视频接入通道为基础，通过第一收发器获取目标视频信息对应的目标视频流，并播放目标视频流，完成视频的接入。
2.根据权利要求1所述的应用于野外公路工程的视频接入方法，其特征在于，通过中心服务器为用户对应的用户终端提供视频记录查询功能之外，还包括：
通过中心服务器对用户进行鉴权，获取用户鉴权结果，所述用户鉴权结果包括用户鉴权通过或者用户鉴权失败；
当用户鉴权结果为用户鉴权通过时，则通过中心服务器为用户对应的用户终端提供视频记录查询功能；
当用户鉴权结果为用户鉴权失败时，则通过中心服务器拒绝用户的接入。
3.根据权利要求1所述的应用于野外公路工程的视频接入方法，其特征在于，建立视频网关VGW与中心服务器之间的连接之后，还包括：实时监测视频网关VGW与中心服务器之间的连接状态，所述连接状态包括连接正常或者连接断开；
当所述连接状态为连接断开时，则将视频网关VGW的VGW信息以及对应的连接从连接池中移除，并将视频网关VGW关联的多级目录结构清除。
4.根据权利要求1所述的应用于野外公路工程的视频接入方法，其特征在于，通过视频网关VGW向中心服务器发送接入请求，包括：
通过视频网关VGW生成接入请求，并将将接入请求发送至中心服务器；
其中，所述接入请求的格式为《ws://中心服务器IP：中心服务器端口/vgwnode?identity=eyJpZCI6Il***》，其中，ws:表示服务启用前缀，中心服务器IP表示中心服务器对应的IP地址，中心服务器端口表示中心服务器上允许视频网关VGW接入的端口号，vgwnode?identity表示中心服务器上的node路由的身份信息， eyJpZCI6Il***表示视频网关VGW的唯一标识信息。
5.根据权利要求4所述的应用于野外公路工程的视频接入方法，其特征在于，视频网关VGW的唯一标识信息获取方法为：将视频网关VGW的全局唯一ID以及名称转换为json字符串，再用base64编码工具对该json字符串进行编码，以将json字符串转化为url查询参数，得到视频网关VGW的唯一标识信息。
6.根据权利要求1所述的应用于野外公路工程的视频接入方法，其特征在于，通播放目标视频流，包括：通过H5 video标签直接无插件播放目标视频流。
CN202311286325.6A 2023-10-08 2023-10-08 一种应用于野外公路工程的视频接入方法 Active CN117041500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311286325.6A CN117041500B (zh) 2023-10-08 2023-10-08 一种应用于野外公路工程的视频接入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311286325.6A CN117041500B (zh) 2023-10-08 2023-10-08 一种应用于野外公路工程的视频接入方法

Publications (2)

Publication Number Publication Date
CN117041500A CN117041500A (zh) 2023-11-10
CN117041500B true CN117041500B (zh) 2024-01-02

Family

ID=88635796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311286325.6A Active CN117041500B (zh) 2023-10-08 2023-10-08 一种应用于野外公路工程的视频接入方法

Country Status (1)

Country Link
CN (1) CN117041500B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1585309A (zh) * 2004-05-24 2005-02-23 萧学文 一种基于移动终端的远程监控系统及方法
CN104219500A (zh) * 2014-08-27 2014-12-17 天津市中信互联科技有限公司 监控视频直播的装置和方法
CN106506632A (zh) * 2016-10-27 2017-03-15 上海幻电信息科技有限公司 一种基于html5浏览器的音视频直播方法
CN107809683A (zh) * 2017-11-22 2018-03-16 广东电网有限责任公司教育培训评价中心 一种基于浏览器无插件的直播系统及方法
CN107911362A (zh) * 2017-11-14 2018-04-13 杭州万为科技有限责任公司 轻量级的互联网视频网关安全接入的系统及方法
CN109218839A (zh) * 2017-07-07 2019-01-15 杭州海康威视数字技术股份有限公司 视频播放方法及装置
CN111935463A (zh) * 2020-10-16 2020-11-13 融智通科技（北京）股份有限公司 一种通过网页无控件低延迟查看实时监控视频的方法
CN115190319A (zh) * 2021-04-06 2022-10-14 安徽双舟通讯技术有限公司 视频播放方法以及视频播放装置
CN116074290A (zh) * 2022-12-02 2023-05-05 广东亿迅科技有限公司 一种远程摄像头双向即时语音通讯的方法及其系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200099961A1 (en) * 2018-09-24 2020-03-26 Dice Corporation Networked video management system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1585309A (zh) * 2004-05-24 2005-02-23 萧学文 一种基于移动终端的远程监控系统及方法
CN104219500A (zh) * 2014-08-27 2014-12-17 天津市中信互联科技有限公司 监控视频直播的装置和方法
CN106506632A (zh) * 2016-10-27 2017-03-15 上海幻电信息科技有限公司 一种基于html5浏览器的音视频直播方法
CN109218839A (zh) * 2017-07-07 2019-01-15 杭州海康威视数字技术股份有限公司 视频播放方法及装置
CN107911362A (zh) * 2017-11-14 2018-04-13 杭州万为科技有限责任公司 轻量级的互联网视频网关安全接入的系统及方法
CN107809683A (zh) * 2017-11-22 2018-03-16 广东电网有限责任公司教育培训评价中心 一种基于浏览器无插件的直播系统及方法
CN111935463A (zh) * 2020-10-16 2020-11-13 融智通科技（北京）股份有限公司 一种通过网页无控件低延迟查看实时监控视频的方法
CN115190319A (zh) * 2021-04-06 2022-10-14 安徽双舟通讯技术有限公司 视频播放方法以及视频播放装置
CN116074290A (zh) * 2022-12-02 2023-05-05 广东亿迅科技有限公司 一种远程摄像头双向即时语音通讯的方法及其系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
物联网驱动的智慧农业精细种植系统的设计与开发;尹娟;;金陵科技学院学报(01);94-98 *

Also Published As

Publication number Publication date
CN117041500A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN101616311B (zh) 一种视频监控方法和视频监控服务器
CN101442667B (zh) 用于运营级网络视频监控系统的互通方法
US20110314159A1 (en) System and method of local resource delivery
CN110489484B (zh) 数据同步方法、装置、可读存储介质及电子设备
US20220209878A1 (en) Method, system and device for pushing information, and storage medium thereof
CN110087040B (zh) 一种监控视频调取方法及系统
CN102045540A (zh) 视频监控方法、系统及设备
CN109788247B (zh) 一种监控指令识别的方法和装置
CN110113566B (zh) 一种视频流调取的方法和装置
CN109218093B (zh) 一种获取告警的方法和系统
CN107967348A (zh) 基于多网数据融合应用提高视频侦查效率的系统及其方法
WO2014183540A1 (zh) 一种视频监控的内容适配方法、系统及中心服务器、装置
CN110545405A (zh) 一种基于视联网的视频传输方法及系统
CN109660753B (zh) 资源同步方法和装置
CN108600318B (zh) 监控视频调取方法、装置及服务器
CN114666554B (zh) 一种边缘网关云服务管理系统
CN101742265A (zh) 视频监控方法、固网视频监控业务平台及移动终端
CN110247900B (zh) 将sip监控平台的实时视频存入onvif存储设备的智能网关
CN117041500B (zh) 一种应用于野外公路工程的视频接入方法
CN108810475A (zh) 一种基于Onvif标准及Sip协议的Android视频监控装置
CN105915893A (zh) 一种公路网图像互联标准符合性测试系统
US20070136767A1 (en) Apparatus and method for controlling internet set-top box using Megaco protocol
CN106973307A (zh) 一种视频设备访问方法及装置
CN113660540A (zh) 图像信息处理方法、系统、显示方法、装置及存储介质
CN111131749A (zh) 一种视频会议的控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant