CN114567808A - 基于链路设备的视频i帧传输控制方法、装置和设备 - Google Patents

基于链路设备的视频i帧传输控制方法、装置和设备 Download PDF

Info

Publication number
CN114567808A
CN114567808A CN202210085071.0A CN202210085071A CN114567808A CN 114567808 A CN114567808 A CN 114567808A CN 202210085071 A CN202210085071 A CN 202210085071A CN 114567808 A CN114567808 A CN 114567808A
Authority
CN
China
Prior art keywords
video
frame
terminal
unit time
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210085071.0A
Other languages
English (en)
Inventor
徐太平
邢杰
汤佳聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202210085071.0A priority Critical patent/CN114567808A/zh
Publication of CN114567808A publication Critical patent/CN114567808A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请涉及一种基于链路设备的视频I帧传输控制方法、装置和设备,其中,该方法包括:获取各终端中视频I帧的视频帧传输信息;根据视频帧传输信息,以检测是否存在单位时间内的碰撞;在存在单位时间内的碰撞时,为发生碰撞的视频I帧分配空闲时间片,并将空闲时间片传输至各终端,以使终端中按空闲时间片相应的标准时间传输对应的视频I帧。通过本申请,解决了接收的I帧时间存在误差,从而无法对I帧实现准确控制的问题,实现了能够直接在链路设备中对各终端发送的视频I帧进行更准确的时序控制的效果。

Description

基于链路设备的视频I帧传输控制方法、装置和设备
技术领域
本申请涉及数据传输技术领域,特别是涉及一种基于链路设备的视频I帧传输控制方法、装置和设备。
背景技术
随着物联网技术的发展,网络平台可以经过链路设备同时向多台网络摄像机(IPCamera,IPC)拉取视频流。在视频帧进行传输编码时,其中使用频率最高的是I帧和P帧。I帧是全部数据的压缩,所以数据量比较大,而P帧是在之前的I帧上做的差分编码,其数据量较小。在该场景下,多台网络摄像机同时向网络平台发送I帧,会使链路设备的瞬时网络流量峰值超过上行端口转发能力,从而导致视频效果出现延迟、卡顿以及丢包等问题,也就是I帧碰撞效应。
为了避免在视频帧传输时发生I帧碰撞效应,现有技术中通常在网络平台中对网络摄像机发送的I帧进行控制,由于发送视频帧时需要经过多层链路设备转发才能到达网络平台,导致接收的I帧时间存在误差,从而无法对I帧实现准确控制。
针对相关技术中存在接收的I帧时间存在误差,从而无法对I帧实现准确控制的问题,目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种基于链路设备的视频I帧传输控制方法、装置和设备,以解决相关技术中接收的I帧时间存在误差,从而无法对I帧实现准确控制的问题。
第一个方面,在本实施例中提供了一种基于链路设备的视频I帧传输控制方法,包括:
获取各终端中视频I帧的视频帧传输信息;
根据所述视频帧传输信息,以检测是否存在单位时间内的碰撞;
在存在单位时间内的碰撞时,为发生碰撞的所述视频I帧分配空闲时间片,并将所述空闲时间片传输至各终端,以使所述终端中按所述空闲时间片相应的标准时间传输对应的所述视频I帧。
在其中的一些实施例中,所述获取各终端中视频I帧的视频帧传输信息,包括:
通过接收获取各终端中所述视频I帧的I帧时间戳和设备标识。
在其中的一些实施例中,所述通过接收获取各终端中所述视频I帧的I帧时间戳和设备标识,包括:
基于LLDP协议接收各所述终端发送的LLDP报文;
通过解析所述LLDP报文中的新增字段,得到所述I帧时间戳和设备标识。
在其中的一些实施例中,所述获取各终端中视频I帧的视频帧传输信息,包括:
采集各终端中所述视频I帧的流量峰值和设备标识。
在其中的一些实施例中,所述采集各终端中所述视频I帧的流量峰值和设备标识,包括:
通过采集链路设备中端口的报文信息,得到与所述端口对应的各终端的流量数据;
通过分析所述流量数据,得到所述流量峰值和设备标识。
在其中的一些实施例中,所述根据所述视频帧传输信息,以检测是否存在单位时间内的碰撞,包括:
当所述视频帧传输信息为I帧时间戳和设备标识,将所述I帧时间戳以及相应的所述设备标识划分到对应的单位时间中,通过对所述单位时间中的所述设备标识进行监测,判断是否存在单位时间内的碰撞,或;
当所述视频帧传输信息为流量峰值和设备标识,根据采集时间点确定所述流量峰值的时间,并将所述流量峰值以及相应的所述设备标识划分到对应的单位时间中,通过对所述单位时间中的所述设备标识进行监测,判断是否存在单位时间内的碰撞。
在其中的一些实施例中,所述通过对所述单位时间中的所述设备标识进行监测,判断是否存在单位时间内的碰撞,包括:
当所述视频帧传输信息中为所述I帧时间戳和设备标识,若所述单位时间中已有对应的所述设备标识,则单位时间内存在视频I帧碰撞,或;
当所述视频帧传输信息中为所述流量峰值和设备标识时,若所述单位时间中对应有若干所述设备标识,则单位时间内存在视频I帧碰撞。
在其中的一些实施例中,所述在存在单位时间内的碰撞时,为发生碰撞的所述视频I帧分配空闲时间片,并将所述空闲时间片传输至各终端,以使所述终端中按所述空闲时间片相应的标准时间传输对应的所述视频I帧,包括:
当单位时间内存在碰撞时,根据发生碰撞的所述视频I帧所在的单位时间,以时间顺序找到下一个没有对应所述设备标识的单位时间,并将所述单位时间作为所述空闲时间片;
发送包含所述空闲时间片信息的I帧控制指令至各所述终端;
在所述终端中,对所述空闲时间片进行解析,得到相应的标准时间,并按所述标准时间传输对应的所述视频I帧。
第二个方面,在本实施例中提供了一种基于链路设备的视频I帧传输控制装置,包括:获取模块、监测模块以及控制模块;
获取模块,用于获取各终端中视频I帧的视频帧传输信息;
监测模块,用于根据所述视频帧传输信息,以检测是否存在单位时间内的碰撞;
控制模块,用于在存在单位时间内的碰撞时,为发生碰撞的所述视频I帧分配空闲时间片,并将所述空闲时间片传输至各终端,以使所述终端中按所述空闲时间片相应的标准时间传输对应的所述视频I帧。
第三个方面,在本实施例中提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一个方面所述的基于链路设备的视频I帧传输控制方法。
第四个方面,在本实施例中提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一个方面所述的基于链路设备的视频I帧传输控制方法。
与相关技术相比,在本实施例中提供的基于链路设备的视频I帧传输控制方法、装置和设备,通过获取各终端中视频I帧的视频帧传输信息;根据所述视频帧传输信息,以检测是否存在单位时间内的碰撞;在存在单位时间内的碰撞时,为发生碰撞的所述视频I帧分配空闲时间片,并将所述空闲时间片传输至各终端,以使所述终端中按所述空闲时间片相应的标准时间传输对应的所述视频I帧,解决了接收的I帧时间存在误差,从而无法对I帧实现准确控制的问题,实现了通过直接在链路设备中对接收的I帧进行准确控制的效果。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为一个实施例中基于链路设备的视频I帧传输控制方法的硬件结构框图;
图2为视频帧传输编码时,帧率为25帧的码流中I帧的示意图;
图3为一个实施例中基于链路设备的视频I帧传输控制方法的流程图;
图4为一个优选实施例中基于链路设备的视频I帧传输控制方法的流程图;
图5为另一个优选实施例中基于链路设备的视频I帧传输控制方法的流程图;
图6为一个实施例中基于链路设备的视频I帧传输控制装置的结构框图;
图7为一个实施例中基于链路设备的视频I帧传输控制系统的结构框图;
图中:610、获取模块;620、监测模块;630、控制模块;710、终端;720、链路设备;730、网络平台。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行,图1是本实施例的基于链路设备的视频I帧传输控制方法的终端的硬件结构框图。如图1所示,终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104,其中,处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限制。例如,终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如在本实施例中的基于链路设备的视频I帧传输控制方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(NetworkInterface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在视频帧传输编码时,使用频率最高的是I帧和P。I帧是全部数据的压缩,所以数据量比较大,而P帧是在之前的I帧上做的差分编码,其数据量较小。因此,如果在传输I帧时发生碰撞,那么会产生巨大的数据量。图2为视频帧传输编码时,帧率为25帧的码流中I帧的示意图,其中最高的三个柱形表示I帧。
在本实施例中提供了一种基于链路设备的视频I帧传输控制方法,图3是该方法相应的流程图,如图3所示,该方法包括以下步骤:
步骤S310,获取各终端中视频I帧的视频帧传输信息。
具体地,在链路设备中通过接收获取或采集获取的方式,从各终端中获取视频帧传输时其中I帧的传输信息。其中,链路设备指的是交换机、无线中继器以及无线路由器等具有转发功能的设备;终端指的是网络摄像机(IP Camera,IPC)等前端视频设备。视频I帧的传输信息包括但不限于视频I帧的时间戳、流量峰值以及各终端的设备标识等信息。
步骤S320,根据视频帧传输信息,以检测是否存在单位时间内的碰撞。
具体地,根据单位时间将视频帧传输信息中的I帧时间戳或流量峰值进行划分,可以将各终端发送I帧的时间对应到相应的时间单位中,然后根据每个时间单位中I帧时间戳或流量峰值对应的终端设备标识,检测在单位时间内视频I帧是否有发生碰撞。
步骤S330,在存在单位时间内的碰撞时,为发生碰撞的视频I帧分配空闲时间片,并将空闲时间片传输至各终端,以使终端中按空闲时间片相应的标准时间传输对应的视频I帧。
具体地,如果检测到存在单位时间内的多个视频I帧的碰撞,保留一个视频I帧不对其发送时序进行控制,根据每个单位时间中I帧时间戳或流量峰值对应的终端设备标识为其余视频I帧寻找空闲时间片,并通过控制指令将空闲时间片传输至各终端,在各终端中对空闲时间片重新进行编码,以编码后相应的标准时间传输视频I帧,其中,标准时间可以是本地时间或者世界标准时间(UTC)。
现有技术中,为了避免多个终端同时向网络平台发送I帧时发生的帧碰撞效应,通常在终端通过链路设备向网络平台传输视频帧数据时,在网络平台中对各终端发送的视频I帧进行时序控制,由于发送视频帧时需要经过多层链路设备转发才能到达网络平台,导致网络平台接收的视频I帧时间存在误差,从而无法对I帧实现准确控制。本实施例在现有技术的基础上进行了有效的补充,上述步骤通过在链路设备中,根据从各终端获取的视频I帧的视频帧传输信息判断是否存在单位时间内的碰撞,并为发生碰撞的视频I帧对应的终端发送空闲时间片,控制各终端以空闲时间片为标准时间传输视频I帧,在链路设备中能够获取比网络平台更准确的视频I帧时间,解决了接收的I帧时间存在误差,从而无法对I帧实现准确控制的问题,实现了能够直接在链路设备中对各终端发送的视频I帧进行更准确的时序控制的效果。
在其中的一些实施例中,上述获取各终端中视频I帧的视频帧传输信息,包括通过接收获取各终端中视频I帧的I帧时间戳和设备标识,具体包括以下步骤:
基于LLDP协议接收各终端发送的LLDP报文。
LLDP(Link Layer Discovery Protocol,链路层发现协议)提供了一种标准的链路层发现方式,可以将本端设备的的主要能力、管理地址、设备标识、接口标识等信息组织成不同的TLV(Type/Length/Value),并封装在LLDPDU(Link Layer Discovery ProtocolData Unit,链路层发现协议数据单元)中发布给与自己直连的邻居,邻居收到这些信息后将其以标准MIB(Management Information Base,管理信息库)的形式保存起来,以供网络管理系统查询及判断链路的通信状况。其中,LLDP协议中除了必须的TLV字段以外,还包括一些可以扩展定义的TLV字段。
具体地,在本实施例中各终端在发送视频I帧之前,通过在LLDP协议中新增TLV字段传输视频I帧的I帧时间戳和设备标识,并封装在LLDPDU中进行发送,在链路设备中基于LLDP协议接收各终端发送的LLDP报文LLDPDU。
其中,新增的TLV字段格式如下表所示:
表1:
TLV Type TLV name TLV值 Usage In LLDPDU
9 I帧时间戳IframeTS utc时间 Optional
通过解析LLDP报文中的新增字段,得到I帧时间戳和设备标识。
具体地,链路设备通过学习LLDP报文,解析LLDP报文中的新增TLV字段,得到I帧时间戳IframeTS和设备标识Chassis ID。
通过本实施例中基于LLDP协议接收获取各终端视频I帧的视频帧传输信息,能够在链路设备中通过接收获取视频I帧的I帧时间戳和设备标识,以便于根据接收的I帧时间戳和设备标识进行后续判断是否发生碰撞。
在其中的一些实施例中,上述获取各终端中视频I帧的视频帧传输信息,包括采集各终端中视频I帧的流量峰值和设备标识,具体包括以下步骤:
通过采集链路设备中端口的报文信息,得到与端口对应的各终端的流量数据。
具体地,从链路设备的寄存器中读取TCP报文字节数,当链路设备是交换机时,从交换机的端口中读取报文字节数,当链路设备是无线中继器时,从无线中继器的AP(AccessPoint,无线访问节点)下对应的STA(Station,站点)读取报文字节数,根据每个端口的报文字节数可以计算得到端口相应的终端的流量数据,其他链路设备采集报文信息的原理是一致的,此处不再赘述。
通过分析流量数据,得到流量峰值和设备标识。
具体地,连续采集多个单位时间的流量数据,通过计算两个相邻采集时间点之间单位时间内流量数据的差值DeltaBytes和记录的上一个采集时间点的历史值LastBytes,建立二维数据结构Obeject[t][Device ID]对流量数据进行分析,其中Obeject表示流量数据对象,其结构为<LastBytes,DeltaBytes>,t表示时间点,Device ID表示设备标识,也就是每个终端流量数据中的Flag值,并将得到的流量峰值作为视频I帧传输的依据,流量峰值相应的Flag值也就是传输视频I帧的终端的设备标识。上述二维数据结构Obeject[t][Device ID]如下表所示:
表2:
Device ID1 Device ID2 …… Device IDm
t1 Object11 Object12 …… Object1m
t2 Object21 Object22 …… Object2m
…… …… …… …… ……
tn Objectn1 Objectn2 …… Objectnm
通过本实施例中采集得到各终端的流量数据,并通过分析流量数据中的流量峰值得到视频I帧传输的依据和相应的设备标识,以便于根据接收的I帧时间戳和设备标识进行后续判断是否发生碰撞。
需要说明的是,上述两个实施例是从各终端中获取视频I帧传输信息的两种可能的实施方式,如果有其它在上述两个实施例的基础上进行改进和变形得到的实施例能够实现以上效果,那么也属于本申请的保护范围。
在其中的一些实施例中,上述根据视频帧传输信息,以检测是否存在单位时间内的碰撞,包括以下步骤:
当视频帧传输为I帧时间戳和设备标识,将I帧时间戳以及相应的设备标识划分到对应的单位时间中,或;
当视频帧传输信息为流量峰值和设备标识,根据采集时间点确定流量峰值的时间,并将流量峰值以及相应的设备标识划分到对应的单位时间中。
具体地,I帧时间戳和流量峰值都可以表示视频I帧发送的依据,通过分别将I帧时间戳或者流量峰值划分到对应的单位时间中,可以得到每个视频I帧发送时间所在的单位时间,并且每个视频I帧相应的发送终端的设备标识也分别对应到单位时间中。
通过对单位时间中的设备标识进行监测,判断是否存在单位时间内的碰撞。
进一步地,当视频帧传输信息中为I帧时间戳和设备标识,若单位时间中已有对应的设备标识,则单位时间内存在视频I帧碰撞。
具体地,当视频帧传输为I帧时间戳和设备标识时,在监测周期中通过建立了第一多重映射表对每个单位时间中的设备标识进行监测,其中,第一多重映射表的数据结构为MulMAP1<T,Chassis ID>,T表示单位时间片,n表示单位时间片的个数,通常取n≥50,也就是表示至少有50个单位时间,通常取50个单位时间进行监测。在整个视频帧传输过程中,监测周期持续开启,并且定期进行监测数据的清零,通常设定为2s。需要说明的是,对于监测周期和单位时间个数的也可以分别设定为1s、3s或者120个单位时间,对此并不进行限制。Chassis ID表示设备标识,通常为终端的MAC地址。初始化时,其数据结构如下表所示:
表3:
T T1 T2 …… Ti …… Tn
Chassis ID NULL NULL NULL NULL NULL NULL
在监测周期中,将每个视频I帧的设备标识加入到表中每个单位时间片相应的Chassis ID中,假设此时要加入的Chassis ID与时间片Ti对应,如果MulMAP1中的Ti中的Chassis ID为空,则直接将Chassis ID加入到MulMAP1中,并且不对该Chassis ID对应终端的视频I帧发送时间进行控制,此时MulMAP1中数据如下表所示:
表4:
Figure BDA0003487343130000091
如果MulMAP1中的Ti中对应的Chassis ID不为空,则说明单位时间内存在视频I帧碰撞。
进一步地,当视频帧传输信息中为流量峰值和设备标识时,若单位时间中对应有若干设备标识,则单位时间内存在视频I帧碰撞。
具体地,当视频帧传输信息中为流量峰值和设备标识时,通过以上实施例中连续采集多个单位时间的流量数据进行监测,将流量峰值和设备标识对应到相应的单位时间中,采集结束后对监测结果进行统计,根据监测结果中每个单位时间片对应的设备标识个数判断是否发生视频I帧的碰撞,通常将MAC作为设备标识。通常连续采集50个单位时间进行监测,每个单位时间为40ms,监测时长为2s,这里只给出一种实施情况,上述时间单位的个数、每个单位时间以及监测时长可以进行适应性调整,对此不作限制。其中,监测结果可以以第二多重数据表MulMAP2<T,Device ID>的形式进行表示,其中T表示单位时间片,Device ID表示设备标识:
表5:
Figure BDA0003487343130000101
如表5所示,比如其中T2单位时间中存在多个设备标识,则说明T2单位时间中有多个终端在此单位时间中发送视频I帧,因此单位时间内存在视频I帧的碰撞。
通过本实施例中以单位时间对视频帧传输信息进行监测,能够根据每个单位时间中设备标识的存在情况判断是否在单位时间内存在视频I帧的碰撞。
在其中的一些实施例中,上述在存在单位时间内的碰撞时,为发生碰撞的视频I帧分配空闲时间片,并将空闲时间片传输至各终端,以使终端中按空闲时间片相应的标准时间传输对应的视频I帧,包括以下步骤:
当单位时间内存在碰撞时,根据发生碰撞的视频I帧所在的单位时间,以时间顺序找到下一个没有对应设备标识的单位时间,并将单位时间作为空闲时间片。
具体地,上述实施例中I帧时间戳和流量峰值在单位时间内的碰撞,都能够表示视频I帧发生碰撞。根据发生碰撞的单位时间,以单位时间片的顺序为其寻找下一个没有设备标识为空的单位时间。以视频帧传输信息为I帧时间戳和设备标识时为例的MulMAP1进行说明,为其查找下一个Chassis ID为空的时间片,假设空闲时间片为Tj,将设备标识ChassisID加入到MulMAP1中Tj对应的单位时间片中,此时MulMAP1中数据如下表所示:
表6:
Figure BDA0003487343130000102
当视频帧传输信息为流量峰值和设备标识时,流量峰值也是以与上述相似的方法在监控的单位时间中寻找下一个设备标识位为空的单位时间作为空闲时间片。
发送包含空闲时间片信息的I帧控制指令至各终端。
具体地,将控制视频I帧的指令发送给发生视频I帧碰撞的各终端,其中包含分配的空闲时间片。进一步地,当视频帧传输信息为I帧时间戳和设备标识时,可以基于LLDP协议将空闲时间片通过LLDPDU单元发送给各终端,需要知道的是,在其他实施例中还可以通过其他协议发送I帧控制指令,在此不对具体的协议进行限制。
在终端中,对空闲时间片进行解析,得到相应的标准时间,并按标准时间传输对应的视频I帧。
具体地,各终端接收到包括空闲时间片的控制指令后,解析得到其中的空闲时间片,并以该空闲时间片重新对视频I帧进行编码,得到相应的标准时间,并以该标准时间进行视频I帧的传输。其中,标准时间可以以本地时间或者世界标准时间(UTC)表示。
通过本实施例中在链路设备中为发生碰撞的视频I帧分配空闲时间片,并将空闲时间片通过控制指令发送给发生碰撞的各终端,实现了在链路设备中对各终端的视频I帧的传输进行控制,使各终端以不发生碰撞的方式进行视频I帧的传输。
下面通过优选实施例对本实施例进行描述和说明。
图4是本优选实施例的基于链路设备的视频I帧传输控制方法的流程图。如图4所示,该方法包括以下步骤:
步骤S410,在链路设备和各终端之间的LLDP协议中新增TLV字段,基于LLDP协议接收各终端发送的LLDP报文。
步骤S420,在链路设备中通过解析LLDP报文中的新增TLV字段,得到终端发送视频I帧的I帧时间戳和设备标识。
步骤S430,将I帧时间戳划分到对应的单位时间中,并将I帧时间戳对应的设备标识加入到相应的单位时间中进行监测。
具体地,每个单位时间为40ms,监测周期每2s进行清零,共有50个单位时间片,以上述实施例中表3的形式进行监测。
步骤S440,如果单位时间对应的设备标识位为空,则直接加入对应的设备标识;如果单位时间对应的设备标识位不为空,则说明发生碰撞,执行步骤S450。
步骤S450,以时间顺序找到下一个没有对应设备标识的单位时间,并将单位时间作为空闲时间片。
步骤S460,基于LLDP协议将空闲时间片通过LLDPDU单元发送给各终端,各终端根据解析得到的空闲时间片重新对视频I帧进行编码,以相应的标准时间传输视频I帧。
图5是另一个优选实施例的基于链路设备的视频I帧传输控制方法的流程图,如图5所示,方法包括以下步骤:
步骤S510,采集获取链路设备中各端口的TCP报文字节数。
步骤S520,根据报文字节数计算得到各端口相应的终端的流量数据。
步骤S530,以单位时间对流量数据进行分析,根据单位时间内的流量差值和历史流量,得到流量峰值和相应的设备标识。
具体地,以上述实施例中表2的形式对流量数据进行分析,得到单位时间内的流量差值和历史流量。
步骤S540,根据采集时间点将流量峰值划分到对应的单位时间中,并将流量峰值对应的设备标识加入到相应的单位时间中进行监测。
具体地,每个单位时间为40ms,共有50个单位时间片,对2s内的流量数据进行监测,监测结束后以上述实施例中表5的形式统计监测结果。
步骤S550,如果单位时间对应两个或两个以上的设备标识,则说明发生碰撞。
步骤S560,以时间顺序找到下一个没有对应设备标识的单位时间,并将单位时间作为空闲时间片。
步骤S570,通过控制指令将空闲时间片发送给各终端,各终端根据解析得到的空闲时间片重新对视频I帧进行编码,以相应的标准时间传输视频I帧。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中还提供了一种基于链路设备的视频I帧传输控制装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图6是本实施例的基于链路设备的视频I帧传输控制装置的结构框图,如图6所示,该装置包括:获取模块610、监测模块620以及控制模块630;
获取模块610,用于获取各终端中视频I帧的视频帧传输信息;
监测模块620,用于根据视频帧传输信息,以检测是否存在单位时间内的碰撞;
控制模块630,用于在存在单位时间内的碰撞时,为发生碰撞的视频I帧分配空闲时间片,并将空闲时间片传输至各终端,以使终端中按空闲时间片相应的标准时间传输对应的视频I帧。
通过本实施例提供的装置,根据从各终端获取的视频I帧的视频帧传输信息判断是否存在单位时间内的碰撞,并为发生碰撞的视频I帧对应的终端发送空闲时间片,控制各终端以空闲时间片为标准时间传输视频I帧,在链路设备中能够获取比网络平台更准确的视频I帧时间,解决了接收的I帧时间存在误差,从而无法对I帧实现准确控制的问题,实现了能够直接在链路设备中对各终端发送的视频I帧进行更准确的时序控制的效果。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例中还提供了一种基于链路设备的视频I帧传输控制系统,如图7所示,该系统包括:终端710、链路设备720以及网络平台730;
终端710,用于通过链路设备向网络平台传输视频帧数据,并根据链路设备发送的空闲时间片,以相应的标准时间传输视频I帧。
具体地,终端710指的是网络摄像机(IP Camera,IPC)等前端视频设备。
链路设备720,用于获取各终端中视频I帧的视频帧传输信息;根据视频帧传输信息,以检测是否存在单位时间内的碰撞;
在存在单位时间内的碰撞时,为发生碰撞的视频I帧分配空闲时间片,并将空闲时间片传输至各终端。
具体地,链路设备指的是交换机、无线中继器以及无线路由器等具有转发功能的设备。
网络平台730,用于通过链路设备从终端获取视频帧数据。
具体地,网络平台指的是解码器、NVR(Network Video Recorder,网络视频录像机)以及平台管理控制器DSS等具有一定业务功能的网络平台。
以系统中的链路设备为交换机和终端为IPC时的视频I帧的数据交互为例,对上述方法实施例在系统中的应用进行说明:
在交换机中,通过其中的LLDP消息收发模块接收各IPC基于LLDP协议发送的LLDP报文,获取各IPC中视频I帧的视频帧传输信息,然后通过碰撞监测模块检测是否存在单位时间内的碰撞,并为发生碰撞的视频I帧分配空闲时间片,并通过LLDP消息收发模块将空闲时间片基于LLDP协议发送给各IPC。
在IPC中,通过其中的LLDP消息收发模块给交换机发送和接收LLDP报文,并通过音视频模块以空闲时间片相应的标准时间对视频I帧进行编码。
在另一个与方法实施例对应的系统中,交换机通过流量监控模块读取交换机各端口的报文信息,并计算得到与各端口相应的IPC的流量数据,然后在碰撞监测模块中根据流量数据判断是否发生单位时间内的碰撞,并为发生碰撞的视频I帧分配空闲时间片,最后在IPC控制模块中通过控制指令将空闲时间片发送给各IPC;
在IPC中,通过受控模块接收交换机发送的控制指令,解析出其中包含的空闲时间片,并将空闲时间片回调给IPC中的音视频编码模块,在音视频编码模块中以空闲时间片相应的标准时间对视频I帧进行编码。
通过本实施例提供的系统,能够在链路设备中从各终端获取的视频I帧的视频帧传输信息判断是否存在单位时间内的碰撞,并为发生碰撞的视频I帧对应的终端发送空闲时间片,控制各终端以空闲时间片为标准时间向网络平台传输视频I帧,解决了在网络平台中因接收的I帧时间存在误差,从而无法对I帧实现准确控制的问题,实现了能够直接在链路设备中对各终端发送的视频I帧进行更准确的时序控制的效果。
在本实施例中还提供了一种计算机设备,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述计算机设备还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
需要说明的是,在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
此外,结合上述实施例中提供的基于链路设备的视频I帧传输控制方法,在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种基于链路设备的视频I帧传输控制方法。
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (11)

1.一种基于链路设备的视频I帧传输控制方法,其特征在于,包括:
获取各终端中视频I帧的视频帧传输信息;
根据所述视频帧传输信息,以检测是否存在单位时间内的碰撞;
在存在单位时间内的碰撞时,为发生碰撞的所述视频I帧分配空闲时间片,并将所述空闲时间片传输至各终端,以使所述终端中按所述空闲时间片相应的标准时间传输对应的所述视频I帧。
2.根据权利要求1所述的基于链路设备的视频I帧传输控制方法,其特征在于,所述获取各终端中视频I帧的视频帧传输信息,包括:
通过接收获取各终端中所述视频I帧的I帧时间戳和设备标识。
3.根据权利要求2所述的基于链路设备的视频I帧传输控制方法,其特征在于,所述通过接收获取各终端中所述视频I帧的I帧时间戳和设备标识,包括:
基于LLDP协议接收各所述终端发送的LLDP报文;
通过解析所述LLDP报文中的新增字段,得到所述I帧时间戳和设备标识。
4.根据权利要求1所述的基于链路设备的视频I帧传输控制方法,其特征在于,所述获取各终端中视频I帧的视频帧传输信息,包括:
采集各终端中所述视频I帧的流量峰值和设备标识。
5.根据权利要求4所述的基于链路设备的视频I帧传输控制方法,其特征在于,所述采集各终端中所述视频I帧的流量峰值和设备标识,包括:
通过采集链路设备中端口的报文信息,得到与所述端口对应的各终端的流量数据;
通过分析所述流量数据,得到所述流量峰值和设备标识。
6.根据权利要求1-5任意一项所述的基于链路设备的视频I帧传输控制方法,其特征在于,所述根据所述视频帧传输信息,以检测是否存在单位时间内的碰撞,包括:
当所述视频帧传输信息为I帧时间戳和设备标识,将所述I帧时间戳以及相应的所述设备标识划分到对应的单位时间中,通过对所述单位时间中的所述设备标识进行监测,判断是否存在单位时间内的碰撞,或;
当所述视频帧传输信息为流量峰值和设备标识,根据采集时间点确定所述流量峰值的时间,并将所述流量峰值以及相应的所述设备标识划分到对应的单位时间中,通过对所述单位时间中的所述设备标识进行监测,判断是否存在单位时间内的碰撞。
7.根据权利要求6所述的基于链路设备的视频I帧传输控制方法,其特征在于,所述通过对所述单位时间中的所述设备标识进行监测,判断是否存在单位时间内的碰撞,包括:
当所述视频帧传输信息中为所述I帧时间戳和设备标识,若所述单位时间中已有对应的所述设备标识,则单位时间内存在视频I帧碰撞,或;
当所述视频帧传输信息中为所述流量峰值和设备标识时,若所述单位时间中对应有若干所述设备标识,则单位时间内存在视频I帧碰撞。
8.根据权利要求1所述的基于链路设备的视频I帧传输控制方法,其特征在于,所述在存在单位时间内的碰撞时,为发生碰撞的所述视频I帧分配空闲时间片,并将所述空闲时间片传输至各终端,以使所述终端中按所述空闲时间片相应的标准时间传输对应的所述视频I帧,包括:
当单位时间内存在碰撞时,根据发生碰撞的所述视频I帧所在的单位时间,以时间顺序找到下一个没有对应所述设备标识的单位时间,并将所述单位时间作为所述空闲时间片;
发送包含所述空闲时间片信息的I帧控制指令至各所述终端;
在所述终端中,对所述空闲时间片进行解析,得到相应的标准时间,并按所述标准时间传输对应的所述视频I帧。
9.一种基于链路设备的视频I帧传输控制装置,其特征在于,包括:获取模块、监测模块以及控制模块;
获取模块,用于获取各终端中视频I帧的视频帧传输信息;
监测模块,用于根据所述视频帧传输信息,以检测是否存在单位时间内的碰撞;
控制模块,用于在存在单位时间内的碰撞时,为发生碰撞的所述视频I帧分配空闲时间片,并将所述空闲时间片传输至各终端,以使所述终端中按所述空闲时间片相应的标准时间传输对应的所述视频I帧。
10.一种计算机设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至8中任一项所述的基于链路设备的视频I帧传输控制方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的基于链路设备的视频I帧传输控制方法的步骤。
CN202210085071.0A 2022-01-25 2022-01-25 基于链路设备的视频i帧传输控制方法、装置和设备 Pending CN114567808A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210085071.0A CN114567808A (zh) 2022-01-25 2022-01-25 基于链路设备的视频i帧传输控制方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210085071.0A CN114567808A (zh) 2022-01-25 2022-01-25 基于链路设备的视频i帧传输控制方法、装置和设备

Publications (1)

Publication Number Publication Date
CN114567808A true CN114567808A (zh) 2022-05-31

Family

ID=81714132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210085071.0A Pending CN114567808A (zh) 2022-01-25 2022-01-25 基于链路设备的视频i帧传输控制方法、装置和设备

Country Status (1)

Country Link
CN (1) CN114567808A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090141800A1 (en) * 2007-11-29 2009-06-04 Larson Arnold W Transmitting Video Streams
JP2013258456A (ja) * 2012-06-11 2013-12-26 Nippon Telegr & Teleph Corp <Ntt> 処理リソース平準化装置及び処理リソース平準化方法
US20150085132A1 (en) * 2013-09-24 2015-03-26 Motorola Solutions, Inc Apparatus for and method of identifying video streams transmitted over a shared network link, and for identifying and time-offsetting intra-frames generated substantially simultaneously in such streams
US20150312651A1 (en) * 2014-04-28 2015-10-29 Honeywell International Inc. System and method of optimized network traffic in video surveillance system
CN105830445A (zh) * 2014-11-28 2016-08-03 华为技术有限公司 多视频流的传输方法和设备
CN111741276A (zh) * 2020-08-28 2020-10-02 浙江大华技术股份有限公司 一种视频设备发送关键帧的方法、视频设备和存储装置
CN111787292A (zh) * 2020-09-04 2020-10-16 浙江大华技术股份有限公司 基于多个网络摄像机的数据传输方法及相关装置
CN112399141A (zh) * 2020-10-16 2021-02-23 浙江大华技术股份有限公司 基于多个前端视频设备的数据传输方法及相关装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090141800A1 (en) * 2007-11-29 2009-06-04 Larson Arnold W Transmitting Video Streams
JP2013258456A (ja) * 2012-06-11 2013-12-26 Nippon Telegr & Teleph Corp <Ntt> 処理リソース平準化装置及び処理リソース平準化方法
US20150085132A1 (en) * 2013-09-24 2015-03-26 Motorola Solutions, Inc Apparatus for and method of identifying video streams transmitted over a shared network link, and for identifying and time-offsetting intra-frames generated substantially simultaneously in such streams
US20150312651A1 (en) * 2014-04-28 2015-10-29 Honeywell International Inc. System and method of optimized network traffic in video surveillance system
CN105049783A (zh) * 2014-04-28 2015-11-11 霍尼韦尔国际公司 视频监控系统中的优化网络业务的系统和方法
CN105830445A (zh) * 2014-11-28 2016-08-03 华为技术有限公司 多视频流的传输方法和设备
US20170264866A1 (en) * 2014-11-28 2017-09-14 Huawei Technologies Co., Ltd. Multi-Video Stream Transmission Method and Device
CN111741276A (zh) * 2020-08-28 2020-10-02 浙江大华技术股份有限公司 一种视频设备发送关键帧的方法、视频设备和存储装置
CN111787292A (zh) * 2020-09-04 2020-10-16 浙江大华技术股份有限公司 基于多个网络摄像机的数据传输方法及相关装置
CN112399141A (zh) * 2020-10-16 2021-02-23 浙江大华技术股份有限公司 基于多个前端视频设备的数据传输方法及相关装置

Similar Documents

Publication Publication Date Title
EP3313034B1 (en) Method and device for transmitting flexible ethernet service flow
US11671864B2 (en) Joint transmission method and communications apparatus
CN108259362B (zh) 流控方法、装置、cu及du
CN108696588B (zh) 一种信息的发送方法及设备
CN107302585B (zh) 一种预置字典同步方法及设备
CN112671904B (zh) 设备状态信息的传输方法及装置、存储介质、电子装置
CN105120507A (zh) 数据包监听方法和系统
KR101858543B1 (ko) 패킷 손실 감지 방법, 장치, 및 시스템
CN111867004B (zh) 一种Wi-Fi6场景下无线终端接入的方法和装置
CN107623752B (zh) 基于链路层的网络管理方法和装置
CN111108771A (zh) 数据包分发方法、发送方设备、接收方设备及存储介质
CN113784392A (zh) 通信方法、装置及系统
CN109152049A (zh) 无线资源调度方法、视频终端及接入网设备
CN108391325B (zh) 管理无线连接的方法、装置及终端
CN111711968B (zh) 报文处理方法、装置、通信设备和通信系统
CN114567808A (zh) 基于链路设备的视频i帧传输控制方法、装置和设备
US20230020974A1 (en) Service Monitoring Method, Apparatus, and System
US9887857B2 (en) Method for scheduling management operation on devices in a home network
CN111884938A (zh) 路由器信息采集方法及装置
CN111050356A (zh) 数据传输的处理方法及装置、存储介质、电子装置
CN112291076A (zh) 丢包定位方法、装置及系统、计算机存储介质
CN1642050B (zh) 基于tdma/tdd方案管理共享传输介质的方法和设备
CN110601893B (zh) 一种数据传输系统、方法和装置
CN110391923B (zh) 组播报文处理的方法以及网络设备
CN110958162A (zh) 一种ble级联网络及其链路检测方法、设备和终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination