CN110602448A - 一种实时多视角音视频传输方法 - Google Patents
一种实时多视角音视频传输方法 Download PDFInfo
- Publication number
- CN110602448A CN110602448A CN201910816958.0A CN201910816958A CN110602448A CN 110602448 A CN110602448 A CN 110602448A CN 201910816958 A CN201910816958 A CN 201910816958A CN 110602448 A CN110602448 A CN 110602448A
- Authority
- CN
- China
- Prior art keywords
- layer
- user terminal
- audio
- app
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
- G05D3/12—Control of position or direction using feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
一种实时多视角音视频传输方法,其包括:S1:开机连接:设备层上电之后,处于待机状态,同时固定间隔发送UDP数据包;用户终端的APP数据处理层基于设备层发送的UDP数据包建立管理机制,开机后根据接收到的UDP数据包自动搜索接入无线网络的设备数量、选择需要接入无线网络的设备、发送TCP协议到目标设备建立连接;S2:断开重连:设备层固定发送UDP数据包,用户终端保持监测UDP数据包中的设备连接信息;当APP数据处理层发现设备层断开连接之后,其内部自动停止相关操作,终止正在进行的进程,并显示为“未连接”,直到设备层重新接入网络,APP层才会正常运行程序。本发明可应用于短距离无线设备之间通信、具有可靠通信质量。
Description
技术领域
本发明主要涉及到网路通信种数据传输领域,特指一种实时多视角音视频传输方法。
背景技术
网络多媒体通信是由网络与传统通信相结合的一种崭新的通信技术,在数字信息汇聚的网络时代发挥着愈加重要的作用。其中伴随无线传输和音视频编解码等技术的日渐成熟,无线多媒体通信成为了当今通信领域的一个热点,被广泛用在了各种各样的场合中。例如近些年自然地质灾害频繁发生,基于移动基站的传统通信作用甚微,通过建立音视频无线传输就很好地解决了这一通讯难题。
传统的IP协议在计算机之间传输数据的过程中不包含针对数据误码的检错和纠错功能,因此无法保证数据交换的可靠性,因此有从业者设计了一种面向连接的传输层协议,即 TCP协议,并将此协议与IP协议相结合就形成了总所周知的TCP/IP协议。与TCP协议类似,UDP协议也是一种在IP协议的基础上建立起来的一种传输层协议,所不同的是 UDP并不是一种面向连接的协议,因此可以避免数据传输过程中对连接的维护,因此有着更高的传输效率,另外使用 UDP 协议可以实现数据的广播传输,这一点是 TCP 协议所不具备的优势。
发明内容
本发明要解决的技术问题就在于:针对现有技术存在的技术问题,本发明提供一种可应用于短距离无线设备之间通信、具有可靠通信质量的实时多视角音视频传输方法。
为解决上述技术问题,本发明采用以下技术方案:
一种实时多视角音视频传输方法,其包括:
S1:开机连接:
设备层上电之后,处于待机状态,同时固定间隔发送UDP数据包;用户终端的APP数据处理层基于设备层发送的UDP数据包建立管理机制,开机后根据接收到的UDP数据包自动搜索接入无线网络的设备数量、选择需要接入无线网络的设备、发送TCP协议到目标设备建立连接;
S2:断开重连:
设备层固定发送UDP数据包,用户终端保持监测UDP数据包中的设备连接信息;当APP数据处理层发现设备层断开连接之后,其内部自动停止相关操作,终止正在进行的进程,并显示为“未连接”,直到设备层重新接入网络,APP层才会正常运行程序。
作为本发明的进一步改进:在建立连接的过程中实施 “握手机制”,包括设备层和用户终端之间进行的“用户终端发送同步信号”、“设备层确认同步信号”、“用户终端确认信号”三次交互过程。
作为本发明的进一步改进:还包括S3:电机旋转控制机制和角度置零机制,所述设备层中音视频采集模块的摄像头由电机驱动旋转用以实现多角度视频采集;在用户终端下达控制电机旋转指令之后,传输协议层执行指令;在用户终端下达角度置零指令之后,传输协议层执行指令。
作为本发明的进一步改进:还包括S4:语音下行传输控制机制,用户终端下达相关指令之后,传输协议层执行指令,信号处理与控制模块部分控制语音下行传输启动、停止以及获取电量信息。
作为本发明的进一步改进:还包括S5:心跳检测机制,设定信号处理与控制模块部分的GPIO接口每隔两秒改变输出电平水平,APP数据处理层检测其输出是否规律变化,作为检测音视频无线传输模块是否存在的依据。
作为本发明的进一步改进:还包括S6:数据上传机制,音视频无线传输模块上传数据信息为8字节,选择其中的第三、四位作为电量显示,第五、六位作为电机旋转角度显示。
与现有技术相比,本发明的优点在于:
1、本发明的实时多视角音视频传输方法,基于成熟的WIFI传输技术,为一种实时多视角音视频传输方案。本发明为了实现传输快速、稳定,共同使用了TCP面向传输协议和UDP传输协议,并在此基础上建立完善的控制机制、传输机制。
2、本发明的实时多视角音视频传输方法,可用于救灾搜寻、应急通信、远程监控等领域的音视频无线传输方案,并建立了完善的控制机制、连接机制,主要包括:开机连接机制、断开重连机制、电机旋转控制协议、电机旋转角度置零控制协议、语音下行传输控制协议、心跳检测协议以及数据上传显示协议。本发明实现了音视频信号采集、传输、接收上行单向传播以及语音信号的下行传播,可应用于短距离的需要数据交换的无线设备之间的通信,通信距离可达数百米。本发明为基于2.4G无线通信协议的音视频稳定传输提供了保障与帮助。
附图说明
图1是本发明方法在具体应用实例中流程示意图。
图2是本发明方法在具体应用实例中电机旋转控制机制和角度置零机制的原理示意图。
图3是本发明方法在具体应用实例中下行传输控制机制的原理示意图。
图 4是本发明方法在具体应用实例中原理示意图。
具体实施方式
以下将结合说明书附图和具体实施例对本发明做进一步详细说明。
本发明的方案采用2.4G无线通信协议,在具体应用实例中音视频传输主要包括信号采集与输出模块、信号处理与控制模块、无线设备发送模块、无线设备接收模块。本发明主要用来实现音视频信号采集、传输、接收上行单向传播以及语言信号的下行传播。
如图1和图4所示,本发明的一种实时多视角音视频传输方法,包括:
S1:开机连接:
设备层上电之后,处于待机状态,同时固定间隔发送UDP数据包;用户终端的APP数据处理层基于设备层发送的UDP数据包建立管理机制,开机后根据接收到的UDP数据包自动搜索接入无线网络的设备数量、选择需要接入无线网络的设备、发送TCP协议到目标设备建立连接。
由于UDP数据包资源消耗小,在数据传输过程中延迟小、传输效率高,因此被选择传输设备层的相关网络状态信息。
S2:断开重连:
设备层固定发送UDP数据包,用户终端保持监测UDP数据包中的设备连接信息,针对设备断开之后重新连接制定了应对处理措施,具体流程图如图1。APP数据处理层发现设备层断开连接之后,其内部自动停止相关操作,终止正在进行的进程,并显示为“未连接”,直到设备层重新接入网络,APP层才会正常运行程序。这种APP层的“断开重连”机制既实时通知了用户设备的连接情况,又针对设备断开及时作出处理、避免了由于设备断开造成的程序运行故障。
在具体应用实例中,本发明在建立连接的过程中实施 “握手机制”,即“三次握手机制”,属于TCP传输控制协议中的一部分。基于TCP传输协议的面向传输特点,设备层和用户终端之间要进行“用户终端发送同步信号”、“设备层确认同步信号”、“用户终端确认信号”三次交互过程。这样既确保了用户终端和设备层之间发送、接收的同步,又为数据的传输提供了可靠的保障。
在具体应用实例中,本发明的方法还包括:
S3:电机旋转控制机制和角度置零机制。
所述设备层音视频采集模块的摄像头由电机驱动旋转、可实现多角度视频采集,此处的控制方法包括电机旋转控制方法和角度置零方法。
如图2所示,用户终端下达控制电机旋转指令之后,传输协议层执行指令,信号处理与控制模块部分(MCU)的GPIO接口3和4输出对应电平,控制电机旋转;如具体操作为:GPIO接口3和4分别输出高、低电平,电机启动正向旋转;GPIO接口3和4分别输出低、高电平,电机启动反向旋转;GPIO接口3和4分别输出低、低电平,电机停止旋转。
用户终端下达角度置零指令之后,传输协议层执行指令,信号处理与控制模块部分(MCU)的GPIO接口5输出对应电平,控制电机旋转角度置零,如具体操作为:GPIO接口5输出高电平,设置电机当前角度为零度;GPIO接口5输出低电平,电机角度设置完成。
在具体应用实例中,本发明的方法还包括:
S4:语音下行传输控制机制。
如图3所示,用户终端下达相关指令之后,传输协议层执行指令,信号处理与控制模块部分(MCU)的GPIO接口0和1输出对应电平,控制语音下行传输启动、停止以及获取电量信息。如具体操作为:GPIO接口0和1分别输出低、高电平,启动语音下行;GPIO接口0和1分别输出高、低电平,获取电量信息;GPIO接口0和1分别输出低电平,停止语音下行。
在具体应用实例中,本发明的方法还包括:
S5:心跳检测机制。
设定信号处理与控制模块部分(MCU)的GPIO接口2每隔两秒改变输出电平水平,APP数据处理层检测其输出是否规律变化,作为检测音视频无线传输模块是否存在的依据。
在具体应用实例中,本发明的方法还包括:
S6:数据上传机制。
音视频无线传输模块上传数据信息为8字节,选择其中的第三、四位作为电量显示,第五、六位作为电机旋转角度显示。
在具体应用过程中,本发明的方案在进行实际测试中,分别在用户终端距离设备端10m、50m、100m、200m、250m,300m处进行视频传输及语音对讲测试,每个测试点进行20分钟连续传输测试。测试结果显示,用户终端距离设备端在200m以内时,图像信号流畅,无明显卡顿现象,图像延迟小于0.5s,语音信号清晰稳定,无杂音,无明显失真,系统工作过程中连接稳定,未出现断开连接等异常;在250m和300m处测试中,图像传输偶尔有卡顿现象,图像传输有1s左右延迟,语音信号较清晰,无明显失真,系统工作较稳定,300米处测试期间出现1次断开连接现象。因此,本发明在200米以内信号传输可靠,工作性能稳定,可完全满足应急通信系统应用需求。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (6)
1.一种实时多视角音视频传输方法,其特征在于,包括:
S1:开机连接:
设备层上电之后,处于待机状态,同时固定间隔发送UDP数据包;用户终端的APP数据处理层基于设备层发送的UDP数据包建立管理机制,开机后根据接收到的UDP数据包自动搜索接入无线网络的设备数量、选择需要接入无线网络的设备、发送TCP协议到目标设备建立连接;
S2:断开重连:
设备层固定发送UDP数据包,用户终端保持监测UDP数据包中的设备连接信息;当APP数据处理层发现设备层断开连接之后,其内部自动停止相关操作,终止正在进行的进程,并显示为“未连接”,直到设备层重新接入网络,APP层才会正常运行程序。
2.根据权利要求1所述的实时多视角音视频传输方法,其特征在于,在建立连接的过程中实施 “握手机制”,包括设备层和用户终端之间进行的“用户终端发送同步信号”、“设备层确认同步信号”、“用户终端确认信号”三次交互过程。
3.根据权利要求1或2所述的实时多视角音视频传输方法,其特征在于,还包括S3:电机旋转控制机制和角度置零机制,所述设备层中音视频采集模块的摄像头由电机驱动旋转用以实现多角度视频采集;在用户终端下达控制电机旋转指令之后,传输协议层执行指令;在用户终端下达角度置零指令之后,传输协议层执行指令。
4.根据权利要求1或2所述的实时多视角音视频传输方法,其特征在于,还包括S4:语音下行传输控制机制,用户终端下达相关指令之后,传输协议层执行指令,信号处理与控制模块部分控制语音下行传输启动、停止以及获取电量信息。
5.根据权利要求1或2所述的实时多视角音视频传输方法,其特征在于,还包括S5:心跳检测机制,设定信号处理与控制模块部分的GPIO接口每隔两秒改变输出电平水平,APP数据处理层检测其输出是否规律变化,作为检测音视频无线传输模块是否存在的依据。
6.根据权利要求1或2所述的实时多视角音视频传输方法,其特征在于,还包括S6:数据上传机制,音视频无线传输模块上传数据信息为8字节,选择其中的第三、四位作为电量显示,第五、六位作为电机旋转角度显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910816958.0A CN110602448B (zh) | 2019-08-30 | 2019-08-30 | 一种实时多视角音视频传输方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910816958.0A CN110602448B (zh) | 2019-08-30 | 2019-08-30 | 一种实时多视角音视频传输方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110602448A true CN110602448A (zh) | 2019-12-20 |
CN110602448B CN110602448B (zh) | 2021-10-22 |
Family
ID=68857038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910816958.0A Active CN110602448B (zh) | 2019-08-30 | 2019-08-30 | 一种实时多视角音视频传输方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110602448B (zh) |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101068147A (zh) * | 2007-02-09 | 2007-11-07 | 腾讯科技(深圳)有限公司 | 一种网络通信中控制建立终端连接的方法 |
US20080231708A1 (en) * | 2007-01-29 | 2008-09-25 | Sony Corporation | Network apparatus, sound data transmission method, sound data transmission program, monitoring apparatus and security camera system |
CN101488967A (zh) * | 2009-01-14 | 2009-07-22 | 深圳市同洲电子股份有限公司 | 一种视频传输方法、嵌入式监控终端及监控平台服务器 |
CN101795399A (zh) * | 2010-03-10 | 2010-08-04 | 深圳市同洲电子股份有限公司 | 一种监控代理系统、车载监控设备及车载数字监控系统 |
CN101802843A (zh) * | 2007-07-13 | 2010-08-11 | 霍尼韦尔国际公司 | 视频分析中的特征 |
CN102566558A (zh) * | 2012-02-21 | 2012-07-11 | 南京农业大学 | 基于Android平台的智能温室管理系统及其方法 |
CN103166974A (zh) * | 2013-03-28 | 2013-06-19 | 浙江理工大学 | 一种基于tcp/udp混合协议的流媒体无线传输方法 |
CN103823421A (zh) * | 2012-11-19 | 2014-05-28 | 西安众智惠泽光电科技有限公司 | 煤矿井下安全生产智能监控系统 |
CN104202414A (zh) * | 2014-09-17 | 2014-12-10 | 合一网络技术(北京)有限公司 | 基于udp的可靠传输方法 |
CN104243924A (zh) * | 2014-09-19 | 2014-12-24 | 陕西易阳科技有限公司 | 一种智能交通视频监控系统 |
CN105391718A (zh) * | 2015-11-19 | 2016-03-09 | 小红象医疗科技有限公司 | 一种红外医学影像无线传输的实现方法 |
CN106303449A (zh) * | 2016-08-29 | 2017-01-04 | 上海航盛实业有限公司 | 一种视频通信方法 |
CN106713852A (zh) * | 2016-12-08 | 2017-05-24 | 南京邮电大学 | 一种多平台无线车载监控系统 |
US20170309088A1 (en) * | 2016-04-20 | 2017-10-26 | Gopro, Inc. | Data Logging in Aerial Platform |
CN107612947A (zh) * | 2017-11-03 | 2018-01-19 | 北京微视酷科技有限责任公司 | 一种虚拟现实设备间同步的通信方法及系统 |
CN107728595A (zh) * | 2017-11-28 | 2018-02-23 | 河南职业技术学院 | 一种基于物联网的婴幼儿智能家居监护系统 |
CN108924506A (zh) * | 2018-08-01 | 2018-11-30 | 广州视源电子科技股份有限公司 | 录播系统的连接方法、装置、录播主机及摄像设备 |
CN208890907U (zh) * | 2018-10-16 | 2019-05-21 | 深圳市亿联智能有限公司 | 一种同时具备长焦与广角镜头的智能网络摄像头 |
CN109819162A (zh) * | 2019-01-22 | 2019-05-28 | 桂林飞宇科技股份有限公司 | 一种摄像云台系统的拍摄控制系统及方法 |
-
2019
- 2019-08-30 CN CN201910816958.0A patent/CN110602448B/zh active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080231708A1 (en) * | 2007-01-29 | 2008-09-25 | Sony Corporation | Network apparatus, sound data transmission method, sound data transmission program, monitoring apparatus and security camera system |
CN101068147A (zh) * | 2007-02-09 | 2007-11-07 | 腾讯科技(深圳)有限公司 | 一种网络通信中控制建立终端连接的方法 |
CN101802843A (zh) * | 2007-07-13 | 2010-08-11 | 霍尼韦尔国际公司 | 视频分析中的特征 |
CN101488967A (zh) * | 2009-01-14 | 2009-07-22 | 深圳市同洲电子股份有限公司 | 一种视频传输方法、嵌入式监控终端及监控平台服务器 |
CN101795399A (zh) * | 2010-03-10 | 2010-08-04 | 深圳市同洲电子股份有限公司 | 一种监控代理系统、车载监控设备及车载数字监控系统 |
CN102566558A (zh) * | 2012-02-21 | 2012-07-11 | 南京农业大学 | 基于Android平台的智能温室管理系统及其方法 |
CN103823421A (zh) * | 2012-11-19 | 2014-05-28 | 西安众智惠泽光电科技有限公司 | 煤矿井下安全生产智能监控系统 |
CN103166974A (zh) * | 2013-03-28 | 2013-06-19 | 浙江理工大学 | 一种基于tcp/udp混合协议的流媒体无线传输方法 |
CN104202414A (zh) * | 2014-09-17 | 2014-12-10 | 合一网络技术(北京)有限公司 | 基于udp的可靠传输方法 |
CN104243924A (zh) * | 2014-09-19 | 2014-12-24 | 陕西易阳科技有限公司 | 一种智能交通视频监控系统 |
CN105391718A (zh) * | 2015-11-19 | 2016-03-09 | 小红象医疗科技有限公司 | 一种红外医学影像无线传输的实现方法 |
US20170309088A1 (en) * | 2016-04-20 | 2017-10-26 | Gopro, Inc. | Data Logging in Aerial Platform |
CN106303449A (zh) * | 2016-08-29 | 2017-01-04 | 上海航盛实业有限公司 | 一种视频通信方法 |
CN106713852A (zh) * | 2016-12-08 | 2017-05-24 | 南京邮电大学 | 一种多平台无线车载监控系统 |
CN107612947A (zh) * | 2017-11-03 | 2018-01-19 | 北京微视酷科技有限责任公司 | 一种虚拟现实设备间同步的通信方法及系统 |
CN107728595A (zh) * | 2017-11-28 | 2018-02-23 | 河南职业技术学院 | 一种基于物联网的婴幼儿智能家居监护系统 |
CN108924506A (zh) * | 2018-08-01 | 2018-11-30 | 广州视源电子科技股份有限公司 | 录播系统的连接方法、装置、录播主机及摄像设备 |
CN208890907U (zh) * | 2018-10-16 | 2019-05-21 | 深圳市亿联智能有限公司 | 一种同时具备长焦与广角镜头的智能网络摄像头 |
CN109819162A (zh) * | 2019-01-22 | 2019-05-28 | 桂林飞宇科技股份有限公司 | 一种摄像云台系统的拍摄控制系统及方法 |
Non-Patent Citations (2)
Title |
---|
冯蕾等: "基于Android系统的智能呼吸机远程终端设计 ", 《工业控制计算机》 * |
包老头子: "android UDP多点广播,并自动建立Socket连接", 《HTTPS://BLOG.CSDN.NET/LUZHENRONG45/ARTICLE/DETAILS/8907378》 * |
Also Published As
Publication number | Publication date |
---|---|
CN110602448B (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8219721B2 (en) | Mobile terminal and switching method for controlling data transmission via high speed or low speed interfaces based on preset threshold | |
CN102223257B (zh) | 一种心跳间隔调整方法、服务器、客户端及通信系统 | |
CN102684949B (zh) | 一种长连接下心跳数据包的处理方法、装置和客户端 | |
WO2017063454A1 (zh) | 一种便携终端及其辅助卫星天线对星方法、装置 | |
CN106817679B (zh) | 基于无线通信技术的用于定位服务的网络系统 | |
CN105187761A (zh) | 一种Wi-Fi监控系统及其监控方法 | |
CN102064605B (zh) | 一种实现电能量采集系统互为热备的方法 | |
CN110602448B (zh) | 一种实时多视角音视频传输方法 | |
CN102811451B (zh) | 一种Capwap隧道连接控制方法及装置 | |
CN202121684U (zh) | 具有无线传输功能的照相机 | |
CN102917212A (zh) | 一种基于rtp和rtsp的3g无线视频监控实现方法及系统 | |
CN203984577U (zh) | 变电站视频监控主机自动对时系统 | |
CN105872673A (zh) | 多媒体数据显示方法及装置 | |
CN105141897A (zh) | 一种远程视频监控系统及方法 | |
CN107147917A (zh) | 用于获取视频的方法、移动终端和系统 | |
CN109756933B (zh) | 一种实现低功耗通信的方法及装置 | |
CN101877787A (zh) | 基于3g网络的视频无线传输监控系统和方法 | |
Zheng et al. | Energy efficient image transmission using wireless embedded smart cameras | |
CN113115416A (zh) | 一种门铃设备的控制方法、装置及系统 | |
CN112867017A (zh) | 无信号区数据交互链路建立方法及装置 | |
CN216086862U (zh) | 图像监视系统接口板设备 | |
CN107454462B (zh) | 一种数据传输方法、装置及系统 | |
CN111866913B (zh) | 无线配置方法及配置系统 | |
CN105791223A (zh) | 一种媒体流数据的处理方法及系统、电子设备 | |
CN111225455A (zh) | 一种基于4g网络的无线终端设备及无线数据传输方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |