CN113066099B - 一种基于球形坐标系的摄像机标签轨迹跟随方法 - Google Patents

一种基于球形坐标系的摄像机标签轨迹跟随方法 Download PDF

Info

Publication number
CN113066099B
CN113066099B CN201911283580.9A CN201911283580A CN113066099B CN 113066099 B CN113066099 B CN 113066099B CN 201911283580 A CN201911283580 A CN 201911283580A CN 113066099 B CN113066099 B CN 113066099B
Authority
CN
China
Prior art keywords
camera
label
spherical
tag
video picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911283580.9A
Other languages
English (en)
Other versions
CN113066099A (zh
Inventor
钟由彬
宋建江
邵丹
卜剑勇
谭志标
任宇
任亚鹏
王和山
肖建林
王禄杨
林觐誉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiyun Rongju Guangzhou Technology Co ltd
Original Assignee
Shiyun Rongju Guangzhou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiyun Rongju Guangzhou Technology Co ltd filed Critical Shiyun Rongju Guangzhou Technology Co ltd
Priority to CN201911283580.9A priority Critical patent/CN113066099B/zh
Publication of CN113066099A publication Critical patent/CN113066099A/zh
Application granted granted Critical
Publication of CN113066099B publication Critical patent/CN113066099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于球形坐标系的摄像机标签轨迹跟随方法,该方法包括以下步骤:D1:将球型监控摄像机的镜头表面虚拟成一个地球仪形状的S2球面;D2:外界的影像画面投影平铺在S2球面上,形成一个S2球面影像;D3:选择一个实际物体作为标签,获取该标签的经纬度信息t;D4:通过标签移动轨迹模型,画出不同T值下各t值的标签运动轨迹,模拟视频画面中物体移动的轨迹,进而获取视频画面中标签的位置。本发明将球型监控摄像机的镜头表面虚拟成一个地球仪形状的S2球面,然后选择一个参照物作为标签,通过模型和和摄像机的相关参数迅速准确地获得的标签在视频画面中位置,能够直观并高效地在通过监控系统对辖区进行监视。

Description

一种基于球形坐标系的摄像机标签轨迹跟随方法
技术领域
本发明涉及视频领域,具体涉及一种基于球形坐标系的摄像机标签轨迹跟随方法。
背景技术
在现有的视频监控管理系统中,为方便对视频元素进行管理,用户更倾向于使用标签直接标记视频元素。通常的摄像机视频管理系统不具备有对标签进行跟踪移动的功能,用户若要在屏幕上做下标记,无疑是刻舟求剑。为了能令视频管理中的标签能在摄像机转动的同时跟随视频画面进行移动,需要开发一套算法记录视频画面的移动,并实时更新标签的位置。
在现有技术中,普遍存在着算法冗余繁杂,消耗计算资源过大的缺点,这导致了在运行过程中出现不可避免的卡顿,影响用户体验。同时现有技术缺乏发展潜能,适应性较弱。因此需要设计一套计算资源消耗少,运行流畅的算法来记录视频画面的移动,并实时更新标签的位置。
发明内容
为了解决上述技术问题,本发明的提供一种一套计算资源消耗少,运行流畅的种基于球形坐标系的摄像机标签跟随方法。
为实现上述目的,本发明采取的技术方案如下:一种基于球形坐标系的摄像机标签轨迹跟随方法,该方法包括以下步骤:
D1:将球型监控摄像机的镜头表面虚拟成一个地球仪形状的S2球面;
D2:外界的影像画面投影平铺在S2球面上,形成一个S2球面影像;
D3:选择一个实际物体作为标签,获取该标签的经纬度信息t;
D4:通过标签移动轨迹模型,画出不同T值下各t值的标签运动轨迹,模拟视频画面中物体移动的轨迹,进而获取视频画面中标签的位置,其中画出不同T值下各t值的标签运动轨迹的具体步骤如下:
D4-1:首先根据摄像机的水平视场角h,计算得到摄像机最大可视半径Z[0]:
X为视频画面分辨率的长像素值;
D4-2:其次,根据最大可视半径Z[0],计算在该Z值下,影像画面上单位像素长度Z[1]:
D4-3:最后,根据最大可视半径Z[0]和单位像素Z[1],利用三角函数及圆的参数方程进行建模,得到了标签移动轨迹模型的公式:
其中,Rx为S2球面的长轴,Ry为S2球面的短轴,P为摄像机转动过程中水平旋转的角度,T为摄像机转动过程中倾斜的角度。
优选地,设定S2球面中经度划分为360度,纬度划分为上半球-90度和下半球+90度,子午线与赤道交点处的位置为(0,0)。
优选地,在T=90°时,视屏画面中的所有纬线都是圆心在同一点的同心圆;
随着T的减小,纬线在压椭的同时,圆心上移,在t=0°时,纬线圆心上移到赤道平面。
优选地,所述S2球面对应求体的球心位置(Ox,Oy)的方程如下:
其中,Ox为固定的X/2,而Oy则由三角函数决定其在不同t和T值下的圆心位置。
优选地,依靠标签的p值,通过定位方程模型计算出最终标签在视频画面中的位置(x,y),所述定位方程模型公式如下:
其中,t>30°,Y为视频画面分辨率的宽像素值。
优选地,当-30°<t<30°时,所述定位方程模型公式为:
其中,a和b为经验值,用于在不同的焦距下对标签的定位进行调整,以达到误差最小化;a值取[1,4],b值取[0,2]。
本发明有益的技术效果:本发明将球型监控摄像机的镜头表面虚拟成一个地球仪形状的S2球面,然后选择一个参照物作为标签,通过模型和和摄像机的相关参数就能迅速并准确地获得的标签在视频画面中位置,整体计算资源消耗少,运行流畅并且能够直观并高效地在通过监控系统对辖区进行监视。
附图说明
图1为本发明的一种基于球形坐标系的摄像机标签轨迹跟随方法的步骤流程图。
图2为本发明中影像画面和视频画面的示意图。
图3为本发明中虚拟的S2球面示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例对本发明进行进一步详细说明,但本发明要求保护的范围并不局限于下述具体实施例。
要实现在视频画面中标签跟随摄像机转动而移动,首先必须了解摄像机成像的原理和规律。以球型监控摄像机为例,摄影机获取到的外部空间的影像,可以理解为一个二维的平面。摄像机观察外部影像,就如同在地球的核心观察地面的画面,摄像机在不同的焦距下截取到一个相应视场角的影像投影,即为我们看到的视频画面。在此理论基础上引申出本发明的设计方法。
如图1-3所示,一种基于球形坐标系的摄像机标签轨迹跟随方法,该方法包括以下步骤:
D1:将球型监控摄像机的镜头表面虚拟成一个地球仪形状的S2球面;
将镜头表面虚拟成一个地球仪表面后,可以利用利用经纬度信息来确定画面上的位置。
D2:外界的影像画面投影平铺在S2球面上,形成一个S2球面影像;
此时在该球面上,我们可以利用经纬度对影像中的物体进行定位,类似于地球,但不同的是,我们把经度划分为360度,把纬度划分为上半球-90度和下半球+90度。如子午线与赤道交点处的位置为(0,0)。
D3:选择一个实际物体作为标签,获取该标签的经纬度信息t;
D4:通过标签移动轨迹模型,画出不同T值下各t值的标签运动轨迹,模拟视频画面中物体移动的轨迹,进而获取视频画面中标签的位置,其中画出不同T值下各t值的标签运动轨迹的具体步骤如下:
开始计算运动轨迹及物体位置前,我们需要通过摄像机的焦距获得相应的几个重要参数。摄像机焦距决定的是视频画面中的视角大小,比如当焦距为1时,视频的水平视角为56.78°。
D4-1:首先根据摄像机的水平视场角h,计算得到摄像机最大可视半径Z[0]:
X为视频画面分辨率的长像素值;
D4-2:其次,根据最大可视半径Z[0],计算在该Z值下,影像画面上单位像素长度Z[1]:
如果视角缩小到极小,影像画面与投影画面接近重合的情况下,Z[1]值近似于视频画面中的每一度的单位像素。当然在视角放大时,Z[1]会随着距离画面中心越远而不再适用,对此改进的方法在后面会提出。
D4-3:最后,根据最大可视半径Z[0]和单位像素Z[1],利用三角函数及圆的参数方程进行建模,得到了标签移动轨迹模型的公式:
其中,Rx为S2球面的长轴,Ry为S2球面的短轴,P为摄像机转动过程中水平旋转的角度,T为摄像机转动过程中倾斜的角度。
方程(3)包含了椭圆的长轴和短轴两个方程式,因为在纬线压椭的过程中,可以观察到的是纬线的长轴,即水平半径是不会随T值变化的,而纵向半径会随着T值减小而缩短,缩短的规律符合sin函数。获得了运动轨迹的长短轴,我们就能轻松地画出在不同T值各t值的标签运动轨迹。
以上方法的理论基础如下:
以S2球面中一点为基准,取该点与S2球面相切的平面,由球体中心将球面上的影像画面投影到该平面中,所得到的就是视频画面。在每个不同的经纬度下,有不同的切点,即不同的投影切平面。我们常用的球型摄像机的运动主要由两个轴决定,水平360度旋转,垂直90度倾斜,依靠P值决定摄像机水平旋转的角度,依靠T值决定倾斜的角度。由此引申,得到的球型摄像机的成像规律和特点如下:
(1)摄像机的PT值,对应S2球面中的经纬度,通常视频画面中的中心点即S2球面与投影切平面的切点,也是摄像机PT值所对应的点。
(2)影像画面指的是S2球面上的画面,是曲面的,投影到S2球面上的切平面后,得到的就是视频画面,是平面的。
(3)影响画面从球面投影到切平面中,曲面图像平铺在平面造成了扭曲,因此,结合球型摄像机的运动规律,在视频画面中,除了赤道和视频画面中间的y轴,在只改变P值和T值的情况下,其余物体的移动都是曲线的。
(4)平铺后的画面,由于投影的特性,摄像机转动一度时,标签在视频画面中心和边缘移动的单位距离有所不同,边缘处移动的单位距离要比中心点的单位距离大。
另外,经纬度线可以视为摄像机在只改变P值或T值时物体运动的轨迹,因此,为了找到物体曲线移动的规律,
我们可以从S2球面的纬线进行观察并得出规律。
从视角的剖面图我们可以发现,随着T值的减小,纬线圆圈的圆心位置也发生着变化,从球体的低端慢慢上移到球体中心的位置,这也是纬线最终在赤道程序为一条直线的根本原因。在此我们会发现两个规律,
一是圆形轨迹压椭规律,二是圆心上移规律。
依靠这两个规律,我们可以定义一个轨迹方程和相应的方法,画出在不同T值下在不同纬度的纬线,模拟视频画面中物体移动的轨迹,进而获取视频画面中物体的位置。
优选地,设定S2球面中经度划分为360度,纬度划分为上半球-90度和下半球+90度,子午线与赤道交点处的位置为(0,0)。
进一步要实现纬线圆心上移的规律。我们通过观察,可以得知的是,在T=90°时,视屏画面中的所有纬线都是圆心在同一点的同心圆。随着T的减小,纬线在压椭的同时,圆心上移,在T=0°时可以明显发现t=0°的纬线圆心已上移到赤道平面,以此类推。
建立一个方程,用以决定纬线圆心所在位置(Ox,Oy),方程如下:
在该方程中,由于圆在水平方向上没有变动,Ox为固定的X/2,而Oy则由三角函数决定其在不同t和T值下的圆心位置。
优选地,依靠标签的p值,通过定位方程模型计算出最终标签在视频画面中的位置(x,y),所述定位方程模型公式如下:
其中,t>30°,Y为视频画面分辨率的宽像素值。
借助方程(5),我们就能实现在T=90度时标签做圆周移动,在T=0度时标签做直线移动的效果了。该方程仅解决了影像画面上的精确定位,因为影像画面由球面投影到切平面形成视频画面时,影像会发生扭曲,平铺的画面使得摄像机转动一度时,标签在视频画面边缘移动的单位距离较中的大。在此我们在对定位方程进行进一步改进:
当-30°<t<30°时,所述定位方程模型公式为:
最终的标签定位方程中包含了两个经验值a和b,可用于在不同的焦距下对标签的定位进行调整,以达到误差最小化。通常a值取[1,4],b值取[0,2]。改进后的算法仅适用于-30°<t<30°这一区间,在t>30°后,改进算法会随着|p-P|的增大而产生更大的误差,此时用回原定位方程(5)能减少误差的产生。
根据上述说明书的揭示和教导,本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此,本发明并不局限于上面揭示和描述的具体实施方式,对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外,尽管本说明书中使用了一些特定的术语,但这些术语只是为了方便说明,并不对发明构成任何限制。

Claims (1)

1.一种基于球形坐标系的摄像机标签轨迹跟随方法,其特征在于,该方法包括以下步骤:
D1:将球型监控摄像机的镜头表面虚拟成一个地球仪形状的S2球面;
D2:外界的影像画面投影平铺在S2球面上,形成一个S2球面影像;
D3:选择一个实际物体作为标签,获取该标签的经纬度信息t;
D4:通过标签移动轨迹模型,画出不同T值下各t值的标签运动轨迹,模拟视频画面中物体移动的轨迹,进而获取视频画面中标签的位置,其中画出不同T值下各t值的标签运动轨迹的具体步骤如下:
D4-1:首先根据摄像机的水平视场角h,计算得到摄像机最大可视半径Z[0]:
X为视频画面分辨率的长像素值;
D4-2:其次,根据最大可视半径Z[0],计算在该Z值下,影像画面上单位像素长度Z[1]:
D4-3:最后,根据最大可视半径Z[0]和单位像素Z[1],利用三角函数及圆的参数方程进行建模,得到了标签移动轨迹模型的公式:
其中,Rx为S2球面的长轴,Ry为S2球面的短轴,T为摄像机转动过程中倾斜的角度;设定S2球面中经度划分为360度,纬度划分为上半球-90度和下半球+90度,子午线与赤道交点处的位置为(0,0);
在T=90°时,视屏画面中的所有纬线都是圆心在同一点的同心圆;
随着T的减小,纬线在压椭的同时,圆心上移,在T=0°时,纬线圆心上移到赤道平面;
所述S2球面对应球体的球心位置(Ox,Oy)的方程如下:
其中,Ox为固定的X/2,而Oy则由三角函数决定其在不同t和T值下的圆心位置,Y为视频画面分辨率的宽像素值;
依靠标签的p值,通过定位方程模型计算出最终标签在视频画面中的位置(x,y),所述定位方程模型公式如下:
其中,t>30°,P为摄像机转动过程中水平旋转的角度;
当-30°<t<30°时,所述定位方程模型公式为:
其中,a和b为经验值,用于在不同的焦距下对标签的定位进行调整,以达到误差最小化;a值取[1,4],b值取[0,2]。
CN201911283580.9A 2019-12-13 2019-12-13 一种基于球形坐标系的摄像机标签轨迹跟随方法 Active CN113066099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911283580.9A CN113066099B (zh) 2019-12-13 2019-12-13 一种基于球形坐标系的摄像机标签轨迹跟随方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911283580.9A CN113066099B (zh) 2019-12-13 2019-12-13 一种基于球形坐标系的摄像机标签轨迹跟随方法

Publications (2)

Publication Number Publication Date
CN113066099A CN113066099A (zh) 2021-07-02
CN113066099B true CN113066099B (zh) 2023-12-19

Family

ID=76557971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911283580.9A Active CN113066099B (zh) 2019-12-13 2019-12-13 一种基于球形坐标系的摄像机标签轨迹跟随方法

Country Status (1)

Country Link
CN (1) CN113066099B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011141531A1 (de) * 2010-05-11 2011-11-17 Movolution Gmbh Bewegungsanalyse- und/oder -verfolgungssystem
WO2012015405A2 (en) * 2010-07-29 2012-02-02 Empire Technology Development Llc Fiducial markers for augmented reality
CN103533246A (zh) * 2013-10-22 2014-01-22 上海安奎拉信息技术有限公司 一种自动跟踪球形摄像机的控制方法
EP2746811A2 (en) * 2012-12-18 2014-06-25 Trimble Navigation Limited Methods for generating accuracy information on an ionosphere model for satellite navigation applications
CN104504685A (zh) * 2014-12-04 2015-04-08 高新兴科技集团股份有限公司 一种增强现实摄像机虚拟标签实时高精度定位方法
CN104796612A (zh) * 2015-04-20 2015-07-22 河南弘金电子科技有限公司 高清雷达联动跟踪控制摄像系统及联动跟踪方法
CN109089086A (zh) * 2018-10-09 2018-12-25 上海宏英智能科技有限公司 一种全景摄像系统
WO2019003474A1 (ja) * 2017-06-30 2019-01-03 株式会社島津製作所 放射線治療用追跡装置、位置検出装置および動体追跡方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8285060B2 (en) * 2009-08-31 2012-10-09 Behavioral Recognition Systems, Inc. Detecting anomalous trajectories in a video surveillance system
US20170302714A1 (en) * 2016-04-15 2017-10-19 Diplloid Inc. Methods and systems for conversion, playback and tagging and streaming of spherical images and video

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011141531A1 (de) * 2010-05-11 2011-11-17 Movolution Gmbh Bewegungsanalyse- und/oder -verfolgungssystem
WO2012015405A2 (en) * 2010-07-29 2012-02-02 Empire Technology Development Llc Fiducial markers for augmented reality
EP2746811A2 (en) * 2012-12-18 2014-06-25 Trimble Navigation Limited Methods for generating accuracy information on an ionosphere model for satellite navigation applications
CN103533246A (zh) * 2013-10-22 2014-01-22 上海安奎拉信息技术有限公司 一种自动跟踪球形摄像机的控制方法
CN104504685A (zh) * 2014-12-04 2015-04-08 高新兴科技集团股份有限公司 一种增强现实摄像机虚拟标签实时高精度定位方法
CN104796612A (zh) * 2015-04-20 2015-07-22 河南弘金电子科技有限公司 高清雷达联动跟踪控制摄像系统及联动跟踪方法
WO2019003474A1 (ja) * 2017-06-30 2019-01-03 株式会社島津製作所 放射線治療用追跡装置、位置検出装置および動体追跡方法
CN109089086A (zh) * 2018-10-09 2018-12-25 上海宏英智能科技有限公司 一种全景摄像系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Bala Muralikrishnan ; Meghan Shilling ; Prem Rachakonda ; Wei Ren ; Vincent Lee ; Daniel Sawyer.Toward the development of a documentary standard for derived-point to derived-point distance performance evaluation of spherical coordinate 3D imaging systems.Journal of Manufacturing Systems.2015,第37卷全文. *
Motion control of magnetized Tetrahymena pyriformis cells by a magnetic field with Model Predictive Control.;The International Journal of Robotics Research;第32卷(第1期);全文 *
NMPC and genetic algorithm-based approach for trajectory tracking and collision avoidance of UAVs;Filippis, Luca De;Guglieri, Giorgio;International Journal of Innovative Computing and Applications;第5卷(第3期);全文 *
全景视频增强现实系统设计与研究;雍玖;王阳萍;雷晓妹;王松;;计算机应用与软件(第07期);全文 *
单摄像机视线跟踪;刘瑞安;靳世久;宋维;张希坤;吴晓荣;;计算机应用(第09期);全文 *
基于视频的三维人体运动跟踪系统的设计与实现;邓宇;李振波;李华;;计算机辅助设计与图形学学报(第06期);全文 *

Also Published As

Publication number Publication date
CN113066099A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
US10942529B2 (en) Aircraft information acquisition method, apparatus and device
US11663689B2 (en) Foveated rendering using eye motion
CN105164728B (zh) 用于混合实境的设备和方法
US9041743B2 (en) System and method for presenting virtual and augmented reality scenes to a user
CN113966609A (zh) 用于中央凹渲染的动态平铺
US11294535B2 (en) Virtual reality VR interface generation method and apparatus
JP6571262B2 (ja) 複数のモデルに基づくオブジェクトの表示
CN111813290B (zh) 一种数据处理方法、装置以及电子设备
CN110312111A (zh) 用于图像装置的自动校准的装置、系统和方法
CN111833243B (zh) 一种数据展示方法、移动终端和存储介质
WO2020119822A1 (zh) 虚拟现实的显示方法及装置、设备、计算机存储介质
CN109523622A (zh) 一种非结构化的光场渲染方法
US20210174479A1 (en) Apparatus and method for dynamic multi-camera rectification using depth camera
CN105975172A (zh) 全景视频的调整方法、装置及移动终端
CN110136207A (zh) 鱼眼相机标定系统、方法、装置、电子设备及存储介质
CN110460806A (zh) 一种带云台的网络摄像机实现3d定位与隐私遮挡的算法
CN112308768B (zh) 一种数据处理方法、装置、电子设备以及存储介质
US20210027492A1 (en) Joint Environmental Reconstruction and Camera Calibration
CN109949401A (zh) 一种移动平台的非静态物体非实时阴影渲染的方法
CN113066099B (zh) 一种基于球形坐标系的摄像机标签轨迹跟随方法
CN112181230A (zh) 一种数据展示方法、装置以及电子设备
CN114494563B (zh) 航拍视频在数字地球上的融合显示方法和装置
CN112308767B (zh) 一种数据展示方法、装置、存储介质以及电子设备
CN115202483A (zh) 一种全球三维地图系统抖动消除方法
JP2019012516A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant