CN106303409B - 一种目标对象联合跟踪方法及目标对象联合跟踪装置 - Google Patents
一种目标对象联合跟踪方法及目标对象联合跟踪装置 Download PDFInfo
- Publication number
- CN106303409B CN106303409B CN201610599817.4A CN201610599817A CN106303409B CN 106303409 B CN106303409 B CN 106303409B CN 201610599817 A CN201610599817 A CN 201610599817A CN 106303409 B CN106303409 B CN 106303409B
- Authority
- CN
- China
- Prior art keywords
- target object
- coordinate data
- difference
- tracking
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种目标对象联合跟踪方法及目标对象联合跟踪装置,上述目标对象联合跟踪方法包括:根据采集的同一目标对象的多组三维坐标数据确定所述目标对象的定位坐标数据;将所述定位坐标数据转化为跟踪坐标数据,并依据所述跟踪坐标数据对所述目标对象进行跟踪。本发明技术方案基于目标对象的多组三维坐标数据获取目标对象的定位坐标数据,因此可以通过不同摄像机位的互相验证,实现对物体的准确定位,有效解决目标遮挡问题,优化了跟踪特写效果。
Description
技术领域
本发明属于图像处理领域,尤其涉及一种目标对象联合跟踪方法及目标对象联合跟踪装置。
背景技术
在一些基于视频监控、视频互动的领域需要自动检测运动的对象,然后对检测到的对象进行实时的跟踪,并在不同的视角对对象进行特写,最后将这些不同视角的特写根据需要展现给用户。当前有很多方案都围绕上述应用进行了研究和探索并取得了一些成果,但目前的方案还不能够解决如何对物体进行准确的定位以及跟踪目标遮挡的问题。
因此,需要一种新的目标对象跟踪技术来解决上述技术问题。
发明内容
本发明提供一种目标对象联合跟踪方法及目标对象联合跟踪装置,以解决上述问题。
本发明提供一种目标对象联合跟踪方法,包括:根据采集的同一目标对象的多组三维坐标数据确定所述目标对象的定位坐标数据;将所述定位坐标数据转化为跟踪坐标数据,并依据所述跟踪坐标数据对所述目标对象进行跟踪。
本发明还提供了一种目标对象联合跟踪装置,包括:定位坐标获取单元,用于根据采集的同一目标对象的多组三维坐标数据确定所述目标对象的定位坐标数据;跟踪控制单元,用于将所述定位坐标数据转化为跟踪坐标数据,并依据所述跟踪坐标数据对所述目标对象进行跟踪。
相较于先前技术,根据本发明提供的技术方案,基于目标对象的多组三维坐标数据获取目标对象的定位坐标数据,因此可以通过不同摄像机位的互相验证,实现对物体的准确定位,有效解决目标遮挡问题,优化了跟踪特写效果。
此外,在识别是否是同一目标对象时,通过目标对象的运动数据来判断,避免了采用脸部识别或者颜色识别等带来的误差问题,提高了目标对象识别的准确性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1所示为根据本发明的一较佳实施例提供的目标对象联合跟踪方法的流程图;
图2所示为根据本发明的另一较佳实施例提供的目标对象联合跟踪装置的框图;
图3所示为根据本发明的又一较佳实施例提供的定位摄像机和跟踪摄像机的安装示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
图1所示为根据本发明的一较佳实施例提供的目标对象联合跟踪方法的流程图。如图1所示,本发明的较佳实施例提供的目标对象联合跟踪方法,包括:
步骤102,根据采集的同一目标对象的多组三维坐标数据确定所述目标对象的定位坐标数据。
对于同一目标对象,不同的采集设备采集到的坐标数据是不相同的。因此同一目标对象对应有多组坐标数据,并且该坐标数据是三维坐标数据。
步骤104,将所述定位坐标数据转化为跟踪坐标数据,并依据所述跟踪坐标数据对所述目标对象进行跟踪。
具体地,在步骤102中,从不同图像采集装置采集的坐标数据中获取同一目标对象在第一坐标系下的多组三维坐标数据,在所述多组三维坐标数据中选取一组三维坐标数据作为所述目标对象的定位坐标数据。
在步骤104中,将所述定位坐标数据转化为第二坐标系下的跟踪坐标数据,根据所述跟踪坐标数据驱动特写摄像机,以跟踪所述目标对象。
其中,所述从不同图像采集装置采集的坐标数据中获取同一目标对象在第一坐标系下的多组三维坐标数据,包括:
根据不同图像采集装置获取的各目标对象之间的位移差和速度差,或速度差和加速度差,或位移差、速度差和加速度差确定是否是同一目标对象,得到同一目标对象的多组三维坐标数据。
在本实施例中,在确定是否是同一目标对象时,根据目标对象的运动数据来进行判断是否同一目标对象。该运动数据包括但不限于位移差、速度差、加速度差。运动数据相似的两个目标对象即为同一个目标对象。在本实施例中也可以采用目前的人脸识别技术,但由于目标对象是运动的,有可能不能捕获人脸特征,因此采用人脸识别技术有一定的误差,而像其他识别技术,例如颜色识别、轮廓识别,如果发生遮挡、光线变化等问题,则有可能不能准确识别出是不是同一目标对象,故而采用本实施例中提供了基于运动数据的目标对象识别方法能够避免相关识别技术出现的问题,提高了目标对象识别的准确率。
其中,根据不同图像采集装置获取的各目标对象之间的位移差、速度差和加速度差确定是否是同一目标对象,包括:
根据以下公式计算出相似度值β:
β=(a·x+b·y+c·z),其中,β是所述相似度值,x、y、z分别是位移差、速度差和加速度差,a、b、c分别是位移差、速度差和加速度差的权重值;若所述相似度值β在预设范围内,则确定是同一目标对象。可以根据运动情况等因素设置a、b、c的权重值。
其中,在所述多组三维坐标数据中选取一组三维坐标数据作为所述目标对象的定位坐标数据,包括:
根据所述多组三维坐标数据分别与对应的图像采集装置之间的距离确定所述定位坐标数据。选取距离最短的三维坐标数据作为所述定位坐标数据。
在拍摄范围内,对于同一个目标对象,每个图像采集装置可获得一个三维坐标数据,计算每一个三维坐标与相应图像采集装置位置之间的距离,距离最短的三维坐标数据作为该目标对象的定位坐标数据。
其中,所述图像采集装置包括多个图像采集模块。该图像采集装置可以是双目摄像机,也可以是两个单目摄像机。在两个单目摄像机的情况下,两个单目摄像机安装在不同的位置,例如同一侧墙的两端。
图2所示为根据本发明的另一较佳实施例提供的目标对象联合跟踪装置的框图。
如图2所示,根据本发明的实施例的一种目标对象联合跟踪装置包括:
定位坐标获取单元202,用于根据采集的同一目标对象的多组三维坐标数据确定所述目标对象的定位坐标数据。
跟踪控制单元204,用于将所述定位坐标数据转化为跟踪坐标数据,并依据所述跟踪坐标数据对所述目标对象进行跟踪。
其中,所述定位坐标获取单元202包括:匹配子单元2022,用于从不同图像采集装置采集的坐标数据中获取同一目标对象在第一坐标系下的多组三维坐标数据,坐标选择子单元2024,用于在所述多组三维坐标数据中选取一组三维坐标数据作为所述目标对象的定位坐标数据。
所述跟踪控制单元204包括:
坐标转化子单元2042,用于将所述定位坐标数据转化为第二坐标系下的跟踪坐标数据,
控制子单元2044,用于根据所述跟踪坐标数据驱动特写摄像机,以跟踪所述目标对象。
所述匹配子单元2022根据不同图像采集装置获取的各目标对象之间的位移差和速度差,或速度差和加速度差,或位移差、速度差和加速度差确定是否是同一目标对象,得到同一目标对象的多组三维坐标数据。
所述匹配子单元2022根据以下公式计算出相似度值β:
β=(a·x+b·y+c·z),其中,β是所述相似度值,x、y、z分别是位移差、速度差和加速度差,a、b、c分别是位移差、速度差和加速度差的权重值;
若所述相似度值β在预设范围内,则确定是同一目标对象。
坐标选择子单元2024根据所述多组三维坐标数据分别与对应的图像采集装置之间的距离确定所述定位坐标数据。选取距离最短的三维坐标数据作为所述定位坐标数据。
其中,所述图像采集装置包括多个图像采集模块。
图3所示为根据本发明的又一较佳实施例提供的定位摄像机和特写摄像机的安装示意图。
如图3所示,在教室中安装了多个定位摄像机和多个特写摄像机,负责采集和检测及跟踪目标对象,多个定位摄像机两两一组,组合为摄像机对,在图中分为2组,C-0和C-1为一组、C-2和C-3为一组。PTZ-0、PTZ-1、PTZ-2是特写摄像机。ObjectA为要定位跟踪的目标对象。
每个摄像机对实现对ObjectA的定位,获得针对这个目标对象的一个三维坐标。这样,针对同一目标对象,N对摄像机就可以得到N组三维坐标。在本实施例中,2个摄像机对可以得到2组三维坐标,例如C-0和C-1该摄像机对得到的三维坐标是A,C-2和C-3该摄像机对得到的三维坐标是A’。
在前一步骤得到的2组三维坐标中选取一组三维坐标,作为目标对象在世界坐标系中的一个最终坐标。在这个过程中,因为不同摄像机位观察的角度不同,因此可以解决运动物体在某个摄像机位的遮挡问题。另外根据摄像机距离物体的远近和角度的不同,可以制定规则选择精度更高的三维坐标作为最终坐标。
在选取坐标时,需要计算每个三维坐标到相应摄像机对之间的距离,例如C-0和C-1该摄像机与三维坐标A之间的距离,C-2和C-3该摄像机与三维坐标A’之间的距离。在计算距离时,可以计算三维坐标A该点到C-0和C-1形成的直线的距离,以及三维坐标A’该点到C-2和C-3形成的直线的距离。距离最短的三维坐标即是选取出的三维坐标,假设三维坐标A’该点到C-2和C-3形成的直线的距离最短,则三维坐标A’就是选取出的三维坐标。通过该过程就可以得到目标对象ObjectA的定位三维坐标数据,实现了对目标对象的准确定位。
最后,将该选择出的三维坐标数据转化为在特定的特写摄像机坐标系下的坐标,一般用Pan(云台水平转动距离)、Tilt(云台垂直转动距离)、Zoom(云台放大倍数)表示。然后通过“特写摄像机控制模块”将上面得到的Pan、Tilt、Zoom按照相机支持的协议对特写摄像机进行驱动,实现跟踪特写。
在进行跟踪特写时,前面所说的特定的特写摄像机可以是PTZ-0、PTZ-1、PTZ-2中的任意一个或多个,在多个特写摄像机时,即实现了对目标对象的多角度跟踪特写。如果是一个特写摄像机,则该特写摄像机可以是离选取出的三维坐标最近的特写摄像机。
此外,在对目标对象进行定位时,需要判断不同摄像机对检测的目标对象是不是同一个目标对象,在本实施例中提供了一种算法简单且准确率高的识别策略。
若两个目标对象的运动数据相似,则认为这两个目标对象是同一个目标对象。
根据公式β=(a·x+b·y+c·z)计算出相似值β,x、y、z分别是位移差、速度差和加速度差,a、b、c分别是位移差、速度差和加速度差的权重值。若该相似值在预设范围内,则认为这两个目标对象是同一个目标对象。同一个目标对象被不同摄像机对检测到,不同摄像机对所获取到三维坐标数据有差别,因此,需要选择一个最合适的坐标数据作为该目标对象的定位坐标数据,也可以综合这若干个不同的三维坐标数据计算出一个合适的坐标数据作为该目标对象的定位坐标数据。
经过识别之后,如果某个目标对象仅被一对摄像机对检测到,则该摄像机对获取的三维坐标数据即该目标对象的定位坐标数据。
相较于先前技术,根据本发明提供的技术方案,基于目标对象的多组三维坐标数据获取目标对象的定位坐标数据,因此可以通过不同摄像机位的互相验证,实现对物体的准确定位,有效解决目标遮挡问题,优化了跟踪特写效果。
此外,在识别是否是同一目标对象时,通过目标对象的运动数据来判断,避免了采用脸部识别或者颜色识别等带来的误差问题,提高了目标对象识别的准确性。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种目标对象联合跟踪方法,其特征在于,包括:
根据采集的同一目标对象的多组三维坐标数据确定所述目标对象的定位坐标数据;
将所述定位坐标数据转化为跟踪坐标数据,并依据所述跟踪坐标数据对所述目标对象进行跟踪;
该方法具体包括;
从不同图像采集装置采集的坐标数据中获取同一目标对象在第一坐标系下的多组三维坐标数据;
在所述多组三维坐标数据中选取一组三维坐标数据作为所述目标对象的定位坐标数据;
将所述定位坐标数据转化为第二坐标系下的跟踪坐标数据;
根据所述跟踪坐标数据驱动特写摄像机,以跟踪所述目标对象;
其中,从不同图像采集装置采集的坐标数据中获取同一目标对象在第一坐标系下的多组三维坐标数据,包括:
根据不同图像采集装置获取的各目标对象之间的位移差和速度差,或速度差和加速度差,或位移差、速度差和加速度差确定是否是同一目标对象,得到同一目标对象的多组三维坐标数据;
根据不同图像采集装置获取的各目标对象之间的位移差、速度差和加速度差确定是否是同一目标对象,包括:
根据以下公式计算出相似度值β:
β=(a·x+b·y+c·z),其中,β是所述相似度值,x、y、z分别是位移差、速度差和加速度差,a、b、c分别是位移差、速度差和加速度差的权重值;
若所述相似度值β在预设范围内,则确定是同一目标对象。
2.根据权利要求1所述的目标对象联合跟踪方法,其特征在于,在所述多组三维坐标数据中选取一组三维坐标数据作为所述目标对象的定位坐标数据,包括:
根据所述多组三维坐标数据分别与对应的图像采集装置之间的距离确定所述定位坐标数据。
3.根据权利要求2所述的目标对象联合跟踪方法,其特征在于,选取距离最短的三维坐标数据作为所述定位坐标数据。
4.根据权利要求1至3中任一项所述的目标对象联合跟踪方法,其特征在于,所述图像采集装置包括多个图像采集模块。
5.一种目标对象联合跟踪装置,其特征在于,包括:
定位坐标获取单元,用于根据采集的同一目标对象的多组三维坐标数据确定所述目标对象的定位坐标数据;
跟踪控制单元,用于将所述定位坐标数据转化为跟踪坐标数据,并依据所述跟踪坐标数据对所述目标对象进行跟踪;
所述定位坐标获取单元包括:匹配子单元,用于从不同图像采集装置采集的坐标数据中获取同一目标对象在第一坐标系下的多组三维坐标数据,
坐标选择子单元,用于在所述多组三维坐标数据中选取一组三维坐标数据作为所述目标对象的定位坐标数据;
所述跟踪控制单元包括:
坐标转化子单元,用于将所述定位坐标数据转化为第二坐标系下的跟踪坐标数据,
控制子单元,用于根据所述跟踪坐标数据驱动特写摄像机,以跟踪所述目标对象;
其中,所述匹配子单元根据不同图像采集装置获取的各目标对象之间的位移差和速度差,或速度差和加速度差,或位移差、速度差和加速度差确定是否是同一目标对象,得到同一目标对象的多组三维坐标数据;
所述匹配子单元根据以下公式计算出相似度值β:
β=(a×x+b×y+c·z),其中,β是所述相似度值,x、y、z分别是位移差、速度差和加速度差,a、b、c分别是位移差、速度差和加速度差的权重值;
若所述相似度值β在预设范围内,则确定是同一目标对象。
6.根据权利要求5所述的目标对象联合跟踪装置,其特征在于,坐标选择子单元根据所述多组三维坐标数据分别与对应的图像采集装置之间的距离确定所述定位坐标数据。
7.根据权利要求6所述的目标对象联合跟踪装置,其特征在于,选取距离最短的三维坐标数据作为所述定位坐标数据。
8.根据权利要求5至7中任一项所述的目标对象联合跟踪装置,其特征在于,所述图像采集装置包括多个图像采集模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610599817.4A CN106303409B (zh) | 2016-07-27 | 2016-07-27 | 一种目标对象联合跟踪方法及目标对象联合跟踪装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610599817.4A CN106303409B (zh) | 2016-07-27 | 2016-07-27 | 一种目标对象联合跟踪方法及目标对象联合跟踪装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106303409A CN106303409A (zh) | 2017-01-04 |
CN106303409B true CN106303409B (zh) | 2019-04-02 |
Family
ID=57662413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610599817.4A Expired - Fee Related CN106303409B (zh) | 2016-07-27 | 2016-07-27 | 一种目标对象联合跟踪方法及目标对象联合跟踪装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106303409B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106954041A (zh) * | 2017-03-08 | 2017-07-14 | 阔地教育科技有限公司 | 一种跟踪控制方法及系统 |
CN107292906B (zh) * | 2017-08-11 | 2021-04-13 | 阔地教育科技有限公司 | 一种目标跟踪方法、存储设备及目标跟踪装置 |
JP7399177B2 (ja) * | 2019-06-25 | 2023-12-15 | グーグル エルエルシー | 動的再グループ化ポイントを用いたナビゲーション |
CN112241983A (zh) * | 2020-10-19 | 2021-01-19 | 深圳市目心智能科技有限公司 | 一种基于主动双目视觉的感知系统及机器人 |
CN112784680B (zh) * | 2020-12-23 | 2024-02-02 | 中国人民大学 | 一种人流密集场所锁定密集接触者的方法和系统 |
CN113091730B (zh) * | 2021-03-25 | 2023-07-07 | 杭州海康威视系统技术有限公司 | 一种轨迹确定方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8319951B1 (en) * | 2009-09-17 | 2012-11-27 | The Boeing Company | Local positioning system |
CN104021538A (zh) * | 2013-02-28 | 2014-09-03 | 株式会社理光 | 物体定位方法和装置 |
CN105072414A (zh) * | 2015-08-19 | 2015-11-18 | 浙江宇视科技有限公司 | 一种目标检测和跟踪方法及系统 |
CN105069795A (zh) * | 2015-08-12 | 2015-11-18 | 深圳锐取信息技术股份有限公司 | 运动对象跟踪方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IT1401374B1 (it) * | 2010-08-09 | 2013-07-18 | Selex Sistemi Integrati Spa | Tracciamento tridimensionale multisensore basato su tracce bidimensionali acquisite da tracciatori di sensori di localizzazione di bersagli |
-
2016
- 2016-07-27 CN CN201610599817.4A patent/CN106303409B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8319951B1 (en) * | 2009-09-17 | 2012-11-27 | The Boeing Company | Local positioning system |
CN104021538A (zh) * | 2013-02-28 | 2014-09-03 | 株式会社理光 | 物体定位方法和装置 |
CN105069795A (zh) * | 2015-08-12 | 2015-11-18 | 深圳锐取信息技术股份有限公司 | 运动对象跟踪方法及装置 |
CN105072414A (zh) * | 2015-08-19 | 2015-11-18 | 浙江宇视科技有限公司 | 一种目标检测和跟踪方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106303409A (zh) | 2017-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106303409B (zh) | 一种目标对象联合跟踪方法及目标对象联合跟踪装置 | |
Krotkov | Active computer vision by cooperative focus and stereo | |
CN101877174B (zh) | 车速测量方法、监控机及车速测量系统 | |
CN108109174A (zh) | 一种用于散乱零件随机分拣的机器人单目引导方法和系统 | |
CN106920259B (zh) | 一种定位方法及系统 | |
CN105898107B (zh) | 一种目标物体抓拍方法及系统 | |
CN109901590B (zh) | 桌面机器人的回充控制方法 | |
CN110142785A (zh) | 一种基于目标检测的巡检机器人视觉伺服方法 | |
CN106878687A (zh) | 一种基于多传感器的车载环境识别系统及全方位视觉模块 | |
CN106780601A (zh) | 一种空间位置追踪方法、装置及智能设备 | |
CN108898634A (zh) | 基于双目相机视差对绣花机目标针眼进行精确定位的方法 | |
CN109145803A (zh) | 手势识别方法及装置、电子设备、计算机可读存储介质 | |
CN106162144A (zh) | 一种用于夜视环境的视觉图像处理设备、系统和智能机器 | |
CN110458025A (zh) | 一种基于双目摄像头的人员识别与定位方法 | |
CN206611521U (zh) | 一种基于多传感器的车载环境识别系统及全方位视觉模块 | |
Dragon et al. | Ground plane estimation using a hidden markov model | |
CN108827250A (zh) | 一种机器人单目视觉测距技术方法 | |
CN110532865A (zh) | 基于可见光与激光融合的航天器结构识别方法 | |
CN106444774A (zh) | 基于室内照明灯的移动机器人视觉导航方法 | |
CN103006332A (zh) | 手术刀跟踪方法与装置及数字立体显微镜系统 | |
Tjaden et al. | High-speed and robust monocular tracking | |
CN111950524A (zh) | 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统 | |
CN111832542A (zh) | 三目视觉识别与定位方法及装置 | |
CN109091228A (zh) | 一种多器械光学定位方法及系统 | |
CN112766033B (zh) | 一种基于多视角相机估计场景下行人共同关注目标的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190402 Termination date: 20200727 |