CN205563716U - 一种基于多镜头多传感器的全景相机标定装置 - Google Patents

一种基于多镜头多传感器的全景相机标定装置 Download PDF

Info

Publication number
CN205563716U
CN205563716U CN201620261397.4U CN201620261397U CN205563716U CN 205563716 U CN205563716 U CN 205563716U CN 201620261397 U CN201620261397 U CN 201620261397U CN 205563716 U CN205563716 U CN 205563716U
Authority
CN
China
Prior art keywords
camera
lens
group
support
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201620261397.4U
Other languages
English (en)
Inventor
于燕斌
张燕生
黄权兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU SHENGGUANG MICROELECTRONIC CO Ltd
Original Assignee
GUANGZHOU SHENGGUANG MICROELECTRONIC CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU SHENGGUANG MICROELECTRONIC CO Ltd filed Critical GUANGZHOU SHENGGUANG MICROELECTRONIC CO Ltd
Priority to CN201620261397.4U priority Critical patent/CN205563716U/zh
Application granted granted Critical
Publication of CN205563716U publication Critical patent/CN205563716U/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本实用新型公开了一种基于多镜头多传感器的全景相机标定装置,涉及全景摄像领域,包括全景摄像模块、电机驱动模块、图像处理模块和图像显示模块,全景摄像模块包括支架、设置在支架上的多个镜头组和与多个传感器组,每个镜头组对应一个传感器组,镜头组中的每个镜头对应传感器组中的一个传感器,并且与该传感器相连;每个镜头组包括n个镜头,1≤n≤100,其中各个镜头组中镜头的位置排列相同,位于各个镜头组中同一个位置的镜头组成一个成像组,在每个成像组中,任意两个相邻的镜头在成像时有重叠区域。本实用新型可以克服目前全景相机标定对场景有较高要求的缺点,可以在较小的场景中对相机进行标定,并且可以借助标定靶,保证找到足够的特征点的同时,大大降低匹配算法的复杂度。

Description

一种基于多镜头多传感器的全景相机标定装置
技术领域
本实用新型公开了一种全景相机标定装置,特别是一种基于多镜头多传感器的全景相机标定装置。
背景技术
采用全景拼接方式构建的拼接式全景摄像机,可以对场景同时实现大视场和高分辨率的拍摄。但是全景摄像机在投入使用之前需要进行标定,以估计摄像机内参、外参,确定各镜头间、以及空间物体表面某点在图像上的位置相互关系。公开号CN103533266的专利公开了一种名为垂直方向宽视域的360度拼接式全景摄像机的技术方案,它包括若干个相同的竖直排列的图像传感器,传感器的型号、数量和相对位置根据全景拼接应用对视场大小的需求确定。它还提供了基于所述全景摄像机的标定方法和拼接方法,通过进行标定,将各路图像投影在同一平面上;再利用动态规划方法和梯度域融合方法完成全景图像的拼接。使用该专利的全景摄像机进行标定时,对标定场景有较高要求,首先标定区域要求空间比较充裕,其次要求标定场景拥有足够的特征点,再次对匹配算法的优越性也有较高要求。目前常用的标定装置,一般要求标定区域是以最小标定距离为半径的圆,通常最小标定距离大于10米,本实用新型公开的全景相机标定装置降低了对标定区域大小的要求,且保证能够找到足够的特征点,并减轻了算法的复杂度。
发明内容
本实用新型公开了一种基于多镜头多传感器的全景相机标定装置,可以克服目前全景相机标定对场景有较高要求的缺点,可以在较小的场景中对相机进行标定,并且可以借助标定靶,保证找到足够的特征点的同时,大大降低匹配算法的复杂度。
本实用新型公开了一种基于多镜头多传感器的全景相机标定装置,包括全景摄像模块、电机驱动模块、图像处理模块和图像显示模块,全景摄像模块包括支架、设置在支架上的多个镜头组和与多个传感器组,每个镜头组对应一个传感器组,镜头组中的每个镜头对应传感器组中的一个传感器,并且与该传感器相连;
每个镜头组包括n个镜头,1≤n≤100,其中各镜头组中镜头位置的排列方向、距离相同,位于每个镜头组中同一位置的镜头组成一个成像组,在每个成像组中,任意两个相邻的镜头在成像时有重叠区域,同一个成像组的各个镜头参数相同;
全景摄像组连接电机驱动模块,图像处理模块连接全景摄像模块,图像显示模块连接图像处理模块,电机驱动模块驱动支架平移和旋转,可以调整镜头方向,保证获取足够的特征点,减小标定所需要的区域大小。
优选的,全景摄像机模块设置为球面状态,支架为球面支架,每个镜头都设置在球面支架的外侧面,沿球面半径方向朝向球面的外侧,球面支架的球心和镜头中心点的连线与镜头光轴所成角度小于等于5°。设置为球面状态的全景摄像机模块,适用于720°的全景拍摄,可以取到所有角度的图像。
优选的,全景摄像机模块设置为柱面状态,支架为圆柱面支架,每个镜头都设置在圆柱面支架的侧面,沿圆柱侧面半径方向朝向圆柱面的外侧,且处于同一柱面高度,位于该高度的圆柱面支架横截面圆心和镜头中心点的连线与镜头光轴所成角度小于等于5°。设置为柱面状态的全景摄像模块,适用于360°的全景拍摄,可以取到全景相机四周的图像。
优选的,全景摄像机组设置为矩阵形态,支架为平面支架,每个都设于平面镜头架的一侧,镜头方向朝向平面的同一侧。设置为矩阵形态的全景摄像机模块,适用于面对一个方向的全景拍摄。
优选的,每组镜头包括两个镜头,组成两个成像组,分别模拟人体左眼和右眼成像,经过图像处理模块的处理,形成3D立体图像。
优选的,每组镜头包括多个镜头,组成多个成像组,每个成像组独立成像,经过图像处理模块的处理,可以将每个成像组形成的图像进行叠加,根据每个成像组镜头的设置,进而获得3D图像或热成像图像等。
优选的,成像组中,至少一组全部由普通光学镜头组成,保证标定可以顺利进行。
优选的,成像组包括两个分别模拟人体左眼和右眼的成像的成像组,将图像叠加后获得3D立体图。
优选的,镜头与支架转动连接,可以根据需要独立调整每个镜头在当前位置的角度。
优选的,图像处理模块为芯片或计算机;芯片安装在全景摄像模块的支架处,与传感器连接,进一步减小整个装置的体积,处理后将图像输出到外部图像显示模块。当使用计算机作为图像处理模块时,使用计算机软件进行处理,计算机外接于传感器。
优选的,全景相机标定装置还包括标定靶,标定靶的图案设置为黑白相间的棋盘格,棋盘格上设有定位标志。使用标定靶,可以保证标定时能够找到足够数量的、分布均匀的、足够精度且基本处于同一景深的特征点,而不受标定所处现实场景的影响。
优选的,全景相机标定装置包括多块标定靶,多块标定靶图案可以不完全一致,设置多块标定靶,可以进一步提高标定的成功率,并减少标定装置转动幅度。
本实用新型的有益效果是:大大减少标定场景空间,将最小标定距离减小到1~2米之间,并且能确保每组相邻图像的重叠区域都能找到足够数量的、分布均匀的、足够精度的、基本处于同一景深的特征点,而不受标定所处现实场景的影响。另外,由于标定靶的存在,不需很复杂的特征点匹配算法就可以基本保证全部特征点匹配正确。标定过程应是全自动的,无须人工干预。
附图说明
图1为本装置标定状态的示意图;
图2为柱面状态全景摄像机模块的示意图;
图3为球面状态全景摄像机模块的示意图;
图4为矩阵状态全景摄像机模块的示意图;
图5为本发明第一种标定靶的示意图;
图6为本发明第二种标定靶的示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明:
本实用新型公开了一种基于多镜头多传感器的全景相机标定装置,可以克服目前全景相机标定对场景有较高要求的缺点,可以在较小的场景中对相机进行标定,并且可以借助标定靶,保证找到足够的特征点的同时,大大降低匹配算法的复杂度。
如图1所示,本实用新型公开了一种基于多镜头多传感器的全景相机标定装置,包括全景摄像模块1、电机驱动模块2、图像显示模块3,图像处理模块4和标定靶5。全景摄像模块1包括支架11、设置在支架上的多个镜头组12和与多个传感器组13,每个镜头组12对应一个传感器组13,镜头组中的每个镜头对应传感器组中的一个传感器,并且与该传感器相连;
如图1和图2所示,每个镜头组包括两个镜头,每个摄像头对应一个传感器,如图2中第一个镜头组包括121a和121b两个镜头,分别对应传感器131a和131b,第二个镜头组包括122a和122b两个镜头,分别对应传感器132a和132b。每个镜头组中镜头的位置排列相同,每个镜头组中位于同一个位置的镜头组成一个成像组,即121a与122a属于一个成像组,121b与122b属于一个成像组。在每个成像组中,每两个相邻的镜头在成像时有重叠区域,即121a与122a成像区域有重叠,121b与122b成像区域有重叠。
全景摄像组1连接电机驱动模块2,图像处理模块4连接全景摄像模块1,图像显示模块3连接图像处理模块4,电机驱动模块驱动支架11平移和旋转。
进行标定时,第一步,电机驱动模块驱动全景摄像模块支架调整位置和角度,使每个镜头都基本正对标定靶进行一次拍摄,根据每次转动后全景摄像模块的姿态角,即每次采集到的图像,完成畸变校正图像采集工作;第二步,调整全景摄像机模块支架,进行两两相邻镜头对靶工作,使每两个相邻镜头的角平分线基本正对标定靶,且标定靶上的定位点处于两个镜头可视范围的重叠区域,根据每次采集的图像及全景摄像模块的姿态角,完成全局调整优化。
如图2所示,在本发明的一个实施例中,全景摄像机模块设置为柱面状态,柱面形态指支架11设置为圆柱面,每个镜头都设置在所述圆柱面支架的侧面,沿圆柱侧面半径方向朝向球面的外侧,且处于同一柱面高度,镜头光轴与圆柱侧面半径所成角度小于等于5°,设置为柱面状态的全景摄像机模块,适用于360°的全景拍摄,可以取到全景相机四周的图像。
如图3所示,在本发明的一个实施例中,全景摄像机模块设置为球面状态,球面形态指支架11设置为球面,每个镜头组12都设置在所述球面支架的外侧面,沿球面半径方向朝向球面的外侧,镜头光轴与球面半径所成角度小于等于5°,设置为球面状态的全景摄像机模块,适用于720°的全景拍摄,可以取到所有角度的图像,每个镜头组12对应一个传感器组13。
如图4所示,在本发明的一个实施例中,全景摄像机组设置为矩阵形态,矩阵形态指支架11设置为平面,每个镜头组12都设于平面镜头架的一侧,镜头方向朝向平面的同一侧,设置为矩阵形态的全景摄像机模块,适用于面对一个方向的全景拍摄,每个镜头组12对应一个传感器组13。
在本实用新型的一个实施例中,每组镜头包括一个镜头,全景摄像模块形成一个成像 组。
在本实用新型的一个实施例中,每组镜头包括两个镜头,分别模拟形成人体左眼和右眼视场,经过图像处理模块的处理,将两个镜头采集的图像叠加,获得3D立体图像。
在本实用新型的一个实施例中,全景摄像模块还包括一个由红外热传感镜头组成的成像组,经过图像处理模块的处理,获得热成像图像。
在本实用新型的一个实施例中,每组镜头包括多个镜头,每组镜头中镜头的位置排列相同,每组镜头中位于同一个位置的镜头组成一个成像组,在成像组中,每两个相邻的镜头在成像时有重叠区域;当每组镜头包括多个镜头时,镜头包括普通成像镜头和红外热成像镜头,分别形成普通成像组和红外成像组,每个成像组独立成像,经过图像处理模块的处理,可以将每个成像组形成的图像进行叠加,获得热成像图像。
在本实用新型设置的一个或多个成像组中,至少一组全部由普通成像镜头组成,保证标定可以顺利进行。
在本实用新型的一个实施例中,镜头与支架转动连接,可以根据需要独立调整每个镜头在当前位置的角度。
在本实用新型的一个实施例中,图像处理模块为芯片或计算机;芯片安装在全景摄像模块的支架处,与图像采集模块和电机驱动模块连接,进一步减小整个装置的体积,处理后将图像输出到外部图像显示模块。当使用计算机作为图像处理模块时,使用计算机软件进行处理,计算机外接于图像采集模块。
如图1所示,在本实用新型的一个实施例中,全景相机标定装置还包括标定靶5,标定靶5的图案设置为黑白相间的棋盘格,棋盘格上设有定位标志51。使用标定靶,可以保证标定时能够找到足够数量的、分布均匀的、足够精度且基本处于同一景深的特征点,而不受标定所处现实场景的影响。
如图5和图6所示,在本实用新型的一个实施例中,全景相机标定装置包括多块标定靶,多块标定靶图案可以不完全一致,但是都包括一个定位标志51,设置多块标定靶,可以进一步提高标定的成功率,并减少标定装置转动幅度。
根据上述说明书的揭示和教导,本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此,本发明并不局限于上面揭示和描述的具体实施方式,对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外,尽管本说明书中使用了一些特定的术语,但这些术语只是为了方便说明,并不对本实用新型构成任何限制。

Claims (9)

1.一种基于多镜头多传感器的全景相机标定装置,包括全景摄像模块、驱动模块、图像处理模块和图像显示模块,其特征在于:所述全景摄像模块包括支架、设置在支架上的多个镜头组和与多个传感器组,每个镜头组对应一个传感器组,镜头组中的每个镜头对应传感器组中的一个传感器,并且与该传感器相连;
每个镜头组包括n个镜头,1≤n≤100,其中各镜头组中镜头位置的排列方向、距离相同,位于每个镜头组中同一位置的镜头组成一个成像组,在每个成像组中,任意两个相邻的镜头在成像时有重叠区域,同一个成像组的各个镜头参数相同;
所述图像处理模块连接全景摄像模块,图像显示模块连接图像处理模块,驱动模块连接支架,并驱动支架平移和旋转。
2.根据权利要求1所述的基于多镜头多传感器的全景相机标定装置,其特征在于:所述全景摄像机模块设置为球面状态,所述支架为球面支架,每个镜头都设置在所述球面支架的外侧面,沿球面半径方向朝向球面的外侧,球面支架的球心和镜头中心点的连线与镜头光轴所成角度小于等于5°。
3.根据权利要求1所述的基于多镜头多传感器的全景相机标定装置,其特征在于:所述全景摄像机模块设置为柱面状态,支架为圆柱面支架,每个镜头都设置在所述圆柱面支架的侧面,沿圆柱侧面半径方向朝向圆柱面的外侧,且处于同一柱面高度,位于该高度的圆柱面支架横截面圆心和镜头中心点的连线与镜头光轴所成角度小于等于5°。
4.根据权利要求1所述的基于多镜头多传感器的全景相机标定装置,其特征在于:所述全景摄像机组设置为矩阵形态,支架为平面支架,每个都设于平面镜头架的一侧,镜头方向朝向平面的同一侧。
5.根据权利要求1-4任一项所述的基于多镜头多传感器的全景相机标定装置,其特征在于:所述镜头组,每个镜头组包括两个镜头,分别模拟人体左眼和右眼成像。
6.根据权利要求1-4任一项所述的基于多镜头多传感器的全景相机标定装置,其特征在于:所述成像组中,至少一组全部由普通光学镜头组成。
7.根据权利要求1-4任一项所述的基于多镜头多传感器的全景相机标定装置,其特征在于:所述镜头与支架转动连接。
8.根据权利要求1-4任一项所述的基于多镜头多传感器的全景相机标定装置,其特征在于:所述图像处理模块为芯片或计算机;芯片安装在所述全景摄像模块的支架处,与传 感器连接,计算机外接于传感器。
9.根据权利要求1-4任一项所述的基于多镜头多传感器的全景相机标定装置,其特征在于:还包括一块或多块独立配置的标定靶,标定靶的图案设置为黑白相间的棋盘格,棋盘格上设有定位标志。
CN201620261397.4U 2016-03-30 2016-03-30 一种基于多镜头多传感器的全景相机标定装置 Expired - Fee Related CN205563716U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201620261397.4U CN205563716U (zh) 2016-03-30 2016-03-30 一种基于多镜头多传感器的全景相机标定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201620261397.4U CN205563716U (zh) 2016-03-30 2016-03-30 一种基于多镜头多传感器的全景相机标定装置

Publications (1)

Publication Number Publication Date
CN205563716U true CN205563716U (zh) 2016-09-07

Family

ID=56812498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201620261397.4U Expired - Fee Related CN205563716U (zh) 2016-03-30 2016-03-30 一种基于多镜头多传感器的全景相机标定装置

Country Status (1)

Country Link
CN (1) CN205563716U (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654502A (zh) * 2016-03-30 2016-06-08 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法
CN106803273A (zh) * 2017-01-17 2017-06-06 湖南优象科技有限公司 一种全景摄像机标定方法
CN106851201A (zh) * 2017-02-09 2017-06-13 苏州慧景光电科技有限公司 基于光纤传像技术的车载全景影像系统及其标定方法
CN107205118A (zh) * 2017-06-27 2017-09-26 中国地质环境监测院 七镜头无人机全景摄像机及其图像处理方法
CN108974397A (zh) * 2018-06-14 2018-12-11 上海卫星工程研究所 一种线阵推扫成像光学载荷的视场拼接范围验证方法
CN109559350A (zh) * 2018-11-23 2019-04-02 广州路派电子科技有限公司 全景环视系统预标定装置及方法
CN110062153A (zh) * 2019-03-18 2019-07-26 北京当红齐天国际文化发展集团有限公司 一种全景拍照无人机系统及全景拍照方法
CN110536055A (zh) * 2019-08-28 2019-12-03 北京拙河科技有限公司 一种摄像机
CN110602401A (zh) * 2019-09-17 2019-12-20 维沃移动通信有限公司 一种拍照方法及终端
CN110660105A (zh) * 2018-06-29 2020-01-07 杭州海康威视数字技术股份有限公司 一种全景环视系统的标定参数优化方法及装置
WO2020093873A1 (zh) * 2018-11-09 2020-05-14 杭州海康威视数字技术股份有限公司 一种电子设备及镜头关联方法、装置
CN112631064A (zh) * 2020-12-30 2021-04-09 安徽地势坤光电科技有限公司 一种调整成像镜头安装角度的方法
CN115484377A (zh) * 2021-06-15 2022-12-16 杭州海康威视数字技术股份有限公司 用于场景的全景成像的摄像机

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654502B (zh) * 2016-03-30 2019-06-28 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法
CN105654502A (zh) * 2016-03-30 2016-06-08 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法
CN106803273A (zh) * 2017-01-17 2017-06-06 湖南优象科技有限公司 一种全景摄像机标定方法
CN106803273B (zh) * 2017-01-17 2019-11-22 湖南优象科技有限公司 一种全景摄像机标定方法
CN106851201A (zh) * 2017-02-09 2017-06-13 苏州慧景光电科技有限公司 基于光纤传像技术的车载全景影像系统及其标定方法
CN107205118A (zh) * 2017-06-27 2017-09-26 中国地质环境监测院 七镜头无人机全景摄像机及其图像处理方法
CN108974397A (zh) * 2018-06-14 2018-12-11 上海卫星工程研究所 一种线阵推扫成像光学载荷的视场拼接范围验证方法
CN108974397B (zh) * 2018-06-14 2020-07-10 上海卫星工程研究所 一种线阵推扫成像光学载荷的视场拼接范围验证方法
CN110660105A (zh) * 2018-06-29 2020-01-07 杭州海康威视数字技术股份有限公司 一种全景环视系统的标定参数优化方法及装置
CN110660105B (zh) * 2018-06-29 2022-05-31 杭州海康威视数字技术股份有限公司 一种全景环视系统的标定参数优化方法及装置
WO2020093873A1 (zh) * 2018-11-09 2020-05-14 杭州海康威视数字技术股份有限公司 一种电子设备及镜头关联方法、装置
CN109559350B (zh) * 2018-11-23 2021-11-02 广州路派电子科技有限公司 全景环视系统预标定装置及方法
CN109559350A (zh) * 2018-11-23 2019-04-02 广州路派电子科技有限公司 全景环视系统预标定装置及方法
CN110062153A (zh) * 2019-03-18 2019-07-26 北京当红齐天国际文化发展集团有限公司 一种全景拍照无人机系统及全景拍照方法
CN110536055A (zh) * 2019-08-28 2019-12-03 北京拙河科技有限公司 一种摄像机
CN110602401A (zh) * 2019-09-17 2019-12-20 维沃移动通信有限公司 一种拍照方法及终端
CN112631064A (zh) * 2020-12-30 2021-04-09 安徽地势坤光电科技有限公司 一种调整成像镜头安装角度的方法
CN112631064B (zh) * 2020-12-30 2022-04-08 安徽地势坤光电科技有限公司 一种调整成像镜头安装角度的方法
CN115484377A (zh) * 2021-06-15 2022-12-16 杭州海康威视数字技术股份有限公司 用于场景的全景成像的摄像机
CN115484377B (zh) * 2021-06-15 2023-08-29 杭州海康威视数字技术股份有限公司 用于场景的全景成像的摄像机

Similar Documents

Publication Publication Date Title
CN205563716U (zh) 一种基于多镜头多传感器的全景相机标定装置
CN105654502A (zh) 一种基于多镜头多传感器的全景相机标定装置和方法
CN111047510B (zh) 一种基于标定的大视场角图像实时拼接方法
CA2568617C (en) Digital 3d/360 degree camera system
CN107424118A (zh) 基于改进径向畸变校正的球状全景拼接方法
JP6522630B2 (ja) 車両の周辺部を表示するための方法と装置、並びに、ドライバー・アシスタント・システム
CN107358577B (zh) 一种立方体全景图的快速拼接方法
CN112655024B (zh) 一种图像标定方法及装置
CN101271187B (zh) 无死角的双目立体全方位视觉传感装置
CN105488810A (zh) 一种聚焦光场相机内外参数标定方法
CN105716527B (zh) 激光焊缝跟踪传感器标定方法
CN111739101B (zh) 一种消除车辆a柱盲区的装置和方法
CN105118055A (zh) 摄影机定位修正标定方法及系统
US9881377B2 (en) Apparatus and method for determining the distinct location of an image-recording camera
CN105933695A (zh) 基于多gpu高速互联的全景摄像机成像装置与方法
CN111028155A (zh) 一种基于多对双目相机的视差图像拼接方法
CN206460516U (zh) 一种多路鱼眼相机双目标定装置
CN206460515U (zh) 一种基于立体标定靶的多路鱼眼相机标定装置
CN103295231A (zh) 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法
CN106651859A (zh) 一种多路鱼眼相机标定装置及方法
CN104657970B (zh) 一种全自动双目内窥镜的标定方法及标定系统
CN103852243A (zh) 检测广角镜头的光学中心的方法以及光学中心检测装置
CN107845056A (zh) 基于柱面模型的鱼眼图像全景生成方法
CN206378680U (zh) 基于结构光多模块360度空间扫描和定位的3d相机
WO2022133683A1 (zh) 一种混合现实显示的方法、混合现实设备及存储介质

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160907

CF01 Termination of patent right due to non-payment of annual fee