CN103810698B - 一种基于物理参数一致性的火焰温度场重建方法 - Google Patents

一种基于物理参数一致性的火焰温度场重建方法 Download PDF

Info

Publication number
CN103810698B
CN103810698B CN201310619708.0A CN201310619708A CN103810698B CN 103810698 B CN103810698 B CN 103810698B CN 201310619708 A CN201310619708 A CN 201310619708A CN 103810698 B CN103810698 B CN 103810698B
Authority
CN
China
Prior art keywords
flame
field
force
refractive index
temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310619708.0A
Other languages
English (en)
Other versions
CN103810698A (zh
Inventor
王旭光
苏杰
程海燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN201310619708.0A priority Critical patent/CN103810698B/zh
Publication of CN103810698A publication Critical patent/CN103810698A/zh
Application granted granted Critical
Publication of CN103810698B publication Critical patent/CN103810698B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Radiation Pyrometers (AREA)

Abstract

一种基于物理参数一致性的火焰温度场重建方法,它包括以下步骤:a.从多个视角同步拍摄燃烧火焰的图像序列,利用可视外壳技术将火焰体素化;b.标定相机的响应曲线;c.初始化火焰折射率场,并根据火焰的成像模型计算火焰的初始辐射力场;d.迭代计算辐射力场与折射率场,直到辐射力场与折射率场在数值上满足物理一致性;e.根据辐射力与温度之间的查找表计算最终的火焰温度场。本发明基于火焰辐射力场与折射率场两个物理参数一致性的事实,提出了一种迭代计算火焰温度场的算法,该方法充分考虑了火焰折射率场的分布不均匀对光线的折射作用,大大提高了温度场重建的精度。本方法可以用于工业测量、火电厂监控以及虚拟现实等领域。

Description

一种基于物理参数一致性的火焰温度场重建方法
技术领域
本发明涉及一种根据辐射力场与折射率场的物理一致性对火焰的温度场进行精确重建的方法,属测量技术领域。
背景技术
火是一种常见的自然现象,是伴随有发光放热的剧烈化学反应过程,也是化学能转化为热能的最主要方式,火焰是火的外在表象。我国以燃煤为主的能源结构中,煤炭能源占全部能源的70%左右。因此,在火电生产中进行燃烧优化控制,提高能源利用率具有重要意义。温度是火焰最主要的物理特征之一,其空间分布与变化规律直接反应了火焰的状态,因此能否得到火焰的精确温度场是火电厂燃烧优化控制的关键。
由于火焰具有物理机制复杂、表现形态丰富、运动变化随机、没有光滑的表面等特点,使火焰温度场的精确重建成为极具挑战性的研究方向之一。
已有文献中报告的温度场的重建方法可以分为两大类,即侵入式方法与非侵入式方法。早期的火焰温度场获取方法主要是简单的侵入式测温方法,如热电偶测温与热电阻测温等方法。这些方法虽然简单,但一次测量只能得到火焰单点位置温度,而不是整个火焰的温度分布信息,且测温时需要与火焰接触,干扰了火焰的运动。非侵入式方法又可细分为主动式方法与被动式方法。主动式方法是从被测物一端发射已知强度的信号,从被测物另一端接收该信号,通过信号的衰减计算被测物的温度场。这类方法包括全息干涉法、声波测温法等。由于这类方法往往依赖昂贵的设备,对作业环境要求苛刻,应用范围也受到了限制。被动式方法是通过检测被测物辐射的信号计算被测物温度场。代表性的方法是辐射测温法,它建立在辐射理论基础上。近年来,随着光电技术和计算机图像处理技术的发展,越来越多的学者将数字图像处理技术与热辐射理论结合,借助层析重建技术重建燃烧火焰的温度分布。由于这类方法理论基础扎实,便于实施,而且重建的温度场精度较高,成为重建温度场的主流方法。
数字图像处理技术与热辐射理论相结合的方法存在明显的不足:(1)忽略火焰对光线的折射作用。传统的方法认为光线在火焰中沿直线传播,而由于火焰燃烧产物密度分布不均匀,使火焰的折射率场不均一,这导致光线在火焰中传播时会发生折射现象,这种现象有些时候会很明显。因此忽略火焰的折射作用计算温度场,温度场的精度得不到保障;(2)没有考虑过曝光或曝光不足对火焰图像造成的信息丢失。由于一般工业相机的动态范围小于火焰发光的动态范围,因此得到的火焰图像不可避免地产生过曝光或曝光不足现象。
发明内容
本发明的目的在于针对现有技术之弊端,提供一种基于物理参数一致性的火焰温度场重建方法,以解决传统火焰温度场计算模型因不能描述火焰对光的折射作用而无法保证温度场精度的问题。
本发明所述问题是以下述技术方案实现的:
一种基于物理参数一致性的火焰温度场重建方法,所述方法包括以下步骤:
a.从多个视角同步拍摄燃烧火焰的图像序列,利用可视外壳技术将火焰体素化
将多个相机固定在支架上,采用硬触发技术从多个视角同步拍摄火焰的图像序列,对于同一时刻的多个视角的火焰图像进行二值化,提取火焰边缘,利用可视外壳技术重建火焰的可视外壳,并将可视外壳包围的火焰体分割为大小相等的体素,利用标定的相机参数,计算每个体素的空间几何位置;
b.标定相机的响应曲线
将相机固定在光线明暗变化丰富的场景,通过设置不同的曝光时间获得多曝光时间的图像序列,提取图像特征点,采用Debevec的方法标定相机的响应曲线;
c.初始化火焰折射率场,并根据火焰的成像模型计算火焰的初始辐射力场;
d.迭代计算辐射力场与折射率场,直到辐射力场与折射率场在数值上满足物理一致性
根据辐射力场与折射率场的物理关系重新计算火焰的折射率场:首先根据辐射力与温度之间的查找表,通过辐射力场计算温度场,再利用下式计算折射率场
其中为压强,为气体摩尔质量,常数
根据火焰成像模型,重新计算火焰辐射力场;
反复计算火焰的折射率场与辐射力场,直到辐射力场与折射率场满足物理一致性:
其中为迭代k次后得到的火焰折射率场,为在迭代k次后得到的火焰辐射力场基础上计算得到的火焰折射率场,为一致性阈值常数;
e. 根据辐射力与温度之间的查找表计算最终的火焰温度场。
上述基于物理参数一致性的火焰温度场重建方法,火焰折射率场的初始化及火焰初始辐射力场的计算方法是:
将火焰的折射率场初始化为各个体素内折射率均为1,火焰的成像模型定义为:
其中为像素接收的火焰辐射能,由相机的响应曲线获得,为像素对应的光线走过的曲线,为曲线上的点相对于像素的立体角,表示火焰的辐射力场,表示光线在火焰中穿行时的穿透率,表示环境光对像素的辐射贡献;
假设成像模型中环境光的贡献为0,同时假设光线在火焰中的穿透率仅与光线的路径有关,即与光线路径长度的负指数成正比,比例系数为消光截面,则辐射力场由下式求得
其中为基函数,表示基函数的系数向量,为基函数的系数,为系数矩阵。
上述基于物理参数一致性的火焰温度场重建方法,所述火焰辐射力与温度之间的查找表,是相机响应波段的辐射力与温度之间的查找表,相机响应波段的黑体辐射力与温度之间的函数关系定义为:
其中表示温度为的黑体在相机响应波段具有的辐射力,分别为普朗克第一、第二常数。
上述基于物理参数一致性的火焰温度场重建方法,用于表示辐射力场的基函数可以是Box函数或高斯函数。
上述基于物理参数一致性的火焰温度场重建方法,为了保证重建的温度场精度,拍摄燃烧火焰的图像序列时应选择动高动态范围的相机。
本发明基于火焰辐射力场与折射率场两个物理参数一致性的事实,提出了一种迭代计算火焰温度场的算法,该方法充分考虑了火焰折射率场的分布不均匀对光线的折射作用,大大提高了温度场重建的精度。本方法可以用于工业测量、火电厂监控以及虚拟现实等领域。
附图说明
下面结合附图对本发明作进一步详述。
图1为基于物理参数一致性的火焰温度场重建方法的流程图;
图2为火焰成像示意图;
图3为光线在火焰中的传播路径示意图;
图4为酒精灯火焰的高动态范围图像;
图5为高动态范围相机的响应曲线;
图6为火焰温度场截面的伪彩色图。
文中所用符号为:为迭代k次后得到的火焰折射率场,为在迭代k次后得到的火焰辐射力场基础上计算得到的火焰折射率场,为一致性阈值常数,为像素接收的火焰辐射能,为像素对应的光线走过的曲线,为曲线上的点相对于像素的立体角,表示火焰的辐射力场,表示火焰的折射率场,为光线在火焰中穿行时的穿透率,表示环境光对像素的辐射贡献,为消光截面,为压强,为气体摩尔质量,常数.为基函数,表示基函数的系数向量,为基函数的系数,为系数矩阵,表示温度为的黑体在相机响应波段具有的辐射力,、为普朗克第一常数,为普朗克第二常数。
具体实施方式
本发明提出了一种基于物理参数一致性的火焰温度场重建方法,该方法充分考虑火焰对光线的折射作用,有效控制了由于过曝光或曝光不足对火焰图像造成的信息丢失,同时基于火焰物理参数具有一致性的事实,迭代重建火焰的温度场。该方法的流程如图1所示,其步骤如下:
步骤(1):选取高动态范围相机拍摄火焰图像,固定相机,标定相机的内外参数,从多个视角同步拍摄燃烧火焰的高动态范围图像序列,利用可视外壳技术(可视外壳技术是一种比较成熟的技术,是一种基于物体轮廓形状的空间三维重建技术。要计算物体的可视外壳,首先从多个视角拍摄物体的图片,把物体从图像中分离出来,根据摄像机的空间位置,对每幅图像中的物体进行发投影,得到轮廓椎,多个视角的轮廓椎取交集就得到物体的可视外壳。)将火焰体素化。
将高动态范围相机通过机器臂固定在支架上,相机视角要足够多,能覆盖火焰的各个角度。拍摄时,采用硬触发技术,同步拍摄火焰的图像序列。对于同一时刻的多个视角的火焰图像进行二值化,提取火焰边缘,通过基于体的可视外壳技术重建火焰的可视外壳,并将可视外壳包围的火焰体分割为大小相等的体素。通过标定的相机参数,计算每个体素的空间几何位置。
步骤(2):标定高动态范围相机的响应曲线。
选择一个光线明暗变化丰富的固定的场景,固定相机,通过设置不同的曝光时间获得多曝光时间的图像序列。提取图像特征点(特征点一般是基于区域定义的,它本身的位置不具备特征意义,只代表满足一定特征条件的特征区域的位置。这种特征可以不是物理意义上的特征,只要满足一定的数学描述就可以,因而有时是抽象的。),采用Debevec的方法(发表在1997年的SIGGRAPH会议上,该方法的流程包括:首先,对一个固定场景拍摄不同曝光时间的图像,手工或自动选取采样点;其次根据采样点在不同曝光时间上的亮度值计算图像中不同的亮度级别对应的辐射照度;最后计算摄像机响应曲线)标定相机的响应曲线。
步骤(3):初始化火焰折射率场,并根据火焰的成像模型计算火焰的初始辐射力场,建立辐射力与温度之间的查找表。若辐射力场与折射率场满足物理一致性,跳转到步骤(5);否则,跳转到步骤(4)。
将火焰的折射率场初始化为各个体素内折射率均为1。火焰成像如图2所示,在火焰的成像模型
中,可以认为假设环境光的贡献为0,同时假设光线在火焰中的穿透率仅与光线的路径有关,即与光线路径长度的负指数成正比,比例系数为消光截面。同时,把辐射力场表示为一组基函数(基函数可以选择多种形式,如Box函数,高斯函数等)的线性组合
其中为基函数的系数。因此,火焰图像上所有像素点的辐射能组成的向量可以表示为
上式中表示基函数的系数向量,系数矩阵具有如下形式
相机的响应曲线标定之后,火焰图像对应的辐射能已知(相机的响应曲线给出了火焰图像亮度值与曝光量之间的函数关系,而曝光量仅与辐射能和曝光时间有关,因此可以通过相机响应曲线获得辐射能),计算火焰的初始辐射力场等价于求解一个约束最小二乘问题。
步骤(4):在步骤(3)计算的辐射力场基础上,根据辐射力场与折射率场的物理关系重新计算火焰的折射率场,根据火焰成像模型,计算火焰辐射力场。反复计算火焰的折射率场与辐射力场,直到辐射力场与折射率场满足物理一致性,跳转到步骤(5)。
火焰对光线具有折射作用,光线在火焰中传播时沿曲线路径行进,如图3所示。因此,初始的辐射力场与折射率场不具有物理一致性。需要通过反复迭代计算得到具有物理一致性的折射率场与辐射力场。
步骤(5)根据辐射力与温度之间的查找表从辐射力场计算温度场。
辐射力指的是相机响应波段的辐射力。本发明假设火焰为一种灰体,因此火焰在相机响应波段的辐射力与黑体在相机响应波段的辐射力相差一个0与1之间的常数因子,即火焰的灰度
.
实施例
图4所示为采用型号为MV1-D1312I-160-C031-CL-12的Photonfocus COMS工业相机从四个视角同步拍摄的高动态范围火焰图像,火焰源为酒精灯。其中每一行对应四个视角的同一帧火焰图像,每一列对应同一视角不同帧的火焰图像。火焰图像中,亮度分布具有明显的规律性,即火焰由高亮的火焰头部与模糊的火焰身体组成。通过阈值法,可以方便地提取火焰高亮的头部,并对头部应用可视外壳技术获得火焰头部的空间几何信息,并把火焰头部所在空间体素化。
标定的高动态范围相机的响应曲线如图5所示。图5中,纵坐标为图像亮度值,横坐标为相机的曝光量,单位为Wm-2s。很明显,高动态范围相机的响应曲线不同与一般工业相机,一般工业相机的响应曲线近似为一条直线,而高动态范围相机的响应曲线更像一条对数曲线。
应用本发明的方法,最终计算得到的火焰温度场的截面如图6所示,计算的温度场分布在500℃左右到1100℃左右区间。为了加强视觉效果,也可以采用伪彩色技术将图6处理成彩色图像,颜色从蓝色过渡到红色再过渡到黄色表示温度逐渐增高。
以上所述仅是本发明的优选实施方式,对于本领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进或等同替换,这些改进和等同替换也应视为本发明的保护范围。

Claims (5)

1.一种基于物理参数一致性的火焰温度场重建方法,其特征是,所述方法包括以下步骤:
a.从多个视角同步拍摄燃烧火焰的图像序列,利用可视外壳技术将火焰体素化
将多个相机固定在支架上,采用硬触发技术从多个视角同步拍摄火焰的图像序列,对于同一时刻的多个视角的火焰图像进行二值化,提取火焰边缘,利用可视外壳技术重建火焰的可视外壳,并将可视外壳包围的火焰体分割为大小相等的体素,利用标定的相机参数,计算每个体素的空间几何位置;
b.标定相机的响应曲线
将相机固定在光线明暗变化丰富的场景,通过设置不同的曝光时间获得多曝光时间的图像序列,提取图像特征点,采用Debevec的方法标定相机的响应曲线;
c.初始化火焰折射率场,并根据火焰的成像模型计算火焰的初始辐射力场;
d.迭代计算辐射力场与折射率场,直到辐射力场与折射率场在数值上满足物理一致性
根据辐射力场与折射率场的物理关系重新计算火焰的折射率场:首先根据辐射力与温度之间的查找表,通过辐射力场R(x)计算温度场T(x),再利用下式计算折射率场Φ(x):
T ( x ) = P μ κ r ( Φ ( x ) - 1 )
其中P为压强,μ为气体摩尔质量,常数κ=0.23cm3/g,r=8.32J/(K·mol);
根据火焰成像模型,重新计算火焰辐射力场;
反复计算火焰的折射率场与辐射力场,直到辐射力场与折射率场满足物理一致性:
||Φk+1k||≤εc
其中Φk为迭代k次后得到的火焰折射率场,Φk+1为在迭代k次后得到的火焰辐射力场Rk基础上计算得到的火焰折射率场,εc为一致性阈值常数;
e.根据辐射力与温度之间的查找表计算最终的火焰温度场。
2.根据权利要求1所述基于物理参数一致性的火焰温度场重建方法,其特征是,火焰折射率场的初始化及火焰初始辐射力场的计算方法是:
将火焰的折射率场初始化为各个体素内折射率均为1,火焰的成像模型定义为:
E(p)=∫cα(x)R(x)τ(x)dx+Ebg(p)
其中E(p)为像素p接收的火焰辐射能,由相机的响应曲线获得,c为像素p对应的光线走过的曲线,α(x)为曲线c上的点x相对于像素p的立体角,R(x)表示火焰的辐射力场,τ(x)表示光线在火焰中穿行时的穿透率,Ebg(p)表示环境光对像素p的辐射贡献;
假设成像模型中环境光的贡献Ebg(p)为0,同时假设光线在火焰中的穿透率τ(x)仅与光线的路径有关,即τ(x)与光线路径长度的负指数成正比,比例系数为消光截面σ,则辐射力场R(x)由下式求得
R(x)=∑iaiRi(x)
E(p)=Sa
S = ∫ c 1 τ ( x ) α ( x ) R 1 ( x ) d x ... ∫ c 1 τ ( x ) α ( x ) R n ( x ) d x . . . . . . . . . ∫ c m τ ( x ) α ( x ) R 1 ( x ) d x ... ∫ c m τ ( x ) α ( x ) R n ( x ) d x
其中Ri为基函数,a=[a1,…,an]T表示基函数Ri的系数向量,ai为基函数Ri的系数,S为系数矩阵。
3.根据权利要求2所述基于物理参数一致性的火焰温度场重建方法,其特征是,所述火焰辐射力与温度之间的查找表,是相机响应波段的辐射力与温度之间的查找表,相机响应波段的黑体辐射力与温度之间的函数关系定义为:
M b ( T ) = c 1 c 2 - 4 T 4 ( u 1 3 - 3 u 1 2 + 6 u 1 - 6 ) e u 1 - c 1 c 2 - 4 T 4 ( u 2 3 - 3 u 2 2 + 6 u 2 - 6 ) e u 2
其中Mb(T)表示温度为T的黑体在相机响应波段[λ12]具有的辐射力,c1、c2分别为普朗克第一、第二常数。
4.根据权利要求3所述基于物理参数一致性的火焰温度场重建方法,其特征是,用于表示辐射力场的基函数Ri是Box函数或高斯函数。
5.根据权利要求4所述基于物理参数一致性的火焰温度场重建方法,其特征是,拍摄燃烧火焰的图像序列时选择高动态范围的相机。
CN201310619708.0A 2013-11-29 2013-11-29 一种基于物理参数一致性的火焰温度场重建方法 Expired - Fee Related CN103810698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310619708.0A CN103810698B (zh) 2013-11-29 2013-11-29 一种基于物理参数一致性的火焰温度场重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310619708.0A CN103810698B (zh) 2013-11-29 2013-11-29 一种基于物理参数一致性的火焰温度场重建方法

Publications (2)

Publication Number Publication Date
CN103810698A CN103810698A (zh) 2014-05-21
CN103810698B true CN103810698B (zh) 2016-08-17

Family

ID=50707419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310619708.0A Expired - Fee Related CN103810698B (zh) 2013-11-29 2013-11-29 一种基于物理参数一致性的火焰温度场重建方法

Country Status (1)

Country Link
CN (1) CN103810698B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104299268B (zh) * 2014-11-02 2017-04-05 北京航空航天大学 一种高动态范围成像的火焰三维温度场重建方法
CN105608738B (zh) * 2016-03-04 2018-08-28 华北电力大学(保定) 一种基于光场相机的火焰三维光度场重建方法
CN110163278B (zh) * 2019-05-16 2023-04-07 东南大学 一种基于图像识别的火焰稳定性监测方法
CN113237569B (zh) * 2020-02-06 2022-04-01 北京航空航天大学 一种用于环形燃烧场温度分布的可视化测量方法
RU2760921C1 (ru) * 2021-06-07 2021-12-01 Акционерное общество "Научно-исследовательский институт телевидения" Способ помехоустойчивого обнаружения дыма и пламени в сложной фоно-световой обстановке

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101950421A (zh) * 2010-09-08 2011-01-19 北京航空航天大学 一种火焰模型可信度的评价方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101950421A (zh) * 2010-09-08 2011-01-19 北京航空航天大学 一种火焰模型可信度的评价方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Combusiton-Monitoring Systme with 3-D Temperature Reconstruction Based on Flame-Image Processing Technique;Zixue Luo et al.;《IEEE Transactions on Instrumentation and Measurement》;20071130;1877-1882 *
一种基于DSP实现火焰检测的方法;常太华等;《华北电力大学学报》;20021031;第29卷(第4期);48-50 *
基于锅炉火检信号滤波的燃料特征提取方法研究;苏杰等;《动力工程学报》;20100331;第30卷(第3期);201-205 *

Also Published As

Publication number Publication date
CN103810698A (zh) 2014-05-21

Similar Documents

Publication Publication Date Title
CN103810698B (zh) 一种基于物理参数一致性的火焰温度场重建方法
CN104299268B (zh) 一种高动态范围成像的火焰三维温度场重建方法
Verhoef et al. Unified optical-thermal four-stream radiative transfer theory for homogeneous vegetation canopies
Ouzounov et al. Satellite thermal IR phenomena associated with some of the major earthquakes in 1999–2003
CN102881041B (zh) 一种基于多源实测数据的火焰建模方法及其系统
CN106372268B (zh) 基于热模型的实时红外仿真方法
Zhou et al. 3-D reconstruction of flame temperature distribution using tomographic and two-color pyrometric techniques
Bian et al. An analytical four-component directional brightness temperature model for crop and forest canopies
Ciardullo et al. The H-alpha light curves of novae in M31
CN105608738A (zh) 一种基于光场相机的火焰三维光度场重建方法
y Miño et al. Visual metering of the urban radiative environment through 4π imagery
Shi et al. The 4SAILT model: An improved 4SAIL canopy radiative transfer model for sloping terrain
Wu et al. Real-time mid-wavelength infrared scene rendering with a feasible BRDF model
Wu et al. Reconstruction of three-dimensional flame with color temperature
Wang et al. Temperature field reconstruction of combustion flame based on high dynamic range images
y Miño et al. Pixel-by-pixel rectification of urban perspective thermography
Houlbrook et al. Scene simulation for camouflage assessment
Fisher et al. The organization of Jupiter’s upper tropospheric temperature structure and its evolution, 1996–1997
Wu et al. Quantitative atmospheric rendering for real-time infrared scene simulation
Halawani et al. Interaction between sunlight and the sky colour with 3D objects in the outdoor virtual environment
Peterson et al. Imaging bolometers for visualization of plasma radiation and cross-validation of three dimensional impurity transport models for the Large Helical Device
Zhaohui et al. Acquisition and simulation of dynamic flame with temperature distribution
Bachari et al. Geometric‐Optical Modeling of Bidirectional Reflectance Distribution Function for Trees and Forest Stands
Gao et al. Inversion of infrared imaging bolometer based on one-dimensional and three-dimensional modeling in HL-2A
Yoon et al. Performance simulation model for a new MWIR camera for missile plume detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160817

Termination date: 20171129