CN103426005B - 微表情自动识别的建库视频自动切段方法 - Google Patents
微表情自动识别的建库视频自动切段方法 Download PDFInfo
- Publication number
- CN103426005B CN103426005B CN201310340292.9A CN201310340292A CN103426005B CN 103426005 B CN103426005 B CN 103426005B CN 201310340292 A CN201310340292 A CN 201310340292A CN 103426005 B CN103426005 B CN 103426005B
- Authority
- CN
- China
- Prior art keywords
- image
- micro
- frame
- field picture
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Abstract
微表情自动识别的建库视频自动切段方法,它将建库视频转化为反映视觉内容特征的单帧图像,并与相邻帧之间的反映视觉内容的特征进行度量,获取帧与帧之间的视觉相似性信息,从而实现对建库视频中非微表情的剔除和微表情视频的自动切段。本发明所述方法包括如下步骤:步骤一:把建库视频分解为连续的单帧图像;步骤二:对每帧图像的人脸位置进行标定;步骤三:对每帧图像的眼睛和鼻子的位置进行标定;步骤四:根据获取的眼睛和鼻子的位置对图像进行裁剪,只保留脸部区域;步骤五:选取一张无表情的图像作为模板,逐帧与模板进行比较,剔除非微表情的图像;步骤六:对剩余的微表情图像采用基于内容的切段算法对视频进行切段。
Description
技术领域
本发明涉及微表情自动识别的建库视频自动切段方法,属于图像处理、模式识别、视频检索的技术领域。
背景技术
微表情是一种持续时间极短,自发的且不易被人察觉的表情,因为微表情是自发的,不受意识的控制,直接反映了人内心真实的情感,且不易伪造,所以使得微表情的识别在心理医学工程领域、临床领域、司法领域等有着十分广阔的应用前景。
目前针对微表情的科学研究主要集中在微表情数据库的建立、微表情的快速检测以及识别等方面,微表情数据库的建立对于微表情自动识别的科学研究有至关重要的意义,因为目前限制微表情自动识别研究发展的一个很重要的因素是缺少测试资源,缺少一个具有一定数量和质量的微表情数据库。在建库时,录制的视频往往比较长,研究人员一般都是手动切开微表情视频序列形成子段。
发明内容
针对现有技术的不足,本发明提供一种微表情自动识别的建库视频自动切段方法。该方法利用基于内容的切段方法对建库视频进行非微表情剔除和微表情视频的自动切段,具体说是将建库视频转化为反映视觉内容特征的单帧图像,并与相邻帧图像之间的反映视觉内容的特征进行度量,获取帧与帧之间的视觉相似性信息,从而实现对建库视频中非微表情的剔除和微表情视频的自动切段。本发明能够快速有效地实现微表情视频的自动切段。
本发明采用如下技术方案:
微表情自动识别的建库视频自动切段方法,包括如下步骤:
步骤一:把建库视频分解为连续的单帧图像;
步骤二:对每帧图像的人脸位置进行标定;
步骤三:对每帧图像中人脸上的眼睛和鼻子的位置进行标定;
步骤四:根据步骤三中获取的眼睛和鼻子的位置对图像进行裁剪,只保留每帧图像的脸部区域;以减少复杂背景的干扰;
步骤五:选取一张同一个人的无表情的图像作为模板,逐帧与模板进行比较,剔除非微表情的图像;
步骤六:对步骤五中剩余的微表情图像,采用基于内容的切段方法对视频进行切段。
根据本发明优选的,所述步骤二中对人脸位置的标定方法,是采用现有Adaboost算法训练好的人脸分类器,确定人脸在每帧图像中的位置。
根据本发明优选的,所述步骤三中眼睛和鼻子的位置标定方法,包括步骤如下:
1)采用现有Adaboost算法训练好的眼睛分类器和鼻子分类器在步骤二中得到的图像的脸部区域搜索;
2)把得到的眼睛区域提取出来,得到瞳孔的坐标位置和瞳孔区域的大小;因为在眼睛区域中,瞳孔的灰度值普遍很低,利用这一特点,对眼睛区域利用水平和垂直方向的积分投影的方法,即可得到瞳孔的坐标位置和瞳孔区域的大小。
根据本发明优选的,所述步骤四中裁剪的方法是:
根据前述步骤三中获取的鼻子和眼睛瞳孔的位置坐标以及比例关系,以鼻子为中心,以两眼之间的距离的2倍为宽,以鼻子到两眼之间连线的垂直距离的5倍为高,画出一个矩形区域,按照此矩形区域对原图像进行裁剪。
根据本发明优选的,所述步骤五中剔除非微表情图像的方法:
选取一张无表情的图像作为模板,对上述步骤四中裁剪出来的图像逐个比较其与模板图像的灰度直方图的差异,如果帧间的灰度直方图差异小于根据图像内容自动选取的阈值时,则把该帧图像认为是非微表情图像,并剔除掉;如果帧间差异大于根据图像内容自动选取的阈值,则把该帧图像认为是微表情图像;
上述根据图像内容自动选取阈值的方法为:
假设Di为第i帧图像与无表情模板图像的灰度直方图的差值,α为自适应系数,其中0≤α≤1,设置常数c是为了防止帧间差值几乎为零时而无法自动选取阈值,当满足下式时,则把该帧图像认为是非微表情图像
其中,Dq为第q帧图像与无表情模板图像的灰度直方图的差值;
当时,则把该帧图像认为是微表情图像。
根据本发明优选的,所述步骤六中基于内容的切段方法为:
是通过对图像纹理特征的描述和比较,对相邻帧图像的相关性进行度量,取得一个描述帧间差距的量,寻找帧间差距的局部最大值点所对应的帧图像,即为切段点;
帧图像纹理特征的提取,采用二维Haar小波变换方法,是对帧图像进行2层小波变换,以小波变换的7个小波系数组成一个特征向量,作为帧图像的纹理特征表述方式;根据帧图像描述纹理特征的特征向量计算出相邻帧之间特征向量的欧氏距离,作为度量帧间差值的量,找出帧间差值取局部最大值点,以对应帧作为切段点,即从中提取出微表情视频的独立子段,实现建库视频的自动切段,具体步骤如下:
(1)采用二维Haar小波变换方法对帧图像进行2层小波变换,假设j为采用小波变换对图像分解的级数,则第j级二维图像小波系数由第j-1级的小波系数的加权和表示,其中h()为低通分解滤波器,g()为高通分解滤波器,第j级图像的像素点的行和列用m,n来表示,第j-1级图像像素点的行和列用k,l来表示;
低频子图像的小波系数
水平高频子图像的小波系数
垂直高频子图像的小波系数
对角高频子图像的小波系数
对图像进行2层Haar小波变换有7个小波系数,把这7个小波系数组合成一个特征向量
其中,上角标j和j+1分别表示第j级和第j+1级,D表示对角高频标识,h表示水平高频标识,v表示垂直高频标识;
(2)计算帧间特征向量的欧氏距离Ci,
其中,分别表示第i帧和第i-1帧的由Haar小波系数组成的特征向量;
(3)对帧间特征向量的欧氏距离取大于平均值的局部最大值,而且局部最大值要求大于前后3帧的距离值,以上述局部最大值对应的帧作为切段点,即从中提取出微表情的独立子段,从而实现对建库视频的自动切段。
本发明的有益效果:
本发明将建库视频转化为反映视觉内容特征的单帧图像,并与相邻帧之间的反映视觉内容的特征进行比较,获取帧与帧之间的视觉相似性信息,从而实现对建库视频中非微表情的剔除和微表情视频的自动切段。本发明在微表情自动识别的建库视频切段中表现出色,快速可靠。所以在建立微表情数据库时需要使用高速摄像机把人在一段时间内的脸部表情变化信息保存下来,再采用信息处理技术从中自动提取出微表情独立子段,即建库视频自动切段,以便日后对微表情进行训练和分类测试使用。
附图说明
图1为本发明的流程图;
图2为建库视频分解后的连续的帧图像;
图3为单帧图像的瞳孔和鼻子定位的结果;
图4为裁剪后的帧图像;
图5为非微表情帧图像;
图6为微表情帧图像;
图7为二维离散小波变换示意图(其中h为低通分解滤波器,g为高通分解滤波器);
图8为微表情帧图像的2层小波变换结果;
图9为图8对应的小波系数表示;
图10为帧间特征向量的欧氏距离,图中画小圆圈的尖峰点代表切段点,中间横线表示帧间特征向量欧氏距离的平均值;
图11为自动切段之后的帧图像(图中画矩形框的图像表示视频切段的切段点)。
具体实施方式
下面结合说明书附图和实施例对本发明进一步说明,但不限于此。
实施例、
如图1-11所示。
微表情自动识别的建库视频自动切段方法,包括如下步骤:
步骤一:把建库视频分解为连续的单帧图像;如图2所示;
步骤二:对每帧图像的人脸位置进行标定;
步骤三:对每帧图像中人脸上的眼睛和鼻子的位置进行标定;
步骤四:根据步骤三中获取的眼睛和鼻子的位置对图像进行裁剪,只保留每帧图像的脸部区域;
步骤五:选取一张同一个人的无表情的图像作为模板,逐帧与模板进行比较,剔除非微表情的图像;
步骤六:对步骤五中剩余的微表情图像,采用基于内容的切段方法对视频进行切段。
所述步骤二中对人脸位置的标定方法,是采用现有Adaboost算法训练好的人脸分类器,确定人脸在每帧图像中的位置。
所述步骤三中眼睛和鼻子的位置标定方法,包括步骤如下:
1)采用现有Adaboost算法训练好的眼睛分类器和鼻子分类器在步骤二中得到的图像的脸部区域搜索;
2)把得到的眼睛区域提取出来,得到瞳孔的坐标位置和瞳孔区域的大小;因为在眼睛区域中,瞳孔的灰度值普遍很低,利用这一特点,对眼睛区域利用水平和垂直方向的积分投影的方法,即可得到瞳孔的坐标位置和瞳孔区域的大小。如图3所示。
所述步骤四中裁剪的方法是:
根据前述步骤三中获取的鼻子和眼睛瞳孔的位置坐标以及比例关系,以鼻子为中心,以两眼之间的距离的2倍为宽,以鼻子到两眼之间连线的垂直距离的5倍为高,画出一个矩形区域,按照此矩形区域对原图像进行裁剪。如图4所示。
所述步骤五中剔除非微表情图像的方法:
选取一张无表情的图像作为模板,对上述步骤四中裁剪出来的图像逐个比较其与模板图像的灰度直方图的差异,如果帧间的灰度直方图差异小于根据图像内容自动选取的阈值时,则把该帧图像认为是非微表情图像,并剔除掉;如果帧间差异大于根据图像内容自动选取的阈值,则把该帧图像认为是微表情图像;
上述根据图像内容自动选取阈值的方法为:
假设Di为第i帧图像与无表情模板图像的灰度直方图的差值,α为自适应系数,其中0≤α≤1,设置常数c是为了防止帧间差值几乎为零时而无法自动选取阈值,当满足下式时,则把该帧图像认为是非微表情图像
其中,Dq为第q帧图像与无表情模板图像的灰度直方图的差值;
当时,则把该帧图像认为是微表情图像。
如图5所示为分离出来的非微表情的图像,如图6所示为分离出来的微表情的图像。
所述步骤六中基于内容的切段方法为:
是通过对图像纹理特征的描述和比较,对相邻帧图像的相关性进行度量,取得一个描述帧间差距的量,寻找帧间差距的局部最大值点所对应的帧图像,即为切段点;
帧图像纹理特征的提取,采用二维Haar小波变换方法,是对帧图像进行2层小波变换,以小波变换的7个小波系数组成一个特征向量,作为帧图像的纹理特征表述方式;根据帧图像描述纹理特征的特征向量计算出相邻帧之间特征向量的欧氏距离,作为度量帧间差值的量,找出帧间差值取局部最大值点,以对应帧作为切段点,即从中提取出微表情视频的独立子段,实现建库视频的自动切段,具体步骤如下:
(1)采用二维Haar小波变换方法对帧图像进行2层小波变换,假设j为采用小波变换对图像分解的级数,则第j级二维图像小波系数由第j-1级的小波系数的加权和表示,其中h()为低通分解滤波器,g()为高通分解滤波器,第j级图像的像素点的行和列用m,n来表示,第j-1级图像像素点的行和列用k,l来表示;
低频子图像的小波系数
水平高频子图像的小波系数
垂直高频子图像的小波系数
对角高频子图像的小波系数
如图7所示为二维离散小波变换示意图,图8为选取了一张微表情的2层Haar小波变换结果,图9为图8对应的小波系数表示。
对图像进行2层Haar小波变换有7个小波系数,把这7个小波系数组合成一个特征向量
其中,上角标j和j+1分别表示第j级和第j+1级,D表示对角高频标识,h表示水平高频标识,v表示垂直高频标识;
(2)计算帧间特征向量的欧氏距离Ci,帧间特征向量的欧氏距离如图10所示:
其中,和分别表示第i帧和第i-1帧的由Haar小波系数组成的特征向量;
(3)对帧间特征向量的欧氏距离取大于平均值的局部最大值,而且局部最大值要求大于前后3帧的距离值,如图10中所示,画小圆圈的尖峰点表示欧氏距离取得局部最大值的点,得到切段点帧图像的序号为:5,12,16,20,27,31,35,39,45,53,59,63,71,77,82,86。以这些帧作为切段点,即可从中提取出微表情的独立子段,从而实现对建库视频的自动切段。如图11所示,画方框的帧图像表示微表情独立子段的切段点。
Claims (5)
1.微表情自动识别的建库视频自动切段方法,包括如下步骤:
步骤一:把建库视频分解为连续的单帧图像;
步骤二:对每帧图像的人脸位置进行标定;
步骤三:对每帧图像中人脸上的眼睛和鼻子的位置进行标定;
步骤四:根据步骤三中获取的眼睛和鼻子的位置对图像进行裁剪,只保留每帧图像的脸部区域;
步骤五:选取一张同一个人的无表情的图像作为模板,逐帧与模板进行比较,剔除非微表情的图像;
步骤六:对步骤五中剩余的微表情图像,采用基于内容的切段方法对视频进行切段;
所述步骤五中剔除非微表情图像的方法:
选取一张无表情的图像作为模板,对上述步骤四中裁剪出来的图像逐个比较其与模板图像的灰度直方图的差异,如果帧间的灰度直方图差异小于根据图像内容自动选取的阈值时,则把所述帧图像认为是非微表情图像,并剔除掉;如果帧间差异大于根据图像内容自动选取的阈值,则把所述帧图像认为是微表情图像;
上述根据图像内容自动选取阈值的方法为:
假设Di为第i帧图像与无表情模板图像的灰度直方图的差值,α为自适应系数,其中0≤α≤1,设置常数c是为了防止帧间差值几乎为零时而无法自动选取阈值,当满足下式时,则把所述帧图像认为是非微表情图像
其中,Dq为第q帧图像与无表情模板图像的灰度直方图的差值;
当时,则把所述帧图像认为是微表情图像。
2.根据权利要求1所述的微表情自动识别的建库视频自动切段方法,其特征在于,所述步骤二中对人脸位置的标定方法,是采用现有Adaboost算法训练好的人脸分类器,确定人脸在每帧图像中的位置。
3.根据权利要求1所述的微表情自动识别的建库视频自动切段方法,其特征在于,所述步骤三中眼睛和鼻子的位置标定方法,包括步骤如下:
1)采用现有Adaboost算法训练好的眼睛分类器和鼻子分类器在步骤二中得到的图像的脸部区域搜索;
2)把得到的眼睛区域提取出来,得到瞳孔的坐标位置和瞳孔区域的大小;因为在眼睛区域中,瞳孔的灰度值普遍很低,利用这一特点,对眼睛区域利用水平和垂直方向的积分投影的方法,即可得到瞳孔的坐标位置和瞳孔区域的大小。
4.根据权利要求1所述的微表情自动识别的建库视频自动切段方法,其特征在于,所述步骤四中裁剪的方法是:
根据前述步骤三中获取的鼻子和眼睛瞳孔的位置坐标以及比例关系,以鼻子为中心,以两眼之间的距离的2倍为宽,以鼻子到两眼之间连线的垂直距离的5倍为高,画出一个矩形区域,按照此矩形区域对原图像进行裁剪。
5.根据权利要求1所述的微表情自动识别的建库视频自动切段方法,其特征在于,所述步骤六中基于内容的切段方法为:
是通过对图像纹理特征的描述和比较,对相邻帧图像的相关性进行度量,取得一个描述帧间差距的量,寻找帧间差距的局部最大值点所对应的帧图像,即为切段点;
帧图像纹理特征的提取,采用二维Haar小波变换方法,是对帧图像进行2层小波变换,以小波变换的7个小波系数组成一个特征向量,作为帧图像的纹理特征表述方式;根据帧图像描述纹理特征的特征向量计算出相邻帧之间特征向量的欧氏距离,作为度量帧间差值的量,找出帧间差值取局部最大值点,以对应帧作为切段点,即从中提取出微表情视频的独立子段,实现建库视频的自动切段,具体步骤如下:
(1)采用二维Haar小波变换方法对帧图像进行2层小波变换,假设j为采用小波变换对图像分解的级数,则第j级二维图像小波系数由第j-1级的小波系数的加权和表示,其中h()为低通分解滤波器,g()为高通分解滤波器,第j级图像的像素点的行和列用m,n来表示,第j-1级图像像素点的行和列用k,l来表示;
低频子图像的小波系数
水平高频子图像的小波系数
垂直高频子图像的小波系数
对角高频子图像的小波系数
对图像进行2层Haar小波变换有7个小波系数,把这7个小波系数组合成一个特征向量
其中,上角标j和j+1分别表示第j级和第j+1级,D表示对角高频标识,h表示水平高频标识,v表示垂直高频标识;
(2)计算帧间特征向量的欧氏距离Ci,
其中,和分别表示第i帧和第i-1帧的由Haar小波系数组成的特征向量;
(3)对帧间特征向量的欧氏距离取大于平均值的局部最大值,而且局部最大值要求大于前后3帧的距离值,以上述局部最大值对应的帧作为切段点,即从中提取出微表情的独立子段,从而实现对建库视频的自动切段。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310340292.9A CN103426005B (zh) | 2013-08-06 | 2013-08-06 | 微表情自动识别的建库视频自动切段方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310340292.9A CN103426005B (zh) | 2013-08-06 | 2013-08-06 | 微表情自动识别的建库视频自动切段方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103426005A CN103426005A (zh) | 2013-12-04 |
CN103426005B true CN103426005B (zh) | 2017-02-15 |
Family
ID=49650714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310340292.9A Expired - Fee Related CN103426005B (zh) | 2013-08-06 | 2013-08-06 | 微表情自动识别的建库视频自动切段方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103426005B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287949A (zh) * | 2019-07-30 | 2019-09-27 | 腾讯音乐娱乐科技(深圳)有限公司 | 视频片段提取方法、装置、设备及存储介质 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107273876B (zh) * | 2017-07-18 | 2019-09-10 | 山东大学 | 一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法 |
CN107480622A (zh) * | 2017-08-07 | 2017-12-15 | 深圳市科迈爱康科技有限公司 | 微表情识别方法、装置及存储介质 |
CN110597963B (zh) * | 2019-09-23 | 2024-02-06 | 腾讯科技(深圳)有限公司 | 表情问答库的构建方法、表情搜索方法、装置及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101661554A (zh) * | 2009-09-29 | 2010-03-03 | 哈尔滨工程大学 | 远距离视频下的正面人体自动身份识别方法 |
CN102103617A (zh) * | 2009-12-22 | 2011-06-22 | 华为终端有限公司 | 获取表情含义的方法和装置 |
CN102663371A (zh) * | 2012-04-25 | 2012-09-12 | 山东大学 | 一种耦合步态特征的低分辨率人脸识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AUPQ896000A0 (en) * | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
-
2013
- 2013-08-06 CN CN201310340292.9A patent/CN103426005B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101661554A (zh) * | 2009-09-29 | 2010-03-03 | 哈尔滨工程大学 | 远距离视频下的正面人体自动身份识别方法 |
CN102103617A (zh) * | 2009-12-22 | 2011-06-22 | 华为终端有限公司 | 获取表情含义的方法和装置 |
CN102663371A (zh) * | 2012-04-25 | 2012-09-12 | 山东大学 | 一种耦合步态特征的低分辨率人脸识别方法 |
Non-Patent Citations (2)
Title |
---|
"The Machine Knows What You Are Hiding: An Automatic Micro-expression Recognition System";Qi Wu;《Affective Computing and Intelligent Interaction》;20111031;第153页第3段-第158页第4段以及附图2 * |
"基于自动标签特征点的快速人脸识别算法";吴娜;《计算机系统结构》;20110803;第7页第2段-第6段、第19页第1段-第20页第1段、第37页第4段-第44页第4段 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287949A (zh) * | 2019-07-30 | 2019-09-27 | 腾讯音乐娱乐科技(深圳)有限公司 | 视频片段提取方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103426005A (zh) | 2013-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100361138C (zh) | 视频序列中人脸的实时检测与持续跟踪的方法及系统 | |
CN102214291B (zh) | 一种快速准确的基于视频序列的人脸检测跟踪方法 | |
CN103810490B (zh) | 一种确定人脸图像的属性的方法和设备 | |
CN105608454B (zh) | 基于文字结构部件检测神经网络的文字检测方法及系统 | |
CN109815867A (zh) | 一种人群密度估计和人流量统计方法 | |
CN104850825A (zh) | 一种基于卷积神经网络的人脸图像颜值计算方法 | |
CN107330371A (zh) | 3d脸部模型的脸部表情的获取方法、装置和存储装置 | |
CN104517102A (zh) | 学生课堂注意力检测方法及系统 | |
CN104484645B (zh) | 一种面向人机交互的“1”手势识别方法与系统 | |
CN107808376B (zh) | 一种基于深度学习的举手检测方法 | |
CN102629321B (zh) | 基于证据理论的人脸表情识别方法 | |
CN101853286B (zh) | 视频缩略图智能选取方法 | |
CN104143079A (zh) | 人脸属性识别的方法和系统 | |
CN101425137A (zh) | 基于拉普拉斯金字塔的人脸图像融合方法 | |
CN108960076B (zh) | 基于卷积神经网络的耳朵识别与跟踪方法 | |
Rouhi et al. | A review on feature extraction techniques in face recognition | |
CN105718873A (zh) | 基于双目视觉的人流分析方法 | |
CN103426005B (zh) | 微表情自动识别的建库视频自动切段方法 | |
CN109522853A (zh) | 面向监控视频的人脸检测与搜索方法 | |
CN110263768A (zh) | 一种基于深度残差网络的人脸识别方法 | |
CN102567716A (zh) | 一种人脸合成系统及实现方法 | |
CN112101208A (zh) | 高龄老人特征串联融合手势识别方法及装置 | |
CN108734200A (zh) | 基于bing特征的人体目标视觉检测方法和装置 | |
CN107169996A (zh) | 一种视频中动态人脸识别方法 | |
CN112396036A (zh) | 一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170215 Termination date: 20170806 |
|
CF01 | Termination of patent right due to non-payment of annual fee |