CN105513095B - 一种行为视频无监督时序分割方法 - Google Patents

一种行为视频无监督时序分割方法 Download PDF

Info

Publication number
CN105513095B
CN105513095B CN201511025422.5A CN201511025422A CN105513095B CN 105513095 B CN105513095 B CN 105513095B CN 201511025422 A CN201511025422 A CN 201511025422A CN 105513095 B CN105513095 B CN 105513095B
Authority
CN
China
Prior art keywords
video
time
behavior
sliding window
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201511025422.5A
Other languages
English (en)
Other versions
CN105513095A (zh
Inventor
卢国梁
高桢
闫鹏
王亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201511025422.5A priority Critical patent/CN105513095B/zh
Publication of CN105513095A publication Critical patent/CN105513095A/zh
Application granted granted Critical
Publication of CN105513095B publication Critical patent/CN105513095B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Image Analysis (AREA)

Abstract

一种行为视频无监督时序分割方法，包括初始化视频检测的起始时间为nt和相应的滑动窗口帧长度Lt；建立的视频序列窗口内做行为变化点的检测；若检测到该视频序列窗口内有行为变化点c，则以时间点c为检测起始时间并重新初始化滑动窗口帧长度继续对后续视频进行检测；否则，若在视频序列窗口中未检测到行为变化点，则仍以初始化的nt为检测起始帧，即nt+1＝nt，而滑动窗口的帧长度更新为Lt+1＝Lt+ΔL，其中ΔL为滑动窗长度增量步长；直到所有视频帧序列全部检测完成或到达预先指定的截止时间T0结束。该方法在行为视频分析中对数据变化点做出决策，无需先验知识在线实时的进行无监督分割，直接应用于行为视频数据在线分析中。

Description

一种行为视频无监督时序分割方法
技术领域
本发明涉及一种行为视频无监督时序分割方法，属于智能视频监控的技术领域。
背景技术
视觉人体行为分析是实现智能视频监控、人机交互、医疗辅助、运动还原的关键技术。现有分析方法大多假设：在观测到的一段视频片段中，只存在于一种行为类别。而实际中，观测到的行为视频常包含多种连续行为类别；且在很多情况下，我们通常没有先验知识去判断可能的种类以及每种行为的时间范围等信息，因此导致视频监控和筛选的时效非常低，耗费大量的人力和物力。
发明内容
针对现有技术的不足，本发明提供一种行为视频无监督时序分割方法。该方法在增量滑动窗口(incremental sliding-window)技术框架下通过检测视频子序列的时序变化点检测来实现对不同行为的时序分割。
本发明的技术方案如下：
一种行为视频无监督时序分割方法，所述方法中涉及行为视频的滑动窗口模型，包括
(1-1)初始化视频检测的起始时间为nt和相应的滑动窗口帧长度Lt；
(1-2)建立的视频序列窗口内做行为变化点的检测；
(1-3)若检测到该视频序列窗口内有行为变化点c，则以时间点c为检测起始时间并重新初始化滑动窗口帧长度继续对后续视频进行检测；否则，若在视频序列窗口中未检测到行为变化点，则仍以初始化的nt为检测起始帧，即nt+1＝nt，而滑动窗口的帧长度更新为Lt+1＝Lt+ΔL，其中ΔL为滑动窗长度增量步长；
(1-4)整个检测过程直到所有视频帧序列全部检测完成或到达预先指定的截止时间T0结束；
所述行为视频无监督时序分割方法，包括，视频子序列的行为变化点检测，步骤如下：
(2-1)在视频上逐帧进行特征提取并进行PCA降维；
(2-2)按时序关系将帧特征向量重构成多维时序数据；
(2-3)在时序数据每一维上利用偏差累积和，所述偏差累积和的英文为cumulative sum，CUSUM，分别计算数据异常度并将计算得到的异常度信息进行数据聚合；
(2-4)通过假设检验来检测行为的变化，若聚合后的异常度不小于设定的阈值λ，则取异常度中的最大值对应的时间点为行为的变化点，并以此对视频进行分割。
根据本发明优选的，所述行为视频的滑动窗口模型的建立方法，包括如下步骤：
步骤(1-1)：
初始化视频检测的起始帧nt＝n1和相应的滑动窗口的帧长度Lt＝L1，其中，L1设定为2L0，L0为一类行为视频的最小长度，应用中设定为50；
步骤(1-2)
在建立的视频序列滑动窗口内做行为变化点的检测；
步骤(1-3)
若在该视频序列窗口内检测到有行为变化点c，则以时间点c为后续检测的起始帧和滑动窗口帧长度L1继续对后续视频进行检测，即nt+1＝c、Lt+1＝L1；若在视频序列窗口中未检测到行为变化点，则仍以初始化的nt为检测起始帧，而滑动窗口的帧长度Lt+1更新为(Lt+ΔL)，其中ΔL为滑动窗长度增量步长(ΔL＝L0/2)，即nt+1＝nt、Lt+1＝Lt+ΔL；
步骤(1-4)
滑动窗口的检测直到所有视频帧序列全部检测完成或到达预先指定的截止时间T0结束，即nt+Lt>NorT0，其中N为给定的完整行为视频的图像总帧数，T0为预先指定的截止时间；否则，t＝t+1并返回步骤(1-2)。
根据本发明优选的，所述步骤(1-2)中所述在建立的视频序列滑动窗口内做行为变化点的检测的方法，包括如下步骤：
在上述增量滑动窗下，通过检测每个窗口内视频子序列的时序变化点检测来实现对不同行为的时序分割；
步骤(2-1)
一段给定的视频子序列Y，用y(t)表示第t帧的特征向量；
Y记作：Y＝{y(t)},t＝1,2,…,N，其中N表示视频的帧数，y(t)的维数用D表示；假设Y(t)是给定的行为视频Y中时间长度为L的一段视频子序列，从时间t开始，至时间t+L-1结束，并记作：
Y(t)：＝[y(t)T,y(t+1)T,…,y(t+L-1)T]∈RD×L，其中T表示矩阵的转置；
对Y(t)进行PCA自适应降维处理：首先将特征向量向PCA子空间进行投影并得到特征值；依次计算前d(d＝1,2,…,D)个特征值的累积和，记作：其中e(d)表示第d个特征值，并按进行数据归一化；当s(t)大于设定的阈值时，应用中设置为0.85，前d个PCA系数即作为特征降维后的特征，为了方便，在下文中仍用y(t)和D表示降维后时间t的低维度特征序列和维数；
步骤(2-2)
将PCA降维后的Y(t)重构成由D个一维特征时序数据组成的特征序列，记作：
其中表示第d维上的一维特征时序数据，T表示矩阵的转置；
步骤(2-3)
对于视频子序列Y(t)，设ci为Y(t)中存在的两种行为的变化候选点，该变化候选点将视频分为两部分，记作：和利用偏差累积和计算两部分视频子序列的数据分布变化，即对中的每一维d∈{1,2,…,D}，计算对应的异常度如下：
然后在所有维上对CUSUM(所述偏差累积和的英文为cumulative sum，CUSUM)计算得到的异常度进行数据聚合，用表示两部分行为视频和的异常度，计算公式如下：
其中，应用中，α设置为0.5；
计算对于所有变化候选点对应的异常度，得到一个关于异常度的集合；
步骤(2-4)
对于视频中行为变化点的检测提出如下的假设检验：
H0:
HA:
对于步骤(2-3)中得到的集合，若则接受原假设H0，即Y(t)中存在两种不同行为类别并取最大值对应的时间点c为行为变化点，即
并以此时间点对Y(t)进行分割；否则拒绝原假设H0，继续检测。假设检验中阈值λ根据经验设定或交叉验证得到，应用中可设置为6。
附图说明
图1是本发明所述一种行为视频无监督时序分割方法的流程图。
具体实施方式
下面结合实施例和说明书附图对本发明做详细的说明，但不限于此。
如图1所示。
实施例1、
一种行为视频无监督时序分割方法，所述方法中涉及行为视频的滑动窗口模型，包括
(1-1)初始化视频检测的起始时间为nt和相应的滑动窗口帧长度Lt；
(1-2)建立的视频序列窗口内做行为变化点的检测；
(1-3)若检测到该视频序列窗口内有行为变化点c，则以时间点c为检测起始时间并重新初始化滑动窗口帧长度继续对后续视频进行检测；否则，若在视频序列窗口中未检测到行为变化点，则仍以初始化的nt为检测起始帧，即nt+1＝nt，而滑动窗口的帧长度更新为Lt+1＝Lt+ΔL，其中ΔL为滑动窗长度增量步长；
(1-4)整个检测过程直到所有视频帧序列全部检测完成或到达预先指定的截止时间T0结束；
所述行为视频无监督时序分割方法，包括，视频子序列的行为变化点检测，步骤如下：
(2-1)在视频上逐帧进行特征提取并进行PCA降维；
(2-2)按时序关系将帧特征向量重构成多维时序数据；
(2-3)在时序数据每一维上利用偏差累积和分别计算数据异常度并将计算得到的异常度信息进行数据聚合；
(2-4)通过假设检验来检测行为的变化，若聚合后的异常度不小于设定的阈值λ，则取异常度中的最大值对应的时间点为行为的变化点，并以此对视频进行分割。
实施例2、
如实施例1所述的一种行为视频无监督时序分割方法，其区别在于，所述行为视频的滑动窗口模型的建立方法，包括如下步骤：
步骤(1-1)：
初始化视频检测的起始帧nt＝n1和相应的滑动窗口的帧长度Lt＝L1，其中，L1设定为2L0，L0为一类行为视频的最小长度，应用中设定为50；
步骤(1-2)
在建立的视频序列滑动窗口内做行为变化点的检测；
步骤(1-3)
若在该视频序列窗口内检测到有行为变化点c，则以时间点c为后续检测的起始帧和滑动窗口帧长度L1继续对后续视频进行检测，即nt+1＝c、Lt+1＝L1；若在视频序列窗口中未检测到行为变化点，则仍以初始化的nt为检测起始帧，而滑动窗口的帧长度Lt+1更新为(Lt+ΔL)，其中ΔL为滑动窗长度增量步长(ΔL＝L0/2)，即nt+1＝nt、Lt+1＝Lt+ΔL；
步骤(1-4)
滑动窗口的检测直到所有视频帧序列全部检测完成或到达预先指定的截止时间T0结束，即nt+Lt>NorT0，其中N为给定的完整行为视频的图像总帧数，T0为预先指定的截止时间；否则，t＝t+1并返回步骤(1-2)。
实施例3、
如实施例2所述的一种行为视频无监督时序分割方法，其区别在于，所述步骤(1-2)中所述在建立的视频序列滑动窗口内做行为变化点的检测的方法，包括如下步骤：
在上述增量滑动窗下，通过检测每个窗口内视频子序列的时序变化点检测来实现对不同行为的时序分割；
步骤(2-1)
一段给定的视频子序列Y，用y(t)表示第t帧的特征向量；
Y记作：Y＝{y(t)},t＝1,2,…,N，其中N表示视频的帧数，y(t)的维数用D表示；假设Y(t)是给定的行为视频Y中时间长度为L的一段视频子序列，从时间t开始，至时间t+L-1结束，并记作：
Y(t)：＝[y(t)T,y(t+1)T,…,y(t+L-1)T]∈RD×L，其中T表示矩阵的转置；
对Y(t)进行PCA自适应降维处理：首先将特征向量向PCA子空间进行投影并得到特征值；依次计算前d(d＝1,2,…,D)个特征值的累积和，记作：其中e(d)表示第d个特征值，并按进行数据归一化；当s(t)大于设定的阈值时，应用中设置为0.85，前d个PCA系数即作为特征降维后的特征，为了方便，在下文中仍用y(t)和D表示降维后时间t的低维度特征序列和维数；
步骤(2-2)
将PCA降维后的Y(t)重构成由D个一维特征时序数据组成的特征序列，记作：
其中表示第d维上的一维特征时序数据，T表示矩阵的转置；
步骤(2-3)
对于视频子序列Y(t)，设ci为Y(t)中存在的两种行为的变化候选点，该变化候选点将视频分为两部分，记作：和利用偏差累积和计算两部分视频子序列的数据分布变化，即对中的每一维d∈{1,2,…,D}，计算对应的异常度如下：
然后在所有维上对CUSUM计算得到的异常度进行数据聚合，用表示两部分行为视频和的异常度，计算公式如下：
其中，应用中，α设置为0.5；
计算对于所有变化候选点对应的异常度，得到一个关于异常度的集合；
步骤(2-4)
对于视频中行为变化点的检测提出如下的假设检验：
H0:
HA:
对于步骤(2-3)中得到的集合，若则接受原假设H0，即Y(t)中存在两种不同行为类别并取最大值对应的时间点c为行为变化点，即
并以此时间点对Y(t)进行分割；否则拒绝原假设H0，继续检测。假设检验中阈值λ根据经验设定或交叉验证得到，应用中可设置为6。

Claims (3)

1.一种行为视频无监督时序分割方法，其特征在于，所述方法中涉及行为视频的滑动窗口模型，包括
(1-1)初始化视频检测的起始时间为nt和相应的滑动窗口帧长度Lt；
(1-2)建立的视频序列窗口内做行为变化点的检测；
(1-3)若检测到该视频序列窗口内有行为变化点c，则以时间点c为检测起始时间并重新初始化滑动窗口帧长度继续对后续视频进行检测；否则，若在视频序列窗口中未检测到行为变化点，则仍以初始化的nt为检测起始帧，即nt+1＝nt，而滑动窗口的帧长度更新为Lt+1＝Lt+ΔL，其中ΔL为滑动窗长度增量步长；
(1-4)整个检测过程直到所有视频帧序列全部检测完成或到达预先指定的截止时间T0结束；
所述行为视频无监督时序分割方法，包括，视频子序列的行为变化点检测，步骤如下：
(2-1)在视频上逐帧进行特征提取并进行PCA降维；
(2-2)按时序关系将帧特征向量重构成多维时序数据；
(2-3)在时序数据每一维上利用偏差累积和分别计算数据异常度并将计算得到的异常度信息进行数据聚合；
(2-4)通过假设检验来检测行为的变化，若聚合后的异常度不小于设定的阈值λ，则取异常度中的最大值对应的时间点为行为的变化点，并以此对视频进行分割。
2.根据权利要求1所述一种行为视频无监督时序分割方法，其特征在于，所述行为视频的滑动窗口模型的建立方法，包括如下步骤：
步骤(1-1)：
初始化视频检测的起始帧nt＝n1和相应的滑动窗口的帧长度Lt＝L1，其中，L1设定为2L0，L0为一类行为视频的最小长度；
步骤(1-2)
在建立的视频序列滑动窗口内做行为变化点的检测；
步骤(1-3)
若在该视频序列窗口内检测到有行为变化点c，则以时间点c为后续检测的起始帧和滑动窗口帧长度L1继续对后续视频进行检测，即nt+1＝c、Lt+1＝L1；若在视频序列窗口中未检测到行为变化点，则仍以初始化的nt为检测起始帧，而滑动窗口的帧长度Lt+1更新为Lt+ΔL，其中ΔL为滑动窗长度增量步长ΔL＝L0/2，即nt+1＝nt、Lt+1＝Lt+ΔL；
步骤(1-4)
滑动窗口的检测直到所有视频帧序列全部检测完成或到达预先指定的截止时间T0结束，即nt+Lt>N or T0，其中N为给定的完整行为视频的图像总帧数，T0为预先指定的截止时间；否则，t＝t+1并返回步骤(1-2)。
3.根据权利要求2所述一种行为视频无监督时序分割方法，其特征在于，所述步骤(1-2)中所述在建立的视频序列滑动窗口内做行为变化点的检测的方法，包括如下步骤：
在上述视频序列滑动窗口下，通过检测每个窗口内视频子序列的时序变化点检测来实现对不同行为的时序分割；
步骤(2-1)
一段给定的视频子序列Y，用y(t)表示第t帧的特征向量；
Y记作：Y＝{y(t)},t＝1,2,…,N，其中N表示视频的帧数，y(t)的维数用D表示；假设y(t)是给定的行为视频Y中时间长度为L的一段视频子序列，从时间t开始，至时间t+L-1结束，并记作：
y(t)：＝[y(t)T,y(t+1)T,…,y(t+L-1)T]∈RD×L，其中T表示矩阵的转置；
对y(t)进行PCA自适应降维处理：首先将特征向量向PCA子空间进行投影并得到特征值；依次计算前d(d＝1,2,…,D)个特征值的累积和，记作：其中e(d)表示第d个特征值，并按进行数据归一化；当s(t)大于设定的阈值时，前d个PCA系数即作为特征降维后的特征，在下文中仍用y(t)和D表示降维后时间t的低维度特征序列和维数；
步骤(2-2)
将PCA降维后的y(t)重构成由D个一维特征时序数据组成的特征序列，记作：
其中表示第d维上的一维特征时序数据，T表示矩阵的转置；
步骤(2-3)
对于视频子序列y(t)，设ci为y(t)中存在的两种行为的变化候选点，该变化候选点将视频分为两部分，记作：和利用偏差累积和计算两部分视频子序列的数据分布变化，即对中的每一维d∈{1,2,…,D}，计算对应的异常度如下：
然后在所有维上对CUSUM计算得到的异常度进行数据聚合，用表示两部分行为视频和的异常度，计算公式如下：
其中，
计算对于所有变化候选点对应的异常度，得到一个关于异常度的集合；
步骤(2-4)
对于视频中行为变化点的检测提出如下的假设检验：
对于步骤(2-3)中得到的集合，若则接受原假设H0，即y(t)中存在两种不同行为类别并取最大值对应的时间点c为行为变化点，即并以此时间点对y(t)进行分割；否则拒绝原假设H0，继续检测。
CN201511025422.5A 2015-12-30 2015-12-30 一种行为视频无监督时序分割方法 Expired - Fee Related CN105513095B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511025422.5A CN105513095B (zh) 2015-12-30 2015-12-30 一种行为视频无监督时序分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511025422.5A CN105513095B (zh) 2015-12-30 2015-12-30 一种行为视频无监督时序分割方法

Publications (2)

Publication Number Publication Date
CN105513095A CN105513095A (zh) 2016-04-20
CN105513095B true CN105513095B (zh) 2019-04-09

Family

ID=55721052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511025422.5A Expired - Fee Related CN105513095B (zh) 2015-12-30 2015-12-30 一种行为视频无监督时序分割方法

Country Status (1)

Country Link
CN (1) CN105513095B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764026B (zh) * 2018-04-12 2021-07-30 杭州电子科技大学 一种基于时序检测单元预筛选的视频行为检测方法
CN109164980B (zh) * 2018-08-03 2024-02-02 北京涛思数据科技有限公司 一种时序数据的聚合优化处理方法
CN112347813B (zh) * 2019-08-07 2024-07-09 顺丰科技有限公司 高信噪比时间序列的基线检测方法、设备及存储介质
CN112231341A (zh) * 2020-09-03 2021-01-15 山东师范大学 基于多数据通道分析的云平台异常检测方法与系统
CN113160273A (zh) * 2021-03-25 2021-07-23 常州工学院 一种基于多目标跟踪的监控视频智能分段方法
CN113239236B (zh) * 2021-07-13 2021-10-01 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063692A (zh) * 2014-06-30 2014-09-24 武汉烽火众智数字技术有限责任公司 一种行人定位检测方法及系统
CN104243769A (zh) * 2014-09-12 2014-12-24 刘鹏 基于自适应阈值的视频场景变化检测方法
CN104952082A (zh) * 2015-05-15 2015-09-30 江南大学 一种类三步搜索策略的快速压缩跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4368767B2 (ja) * 2004-09-08 2009-11-18 独立行政法人産業技術総合研究所 異常動作検出装置および異常動作検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063692A (zh) * 2014-06-30 2014-09-24 武汉烽火众智数字技术有限责任公司 一种行人定位检测方法及系统
CN104243769A (zh) * 2014-09-12 2014-12-24 刘鹏 基于自适应阈值的视频场景变化检测方法
CN104952082A (zh) * 2015-05-15 2015-09-30 江南大学 一种类三步搜索策略的快速压缩跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Segmental-DTW的无监督行为序列分割;吴晓婕 等;《软件学报》;20080930;第19卷(第9期);全文 *
视频监控中的行为序列分割与识别;钱惠敏 等;《中国图象图形学报》;20091130;第14卷(第11期);全文 *

Also Published As

Publication number Publication date
CN105513095A (zh) 2016-04-20

Similar Documents

Publication Publication Date Title
CN105513095B (zh) 一种行为视频无监督时序分割方法
Abu Farha et al. When will you do what?-anticipating temporal occurrences of activities
Varol et al. Long-term temporal convolutions for action recognition
TWI794157B (zh) 自動多閾值特徵過濾方法及裝置
Wang et al. Least soft-threshold squares tracking
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN107784293A (zh) 一种基于全局特征和稀疏表示分类的人体行为识别方法
CN106373145B (zh) 基于跟踪片段置信度和区分性外观学习的多目标跟踪方法
US20160086053A1 (en) Object shape aligning apparatus, object processing apparatus and methods thereof
CN107368802B (zh) 基于kcf和人脑记忆机制的运动目标跟踪方法
CN113255557B (zh) 一种基于深度学习的视频人群情绪分析方法及系统
US11580741B2 (en) Method and apparatus for detecting abnormal objects in video
Du et al. Learning associative representation for facial expression recognition
Yoon et al. Semi-supervised object detection with sparsely annotated dataset
Zheng et al. Learning Robust Gaussian Process Regression for Visual Tracking.
CN106815562A (zh) 一种基于压缩特征的行人检测跟踪方法
Huang et al. Correlation-filter based scale-adaptive visual tracking with hybrid-scheme sample learning
Oshima et al. Ssm meets video diffusion models: Efficient video generation with structured state spaces
CN111062291B (zh) 一种机器人视觉跟踪方法及系统
Akhriev et al. Deep autoencoders with value-at-risk thresholding for unsupervised anomaly detection
CN101620734A (zh) 运动检测方法及装置、背景模型建立方法及装置
CN107273801A (zh) 一种视频多目标跟踪检测异常点的方法
CN113449601A (zh) 基于渐进性平滑损失的行人重识别模型训练和识别方法与装置
Ionita et al. Real time feature point tracking with automatic model selection
Wang et al. Robust visual tracking via guided low-rank subspace learning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190409

Termination date: 20191230

CF01 Termination of patent right due to non-payment of annual fee