CN110765845B - 一种基于视频的行为识别方法 - Google Patents

一种基于视频的行为识别方法 Download PDF

Info

Publication number
CN110765845B
CN110765845B CN201910831903.7A CN201910831903A CN110765845B CN 110765845 B CN110765845 B CN 110765845B CN 201910831903 A CN201910831903 A CN 201910831903A CN 110765845 B CN110765845 B CN 110765845B
Authority
CN
China
Prior art keywords
frames
network
rgb
optical flow
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910831903.7A
Other languages
English (en)
Other versions
CN110765845A (zh
Inventor
宋余庆
戈世琛
刘哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201910831903.7A priority Critical patent/CN110765845B/zh
Publication of CN110765845A publication Critical patent/CN110765845A/zh
Application granted granted Critical
Publication of CN110765845B publication Critical patent/CN110765845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频的行为识别方法,属于视频图像处理领域。本发明将待测视频数据转换成RGB帧和光流帧,放入训练好的子网络获取RGB帧和光流帧的特征值,将所述特征值放入训练好的长短时记忆网络,得到行为识别结果;所述子网络在训练时,由交叉融合训练好的父网络进行监督。本发明使用交叉融合进一步提高行为识别的准确率,妥善解决了传统算法精确度低,较长时间段信息无法有效利用的问题。

Description

一种基于视频的行为识别方法
技术领域
本发明涉及一种基于视频的行为识别方法,属于视频图像处理领域。
背景技术
随着行为识别技术的不断发展,基于视频的行为识别变得越来越可靠。而与利用静止的图像进行分类相比,视频图像信息能额外提供了一个重要的线索:时间分量。利用视频中行为人在时间上的肢体运动信息可以更为可靠地识别许多动作,进而对视频进行分类。此外,视频还为单张静止图像(视频的每一帧)分类提供了自然数据增强(抖动)。
视频分类与行为识别因其在公共安全以及行为分析等诸多领域的广泛应用,引起了学术界的极大关注。在行为识别中,有两个关键和互补的方面:外观和动态。识别系统的性能在很大程度上取决于它是否能够从视频中提取和利用相关信息。最近,卷积网络(convnets)在对对象、场景和复杂事件的图像进行分类方面取得了巨大的成功,convnets也可解决基于视频的行为识别问题。深层convnets具有很强的建模能力,能够在大规模的监控数据集的帮助下,从原始视觉数据中学习识别表示。然而,与图像分类不同的是,端到端的深度转换网络在基于视频的行为识别方面仍然无法实现传统手工制作的功能的显著优势,主要是受到了两个主要障碍,首先,长的时间结构在理解动作视频中的动态变化中起着重要作用,然而主流的convnets框架通常关注外观和短期运动,因此缺乏整合长时间运动信息的能力;其次,可以直接用来训练的数据集仍不够理想,需要进一步扩充数据集。
在深度学习中,针对视频分类任务常用的解决方法一般有两种:3D卷积法和双流法。目前对于一般配置的电脑,3D卷积运算量较大,需要花费大量的时间用于训练。因此选择用双流法进行训练,而普通双流CNN只在最后结合基于RGB的CNN、基于光流法的CNN进行行为识别,无法合理地融合光流图像与普通RGB图像各自优势。
发明内容
本发明的目的在于:针对普通双流CNN只在最后结合基于RGB的CNN、基于光流法的CNN进行行为识别,无法合理地融合光流图像与普通RGB图像各自优势的缺陷,以及有效数据不够充足的问题,提出一种基于视频的行为识别方法,从而有效解决了普通双流CNN无法有效利用时间信息以及数据量不够充足的问题,识别准确度显著提高。
为了达到上述目的,本发明的一种基于视频的行为识别方法,将待测视频数据转换成RGB帧和光流帧,放入训练好的子网络获取RGB帧和光流帧的特征值,将所述特征值放入训练好的长短时记忆网络,得到行为识别结果;所述子网络在训练时,由交叉融合训练好的父网络进行监督。
进一步,所述父网络由交叉融合训练的具体过程为:将父网络训练数据集转换成RGB帧和光流帧,对所述RGB帧和光流帧进行训练后获取各自的特征值,使用交叉融合的方式对RGB侧和光流侧进行调整,全连接融合父网络RGB帧、光流帧以及融合网络的特征值,得到特征值F,通过softmax函数对特征值F产生概率分布。
更进一步,所述使用交叉融合的方式对RGB帧和光流帧进行调整的具体过程为:
在进行第二、三次最大池化之前,将RGB帧第二次卷积后得到的特征图a中的每一个特征值ai乘以权重m,同期光流帧的特征图b中相应位置的特征值bi乘以权重n,m*ai+n*bi得到新的特征图c,特征图c放入DenseBlock中继续训练得到的特征图d,d*p+a=e、d*q+b=f,由特征图e对RGB帧继续训练,由特征图f对光流帧继续训练。
更进一步,所述特征图d最大池化得到特征图g之后,与RGB侧和光流侧第三次最大池化之前得到的特征图h、i的平均值相加,对RGB侧和光流侧的原数据流补充,再经过四次Dense块和三次最大池化,最后进行全连接得到特征值F3。
更进一步,所述交叉融合的方式对RGB帧和光流帧进行调整使用五个卷积块和四次最大池化。
更进一步,所述RGB帧和光流帧进行训练时,使用五个卷积块和四次最大池化。
进一步,所述子网络的训练过程为:子网络训练数据集转换成RGB帧和光流帧,放入训练好的父网络中,获取各自的特征值,全连接融合RGB帧和光流帧的特征值F′,再通过softmax函数得到软标签;再将RGB帧和光流帧放入子网络中,获取各自的特征值,全连接融合RGB帧和光流帧的特征值F″,再通过softmax函数得到硬标签;所述软标签和硬标签通过交叉熵函数监督子网络的训练,使得子网络的概率分布尽可能接近父网络的概率分布。
进一步,所述长短时记忆网络的训练过程为:特征值F″输入到长短时记忆单元,经由全连接层,通过softmax函数得到特征值F″′,再由行为识别函数识别出行为的种类。
本发明的有益效果为:
本发明使用父子网络进一步减少部署时所需的成本,父网络使用交叉融合双流卷积神经网络,将光流法引入到CNN中,并与基于RGB的CNN结合,在过程中不断融合,利用了更多过程中产生的特征值,并且加深了融合过程的网络,使融合过程中提取到的特征值也参与最后的分类;子网络使用简单的双流CNN,由父网络监督训练,达到父网络训练的效果。本发明可以有效的利用较长时间段的视频图像信息,以满足基于短视频的行为识别的需求,提高识别的准确率,对基于视频的行为识别具有重要现实意义和应用价值。
附图说明
图1为本发明局部交叉融合双流CNN的父子网络示意图;
图2为本发明局部交叉融合双流CNN的父网络示意图;
图3为本发明局部交叉融合双流CNN的子网络示意图;
图4为本发明VGG19网络示意图;
图5为本发明一个五层DenseBlock的结构示意图;
图6为本发明利用长短时记忆网络对局部交叉融合双流CNN输出的特征值F″训练示意图。
具体实施方式
下面将结合附图对本发明的技术方案作进一步的说明,但是本发明的保护范围并不限于此。
如图1所示,本发明父网络包括RGB侧的VGG19网络、光流侧的VGG19网络以及交叉融合网络,利用数据量充足的数据集(例如ucf101数据集)进行训练;子网络由RGB侧的VGG19网络和光流侧的VGG19网络构成,可用少量数据集进行训练,并由父网络进行监督训练,以解决子网络训练数据集数据量不充足的问题,使得子网络以较少的内存和训练时间达到接近复杂的父网络的效果。
一种基于视频的行为识别方法,在计算机读入父网络训练数据集和子网络训练数据集后,包括如下步骤:
步骤一,对于父网络
(1),使用开源计算机视觉库(Open Source Computer Vision Library,opencv)的自带函数cv2.imshow()将数据量充足的数据集(父网络训练数据集)中的视频数据转换成RGB帧。
(2),使用稠密光流法将视频数据转换为光流帧
利用开源计算机视觉库中的calcOpticalFlowFraneback()函数将步骤一中相同数据集中的视频数据逐帧转换成x轴和y轴上的稠密光流帧。
(3),如图2所示,将步骤一得到的RGB帧放入父网络RGB侧的VGG19(VisualGeometry Group,所指牛津大学的视觉几何组)网络进行训练,将步骤二得到的光流帧放入父网络RGB侧的VGG19网络进行训练(此处使用Imagenet预训练过的VGG19网络可以节省大量的时间并且达到预期的效果);VGG19网络可用CNN(卷积神经网络)中的其它网络代替。
如图4所示,对一帧224×224×3(RGB3通道)大小的RGB帧,最开始的两层用64个3×3的过滤器对RGB帧进行卷积,输出结果是224×224×64的特征图,然后经过最大池化将得到的特征图进行压缩,得到了112×112×64的特征图;接下来两层使用128个3×3的过滤器对112×112×64的特征图进行卷积,输出结果是112×112×128的特征图,然后继续最大池化得到64×64×128的特征图;之后按照图4所示的网络结构不断进行卷积和最大池化的操作得到7×7×512的特征图,经过全连接得到了4096个节点(即一维特征值),共获取1000维特征值。对光流帧的训练过程同RGB帧的训练。
(4),在对RGB帧和光流帧进行训练的时候,使用交叉融合的方式对两个独立的训练网络进行调整。
例如在使用VGG19网络训练RGB帧时,在进行第二次最大池化之前,将第二次卷积后得到的特征图a中的每一个特征值ai乘以权重m(设为0.5),同期光流帧的特征图b中相应位置的特征值bi乘以权重n(设为0.5),m*ai与n*bi相加得到新的特征图c,特征图c放入DenseBlock中继续训练,而经过一个DenseBlock得到的特征图d,乘以权重p(设为0.25)后与特征图a相加,得到特征图e,特征图d乘以权重q(此时的光流帧特征并不作为主要特征,故而权重不可过高,设为0.25)后与特征图b相加,得到特征图f,由特征图e对RGB帧继续进行VGG19网络训练,由特征图f对光流帧继续进行VGG19网络训练。在VGG19网络的第三次最大池化之前仍然使用上述方法训练。如图1的虚线部分所示。
如图5所示,一个五层DenseBlock的结构示意图,DenseBlock的输出:xI=HI([x0,x1,x2,x3,...,xI-1]),其中,xI为DenseBlock中第I层的输出,x0~xI-1为前面所有层的输出,第I层的输入主要由x0~xI-1的输出组成。如果每个HI()函数产生k个特征图,则第I层具有k0+k×(I-1)个输入特征图,其中k0是输入层中的通道数。HI()函数的组成为:归一层+激活函数层+卷积层(1×1的卷积核)+归一层+激活函数层+卷积层(3×3的卷积核),1×1的卷积层又称为瓶颈层,其作用是为了减少输入的通道数量。
(5),融合网络
特征图d进行最大池化,输出新的特征图g之后,与RGB侧和光流侧第三次最大池化之前得到的特征图h、i的平均值相加(0.5h+0.5i+g),做一次RGB侧和光流侧的原数据流补充,再经过四次Dense块和三次最大池化,最后进行全连接得到1000维的特征值F3,再与RGB侧、光流侧得到的1000维特征值(F1、F2)进行一次全连接,最终通过全连接降维输出1000维特征值F;通过softmax函数(qi是i类的概率值,T是影响因子,zi是第i个特征值,训练父网络时T取值为1)对特征值F产生概率分布;至此,父网络训练完毕。
步骤二,对于子网络
(1),将子网络训练数据集(可以是少量数据样本)转换为RGB帧,方法同父网络(1);将子网络训练数据集转换为光流帧,方法同父网络(2);
(2),将子网络训练数据集的RGB帧和光流帧放入训练好的父网络中,获取各自的特征值,全连接融合RGB帧和光流帧的特征值F′,再通过softmax函数(此时T取较高值,取25)得到软标签(概率分布,记为P_Prob);将子网络训练数据集的RGB帧和光流帧放入子网络(子网络如图3所示,此处仍以VGG19网络为例)中,获取各自的特征值,全连接融合RGB帧和光流帧的特征值F″,再通过softmax函数/>(此时T取1)得到硬标签(记为C_Prob),软标签和硬标签通过交叉熵函数/>监督子网络的训练(RGB帧和光流帧的训练),使得子网络的概率分布尽可能接近父网络的概率分布,子网络训练完毕。
步骤三,将特征值F″作为长短时记忆网络的输入进行训练
尽管加深了融合网络,但是单单交叉融合双流部分在抗衡突然的视点变化、不可预测的摄像机运动或抖动的帧时,效果仍然略显不足。为了克服这些问题,将特征值F″输入到长短时记忆单元,再经由长短时记忆网络中的全连接层,通过softmax函数得到的1000维特征值F″′,放入行为识别函数,给出该行为的种类。本实例选取三组1000维特征值,分别输入三个连续的长短时记忆单元,前一组特征值输入的长短时记忆单元的输出作为后一组特征值输入的长短时记忆单元的输入,如图6所示。
将待测视频数据转换成RGB帧和光流帧,放入训练好的子网络获取RGB帧和光流帧的特征值,将特征值放入训练好的长短时记忆网络,得到行为识别结果。
以上实施例仅用于说明本发明的设计思想和特点,其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施,本发明的保护范围不限于上述实施例。所以,凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰,均在本发明的保护范围之内。

Claims (5)

1.一种基于视频的行为识别方法,其特征在于:将待测视频数据转换成RGB帧和光流帧,放入训练好的子网络获取RGB帧和光流帧的特征值,将所述特征值放入训练好的长短时记忆网络,得到行为识别结果;所述子网络在训练时,由交叉融合训练好的父网络进行监督;
所述父网络由交叉融合训练的具体过程为:将父网络训练数据集转换成RGB帧和光流帧,对所述RGB帧和光流帧进行训练后获取各自的特征值,使用交叉融合的方式对RGB侧和光流侧进行调整,全连接融合父网络RGB帧、光流帧以及融合网络的特征值,得到特征值F,通过softmax函数对特征值F产生概率分布;
所述使用交叉融合的方式对RGB帧和光流帧进行调整的具体过程为:
在进行第二、三次最大池化之前,将RGB帧第二次卷积后得到的特征图a中的每一个特征值ai乘以权重m,同期光流帧的特征图b中相应位置的特征值bi乘以权重n,m*ai+n*bi得到新的特征图c,特征图c放入DenseBlock中继续训练得到的特征图d,d*p+a=e、d*q+b=f,由特征图e对RGB帧继续训练,由特征图f对光流帧继续训练;
所述特征图d最大池化得到特征图g之后,与RGB侧和光流侧第三次最大池化之前得到的特征图h、i的平均值相加,对RGB侧和光流侧的原数据流补充,再经过四次Dense块和三次最大池化,最后进行全连接得到特征值F3。
2.根据权利要求1所述的基于视频的行为识别方法,其特征在于,所述交叉融合的方式对RGB帧和光流帧进行调整使用五个卷积块和四次最大池化。
3.根据权利要求2所述的基于视频的行为识别方法,其特征在于,所述RGB帧和光流帧进行训练时,使用五个卷积块和四次最大池化。
4.根据权利要求1所述的基于视频的行为识别方法,其特征在于,所述子网络的训练过程为:子网络训练数据集转换成RGB帧和光流帧,放入训练好的父网络中,获取各自的特征值,全连接融合RGB帧和光流帧的特征值F′,再通过softmax函数得到软标签;再将RGB帧和光流帧放入子网络中,获取各自的特征值,全连接融合RGB帧和光流帧的特征值F″,再通过softmax函数得到硬标签;所述软标签和硬标签通过交叉熵函数监督子网络的训练,使得子网络的概率分布尽可能接近父网络的概率分布。
5.根据权利要求4所述的基于视频的行为识别方法,其特征在于,所述长短时记忆网络的训练过程为:特征值F″输入到长短时记忆单元,经由全连接层,通过softmax函数得到特征值F″′,再由行为识别函数识别出行为的种类。
CN201910831903.7A 2019-09-04 2019-09-04 一种基于视频的行为识别方法 Active CN110765845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910831903.7A CN110765845B (zh) 2019-09-04 2019-09-04 一种基于视频的行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910831903.7A CN110765845B (zh) 2019-09-04 2019-09-04 一种基于视频的行为识别方法

Publications (2)

Publication Number Publication Date
CN110765845A CN110765845A (zh) 2020-02-07
CN110765845B true CN110765845B (zh) 2023-08-22

Family

ID=69330096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910831903.7A Active CN110765845B (zh) 2019-09-04 2019-09-04 一种基于视频的行为识别方法

Country Status (1)

Country Link
CN (1) CN110765845B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325253B (zh) * 2020-02-12 2023-05-05 杭州涂鸦信息技术有限公司 一种基于深度学习的双流法行为识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845351A (zh) * 2016-05-13 2017-06-13 苏州大学 一种用于视频的基于双向长短时记忆单元的行为识别方法
CN109615019A (zh) * 2018-12-25 2019-04-12 吉林大学 基于时空自动编码器的异常行为检测方法
CN109635668A (zh) * 2018-11-16 2019-04-16 华中师范大学 基于软标签集成卷积神经网络的人脸表情识别方法及系统
CN110147763A (zh) * 2019-05-20 2019-08-20 哈尔滨工业大学 基于卷积神经网络的视频语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845351A (zh) * 2016-05-13 2017-06-13 苏州大学 一种用于视频的基于双向长短时记忆单元的行为识别方法
CN109635668A (zh) * 2018-11-16 2019-04-16 华中师范大学 基于软标签集成卷积神经网络的人脸表情识别方法及系统
CN109615019A (zh) * 2018-12-25 2019-04-12 吉林大学 基于时空自动编码器的异常行为检测方法
CN110147763A (zh) * 2019-05-20 2019-08-20 哈尔滨工业大学 基于卷积神经网络的视频语义分割方法

Also Published As

Publication number Publication date
CN110765845A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN111489372B (zh) 基于级联卷积神经网络的视频前背景分离方法
CN112132197B (zh) 模型训练、图像处理方法、装置、计算机设备和存储介质
CN110135386B (zh) 一种基于深度学习的人体动作识别方法和系统
CN111242844B (zh) 图像处理方法、装置、服务器和存储介质
CN111860128A (zh) 一种基于多流快慢图卷积网络的人体骨骼行为识别方法
CN111274921A (zh) 一种利用姿态掩模进行人体行为识别的方法
CN111832453B (zh) 基于双路深度神经网络的无人驾驶场景实时语义分割方法
CN115809327B (zh) 一种多模融合和话题的实时社交网络谣言检测方法
CN110782458B (zh) 一种非对称编码网络的物体图像3d语义预测分割方法
CN112884758A (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
Jiang et al. Application Research of Key Frames Extraction Technology Combined with Optimized Faster R‐CNN Algorithm in Traffic Video Analysis
CN110765845B (zh) 一种基于视频的行为识别方法
CN114332701B (zh) 一种基于任务区分检测再识别联合网络的目标跟踪方法
CN113076902B (zh) 一种多任务融合的人物细粒度分割系统和方法
CN115311111A (zh) 课堂参与度评价方法及系统
CN117612072A (zh) 一种基于动态时空图的视频理解方法
CN111291663B (zh) 一种利用时空信息的快速视频目标物体分割方法
CN113159063B (zh) 一种基于改进的RetinaNet小目标检测方法
CN114596488A (zh) 基于密集特征融合网络的轻量级遥感目标检测方法
CN114445529A (zh) 一种基于动作及语音特征的人脸图像动画方法和系统
Wang et al. Self-Supervised Monocular Depth Estimation Based on High-Order Spatial Interactions
CN114202564A (zh) 一种基于事件相机的高速目标追踪的方法及系统
Li et al. VR+ HD: Video Semantic Reconstruction from Spatio-temporal Scene Graphs
CN110991366A (zh) 一种基于三维残差网络的航运监控事件识别方法及系统
Zhang et al. POD-YOLO Object Detection Model Based on Bi-directional Dynamic Cross-level Pyramid Network.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Song Yuqing

Inventor after: Ge Shichen

Inventor after: Liu Zhe

Inventor before: Liu Zhe

Inventor before: Ge Shichen

Inventor before: Song Yuqing

GR01 Patent grant
GR01 Patent grant