CN107358195B - 基于重建误差的非特定异常事件检测及定位方法、计算机 - Google Patents

基于重建误差的非特定异常事件检测及定位方法、计算机 Download PDF

Info

Publication number
CN107358195B
CN107358195B CN201710561003.6A CN201710561003A CN107358195B CN 107358195 B CN107358195 B CN 107358195B CN 201710561003 A CN201710561003 A CN 201710561003A CN 107358195 B CN107358195 B CN 107358195B
Authority
CN
China
Prior art keywords
vae
gan
abnormal event
blocks
reconstruction error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710561003.6A
Other languages
English (en)
Other versions
CN107358195A (zh
Inventor
邵杰
武慧敏
宋井宽
高联丽
申恒涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Koala Youran Technology Co ltd
Original Assignee
Chengdu Koala Youran Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Koala Youran Technology Co ltd filed Critical Chengdu Koala Youran Technology Co ltd
Priority to CN201710561003.6A priority Critical patent/CN107358195B/zh
Publication of CN107358195A publication Critical patent/CN107358195A/zh
Application granted granted Critical
Publication of CN107358195B publication Critical patent/CN107358195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉和人工智能技术领域，公开了一种基于重建误差的非特定异常事件检测定位方法、计算机，VAE/GAN嵌入two‑streamarchitecture中；视频原始数据输入到一个VAE/GAN中实现空间数据生成，对应的光流场输入到另一个VAE/GAN中实现时间数据生成。本发明视频原始数据输入到一个VAE/GAN中训练一个空间数据生成模型，对应的光流场输入到另一个VAE/GAN中训练一个时间数据生成模型，经过离线训练后，2stream‑VAE/GAN学会了如何生成当前视频场景下的正常数据；在现流行的数据集UCSD Ped1和UCSD Ped2上，达到了0.71和0.89的AUC值。

Description

基于重建误差的非特定异常事件检测及定位方法、计算机
技术领域
本发明属于计算机视觉和人工智能技术领域，尤其涉及一种基于重建误差的非特定异常事件检测定位方法、计算机。
背景技术
当今社会，威胁社会治安的犯罪活动乃至恐怖袭击事件时有发生。传统的监控系统严重依赖人力资源，视频只能作为事后取证的依据，而不能在异常事件发生之处及时发出警报。除此之外，收集异常事件也有助于相关决策部门有针对性地做出政策的调整。因此，实时异常检测定位以及线下异常检测定位对于公共治安有着重要意义，而这些需求，是目前的依靠人力的监控系统无法满足的。监控视频中的研究非特定异常事件检测以及定位吸引了很多学者的关注，一系列解决方案被提出。
在非特定异常事件检测以及定位任务的训练集中只有正常视频，测试数据集中的视频包含了正常事件以及偏离正常事件的异常事件。为了能在合适的粒度下定位异常事件，通常将视频分成互相不重合的大小为的三维子块，其中，和分别代表三维子块的宽度、长度以及帧数。
实现这个任务的难点在于：首先，我们需要从外观特征和动态特征两方面来分析视频是正常还是异常，对视频特征提取提出了挑战；其次，训练集中只有正常事件，没有异常事件的任何信息，这就为定义“正常”以及离群值检测规则提出了挑战。对于第一个挑战，现流行方法倾向于设计传统的手工特征。由于手工特征只能提取简单的、低级的特征，在本发明中，采用了深度模型来提取高级的、包含更多语义信息的特征。对于第二个挑战，现流行方法可分为两类，一种是基于概率的方法，也就是说检测测试集中不符合由训练集数据的概率分布模型的数据，如“Weixin Li,Vijay Mahadevan,andNunoVasconcelos.2014.Anomaly Detection and Localization in CrowdedScenes.IEEE Trans.Pattern Anal.Mach.Intell.36,1(2014),18–32.”和“VenkateshSaligrama and Zhu Chen.2012.Video anomaly detection based on localstatistical aggregates.In 2012IEEE Conference on Computer Vision and PatternRecognition,Providence,RI,USA,June16-21,2012.2112–2119.”。基于概率的方法将偏离正常模式的数据视为异常数据，这跟异常的定义是一致的，但是直接描述高维数据分布，现有数据是不足的，导致直接描述的数据分布并不准确；另一种是基于模板的方法，即选出训练集数据中的代表性数据，根据测试集数据从这些模板恢复出来的重建误差来判断是否为异常，如“Kai-Wen Cheng,Yie-Tarng Chen,and Wen-Hsien Fang.2015.Video anomalydetection and localization using hierarchical feature representation andGaussian process regression.In IEEE Conference on Computer Vision and PatternRecognition,CVPR 2015,Boston,MA,USA,June 7-12,2015.2909–2917.”，“Yang Cong,Junsong Yuan,and Ji Liu.2011.Sparse reconstruction cost for abnormal eventdetection.In The 24th IEEE Conference on Computer Vision and PatternRecognition,CVPR 2011,Colorado Springs,CO,USA,20-25June 2011.3449–3456.”，“Cewu Lu,Jianping Shi,and JiayaJia.2013.Abnormal Event Detection at 150FPS inMATLAB.In IEEE International Conference on Computer Vision,ICCV 2013,Sydney,Australia,December 1-8,2013.2720–2727.”以及“MehrsanJavanRoshtkhari and MartinD.Levine.2013.Online Dominant andAnomalous Behavior Detection in Videos.In2013IEEE Conference on ComputerVision and Pattern Recognition,Portland,OR,USA,June 23-28,2013.2611–2618.”。这类方法通常通过追求稀疏性来压缩样本集合的大小，以达到降低时间、空间复杂度的目的，这样一个由有限集合的数据张成的空间的表述能力是有限的，也是相对来说刻板的。
综上所述，非特定异常事件检测及定位的难点在于：首先，需要从外观特征和动态特征两方面来分析视频是正常还是异常，对视频特征提取提出了挑战；其次，训练集中只有正常事件，没有异常事件的任何信息，这就为定义“正常”以及离群值检测规则提出了挑战。
在应对这两个挑战的时候，现有技术第一没有足够好的特征表达能力，第二没有足够好的描述正常数据的能力。
发明内容
针对现有技术存在的问题，本发明提供了一种基于重建误差的非特定异常事件检测定位方法、计算机。
本发明是这样实现的，一种基于重建误差的非特定异常事件检测及定位方法，所述基于重建误差的非特定异常事件检测及定位方法将VAE/GAN嵌入two-streamarchitecture中；将视频原始数据输入到一个VAE/GAN中实现空间数据生成，将对应的光流场输入到另一个VAE/GAN中实现时间数据生成，模型能够描述外观特征的正常模式和动态特征的正常模式。
进一步，所述基于重建误差的非特定异常事件检测及定位方法包括：离线训练过程和离群值检测过程；经过离线训练之后，获得空间数据生成模型和时间数据生成模型。
进一步，所述基于重建误差的非特定异常事件检测及定位方法的离线训练过程包括：
步骤一，将正常视频划分成互相不重合的大小为的三维子块，其中，和分别代表所述三维子块的宽度、长度以及帧数；述三维子块的大小代表了异常事件能够被检测出来的最小粒度；
步骤二，将正常的视频中三维子块拼成大小为的平面小块，并以小块为输入，训练一个VAE/GAN模型，另外以小块的密集光流场为输入，训练另一个VAE/GAN模型，两个VAE/GAN模型构成2stream-VAE/GAN模型。
进一步，所述基于重建误差的非特定异常事件检测及定位方法的离群值检测过程包括：
步骤一，将需要检测视频以与离线训练过程同样的方式划分成互相不重合的大小为的三维子块，并以与离线训练过程中同样的方式组成平面小块。
步骤二，将平面小块以及平面小块的密集光流场输入到2stream-VAE/GAN的模型中，计算2stream-VAE/GAN的重建误差，并以重建误差为指导判断所述平面小块是否为异常。
本发明另一目的在于提供一种应用上述基于重建误差的非特定异常事件检测及定位方法的计算机。
本发明的优点及积极效果为：将分为离线训练过程和离群值检测过程，视频原始数据输入到一个VAE/GAN中训练一个空间数据生成模型，将对应的光流场输入到另一个VAE/GAN中训练一个时间数据生成模型，经过离线训练后，2stream-VAE/GAN学会了如何生成当前视频场景下的正常数据。在现流行的数据集UCSD Ped1和UCSD Ped2上，本发明分别达到了0.71和0.89的Area Under Curve(AUC)值。
附图说明
图1是本发明实施例提供的基于重建误差的非特定异常事件检测及定位方法流程图。
图2是本发明实施例提供的2stream-VAE/GAN示意图。
图3是本发明实施例提供的背景技术VAE/GAN示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
结合VAE/GAN和two-stream architecture,本发明提出一种综合解决这两个挑战的方案，出发点在于：(1)可以利用VAE/GAN生成高维数据—图片的能力，描述正常数据；(2)可以利用two-stream architecture来表述外观特征和动态特征，从而发现外形异常以及动态异常。VAE/GAN(变分自动编码器/生成式对抗网络)首先被提出是在“AndersBoesenLindbo Larsen,
Figure BDA0001347084810000061
Hugo Larochelle,and OleWinther.2016.Autoencoding beyond pixels using a learned similarity metric.InProceedings ofthe 33nd International Conference on Machine Learning,ICML2016,New York City,NY,USA,June 19-24,2016.1558–1566.”。该方法由一个VAE和一个GAN组成，其中，VAE首先提出于“Diederik P.Kingma and Max Welling.2013.Auto-Encoding Variational Bayes.CoRR abs/1312.6114(2013).http://arxiv.org/abs/1312.6114.”，GAN提出于“Ian J.Goodfellow,Jean Pouget-Abadie,Mehdi Mirza,BingXu,David Warde-Farley,SherjilOzair,Aaron C.Courville,andYoshuaBengio.2014.Generative Adversarial Nets.In Advances in NeuralInformation Processing Systems 27:Annual Conference on Neural InformationProcessing Systems 2014,December 8-132014,Montreal,Quebec,Canada.2672–2680.”。一个VAE由一个encoder(编码器)和一个decoder(解码器)构成，encoder把一个输入样本映射到隐空间(该隐空间有一个先验概率空间)，decoder把该隐空间的表达映射回去原始数据空间。一个GAN有一个generator(生成器)和一个discriminator(分辨器)构成。Generator从一个先验概率空间生成一个原始数据空间的样本，discriminator区分该样本和原始样本，generator学到了“伪造”数据的能力，discriminator学到了分辨真实数据和伪造数据的能力，从而使得GAN成为以一种很好的图像生成的技术。VAE/GAN将VAE中的decoder和GAN中的generator合二为一，并让discriminator区分三种数据，即，原始数据，从隐空间生成的数据，从先验概率空间生成的数据。Two-stream architectures首次被提出是在“Karen Simonyan and Andrew Zisserman.2014.Two-StreamConvolutionalNetworks for Action Recognition in Videos.In Advances in NeuralInformationProcessing Systems 27:Annual Conference on Neural InformationProcessingSystems 2014,December 8-132014,Montreal,Quebec,Canada.568–576.”。通过将原始视频数据及其光流场分别输入到两个深度模型中，two-stream结合了视频的空间信息和时间信息，从而到达很好的动作识别效果。
下面结合附图对本发明的应用原理作详细的描述。
如图1所示，本发明实施例提供的基于重建误差的非特定异常事件检测及定位方法包括以下步骤：
S101：视频原始数据输入到一个VAE/GAN中训练一个空间数据生成模型，将对应的光流场输入到另一个VAE/GAN中训练一个时间数据生成模型；
S102：经过离线训练后，2stream-VAE/GAN学会了如何生成当前视频场景下的正常数据。
下面结合附图对本发明的应用原理作进一步的描述。
如图2所示，本发明提出了2stream-VAE/GAN模型，在详细介绍该模型之前，首先介绍两个背景技术，即VAE/GAN和two-stream architecture。
如图3所示，VAE/GAN模型中，原始数据空间的x被映射为隐空间表达z～q(z|x),该隐空间有一个先验分布空间z～p(z)总体的损失函数定义为：
Figure BDA0001347084810000081
其中：
Figure BDA0001347084810000082
Figure BDA0001347084810000083
Figure BDA0001347084810000084
其中DKL(q(z|x)||p(z))代表Kullback-Leibler散度，且
Figure BDA0001347084810000085
Figure BDA0001347084810000086
代表了discriminator的第l层。
Two-stream architecture通过将原始视频数据输入一个深度模型中，将其相关的光流场输入到另一个模型，训练得到两个模型分别处理空间信息和时间信息。
如图2所示，首先将数据集中的视频分割成的三维子块并将其拼成的图片，作为空间生成模型的输入，将对应的光流场作为时间生成模型的输入，如图2中“原始数据”和“光流场”所显示的。
本发明在特征提取方面，摒弃了传统方法提取手工特征的方法，采取了深度模型。在离群值检测规则方面，比起基于概率的方法，模型不要求定义一个明确的描述正常视频的概率分布模型，避免过拟合并带来了一定灵活性；比起基于模板的方法，模型的正常事件的范围更灵活而不是由几个模板张成的线性空间。
基于VAE/GAN和two-stream architecture本发明提出一个叫做2stream-VAE/GAN的异常检测以及定位的算法，并设计了异常检测及定位的规则。本发明将VAE/GAN嵌入了two-streamarchitecture当中提出了2stream-VAE/GAN，将视频原始数据输入到一个VAE/GAN中实现空间数据生成，将对应的光流场输入到另一个VAE/GAN中实现时间数据生成。
本发明将分为两个流程：离线训练过程和离群值检测过程。经过离线训练之后，我们获得了两个模型，一个空间数据生成模型和一个时间数据生成模型；因为2stream-VAE/GAN学习到了如何生成正常的数据(空间上和时间上)，离群值将被视为那些不能被很好地生成的数据，也就是重建误差大的数据。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于重建误差的非特定异常事件检测及定位方法，其特征在于，所述基于重建误差的非特定异常事件检测及定位方法将VAE/GAN嵌入two-stream- architecture中；将视频原始数据输入到一个VAE/GAN中实现空间数据生成，将对应的光流场输入到另一个VAE/GAN中实现时间数据生成。
2.如权利要求1所述的基于重建误差的非特定异常事件检测及定位方法，其特征在于，所述基于重建误差的非特定异常事件检测及定位方法包括：离线训练过程和离群值检测过程；经过离线训练之后，获得空间数据生成模型和时间数据生成模型。
3.如权利要求2所述的基于重建误差的非特定异常事件检测及定位方法，其特征在于，所述基于重建误差的非特定异常事件检测及定位方法的离线训练过程包括：
步骤一，将正常视频划分成互相不重合的大小为w*h*t的三维子块，其中w，h和t分别代表所述三维子块的宽度、长度以及帧数；上述三维子块的大小代表了异常事件能够被检测出来的最小粒度；
步骤二，将正常的视频中三维子块拼成大小为的W*H*t平面小块，其中平面小块的宽度W是三维小块宽度w的整数倍，同样，平面小块的高度H是三维小块高度h的整数倍，以小块为输入，训练two-stream-VAE/GAN模型，two-stream-VAE/GAN模型的定义是这样一种模型：第一个stream以平面小块为输入，采用VAE/GAN方法，经训练输出与输入大小相同内容相像的图片；第二个stream以平面小块对应的密集光流场为输入，同样采用VAE/GAN方法，经训练输出与输入大小相同内容相像的图片，计算输入图片和输出图片每个平面小块之间的距离，即重建误差，判断那些两个stream的重建误差之和超过一定阈值的平面小块为异常。
4.如权利要求2所述的基于重建误差的非特定异常事件检测及定位方法，其特征在于，所述基于重建误差的非特定异常事件检测及定位方法的离群值检测过程包括：
步骤一，将需要检测视频以与离线训练过程同样的方式划分成互相不重合的大小为w*h*t的三维子块，并以与离线训练过程中同样的方式组成平面小块；
步骤二，将平面小块以及平面小块的密集光流场输入到two-stream-VAE/GAN的模型中，计算two-stream-VAE/GAN的重建误差，并以重建误差为指导判断所述平面小块是否为异常。
5.一种应用权利要求1～4任意一项所述基于重建误差的非特定异常事件检测及定位方法的计算机。
CN201710561003.6A 2017-07-11 2017-07-11 基于重建误差的非特定异常事件检测及定位方法、计算机 Active CN107358195B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710561003.6A CN107358195B (zh) 2017-07-11 2017-07-11 基于重建误差的非特定异常事件检测及定位方法、计算机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710561003.6A CN107358195B (zh) 2017-07-11 2017-07-11 基于重建误差的非特定异常事件检测及定位方法、计算机

Publications (2)

Publication Number Publication Date
CN107358195A CN107358195A (zh) 2017-11-17
CN107358195B true CN107358195B (zh) 2020-10-09

Family

ID=60292346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710561003.6A Active CN107358195B (zh) 2017-07-11 2017-07-11 基于重建误差的非特定异常事件检测及定位方法、计算机

Country Status (1)

Country Link
CN (1) CN107358195B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017222616A1 (de) * 2017-12-13 2019-06-13 Robert Bosch Gmbh Verfahren zum automatisierten Erstellen von Regeln für eine regelbasierte Anomalieerkennung in einem Datenstrom
DE102017223751A1 (de) * 2017-12-22 2019-06-27 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Anomalien in einem Datenstrom eines Kommunikationsnetzwerks
CN109447263B (zh) * 2018-11-07 2021-07-30 任元 一种基于生成对抗网络的航天异常事件检测方法
CN109584221B (zh) * 2018-11-16 2020-07-28 聚时科技(上海)有限公司 一种基于监督式生成对抗网络的异常图像检测方法
CN109948117B (zh) * 2019-03-13 2023-04-07 南京航空航天大学 一种对抗网络自编码器的卫星异常检测方法
CN110147323B (zh) * 2019-04-24 2023-05-23 北京百度网讯科技有限公司 一种基于生成对抗网络的变更智能检查方法及装置
CN110264722A (zh) * 2019-07-03 2019-09-20 泰华智慧产业集团股份有限公司 信息采集设备中异常设备的筛选方法及系统
CN111612906B (zh) * 2020-05-25 2023-04-18 长江大学 一种三维地质模型的生成方法、系统及计算机存储介质
CN113762007B (zh) * 2020-11-12 2023-08-01 四川大学 一种基于外观和动作特征双预测的异常行为检测方法
CN113283849B (zh) * 2021-07-26 2021-11-02 山东建筑大学 基于视频上下文联系的物流异常智能检测方法
CN114297936A (zh) * 2021-12-31 2022-04-08 深圳前海微众银行股份有限公司 一种数据异常检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503652A (zh) * 2016-10-21 2017-03-15 南京理工大学 基于低秩自适应稀疏重建的异常事件检测方法
CN106845471A (zh) * 2017-02-20 2017-06-13 深圳市唯特视科技有限公司 一种基于生成对抗网络的视觉显著性预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170109584A1 (en) * 2015-10-20 2017-04-20 Microsoft Technology Licensing, Llc Video Highlight Detection with Pairwise Deep Ranking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503652A (zh) * 2016-10-21 2017-03-15 南京理工大学 基于低秩自适应稀疏重建的异常事件检测方法
CN106845471A (zh) * 2017-02-20 2017-06-13 深圳市唯特视科技有限公司 一种基于生成对抗网络的视觉显著性预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Autoencoding beyond pixels using a learned similarity metric》;Anders Boesen lindbo Larsen 等;《Proceedings of the 33rd International Conference on Machine Learning》;20161231;全文 *
《Two-Stream Convolutional Networks for Action Recognition in Videos》;Karen Simonyan 等;《arXiv》;20141112;全文 *

Also Published As

Publication number Publication date
CN107358195A (zh) 2017-11-17

Similar Documents

Publication Publication Date Title
CN107358195B (zh) 基于重建误差的非特定异常事件检测及定位方法、计算机
Wang et al. Generative neural networks for anomaly detection in crowded scenes
Roy et al. Unsupervised universal attribute modeling for action recognition
Guo et al. JointPruning: Pruning networks along multiple dimensions for efficient point cloud processing
Chen et al. An effective subsuperpixel-based approach for background subtraction
Su et al. Improving action localization by progressive cross-stream cooperation
Ahmed et al. Deep event stereo leveraged by event-to-image translation
Hu et al. Spatial-temporal fusion convolutional neural network for simulated driving behavior recognition
CN115661246A (zh) 一种基于自监督学习的姿态估计方法
CN110335299A (zh) 一种基于对抗网络的单目深度估计系统实现方法
CN112801019A (zh) 基于合成数据消除无监督车辆再识别偏差的方法及系统
CN112507893A (zh) 一种基于边缘计算的分布式无监督行人重识别方法
CN210072642U (zh) 基于视频监控的人群异常行为检测系统
Zheng et al. Anomaly detection of metro station tracks based on sequential updatable anomaly detection framework
Rao et al. Extreme feature regions detection and accurate quality assessment for point-cloud 3D reconstruction
Feng Mask RCNN-based single shot multibox detector for gesture recognition in physical education
Liu et al. Remote video detection algorithm of sports wrong actions under wireless network
CN116824641A (zh) 姿态分类方法、装置、设备和计算机存储介质
Revi et al. Gan-generated fake face image detection using opponent color local binary pattern and deep learning technique
Saif et al. Aggressive action estimation: a comprehensive review on neural network based human segmentation and action recognition
He et al. MTRFN: Multiscale temporal receptive field network for compressed video action recognition at edge servers
CN113420608A (zh) 一种基于密集时空图卷积网络的人体异常行为识别方法
Zhang et al. Segmentation is Tracking: Spatial-Temporal Map Vehicle Trajectory Reconstruction and Validation
Luo Review of GAN-based person re-identification
Cherian et al. Sound2sight: Generating visual dynamics from sound and context

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Non specific abnormal event detection and localization method based on reconstruction error, computer

Effective date of registration: 20230524

Granted publication date: 20201009

Pledgee: Industrial Bank Limited by Share Ltd. Chengdu branch

Pledgor: CHENGDU KOALA YOURAN TECHNOLOGY CO.,LTD.

Registration number: Y2023510000130

PE01 Entry into force of the registration of the contract for pledge of patent right