CN115858855B - 一种基于情景特征的视频数据查询方法 - Google Patents

一种基于情景特征的视频数据查询方法 Download PDF

Info

Publication number
CN115858855B
CN115858855B CN202310171999.5A CN202310171999A CN115858855B CN 115858855 B CN115858855 B CN 115858855B CN 202310171999 A CN202310171999 A CN 202310171999A CN 115858855 B CN115858855 B CN 115858855B
Authority
CN
China
Prior art keywords
scene
video data
video
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310171999.5A
Other languages
English (en)
Other versions
CN115858855A (zh
Inventor
钱辉
栾鹿鸣
马勇
李辉
简雯欣
邵诗韵
王英
聂百胜
何美斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Normal University
Original Assignee
Jiangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Normal University filed Critical Jiangxi Normal University
Priority to CN202310171999.5A priority Critical patent/CN115858855B/zh
Publication of CN115858855A publication Critical patent/CN115858855A/zh
Application granted granted Critical
Publication of CN115858855B publication Critical patent/CN115858855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于情景特征的视频数据查询方法,包括:获取初始视频数据储存至视频数据库;进行分段处理,得到视频分段结果,并提取对应的场景特征和情景特征,分别储存至场景数据库和情景数据库;获取待查询视频数据;进行分段处理得到待查询视频分段结果、场景特征及情景特征;将待查询的场景特征与数据库中的场景特征进行比对,优选前15%作为场景匹配结果;将待查询的情景特征与所述场景匹配结果对应的情景特征进行比对,优选前10%作为情景匹配结果;将情景匹配结果对应的视频初始数据作为视频数据查询结果返回给用户。通过上述方式,本发明能够根据视频情景特征实现对视频数据的查询操作,提高了视频数据的查询普适性、易用性。

Description

一种基于情景特征的视频数据查询方法
技术领域
本发明涉及视频查询领域,特别是涉及一种基于情景特征的视频数据查询方法。
背景技术
随着计算机网络和多媒体技术的发展,人们接收信息的方式由传统的文字和图片转向视频流,这导致了视频数据数量剧增。随着5G技术的发展,视频占据全球移动流量中的份额相较于2018年的60%仍具有非常大的提升空间。近年来,视频信息的分析与查询已成为视频处理过程中的一个重要研究内容,但仍存在如数据处理量过大、准确率不足等问题。
公告号为CN102880692B,名称为一种面向检索的监控视频语义描述和检测建模方法的专利文献,提出了语义描述和检测建模的改进方案,能够更好实现对监控视频的有效描述,为海量监控视频信息的存储和检索提供支持。但该方案的检索基于对视频数据提取出的语义信息,在视频查询过程中会出现待查询视频语义提取过程和视频库视频语义提取过程的双重信息损失,导致查询准确率下降。公告号为CN114373145A,名称为基于ORB算法的关键帧获取的监控视频场景分类方法的专利文献,提出了基于变化帧的视频分割方案,该方案对视频内容局限性较大,在非监控类视频的应用上存在不足。公告号为CN112183442A,名称为一种多模态场景特定情景的识别方法的专利文献,提出了基于场景元素识别的技术方案,但该方案需要对视频数据中包含的特征元素进行大量计算及分类,难以进行实际应用。
发明内容
本发明主要解决的技术问题是提供一种基于情景特征的视频数据查询方法,能够根据视频情景特征实现对视频数据的查询操作。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种基于情景特征的视频数据查询方法,其特征在于,包括:
步骤1:获取视频所有者所上传的初始视频数据,并储存至视频数据库;
步骤2:对所述初始视频数据进行分段处理,得到若干项视频分段结果;
步骤3:对所述视频分段结果提取对应的场景特征和情景特征,将所述场景特征和所述情景特征分别储存至场景数据库和情景数据库;
步骤4:获取待查询视频数据;
步骤5:对所述待查询视频数据进行分段处理,得到若干项待查询视频分段结果;
步骤6:对所述待查询视频分段结果提取对应的场景特征、情景特征,得到待查询视频数据对应的若干项场景特征及若干项情景特征;
步骤7:将所述待查询视频数据对应的若干场景特征与场景数据库中的场景特征进行比对,选取其中匹配度最高的15%项场景特征作为场景匹配结果;
步骤8:将所述待查询视频数据对应的若干情景特征与所述场景匹配结果对应的情景特征进行比对,选取其中匹配度最高的10%项情景特征作为情景匹配结果;
步骤9:将所述情景匹配结果对应的视频初始数据作为视频数据查询结果返回给用户。
进一步地,所述分段处理,具体包括:
以视频数据的第一帧图像作为当前视频分段结果的段首帧;
对视频数据进行逐帧读取,计算每一帧图像的段首相似度及邻帧相似度;
当段首相似度低于60%或邻帧相似度低于预设值时,以该帧图像作为下一项视频分段结果的段首帧;
重复上述计算过程,直至视频数据读取完毕;
所述段首相似度为一帧图像与段首帧的图像相似度;
所述邻帧相似度为一帧图像与相邻前一帧的图像相似度。
进一步地,所述提取场景特征和情景特征,具体包括:
获取每项视频分段结果的关键帧图像,并输入到图像分割模型获得图像背景部分及图像实体部分;
对图像背景部分进行特征提取,得到图像背景特征信息,作为视频分段结果对应的场景特征;
对图像实体部分进行特征提取,得到图像实体特征信息;
将所述图像实体特征信息与图像背景特征信息进行特征交叉,将特征交叉的结果作为视频分段结果对应的情景特征;
所述关键帧图像,为视频分段结果在时间坐标上与该项视频分段结果段首帧及下一项视频分段结果段首帧距离之和最大的一帧图像。
进一步地,所述步骤7,具体包括:
计算所述待查询视频数据对应的若干场景特征与场景数据库中的场景特征间的余弦距离,得到余弦距离计算结果集合;
对所述余弦距离计算结果集合,按数值大小进行排序,选取其中较大的15%项余弦距离计算结果对应的场景数据库中的场景特征作为场景匹配结果。
进一步地,所述步骤8,具体包括:
获取场景匹配结果对应的情景数据库中的情景特征,与所述待查询视频数据对应的若干情景特征计算海明距离,得到海明距离计算结果集合;
对所述海明距离计算结果集合,按数值大小进行排序,选取其中最小的10%项海明距离计算结果对应的情景数据库中的情景特征作为情景匹配结果。
进一步地,所述预设值,可以通过人工设定方式或自动设定方式进行设置,具体包括:
所述人工设定方式,为操作人员在建立查询方案时根据待查询视频数据情景变化速度进行设定,取值范围为75%~95%,设定的预设值与情景变化速度负相关;
所述自动设定方式,设定初始预设值为75%,由第一项邻帧相似度计算结果开始,将邻帧相似度计算结果与初始预设值进行平均数计算得到平均预设值,所述平均预设值作为进行下一帧图像相似度判断的预设值,具体公式为:
其中,为平均预设值,为初始预设值,为第i帧图像的邻帧相似度计算结果,n为当前帧的帧数,重复上述操作直至得到下一项视频分段结果的段首帧,则将预设值重新调整为初始预设值。
本发明的有益效果是:
1、本发明将视频数据与特征数据分开储存,查询过程中只调用场景数据库及情景数据库中储存的特征信息进行计算,保证了数据储存的安全性;
2、本发明通过进行多重特征查询与分类,在尽可能降低数据计算量的同时保证了视频数据查询的准确性;
3、本发明提出了基于情景特征的查询方案,在提高视频数据查询的普适性、易用性上起到了关键作用。
附图说明
图1是一种基于情景特征的视频数据查询方法的流程图;
图2是一种基于情景特征的视频数据查询方法的视频数据处理流程示意图;
图3是一种基于情景特征的视频数据查询方法的视频数据分段处理示意图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1、图2和图3,本发明实施例包括:
一种基于情景特征的视频数据查询方法,其特征在于,包括:
步骤1:获取视频所有者上传的初始视频数据,并储存至视频数据库;
步骤2:对所述初始视频数据进行分段处理,得到若干项视频分段结果;
步骤3:对所述视频分段结果提取对应的场景特征和情景特征,将所述场景特征和所述情景特征分别储存至场景数据库和情景数据库;
步骤4:获取待查询视频数据;
步骤5:对所述待查询视频数据进行分段处理,得到若干项待查询视频分段结果;
步骤6:对所述待查询视频分段结果提取对应的场景特征、情景特征,得到待查询视频数据对应的若干项场景特征及若干项情景特征;
步骤7:将所述待查询视频数据对应的若干场景特征与场景数据库中的场景特征进行比对,选取其中匹配度最高的15%项场景特征作为场景匹配结果;
步骤8:将所述待查询视频数据对应的若干情景特征与所述场景匹配结果对应的情景特征进行比对,选取其中匹配度最高的10%项情景特征作为情景匹配结果;
步骤9:将所述情景匹配结果对应的视频初始数据作为视频数据查询结果返回给用户。
进一步地,所述分段处理,具体包括:
以视频数据的第一帧图像作为当前视频分段结果的段首帧;
对视频数据进行逐帧读取,计算每一帧图像的段首相似度及邻帧相似度;
当段首相似度低于60%或邻帧相似度低于预设值时,以该帧图像作为下一项视频分段结果的段首帧;
重复上述计算过程,直至视频数据读取完毕;
所述段首相似度为一帧图像与段首帧的图像相似度;
所述邻帧相似度为一帧图像与相邻前一帧的图像相似度。
进一步地,所述匹配度最高的15%项、所述匹配度最高的10%项,适用于一般情况下的大多数场景数据库和情景数据库;在部分特殊情况下,如:数据库数据量极大、数据库数据种类复杂等,可对结果比例进行适应性调整。
进一步地,所述适应性调整,结果比例取值与数据库数据量及数据库数据复杂度成反比,随数据库数量增加或数据库数据复杂度上升,逐渐降低结果比例取值。
进一步地,所述提取对应的场景特征和情景特征,具体包括:
获取每项视频分段结果的关键帧图像,并输入到图像分割模型获得图像背景部分及图像实体部分;
对图像背景部分进行特征提取,得到图像背景特征信息,作为视频分段结果对应的场景特征;
对图像实体部分进行特征提取,得到图像实体特征信息;
将所述图像实体特征信息与图像背景特征信息进行特征交叉,将特征交叉的结果作为视频分段结果对应的情景特征;
所述关键帧图像,为视频分段结果在时间坐标上与该项视频分段结果段首帧及下一项视频分段结果段首帧距离之和最大的一帧图像。
进一步地,当处理至最后一项视频分段结果时,在视频数据结尾帧增加一帧辅助计算帧作为该视频分段结果的下一项视频分段结果段首帧以辅助计算关键帧图像位置。
进一步地,所述特征交叉,在本实施例中采用CAN网络实现场景特征和情景特征的特征交叉,能够取得更为精确的结果,在其他实施例中,也可采用不同的特征交叉网络实现对场景特征和情景特征的特征交叉。
进一步地,所述步骤7,具体包括:
计算所述待查询视频数据对应的若干场景特征与场景数据库中的场景特征间的余弦距离,得到余弦距离计算结果集合;
对所述余弦距离计算结果集合,按数值大小进行排序,选取其中较大的15%项余弦距离计算结果对应的场景数据库中的场景特征作为场景匹配结果。
进一步地,所述步骤8,具体包括:
获取场景匹配结果对应的情景数据库中的情景特征,与所述待查询视频数据对应的若干情景特征计算海明距离,得到海明距离计算结果集合;
对所述海明距离计算结果集合,按数值大小进行排序,选取其中最小的10%项海明距离计算结果对应的情景数据库中的情景特征作为情景匹配结果。
进一步地,所述预设值,可以通过人工设定方式或自动设定方式进行设置,具体包括:
所述人工设定方式,为操作人员在建立查询方案时根据待查询视频数据情景变化速度进行设定,取值范围为75%~95%,设定的预设值与情景变化速度负相关。
进一步地,所述取值范围为75%~95%,根据综合对比实验结果确定,人工设定方式在该取值范围内不易出现准确率异常。
进一步地,所述设定的预设值与情景变化速度负相关,指设定的预设值应当随情景变化速度增加而逐渐降低,降低幅度由操作人员根据待查询视频数据的情景变化速度进行确定;
所述自动设定方式,设定初始预设值为75%,由第一项邻帧相似度计算结果开始,将邻帧相似度计算结果与初始预设值进行平均数计算得到平均预设值,所述平均预设值作为进行下一帧图像相似度判断的预设值,具体公式为:
其中,为平均预设值,为初始预设值,为第i帧图像的邻帧相似度计算结果,n为当前帧的帧数,重复上述操作直至得到下一项视频分段结果的段首帧,则将预设值重新调整为初始预设值。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种基于情景特征的视频数据查询方法,其特征在于,包括:
步骤1:获取视频所有者上传的初始视频数据,并储存至视频数据库;
步骤2:对所述初始视频数据进行分段处理,得到若干项视频分段结果;
步骤3:对所述视频分段结果提取对应的场景特征和情景特征,将所述场景特征和所述情景特征分别储存至场景数据库和情景数据库;
步骤4:获取待查询视频数据;
步骤5:对所述待查询视频数据进行分段处理,得到若干项待查询视频分段结果;
步骤6:对所述待查询视频分段结果提取场景特征和情景特征,得到待查询视频数据对应的若干项场景特征及若干项情景特征;
步骤7:将所述待查询视频数据对应的若干场景特征与场景数据库中的场景特征进行比对,选取所述场景数据库中的匹配度最高的15%项场景特征作为场景匹配结果;
步骤8:将所述待查询视频数据对应的若干情景特征与所述场景匹配结果对应的情景特征进行比对,选取匹配度最高的10%项所述场景匹配结果对应的情景特征作为情景匹配结果;
步骤9:将所述情景匹配结果对应的视频初始数据作为视频数据查询结果返回给用户;
所述视频分段结果与场景特征和情景特征是一一对应的关系;
所述提取对应的场景特征和情景特征,具体包括:
获取视频分段结果的关键帧图像,并输入到图像分割模型获得图像背景部分及图像实体部分;
对图像背景部分进行特征提取,得到图像背景特征信息,作为视频分段结果对应的场景特征;
对图像实体部分进行特征提取,得到图像实体特征信息;
将所述图像实体特征信息与图像背景特征信息进行特征交叉,将特征交叉的结果作为视频分段结果对应的情景特征;
所述关键帧图像,为视频分段结果在时间坐标上与该项视频分段结果段首帧及下一项视频分段结果段首帧距离之和最大的一帧图像。
2.如权利要求1所述的一种基于情景特征的视频数据查询方法,其特征在于,所述分段处理,具体包括:
以视频数据的第一帧图像作为当前视频分段结果的段首帧;
对视频数据进行逐帧读取,计算每一帧图像的段首相似度及邻帧相似度;
当段首相似度低于60%或邻帧相似度低于预设值时,以该帧图像作为下一项视频分段结果的段首帧;
重复上述计算过程,直至视频数据读取完毕;
所述段首相似度为一帧图像与段首帧的图像相似度;
所述邻帧相似度为一帧图像与相邻前一帧的图像相似度。
3.如权利要求2所述的一种基于情景特征的视频数据查询方法,其特征在于,所述步骤7,具体包括:
计算所述待查询视频数据对应的若干场景特征与场景数据库中的场景特征间的余弦距离,得到余弦距离计算结果集合;
对所述余弦距离计算结果集合,按数值大小进行排序,选取其中较大的15%项余弦距离计算结果对应的所述场景数据库中的场景特征作为场景匹配结果。
4.如权利要求2所述的一种基于情景特征的视频数据查询方法,其特征在于,所述步骤8,具体包括:
获取场景匹配结果对应的情景数据库中的情景特征,与所述待查询视频数据对应的若干情景特征计算海明距离,得到海明距离计算结果集合;
对所述海明距离计算结果集合,按数值大小进行排序,选取其中最小的10%项海明距离计算结果对应的所述情景数据库中的情景特征作为情景匹配结果。
5.如权利要求2所述的一种基于情景特征的视频数据查询方法,其特征在于,所述预设值,具体包括:通过人工设定方式或自动设定方式进行设置;
所述人工设定方式,为操作人员在建立查询方案时根据待查询视频数据情景变化速度进行设定,取值范围为75%~95%,设定的预设值与情景变化速度负相关;
所述自动设定方式,设定初始预设值为75%,由第一项邻帧相似度计算结果开始,将邻帧相似度计算结果与初始预设值进行平均数计算得到平均预设值,所述平均预设值作为进行下一帧图像相似度判断的预设值,公式为:
其中,为平均预设值,为初始预设值,为第i帧图像的邻帧相似度计算结果,n为当前计算帧的帧数,重复上述操作直至得到下一项视频分段结果的段首帧,则将预设值重新调整为初始预设值。
CN202310171999.5A 2023-02-28 2023-02-28 一种基于情景特征的视频数据查询方法 Active CN115858855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310171999.5A CN115858855B (zh) 2023-02-28 2023-02-28 一种基于情景特征的视频数据查询方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310171999.5A CN115858855B (zh) 2023-02-28 2023-02-28 一种基于情景特征的视频数据查询方法

Publications (2)

Publication Number Publication Date
CN115858855A CN115858855A (zh) 2023-03-28
CN115858855B true CN115858855B (zh) 2023-05-05

Family

ID=85659201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310171999.5A Active CN115858855B (zh) 2023-02-28 2023-02-28 一种基于情景特征的视频数据查询方法

Country Status (1)

Country Link
CN (1) CN115858855B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071690B (zh) * 2023-04-03 2023-06-09 江西师范大学 一种基于场景关键帧的情景特征提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117313A (zh) * 2010-12-29 2011-07-06 天脉聚源(北京)传媒科技有限公司 一种视频检索方法和系统
WO2011140783A1 (zh) * 2010-05-14 2011-11-17 中兴通讯股份有限公司 一种实现视频预览和检索的方法及移动终端
CN104866616A (zh) * 2015-06-07 2015-08-26 中科院成都信息技术股份有限公司 监控视频目标搜索方法
CN106056590A (zh) * 2016-05-26 2016-10-26 重庆大学 基于Manifold Ranking和结合前景背景特征的显著性检测方法
CN110309795A (zh) * 2019-07-04 2019-10-08 腾讯科技(深圳)有限公司 视频检测方法、装置、电子设备及存储介质
WO2021092934A1 (zh) * 2019-11-15 2021-05-20 深圳海付移通科技有限公司 基于视频数据的消息推送方法、设备及计算机存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9201958B2 (en) * 2013-10-24 2015-12-01 TCL Research America Inc. Video object retrieval system and method
CN103514293B (zh) * 2013-10-09 2017-01-11 北京中科模识科技有限公司 在视频模板库中进行视频匹配的方法
CN106686404B (zh) * 2016-12-16 2021-02-02 中兴通讯股份有限公司 一种视频分析平台、匹配方法、精准投放广告方法及系统
CN108416013B (zh) * 2018-03-02 2020-12-18 北京奇艺世纪科技有限公司 视频匹配、检索、分类和推荐方法、装置及电子设备
CN112182262B (zh) * 2020-11-30 2021-03-19 江西师范大学 一种基于特征分类的图像查询方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011140783A1 (zh) * 2010-05-14 2011-11-17 中兴通讯股份有限公司 一种实现视频预览和检索的方法及移动终端
CN102117313A (zh) * 2010-12-29 2011-07-06 天脉聚源(北京)传媒科技有限公司 一种视频检索方法和系统
CN104866616A (zh) * 2015-06-07 2015-08-26 中科院成都信息技术股份有限公司 监控视频目标搜索方法
CN106056590A (zh) * 2016-05-26 2016-10-26 重庆大学 基于Manifold Ranking和结合前景背景特征的显著性检测方法
CN110309795A (zh) * 2019-07-04 2019-10-08 腾讯科技(深圳)有限公司 视频检测方法、装置、电子设备及存储介质
WO2021092934A1 (zh) * 2019-11-15 2021-05-20 深圳海付移通科技有限公司 基于视频数据的消息推送方法、设备及计算机存储介质

Also Published As

Publication number Publication date
CN115858855A (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
EP3709184B1 (en) Sample set processing method and apparatus, and sample querying method and apparatus
US6542635B1 (en) Method for document comparison and classification using document image layout
EP1650683B1 (en) Search of similar features representing objects in a large reference database
US8477836B2 (en) System and method for comparing an input digital video to digital videos using extracted and candidate video features
CN111460961B (zh) 一种基于cdvs的相似图聚类的静态视频摘要方法
US8620079B1 (en) System and method for extracting information from documents
CN115858855B (zh) 一种基于情景特征的视频数据查询方法
CN111008978B (zh) 基于深度学习的视频场景分割方法
CN111723692B (zh) 基于卷积神经网络语义分类的标签特征的近重复视频检测方法
CN111353055B (zh) 基于智能标签扩展元数据的编目方法及系统
CN110188625B (zh) 一种基于多特征融合的视频精细结构化方法
CN107527058A (zh) 一种基于加权局部特征聚合描述符的图像检索方法
CN108694411B (zh) 一种识别相似图像的方法
WO2019085765A1 (zh) 图像检索
CN110390336B (zh) 一种提高特征点匹配精度的方法
Souvannavong et al. Latent semantic analysis for an effective region-based video shot retrieval system
CN108763265B (zh) 一种基于分块检索的图像识别方法
CN108763261B (zh) 一种图形检索方法
CN112445926A (zh) 一种图像检索方法以及装置
CN112100412B (zh) 图片检索方法、装置、计算机设备和存储介质
CN111178409B (zh) 基于大数据矩阵稳定性分析的图像匹配与识别系统
JP3529036B2 (ja) 文書付き画像の分類方法
Cao et al. A key frame selection algorithm based on sliding window and image features
CN109766467B (zh) 基于图像分割和改进vlad的遥感图像检索方法及系统
Chatur et al. A simple review on content based video images retrieval

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant