CN112767440A - 一种基于siam-fc网络的目标跟踪方法 - Google Patents

一种基于siam-fc网络的目标跟踪方法 Download PDF

Info

Publication number
CN112767440A
CN112767440A CN202110019510.3A CN202110019510A CN112767440A CN 112767440 A CN112767440 A CN 112767440A CN 202110019510 A CN202110019510 A CN 202110019510A CN 112767440 A CN112767440 A CN 112767440A
Authority
CN
China
Prior art keywords
template
target tracking
target
response
updating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110019510.3A
Other languages
English (en)
Other versions
CN112767440B (zh
Inventor
马汉达
殷达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Litong Zhiyuan Technology Transfer Center Co ltd
Zhongke Zhuzhao (Beijing) Technology Co.,Ltd.
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202110019510.3A priority Critical patent/CN112767440B/zh
Publication of CN112767440A publication Critical patent/CN112767440A/zh
Application granted granted Critical
Publication of CN112767440B publication Critical patent/CN112767440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉领域，具体涉及一种基于SIAM‑FC网络的目标跟踪方法。本发明利用视频初始时选定的对象中提取的特征，持续对下一帧进行识别，判断对象最有可能存在的位置。本发明涉及到SIAM‑FC即全卷积孪生神经网络的改进与优化，将用于目标识别的对照模板信息按一定规则进行更新。本发明改善了某些视频中目标模糊、快速运动等情况时的追踪表现，同时提高了跟踪目标的计算速度。

Description

一种基于SIAM-FC网络的目标跟踪方法
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于SIAM-FC网络的目标跟踪方法。
背景技术
目标跟踪，在视频监控，人机交互等方面都有广泛的运用。该技术是计算机视觉领域的热门课题之一，可以对连续的图像序列，即视频中的运动目标进行检测、提取特征、分类识别、行为识别等操作。
传统目标跟踪算法广泛采用的人工特征，有灰度特征、颜色特征和梯度特征等。这些算法虽然速度很快，但精度和稳定性都很低，易受干扰。因此，深度神经网络由于强大的特征学习能力被广泛运用在目标跟踪中。随着深度学习的发展，siameseFC即全卷积孪生神经网络算法被提出。该网络的特性可以实现高速的目标跟踪。
发明内容
本发明的目的在于提供一种能有效保证目标跟踪的成功率和精度，且追踪速度相比现存方法更优的方法，以有效提高目标跟踪的时效性。
为了实现上述目的，本发明提供技术方案为一种基于SIAM-FC网络的目标跟踪方法，包括如下步骤：
S1输入图像：输入需要追踪目标的视频，在视频第一帧选定被追踪的目标，框选一个略大于目标尺寸的范围，称为搜索区x，用于后续追踪；
S2设置模板：以视频第一帧选定的目标为中心，框选一个小范围图像作为目标跟踪模板z，用于后续追踪对比；
S3特征提取：从第二帧开始，使用相同参数的两个vgg网络提取视频中搜索区的特征信息
Figure BDA0002887986060000011
和目标跟踪模板的特征信息
Figure BDA0002887986060000012
S4判断目标：将搜索区特征信息
Figure BDA0002887986060000013
与目标跟踪模板特征信息
Figure BDA0002887986060000014
进行相似度匹配，根据匹配结果判断出目标最有可能存在的位置；
S5更新模板：每隔n帧，使用基于APCE的siamFC网络模板更新策略判断是否需要更新模板，需要时执行模板更新。
进一步地，上述步骤S4包括以下内容：
4.1)将搜索区特征信息
Figure BDA0002887986060000015
与目标跟踪模板特征信息
Figure BDA0002887986060000016
进行互相关操作，分别得到深层和浅层的响应图，公式为：
Figure BDA0002887986060000021
其中，f(x，z)为响应图，b为偏差值，*为互相关操作；
4.2)将深层和浅层的响应图分别进行插值达到一样的分辨率；
4.3)将两张响应图按一定的比例参数融合，得到最终响应图，公式如下：
f(z1，z2，x)＝ω1×f(z1，x)+ω1×f(z2，x)
其中f(z1，x)和f(z2，x)分别为深层与浅层响应图，f(z1，z2，x)为总响应图，ω1和ω2即代表深层和浅层响应图的融合比例，此参数在离线训练神经网络时确定；
4.4)最终响应图中最高响应值的地方，即判断为目标最有可能存在的位置，以此为中心截取新的搜索区x。
进一步地，上述步骤S3中，使用vgg网络提取搜索区和目标跟踪模板的特征，包括如下步骤：
3.1)将输入图像预处理成224x224x3；
3.2)提取block3的卷积层特征，尺寸为56x56x256，作为浅层特征；
3.3)提取block5的卷积层特征，尺寸为14*14*512，作为深层特征。
进一步地，上述步骤S5中的模板更新策略包括如下步骤：
5.1)对于浅层特征而言，在vgg网络中提取得到搜索区x的特征Fi，以当前帧判断的目标位置为中心截取图片，在网络中提取得到新目标跟踪模板z的特征Ti；
5.2)计算特征响应图每个像素的响应，公式为：
respons＝Ti*Fi；其中得到的最大响应Fmax＝max(respons)；
5.3)计算APCE值，公式为：
Figure BDA0002887986060000022
其中，Fw，h代表w行h列的响应，Fmax，Fmin分别为最大和最小响应，mean()表示取平均；
5.4)Fmax和APCE同时满足历史平均值的一定比例时，判断是否执行更新目标跟踪模板，所述比例的判断公式如下：
Figure BDA0002887986060000031
5.5)当判断需要更新目标跟踪模板时，执行模板更新；新目标跟踪模板同时结合了初始目标跟踪模板、上一个目标跟踪模板和当前帧提取的目标跟踪模板，公式为：T＝w1×T0+w2×Tlast+w3×Ti，w1+w2+w3＝1
其中，T0为初始目标跟踪模板，Tlast为上一个目标跟踪模板，Ti为当前帧提取的目标跟踪模板，w1、w2、w3分别为三种模板的结合权重，w1、w2比例固定，w3＝f(apce)；
5.6)对于深层特征而言，对vgg网络提取的深层特征，同样使用5.1)到5.5)的步骤。
进一步地，上述深层模板更新为每三帧执行一次是否更新的判断，判断需要更新则执行更新；所述浅层模板更新为每n帧执行一次是否更新的判断，判断需要更新则执行更新，n大于等于3。
与现有方法相比，本发明的算法使用了VGG网络提取的深层浅层特征，并结合双模板不同步更新从而判断目标位置，可以在充分保证追踪精度和成功率的同时得到较高的跟踪速度，更好的满足目标追踪的时效性要求。
附图说明
图1为本发明的方法流程示意图一；
图2为本发明的方法流程示意图二。
具体实施方式
下面将结合附图对本发明作进一步的说明。需要指出的是，下面仅以一种最优化的方案对本发明的技术方案及设计原理进行清楚、完整的阐述。显然，以下描述的实施例仅为本发明的实施例的其中之一，不是全部的实施例。但本发明的保护范围并不限于此，任何不背离该发明实质内容并进行显而易见改进的实施例都属于本发明的保护范围。
如图1所示，本发明包括输入图像，设置模板，提取特征，判断目标和更新模板等步骤。具体步骤描述如下：
S1输入图像：输入需要追踪目标的视频，在视频第一帧选定被追踪的目标，框选一个略大于目标尺寸的范围，称为搜索区x，用于后续追踪；
S2设置模板：以视频第一帧选定的目标为中心，框选一个小范围图像作为目标跟踪模板z，用于后续追踪对比；
S3特征提取：从第二帧开始，使用相同参数的两个vgg网络提取视频中搜索区的特征信息
Figure BDA0002887986060000041
和目标跟踪模板的特征信息
Figure BDA0002887986060000042
S4判断目标：将搜索区特征信息
Figure BDA0002887986060000043
与目标跟踪模板特征信息
Figure BDA0002887986060000044
进行相似度匹配，根据匹配结果判断出目标最有可能存在的位置；
S5更新模板：每隔n帧，使用基于APCE的siamFC网络模板更新策略判断是否需要更新模板，需要时执行模板更新。
作为本发明的优选实施例，本发明在步骤S1之前需要进行离线训练，本发明选择ILSVRC数据集对VGG神经网络进行离线训练，训练过程中确定后续会使用的浅层深层响应图融合参数ω1和ω2，其中ω2权重较大，取值范围为0.5～0.8，ω1取值范围在0.2～0.5。
如图2所示，作为本发明的优选实施例，步骤S4包括以下内容：
4.1)将搜索区特征信息
Figure BDA0002887986060000045
与目标跟踪模板特征信息
Figure BDA0002887986060000046
进行互相关操作，分别得到深层和浅层的响应图，公式为：
Figure BDA0002887986060000047
其中，f(x，z)为响应图，b为偏差值，*为互相关操作；
4.2)将深层和浅层的响应图分别进行插值达到一样的分辨率；
4.3)将两张响应图按一定的比例参数融合，得到最终响应图，公式如下：
f(z1，z2，x)＝ω1×f(z1，x)+ω1×f(z2，x)
其中f(z1，x)和f(z2，x)分别为深层与浅层响应图，f(z1，z2，x)为总响应图，ω1和ω2即代表深层和浅层响应图的融合比例，此参数在离线训练神经网络时确定。
4.4)最终响应图中最高响应值的地方，即判断为目标最有可能存在的位置，以此为中心截取新的搜索区x。
如图2所示，作为本发明的优选实施例，在步骤S3中，使用vgg网络提取搜索区和目标跟踪模板的特征，包括如下步骤：
3.1)将输入图像预处理成224x224x3；
3.2)提取block3的卷积层特征，尺寸为56x56x256，作为浅层特征；
3.3)提取block5的卷积层特征，尺寸为14*14*512，作为深层特征。
如图2所示，作为本发明的优选实施例，步骤S5中的模板更新策略包括如下步骤：
5.1)对于浅层特征而言，在vgg网络中提取得到搜索区x的特征Fi，以当前帧判断的目标位置为中心截取图片，在网络中提取得到新目标跟踪模板z的特征Ti；
5.2)计算特征响应图每个像素的响应，公式为：
respons＝Ti*Fi；其中得到的最大响应Fmax＝max(respons)；
5.3)计算APCE值，公式为：
Figure BDA0002887986060000051
其中，Fw，h代表w行h列的响应，Fmax，Fmin分别为最大和最小响应，mean()表示取平均；
5.4)Fmax和APCE同时满足历史平均值的一定比例时，判断是否执行更新目标跟踪模板，所述比例的判断公式如下：
Figure BDA0002887986060000052
5.5)当判断需要更新目标跟踪模板时，执行模板更新；新目标跟踪模板同时结合了初始目标跟踪模板、上一个目标跟踪模板和当前帧提取的目标跟踪模板，公式为：T＝w1×T0+w2×Tlast+w3×Ti，w1+w2+w3＝1
其中，T0为初始目标跟踪模板，Tlast为上一个目标跟踪模板，Ti为当前帧提取的目标跟踪模板，w1、w2、w3分别为三种模板的结合权重，w1、w2比例固定，w3＝f(apce)；
5.6)对于深层特征而言，对vgg网络提取的深层特征，同样使用5.1)到5.5)的步骤。
作为本发明的优选实施例，上述深层模板更新为每三帧执行一次是否更新的判断，判断需要更新则执行更新；所述浅层模板更新为每n帧执行一次是否更新的判断，判断需要更新则执行更新，n大于等于3。

Claims (5)

1.一种基于SIAM-FC网络的目标跟踪方法，其特征在于，包括如下步骤：
S1输入图像：输入需要追踪目标的视频，在视频第一帧选定被追踪的目标，框选一个略大于目标尺寸的范围，称为搜索区x，用于后续追踪；
S2设置模板：以视频第一帧选定的目标为中心，框选一个小范围图像作为目标跟踪模板z，用于后续追踪对比；
S3特征提取：从第二帧开始，使用相同参数的两个vgg网络提取视频中搜索区的特征信息
Figure FDA0002887986050000011
和目标跟踪模板的特征信息
Figure FDA0002887986050000012
S4判断目标：将搜索区特征信息
Figure FDA0002887986050000013
与目标跟踪模板特征信息
Figure FDA0002887986050000014
进行相似度匹配，根据匹配结果判断出目标最有可能存在的位置；
S5更新模板：每隔n帧，使用基于APCE的siamFC网络模板更新策略判断是否需要更新模板，需要时执行模板更新。
2.根据权利要求1所述的一种基于SIAM-FC网络的目标跟踪方法，其特征在于，所述步骤S3中，使用vgg网络提取搜索区和目标跟踪模板的特征，包括如下步骤：
3.1)将输入图像预处理成224x224x3；
3.2)提取block3的卷积层特征，尺寸为56x56x256，作为浅层特征；
3.3)提取block5的卷积层特征，尺寸为14*14*512，作为深层特征。
3.根据权利要求1所述的一种基于SIAM-FC网络的目标跟踪方法，其特征在于，所述步骤S4包括以下内容：
4.1)将搜索区特征信息
Figure FDA0002887986050000015
与目标跟踪模板特征信息
Figure FDA0002887986050000016
进行互相关操作，分别得到深层和浅层的响应图，公式为：
Figure FDA0002887986050000017
其中，f(x，z)为响应图，b为偏差值，*为互相关操作；
4.2)将深层和浅层的响应图分别进行插值达到一样的分辨率；
4.3)将两张响应图按一定的比例参数融合，得到最终响应图，公式如下：
f(z1，z2，x)＝ω1×f(z1，x)+ω1×f(z2，x)
其中f(z1，x)和f(z2，x)分别为深层与浅层响应图，f(z1，z2，x)为总响应图，ω1和ω2即代表深层和浅层响应图的融合比例，此参数在离线训练神经网络时确定；
4.4)最终响应图中最高响应值的地方，即判断为目标最有可能存在的位置，以此为中心截取新的搜索区x。
4.根据权利要求1所述的一种基于SIAM-FC网络的目标跟踪方法，其特征在于，所述步骤S5中的模板更新策略包括如下步骤：
5.1)对于浅层特征而言，在vgg网络中提取得到搜索区x的特征Fi，以当前帧判断的目标位置为中心截取图片，在网络中提取得到新目标跟踪模板z的特征Ti；
5.2)计算特征响应图每个像素的响应，公式为：
respons＝Ti*Fi；其中得到的最大响应Fmax＝max(respons)；
5.3)计算APCE值，公式为：
Figure FDA0002887986050000021
其中，Fw，h代表w行h列的响应，Fmax，Fmin分别为最大和最小响应，mean()表示取平均；
5.4)Fmax和APCE同时满足历史平均值的一定比例时，判断是否执行更新目标跟踪模板，所述比例的判断公式如下：
Figure FDA0002887986050000022
5.5)当判断需要更新目标跟踪模板时，执行模板更新；新目标跟踪模板同时结合了初始目标跟踪模板、上一个目标跟踪模板和当前帧提取的目标跟踪模板，公式为：
T＝w1×T0+w2×Tlast+w3×Ti，w1+w2+w3＝1
其中，T0为初始目标跟踪模板，Tlast为上一个目标跟踪模板，Ti为当前帧提取的目标跟踪模板，w1、w2、w3分别为三种模板的结合权重，w1、w2比例固定，w3＝f(apce)；
5.6)对于深层特征而言，对vgg网络提取的深层特征，同样使用5.1)到5.5)的步骤。
5.根据权利要求4所述一种基于SIAM-FC网络的目标跟踪方法，其特征在于：所述深层模板更新为每三帧执行一次是否更新的判断，判断需要更新则执行更新；所述浅层模板更新为每n帧执行一次是否更新的判断，判断需要更新则执行更新，n大于等于3。
CN202110019510.3A 2021-01-07 2021-01-07 一种基于siam-fc网络的目标跟踪方法 Active CN112767440B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110019510.3A CN112767440B (zh) 2021-01-07 2021-01-07 一种基于siam-fc网络的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110019510.3A CN112767440B (zh) 2021-01-07 2021-01-07 一种基于siam-fc网络的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN112767440A true CN112767440A (zh) 2021-05-07
CN112767440B CN112767440B (zh) 2023-08-22

Family

ID=75700779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110019510.3A Active CN112767440B (zh) 2021-01-07 2021-01-07 一种基于siam-fc网络的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN112767440B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240716A (zh) * 2021-05-31 2021-08-10 西安电子科技大学 一种多特征融合的孪生网络目标跟踪方法及系统
CN113379787A (zh) * 2021-06-11 2021-09-10 西安理工大学 基于3d卷积孪生神经网络和模板更新的目标跟踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129906A1 (en) * 2016-11-07 2018-05-10 Qualcomm Incorporated Deep cross-correlation learning for object tracking
CN109816689A (zh) * 2018-12-18 2019-05-28 昆明理工大学 一种多层卷积特征自适应融合的运动目标跟踪方法
CN109886996A (zh) * 2019-01-15 2019-06-14 东华大学 一种视觉追踪优化方法
CN111126132A (zh) * 2019-10-25 2020-05-08 宁波必创网络科技有限公司 一种基于孪生网络的学习目标跟踪算法
CN111612817A (zh) * 2020-05-07 2020-09-01 桂林电子科技大学 基于深浅特征自适应融合与上下文信息的目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129906A1 (en) * 2016-11-07 2018-05-10 Qualcomm Incorporated Deep cross-correlation learning for object tracking
CN109816689A (zh) * 2018-12-18 2019-05-28 昆明理工大学 一种多层卷积特征自适应融合的运动目标跟踪方法
CN109886996A (zh) * 2019-01-15 2019-06-14 东华大学 一种视觉追踪优化方法
CN111126132A (zh) * 2019-10-25 2020-05-08 宁波必创网络科技有限公司 一种基于孪生网络的学习目标跟踪算法
CN111612817A (zh) * 2020-05-07 2020-09-01 桂林电子科技大学 基于深浅特征自适应融合与上下文信息的目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PAUL VOIGTLAENDER: "Nocal-Siam: Refining Visual Features and Response With Advanced Non-Local Blocks for Real-Time Siamese Tracking", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, pages 2656 - 2668 *
侯志强 等: "基于双模板Siamese网络的鲁棒视觉跟踪算法", 《电子与信息学报》, no. 9, pages 2247 - 2255 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240716A (zh) * 2021-05-31 2021-08-10 西安电子科技大学 一种多特征融合的孪生网络目标跟踪方法及系统
CN113379787A (zh) * 2021-06-11 2021-09-10 西安理工大学 基于3d卷积孪生神经网络和模板更新的目标跟踪方法

Also Published As

Publication number Publication date
CN112767440B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN109583340B (zh) 一种基于深度学习的视频目标检测方法
CN109598268A (zh) 一种基于单流深度网络的rgb-d显著目标检测方法
CN111260661B (zh) 一种基于神经网络技术的视觉语义slam系统及方法
CN112446900B (zh) 孪生神经网络目标跟踪方法及系统
CN112541491B (zh) 基于图像字符区域感知的端到端文本检测及识别方法
CN111160407A (zh) 一种深度学习目标检测方法及系统
CN109934846A (zh) 基于时间和空间网络的深度集成目标跟踪方法
CN111127519B (zh) 一种双模型融合的目标跟踪控制系统及其方法
CN112767440B (zh) 一种基于siam-fc网络的目标跟踪方法
CN112489081A (zh) 一种视觉目标跟踪方法及装置
CN111696110A (zh) 场景分割方法及系统
CN114529584A (zh) 一种基于无人机航拍的单目标车辆跟踪方法
CN113592911A (zh) 表观增强深度目标跟踪方法
CN111709317B (zh) 一种基于显著性模型下多尺度特征的行人重识别方法
CN111652836A (zh) 一种基于聚类算法和神经网络的多尺度目标检测方法
CN117252904A (zh) 基于长程空间感知与通道增强的目标跟踪方法与系统
CN111429485A (zh) 基于自适应正则化和高信度更新的跨模态滤波跟踪方法
CN110688976A (zh) 基于图像识别的门店比对方法
CN113763417A (zh) 一种基于孪生网络和残差结构的目标跟踪方法
CN114743045B (zh) 一种基于双分支区域建议网络的小样本目标检测方法
CN117036412A (zh) 一种融合可变形卷积的孪生网络红外行人目标跟踪方法
CN111291663A (zh) 一种利用时空信息的快速视频目标物体分割方法
CN113129332A (zh) 执行目标对象跟踪的方法和装置
CN113486718B (zh) 一种基于深度多任务学习的指尖检测方法
CN116168060A (zh) 结合元学习的深度孪生网络目标跟踪算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240508

Address after: Building 9-402, No. 26 Yongding Road, Haidian District, Beijing, 100143

Patentee after: Zhongke Zhuzhao (Beijing) Technology Co.,Ltd.

Country or region after: China

Address before: B1101, 150 Shangzao Building, Gaofeng Community, Dalang Street, Longhua District, Shenzhen City, Guangdong Province, 518110

Patentee before: Shenzhen Litong Zhiyuan Technology Transfer Center Co.,Ltd.

Country or region before: China

Effective date of registration: 20240508

Address after: B1101, 150 Shangzao Building, Gaofeng Community, Dalang Street, Longhua District, Shenzhen City, Guangdong Province, 518110

Patentee after: Shenzhen Litong Zhiyuan Technology Transfer Center Co.,Ltd.

Country or region after: China

Address before: 212013 No. 301, Xuefu Road, Zhenjiang, Jiangsu

Patentee before: JIANGSU University

Country or region before: China

TR01 Transfer of patent right