CN104915677B - 一种三维视频目标跟踪方法 - Google Patents

一种三维视频目标跟踪方法 Download PDF

Info

Publication number
CN104915677B
CN104915677B CN201510270168.9A CN201510270168A CN104915677B CN 104915677 B CN104915677 B CN 104915677B CN 201510270168 A CN201510270168 A CN 201510270168A CN 104915677 B CN104915677 B CN 104915677B
Authority
CN
China
Prior art keywords
value
pixel
color
image
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510270168.9A
Other languages
English (en)
Other versions
CN104915677A (zh
Inventor
邵枫
胡镇浩
李福翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zhongzhi Software Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201510270168.9A priority Critical patent/CN104915677B/zh
Publication of CN104915677A publication Critical patent/CN104915677A/zh
Application granted granted Critical
Publication of CN104915677B publication Critical patent/CN104915677B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种三维视频目标跟踪方法，其首先选择前几帧彩色图像以及前几帧深度图像构成训练图像集，并计算得到训练图像集的每个聚类中心、每个聚类半径和每个聚类的置信值；对于任何一副待跟踪的彩色图像，通过计算彩色图像中的每个区域的R分量的颜色‑深度联合直方图、G分量的颜色‑深度联合直方图和B分量的颜色‑深度联合直方图，并融合得到用于反映三维视觉显著性的特征矢量，并根据训练图像集的最优聚类中心、最优聚类半径以及最优聚类的置信值，获取得到待跟踪的彩色图像的显著图，并通过搜索得到彩色图像的目标区域；优点是所获得的显著图符合三维视觉显著语义特征，具有较高的跟踪精度。

Description

一种三维视频目标跟踪方法
技术领域
本发明涉及一种视频信号的处理方法，尤其是涉及一种三维视频目标跟踪方法。
背景技术
在人类视觉接收与信息处理中，由于大脑资源有限以及外界环境信息重要性区别，因此在处理过程中人脑对外界环境信息并不是一视同仁的，而是表现出选择特征。人们在观看图像或者视频片段时注意力并非均匀分布到图像的每个区域，而是对某些显著区域关注度更高。如何将视频中视觉注意度高的显著区域检测并提取出来、如何对目标区域进行跟踪是计算机视觉领域的一个重要的研究内容。
在视频目标跟踪方法中，通常需要提取反映视频运动的视频显著语义信息。目前，通常采用视频分割、光流法、运动估计等方法来提取视频显著区域，然而这些方法并不能很好地应用于三维视频。针对三维视频目标跟踪，一方面，需要提取能够反映三维语义的视觉显著信息；另一方面，因计算能力局限，不能在跟踪过程中进行复杂的特征匹配操作而要保持较高的跟踪精度。因此，如何提取符合三维视频显著语义特征且保持较高跟踪精度，是三维视频目标跟踪需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种符合三维视频显著语义特征，且具有较高跟踪精度的三维视频目标跟踪方法。
本发明解决上述技术问题所采用的技术方案为：一种三维视频目标跟踪方法，其特征在于包括以下步骤：
①将待处理的原始三维视频序列定义为当前视频序列，假定当前视频序列中包含的彩色图像的总帧数和包含的深度图像的总帧数均为T，其中，T>1；
②将当前视频序列中的前P帧彩色图像及前P帧彩色图像各自对应的深度图像按序构成训练图像集，其中，1≤P<T；
③获取训练图像集的所有聚类中心、所有聚类半径以及所有聚类各自的置信值，将训练图像集的第m个聚类中心、第m个聚类半径以及第m个聚类的置信值对应记为gm、rm、，其中，m的初始值为1，1≤m≤K，K表示训练图像集的聚类的总个数，K≥1；
④手工标记当前视频序列中的第1帧彩色图像的目标区域，该目标区域包含场景中最主要的运动对象；然后将当前视频序列中当前待处理的第t帧彩色图像定义为当前彩色图像，记为It；并将当前视频序列中与It对应的深度图像定义为当前深度图像，记为Dt；其中，t的初始值为2，2≤t≤T；
⑤采用超像素分割技术将It分割成M个互不重叠的区域；然后根据训练图像集的最优聚类中心、最优聚类半径以及最优聚类的置信值，计算It中的每个区域的显著值；再将It中的每个区域的显著值作为该区域中的所有像素点的显著值，从而得到It的显著图，记为St；其中，M≥1；
⑥根据St获取It的目标区域，记为 其中，表示It中与当前视频序列中的第t-1帧彩色图像It-1的目标区域的尺寸大小相同且形状相同的任一个区域，表示It中与当前视频序列中的第t-1帧彩色图像It-1的目标区域的尺寸大小相同且形状相同的所有区域的集合，St(x,y)表示St中坐标位置为(x,y)的像素点的像素值，1≤x≤W，1≤y≤H，W表示当前视频序列中的彩色图像和深度图像的宽，H表示当前视频序列中的彩色图像和深度图像的高，符号“||”为取绝对值符号，表示取使得的值最大的一个区域
⑦如果满足t≤P，则直接执行步骤⑧；如果满足t>P，则将It和Dt加入到训练图像集中，并删除训练图像集中的第1帧彩色图像和第1帧深度图像，得到更新后的训练图像集，然后采用与步骤③相同的操作，获取更新后的训练图像集的所有聚类中心、所有聚类半径以及所有聚类各自的置信值，再执行步骤⑧；
⑧令t＝t+1；然后将当前视频序列中的第t帧彩色图像作为当前彩色图像，记为It；并将当前视频序列中与It对应的深度图像定义为当前深度图像，记为Dt；再返回步骤⑤继续执行，直至当前视频序列中的所有彩色图像和深度图像处理完毕，得到当前视频序列中的每帧彩色图像的目标区域；其中，t＝t+1中的“＝”为赋值符号。
所述的步骤③的具体过程为：
③-1、手工标记训练图像集中的第1帧彩色图像I1的目标区域，记为 包含场景中最主要的运动对象；
③-2、将训练图像集中当前待处理的第t'帧彩色图像定义为当前彩色图像，记为It'；并将训练图像集中与It'对应的深度图像定义为当前深度图像，记为Dt'；其中，在此t'的初始值为2，2≤t'≤P；
③-3、在It'中确定一个圆形搜索区域，圆形搜索区域的中心像素点的坐标位置与的中心像素点的坐标位置相同，且圆形搜索区域的半径为10个像素点；然后在圆形搜索区域上搜索与匹配的最佳匹配区域，将与匹配的最佳匹配区域作为It'的目标区域，记为 其中，表示训练图像集中的第t'-1帧彩色图像It'-1的目标区域，表示在圆形搜索区域上与匹配的任一个匹配区域，的中心像素点为圆形搜索区域上的任一个像素点，且的尺寸大小与的尺寸大小相同，的形状与的形状相同，表示在圆形搜索区域上与匹配的所有匹配区域的集合，1≤x≤W，1≤y≤H，1≤x'≤W，1≤y'≤H，W表示当前视频序列中的彩色图像和深度图像的宽，H表示当前视频序列中的彩色图像和深度图像的高，符号“||”为取绝对值符号，It'-1(x,y)表示训练图像集中的第t'-1帧彩色图像It'-1中坐标位置为(x,y)的像素点的像素值，It'(x',y')表示It'中坐标位置为(x',y')的像素点的像素值，表示取使得的值最小的一个匹配区域
③-4、令t'＝t'+1；然后将训练图像集中的第t'帧彩色图像作为当前彩色图像，记为It'；并将训练图像集中与It'对应的深度图像作为当前深度图像，记为Dt'；再返回步骤③-3继续执行，直至获得训练图像集中的每帧彩色图像的目标区域；其中，t'＝t'+1中的“＝”为赋值符号；
③-5、采用超像素分割技术将训练图像集中的每帧彩色图像分割成M个互不重叠的区域，将It'中的第h个区域记为SPt',h；然后计算训练图像集中的每帧彩色图像中的每个区域的特征矢量，将SPt',h的特征矢量记为ft',h；其中，M≥1，在此t'的初始值为1，1≤t'≤P，h的初始值为1，1≤h≤M；
③-6、将由训练图像集中的所有彩色图像中的区域的特征矢量构成的集合定义为特征矢量集合；然后采用Mean-shift聚类方法对特征矢量集合进行聚类操作，得到特征矢量集合的K个聚类，同时得到特征矢量集合的每个聚类中心和每个聚类半径，将特征矢量集合的第m个聚类作为训练图像集的第m个聚类，将特征矢量集合的第m个聚类中心作为训练图像集的第m个聚类中心gm，将特征矢量集合的第m个聚类半径作为训练图像集的第m个聚类半径rm；接着将训练图像集中的所有彩色图像中属于同一聚类的区域归为一类，将训练图像集中的所有彩色图像中属于第m个聚类的区域构成的集合记为；其中，K表示特征矢量集合包含的聚类的总个数，K≥1，m的初始值为1，1≤m≤K；
③-7、计算训练图像集的每个聚类的置信值，训练图像集的第m个聚类的置信值为其中，如果满足且则令如果满足且则令
所述的步骤③-5中SPt',h的特征矢量ft',h的获取过程为：
a1、对SPt',h中的每个像素点的R分量的颜色值、G分量的颜色值和B分量的颜色值分别进行量化，对应得到SPt',h中的每个像素点的量化后的R分量的颜色值、量化后的G分量的颜色值和量化后的B分量的颜色值，将SPt',h中坐标位置为(xt',h,yt',h)的像素点的量化后的R分量的颜色值、量化后的G分量的颜色值和量化后的B分量的颜色值对应记为和假设SPt',h中坐标位置为(xt',h,yt',h)的像素点在It'中的坐标位置为(x,y)，则
并对Dt'中与SPt',h对应的区域中的每个像素点的像素值进行量化，得到Dt'中与SPt',h对应的区域中的每个像素点的量化后的像素值，将Dt'中与SPt',h对应的区域中坐标位置为(xt',h,yt',h)的像素点的量化后的像素值记为假设Dt'中与SPt',h对应的区域中坐标位置为(xt',h,yt',h)的像素点在Dt'中的坐标位置为(x,y)，则
其中，1≤xt',h≤Wt',h,1≤yt',h≤Ht',h，Wt',h表示SPt',h的宽度，Ht',h表示SPt',h的高度，Rt'(x,y)表示It'中坐标位置为(x,y)的像素点的R分量的颜色值，Gt'(x,y)表示It'中坐标位置为(x,y)的像素点的G分量的颜色值，Bt'(x,y)表示It'中坐标位置为(x,y)的像素点的B分量的颜色值，Dt'(x,y)表示Dt'中坐标位置为(x,y)的像素点的像素值，符号为向下取整符号；
a2、根据SPt',h中的每个像素点的量化后的R分量的颜色值和Dt'中与SPt',h对应的区域中的每个像素点的量化后的像素值，计算SPt',h的R分量的颜色-深度联合直方图，记为其中，表示SPt',h中属于第k种R分量的颜色-深度组合的所有像素点的个数，R分量的颜色-深度组合为SPt',h中的像素点的量化后的R分量的颜色值和Dt'中与SPt',h对应的区域中的像素点的量化后的像素值构成的组合；
同样，根据SPt',h中的每个像素点的量化后的G分量的颜色值和Dt'中与SPt',h对应的区域中的每个像素点的量化后的像素值，计算SPt',h的G分量的颜色-深度联合直方图，记为其中，表示SPt',h中属于第k种G分量的颜色-深度组合的所有像素点的个数，G分量的颜色-深度组合为SPt',h中的像素点的量化后的G分量的颜色值和Dt'中与SPt',h对应的区域中的像素点的量化后的像素值构成的组合；
根据SPt',h中的每个像素点的量化后的B分量的颜色值和Dt'中与SPt',h对应的区域中的每个像素点的量化后的像素值，计算SPt',h的B分量的颜色-深度联合直方图，记为其中，表示SPt',h中属于第k种B分量的颜色-深度组合的所有像素点的个数，B分量的颜色-深度组合为SPt',h中的像素点的量化后的B分量的颜色值和Dt'中与SPt',h对应的区域中的像素点的量化后的像素值构成的组合；
a3、对和分别进行归一化操作，对应得到SPt',h的归一化后的R分量的颜色-深度联合直方图、SPt',h的归一化后的G分量的颜色-深度联合直方图和SPt',h的归一化后的B分量的颜色-深度联合直方图，对应记为和其中，
a4、将以向量形式表示为将以向量形式表示为将以向量形式表示为然后将 和按顺序进行排列构成SPt',h的特征矢量ft',h，其中，此处符号“[]”为矢量表示符号，ft',h的维数为768。
所述的步骤⑤的具体过程为：
⑤-1、采用超像素分割技术将It分割成M个互不重叠的区域，将It中的第h个区域记为SPt,h，其中，M≥1，h的初始值为1，1≤h≤M；
⑤-2、采用与步骤③-5中计算SPt',h的特征矢量ft',h相同的过程，计算It中的每个区域的特征矢量，将SPt,h的特征矢量记为ft,h；
⑤-3、计算It中的每个区域的显著值，将SPt,h的显著值记为St,h，其中，exp()为以自然基数e为底的指数函数，α为控制参数，符号“|| ||”为求欧氏距离符号， 表示取使得exp(-||ft,h-gm||)的值最小的m值，表示训练图像集的第m*个聚类中心，为训练图像集的最优聚类中心，表示训练图像集的第m*个聚类半径，为训练图像集的最优聚类半径，表示训练图像集的第m*个聚类的置信值，为训练图像集的最优聚类的置信值；
⑤-4、将It中的每个区域的显著值作为该区域中的所有像素点的显著值，从而得到It的显著图St。
与现有技术相比，本发明的优点在于：
1)本发明方法通过获取训练图像集的不同聚类中心、不同聚类半径和不同聚类的置信值，对于任意一副测试的彩色图像，只需要通过简单的搜索就能得到跟踪的目标区域，具有较高的跟踪精度。
2)本发明方法根据训练图像集的最优聚类中心、最优聚类半径以及最优聚类的置信值，计算得到测试图像的显著图，得到的显著图能很好地反映显著对象信息，符合三维视觉显著语义特征。
3)本发明方法同时考虑彩色图像中的每个区域的R分量的颜色-深度联合直方图、G分量的颜色-深度联合直方图和B分量的颜色-深度联合直方图，并融合得到彩色图像中的每个区域的用于反映三维视觉显著性的特征矢量，符合三维视觉显著语义特征。
附图说明
图1为本发明方法的总体实现框图；
图2a为“bear”三维视频序列中的第1帧彩色图像；
图2b为“bear”三维视频序列中的第1帧深度图像；
图2c为“bear”三维视频序列中的第10帧目标跟踪结果；
图2d为“bear”三维视频序列中的第50帧目标跟踪结果；
图2e为“bear”三维视频序列中的第100帧目标跟踪结果；
图2f为“bear”三维视频序列中的第150帧目标跟踪结果；
图3a为“dog”三维视频序列中的第1帧彩色图像；
图3b为“dog”三维视频序列中的第1帧深度图像；
图3c为“dog”三维视频序列中的第10帧目标跟踪结果；
图3d为“dog”三维视频序列中的第50帧目标跟踪结果；
图3e为“dog”三维视频序列中的第100帧目标跟踪结果；
图3f为“dog”三维视频序列中的第150帧目标跟踪结果；
图4a为“face”三维视频序列中的第1帧彩色图像；
图4b为“face”三维视频序列中的第1帧深度图像；
图4c为“face”三维视频序列中的第10帧目标跟踪结果；
图4d为“face”三维视频序列中的第50帧目标跟踪结果；
图4e为“face”三维视频序列中的第100帧目标跟踪结果；
图4f为“face”三维视频序列中的第150帧目标跟踪结果；
图5a为“zcup_move”三维视频序列中的第1帧彩色图像；
图5b为“zcup_move”三维视频序列中的第1帧深度图像；
图5c为“zcup_move”三维视频序列中的第10帧目标跟踪结果；
图5d为“zcup_move”三维视频序列中的第50帧目标跟踪结果；
图5e为“zcup_move”三维视频序列中的第100帧目标跟踪结果；
图5f为“zcup_move”三维视频序列中的第150帧目标跟踪结果。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种三维视频目标跟踪方法，其总体实现框图如图1所示，其包括以下步骤：
①将待处理的原始三维视频序列定义为当前视频序列，假定当前视频序列中包含的彩色图像的总帧数和包含的深度图像的总帧数均为T，其中，T>1，T的具体值根据处理的原始三维视频序列而定。
②将当前视频序列中的前P帧彩色图像及前P帧彩色图像各自对应的深度图像按序构成训练图像集，其中，1≤P<T，在本实施例中取P＝10。
③获取训练图像集的所有聚类中心、所有聚类半径以及所有聚类各自的置信值，将训练图像集的第m个聚类中心、第m个聚类半径以及第m个聚类的置信值对应记为gm、rm、其中，m的初始值为1，1≤m≤K，K表示训练图像集的聚类的总个数，K≥1，在本实施例中取K＝10。
在此具体实施例中，步骤③的具体过程为：
③-1、手工标记训练图像集中的第1帧彩色图像I1的目标区域，记为 包含场景中最主要的运动对象，其位置和大小并不是固定的，由用户标记。
③-2、将训练图像集中当前待处理的第t'帧彩色图像定义为当前彩色图像，记为It'；并将训练图像集中与It'对应的深度图像定义为当前深度图像，记为Dt'；其中，在此t'的初始值为2，2≤t'≤P。
③-3、在It'中确定一个圆形搜索区域，圆形搜索区域的中心像素点的坐标位置与的中心像素点的坐标位置相同，且圆形搜索区域的半径为10个像素点；然后在圆形搜索区域上搜索与匹配的最佳匹配区域，将与匹配的最佳匹配区域作为It'的目标区域，记为 其中，表示训练图像集中的第t'-1帧彩色图像It'-1的目标区域，表示在圆形搜索区域上与匹配的任一个匹配区域，的中心像素点为圆形搜索区域上的任一个像素点，即圆形搜索区域包含的像素点的总个数为与匹配的匹配区域的总个数，且的尺寸大小与的尺寸大小相同，的形状与的形状相同，表示在圆形搜索区域上与匹配的所有匹配区域的集合，1≤x≤W，1≤y≤H，1≤x'≤W，1≤y'≤H，W表示当前视频序列中的彩色图像和深度图像的宽，H表示当前视频序列中的彩色图像和深度图像的高，符号“||”为取绝对值符号，It'-1(x,y)表示训练图像集中的第t'-1帧彩色图像It'-1中坐标位置为(x,y)的像素点的像素值，It'(x',y')表示It'中坐标位置为(x',y')的像素点的像素值，表示取使得的值最小的一个匹配区域
③-4、令t'＝t'+1；然后将训练图像集中的第t'帧彩色图像作为当前彩色图像，记为It'；并将训练图像集中与It'对应的深度图像作为当前深度图像，记为Dt'；再返回步骤③-3继续执行，直至获得训练图像集中的每帧彩色图像的目标区域；其中，t'＝t'+1中的“＝”为赋值符号。
③-5、采用现有的超像素分割技术将训练图像集中的每帧彩色图像分割成M个互不重叠的区域，将It'中的第h个区域记为SPt',h；然后计算训练图像集中的每帧彩色图像中的每个区域的特征矢量，将SPt',h的特征矢量记为ft',h；其中，M≥1，在本实施例中取M＝200，在此t'的初始值为1，1≤t'≤P，h的初始值为1，1≤h≤M。
其中，SPt',h的特征矢量ft',h的获取过程为：
a1、对SPt',h中的每个像素点的R分量的颜色值、G分量的颜色值和B分量的颜色值分别进行量化，对应得到SPt',h中的每个像素点的量化后的R分量的颜色值、量化后的G分量的颜色值和量化后的B分量的颜色值，将SPt',h中坐标位置为(xt',h,yt',h)的像素点的量化后的R分量的颜色值、量化后的G分量的颜色值和量化后的B分量的颜色值对应记为和假设SPt',h中坐标位置为(xt',h,yt',h)的像素点在It'中的坐标位置为(x,y)，则
并对Dt'中与SPt',h对应的区域中的每个像素点的像素值进行量化，得到Dt'中与SPt',h对应的区域中的每个像素点的量化后的像素值，将Dt'中与SPt',h对应的区域中坐标位置为(xt',h,yt',h)的像素点的量化后的像素值记为假设Dt'中与SPt',h对应的区域中坐标位置为(xt',h,yt',h)的像素点在Dt'中的坐标位置为(x,y)，则
其中，1≤xt',h≤Wt',h,1≤yt',h≤Ht',h，Wt',h表示SPt',h的宽度，Ht',h表示SPt',h的高度，Rt'(x,y)表示It'中坐标位置为(x,y)的像素点的R分量的颜色值，Gt'(x,y)表示It'中坐标位置为(x,y)的像素点的G分量的颜色值，Bt'(x,y)表示It'中坐标位置为(x,y)的像素点的B分量的颜色值，Dt'(x,y)表示Dt'中坐标位置为(x,y)的像素点的像素值，符号为向下取整符号。
a2、根据SPt',h中的每个像素点的量化后的R分量的颜色值和Dt'中与SPt',h对应的区域中的每个像素点的量化后的像素值，计算SPt',h的R分量的颜色-深度联合直方图，记为其中，表示SPt',h中属于第k种R分量的颜色-深度组合的所有像素点的个数，R分量的颜色-深度组合为SPt',h中的像素点的量化后的R分量的颜色值和Dt'中与SPt',h对应的区域中的像素点的量化后的像素值构成的组合。
同样，根据SPt',h中的每个像素点的量化后的G分量的颜色值和Dt'中与SPt',h对应的区域中的每个像素点的量化后的像素值，计算SPt',h的G分量的颜色-深度联合直方图，记为其中，表示SPt',h中属于第k种G分量的颜色-深度组合的所有像素点的个数，G分量的颜色-深度组合为SPt',h中的像素点的量化后的G分量的颜色值和Dt'中与SPt',h对应的区域中的像素点的量化后的像素值构成的组合。
根据SPt',h中的每个像素点的量化后的B分量的颜色值和Dt'中与SPt',h对应的区域中的每个像素点的量化后的像素值，计算SPt',h的B分量的颜色-深度联合直方图，记为其中，表示SPt',h中属于第k种B分量的颜色-深度组合的所有像素点的个数，B分量的颜色-深度组合为SPt',h中的像素点的量化后的B分量的颜色值和Dt'中与SPt',h对应的区域中的像素点的量化后的像素值构成的组合。
a3、对和分别进行归一化操作，对应得到SPt',h的归一化后的R分量的颜色-深度联合直方图、SPt',h的归一化后的G分量的颜色-深度联合直方图和SPt',h的归一化后的B分量的颜色-深度联合直方图，对应记为和其中，
a4、将以向量形式表示为将以向量形式表示为将以向量形式表示为然后将 和按顺序进行排列构成SPt',h的特征矢量ft',h，其中，此处符号“[]”为矢量表示符号，ft',h的维数为768。
③-6、将由训练图像集中的所有彩色图像中的区域的特征矢量构成的集合定义为特征矢量集合；然后采用现有的Mean-shift聚类方法对特征矢量集合进行聚类操作，得到特征矢量集合的K个聚类，同时得到特征矢量集合的每个聚类中心和每个聚类半径，将特征矢量集合的第m个聚类作为训练图像集的第m个聚类，将特征矢量集合的第m个聚类中心作为训练图像集的第m个聚类中心gm，将特征矢量集合的第m个聚类半径作为训练图像集的第m个聚类半径rm；接着将训练图像集中的所有彩色图像中属于同一聚类的区域归为一类，将训练图像集中的所有彩色图像中属于第m个聚类的区域构成的集合记为其中，K表示特征矢量集合包含的聚类的总个数，K≥1，在本实施例中取K＝10，m的初始值为1，1≤m≤K。
③-7、计算训练图像集的每个聚类的置信值，训练图像集的第m个聚类的置信值为其中，如果满足且则令如果满足且则令
④手工标记当前视频序列中的第1帧彩色图像的目标区域，该目标区域包含场景中最主要的运动对象，其位置和大小并不是固定的，由用户标记；然后将当前视频序列中当前待处理的第t帧彩色图像定义为当前彩色图像，记为It；并将当前视频序列中与It对应的深度图像定义为当前深度图像，记为Dt；其中，t的初始值为2，2≤t≤T。
在本实施例中，第1帧彩色图像的目标区域是手工标记的，从第2帧彩色图像开始进行目标跟踪，因此t≥2。
⑤采用现有的超像素分割技术将It分割成M个互不重叠的区域；然后根据训练图像集的最优聚类中心、最优聚类半径以及最优聚类的置信值，计算It中的每个区域的显著值；再将It中的每个区域的显著值作为该区域中的所有像素点的显著值，从而得到It的显著图，记为St；其中，M≥1，在本实施例中取M＝200。
在此具体实施例中，步骤⑤的具体过程为：
⑤-1、采用现有的超像素分割技术将It分割成M个互不重叠的区域，将It中的第h个区域记为SPt,h，其中，M≥1，h的初始值为1，1≤h≤M。
⑤-2、采用与步骤③-5中计算SPt',h的特征矢量ft',h相同的过程，计算It中的每个区域的特征矢量，将SPt,h的特征矢量记为ft,h。
⑤-3、计算It中的每个区域的显著值，将SPt,h的显著值记为St,h，其中，exp()为以自然基数e为底的指数函数，α为控制参数，在本实施例中取α＝2，符号“|| ||”为求欧氏距离符号，表示取使得exp(-||ft,h-gm||)的值最小的m值，表示训练图像集的第m*个聚类中心，为训练图像集的最优聚类中心，表示训练图像集的第m*个聚类半径，为训练图像集的最优聚类半径，表示训练图像集的第m*个聚类的置信值，为训练图像集的最优聚类的置信值。
⑤-4、将It中的每个区域的显著值作为该区域中的所有像素点的显著值，即SPt,h的显著值St,h作为SPt,h中的所有像素点的显著值，从而得到It的显著图St。
⑥根据St获取It的目标区域，记为 其中，表示It中与当前视频序列中的第t-1帧彩色图像It-1的目标区域的尺寸大小相同且形状相同的任一个区域，表示It中与当前视频序列中的第t-1帧彩色图像It-1的目标区域的尺寸大小相同且形状相同的所有区域的集合，St(x,y)表示St中坐标位置为(x,y)的像素点的像素值，St(x,y)亦表示It中坐标位置为(x,y)的像素点的显著值，1≤x≤W，1≤y≤H，W表示当前视频序列中的彩色图像和深度图像的宽，H表示当前视频序列中的彩色图像和深度图像的高，符号“||”为取绝对值符号，表示取使得的值最大的一个区域
⑦如果满足t≤P，则直接执行步骤⑧；如果满足t>P，则将It和Dt加入到训练图像集中，并删除训练图像集中的第1帧彩色图像和第1帧深度图像，得到更新后的训练图像集，然后采用与步骤③相同的操作，获取更新后的训练图像集的所有聚类中心、所有聚类半径以及所有聚类各自的置信值，再执行步骤⑧。
⑧令t＝t+1；然后将当前视频序列中的第t帧彩色图像作为当前彩色图像，记为It；并将当前视频序列中与It对应的深度图像定义为当前深度图像，记为Dt；再返回步骤⑤继续执行，直至当前视频序列中的所有彩色图像和深度图像处理完毕，得到当前视频序列中的每帧彩色图像的目标区域；其中，t＝t+1中的“＝”为赋值符号。
以下就利用本发明方法对普林斯顿大学提供的RGBD视频跟踪数据库中“bear”、“dog”、“face”和“zcup_move”四个视频序列的目标进行跟踪。图2a给出了“bear”三维视频序列中的第1帧彩色图像，图2b给出了“bear”三维视频序列中的第1帧深度图像，图2c给出了“bear”三维视频序列中的第10帧目标跟踪结果，图2d给出了“bear”三维视频序列中的第50帧目标跟踪结果，图2e给出了“bear”三维视频序列中的第100帧目标跟踪结果，图2f给出了“bear”三维视频序列中的第150帧目标跟踪结果；图3a给出了“dog”三维视频序列中的第1帧彩色图像，图3b给出了“dog”三维视频序列中的第1帧深度图像，图3c给出了“dog”三维视频序列中的第10帧目标跟踪结果，图3d给出了“dog”三维视频序列中的第50帧目标跟踪结果，图3e给出了“dog”三维视频序列中的第100帧目标跟踪结果，图3f给出了“dog”三维视频序列中的第150帧目标跟踪结果；图4a给出了“face”三维视频序列中的第1帧彩色图像，图4b给出了“face”三维视频序列中的第1帧深度图像，图4c给出了“face”三维视频序列中的第10帧目标跟踪结果，图4d给出了“face”三维视频序列中的第50帧目标跟踪结果，图4e给出了“face”三维视频序列中的第100帧目标跟踪结果，图4f给出了“face”三维视频序列中的第150帧目标跟踪结果；图5a给出了“zcup_move”三维视频序列中的第1帧彩色图像，图5b给出了“zcup_move”三维视频序列中的第1帧深度图像，图5c给出了“zcup_move”三维视频序列中的第10帧目标跟踪结果，图5d给出了“zcup_move”三维视频序列中的第50帧目标跟踪结果，图5e给出了“zcup_move”三维视频序列中的第100帧目标跟踪结果，图5f给出了“zcup_move”三维视频序列中的第150帧目标跟踪结果。从图2a至图5f可以看出，采用本发明方法得到的目标跟踪结果具有较高的跟踪精度。

Claims (4)

1.一种三维视频目标跟踪方法，其特征在于包括以下步骤：
①将待处理的原始三维视频序列定义为当前视频序列，假定当前视频序列中包含的彩色图像的总帧数和包含的深度图像的总帧数均为T，其中，T>1；
②将当前视频序列中的前P帧彩色图像及前P帧彩色图像各自对应的深度图像按序构成训练图像集，其中，1≤P<T；
③获取训练图像集的所有聚类中心、所有聚类半径以及所有聚类各自的置信值，将训练图像集的第m个聚类中心、第m个聚类半径以及第m个聚类的置信值对应记为gm、rm、其中，m的初始值为1，1≤m≤K，K表示训练图像集的聚类的总个数，K≥1；
④手工标记当前视频序列中的第1帧彩色图像的目标区域，该目标区域包含场景中最主要的运动对象；然后将当前视频序列中当前待处理的第t帧彩色图像定义为当前彩色图像，记为It；并将当前视频序列中与It对应的深度图像定义为当前深度图像，记为Dt；其中，t的初始值为2，2≤t≤T；
⑤采用超像素分割技术将It分割成M个互不重叠的区域；然后根据训练图像集的最优聚类中心、最优聚类半径以及最优聚类的置信值，计算It中的每个区域的显著值；再将It中的每个区域的显著值作为该区域中的所有像素点的显著值，从而得到It的显著图，记为St；其中，M≥1；
⑥根据St获取It的目标区域，记为 其中，表示It中与当前视频序列中的第t-1帧彩色图像It-1的目标区域的尺寸大小相同且形状相同的任一个区域，表示It中与当前视频序列中的第t-1帧彩色图像It-1的目标区域的尺寸大小相同且形状相同的所有区域的集合，St(x,y)表示St中坐标位置为(x,y)的像素点的像素值，1≤x≤W，1≤y≤H，W表示当前视频序列中的彩色图像和深度图像的宽，H表示当前视频序列中的彩色图像和深度图像的高，符号“| |”为取绝对值符号，表示取使得的值最大的一个区域
⑦如果满足t≤P，则直接执行步骤⑧；如果满足t>P，则将It和Dt加入到训练图像集中，并删除训练图像集中的第1帧彩色图像和第1帧深度图像，得到更新后的训练图像集，然后采用与步骤③相同的操作，获取更新后的训练图像集的所有聚类中心、所有聚类半径以及所有聚类各自的置信值，再执行步骤⑧；
⑧令t＝t+1；然后将当前视频序列中的第t帧彩色图像作为当前彩色图像，记为It；并将当前视频序列中与It对应的深度图像定义为当前深度图像，记为Dt；再返回步骤⑤继续执行，直至当前视频序列中的所有彩色图像和深度图像处理完毕，得到当前视频序列中的每帧彩色图像的目标区域；其中，t＝t+1中的“＝”为赋值符号。
2.根据权利要求1所述的一种三维视频目标跟踪方法，其特征在于所述的步骤③的具体过程为：
③-1、手工标记训练图像集中的第1帧彩色图像I1的目标区域，记为 包含场景中最主要的运动对象；
③-2、将训练图像集中当前待处理的第t'帧彩色图像定义为当前彩色图像，记为It'；并将训练图像集中与It'对应的深度图像定义为当前深度图像，记为Dt'；其中，在此t'的初始值为2，2≤t'≤P；
③-3、在It'中确定一个圆形搜索区域，圆形搜索区域的中心像素点的坐标位置与的中心像素点的坐标位置相同，且圆形搜索区域的半径为10个像素点；然后在圆形搜索区域上搜索与匹配的最佳匹配区域，将与匹配的最佳匹配区域作为It'的目标区域，记为 其中，表示训练图像集中的第t'-1帧彩色图像It'-1的目标区域，表示在圆形搜索区域上与匹配的任一个匹配区域，的中心像素点为圆形搜索区域上的任一个像素点，且的尺寸大小与的尺寸大小相同，的形状与的形状相同，表示在圆形搜索区域上与匹配的所有匹配区域的集合，1≤x≤W，1≤y≤H，1≤x'≤W，1≤y'≤H，W表示当前视频序列中的彩色图像和深度图像的宽，H表示当前视频序列中的彩色图像和深度图像的高，符号“| |”为取绝对值符号，It'-1(x,y)表示训练图像集中的第t'-1帧彩色图像It'-1中坐标位置为(x,y)的像素点的像素值，It'(x',y')表示It'中坐标位置为(x',y')的像素点的像素值，表示取使得的值最小的一个匹配区域
③-4、令t'＝t'+1；然后将训练图像集中的第t'帧彩色图像作为当前彩色图像，记为It'；并将训练图像集中与It'对应的深度图像作为当前深度图像，记为Dt'；再返回步骤③-3继续执行，直至获得训练图像集中的每帧彩色图像的目标区域；其中，t'＝t'+1中的“＝”为赋值符号；
③-5、采用超像素分割技术将训练图像集中的每帧彩色图像分割成M个互不重叠的区域，将It'中的第h个区域记为SPt',h；然后计算训练图像集中的每帧彩色图像中的每个区域的特征矢量，将SPt',h的特征矢量记为ft',h；其中，M≥1，在此t'的初始值为1，1≤t'≤P，h的初始值为1，1≤h≤M；
③-6、将由训练图像集中的所有彩色图像中的区域的特征矢量构成的集合定义为特征矢量集合；然后采用Mean-shift聚类方法对特征矢量集合进行聚类操作，得到特征矢量集合的K个聚类，同时得到特征矢量集合的每个聚类中心和每个聚类半径，将特征矢量集合的第m个聚类作为训练图像集的第m个聚类，将特征矢量集合的第m个聚类中心作为训练图像集的第m个聚类中心gm，将特征矢量集合的第m个聚类半径作为训练图像集的第m个聚类半径rm；接着将训练图像集中的所有彩色图像中属于同一聚类的区域归为一类，将训练图像集中的所有彩色图像中属于第m个聚类的区域构成的集合记为其中，K表示特征矢量集合包含的聚类的总个数，K≥1，m的初始值为1，1≤m≤K；
③-7、计算训练图像集的每个聚类的置信值，训练图像集的第m个聚类的置信值为其中，如果满足且则令如果满足且则令
3.根据权利要求2所述的一种三维视频目标跟踪方法，其特征在于所述的步骤③-5中SPt',h的特征矢量ft',h的获取过程为：
a1、对SPt',h中的每个像素点的R分量的颜色值、G分量的颜色值和B分量的颜色值分别进行量化，对应得到SPt',h中的每个像素点的量化后的R分量的颜色值、量化后的G分量的颜色值和量化后的B分量的颜色值，将SPt',h中坐标位置为(xt',h,yt',h)的像素点的量化后的R分量的颜色值、量化后的G分量的颜色值和量化后的B分量的颜色值对应记为和假设SPt',h中坐标位置为(xt',h,yt',h)的像素点在It'中的坐标位置为(x,y)，则
并对Dt'中与SPt',h对应的区域中的每个像素点的像素值进行量化，得到Dt'中与SPt',h对应的区域中的每个像素点的量化后的像素值，将Dt'中与SPt',h对应的区域中坐标位置为(xt',h,yt',h)的像素点的量化后的像素值记为假设Dt'中与SPt',h对应的区域中坐标位置为(xt',h,yt',h)的像素点在Dt'中的坐标位置为(x,y)，则
其中，1≤xt',h≤Wt',h,1≤yt',h≤Ht',h，Wt',h表示SPt',h的宽度，Ht',h表示SPt',h的高度，Rt'(x,y)表示It'中坐标位置为(x,y)的像素点的R分量的颜色值，Gt'(x,y)表示It'中坐标位置为(x,y)的像素点的G分量的颜色值，Bt'(x,y)表示It'中坐标位置为(x,y)的像素点的B分量的颜色值，Dt'(x,y)表示Dt'中坐标位置为(x,y)的像素点的像素值，符号为向下取整符号；
a2、根据SPt',h中的每个像素点的量化后的R分量的颜色值和Dt'中与SPt',h对应的区域中的每个像素点的量化后的像素值，计算SPt',h的R分量的颜色-深度联合直方图，记为其中，表示SPt',h中属于第k种R分量的颜色-深度组合的所有像素点的个数，R分量的颜色-深度组合为SPt',h中的像素点的量化后的R分量的颜色值和Dt'中与SPt',h对应的区域中的像素点的量化后的像素值构成的组合；
同样，根据SPt',h中的每个像素点的量化后的G分量的颜色值和Dt'中与SPt',h对应的区域中的每个像素点的量化后的像素值，计算SPt',h的G分量的颜色-深度联合直方图，记为其中，表示SPt',h中属于第k种G分量的颜色-深度组合的所有像素点的个数，G分量的颜色-深度组合为SPt',h中的像素点的量化后的G分量的颜色值和Dt'中与SPt',h对应的区域中的像素点的量化后的像素值构成的组合；
根据SPt',h中的每个像素点的量化后的B分量的颜色值和Dt'中与SPt',h对应的区域中的每个像素点的量化后的像素值，计算SPt',h的B分量的颜色-深度联合直方图，记为其中，表示SPt',h中属于第k种B分量的颜色-深度组合的所有像素点的个数，B分量的颜色-深度组合为SPt',h中的像素点的量化后的B分量的颜色值和Dt'中与SPt',h对应的区域中的像素点的量化后的像素值构成的组合；
a3、对和分别进行归一化操作，对应得到SPt',h的归一化后的R分量的颜色-深度联合直方图、SPt',h的归一化后的G分量的颜色-深度联合直方图和SPt',h的归一化后的B分量的颜色-深度联合直方图，对应记为和其中，
a4、将以向量形式表示为将以向量形式表示为将以向量形式表示为然后将 和按顺序进行排列构成SPt',h的特征矢量ft',h，其中，此处符号“[]”为矢量表示符号，ft',h的维数为768。
4.根据权利要求2或3所述的一种三维视频目标跟踪方法，其特征在于所述的步骤⑤的具体过程为：
⑤-1、采用超像素分割技术将It分割成M个互不重叠的区域，将It中的第h个区域记为SPt,h，其中，M≥1，h的初始值为1，1≤h≤M；
⑤-2、采用与步骤③-5中计算SPt',h的特征矢量ft',h相同的过程，计算It中的每个区域的特征矢量，将SPt,h的特征矢量记为ft,h；
⑤-3、计算It中的每个区域的显著值，将SPt,h的显著值记为St,h，其中，exp()为以自然基数e为底的指数函数，α为控制参数，符号“|| ||”为求欧氏距离符号， 表示取使得exp(-||ft,h-gm||)的值最小的m值，表示训练图像集的第m*个聚类中心，也即为训练图像集的最优聚类中心，表示训练图像集的第m*个聚类半径，也即为训练图像集的最优聚类半径，表示训练图像集的第m*个聚类的置信值，也即为训练图像集的最优聚类的置信值；
⑤-4、将It中的每个区域的显著值作为该区域中的所有像素点的显著值，从而得到It的显著图St。
CN201510270168.9A 2015-05-25 2015-05-25 一种三维视频目标跟踪方法 Expired - Fee Related CN104915677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510270168.9A CN104915677B (zh) 2015-05-25 2015-05-25 一种三维视频目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510270168.9A CN104915677B (zh) 2015-05-25 2015-05-25 一种三维视频目标跟踪方法

Publications (2)

Publication Number Publication Date
CN104915677A CN104915677A (zh) 2015-09-16
CN104915677B true CN104915677B (zh) 2018-01-05

Family

ID=54084726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510270168.9A Expired - Fee Related CN104915677B (zh) 2015-05-25 2015-05-25 一种三维视频目标跟踪方法

Country Status (1)

Country Link
CN (1) CN104915677B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976395B (zh) * 2016-04-27 2018-11-09 宁波大学 一种基于稀疏表示的视频目标跟踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789124A (zh) * 2010-02-02 2010-07-28 浙江大学 对已知摄像机参数和深度信息的视频序列的时空一致性分割方法
US7983486B2 (en) * 2007-08-29 2011-07-19 Seiko Epson Corporation Method and apparatus for automatic image categorization using image texture
CN102932605A (zh) * 2012-11-26 2013-02-13 南京大学 一种视觉感知网络中摄像机的组合选择方法
CN103413323A (zh) * 2013-07-25 2013-11-27 华南农业大学 基于部件级表观模型的物体跟踪方法
CN104240269A (zh) * 2014-09-24 2014-12-24 西安电子科技大学 一种基于空间约束编码的视频目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983486B2 (en) * 2007-08-29 2011-07-19 Seiko Epson Corporation Method and apparatus for automatic image categorization using image texture
CN101789124A (zh) * 2010-02-02 2010-07-28 浙江大学 对已知摄像机参数和深度信息的视频序列的时空一致性分割方法
CN102932605A (zh) * 2012-11-26 2013-02-13 南京大学 一种视觉感知网络中摄像机的组合选择方法
CN103413323A (zh) * 2013-07-25 2013-11-27 华南农业大学 基于部件级表观模型的物体跟踪方法
CN104240269A (zh) * 2014-09-24 2014-12-24 西安电子科技大学 一种基于空间约束编码的视频目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于模型的三维跟踪方法研究与实现;李海荣;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130315;I138-1160 *

Also Published As

Publication number Publication date
CN104915677A (zh) 2015-09-16

Similar Documents

Publication Publication Date Title
CN106446930B (zh) 基于深层卷积神经网络的机器人工作场景识别方法
Liu et al. Matching-cnn meets knn: Quasi-parametric human parsing
CN107844795B (zh) 基于主成分分析的卷积神经网络特征提取方法
CN103942751B (zh) 一种视频关键帧提取方法
CN108256421A (zh) 一种动态手势序列实时识别方法、系统及装置
CN105976395B (zh) 一种基于稀疏表示的视频目标跟踪方法
CN110517293A (zh) 目标跟踪方法、装置、系统和计算机可读存储介质
CN108121957A (zh) 美颜素材的推送方法及装置
CN103632153B (zh) 一种基于区域的图像显著图提取方法
CN108898063A (zh) 一种基于全卷积神经网络的人体姿态识别装置及方法
CN108388882A (zh) 基于全局-局部rgb-d多模态的手势识别方法
CN103914699A (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
CN102521616B (zh) 基于稀疏表示的行人检测方法
CN104392233B (zh) 一种基于区域的图像显著图提取方法
CN110097574A (zh) 一种已知刚体的实时位姿估计方法
CN102567716A (zh) 一种人脸合成系统及实现方法
CN107133562B (zh) 一种基于极限学习机的手势识别方法
CN103903256B (zh) 一种基于相对高度深度线索的深度估计方法
CN110046544A (zh) 基于卷积神经网络的数字手势识别方法
CN111080670A (zh) 图像提取方法、装置、设备及存储介质
CN110334584A (zh) 一种基于区域全卷积网络的手势识别方法
CN110032932A (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN113255522A (zh) 基于时间一致性的个性化运动姿态估计与分析方法及系统
Seo et al. One-to-one example-based automatic image coloring using deep convolutional generative adversarial network
CN104765440A (zh) 手检测方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201202

Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000

Patentee after: Huzhou You Yan Intellectual Property Service Co.,Ltd.

Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818

Patentee before: Ningbo University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210604

Address after: 230000 No. 1801, block B, Zheshang building, No. 103, science Avenue, high tech Zone, Hefei City, Anhui Province

Patentee after: Hefei Zhongzhi Software Co.,Ltd.

Address before: 313000 room 1020, science and Technology Pioneer Park, 666 Chaoyang Road, Nanxun Town, Nanxun District, Huzhou, Zhejiang.

Patentee before: Huzhou You Yan Intellectual Property Service Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180105