CN105894542B - 一种在线目标跟踪方法及装置 - Google Patents

一种在线目标跟踪方法及装置 Download PDF

Info

Publication number
CN105894542B
CN105894542B CN201610269208.2A CN201610269208A CN105894542B CN 105894542 B CN105894542 B CN 105894542B CN 201610269208 A CN201610269208 A CN 201610269208A CN 105894542 B CN105894542 B CN 105894542B
Authority
CN
China
Prior art keywords
target
observation object
prediction target
prediction
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610269208.2A
Other languages
English (en)
Other versions
CN105894542A (zh
Inventor
李良群
李俊
原泽峰
谢维信
刘宗香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Ruixiang Xuntong Communication Technology Co Ltd
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201610269208.2A priority Critical patent/CN105894542B/zh
Publication of CN105894542A publication Critical patent/CN105894542A/zh
Priority to PCT/CN2016/103141 priority patent/WO2017185688A1/zh
Application granted granted Critical
Publication of CN105894542B publication Critical patent/CN105894542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种在线目标跟踪方法,包括:对当前视频帧进行目标检测,以得到观测对象;获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵,其中预测目标的集合为至少利用前一视频帧的目标状态的集合进行预测而得到的预测目标状态的集合;根据模糊隶属度矩阵对观测对象和预测目标进行关联,以获取有效目标轨迹;对未被关联的观测对象和未被关联的预测目标进行轨迹管理,以建立临时目标轨迹并删除无效目标;对所有有效目标轨迹和临时目标轨迹进行滤波以得到当前视频帧的目标状态的集合,并利用当前视频帧的目标状态的集合进行预测。本发明还公开了一种在线目标跟踪装置。通过上述方式,本发明能够解决预测目标与观测对象数目不相等时复杂关联问题。

Description

一种在线目标跟踪方法及装置
技术领域
本发明涉及目标跟踪领域,特别是涉及一种在线目标跟踪方法及装置。
背景技术
在线目标跟踪是计算机视觉中的一个热点研究课题,其对于动作识别、行为分析、场景理解等高层次的视觉研究具有重要意义,并且在视频监控、智能机器人、人机交互等领域有着广泛的应用前景。
在复杂的环境中,目标与背景静物间、目标与目标间的高频率遮挡,以及存在大量虚假观测对象,仍是多目标在线跟踪的难点问题。
发明内容
本发明主要解决的技术问题是提供一种在线目标跟踪方法及装置,能够解决现有技术中难以处理高频率遮挡及存在大量虚假观测对象的问题。
为了解决上述技术问题,本发明采用的一个技术方案是:提供一种在线目标跟踪方法,包括:对当前视频帧进行目标检测,以得到观测对象;获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵,其中预测目标的集合为至少利用前一视频帧的目标状态的集合进行预测而得到的预测目标状态的集合;根据模糊隶属度矩阵对观测对象和预测目标进行关联,以获取有效目标轨迹;对未被关联的观测对象和未被关联的预测目标进行轨迹管理,以建立临时目标轨迹并删除无效目标;对所有有效目标轨迹和临时目标轨迹进行滤波以得到当前视频帧的目标状态的集合,并利用当前视频帧的目标状态的集合进行预测。
其中,获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵包括:以预测目标的集合为聚类中心,获取预测目标的集合中的每个预测目标与观测对象的集合中的每个观测对象之间的第一隶属度;以观测对象的集合为聚类中心,获取观测对象的集合中的每个观测对象与预测目标的集合中的每个预测目标之间的第二隶属度;利用第一隶属度和第二隶属度获取模糊隶属度矩阵。
其中,预测目标的集合为O={o1,...,ol},观测对象的集合为Z={z1,...,zr};以预测目标的集合为聚类中心,获取预测目标的集合中的每个预测目标与观测对象的集合中的每个观测对象之间的第一隶属度包括:获取第一隶属度
其中m=2,g(oi,zk)表示预测目标oi与观测对象zk间的特征距离;
以观测对象的集合为聚类中心,获取观测对象的集合中的每个观测对象与预测目标的集合中的每个预测目标之间的第二隶属度包括:获取第二隶属度
其中m=2,g(oi,zk)为预测目标oi与观测对象zk间的特征距离;
利用第一隶属度和第二隶属度获取模糊隶属度矩阵包括:利用第一隶属度和第二隶属度,获取观测对象的集合中的每个观测对象与预测目标的集合中的每个预测目标之间的综合隶属度sik
sik=α×uik+(1-α)×u'ki (3)
其中,α为正常系数且α∈[0,1];利用综合隶属度sik获取模糊隶属度矩阵S=[sik]l×r
其中,预测目标oi与观测对象zk间的特征距离
g(oi,zk)=1-f1(oi,zk)×f2(oi,zk)×f3(oi,zk)×f4(oi,zk)×f5(oi,zk) (4)
其中f1(·)为空间距离特征相似性度量函数,f2(·)为几何尺寸特征相似性度量函数,f3(·)为运动方向特征相似性度量函数,f4(·)为颜色特征相似性度量函数,f5(·)为梯度方向特征相似性度量函数,其定义如下:
其中,(xo,yo)为目标oi的中心坐标,(xz,yz)为观测对象zk的中心坐标,ho为目标oi的图像高度,为空间距离方差常量,hz为观测对象zk的图像高度,为几何尺寸方差常量,(x'o,y'o)为上一时刻目标oi的中心坐标,为上一时刻目标oi的速度在图像坐标轴上的投影,为运动方向方差常量,g(·)为相似度系数函数,ρ(·)表示求巴氏系数,表示上半部分子块的颜色直方图,表示下半部分子块的颜色直方图,Hg(·)表示分块梯度方向直方图特征,为梯度方向方差常量。
其中,目标图像由{xi}i=1,…,n共计n个像素点构成,目标图像可以对应预测目标oi或观测对象zk,点xi坐标为将目标图像拆分为上半部分子块T1和下半部分子块T2,上半部分子块T1为:下半部分子块T2为:其中ST为目标图像的分割线,将目标图像的灰度离散为m级;
上半部分子块的颜色直方图
其中,b(xi)为xi处像素的量化值,若xi处像素的量化值b(xi)对应于像素级u,则δ[b(xi)-u]取1,否则δ[b(xi)-u]取0;
下半部分子块T2的颜色直方图其中:
将预测目标oi拆分成上下两个子块并利用公式(6)(7)分别计算其上半部分子块的颜色直方图和下半部分子块的颜色直方图将观测对象zk拆分成上下两个子块并利用公式(6)(7)分别计算其上半部分子块的颜色直方图和下半部分子块的颜色直方图并利用各子块的颜色直方图计算预测目标oi和观测对象zk之间的颜色特征相似性度量函数:
其中g(·)为相似度系数函数,ρ(·)表示求巴氏系数。
其中,根据模糊隶属度矩阵对观测对象和预测目标进行关联,以获取有效目标轨迹包括:查找模糊隶属度矩阵S中未被标记的所有元素中的最大值spq;标记模糊隶属度矩阵S中的第p行所有元素以及第q列所有元素;判断预测目标op与观测对象zq的空间距离特征相似性度量函数f1(op,zq)是否大于阈值常量β;若f1(op,zq)>β,则判断预测目标op与观测对象zq正确关联,为有效目标轨迹;循环执行上述步骤直至模糊隶属度矩阵S中的所有行或所有列均被标记。
其中,对未被关联的观测对象和未被关联的预测目标进行轨迹管理,以建立临时目标轨迹、删除无效目标包括:对未被关联的观测对象,利用未被关联的观测对象与预测目标之间的遮挡度,获取未被关联的观测对象的判别函数,根据判别函数判断是否为未被关联的观测对象建立临时目标轨迹,对未被关联的预测目标,若未被关联的预测目标对应的目标连续λ1帧未被关联,则判断目标无效并删除无效目标,λ1为大于1的整数。
其中,未被关联的观测对象的集合为Ω={z1,...,zm},预测目标的集合为O={o1,...,ol};利用未被关联的观测对象与预测目标之间的遮挡度,获取未被关联的观测对象的判别函数包括:获取未被关联的观测对象z∈Ω与预测目标o∈O之间的遮挡度
其中r(·)表示求面积;
获取每个未被关联的观测对象z∈Ω的判别函数
其中γ为常量参数,且0<γ<1;
根据判别函数判断是否为未被关联的观测对象建立临时目标轨迹包括:对每个未被关联的观测对象,若其判别函数为1,则为未被关联的观测对象建立临时目标轨迹,若其判别函数为0则不建立。
其中,对所有有效目标轨迹和临时目标轨迹进行滤波以得到当前视频帧的目标状态的集合,并利用当前视频帧的目标状态的集合进行预测包括:使用卡尔曼滤波器对有效目标轨迹和临时目标轨迹进行滤波和预测。
其中,对当前视频帧进行目标检测包括:使用混合高斯背景模型对当前视频帧进行目标检测。
为了解决上述技术问题,本发明采用的另一个技术方案是:提供一种在线目标跟踪装置,包括:检测模块,用于对当前视频帧进行目标检测,以得到观测对象;矩阵获取模块,用于获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵,其中预测目标的集合为至少利用前一视频帧的目标状态的集合进行预测而得到的预测目标状态的集合;关联模块,用于根据模糊隶属度矩阵对观测对象和预测目标进行关联,以获取有效目标轨迹;轨迹管理模块,用于对未被关联的观测对象和未被关联的预测目标进行轨迹管理,以建立临时目标轨迹并删除无效目标;滤波预测模块,用于对所有有效目标轨迹和临时目标轨迹进行滤波以得到当前视频帧的目标状态的集合,并利用当前视频帧的目标状态的集合进行预测。
本发明的有益效果是:构建模糊隶属度矩阵并根据其对观测对象和预测目标进行关联,解决了当存在漏检或者出现新目标等情况下预测目标数目与观测对象数目不相等时的复杂关联问题,对未被关联的观测对象和未被关联的预测目标进行轨迹管理,判断其是否为新的目标,并为新目标建立临时目标轨迹,减少了错误的目标轨迹起始,实现高鲁棒性的在线目标跟踪。
附图说明
图1是本发明在线目标跟踪方法第一实施例的流程图;
图2是本发明在线目标跟踪方法第二实施例的流程图;
图3是本发明在线目标跟踪方法第三实施例中建立临时目标轨迹的流程图;
图4是本发明在线目标跟踪装置第一实施例的结构示意图;
图5是本发明在线目标跟踪装置第二实施例的结构示意图。
具体实施方式
如图1所示,本发明在线目标跟踪方法第一实施例包括:
S1:对当前视频帧进行目标检测,以得到观测对象。
使用帧差法、光流法、背景减除法等运动目标检测算法对当前视频帧的图像进行目标检测,以从图像中找出运动的像素,辅以中值滤波和简单的形态学处理,最终得到图像中运动的目标作为观测对象。一般而言,观测对象是图像中的一个矩形或者其他形状的区域。
在本发明在线目标跟踪方法一个实施例中,采用基于混合高斯背景模型的背景减除法对当前视频帧的图像进行目标检测。
S2:获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵。
使用模糊C均值聚类(Fuzzy C-Means)算法获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵。其中预测目标的集合为至少利用前一视频帧的目标状态的集合进行预测而得到的当前视频帧的预测目标状态的集合。
可以以预测目标的集合为聚类中心计算预测目标与观测对象之间的模糊隶属度以获取模糊隶属度矩阵;也可以以观测对象的集合为聚类中心计算观测对象与预测目标之间的模糊隶属度以获取模糊隶属度矩阵;也可以结合目标与观测对象之间的模糊隶属度以及观测对象与预测目标之间的模糊隶属度以获取模糊隶属度矩阵。
S3:根据模糊隶属度矩阵对观测对象和预测目标进行关联,以获取有效目标轨迹。
基于最大隶属度准则,根据模糊隶属度矩阵对观测对象和预测目标进行关联,正确关联上的一对预测目标与观测对象为有效目标轨迹。
S4:对未被关联的观测对象和未被关联的预测目标进行轨迹管理,以建立临时目标轨迹并删除无效目标。
复杂环境下,由于背景干扰、目标自身形变等多种因素的影响,可能出现虚假观测对象,例如对同一个目标检测出多个观测对象,将多个目标或者目标与背景作为观测对象等。未被关联的观测对象可能是新出现的目标,也可能是虚假观测对象,因此需要判断未被关联的观测对象是否为虚假观测对象,不是虚假观测对象的未被关联的观测对象被判定为新的目标,为其建立临时轨迹。
当目标移动出摄像机的拍摄范围、被背景或者其他目标遮挡时,可能会出现未被关联的预测目标。对未被关联的预测目标,采用预测值作为当前视频帧的目标状态,若该目标连续多帧未被关联,则判断该目标无效并删除无效目标。
S5:对所有有效目标轨迹和临时目标轨迹进行滤波以得到当前视频帧的目标状态的集合,并利用当前视频帧的目标状态的集合进行预测。
当前视频帧的目标状态的集合中包括了当前视频帧中所有目标的状态。利用当前视频帧的目标状态的集合进行预测的结果作为下一视频帧的预测目标的集合以供下一视频帧目标跟踪使用。
在本发明在线目标跟踪方法的一个实施例中,使用卡尔曼滤波器对有效目标轨迹和临时目标轨迹进行滤波和预测。
按照上述步骤对摄像机输出的视频逐帧进行处理,以实现目标在线跟踪。
通过上述实施例的实施,构建模糊隶属度矩阵并根据其对观测对象和预测目标进行关联,解决了当存在漏检或者出现新目标等情况下预测目标数目与观测对象数目不相等时的复杂关联问题,对未被关联的观测对象和未被关联的预测目标进行轨迹管理,判断其是否为新的目标,并为新目标建立临时目标轨迹,减少了错误的目标轨迹起始,实现高鲁棒性的在线目标跟踪。
如图2所示,本发明在线目标跟踪方法第二实施例,是在本发明在线目标跟踪方法第一实施例的基础上,进一步限定步骤S2和S3包括:
S21:以预测目标的集合为聚类中心,获取预测目标的集合中的每个预测目标与观测对象的集合中的每个观测对象之间的第一隶属度。
预测目标的集合为O={o1,...,ol},观测对象的集合为Z={z1,...,zr}。以预测目标的集合为聚类中心,构建第一目标函数:
其中m=2,uik为第一隶属度,即预测目标与观测对象之间的模糊隶属度,g(oi,zk)表示预测目标oi与观测对象zk间的特征距离。
在本发明在线目标跟踪方法的一个实施例中,基于空时线索,利用包括空间距离特征、几何尺寸特征、颜色特征、梯度方向特征以及运动方向特征在内的空时多属性特征对预测目标与观测对象间的距离进行度量,定义预测目标oi与观测对象zk间的特征距离
g(oi,zk)=1-f1(oi,zk)×f2(oi,zk)×f3(oi,zk)×f4(oi,zk)×f5(oi,zk) (4)
其中f1(·)为空间距离特征相似性度量函数,f2(·)为几何尺寸特征相似性度量函数,f3(·)为运动方向特征相似性度量函数,f4(·)为颜色特征相似性度量函数,f5(·)为梯度方向特征相似性度量函数,其定义如下:
其中,f1(·)中的(xo,yo)为目标oi的中心坐标,(xz,yz)为观测对象zk的中心坐标,||·||2为二范数。f2(·)中的ho为目标oi的图像高度,为空间距离方差常量,hz为观测对象zk的图像高度,为几何尺寸方差常量。f3(·)中的(x'o,y'o)为上一时刻目标oi的中心坐标,为上一时刻目标oi的速度在图像坐标轴上的投影,为运动方向方差常量。
对于f4(·)颜色特征相似性度量函数,目标跟踪的对象是行人,一般情况下,行人的着装可以分为两个相对独立的部分,行人上半部分的颜色特征与行人下半部分的颜色特征相对独立。为此,对于行人类目标,将其拆分为上下两个部分子块,分别描述两个子块的颜色特征,利用子块目标颜色直方图来计算预测目标和观测对象间的颜色特征相似度。
目标图像由{xi}i=1,…,n共计n个像素点构成,目标图像可以对应预测目标oi或观测对象zk,点xi坐标为将目标图像拆分为上半部分子块T1和下半部分子块T2,上半部分子块T1为:下半部分子块T2为:其中,ST为目标图像的分割线。
将目标图像的灰度离散为m级,上半部分子块T1的颜色直方图其中:
式中,b(xi)为xi处像素的量化值,若xi处像素的量化值b(xi)对应于像素级u,则δ[b(xi)-u]取1,否则δ[b(xi)-u]取0。
同理,下半部分子块T2的颜色直方图其中:
为了计算预测目标oi和观测对象zk之间的颜色特征相似性,将预测目标oi拆分成上下两个子块并利用公式(6)(7)分别计算其上半部分子块的颜色直方图和下半部分子块的颜色直方图将观测对象zk拆分成上下两个子块并利用公式(6)(7)分别计算其上半部分子块的颜色直方图和下半部分子块的颜色直方图并利用各子块的颜色直方图计算预测目标oi和观测对象zk之间的颜色特征相似性度量函数:
其中g(·)为相似度系数函数,ρ(·)表示求巴氏系数。
f5(·)中的Hg(·)表示分块梯度方向直方图特征,为梯度方向方差常量。
在本发明在线目标跟踪方法的其他实施例中,可以采用其他形式来利用空时多属性特征定义预测目标oi与观测对象zk间的特征距离,例如g'(oi,zk)=exp(-f1(oi,zk)×f2(oi,zk)×f3(oi,zk)×f4(oi,zk)×f5(oi,zk))。当然,也可以使用更少或者更多特征相似性度量函数来定义预测目标oi与观测对象zk间的特征距离。
利用拉格朗日乘子法,可得第一隶属度:
S22:以观测对象的集合为聚类中心,获取观测对象的集合中的每个观测对象与预测目标的集合中的每个预测目标之间的第二隶属度。
以观测对象的集合为聚类中心,构建第二目标函数:
其中m=2,u'ki为第二隶属度,即观测对象与预测目标之间的模糊隶属度,g(oi,zk)表示预测目标oi与观测对象zk间的特征距离。
利用拉格朗日乘子法,可得第二隶属度:
S23:利用第一隶属度和第二隶属度获取模糊隶属度矩阵。
根据式(1)计算出的第一隶属度uik和式(2)计算出的第二隶属度ui'k,计算预测目标oi与观测对象zk之间的综合隶属度
sik=α×uik+(1-α)×u'ki (3)
其中,α为正常系数且α∈[0,1]。利用综合隶属度sik获取模糊隶属度矩阵S=[sik]l×r
S24:查找模糊隶属度矩阵S中未被标记的所有元素中的最大值spq
基于最大隶属度准则对预测目标与观测对象进行关联。
S25:标记模糊隶属度矩阵S中的第p行所有元素以及第q列所有元素。
S26:判断预测目标op与观测对象zq的空间距离特征相似性度量函数f1(op,zq)是否大于阈值常量β。
其中0<β<1,β越大,对预测目标op与观测对象zq的空间距离特征相似性要求越高。若f1(op,zq)>β,则跳转到步骤S27;否则跳转到步骤S28。
S27:预测目标op与观测对象zq正确关联,为有效目标轨迹。
接步骤S28。
S28:判断模糊隶属度矩阵S中是否不存在未被标记的行或列。
若模糊隶属度矩阵S中不存在未被标记的行或列,即模糊隶属度矩阵S中的所有行或者所有列均已被标记,则结束流程;否则跳转到步骤S24。
当出现新目标、目标由于被遮挡、离开监控范围等情况导致漏检时,预测目标的数目与观测对象的数目可能不相等。
如果只以预测目标的集合作为模糊聚类中心计算模糊隶属度,当视频帧中出现新目标时,新目标对应的观测对象将作为野值存在,其对于所有预测目标的模糊隶属度均应很小。但是在式(10)中约束条件的作用下,可能计算得出该观测对象对于几个预测目标有较大的模糊隶属度,从而与真实情况不符。另外当预测目标数为1时,在式(10)中约束条件的作用下,将会计算得出所有观测对象对于预测目标的隶属度均为1,与实际情况不符。
如果以观测对象作为模糊聚类中心,当视频帧中的目标由于遮挡等因素被漏检时,该目标对应的预测目标对于当前所有观测对象的模糊隶属度均应很小,但是在式(11)中约束条件的作用下,可能计算得出该预测目标对于存在于该预测目标附近的几个观测对象具有较大的模糊隶属度,从而与真实情况不符。另外当观测对象数为1时,在式(11)中约束条件的作用下,将会计算得出所有预测目标对于观测对象的隶属度均为1,与实际情况不符。
通过上述实施例的实施,考虑了复杂环境下预测目标与观测对象之间关联的模糊性,通过第一隶属度和第二隶属度计算综合隶属度,解决了当存在漏检或者新目标出现等预测目标数目与观测对象数目不相等时的复杂关联问题,从而有利于解决存在高频率遮挡以及大量虚假观测环境下的目标在线跟踪问题。
本发明在线目标跟踪方法第三实施例,是在本发明在线目标跟踪方法第一实施例的基础上,进一步限定步骤S4包括:
对未被关联的观测对象,利用未被关联的观测对象与预测目标之间的遮挡度,获取未被关联的观测对象的判别函数,根据判别函数判断是否为未被关联的观测对象建立临时目标轨迹。进一步的,若临时目标轨迹连续λ2帧都被关联上,则将其转化为有效目标轨迹,否则删除该临时目标轨迹,其中λ2为大于1的整数。
对未被关联的预测目标,若未被关联的预测目标对应的目标连续λ1帧未被关联,则判断目标无效并删除无效目标,其中λ1为大于1的整数。
如图3所示,利用未被关联的观测对象与预测目标之间的遮挡度,获取未被关联的观测对象的判别函数,根据判别函数判断是否为未被关联的观测对象建立临时目标轨迹包括:
S41:获取未被关联的观测对象与预测目标之间的遮挡度。
未被关联的观测对象的集合为Ω={z1,...,zm},预测目标的集合为O={o1,...,ol}。获取未被关联的观测对象z∈Ω与预测目标o∈O之间的遮挡度
其中r(·)表示求面积。0≤ω(z,o)≤1,当ω(z,o)>0时,观测对象z与预测目标o之间发生了遮挡。
S42:获取每个未被关联的观测对象的判别函数。
观测对象z∈Ω的判别函数
其中γ为常量参数,且0<γ<1。
对每个未被关联的观测对象,若其判别函数为1,则跳转到步骤S43;若其判别函数为0,则跳转到步骤S44。
S43:为未被关联的观测对象建立临时目标轨迹。
结束本次流程。
S44:不为未被关联的观测对象建立临时目标轨迹。
结束本次流程。
通过上述实施例的实施,对未被关联的观测对象与预测目标之间的遮挡度进行分析,并根据遮挡度获取未被关联的观测对象的判别函数决定是否为未被关联的观测对象建立临时目标轨迹,可以有效的防止将虚假观测对象作为新目标,提高目标跟踪的准确性。
下表为使用本发明在线目标跟踪方法一实施例对公开测试视频序列PETS.S2L1进行实验的结果,本实施例是本发明第一、第二与第三实施例的结合,并采用卡尔曼滤波器对有效目标轨迹和临时目标轨迹进行滤波和预测。文献[1]算法为Berclaz等人提出的一种K最短路径优化求解的多目标跟踪算法,见J Berclaz,F Fleuret,E Türetken,etal.Multiple Object Tracking Using K-Shortest Paths Optimization[J].IEEETransactions on Pattern Analysis and Machine Intelligence,Vol.33,No.9,2011:1806-1819。文献[2]算法为提出的一种基于子轨迹置信度以及判别外观模型在线学习的多目标在线跟踪算法,见S Bae,K Yoon.Robust Online Multi-object Tracking Based onTracklet Confidence and Online Discriminative Appearance Learning[C].IEEECVPR,2014:1218-1225。
表1
横坐标为对实验结果进行评估的评价指标,包括多目标跟踪精度(MOTP↑)、多目标跟踪准确性(MOTA↑)、目标标签变化次数(IDS↓)、准确跟踪的目标比例(MT↑)、丢失的目标比例(ML↓)、目标轨迹断开次数(FG↓),其中上升箭头↑表示该项数值越大则跟踪效果越好,下降箭头↓表示该项数值越小则跟踪效果越好。
MOTP的定义为:
其中,r(·)表示求区域的面积,表示t时刻第i个目标的真实状态,表示t时刻跟踪算法输出的与第i个目标相对应的估计状态,ηt表示t时刻跟踪算法输出的状态与目标真实状态相匹配的数量。
MOTA的定义为:
其中,FPt表示t时刻跟踪算法输出的错误状态的数量,FNt表示t时刻跟踪算法输出中所漏掉的真实目标的数量,IDSt表示t时刻目标标签发生变化的次数,μt表示t时刻目标的数量。
MT定义为跟踪算法输出目标状态中与目标真实状态匹配率超过80%的目标轨迹的数量。ML定义为跟踪算法输出目标状态中与目标真实状态匹配率低于20%的目标轨迹的数量。FG定义为跟踪算法输出目标轨迹所断开的次数。
测试视频序列PETS.S2L1包含多种跟踪困难因素,其中包括由于目标相互靠近所导致的目标轨迹交叉以及目标间的高频率遮挡;目标在场景中心位置处停留时,该位置处的街灯所造成的长时间完全遮挡;目标行进过程中突然停下、转身等运动状态以及目标姿态的剧烈变化。
从表1可以看出,本实施例的方法在多目标跟踪准确性(MOTA)这一性能指标上要优于对比算法,其中文献[2]算法为在线跟踪算法、文献[5]算法为离线跟踪算法。在目标标签变化(IDS)这一项指标上,本文算法略差于文献[2]算法但明显好于文献[1]算法,说明了本文提出的模糊数据关联方法的有效性。由于本实施例中采用卡尔曼滤波器,无法对非线性运动的目标状态进行准确地估计与预测,因此,在目标轨迹断开次数(FG)以及多目标跟踪精度(MOTP)这两项指标上要低于对比算法,尽管如此,本实施例方法的MOTA仍然优于对比算法,这充分说明本实施例方法在保证准确数据关联的同时,有效减少了错误的目标轨迹起始。
如图4所示,本发明在线目标跟踪装置第一实施例包括:
检测模块10,用于对当前视频帧进行目标检测,以得到观测对象.
矩阵获取模块20,用于获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵,其中预测目标的集合为至少利用前一视频帧的目标状态的集合进行预测而得到的预测目标状态的集合。
关联模块30,用于根据模糊隶属度矩阵对观测对象和预测目标进行关联,以获取有效目标轨迹。
轨迹管理模块40,用于对未被关联的观测对象和未被关联的预测目标进行轨迹管理,以建立临时目标轨迹并删除无效目标。
滤波预测模块50,用于对所有有效目标轨迹和临时目标轨迹进行滤波以得到当前视频帧的目标状态的集合,并利用当前视频帧的目标状态的集合进行预测。
本实施例的在线目标跟踪装置包括的各模块用于执行图1以及图1对应的本发明在线目标跟踪方法第一实施例中的各步骤,具体内容请参阅图1以及图1对应的本发明在线目标跟踪方法第一实施例,在此不再赘述。
如图5所示,本发明在线目标跟踪装置第二实施例包括:处理器110和摄像机120。摄像机120可以为本地摄像机,处理器110通过总线连接摄像机120;摄像机120也可以为远程摄像机,处理器110通过局域网或互联网连接摄像机120。
处理器110控制在线目标跟踪装置的操作,处理器110还可以称为CPU(CentralProcessing Unit,中央处理单元)。处理器110可能是一种集成电路芯片,具有信号的处理能力。处理器110还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在线目标跟踪装置可以进一步包括存储器(图中未画出),存储器用于存储处理器110工作所必需的指令及数据,也可以存储传输器120拍摄的视频数据。
处理器110用于对从摄像机120获取的当前视频帧进行目标检测,以得到观测对象;获取观测对象的集合与预测目标的集合之间的模糊隶属度矩阵,其中预测目标的集合为至少利用前一视频帧的目标状态的集合进行预测而得到的预测目标状态的集合;根据模糊隶属度矩阵对观测对象和预测目标进行关联,以获取有效目标轨迹;对未被关联的观测对象和未被关联的预测目标进行轨迹管理,以建立临时目标轨迹并删除无效目标;对所有有效目标轨迹和临时目标轨迹进行滤波以得到当前视频帧的目标状态的集合,并利用当前视频帧的目标状态的集合进行预测。
以上所述仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种在线目标跟踪方法,其特征在于,包括:
对当前视频帧进行目标检测,以得到观测对象;
获取所述观测对象的集合与预测目标的集合之间的模糊隶属度矩阵,其中所述预测目标的集合为至少利用前一视频帧的目标状态的集合进行预测而得到的预测目标状态的集合;
根据所述模糊隶属度矩阵对所述观测对象和所述预测目标进行关联,以获取有效目标轨迹;
对未被关联的所述观测对象和未被关联的所述预测目标进行轨迹管理,以建立临时目标轨迹并删除无效目标;
对所有所述有效目标轨迹和所述临时目标轨迹进行滤波以得到所述当前视频帧的目标状态的集合,并利用所述当前视频帧的目标状态的集合进行预测;
其中所述对未被关联的所述观测对象和未被关联的所述预测目标进行轨迹管理,以建立临时目标轨迹并删除无效目标包括:
对未被关联的所述观测对象,利用未被关联的所述观测对象与所述预测目标之间的遮挡度,获取未被关联的所述观测对象的判别函数,根据所述判别函数判断是否为未被关联的所述观测对象建立临时目标轨迹,对未被关联的所述预测目标,若未被关联的所述预测目标对应的目标连续λ1帧未被关联,则判断所述目标无效并删除所述无效目标,λ1为大于1的整数。
2.根据权利要求1所述的方法,其特征在于,
所述获取所述观测对象的集合与预测目标的集合之间的模糊隶属度矩阵包括:
以所述预测目标的集合为聚类中心,获取所述预测目标的集合中的每个预测目标与所述观测对象的集合中的每个观测对象之间的第一隶属度;
以所述观测对象的集合为聚类中心,获取所述观测对象的集合中的每个观测对象与所述预测目标的集合中的每个预测目标之间的第二隶属度;
利用所述第一隶属度和所述第二隶属度获取所述模糊隶属度矩阵。
3.根据权利要求2所述的方法,其特征在于,
所述预测目标的集合为O={o1,...,ol},所述观测对象的集合为Z={z1,...,zr};
所述以所述预测目标的集合为聚类中心,获取所述预测目标的集合中的每个预测目标与所述观测对象的集合中的每个观测对象之间的第一隶属度包括:
获取所述第一隶属度
其中m=2,g(oi,zk)表示预测目标oi与观测对象zk间的特征距离;
所述以所述观测对象的集合为聚类中心,获取所述观测对象的集合中的每个观测对象与所述预测目标的集合中的每个预测目标之间的第二隶属度包括:
获取所述第二隶属度
其中m=2,g(oi,zk)为预测目标oi与观测对象zk间的特征距离;
所述利用所述第一隶属度和所述第二隶属度获取所述模糊隶属度矩阵包括:
利用所述第一隶属度和所述第二隶属度,获取所述观测对象的集合中的每个观测对象与所述预测目标的集合中的每个预测目标之间的综合隶属度sik
sik=α×uik+(1-α)×u'ki (3)
其中,α为正常系数且α∈[0,1];
利用所述综合隶属度sik获取所述模糊隶属度矩阵S=[sik]l×r
4.根据权利要求3所述的方法,其特征在于,
所述预测目标oi与观测对象zk间的特征距离
g(oi,zk)=1-f1(oi,zk)×f2(oi,zk)×f3(oi,zk)×f4(oi,zk)×f5(oi,zk) (4)
其中f1(·)为空间距离特征相似性度量函数,f2(·)为几何尺寸特征相似性度量函数,f3(·)为运动方向特征相似性度量函数,f4(·)为颜色特征相似性度量函数,f5(·)为梯度方向特征相似性度量函数,其定义如下:
其中,(xo,yo)为目标oi的中心坐标,(xz,yz)为观测对象zk的中心坐标,ho为目标oi的图像高度,为空间距离方差常量,hz为观测对象zk的图像高度,为几何尺寸方差常量,(x'o,y'o)为上一时刻目标oi的中心坐标,为上一时刻目标oi的速度在图像坐标轴上的投影,为运动方向方差常量,g(·)为相似度系数函数,ρ(·)表示求巴氏系数,表示上半部分子块的颜色直方图,表示下半部分子块的颜色直方图,Hg(·)表示分块梯度方向直方图特征,为梯度方向方差常量。
5.根据权利要求4所述的方法,其特征在于,
目标图像由{xi}i=1,…,n共计n个像素点构成,所述目标图像可以对应所述预测目标oi或所述观测对象zk,点xi坐标为将所述目标图像拆分为上半部分子块T1和下半部分子块T2,所述上半部分子块T1为:所述下半部分子块T2为:其中ST为所述目标图像的分割线,将所述目标图像的灰度离散为m级;
所述上半部分子块的颜色直方图
其中,b(xi)为xi处像素的量化值,若xi处像素的量化值b(xi)对应于像素级u,则δ[b(xi)-u]取1,否则δ[b(xi)-u]取0;
所述下半部分子块T2的颜色直方图其中:
将所述预测目标oi拆分成上下两个子块并利用公式(6)(7)分别计算其上半部分子块的颜色直方图和下半部分子块的颜色直方图将所述观测对象zk拆分成上下两个子块并利用公式(6)(7)分别计算其上半部分子块的颜色直方图和下半部分子块的颜色直方图并利用各子块的颜色直方图计算预测目标oi和观测对象zk之间的颜色特征相似性度量函数:
其中g(·)为相似度系数函数,ρ(·)表示求巴氏系数。
6.根据权利要求2所述的方法,其特征在于,
所述根据所述模糊隶属度矩阵对所述观测对象和所述预测目标进行关联,以获取有效目标轨迹包括:
查找所述模糊隶属度矩阵S中未被标记的所有元素中的最大值spq
标记所述模糊隶属度矩阵S中的第p行所有元素以及第q列所有元素;
判断预测目标op与观测对象zq的空间距离特征相似性度量函数f1(op,zq)是否大于阈值常量β;
若f1(op,zq)>β,则判断所述预测目标op与观测对象zq正确关联,为有效目标轨迹;
循环执行上述步骤直至所述模糊隶属度矩阵S中的所有行或所有列均被标记。
7.根据权利要求1所述的方法,其特征在于,
所述未被关联的观测对象的集合为Ω={z1,...,zm},所述预测目标的集合为O={o1,...,ol};
所述利用所述未被关联的观测对象与所述预测目标之间的遮挡度,获取所述未被关联的观测对象的判别函数包括:
获取所述未被关联的观测对象z∈Ω与预测目标o∈O之间的遮挡度
其中r(·)表示求面积;
获取每个所述未被关联的观测对象z∈Ω的判别函数
其中γ为常量参数,且0<γ<1;
所述根据所述判别函数判断是否为所述未被关联的观测对象建立临时目标轨迹包括:
对每个未被关联的观测对象,若其判别函数为1,则为所述未被关联的观测对象建立所述临时目标轨迹,若其判别函数为0则不建立。
8.根据权利要求1-7中任一项所述的方法,其特征在于,
所述对所有所述有效目标轨迹和所述临时目标轨迹进行滤波以得到所述当前视频帧的目标状态的集合,并利用所述当前视频帧的目标状态的集合进行预测包括:
使用卡尔曼滤波器对所述有效目标轨迹和所述临时目标轨迹进行滤波和预测。
9.根据权利要求1-7中任一项所述的方法,其特征在于,
所述对当前视频帧进行目标检测包括:
使用混合高斯背景模型对当前视频帧进行目标检测。
10.一种在线目标跟踪装置,其特征在于,包括:
检测模块,用于对当前视频帧进行目标检测,以得到观测对象;
矩阵获取模块,用于获取所述观测对象的集合与预测目标的集合之间的模糊隶属度矩阵,其中所述预测目标的集合为至少利用前一视频帧的目标状态的集合进行预测而得到的预测目标状态的集合;
关联模块,用于根据所述模糊隶属度矩阵对所述观测对象和所述预测目标进行关联,以获取有效目标轨迹;
轨迹管理模块,用于对未被关联的所述观测对象和未被关联的所述预测目标进行轨迹管理,以建立临时目标轨迹并删除无效目标;
滤波预测模块,用于对所有所述有效目标轨迹和所述临时目标轨迹进行滤波以得到所述当前视频帧的目标状态的集合,并利用所述当前视频帧的目标状态的集合进行预测;
其中所述轨迹管理模块具体用于对未被关联的所述观测对象,利用未被关联的所述观测对象与所述预测目标之间的遮挡度,获取未被关联的所述观测对象的判别函数,根据所述判别函数判断是否为未被关联的所述观测对象建立临时目标轨迹,对未被关联的所述预测目标,若未被关联的所述预测目标对应的目标连续λ1帧未被关联,则判断所述目标无效并删除所述无效目标,λ1为大于1的整数。
CN201610269208.2A 2016-04-26 2016-04-26 一种在线目标跟踪方法及装置 Active CN105894542B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610269208.2A CN105894542B (zh) 2016-04-26 2016-04-26 一种在线目标跟踪方法及装置
PCT/CN2016/103141 WO2017185688A1 (zh) 2016-04-26 2016-10-25 一种在线目标跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610269208.2A CN105894542B (zh) 2016-04-26 2016-04-26 一种在线目标跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN105894542A CN105894542A (zh) 2016-08-24
CN105894542B true CN105894542B (zh) 2019-06-11

Family

ID=56704760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610269208.2A Active CN105894542B (zh) 2016-04-26 2016-04-26 一种在线目标跟踪方法及装置

Country Status (2)

Country Link
CN (1) CN105894542B (zh)
WO (1) WO2017185688A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894542B (zh) * 2016-04-26 2019-06-11 深圳大学 一种在线目标跟踪方法及装置
CN106327526B (zh) * 2016-08-22 2020-07-07 杭州保新科技有限公司 图像目标跟踪方法与系统
WO2018107492A1 (zh) * 2016-12-16 2018-06-21 深圳大学 基于直觉模糊随机森林的目标跟踪方法及装置
CN107169996A (zh) * 2017-05-15 2017-09-15 华侨大学 一种视频中动态人脸识别方法
WO2018227491A1 (zh) * 2017-06-15 2018-12-20 深圳大学 视频多目标模糊数据关联方法及装置
WO2019006633A1 (zh) * 2017-07-04 2019-01-10 深圳大学 基于模糊逻辑的视频多目标跟踪方法及装置
CN109426791B (zh) * 2017-09-01 2022-09-16 深圳市金溢科技股份有限公司 一种多站点多元车辆匹配方法、服务器及系统
CN109916407B (zh) * 2019-02-03 2023-03-31 河南科技大学 基于自适应卡尔曼滤波器的室内移动机器人组合定位方法
CN111986230A (zh) * 2019-05-23 2020-11-24 北京地平线机器人技术研发有限公司 一种视频中目标物的姿态跟踪方法及装置
CN110349184B (zh) * 2019-06-06 2022-08-09 南京工程学院 基于迭代滤波和观测判别的多行人跟踪方法
CN110349188B (zh) * 2019-07-18 2023-10-27 深圳大学 基于tsk模糊模型的多目标跟踪方法、装置及存储介质
CN110363165B (zh) * 2019-07-18 2023-04-14 深圳大学 基于tsk模糊系统的多目标跟踪方法、装置及存储介质
CN111274336B (zh) * 2019-12-18 2023-05-09 浙江大华技术股份有限公司 目标轨迹的处理方法、装置、存储介质及电子装置
CN112116634B (zh) * 2020-07-30 2024-05-07 西安交通大学 一种半在线机置的多目标跟踪方法
CN112084372B (zh) * 2020-09-14 2024-01-26 北京数衍科技有限公司 行人轨迹更新方法及装置
CN113139417B (zh) * 2020-11-24 2024-05-03 深圳云天励飞技术股份有限公司 行动对象追踪方法及相关设备
CN112632463B (zh) * 2020-12-22 2024-06-11 中国航空工业集团公司沈阳飞机设计研究所 一种基于多属性的目标数据关联方法及装置
CN113111142B (zh) * 2021-03-23 2024-02-02 中国人民解放军91388部队 指显平台对水下目标航迹野值的实时处理方法
CN113177470B (zh) * 2021-04-28 2022-11-01 华中科技大学 行人轨迹预测方法、装置、设备及存储介质
CN113281760A (zh) * 2021-05-21 2021-08-20 阿波罗智能技术(北京)有限公司 障碍物检测方法、装置、电子设备、车辆和存储介质
CN113247720A (zh) * 2021-06-02 2021-08-13 浙江新再灵科技股份有限公司 基于视频的智能梯控方法及系统
CN113534135B (zh) * 2021-06-30 2024-04-12 中国人民解放军海军航空大学 一种基于离散度线性趋势检验的航迹关联方法及装置
CN113534127B (zh) * 2021-07-13 2023-10-27 深圳大学 一种多目标数据关联方法、装置及计算机可读存储介质
CN114066944B (zh) * 2022-01-17 2022-04-12 天津聚芯光禾科技有限公司 基于行人跟踪的光模块生产车间工人岗位行为分析方法
CN116718197B (zh) * 2023-08-09 2023-10-24 腾讯科技(深圳)有限公司 轨迹处理方法、装置、电子设备及存储介质
CN117455955B (zh) * 2023-12-14 2024-03-08 武汉纺织大学 一种基于无人机视角下的行人多目标跟踪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632376A (zh) * 2013-12-12 2014-03-12 江苏大学 一种两级框架的车辆部分遮挡消除方法
CN103942774A (zh) * 2014-01-20 2014-07-23 天津大学 一种基于相似性传播的多目标协同显著区域检测方法
CN104851112A (zh) * 2015-04-28 2015-08-19 北京理工大学 一种基于数据集补偿的运动目标检测跟踪算法的评估方法
CN104899590A (zh) * 2015-05-21 2015-09-09 深圳大学 一种无人机视觉目标跟随方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080073933A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
CN102853836B (zh) * 2012-09-10 2015-04-22 电子科技大学 一种基于航迹质量的反馈加权融合方法
CN103679753A (zh) * 2013-12-16 2014-03-26 深圳大学 一种概率假设密度滤波器的轨迹标识方法及轨迹标识系统
CN103955892B (zh) * 2014-04-03 2015-10-28 深圳大学 一种目标跟踪方法及扩展截断无迹卡尔曼滤波方法、装置
CN105205313B (zh) * 2015-09-07 2019-12-20 深圳大学 模糊高斯和粒子滤波方法、装置及目标跟踪方法、装置
CN105894542B (zh) * 2016-04-26 2019-06-11 深圳大学 一种在线目标跟踪方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632376A (zh) * 2013-12-12 2014-03-12 江苏大学 一种两级框架的车辆部分遮挡消除方法
CN103942774A (zh) * 2014-01-20 2014-07-23 天津大学 一种基于相似性传播的多目标协同显著区域检测方法
CN104851112A (zh) * 2015-04-28 2015-08-19 北京理工大学 一种基于数据集补偿的运动目标检测跟踪算法的评估方法
CN104899590A (zh) * 2015-05-21 2015-09-09 深圳大学 一种无人机视觉目标跟随方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Online Visual Multiple Target Tracking by Intuitionistic Fuzzy Data Association;Li Jun et al;《Fuzzy Systems》;20160317;第19卷(第2期);第2节
TheWay They Move: Tracking Multiple Targets with Similar Appearance;Caglayan Dicle et al;《2013 IEEE International Conference on Computer Vision》;20131231;2304-2311
一种基于模糊推理的JPDAF新方法;李良群;《信号处理》;20110930;第27卷(第9期);1301-1305
一种模糊算法及其在多假设多目标跟踪中的应用;李爱军 等;《一种模糊算法及其在多假设多目标跟踪中的应用》;20081031;第44卷(第10期);224-226,240
模糊观测数据的关联和目标跟踪;刘宗香;《信号处理》;20050831;第21卷(第4期);335-337,354

Also Published As

Publication number Publication date
CN105894542A (zh) 2016-08-24
WO2017185688A1 (zh) 2017-11-02

Similar Documents

Publication Publication Date Title
CN105894542B (zh) 一种在线目标跟踪方法及装置
Hu et al. Joint monocular 3D vehicle detection and tracking
CN106096577B (zh) 一种摄像头分布地图中的目标追踪方法
Xiao et al. Dynamic-SLAM: Semantic monocular visual localization and mapping based on deep learning in dynamic environment
CN101853511B (zh) 一种抗遮挡目标轨迹预测跟踪方法
CN105405154B (zh) 基于颜色-结构特征的目标对象跟踪方法
CN110084831A (zh) 基于YOLOv3多伯努利视频多目标检测跟踪方法
Yang et al. SiamAtt: Siamese attention network for visual tracking
CN108090919A (zh) 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法
CN107545582A (zh) 基于模糊逻辑的视频多目标跟踪方法及装置
CN108447076B (zh) 基于深度增强学习的多目标跟踪方法
CN106373145B (zh) 基于跟踪片段置信度和区分性外观学习的多目标跟踪方法
CN101344965A (zh) 基于双目摄像的跟踪系统
CN106952293B (zh) 一种基于非参数在线聚类的目标跟踪方法
CN108764167A (zh) 一种时空关联的目标重识别方法和系统
CN102915545A (zh) 一种基于OpenCV的视频目标跟踪算法
CN106504274A (zh) 一种基于红外摄像头下的视觉跟踪方法及系统
CN106558069A (zh) 一种基于视频监控下的目标跟踪方法及系统
CN106447698A (zh) 一种基于距离传感器的多行人跟踪方法和系统
Song et al. DGM-VINS: Visual–inertial SLAM for complex dynamic environments with joint geometry feature extraction and multiple object tracking
Zhang et al. A robust deep affinity network for multiple ship tracking
Wang et al. Improving RGB-D SLAM accuracy in dynamic environments based on semantic and geometric constraints
Li et al. Searching action proposals via spatial actionness estimation and temporal path inference and tracking
Cao et al. Computer-vision-based abnormal human behavior detection and analysis in electric power plant
Han et al. Research on nearest neighbor data association algorithm based on target “dynamic” monitoring model

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210722

Address after: 215300 no.1689-5 Zizhu Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province

Patentee after: KUNSHAN RUIXIANG XUNTONG COMMUNICATION TECHNOLOGY Co.,Ltd.

Address before: 518060 No. 3688 Nanhai Road, Shenzhen, Guangdong, Nanshan District

Patentee before: SHENZHEN University

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 215300 Room 009, No. 55, Shengchuang Road, Yushan Town, Kunshan, Suzhou, Jiangsu Province

Patentee after: KUNSHAN RUIXIANG XUNTONG COMMUNICATION TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: 215300 no.1689-5 Zizhu Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province

Patentee before: KUNSHAN RUIXIANG XUNTONG COMMUNICATION TECHNOLOGY Co.,Ltd.

Country or region before: China