CN110728699B - 一种基于特征距离的轨迹后处理方法 - Google Patents

一种基于特征距离的轨迹后处理方法 Download PDF

Info

Publication number
CN110728699B
CN110728699B CN201910964738.2A CN201910964738A CN110728699B CN 110728699 B CN110728699 B CN 110728699B CN 201910964738 A CN201910964738 A CN 201910964738A CN 110728699 B CN110728699 B CN 110728699B
Authority
CN
China
Prior art keywords
distance
pictures
track
feature
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910964738.2A
Other languages
English (en)
Other versions
CN110728699A (zh
Inventor
管慧艳
徐晓刚
李冠华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yunqi Smart Vision Technology Co ltd
Original Assignee
Hangzhou Yunqi Smart Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yunqi Smart Vision Technology Co ltd filed Critical Hangzhou Yunqi Smart Vision Technology Co ltd
Priority to CN201910964738.2A priority Critical patent/CN110728699B/zh
Publication of CN110728699A publication Critical patent/CN110728699A/zh
Application granted granted Critical
Publication of CN110728699B publication Critical patent/CN110728699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征距离的轨迹后处理方法，涉及视频跟踪技术领域。包括以下步骤：获取有序的若干张图片组成的轨迹；提取每一张图片的目标特征；计算相邻两张图片的特征距离；取均值以下的特征距离对应的图片按顺序排列构成新的轨迹。本发明避免了轨迹信息冗余，更简约表征轨迹的信息，并且能够反映原始轨迹的大部分信息。

Description

一种基于特征距离的轨迹后处理方法
技术领域
本发明涉及视频跟踪技术领域，尤其涉及一种基于特征距离的轨迹后处理方法。
背景技术
视频跟踪技术是指计算机对视频序列中的目标状态进行持续推断的过程，其任务在于通过在视频的每一帧中定位目标来生成目标的运动轨迹。跟踪目标具有多样性，是由于需求不同，视频跟踪的对象多样，视频跟踪的对象可能是行人、车辆等。特别是在跟踪行人过程中，由于光照、姿态、摄像头角度及距离远近，目标在跟踪过程中可能发生尺度变化、形状变化以及外观变化。最终目标形成的轨迹图片大小、姿态可能参差不齐且轨迹图片数量较大，因此需要后期对轨迹再处理。在统计学中，异常值也称离群值，是指一组测定值中与平均值的偏差超过两倍标准差的测定值。一般情况下，在处理数据时，应剔除异常的值。但在视频跟踪时异常值反而能更好地表征一定的信息，而现如今还没有一种采用异常值表征视频跟踪过程中轨迹信息的技术方案。
发明内容
本发明的目的在于提供一种基于特征距离的轨迹后处理方法，避免了轨迹信息冗余，更简约表征轨迹的信息，并且能够反映原始轨迹的大部分信息。
为实现上述目的，本发明提供如下技术方案：
一种基于特征距离的轨迹后处理方法，其特征在于，包括以下步骤：
S1，获取有序的若干张图片组成的轨迹；
S2，提取每一张图片的目标特征；
S3，计算相邻两张图片的特征距离；
S4，取均值以下的特征距离对应的图片按顺序排列构成新的轨迹。
进一步的，所述S2中，图片的目标特征采用深度残差网络提取。
进一步的，所述S3的特征距离计算方法如下：
Figure BDA0002230114300000021
其中，xk为第k张图片的目标特征；xk+1为第k+1张图片的目标特征；||.||2为向量的2范数；d(||xk-xk+1||2)为目标特征xk和目标特征xk+1的特征距离。
进一步的，所述S3之后还包括特征距离筛选，将特征距离与给定的距离阈值相比较，若特征距离小于给定的距离阈值，判定对应的两张相邻图片中的目标不一致，并删除该特征距离。
进一步的，所述给定的距离阈值为0.5。
进一步的，所述S4的具体步骤如下：
S41，求筛选之后的特征距离的平均值；
S42，选取小于平均值的特征距离及对应的两张相邻图片；
S43，对选取出的所有图片进行去冗，删除重复的图片；
S44，将剩余的图片按顺序进行排列，构成新的轨迹。
与现有技术相比，本发明的有益效果是：本发明计算相邻两张图片的特征距离作为异常值判断的标准，仅保留异常值对应的图片构成新的轨迹用以反映原始轨迹的大部分信息，同时避免了原始轨迹的信息冗余，更简约表征轨迹的信息。
附图说明
图1为本发明的整体原理框图。
图2为公开数据集market1501中bounding_box_best标号0227行人轨迹。
图3为本发明一实施例的深度残差网络架构图。
图4为本发明得到的新轨迹。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本实施例提供一种基于特征距离的轨迹后处理方法，包括以下步骤：
S1，通过视频跟踪获取同一目标的原始轨迹，所述原始轨迹由有序的m张图片组成，设为
Figure BDA0002230114300000035
ti表示在视频中帧序列号,满足t1＜t2＜...＜tm,其中i＝1,2,...,m。如图2所示为公开数据集market1501中bounding_box_best标号0227行人轨迹，简称该行人轨迹为path0227，按阿拉伯数字1～11依次对11张图片进行重命名。
S2，提取每一张图片的目标特征，得到11个目标特征。本实施例优先采用深度残差网络提取所述目标特征。如图3所示，深度残差网络的网络架构包括10层，图中patch、stride为深度学习中卷积conv2d中所需参数名，最终得到一个128维的目标特征
Figure BDA0002230114300000031
k表示图片的序号。其中
Figure BDA0002230114300000032
Figure BDA0002230114300000033
为h(h＝128)维欧式空间。深度残差网络的具体内容请参照文献S.Zagoruyko and N.Komodakis,Wide residualnetworks，in BMVC,2016,pp.1–12，属于现有技术，在此不再赘述。
S3，计算相邻两张图片(i,i+1)的特征距离，i＝1,2,.....,11，得到10个特征距离值。
首先定义函数
Figure BDA0002230114300000034
d(x)∈[0,1]
则有，特征距离计算方法如下：
Figure BDA0002230114300000041
其中，xk为第k张图片的目标特征；xk+1为第k+1张图片的目标特征；||.||2为向量的2范数；d(||xk-xk+1||2)为目标特征xk和目标特征xk+1的特征距离。
现有一般采用余弦距离表示两张图片的距离，c(x)＝cos(x)，c(x)∈[0,1]。本实施例与之相比，d′(x)、c′(x)分别为d(x)和c(x)的导函数；有
Figure BDA0002230114300000042
c′(x)＝-sin(x)，计算可得，当x≥0.5时，d′(x)＞c′(x)。即本实施例的d(x)的距离区分程度是高于现有的余弦距离c(x)的，更能区分图片中目标的相似度。经计算，得到10个特征距离如下：[d(||x1-x2||2),d(||x2-x3||2),.........,d(||x10-x11||2)]＝[0.95,0.78,0.96,0.95,0.92,0.83,0.80,0.79,0.87,0.90]
在视频跟踪过程中，一般情况下，所有图片中都为同一目标。但由于机械故障等因素，不排除有目标丢失的情况发生。因此，作为优选的，在计算特征距离之后，还进行特征距离筛选操作，将特征距离与给定的距离阈值0.5相比较，若特征距离小于给定的距离阈值，判定对应的两张相邻图片中的目标不一致，并删除该特征距离。
S4，统计保留下来的特征距离，取均值以下的特征距离对应的图片按顺序排列构成新的轨迹。具体步骤如下：
S41，求筛选之后的特征距离的平均值，本实施例计算结果为0.876。
S42，选取小于平均值的特征距离及对应的两张相邻图片，我们可以得到d(||x2-x3||2)＝0.78，d(||x6-x7||2)＝0.83，d(||x7-x8||2)＝0.8，d(||x8-x9||2)＝0.87小于平均值0.876，其中每一特征距离对应两张相邻的图片，分别为第2张图片与第3张图片，第6张图片与第7张图片，第7张图片与第8张图片，第8张图片与第9张图片。
S43，在S42中，得出的图片中存在重复，如第7张图片和第8张图片分别出现了两次。则需要对选取出的所有图片进行去冗，删除重复的图片，相同的图片仅保留一张。最终得到第2张图片、第3张图片、第6张图片、第7张图片、第8张图片、第9张图片。
S44，如图4所示，将第2张图片、第3张图片、第6张图片、第7张图片、第8张图片、第9张图片按顺序进行排列，构成新的轨迹。新轨迹删减了原始轨迹内近一半的图片，避免了原始轨迹的信息冗余，更简约地表征轨迹的信息，同时，新轨迹中仍然能反映原始轨迹的大部分信息。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (2)

1.一种基于特征距离的轨迹后处理方法，其特征在于，包括以下步骤：
S1，获取有序的若干张图片组成的轨迹；
S2，提取每一张图片的目标特征；
S3，计算相邻两张图片的特征距离；
S4，取均值以下的特征距离对应的图片按顺序排列构成新的轨迹；
所述S3的特征距离计算方法如下：
Figure FDA0003604548810000011
其中，xk为第k张图片的目标特征；xk+1为第k+1张图片的目标特征；||.||2为向量的2范数；d(||xk-xk+1||2)为目标特征xk和目标特征xk+1的特征距离；
所述S3之后还包括特征距离筛选，将特征距离与给定的距离阈值相比较，若特征距离小于给定的距离阈值，判定对应的两张相邻图片中的目标不一致，并删除该特征距离；
所述给定的距离阈值为0.5；
所述S4的具体步骤如下：
S41，求筛选之后的特征距离的平均值；
S42，选取小于平均值的特征距离及对应的两张相邻图片；
S43，对选取出的所有图片进行去冗，删除重复的图片；
S44，将剩余的图片按顺序进行排列，构成新的轨迹。
2.根据权利要求1所述的基于特征距离的轨迹后处理方法，其特征在于，所述S2中，图片的目标特征采用深度残差网络提取。
CN201910964738.2A 2019-10-11 2019-10-11 一种基于特征距离的轨迹后处理方法 Active CN110728699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910964738.2A CN110728699B (zh) 2019-10-11 2019-10-11 一种基于特征距离的轨迹后处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910964738.2A CN110728699B (zh) 2019-10-11 2019-10-11 一种基于特征距离的轨迹后处理方法

Publications (2)

Publication Number Publication Date
CN110728699A CN110728699A (zh) 2020-01-24
CN110728699B true CN110728699B (zh) 2022-11-08

Family

ID=69220988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910964738.2A Active CN110728699B (zh) 2019-10-11 2019-10-11 一种基于特征距离的轨迹后处理方法

Country Status (1)

Country Link
CN (1) CN110728699B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113722306B (zh) * 2021-08-31 2023-08-11 平安科技（深圳）有限公司 基于实体相似度的医疗数据修复方法、装置及计算机设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101464893B (zh) * 2008-12-31 2010-09-08 清华大学 一种提取视频摘要的方法及装置
US8644563B2 (en) * 2009-12-14 2014-02-04 Microsoft Corporation Recognition of faces using prior behavior
CN106470323B (zh) * 2015-08-14 2019-08-16 杭州海康威视系统技术有限公司 视频数据的存储方法及设备
CN106897300A (zh) * 2015-12-18 2017-06-27 方正国际软件(北京)有限公司 一种轨迹数据的播放方法及装置
CN105979282B (zh) * 2016-06-02 2019-08-06 腾讯科技（深圳）有限公司 一种动画帧处理方法、服务器、终端及系统
CN107633023B (zh) * 2017-08-25 2020-04-21 北京奇艺世纪科技有限公司 一种图像去重方法和装置
CN109165655A (zh) * 2018-07-24 2019-01-08 上海斐讯数据通信技术有限公司 基于描述符匹配的去除重复图像的方法

Also Published As

Publication number Publication date
CN110728699A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
Uittenbogaard et al. Privacy protection in street-view panoramas using depth and multi-view imagery
Bappy et al. Hybrid lstm and encoder–decoder architecture for detection of image forgeries
Wu et al. Moving object detection with a freely moving camera via background motion subtraction
Vojíř et al. The enhanced flock of trackers
US8160366B2 (en) Object recognition device, object recognition method, program for object recognition method, and recording medium having recorded thereon program for object recognition method
US8331615B2 (en) Match, expand, and filter technique for multi-view stereopsis
US20060093188A1 (en) Probabilistic exemplar-based pattern tracking
CN106570874B (zh) 一种结合图像局部约束与对象全局约束的图像标记方法
CN112818955B (zh) 一种图像分割方法、装置、计算机设备以及存储介质
Liu et al. Deep fusion network for splicing forgery localization
CN113838191A (zh) 一种基于注意力机制和单目多视角的三维重建方法
Ling et al. Virtual contour guided video object inpainting using posture mapping and retrieval
CN110136125B (zh) 一种基于层次特征点匹配的图像复制移动伪造检测方法
CN116030396B (zh) 一种用于视频结构化提取的精确分割方法
Liu et al. D-unet: a dual-encoder u-net for image splicing forgery detection and localization
CN107358189B (zh) 一种基于多视目标提取的室内环境下物体检测方法
CN112785705A (zh) 一种位姿获取方法、装置及移动设备
Flenner et al. Resampling forgery detection using deep learning and a-contrario analysis
CN109657082B (zh) 基于全卷积神经网络的遥感图像多标签检索方法及系统
Kong et al. Local Stereo Matching Using Adaptive Cross‐Region‐Based Guided Image Filtering with Orthogonal Weights
CN110728699B (zh) 一种基于特征距离的轨迹后处理方法
JP5192437B2 (ja) 物体領域検出装置、物体領域検出方法および物体領域検出プログラム
CN114155556A (zh) 一种基于加入通道混洗模块的堆叠沙漏网络的人体姿态估计方法及系统
CN110070626B (zh) 一种基于多视角分类的三维物体检索方法
CN117036235A (zh) 一种继电保护柜端子排线序检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221012

Address after: 310000 Room 401, building 2, No.16, Zhuantang science and technology economic block, Xihu District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou yunqi smart Vision Technology Co.,Ltd.

Address before: 310000 room 279, building 6, No. 16, Zhuantang science and technology economic block, Zhuantang street, Xihu District, Hangzhou City, Zhejiang Province

Applicant before: Smart vision (Hangzhou) Technology Development Co.,Ltd.

GR01 Patent grant
GR01 Patent grant