CN111105433B - 一种基于团块的运动目标轨迹提取方法 - Google Patents

一种基于团块的运动目标轨迹提取方法 Download PDF

Info

Publication number
CN111105433B
CN111105433B CN201911298933.2A CN201911298933A CN111105433B CN 111105433 B CN111105433 B CN 111105433B CN 201911298933 A CN201911298933 A CN 201911298933A CN 111105433 B CN111105433 B CN 111105433B
Authority
CN
China
Prior art keywords
time
mass
block
grid
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911298933.2A
Other languages
English (en)
Other versions
CN111105433A (zh
Inventor
高修佩
张绛绛
孟朝晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201911298933.2A priority Critical patent/CN111105433B/zh
Publication of CN111105433A publication Critical patent/CN111105433A/zh
Application granted granted Critical
Publication of CN111105433B publication Critical patent/CN111105433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本发明公开了一种基于团块的运动目标轨迹提取方法，具体包括如下步骤：S1：根据待处理的视频生成网格；S2：将团块放入所述生成的网格中，并按照网格法确定出当前帧在下一帧中对应的团块，形成轨迹；S3：根据轨迹相似准则，将所述轨迹进行合并。本发明的运动目标轨迹提取方法可以根据不同的团块类型生成多条轨迹，不仅可以减少算法的复杂度，同时还可以用来判断运动目标的运动类型。

Description

一种基于团块的运动目标轨迹提取方法
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于团块的运动目标轨迹提取方法。
背景技术
视频分类/行为识别是计算机视觉中重要的领域，而运动目标轨迹的提取是其关键一步。
当前轨迹提取的方法主要是使用光流法，而光流法实际上只能针对梯度边缘特征，它不能获得大色块的运动特征，也不能区分不同特征的轨迹。另外神经网络中的特征不包含位置信息和时间信息，而这恰是生成轨迹需要的信息。
发明内容
发明目的：针对现有光流法不能区分不同特征的轨迹，不能获得大色块的运动特征的问题，本发明提出一种基于团块的运动目标轨迹提取方法。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：
一种基于团块的运动目标轨迹提取方法，所述运动目标轨迹提取方法具体包括如下步骤：
S1：根据待处理的视频生成网格；
S2：将团块放入所述生成的网格中，并按照网格法确定出当前帧在下一帧中对应的团块，形成轨迹；
S3：根据轨迹相似准则，将所述轨迹进行合并。
进一步地讲，在所述步骤S1中，根据所述待处理的视频生成网格，具体如下：
S1.1：通过所述待处理的视频的相应帧，获取每个所述相应帧对应的视频图像；
S1.2：根据每个所述视频图像的高和宽，对每个所述视频图像的高和宽进行均等划分；
S1.3：将所述均等划分后的视频图像按照帧的时间顺序进行划分。
进一步地讲，在所述步骤S2中，形成所述轨迹，具体如下：
S2.1：根据团块的数据结构，将所述团块放入生成的网格中；
S2.2：根据当前帧中各团块在网格中的位置和当前帧在待处理的视频中对应的时间，通过所述网格在当前帧对应的时间之后的其他时间对应的帧中各团块内，确定出与所述当前帧中各团块相对应的团块；
S2.3：将所有所述相应帧中各个相对应的团块按照相应帧在待处理的视频中对应的时间进行连接，形成轨迹。
进一步地讲，所述团块的数据结构包括有位置信息和时间信息，所述位置信息为团块在相应视频图像中的位置信息，所述时间信息为团块在待处理的视频中对应的相应帧的时间信息。
进一步地讲，在将所述团块放入生成的网格的过程中，在所述网格的小方框中可以放入不同类型的团块。
进一步地讲，在将所述团块放入生成的网格的过程中，同一类型的团块均对应所述网格中的同一个待处理的视频图像时，比较所述同一类型的团块所对应的矩形框面积大小，确定出所述矩形框面积的最大值，所述最大值的矩形框面积所对应的团块放入网格中待处理的视频图像处。
进一步地讲，在确定出与所述当前帧中各团块相对应的团块的过程中，当所述当前帧中团块的位置信息和其他时间对应的帧中相对应的团块的位置信息不一致时，在其他时间对应的帧中以和当前帧中团块的位置信息一致的团块为中心，在预设平面区域内的所有团块中，确定出当前帧中团块在其他时间对应的帧中相对应的团块的位置信息。
有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：
本发明的运动目标轨迹提取方法可以根据不同的团块类型生成多条轨迹，不仅可以减少算法的复杂度，同时还可以用来判断运动目标的运动类型。
附图说明
图1是本发明中运动目标轨迹提取方法的流程示意图；
图2是本发明中网格的结构示意图；
图3是本发明中团块和网格之间的关系示意图；
图4是本发明中不同帧中相对应的团块之间的关系示意图；
图5是本发明中轨迹合并图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。其中，所描述的实施例是本发明一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。
实施例1
参考图1，本实施例提供了一种基于团块的运动目标轨迹提取方法，该运动目标轨迹提取方法具体包括如下步骤：
步骤S1：参考图2，为了可以快速找到团块的相邻团块，以及团块在下一帧中的对应团块，根据待处理的视频生成网格，具体如下：
步骤S1.1：待处理的视频根据预先设置的间隔，通过opencv读取相应帧，获取得到每个相应帧对应的视频图像。
步骤S1.2：根据每个视频图像的高和宽，对每个视频图像的高和宽进行均等划分。具体地讲，预先设置横向间距为x-space，纵向间距为y-space，以横向间距x-space，纵向间距y-space分别对网格的横向、纵向进行均等划分形成小方框。参考图2，图中的X方向表示视频图像的宽，Y方向表示视频图像的高。
步骤S1.3：根据视频图像对应的相应帧在待处理的视频中的时间顺序，将步骤S1.2中均等划分后的视频图像按照帧的时间顺序进行划分。参考图2，图中的T方向表示帧的时间顺序。
步骤S2：将团块放入步骤S1生成的网格中，并按照网格法确定出当前帧在下一帧中对应的团块，从而形成轨迹，具体如下：
步骤S2.1：参考图3，根据团块的数据结构，将团块放入生成的网格中。具体地讲，团块的数据结构包括有位置信息和时间信息，位置信息为团块在相应视频图像中的位置信息，时间信息为团块在待处理的视频中对应的相应帧的时间信息。其中位置信息可以用来表示该团块在视频图像中的位置，时间信息可以用来表示该团块在待处理的视频中的视频图像位置。
在本实施例中，在将团块放入生成的网格的过程中，在网格的小方框中可以放入不同类型的团块，但是值得注意的是，当同一类型的团块对应网格中的同一个待处理的视频图像时，则需要先比较同一类型所有团块所对应的矩形框面积大小，从中确定出矩形框面积的最大值，最后将最大值的矩形框面积所对应的团块放入网格中待处理的视频图像处。
步骤S2.2：参考图4，根据当前帧中各团块在网格中的位置和当前帧在待处理的视频中对应的时间，通过网格在当前帧对应的时间之后的其他时间对应的帧中各团块内，确定出与当前帧中各团块相对应的团块。具体地讲，在网格中遍历所有时间为t0的团块，并从中选出一个团块，同时在时间为t1的所有团块中找出与选出团块相对应的团块。值得注意的是，时间t1位于时间t0之后，即时间t1的大小大于时间t0。
在本实施例中，团块A在时间t0处的坐标为(x1,y1,t0)，则其在下一帧即时间t1中对应的团块A'的坐标可能为(x1,y1,t1)。若其在下一帧即时间t1中对应的团块A'的坐标不为(x1,y1,t1)。则以坐标为(x1,y1,t1)的团块为中心，在预设的平面区域内的所有团块中，寻找出团块A在下一帧即时间t1中对应的团块A'的坐标。此处预设的平面区域选择为3*3的平面区域。
步骤S2.3：根据步骤S2.2中确定出不同时间内相对应的团块，将所有相应帧中各个相对应的团块按照相应帧在待处理的视频中对应的时间进行连接，进而形成轨迹。譬如时间t0处的团块和时间t1处的团块，即可形成具有两个点的轨迹。从而根据所有相应帧中的相应团块，将其按时间顺序进行连接，即可形成所有相应帧所在时间内该团块的一条轨迹。
步骤S3：参考图5，根据轨迹相似准则，将步骤S2.3中形成的轨迹进行合并。具体为：
按照相应帧之间的时间顺序，将轨迹的距离一一进行比较，值得注意的是，在比较的过程中，可能会存在有丢帧现象，譬如：图5中虚线的圆形T13。具体地讲，轨迹的距离即为构成轨迹的团块的位置坐标x、y的差值。
在本实施例中，将团块T23与T12、T13和T14依次进行比较，一旦发现团块含有轨迹点则停止，并开始下一轮的比较。当轨迹点中至少有80％部分均可匹配时，则认为匹配的两条轨迹相似可以进行合并。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构和方法并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均属于本发明的保护范围。

Claims (1)

1.一种基于团块的运动目标轨迹提取方法，其特征在于，包括如下步骤：
S1：根据待处理的视频生成网格；首先获取待处理的视频的相应帧对应的视频图像；然后对每个视频图像的高和宽进行均等划分；接着将均等划分后的视频图像按照帧的时间顺序进行划分，生成网格；
S2：根据团块的数据结构，将团块放入生成的网格中；所述团块的数据结构包括位置信息和时间信息，所述位置信息为团块在相应视频图像中的位置，所述时间信息为团块在待处理的视频中相应帧的时间；
将团块放入生成的网格的过程中，在网格的方框中放入不同类型的团块；当同一类型的团块均对应网格中的同一个待处理的视频图像时，先比较同一类型的所有团块对应的矩形框面积大小，确定矩形框面积的最大值，将该面积最大值的矩形框所对应的团块放入网格中待处理的视频图像处；
S3：根据当前帧中各团块在网格中的位置和当前帧在待处理的视频中对应的时间，在当前帧对应的时间之后的其他时间对应帧中各团块内，确定出与当前帧中各团块相对应的团块；具体为：
在网格中遍历所有时间为t0的团块，并从中随机选出一个团块，同时在时间为t1的所有团块中找出与选出团块相对应的团块，时间t1位于时间t0之后；
在确定出与当前帧中各团块相对应的其他时间对应帧中团块的过程中，当当前帧中团块的位置信息和其他时间对应帧中相对应的团块的位置信息不一致时，在其他时间对应帧中，以和当前帧中团块的位置信息一致的团块为中心，在预设平面区域内的所有团块中，确定出当前帧中团块在其他时间对应帧中相对应的团块的位置信息；具体为：
团块A在时间t0处的坐标为(x1,y1,t0)，则其在下一帧即时间t1中对应的团块A'的坐标为(x1,y1,t1)；若其在下一帧即时间t1中对应的团块A'的坐标不为(x1,y1,t1)，则以坐标(x1,y1,t1)的团块为中心，在预设的平面区域内的所有团块中，寻找出团块A在下一帧即时间t1中对应的团块A'的坐标；
S4：将所有相应帧中各个相对应的团块按照相应帧在待处理的视频中对应的时间进行连接，形成轨迹；根据轨迹相似准则，将所述轨迹进行合并；
按照相应帧之间的时间顺序，将待匹配的轨迹的距离一一进行比较，在比较的过程中，如果发现某轨迹上的团块含有另一条轨迹点则停止，并开始下一轮的比较，所述的轨迹的距离即为构成轨迹的团块的位置坐标的差值；当轨迹点中一定比例均匹配时，则将匹配的两条轨迹进行合并。
CN201911298933.2A 2019-12-17 2019-12-17 一种基于团块的运动目标轨迹提取方法 Active CN111105433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911298933.2A CN111105433B (zh) 2019-12-17 2019-12-17 一种基于团块的运动目标轨迹提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911298933.2A CN111105433B (zh) 2019-12-17 2019-12-17 一种基于团块的运动目标轨迹提取方法

Publications (2)

Publication Number Publication Date
CN111105433A CN111105433A (zh) 2020-05-05
CN111105433B true CN111105433B (zh) 2023-05-16

Family

ID=70423222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911298933.2A Active CN111105433B (zh) 2019-12-17 2019-12-17 一种基于团块的运动目标轨迹提取方法

Country Status (1)

Country Link
CN (1) CN111105433B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784728B (zh) * 2020-06-29 2023-08-22 杭州海康威视数字技术股份有限公司 轨迹处理方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875421A (zh) * 2017-01-19 2017-06-20 博康智能信息技术有限公司北京海淀分公司 一种多目标跟踪方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854273B (zh) * 2012-11-28 2017-08-25 天佑科技股份有限公司 一种近正向俯视监控视频行人跟踪计数方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875421A (zh) * 2017-01-19 2017-06-20 博康智能信息技术有限公司北京海淀分公司 一种多目标跟踪方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《改进单高斯模型的视频前景提取与破碎目标合并算法》;黄大卫等;《信号处理》;20150303;第299-307页 *
《航拍视频运动目标检测与跟踪》;罗毅等;《工业控制计算机》;20191203;第24-25、28页 *

Also Published As

Publication number Publication date
CN111105433A (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
CN109118500B (zh) 一种基于图像的三维激光扫描点云数据的分割方法
Sajid et al. Background subtraction for static & moving camera
CN113109368B (zh) 玻璃裂纹检测方法、装置、设备及介质
CN105389807B (zh) 一种融合梯度特征和自适应模板的粒子滤波红外跟踪方法
CN110580481B (zh) 一种基于epi的光场图像关键位置检测方法
CN105574543A (zh) 一种基于深度学习的车辆品牌型号识别方法和系统
CN106991418B (zh) 飞虫检测方法、装置及终端
US20160092742A1 (en) Method for instant recognition of traffic lights countdown image
CN111105433B (zh) 一种基于团块的运动目标轨迹提取方法
CN112580447B (zh) 一种基于边缘二阶统计与融合的电力线检测方法
JP6932402B2 (ja) スマートホームシーン向けのマルチジェスチャー精分割方法
JP2016206837A5 (zh)
CN106875430B (zh) 动态背景下基于固定形态的单一运动目标追踪方法和装置
CN110555377A (zh) 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法
CN108256385A (zh) 基于视觉的前方车辆检测方法
Tarabek A real-time license plate localization method based on vertical edge analysis
CN111462119A (zh) 一种基于机器视觉的宽厚板剪切排样方法
CN106067031A (zh) 基于人工纠错机制与深度学习网络协作机器视觉识别系统
CN107832732B (zh) 基于三叉树遍历的车道线检测方法
CN112381844A (zh) 基于图像分块的自适应orb特征提取方法
KR101677171B1 (ko) 픽셀 기반의 배경추정을 통한 이동물체 분할 방법
CN109558881B (zh) 一种基于计算机视觉的危岩崩塌监控方法
CN106603888A (zh) 图像颜色提取处理结构
Xu et al. A lane detection method combined fuzzy control with ransac algorithm
CN106203447B (zh) 一种基于像素遗传的前景目标提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant