CN111145220A - 一种基于视觉信息的隧道目标轨迹跟踪方法 - Google Patents

一种基于视觉信息的隧道目标轨迹跟踪方法 Download PDF

Info

Publication number
CN111145220A
CN111145220A CN201911411332.8A CN201911411332A CN111145220A CN 111145220 A CN111145220 A CN 111145220A CN 201911411332 A CN201911411332 A CN 201911411332A CN 111145220 A CN111145220 A CN 111145220A
Authority
CN
China
Prior art keywords
image
coordinate system
target object
processed
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911411332.8A
Other languages
English (en)
Other versions
CN111145220B (zh
Inventor
王庆
刘宏明
张昊
严超
鲁锦涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201911411332.8A priority Critical patent/CN111145220B/zh
Publication of CN111145220A publication Critical patent/CN111145220A/zh
Application granted granted Critical
Publication of CN111145220B publication Critical patent/CN111145220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于视觉信息的隧道目标轨迹跟踪方法，基于覆盖隧道全部道路的各相机，结合图像拼接技术，应用图像特征点匹配技术，实现目标对象的定位，并采用多特征融合的粒子滤波目标跟踪算法，针对目标对象随各图像时间排序的定位，实现追踪，并引入边缘特征、纹理特征、颜色特征因素，保证目标对象移动轨迹的联系性与可靠性，并在实际应用中，将定位轨迹呈现于三维平台上，实现隧道内目标对象的准确定位。

Description

一种基于视觉信息的隧道目标轨迹跟踪方法
技术领域
本发明涉及一种基于视觉信息的隧道目标轨迹跟踪方法，属于公路隧道目标定位技术领域。
背景技术
随着我国交通建设的发展，我国已经具有全球最长里程的高速公路，也是隧道、桥梁建设最多的国家。隧道给我们带来交通便利的同时，也对隧道内目标的定位跟踪带来了挑战。在隧道内监控摄像机较多的情况下，对于隧道内各个监控摄像机而言，由于监控范围有限，监视器上显示的是各个摄像机监控到的实时图像，整个隧道的全景图像则需要人工逐一或自动定时去切换画面，不能实时将整个隧道直观展示出来。同时，监视器中的画面也是一幅一幅单个摄像机监控范围的场景，在没有对各个监控画面做融合处理的情况下，监控画面内容的连续性差，不便于后台管控人员快速发现并追踪隧道内的异常情况。
发明内容
本发明所要解决的技术问题是提供一种基于视觉信息的隧道目标轨迹跟踪方法，能够对隧道内的目标对象进行连续实时跟踪定位，提高隧道内目标对象定位的准确性。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于视觉信息的隧道目标轨迹跟踪方法，用于针对目标隧道内的目标对象实现轨迹跟踪，包括如下步骤：
步骤A.在目标隧道内部沿途依次布设各个相机，且相邻相机图像捕获区域的彼此对接区域相重叠，然后进入步骤B；
步骤B.构建世界坐标系，同时分别针对各个相机，构建相机的三维坐标系、以及捕获图像的二维坐标系，并根据相机内部参数、外部参数的标定，获得各捕获图像二维坐标系经对应相机三维坐标系、到世界坐标系的转换关系，然后进入步骤C；
步骤C.基于目标隧道内部各相机的工作，获得目标时间段内、各相机分别捕获的图像，作为各帧待处理图像，然后进入步骤D；
步骤D.分别提取各待处理图像中的特征点，并在相邻时序待处理图像之间、实现特征点的匹配，然后进入步骤E；
步骤E.基于相邻时序待处理图像之间特征点的匹配，获得目标对象所在的各帧待处理图像，作为各帧初级处理图像，并进入步骤F；
步骤F.获得各帧初级处理图像中目标对象在图像中的深度信息，并结合各帧初级处理图像中目标对象在对应捕获图像二维坐标系下的二维坐标，根据各捕获图像二维坐标系经对应相机三维坐标系、到世界坐标系的转换关系，获得各帧初级处理图像中目标对象在世界坐标系下的三维坐标，然后进入步骤G；
步骤G.基于各帧初级处理图像的时间排序，针对各帧初级处理图像中目标对象在世界坐标系下的三维坐标，获得目标对象在世界坐标系下的轨迹，即获得目标对象对应目标时间段内、在世界坐标系下的轨迹。
作为本发明的一种优选技术方案：还包括步骤FG如下，执行完步骤F之后，进入步骤FG；
步骤FG.分别针对目标对象位于图像重叠区域所对应的各组两帧初级处理图像，先针对两帧初级处理图像进行融合拼接，并根据该两帧初级处理图像中目标对象在世界坐标系下的三维坐标，获得融合拼接图像中目标对象在世界坐标系下的三维坐标，接着由融合拼接图像作为初级处理图像、替换该两帧初级处理图像；然后进入步骤G。
作为本发明的一种优选技术方案：所述步骤FG中，分别针对目标对象位于图像重叠区域所对应的各组两帧初级处理图像，执行如下步骤FG1至步骤FG5，然后进入步骤G；
步骤FG1.获取组中两帧初级处理图像之间相匹配的各组特征点对，然后进入步骤FG2；
步骤FG2.根据各组特征点对中、各特征点分别在其对应捕获图像二维坐标系下的二维坐标，采用RANSAC方法，计算获得该两帧初级处理图像之间的单应矩阵H，然后进入步骤FG3；
步骤FG3.根据该两帧初级处理图像之间的单应矩阵H，将该两帧初级处理图像转换至同一平面中，并计算确定该两帧初级处理图像之间的图像重叠区域，然后进入步骤FG4；
步骤FG4.应用最优缝合线算法，获得该两帧初级处理图像之间图像重叠区域中的最优缝合线，然后进入步骤FG5；
步骤FG5.根据该两帧初级处理图像之间图像重叠区域中的最优缝合线，针对两帧初级处理图像进行融合拼接，并根据该两帧初级处理图像中目标对象在世界坐标系下的三维坐标，获得融合拼接图像中目标对象在世界坐标系下的三维坐标，接着由融合拼接图像作为初级处理图像、替换该两帧初级处理图像。
作为本发明的一种优选技术方案：所述步骤G中，基于各帧初级处理图像的时间排序，应用多特征融合的粒子滤波目标跟踪算法，针对各帧初级处理图像中目标对象在世界坐标系下的三维坐标，执行跟踪处理，获得目标对象在世界坐标系下的轨迹，即获得目标对象对应目标时间段内、在世界坐标系下的轨迹。
作为本发明的一种优选技术方案：所述步骤G中，基于各帧初级处理图像的时间排序，应用多特征融合的粒子滤波目标跟踪算法，按如下步骤G1至G9，针对各帧初级处理图像中目标对象在世界坐标系下的三维坐标，执行跟踪处理，获得目标对象在世界坐标系下的轨迹，即获得目标对象对应目标时间段内、在世界坐标系下的轨迹；
步骤G1.基于相机图像捕获区域中未出现目标对象时，针对捕获图像进行建模，即进行背景建模，并在之后的过程中动态更新，然后进入步骤G2；
步骤G2.基于各帧初级处理图像的时间排序，针对初级处理图像中目标对象符合条件
Figure BDA0002350043160000031
的各组前后两帧初级处理图像，根据目标检测算法，提取出该各帧初级处理图像中前景区域分别所对应的像素点集合，然后进入步骤G3；其中，wk-1和hk-1分别表示k-1时刻初级处理图像中目标对象的宽度和高度，wk和hk分别表示k时刻初级处理图像中目标对象的宽度和高度，T表示预设阈值；
步骤G3.创建前景区域所对应的边缘特征模型、纹理特征模型、颜色特征模型，并初始化边缘特征权值α、纹理特征权值β、颜色特征权值γ，且α+β+γ＝1，然后进入步骤G4；
步骤G4.分别针对各像素点集合中的各像素点，利用公式
Figure BDA0002350043160000032
来求解像素点的似然函数pj(yk|xi k)，其中σ2为高斯方差，dj 2[p(x),q]为目标模板特征和候选目标特征的相似度，进而求得该像素点的权值wk i＝wk-1 ip(yk|xi k)，并且归一化，然后进入步骤G5；
步骤G5.根据当前粒子分布，依照公式p(yk|xi k)＝αpc(yk|xi k)+βpw(yk|xi k)+γpe(yk|xi k)来更新各个的权值α、β、γ；其中，各个特征权重更新方法如下：首先对每个特征，按照所有粒子在该特征的相似度值降序排序，并取前15％粒子构成新的粒子集，然后计算每个特征在新粒子集的位置均差和标准差；进而计算新的粒子集的总体位置均值；最后计算每个特征的权重系数、并进行归一化；然后进入步骤G6；
步骤G6.重采样：如果
Figure BDA0002350043160000033
那么就再采样，其中Neff为有效粒子数，Nth为设置的粒子数阈值。在总数为N的粒子群中任意选择Nth个粒子，依照权值大小进行排序，然后选取前面的N-Nth个权值比较大的粒子，获得粒子集
Figure BDA0002350043160000034
再用任意抽取的方式，选中Neff个粒子，获得粒子集
Figure BDA0002350043160000041
最后把这两个粒子集合并成一个新的粒子集，然后进入步骤G7；
步骤G7.进行状态预测，
Figure BDA0002350043160000042
然后进入步骤G8；
步骤G8.定义k＝k+1，这里k代表时间，并返回步骤G2。
作为本发明的一种优选技术方案：所述步骤B中，获得各捕获图像二维坐标系经对应相机三维坐标系、到世界坐标系的转换关系如下：
Figure BDA0002350043160000043
式中，(u,v)表示捕获图像二维坐标系中点p的二维坐标，(xw,yw,zw)表示捕获图像二维坐标系中点p在世界坐标系中的三维坐标，s表示缩放尺度参数，fx、fy为相机焦距，u0、v0为相机光轴在图像坐标系中的偏移量，相机内部参数采用张正友标定法进行标定，
Figure BDA0002350043160000044
表示相机外部参数，R为旋转矩阵，T为平移向量。
作为本发明的一种优选技术方案，所述步骤D包括如下步骤：
步骤D1.分别针对各帧待处理图像，针对待处理图像中的各个像素点依次进行遍历，判断像素点灰度值是否大于或小于以该像素点为圆心、预设半径范围内、预设百分比数量各像素点的灰度值，是则判定该像素点为该待处理图像中的特征点；否则判定该像素点不为该待处理图像中的特征点；完成对各帧待处理图像中各像素点的遍历后，进入步骤D2；
步骤D2.分别针对各帧待处理图像中的各个特征点，获得以特征点为圆心、预设半径范围内各像素点像素值总和，作为该特征点所对应区域灰度值，然后进入步骤D3；
步骤D3.针对各帧待处理图像中各特征点分别所对应的区域灰度值，采用SAD算法，实现相邻时序待处理图像之间特征点的匹配。
作为本发明的一种优选技术方案：所设相机为双目相机，所述步骤D3中，首先采用SAD算法，实现双目相机同一时刻下、左相机所对应待处理图像中各特征点与右相机所对应待处理图像中各特征点之间的匹配，然后采用SAD算法，实现相邻时序待处理图像之间特征点的匹配。
作为本发明的一种优选技术方案，所述相机为双目相机，所述步骤F中，按如下公式：
Figure BDA0002350043160000051
通过获得世界坐标系下点q在捕获图像中的深度信息z，进而获得各帧初级处理图像中目标对象在图像中的深度信息；式中，b表示双目相机中左相机光心与右相机光心之间的基线距离，μL表示点q在双目相机左相机中的投影坐标，μR表示点q在双目相机右相机中的投影坐标，f表示双目相机中左、右相机的焦距。
本发明所述一种基于视觉信息的隧道目标轨迹跟踪方法，采用以上技术方案与现有技术相比，具有以下技术效果：
本发明所设计基于视觉信息的隧道目标轨迹跟踪方法，基于覆盖隧道全部道路的各相机，结合图像拼接技术，应用图像特征点匹配技术，实现目标对象的定位，并采用多特征融合的粒子滤波目标跟踪算法，针对目标对象随各图像时间排序的定位，实现追踪，并引入边缘特征、纹理特征、颜色特征因素，保证目标对象移动轨迹的联系性与可靠性，并在实际应用中，将定位轨迹呈现于三维平台上，实现隧道内目标对象的准确定位。
附图说明
图1是本发明设计基于视觉信息的隧道目标轨迹跟踪方法的流程图；
图2是本发明设计中深度信息获取示意图；
图3是本发明设计中图像拼接流程图；
图4是本发明设计中基于双目视觉和多特征融合的粒子滤波目标跟踪算法流程图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种基于视觉信息的隧道目标轨迹跟踪方法，用于针对目标隧道内的目标对象实现轨迹跟踪，如图1所示，包括如下步骤A至步骤G。
步骤A.在目标隧道内部沿途依次布设各个相机，且相邻相机图像捕获区域的彼此对接区域相重叠，然后进入步骤B。
步骤B.构建世界坐标系，同时分别针对各个相机，构建相机的三维坐标系、以及捕获图像的二维坐标系，并根据相机内部参数、外部参数的标定，获得各捕获图像二维坐标系经对应相机三维坐标系、到世界坐标系的转换关系如下，然后进入步骤C。
Figure BDA0002350043160000061
式中，(u,v)表示捕获图像二维坐标系中点p的二维坐标，(xw,yw,zw)表示捕获图像二维坐标系中点p在世界坐标系中的三维坐标，s表示缩放尺度参数，fx、fy为相机焦距，u0、v0为相机光轴在图像坐标系中的偏移量，相机内部参数采用张正友标定法进行标定，
Figure BDA0002350043160000062
表示相机外部参数，R为旋转矩阵，T为平移向量。
步骤C.基于目标隧道内部各相机的工作，获得目标时间段内、各相机分别捕获的图像，作为各帧待处理图像，然后进入步骤D。
步骤D.分别提取各待处理图像中的特征点，并在相邻时序待处理图像之间、实现特征点的匹配，然后进入步骤E。
实际应用当中，由于FAST算子明显不具有旋转不变性和尺度不变性，故上述步骤D中，采ORB算法中提到的oFAST算法作为角点检测算法执行，具体包括如下步骤。
步骤D1.分别针对各帧待处理图像，针对待处理图像中的各个像素点依次进行遍历，判断像素点灰度值是否大于或小于以该像素点为圆心、预设半径范围内、预设百分比数量各像素点的灰度值，是则判定该像素点为该待处理图像中的特征点；否则判定该像素点不为该待处理图像中的特征点；完成对各帧待处理图像中各像素点的遍历后，进入步骤D2。
步骤D2.分别针对各帧待处理图像中的各个特征点，获得以特征点为圆心、预设半径范围内各像素点像素值总和，作为该特征点所对应区域灰度值，然后进入步骤D3。
步骤D3.针对各帧待处理图像中各特征点分别所对应的区域灰度值，采用SAD算法，实现相邻时序待处理图像之间特征点的匹配。实际应用当中，相机为双目相机，所述步骤D3中，首先采用SAD算法，实现双目相机同一时刻下、左相机所对应待处理图像中各特征点与右相机所对应待处理图像中各特征点之间的匹配，然后采用SAD算法，实现相邻时序待处理图像之间特征点的匹配。
步骤D3具体实际应用中，对于双目相机来说，以左相机图像像素为待匹配中心点，定义一个窗口，计算窗口领域中的像素值总和，移动窗口，然后在右相机图像中计算其左右窗口的灰度和的差值，当搜索到差值最小的像素即判定为最佳匹配点。为了降低误匹配率，采用循环匹配方式，首先在窗口中寻找当前左相机图像帧与前一帧左相机图像的最佳匹配点，接着再依次匹配前一帧的右相机图像、当前帧的右图像，最后再一次匹配当前帧左相机图像，如果最后的匹配结果仍然保持不变，那么认定当前匹配点匹配成功。
步骤E.基于相邻时序待处理图像之间特征点的匹配，获得目标对象所在的各帧待处理图像，作为各帧初级处理图像，并进入步骤F。
步骤F.获得各帧初级处理图像中目标对象在图像中的深度信息，并结合各帧初级处理图像中目标对象在对应捕获图像二维坐标系下的二维坐标，根据各捕获图像二维坐标系经对应相机三维坐标系、到世界坐标系的转换关系，获得各帧初级处理图像中目标对象在世界坐标系下的三维坐标，然后进入步骤FG。
实际应用当中，相机为双目相机，所述步骤F中，如图2所示，按如下公式：
Figure BDA0002350043160000071
通过获得世界坐标系下点q在捕获图像中的深度信息z，进而获得各帧初级处理图像中目标对象在图像中的深度信息；式中，b表示双目相机中左相机光心与右相机光心之间的基线距离，μL表示点q在双目相机左相机中的投影坐标，μR表示点q在双目相机右相机中的投影坐标，f表示双目相机中左、右相机的焦距。
步骤FG.分别针对目标对象位于图像重叠区域所对应的各组两帧初级处理图像，先针对两帧初级处理图像进行融合拼接，并根据该两帧初级处理图像中目标对象在世界坐标系下的三维坐标，获得融合拼接图像中目标对象在世界坐标系下的三维坐标，接着由融合拼接图像作为初级处理图像、替换该两帧初级处理图像；然后进入步骤G。
实际应用当中，所述步骤FG中，分别针对目标对象位于图像重叠区域所对应的各组两帧初级处理图像，如图3所示，执行如下步骤FG1至步骤FG5，然后进入步骤G。
步骤FG1.获取组中两帧初级处理图像之间相匹配的各组特征点对，然后进入步骤FG2。
步骤FG2.根据各组特征点对中、各特征点分别在其对应捕获图像二维坐标系下的二维坐标，采用RANSAC方法，计算获得该两帧初级处理图像之间的单应矩阵H，然后进入步骤FG3。
步骤FG3.根据该两帧初级处理图像之间的单应矩阵H，将该两帧初级处理图像转换至同一平面中，并计算确定该两帧初级处理图像之间的图像重叠区域，然后进入步骤FG4。
步骤FG4.应用最优缝合线算法，获得该两帧初级处理图像之间图像重叠区域中的最优缝合线，然后进入步骤FG5。
步骤FG5.根据该两帧初级处理图像之间图像重叠区域中的最优缝合线，针对两帧初级处理图像进行融合拼接，并根据该两帧初级处理图像中目标对象在世界坐标系下的三维坐标，获得融合拼接图像中目标对象在世界坐标系下的三维坐标，接着由融合拼接图像作为初级处理图像、替换该两帧初级处理图像。
步骤G.基于各帧初级处理图像的时间排序，应用多特征融合的粒子滤波目标跟踪算法，如图4所示，按如下步骤G1至G9，针对各帧初级处理图像中目标对象在世界坐标系下的三维坐标，执行跟踪处理，获得目标对象在世界坐标系下的轨迹，即获得目标对象对应目标时间段内、在世界坐标系下的轨迹。
步骤G1.基于相机图像捕获区域中未出现目标对象时，针对捕获图像进行建模，即进行背景建模，并在之后的过程中动态更新，然后进入步骤G2。
步骤G2.基于各帧初级处理图像的时间排序，针对初级处理图像中目标对象符合条件
Figure BDA0002350043160000081
的各组前后两帧初级处理图像，根据目标检测算法，提取出该各帧初级处理图像中前景区域分别所对应的像素点集合，然后进入步骤G3；其中，wk-1和hk-1分别表示k-1时刻初级处理图像中目标对象的宽度和高度，wk和hk分别表示k时刻初级处理图像中目标对象的宽度和高度，T表示预设阈值。
步骤G3.创建前景区域所对应的边缘特征模型、纹理特征模型、颜色特征模型，并初始化边缘特征权值α、纹理特征权值β、颜色特征权值γ，且α+β+γ＝1，然后进入步骤G4。
步骤G4.分别针对各像素点集合中的各像素点，利用公式
Figure BDA0002350043160000082
来求解像素点的似然函数pj(yk|xi k)，其中σ2为高斯方差，dj 2[p(x),q]为目标模板特征和候选目标特征的相似度，进而求得该像素点的权值wk i＝wk-1 ip(yk|xi k)，并且归一化，然后进入步骤G5。
步骤G5.根据当前粒子分布，依照公式p(yk|xi k)＝αpc(yk|xi k)+βpw(yk|xi k)+γpe(yk|xi k)来更新各个的权值α、β、γ；其中，各个特征权重更新方法如下：首先对每个特征，按照所有粒子在该特征的相似度值降序排序，并取前15％粒子构成新的粒子集，然后计算每个特征在新粒子集的位置均差和标准差；进而计算新的粒子集的总体位置均值；最后计算每个特征的权重系数、并进行归一化；然后进入步骤G6。
步骤G6.重采样：如果
Figure BDA0002350043160000091
那么就再采样，其中Neff为有效粒子数，Nth为设置的粒子数阈值。在总数为N的粒子群中任意选择Nth个粒子，依照权值大小进行排序，然后选取前面的N-Nth个权值比较大的粒子，获得粒子集
Figure BDA0002350043160000092
再用任意抽取的方式，选中Neff个粒子，获得粒子集
Figure BDA0002350043160000093
最后把这两个粒子集合并成一个新的粒子集，然后进入步骤G7。
步骤G7.进行状态预测，
Figure BDA0002350043160000094
然后进入步骤G8。
步骤G8.定义k＝k+1，这里k代表时间，并返回步骤G2。
上述技术方案所设计基于视觉信息的隧道目标轨迹跟踪方法，基于覆盖隧道全部道路的各相机，结合图像拼接技术，应用图像特征点匹配技术，实现目标对象的定位，并采用多特征融合的粒子滤波目标跟踪算法，针对目标对象随各图像时间排序的定位，实现追踪，并引入边缘特征、纹理特征、颜色特征因素，保证目标对象移动轨迹的联系性与可靠性，并在实际应用中，将定位轨迹呈现于三维平台上，实现隧道内目标对象的准确定位。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (9)

1.一种基于视觉信息的隧道目标轨迹跟踪方法，用于针对目标隧道内的目标对象实现轨迹跟踪，其特征在于，包括如下步骤：
步骤A.在目标隧道内部沿途依次布设各个相机，且相邻相机图像捕获区域的彼此对接区域相重叠，然后进入步骤B；
步骤B.构建世界坐标系，同时分别针对各个相机，构建相机的三维坐标系、以及捕获图像的二维坐标系，并根据相机内部参数、外部参数的标定，获得各捕获图像二维坐标系经对应相机三维坐标系、到世界坐标系的转换关系，然后进入步骤C；
步骤C.基于目标隧道内部各相机的工作，获得目标时间段内、各相机分别捕获的图像，作为各帧待处理图像，然后进入步骤D；
步骤D.分别提取各待处理图像中的特征点，并在相邻时序待处理图像之间、实现特征点的匹配，然后进入步骤E；
步骤E.基于相邻时序待处理图像之间特征点的匹配，获得目标对象所在的各帧待处理图像，作为各帧初级处理图像，并进入步骤F；
步骤F.获得各帧初级处理图像中目标对象在图像中的深度信息，并结合各帧初级处理图像中目标对象在对应捕获图像二维坐标系下的二维坐标，根据各捕获图像二维坐标系经对应相机三维坐标系、到世界坐标系的转换关系，获得各帧初级处理图像中目标对象在世界坐标系下的三维坐标，然后进入步骤G；
步骤G.基于各帧初级处理图像的时间排序，针对各帧初级处理图像中目标对象在世界坐标系下的三维坐标，获得目标对象在世界坐标系下的轨迹，即获得目标对象对应目标时间段内、在世界坐标系下的轨迹。
2.根据权利要求1所述一种基于视觉信息的隧道目标轨迹跟踪方法，其特征在于：还包括步骤FG如下，执行完步骤F之后，进入步骤FG；
步骤FG.分别针对目标对象位于图像重叠区域所对应的各组两帧初级处理图像，先针对两帧初级处理图像进行融合拼接，并根据该两帧初级处理图像中目标对象在世界坐标系下的三维坐标，获得融合拼接图像中目标对象在世界坐标系下的三维坐标，接着由融合拼接图像作为初级处理图像、替换该两帧初级处理图像；然后进入步骤G。
3.根据权利要求2所述一种基于视觉信息的隧道目标轨迹跟踪方法，其特征在于：所述步骤FG中，分别针对目标对象位于图像重叠区域所对应的各组两帧初级处理图像，执行如下步骤FG1至步骤FG5，然后进入步骤G；
步骤FG1.获取组中两帧初级处理图像之间相匹配的各组特征点对，然后进入步骤FG2；
步骤FG2.根据各组特征点对中、各特征点分别在其对应捕获图像二维坐标系下的二维坐标，采用RANSAC方法，计算获得该两帧初级处理图像之间的单应矩阵H，然后进入步骤FG3；
步骤FG3.根据该两帧初级处理图像之间的单应矩阵H，将该两帧初级处理图像转换至同一平面中，并计算确定该两帧初级处理图像之间的图像重叠区域，然后进入步骤FG4；
步骤FG4.应用最优缝合线算法，获得该两帧初级处理图像之间图像重叠区域中的最优缝合线，然后进入步骤FG5；
步骤FG5.根据该两帧初级处理图像之间图像重叠区域中的最优缝合线，针对两帧初级处理图像进行融合拼接，并根据该两帧初级处理图像中目标对象在世界坐标系下的三维坐标，获得融合拼接图像中目标对象在世界坐标系下的三维坐标，接着由融合拼接图像作为初级处理图像、替换该两帧初级处理图像。
4.根据权利要求1所述一种基于视觉信息的隧道目标轨迹跟踪方法，其特征在于：所述步骤G中，基于各帧初级处理图像的时间排序，应用多特征融合的粒子滤波目标跟踪算法，针对各帧初级处理图像中目标对象在世界坐标系下的三维坐标，执行跟踪处理，获得目标对象在世界坐标系下的轨迹，即获得目标对象对应目标时间段内、在世界坐标系下的轨迹。
5.根据权利要求4所述一种基于视觉信息的隧道目标轨迹跟踪方法，其特征在于：所述步骤G中，基于各帧初级处理图像的时间排序，应用多特征融合的粒子滤波目标跟踪算法，按如下步骤G1至G9，针对各帧初级处理图像中目标对象在世界坐标系下的三维坐标，执行跟踪处理，获得目标对象在世界坐标系下的轨迹，即获得目标对象对应目标时间段内、在世界坐标系下的轨迹；
步骤G1.基于相机图像捕获区域中未出现目标对象时，针对捕获图像进行建模，即进行背景建模，并在之后的过程中动态更新，然后进入步骤G2；
步骤G2.基于各帧初级处理图像的时间排序，针对初级处理图像中目标对象符合条件
Figure FDA0002350043150000021
的各组前后两帧初级处理图像，根据目标检测算法，提取出该各帧初级处理图像中前景区域分别所对应的像素点集合，然后进入步骤G3；其中，wk-1和hk-1分别表示k-1时刻初级处理图像中目标对象的宽度和高度，wk和hk分别表示k时刻初级处理图像中目标对象的宽度和高度，T表示预设阈值；
步骤G3.创建前景区域所对应的边缘特征模型、纹理特征模型、颜色特征模型，并初始化边缘特征权值α、纹理特征权值β、颜色特征权值y，且α+β+y＝1，然后进入步骤G4；
步骤G4.分别针对各像素点集合中的各像素点，利用公式
Figure FDA0002350043150000031
j＝c，w，e，来求解像素点的似然函数pj(yk|xi k)，其中σ2为高斯方差，dj 2[p(x)，q]为目标模板特征和候选目标特征的相似度，进而求得该像素点的权值wk i＝wk-1 ip(yk|xi k)，并且归一化，然后进入步骤G5；
步骤G5.根据当前粒子分布，依照公式p(yk|xi k)＝αpc(yk|xi k)+βpw(yk|xi k)+γpe(yk|xi k)来更新各个的权值α、β、y；其中，各个特征权重更新方法如下：首先对每个特征，按照所有粒子在该特征的相似度值降序排序，并取前15％粒子构成新的粒子集，然后计算每个特征在新粒子集的位置均差和标准差；进而计算新的粒子集的总体位置均值；最后计算每个特征的权重系数、并进行归一化；然后进入步骤G6；
步骤G6.重采样：如果
Figure FDA0002350043150000032
那么就再采样，其中Neff为有效粒子数，Nth为设置的粒子数阈值。在总数为N的粒子群中任意选择Nth个粒子，依照权值大小进行排序，然后选取前面的N-Nth个权值比较大的粒子，获得粒子集
Figure FDA0002350043150000033
再用任意抽取的方式，选中Neff个粒子，获得粒子集
Figure FDA0002350043150000034
最后把这两个粒子集合并成一个新的粒子集，然后进入步骤G7；
步骤G7.进行状态预测，
Figure FDA0002350043150000035
然后进入步骤G8；
步骤G8.定义k＝k+1，这里k代表时间，并返回步骤G2。
6.根据权利要求1所述一种基于视觉信息的隧道目标轨迹跟踪方法，其特征在于：所述步骤B中，获得各捕获图像二维坐标系经对应相机三维坐标系、到世界坐标系的转换关系如下：
Figure FDA0002350043150000036
式中，(u，v)表示捕获图像二维坐标系中点p的二维坐标，(xw，yw，zw)表示捕获图像二维坐标系中点p在世界坐标系中的三维坐标，s表示缩放尺度参数，fx、fy为相机焦距，u0、v0为相机光轴在图像坐标系中的偏移量，相机内部参数采用张正友标定法进行标定，
Figure FDA0002350043150000037
表示相机外部参数，R为旋转矩阵，T为平移向量。
7.根据权利要求1所述一种基于视觉信息的隧道目标轨迹跟踪方法，其特征在于，所述步骤D包括如下步骤：
步骤D1.分别针对各帧待处理图像，针对待处理图像中的各个像素点依次进行遍历，判断像素点灰度值是否大于或小于以该像素点为圆心、预设半径范围内、预设百分比数量各像素点的灰度值，是则判定该像素点为该待处理图像中的特征点；否则判定该像素点不为该待处理图像中的特征点；完成对各帧待处理图像中各像素点的遍历后，进入步骤D2；
步骤D2.分别针对各帧待处理图像中的各个特征点，获得以特征点为圆心、预设半径范围内各像素点像素值总和，作为该特征点所对应区域灰度值，然后进入步骤D3；
步骤D3.针对各帧待处理图像中各特征点分别所对应的区域灰度值，采用SAD算法，实现相邻时序待处理图像之间特征点的匹配。
8.根据权利要求7所述一种基于视觉信息的隧道目标轨迹跟踪方法，其特征在于：所设相机为双目相机，所述步骤D3中，首先采用SAD算法，实现双目相机同一时刻下、左相机所对应待处理图像中各特征点与右相机所对应待处理图像中各特征点之间的匹配，然后采用SAD算法，实现相邻时序待处理图像之间特征点的匹配。
9.根据权利要求1所述一种基于视觉信息的隧道目标轨迹跟踪方法，其特征在于，所述相机为双目相机，所述步骤F中，按如下公式：
Figure FDA0002350043150000041
通过获得世界坐标系下点q在捕获图像中的深度信息z，进而获得各帧初级处理图像中目标对象在图像中的深度信息；式中，b表示双目相机中左相机光心与右相机光心之间的基线距离，μL表示点q在双目相机左相机中的投影坐标，μR表示点q在双目相机右相机中的投影坐标，f表示双目相机中左、右相机的焦距。
CN201911411332.8A 2019-12-31 2019-12-31 一种基于视觉信息的隧道目标轨迹跟踪方法 Active CN111145220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911411332.8A CN111145220B (zh) 2019-12-31 2019-12-31 一种基于视觉信息的隧道目标轨迹跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911411332.8A CN111145220B (zh) 2019-12-31 2019-12-31 一种基于视觉信息的隧道目标轨迹跟踪方法

Publications (2)

Publication Number Publication Date
CN111145220A true CN111145220A (zh) 2020-05-12
CN111145220B CN111145220B (zh) 2022-11-18

Family

ID=70522514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911411332.8A Active CN111145220B (zh) 2019-12-31 2019-12-31 一种基于视觉信息的隧道目标轨迹跟踪方法

Country Status (1)

Country Link
CN (1) CN111145220B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200838A (zh) * 2020-10-10 2021-01-08 中国科学院长春光学精密机械与物理研究所 一种弹丸轨迹跟踪方法、装置、设备及存储介质
CN112446901A (zh) * 2020-11-20 2021-03-05 浙江大华技术股份有限公司 目标跟踪方法、装置、设备及计算机存储介质
CN112529797A (zh) * 2020-12-04 2021-03-19 中国人民解放军63921部队 基于序列视轴指向矢量的目标轨迹确认方法
CN115823970A (zh) * 2022-12-26 2023-03-21 浙江航天润博测控技术有限公司 一种视觉弹丸轨迹生成系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3051495A1 (en) * 2015-01-29 2016-08-03 Wipro Limited Systems and methods for mapping object coordinates from a video frame view to real world coordinates
CN106485735A (zh) * 2015-09-01 2017-03-08 南京理工大学 基于立体视觉技术的人体目标识别与跟踪方法
CN110570453A (zh) * 2019-07-10 2019-12-13 哈尔滨工程大学 一种基于双目视觉的闭环式跟踪特征的视觉里程计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3051495A1 (en) * 2015-01-29 2016-08-03 Wipro Limited Systems and methods for mapping object coordinates from a video frame view to real world coordinates
CN106485735A (zh) * 2015-09-01 2017-03-08 南京理工大学 基于立体视觉技术的人体目标识别与跟踪方法
CN110570453A (zh) * 2019-07-10 2019-12-13 哈尔滨工程大学 一种基于双目视觉的闭环式跟踪特征的视觉里程计方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200838A (zh) * 2020-10-10 2021-01-08 中国科学院长春光学精密机械与物理研究所 一种弹丸轨迹跟踪方法、装置、设备及存储介质
CN112200838B (zh) * 2020-10-10 2023-01-24 中国科学院长春光学精密机械与物理研究所 一种弹丸轨迹跟踪方法、装置、设备及存储介质
CN112446901A (zh) * 2020-11-20 2021-03-05 浙江大华技术股份有限公司 目标跟踪方法、装置、设备及计算机存储介质
CN112446901B (zh) * 2020-11-20 2024-08-16 浙江大华技术股份有限公司 目标跟踪方法、装置、设备及计算机存储介质
CN112529797A (zh) * 2020-12-04 2021-03-19 中国人民解放军63921部队 基于序列视轴指向矢量的目标轨迹确认方法
CN112529797B (zh) * 2020-12-04 2024-05-31 中国人民解放军63921部队 基于序列视轴指向矢量的目标轨迹确认方法
CN115823970A (zh) * 2022-12-26 2023-03-21 浙江航天润博测控技术有限公司 一种视觉弹丸轨迹生成系统

Also Published As

Publication number Publication date
CN111145220B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN111145220B (zh) 一种基于视觉信息的隧道目标轨迹跟踪方法
US11729495B2 (en) Directed image capture
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
Gomez-Ojeda et al. PL-SVO: Semi-direct monocular visual odometry by combining points and line segments
CN111311666B (zh) 一种融合边缘特征和深度学习的单目视觉里程计方法
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
CN103679749B (zh) 一种基于运动目标跟踪的图像处理方法及装置
CN104484648B (zh) 基于轮廓识别的机器人可变视角障碍物检测方法
CN108388882B (zh) 基于全局-局部rgb-d多模态的手势识别方法
CN109472828B (zh) 一种定位方法、装置、电子设备及计算机可读存储介质
WO2021027544A1 (zh) 基于双目图像的模型训练方法、装置及数据处理设备
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN103426182A (zh) 基于视觉注意机制的电子稳像方法
CN110139031B (zh) 一种基于惯性感知的视频防抖系统及其工作方法
WO2018053952A1 (zh) 一种基于场景样本库的影视图像深度提取方法
CN112907631B (zh) 一种引入反馈机制的多rgb相机实时人体动作捕捉系统
CN112991218B (zh) 图像处理的方法、装置、设备以及存储介质
CN118247435A (zh) 基于视觉里程计和卷积神经网络的肠道稠密三维建模方法
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
CN114494582B (zh) 一种基于视觉感知的三维模型动态更新方法
CN112102504A (zh) 一种基于混合现实的三维场景和二维图像混合方法
US10132912B2 (en) Method and apparatus for estimating reflectance parameters and a position of a light source in a scene
Cui et al. Direct-ORB-SLAM: Direct Monocular ORB-SLAM
TW201415882A (zh) Ptz攝影機自動追蹤之方法
Yuan et al. CR-LDSO: direct sparse LiDAR-assisted visual odometry with cloud reusing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant