CN107239746A - 一种面向道路救援安全监控的障碍物识别跟踪方法 - Google Patents

一种面向道路救援安全监控的障碍物识别跟踪方法 Download PDF

Info

Publication number
CN107239746A
CN107239746A CN201710341934.5A CN201710341934A CN107239746A CN 107239746 A CN107239746 A CN 107239746A CN 201710341934 A CN201710341934 A CN 201710341934A CN 107239746 A CN107239746 A CN 107239746A
Authority
CN
China
Prior art keywords
mrow
grid
barrier
mtd
mtr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710341934.5A
Other languages
English (en)
Other versions
CN107239746B (zh
Inventor
李旭
邓淇天
李晨晓
赵琬婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201710341934.5A priority Critical patent/CN107239746B/zh
Publication of CN107239746A publication Critical patent/CN107239746A/zh
Application granted granted Critical
Publication of CN107239746B publication Critical patent/CN107239746B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种面向道路救援安全监控的障碍物识别跟踪方法，结合道路救援现场障碍物特点，通过激光雷达探测作业现场周围的障碍物，首先进行激光雷达数据的预处理，将其转换成一幅二值图像，运用所提出的基于背景差法的识别方法提取动态障碍物并运用距离相关性区域标记算法进行聚类分析，然后通过Harris角点提取法提取障碍物特征信息，最后，使用状态转移的方法对障碍物进行跟踪。本发明提出的识别方法具有良好的实时性、环境适应能力和抗干扰能力。

Description

一种面向道路救援安全监控的障碍物识别跟踪方法
技术领域
本发明涉及安全应急领域，特别是涉及一种面向道路救援安全监控的障碍物识别跟踪方法。
背景技术
随着社会经济的发展，道路交通安全问题日益突出，在道路交通事故救援过程中，由于视野盲区造成的二次事故比例很大，每年因为交通事故救援过程中产生的二次事故造成大量的损失。近年来，安全应急救援技术得到了迅速的发展，并且已经取得了显著的成果，将安全应急救援技术更多地运用到重型道路救援车辆上，尤其是对于重型车辆视野盲区的监控，已经成为业界亟需解决的关键问题。
目前汽车周围环境监控主要使用视频摄像头监测，通过在车的周围安装若干个摄像头，利用图像拼接技术实现对车周围环境的简单监测，给驾驶员提供参考，主要运用在小型车的倒车、行车记录等方面。
然而参与道路救援过程的车辆通常为大型工程车和专用车，车身长达十米，需多个摄像头才能覆盖车辆的所有周边环境，并且摄像头监控范围小，不能实现远距离监控，另外，摄像头监控能力受天气和环境影响大，无法适应道路救援的复杂救援环境，这些不足极大地制约了道路救援安全监控能力。
发明内容
为了解决上述存在的问题，本发明提供一种面向道路救援安全监控的障碍物识别跟踪方法，在道路救援现场环境下，使用激光雷达作为环境感知器件，实现对救援现场的安全监控，具有监控范围大、实时性高、环境适应能力强的优点，为达此目的，本发明提供一种面向道路救援安全监控的障碍物识别跟踪方法，包含如下步骤：
步骤一激光雷达数据预处理：
建立由N×N个正方形栅格组成的栅格平面，其中，N＝D/G，式中，D为最大探测距离，通常在50米到100米之间，G为栅格边长；
确定激光雷达在数据点坐标系，其中数据点坐标系是以雷达中心为原点O，面朝救援车车头，自左向右沿横梁方向为OX轴，按右手定则建立；
接下来，将栅格划分为障碍物栅格和非障碍物栅格，划分依据为：
(P_num＞n) ①
语句1
<and>(Z_max>m) ②
对于语句1中的条件①，P_num为每个栅格中数据点的个数，n是条件①成立的阈值，对于语句1中的条件②，Z_max为每个栅格中所有数据点之间最大高度差，m是条件②成立的阈值，满足语句1中的两个条件的栅格为障碍物栅格，否则为非障碍物栅格，将障碍物栅格的栅格属性标记为1，称为障碍点，非障碍物栅格的栅格属性标记为0，称为非障碍点，激光雷达数据在栅格平面上被处理成了一幅二值栅格图像I(u,v)，每个栅格对应于栅格图像中的一个像素点(u，v)，每个栅格的属性相当于栅格图像中点(u，v)处的像素值，u为栅格的行号，v为栅格的列号；
步骤二利用背景差法进行动态障碍物栅格提取并进行聚类分析：
静态障碍物所形成的障碍物栅格位置相对固定，如路边的墙和树等，而动态障碍物形成的障碍物栅格的位置不固定，利用背景差法，通过比较前后帧障碍物栅格的位置关系，提取动态障碍物栅格；
步骤三障碍物特征信息提取：
使用Harris角点提取算法提取障碍物的特征信息；
步骤四障碍物跟踪：
利用状态机转移的方法对周围障碍物进行实时监控，状态机转移的障碍物识别方法中，包括以下3种状态：1)待定状态；2)跟踪状态；3)丢失状态，在处理过程中，还包括2种操作行为，分别是：1)删除特征信息；2)退出。
本发明的进一步改进，步骤一中确定栅格边长方法如下：
首先要计算雷达水平分辨率Dr，水平分辨率是指雷达探测范围内相邻激光线之间的最大弧长，得雷达水平分辨率Dr在极坐标系下的计算公式：Dr＝ΔangleDπ/180，其中Δangle为雷达相邻两条激光线之间的夹角，因为只有当栅格边长G不小于雷达水平分辨率Dr时才能有效避免栅格虚设，所以取栅格边长G＝2Dr。
本发明的进一步改进，步骤一中激光雷达在数据点坐标系，OXYZ下包含的数据有：
数据点距雷达中心的距离L，数据点对应的雷达射线在数据点坐标系下与OYZ平面的夹角α，数据点对应的雷达射线在数据点坐标系下与OXY平面的夹角ω，根据公式：
X＝L cosωsinα
Y＝L cosωcosα (1)；
Z＝L sinω
得到每个数据点在数据点坐标系下的X，Y，Z坐标，为了便于计算机处理，需将X，Y坐标正值化，正值化后，将三维点投影到栅格平面内，公式如下：
式(2)中，mapx为正值化过程中横坐标X在OX轴方向上的偏移量，mapy为正值化过程中Y在OY轴方向上的偏移量，Row为每个数据点所投影到的栅格的行号，Col为每个数据点所投影到的栅格的列号。
本发明的进一步改进，步骤二提取动态障碍物栅格具体做法如下：
开始时，取任一数据帧为背景帧，每T秒取一帧新的数据帧作为新的背景帧，T取为5；
判断数据帧中的障碍物栅格是否为动态障碍物栅格的依据为：
SBk＝0 ③
语句2
<and>SDk＝1
对于语句2中的条件③，SBk是背景帧中第k个栅格的属性，对于语句2中的条件④，SDk是数据帧中第k个栅格的属性，k＝1,2,...N2，满足语句2中的两个条件的障碍物栅格即为动态障碍物栅格，否则看作静态障碍物栅格，静态障碍物栅格在之后的分析中不予考虑；
提取出运动的障碍物栅格后，对这些栅格进行聚类，其处理流程为：
遍历所有栅格，若遇到的栅格是障碍点，判断其左方和上方的栅格是否障碍点，如果都不是，则表示该栅格属于一个新的聚类区域，聚类区域从0开始标号，依次为0,1,2…，直到所有的栅格都被聚类完；若此栅格的左方是障碍点，上方是非障碍点，则此栅格和其左边的栅格属于用一个聚类区域；若此栅格左方是非障碍点，上方是障碍点，则此栅格和其上方的栅格属于同一个聚类区域；若此栅格左方和上方都是障碍点，则此栅格属于其左方和上方栅格所属的两个聚类区域中标号较小的那个聚类区域，并将这两个聚类区域中标号较大的聚类区域的并入标号较小的聚类区域，使之成为同一个聚类区域。
本发明的进一步改进，步骤三障碍物特征信息提取，具体包含如下子步骤：
子步骤1)计算栅格图像I(u,v)在u和v两个方向的梯度Iu、Iv：
子步骤2)计算任一点(u，v)周围窗口图像的自相关矩阵M，令：
由此得到任一点(u，v)周围窗口图像的自相关矩阵M，即：
子步骤3)计算每个点的Harris响应值R，并对小于某一阈值t的R置位零，Harris相应值的计算方法为：
R＝{R:det M-η(trace(M))2＜t} (6)；
式(6)中det M表示矩阵M的行列式，trace(M)表示矩阵M的迹，尺度因子η为经验值，η＝0.04，得到每个点的Harris响应值后，在5×5的领域内进行非最大值抑制，局部最大值点即为栅格图像中的角点，每个障碍物的角点信息即为每个障碍物的特征信息。
本发明的进一步改进，步骤四障碍物跟踪，具体过程如下：
若一个障碍物开始进入雷达视野范围，则被标记为待定状态，同时记录其特征信息，当这个障碍物在3帧内重复出现在雷达视野范围内时，就将其标记为跟踪状态，否则将其特征信息删除；处于跟踪状态的障碍物若在一帧数据帧中丢失，就将被标记为丢失状态，如果在接下来的3帧中该障碍物重新出现，则该障碍物重新被标记为跟踪状态，否则将其特征信息删除；完成一帧数据帧的处理后，退出对这一帧数据帧的操作；系统实时监控处于跟踪状态的障碍物距离雷达中心的距离，一旦其距离雷达中心的距离小于一定阈值，立刻通过预警机制向救援操作人员发出预警，从而降低二次事故发生的可能。
本发明一种面向道路救援安全监控的障碍物识别跟踪方法，具体优点：
1)通过本发明识别跟踪方法可以针对交通事故救援现场作业盲区监控要求而提出，能够有效减少和避免作业过程中二次事故的发生，提高主动安全预警性能。
2)本发明识别跟踪方法具体处理速度快，实时性好等优点。
3)本发明识别跟踪方法识别可靠性提高，针对性强。识别方法充分考虑了交通事故救援现场作业特点，只针对动态障碍物识别，对静止的障碍物如墙壁，树木等不影响作业的因素进行了排除。
附图说明
图1是本发明的方法流程图；
图2是栅格平面示意图；
图3是雷达水平分辨率示意图；
图4是数据点坐标系示意图；
图5是状态转移示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提供一种面向道路救援安全监控的障碍物识别跟踪方法，在道路救援现场环境下，使用激光雷达作为环境感知器件，实现对救援现场的安全监控，具有监控范围大、实时性高、环境适应能力强的优点。
激光雷达数据为三维点云，数据量庞大，现有激光雷达数据处理算法复杂，并且没有考虑应用场景需求。本发明面向道路救援现场安全监控，需要很高的实时性，并且只对动态障碍物感兴趣，为此，本发明采用栅格化方法，将每一帧激光雷达数据转换成一幅二值图像，对这些二值图像，使用背景差法提取动态障碍物，并用Harris角点法提取障碍物特征信息供障碍物跟踪使用，这些方法成熟高效，提高了数据处理的效率。
如图1所示，本发明的一种面向道路救援安全监控的障碍物识别跟踪方法，包括以下步骤：
步骤(一)激光雷达数据预处理：建立由N×N个正方形栅格组成的栅格平面(见图2)，其中，N＝D/G，式中，D为最大探测距离，通常在50米到100米之间，G为栅格边长，由于激光雷达相邻的激光线之间存在一定的夹角，若栅格边长太小，会导致一定距离外的栅格扫不到射线，导致栅格虚设；若栅格边长太大，会导致分辨率不足，影响障碍物识别效果。确定栅格边长首先要计算雷达水平分辨率Dr，水平分辨率是指雷达探测范围内相邻激光线之间的最大弧长(见图3)。根据几何知识，可得雷达水平分辨率Dr在极坐标系下的计算公式：Dr＝Δangle·D·π/180，其中Δangle为雷达相邻两条激光线之间的夹角。因为只有当栅格边长G不小于雷达水平分辨率Dr时才能有效避免栅格虚设，所以本发明中取栅格边长G＝2Dr。
激光雷达在数据点坐标系(数据点坐标系是以雷达中心为原点O，面朝救援车车头，自左向右沿横梁方向为OX轴，按右手定则建立)OXYZ(见图4)下包含的数据有：数据点距雷达中心的距离L，数据点对应的雷达射线与数据点坐标系下OYZ平面的夹角α，数据点对应的雷达射线与数据点坐标系下OXY平面的夹角ω，根据公式：
X＝L cosωsinα
Y＝L cosωcosα (1)；
Z＝L sinω
可得到每个数据点在数据点坐标系下的X，Y，Z坐标。为了便于计算机处理，需将X，Y坐标正值化，正值化后，将三维点投影到栅格平面内，公式如下所示：
式(2)中，mapx为正值化过程中横坐标X在OX轴方向上的偏移量，mapy为正值化过程中Y在OY轴方向上的偏移量，Row为每个数据点所投影到的栅格的行号，Col为每个数据点所投影到的栅格的列号。接下来，将栅格划分为障碍物栅格和非障碍物栅格，划分依据为：
(P_num＞n) ①
语句1
<and>(Z_max>m) ②
对于语句1中的条件①，P_num为每个栅格中数据点的个数，n是条件①成立的阈值。对于语句1中的条件②，Z_max为每个栅格中所有数据点之间最大高度差，计算这一参数的目的主要是为避免斜坡造成的影响，m是条件②成立的阈值。满足语句1中的两个条件的栅格为障碍物栅格，否则为非障碍物栅格。将障碍物栅格的栅格属性标记为1，称为障碍点，非障碍物栅格的栅格属性标记为0，称为非障碍点，激光雷达数据在栅格平面上被处理成了一幅二值栅格图像I(u,v)，每个栅格对应于栅格图像中的一个像素点，每个栅格的属性相当于栅格图像中点(u，v)处的像素值，u为栅格的行号，v为栅格的列号。
步骤(二)利用背景差法进行动态障碍物栅格提取并进行聚类分析：在道路救援过程中，静态障碍物对救援作业不构成影响，需要关心的是动态障碍物，静态障碍物所形成的障碍物栅格位置相对固定，如路边的墙和树等，而动态障碍物形成的障碍物栅格的位置不固定，步骤(一)中已经将激光雷达数据处理成一幅二值图像，利用背景差法，通过比较前后帧障碍物栅格的位置关系，可以提取动态障碍物栅格，具体做法如下：开始时，取任一数据帧为背景帧，每T秒取一帧新的数据帧作为新的背景帧，本发明中，T取为5。
判断数据帧中的障碍物栅格是否为动态障碍物栅格的依据为：
SBk＝0 ③
语句2
<and>SDk＝1 ④
对于语句2中的条件③，SBk是背景帧中第k个栅格的属性，对于语句2中的条件④，SDk是数据帧中第k个栅格的属性，k＝1,2,...N2。满足语句2中的两个条件的障碍物栅格即为动态障碍物栅格，否则看作静态障碍物栅格，静态障碍物栅格在之后的分析中不予考虑。
提取出运动的障碍物栅格后，对这些栅格进行聚类，本发明中采用简单高效的基于距离相关性区域标记算法，其处理流程为：遍历所有栅格，若遇到的栅格是障碍点，判断其左方和上方的栅格是否障碍点，如果都不是，则表示该栅格属于一个新的聚类区域，聚类区域从0开始标号，依次为0,1,2…，直到所有的栅格都被标记完；若此栅格的左方是障碍点，上方是非障碍点，则此栅格和其左边的栅格属于用一个聚类区域；若此栅格左方是非障碍点，上方是障碍点，则此栅格和其上方的栅格属于同一个聚类区域；若此栅格左方和上方都是障碍点，则此栅格属于其左方和上方栅格所属的两个聚类区域中标号较小的那个聚类区域,并将这两个聚类区域中标号较大的聚类区域的并入标号较小的聚类区域，使之成为同一个聚类区域。
步骤(三)障碍物特征信息提取：本发明使用Harris角点提取算法提取障碍物的特征信息，具体包含如下子步骤：
子步骤1)计算栅格图像I(u,v)在u和v两个方向的梯度Iu、Iv：
子步骤2)计算任一点(u，v)周围窗口图像的自相关矩阵M，令：
由此得到任一点(u，v)周围窗口图像的自相关矩阵M，即：
子步骤3)计算每个点的Harris响应值R，并对小于某一阈值t的R置位零，Harris相应值的计算方法为：
R＝{R:det M-η(trace(M))2＜t} (6)；
式(6)中det M表示矩阵M的行列式，trace(M)表示矩阵M的迹，尺度因子η为经验值，η＝0.04。得到每个点的Harris响应值后，在5×5的领域内进行非最大值抑制，局部最大值点即为栅格图像中的角点，每个障碍物的角点信息即为每个障碍物的特征信息。
步骤(四)障碍物跟踪：本发明利用状态机转移(见图5)的方法对周围障碍物进行实时监控，状态机转移的障碍物识别方法中，包括以下3种状态：1)待定状态；2)跟踪状态；3)丢失状态。在处理过程中，还包括2种操作行为，分别是：1)删除特征信息；2)退出。若一个障碍物开始进入雷达视野范围，则被标记为待定状态，同时记录其特征信息，当这个障碍物在3帧内重复出现在雷达视野范围内时，就将其标记为跟踪状态，否则将其特征信息删除。处于跟踪状态的障碍物若在一帧数据帧中丢失，就将被标记为丢失状态，如果在接下来的3帧中该障碍物重新出现，则该障碍物重新被标记为跟踪状态，否则将其特征信息删除。完成一帧数据帧的处理后，退出对这一帧数据帧的操作。系统实时监控处于跟踪状态的障碍物距离雷达中心的距离，一旦其距离雷达中心的距离小于一定阈值，立刻通过预警机制向救援操作人员发出预警，从而降低二次事故发生的可能。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (6)

1.一种面向道路救援安全监控的障碍物识别跟踪方法，其特征在于：包含如下步骤：
步骤一激光雷达数据预处理：
建立由N×N个正方形栅格组成的栅格平面，其中，N＝D/G，式中，D为最大探测距离，通常在50米到100米之间，G为栅格边长；
确定激光雷达在数据点坐标系，其中数据点坐标系是以雷达中心为原点O，面朝救援车车头，自左向右沿横梁方向为OX轴，按右手定则建立；
接下来，将栅格划分为障碍物栅格和非障碍物栅格，划分依据为：
对于语句1中的条件①，P_num为每个栅格中数据点的个数，n是条件①成立的阈值，对于语句1中的条件②，Z_max为每个栅格中所有数据点之间最大高度差，m是条件②成立的阈值，满足语句1中的两个条件的栅格为障碍物栅格，否则为非障碍物栅格，将障碍物栅格的栅格属性标记为1，称为障碍点，非障碍物栅格的栅格属性标记为0，称为非障碍点，激光雷达数据在栅格平面上被处理成了一幅二值栅格图像I(u,v)，每个栅格对应于栅格图像中的一个像素点(u，v)，每个栅格的属性相当于栅格图像中点(u，v)处的像素值，u为栅格的行号，v为栅格的列号；
步骤二利用背景差法进行动态障碍物栅格提取并进行聚类分析：
静态障碍物所形成的障碍物栅格位置相对固定，如路边的墙和树等，而动态障碍物形成的障碍物栅格的位置不固定，利用背景差法，通过比较前后帧障碍物栅格的位置关系，提取动态障碍物栅格；
步骤三障碍物特征信息提取：
使用Harris角点提取算法提取障碍物的特征信息；
步骤四障碍物跟踪：
利用状态机转移的方法对周围障碍物进行实时监控，状态机转移的障碍物识别方法中，包括以下3种状态：1)待定状态；2)跟踪状态；3)丢失状态，在处理过程中，还包括2种操作行为，分别是：1)删除特征信息；2)退出。
2.根据权利要求1所述的一种面向道路救援安全监控的障碍物识别跟踪方法，其特征在于：步骤一中确定栅格边长方法如下：
首先要计算雷达水平分辨率Dr，水平分辨率是指雷达探测范围内相邻激光线之间的最大弧长，得雷达水平分辨率Dr在极坐标系下的计算公式：Dr＝Δangle·D·π/180，其中Δangle为雷达相邻两条激光线之间的夹角，因为只有当栅格边长G不小于雷达水平分辨率Dr时才能有效避免栅格虚设，所以取栅格边长G＝2Dr。
3.根据权利要求1所述的一种面向道路救援安全监控的障碍物识别跟踪方法，其特征在于：步骤一中激光雷达在数据点坐标系，OXYZ下包含的数据有：
数据点距雷达中心的距离L，数据点对应的雷达射线在数据点坐标系下与OYZ平面的夹角α，数据点对应的雷达射线在数据点坐标系下与OXY平面的夹角ω，根据公式：
<mrow> <mtable> <mtr> <mtd> <mrow> <mi>X</mi> <mo>=</mo> <mi>L</mi> <mi> </mi> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;omega;</mi> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;alpha;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>Y</mi> <mo>=</mo> <mi>L</mi> <mi> </mi> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;omega;</mi> <mi>cos</mi> <mi>&amp;alpha;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>Z</mi> <mo>=</mo> <mi>L</mi> <mi> </mi> <mi>sin</mi> <mi>&amp;omega;</mi> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
得到每个数据点在数据点坐标系下的X，Y，Z坐标，为了便于计算机处理，需将X，Y坐标正值化，正值化后，将三维点投影到栅格平面内，公式如下：
<mrow> <mtable> <mtr> <mtd> <mrow> <mi>R</mi> <mi>o</mi> <mi>w</mi> <mo>=</mo> <mfrac> <mrow> <mi>Y</mi> <mo>+</mo> <msub> <mi>map</mi> <mi>y</mi> </msub> </mrow> <mi>G</mi> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>C</mi> <mi>o</mi> <mi>l</mi> <mo>=</mo> <mfrac> <mrow> <mi>X</mi> <mo>+</mo> <msub> <mi>map</mi> <mi>x</mi> </msub> </mrow> <mi>G</mi> </mfrac> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
式(2)中，mapx为正值化过程中横坐标X在OX轴方向上的偏移量，mapy为正值化过程中Y在OY轴方向上的偏移量，Row为每个数据点所投影到的栅格的行号，Col为每个数据点所投影到的栅格的列号。
4.根据权利要求1所述的一种面向道路救援安全监控的障碍物识别跟踪方法，其特征在于：步骤二提取动态障碍物栅格具体做法如下：
开始时，取任一数据帧为背景帧，每T秒取一帧新的数据帧作为新的背景帧，T取为5；判断数据帧中的障碍物栅格是否为动态障碍物栅格的依据为：
对于语句2中的条件③，SBk是背景帧中第k个栅格的属性，对于语句2中的条件④，SDk是数据帧中第k个栅格的属性，k＝1,2,...N2，满足语句2中的两个条件的障碍物栅格即为动态障碍物栅格，否则看作静态障碍物栅格，静态障碍物栅格在之后的分析中不予考虑；提取出运动的障碍物栅格后，对这些栅格进行聚类，其处理流程为：
遍历所有栅格，若遇到的栅格是障碍点，判断其左方和上方的栅格是否障碍点，如果都不是，则表示该栅格属于一个新的聚类区域，聚类区域从0开始标号，依次为0,1,2…，直到所有的栅格都被聚类完；若此栅格的左方是障碍点，上方是非障碍点，则此栅格和其左边的栅格属于用一个聚类区域；若此栅格左方是非障碍点，上方是障碍点，则此栅格和其上方的栅格属于同一个聚类区域；若此栅格左方和上方都是障碍点，则此栅格属于其左方和上方栅格所属的两个聚类区域中标号较小的那个聚类区域，并将这两个聚类区域中标号较大的聚类区域的并入标号较小的聚类区域，使之成为同一个聚类区域。
5.根据权利要求1所述的一种面向道路救援安全监控的障碍物识别跟踪方法，其特征在于：步骤三障碍物特征信息提取，具体包含如下子步骤：
子步骤1)计算栅格图像I(u,v)在u和v两个方向的梯度Iu、Iv：
<mrow> <mtable> <mtr> <mtd> <mrow> <msub> <mi>I</mi> <mi>u</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>I</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>,</mo> <mi>v</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&amp;part;</mo> <mi>u</mi> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>I</mi> <mi>v</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>I</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>,</mo> <mi>v</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&amp;part;</mo> <mi>v</mi> </mrow> </mfrac> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
子步骤2)计算任一点(u，v)周围窗口图像的自相关矩阵M，令：
<mrow> <mtable> <mtr> <mtd> <mrow> <mi>A</mi> <mo>=</mo> <mi>g</mi> <mrow> <mo>(</mo> <msubsup> <mi>I</mi> <mi>u</mi> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>I</mi> <mi>u</mi> <mn>2</mn> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>B</mi> <mo>=</mo> <mi>g</mi> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mrow> <mi>u</mi> <mi>v</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>I</mi> <mi>u</mi> </msub> <msub> <mi>I</mi> <mi>v</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>C</mi> <mo>=</mo> <mi>g</mi> <mrow> <mo>(</mo> <msubsup> <mi>I</mi> <mi>v</mi> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>I</mi> <mi>v</mi> <mn>2</mn> </msubsup> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
由此得到任一点(u，v)周围窗口图像的自相关矩阵M，即：
<mrow> <mi>M</mi> <mo>=</mo> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <mi>A</mi> </mtd> <mtd> <mi>B</mi> </mtd> </mtr> <mtr> <mtd> <mi>B</mi> </mtd> <mtd> <mi>C</mi> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
子步骤3)计算每个点的Harris响应值R，并对小于某一阈值t的R置位零，Harris相应值的计算方法为：
R＝{R:det M-η(trace(M))2＜t} (6)；
式(6)中det M表示矩阵M的行列式，trace(M)表示矩阵M的迹，尺度因子η为经验值，η＝0.04，得到每个点的Harris响应值后，在5×5的领域内进行非最大值抑制，局部最大值点即为栅格图像中的角点，每个障碍物的角点信息即为每个障碍物的特征信息。
6.根据权利要求1所述的一种面向道路救援安全监控的障碍物识别跟踪方法，其特征在于：步骤四障碍物跟踪，具体过程如下：
若一个障碍物开始进入雷达视野范围，则被标记为待定状态，同时记录其特征信息，当这个障碍物在3帧内重复出现在雷达视野范围内时，就将其标记为跟踪状态，否则将其特征信息删除；处于跟踪状态的障碍物若在一帧数据帧中丢失，就将被标记为丢失状态，如果在接下来的3帧中该障碍物重新出现，则该障碍物重新被标记为跟踪状态，否则将其特征信息删除；完成一帧数据帧的处理后，退出对这一帧数据帧的操作；系统实时监控处于跟踪状态的障碍物距离雷达中心的距离，一旦其距离雷达中心的距离小于一定阈值，立刻通过预警机制向救援操作人员发出预警，从而降低二次事故发生的可能。
CN201710341934.5A 2017-05-16 2017-05-16 一种面向道路救援安全监控的障碍物识别跟踪方法 Expired - Fee Related CN107239746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710341934.5A CN107239746B (zh) 2017-05-16 2017-05-16 一种面向道路救援安全监控的障碍物识别跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710341934.5A CN107239746B (zh) 2017-05-16 2017-05-16 一种面向道路救援安全监控的障碍物识别跟踪方法

Publications (2)

Publication Number Publication Date
CN107239746A true CN107239746A (zh) 2017-10-10
CN107239746B CN107239746B (zh) 2020-08-14

Family

ID=59985108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710341934.5A Expired - Fee Related CN107239746B (zh) 2017-05-16 2017-05-16 一种面向道路救援安全监控的障碍物识别跟踪方法

Country Status (1)

Country Link
CN (1) CN107239746B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108226895A (zh) * 2017-12-27 2018-06-29 吉林大学 基于激光雷达的静态障碍物识别系统及识别方法
CN108802758A (zh) * 2018-05-30 2018-11-13 北京应互科技有限公司 一种基于激光雷达的智能安防监控装置、方法和系统
CN110161526A (zh) * 2019-05-24 2019-08-23 河南辉煌科技股份有限公司 一种基于三维成像的线路障碍物识别方法
CN110210389A (zh) * 2019-05-31 2019-09-06 东南大学 一种面向道路交通场景的多目标识别跟踪方法
CN111007534A (zh) * 2019-11-19 2020-04-14 武汉光庭科技有限公司 一种利用十六线激光雷达的障碍物检测方法及系统
CN112102151A (zh) * 2020-07-27 2020-12-18 广州视源电子科技股份有限公司 栅格地图的生成方法、装置、移动智慧设备和存储介质
CN113343835A (zh) * 2021-06-02 2021-09-03 合肥泰瑞数创科技有限公司 一种适用于应急救援的物体识别方法、系统及存储介质
CN114677588A (zh) * 2022-03-18 2022-06-28 深圳市普渡科技有限公司 障碍物检测的方法、装置、机器人和存储介质
CN116311095A (zh) * 2023-03-16 2023-06-23 广州市衡正工程质量检测有限公司 基于区域划分的路面检测方法、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043383A (ja) * 1999-07-29 2001-02-16 Oki Electric Ind Co Ltd 画像監視システム
CN104298971A (zh) * 2014-09-28 2015-01-21 北京理工大学 一种3d点云数据中的目标识别方法
CN104766302A (zh) * 2015-02-05 2015-07-08 武汉大势智慧科技有限公司 一种利用无人机图像优化激光扫描点云数据的方法及系统
US20160223643A1 (en) * 2015-01-28 2016-08-04 Wenhua Li Deep Fusion of Polystatic MIMO Radars with The Internet of Vehicles for Interference-free Environmental Perception
CN106199558A (zh) * 2016-08-18 2016-12-07 宁波傲视智绘光电科技有限公司 障碍物快速检测方法
CN106599832A (zh) * 2016-12-09 2017-04-26 重庆邮电大学 一种基于卷积神经网络的多类障碍物检测与识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043383A (ja) * 1999-07-29 2001-02-16 Oki Electric Ind Co Ltd 画像監視システム
CN104298971A (zh) * 2014-09-28 2015-01-21 北京理工大学 一种3d点云数据中的目标识别方法
US20160223643A1 (en) * 2015-01-28 2016-08-04 Wenhua Li Deep Fusion of Polystatic MIMO Radars with The Internet of Vehicles for Interference-free Environmental Perception
CN104766302A (zh) * 2015-02-05 2015-07-08 武汉大势智慧科技有限公司 一种利用无人机图像优化激光扫描点云数据的方法及系统
CN106199558A (zh) * 2016-08-18 2016-12-07 宁波傲视智绘光电科技有限公司 障碍物快速检测方法
CN106599832A (zh) * 2016-12-09 2017-04-26 重庆邮电大学 一种基于卷积神经网络的多类障碍物检测与识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
RADU GABRIEL DANESCU: "obstacle detection using dynamic particle-based occupancy grids", 《2011 INTERNATIONAL CONFERENCE ON DIGITAL IMAGE COMPUTING：TECHNIQUES AND APPLICATIONS》 *
徐晶等: "《计算机视觉中的运动检测与跟踪》", 30 September 2012, 北京：国防工业出版社 *
杨飞等: "基于三维激光雷达的动态障碍实时检测与跟踪", 《浙江大学学报（工学版）》 *
田国会等: "病房巡视机器人复杂环境下的避障技术研究", 《华中科技大学学报（自然科学版）》 *
航空制造工程手册总编委会: "《移动机器人粒子滤波定位于地图创建》", 30 September 2016, 北京：航空工业出版社 *
陆云飞: "基于视频的轨迹提取及行人异常行为检测技术的研究", 《中国优秀硕士学位论文全文数据库（电子期刊） 信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108226895A (zh) * 2017-12-27 2018-06-29 吉林大学 基于激光雷达的静态障碍物识别系统及识别方法
CN108802758B (zh) * 2018-05-30 2021-02-12 北京应互科技有限公司 一种基于激光雷达的智能安防监控装置、方法和系统
CN108802758A (zh) * 2018-05-30 2018-11-13 北京应互科技有限公司 一种基于激光雷达的智能安防监控装置、方法和系统
CN110161526A (zh) * 2019-05-24 2019-08-23 河南辉煌科技股份有限公司 一种基于三维成像的线路障碍物识别方法
CN110210389A (zh) * 2019-05-31 2019-09-06 东南大学 一种面向道路交通场景的多目标识别跟踪方法
CN110210389B (zh) * 2019-05-31 2022-07-19 东南大学 一种面向道路交通场景的多目标识别跟踪方法
CN111007534A (zh) * 2019-11-19 2020-04-14 武汉光庭科技有限公司 一种利用十六线激光雷达的障碍物检测方法及系统
CN112102151A (zh) * 2020-07-27 2020-12-18 广州视源电子科技股份有限公司 栅格地图的生成方法、装置、移动智慧设备和存储介质
CN112102151B (zh) * 2020-07-27 2024-05-14 广州视源电子科技股份有限公司 栅格地图的生成方法、装置、移动智慧设备和存储介质
CN113343835A (zh) * 2021-06-02 2021-09-03 合肥泰瑞数创科技有限公司 一种适用于应急救援的物体识别方法、系统及存储介质
CN114677588A (zh) * 2022-03-18 2022-06-28 深圳市普渡科技有限公司 障碍物检测的方法、装置、机器人和存储介质
CN116311095A (zh) * 2023-03-16 2023-06-23 广州市衡正工程质量检测有限公司 基于区域划分的路面检测方法、计算机设备及存储介质
CN116311095B (zh) * 2023-03-16 2024-01-02 广州市衡正工程质量检测有限公司 基于区域划分的路面检测方法、计算机设备及存储介质

Also Published As

Publication number Publication date
CN107239746B (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN107239746A (zh) 一种面向道路救援安全监控的障碍物识别跟踪方法
CN110532889B (zh) 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN103021177B (zh) 一种雾天交通监控视频图像的处理方法和系统
CN111461088B (zh) 一种基于图像处理与目标识别的轨道交通避障系统
CN112800860B (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
CN103345840B (zh) 一种交叉道路口横穿道路事件视频检测方法
WO2018006659A1 (zh) 一种航道监控目标获取方法及装置
CN106485245A (zh) 一种基于可见光和红外图像的全天候目标实时跟踪方法
CN107193011A (zh) 一种用于快速计算无人驾驶车感兴趣区域内车辆速度的方法
CN101964145A (zh) 一种自动车牌识别方法及其系统
CN111626170B (zh) 一种铁路边坡落石侵限检测的图像识别方法
Kulkarni et al. Real time vehicle detection, tracking and counting using Raspberry-Pi
CN103632427B (zh) 一种道闸防砸方法及道闸控制系统
CN102521842B (zh) 一种实现快速移动检测的方法和装置
CN112836657B (zh) 一种基于轻量化YOLOv3的行人检测方法及系统
CN112434566B (zh) 客流统计方法、装置、电子设备及存储介质
CN111753651A (zh) 一种基于车站二维人群密度分析的地铁群体异常行为检测方法
CN104063882A (zh) 一种基于双目的车辆视频测速方法
CN111008574A (zh) 一种基于形体识别技术的重点人员轨迹分析方法
CN113743260A (zh) 一种地铁站台密集人流情况下的行人跟踪方法
CN108520526A (zh) 一种车前方动态障碍物检测方法
CN114494983A (zh) 一种铁路异物入侵监测方法及系统
Qu et al. Human-vehicle collision detection algorithm based on image processing
CN114248819A (zh) 基于深度学习的铁路侵限异物无人机检测方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200814