CN111967374B - 基于图像处理的矿山障碍物识别方法、系统及设备 - Google Patents

基于图像处理的矿山障碍物识别方法、系统及设备 Download PDF

Info

Publication number
CN111967374B
CN111967374B CN202010818696.4A CN202010818696A CN111967374B CN 111967374 B CN111967374 B CN 111967374B CN 202010818696 A CN202010818696 A CN 202010818696A CN 111967374 B CN111967374 B CN 111967374B
Authority
CN
China
Prior art keywords
obstacle
real
track
time image
obstacles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010818696.4A
Other languages
English (en)
Other versions
CN111967374A (zh
Inventor
郑恩涛
吴旭宾
秦晓驹
王亚飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Haibo Intelligent Technology Co ltd
Original Assignee
Anhui Haibo Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Haibo Intelligent Technology Co ltd filed Critical Anhui Haibo Intelligent Technology Co ltd
Priority to CN202010818696.4A priority Critical patent/CN111967374B/zh
Publication of CN111967374A publication Critical patent/CN111967374A/zh
Application granted granted Critical
Publication of CN111967374B publication Critical patent/CN111967374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像处理的矿山障碍物识别方法，步骤如下：对包含障碍物的历史图像进行标注生成训练集，将训练集输入到深度学习模型中生成识别模型；将包含障碍物的实时图像输入到识别模型中，得到障碍物信息，并通过障碍物信息生成障碍物特征；对同一障碍物不同时刻的障碍物特征进行比对，获取障碍物的实时位置并生成该障碍物的运行轨迹。

Description

基于图像处理的矿山障碍物识别方法、系统及设备
技术领域
本发明涉及矿车无人驾驶领域，具体涉及一种基于图像处理的矿山障碍物识别方法、系统及设备。
背景技术
矿山路况复杂，但人员较少，适于进行无人驾驶技术的落地实施。
现有技术中深度学习在做障碍物检测时模型计算量大，参数大，占用内存大，而嵌入式计算资源有限制，导致矿车的无人驾驶控制时障碍物识别的实时性较差。
发明内容
为解决上述技术问题，本发明提供一种基于图像处理的矿山障碍物识别方法、系统及设备。
为解决上述技术问题，本发明采用如下技术方案：
一种基于图像处理的矿山障碍物识别方法，步骤如下：
步骤一：对包含障碍物的历史图像进行标注生成训练集，将训练集输入到深度学习模型中生成识别模型；
步骤二：将包含障碍物的实时图像输入到识别模型中，得到障碍物信息，并通过障碍物信息生成障碍物特征；
步骤三：对同一障碍物不同时刻的障碍物特征进行比对，获取障碍物的实时位置并生成该障碍物的运行轨迹。
具体地，所述障碍物包括路面坑洼、路边护栏、积水、石头、卸货护栏、卸货仓、通讯立杆、反光地面、石碓、挖掘机、土堆、行人以及矿车。
具体地，步骤二中，所述障碍物信息包括障碍物实时图像、障碍物边界框、障碍物类别、障碍物类别得分、车辆与障碍物的距离、车辆与障碍物之间的朝向角、障碍物关键点矩阵、障碍物所在帧号。
具体地，步骤二中，将实时图像输入到识别模型前，采用Yolact模型对多个障碍物进行分割，将实时图像输入到识别模型后，所述识别模型分别输出多个障碍物的障碍物信息。
具体地，步骤二中，将实时图像输入到识别模型中并生成障碍物特征时，所述识别模型将实时图像中的包含障碍物的区域进行框取，得到包含障碍物的二维区域，通过单视图度量衡定理将二维区域转换为三维区域，提取三维区域中的感兴趣区域，并生成感兴趣区域的特征描述子，所述障碍物特征即为所述特征描述子。
具体地，步骤三中，对同一障碍物不同时刻的障碍物特征进行比对时，将两个实时图像的边缘对齐，上一帧实时图像中障碍物的中心点为A，在当前帧实时图像中与A点对应的点为A1，则在A1点周围进行局部搜索：
如果在阈值距离内存在与该障碍物匹配的目标，则将该目标中心点加入到轨迹中，并进行轨迹更新；
如果在阈值距离内不存在与该障碍物匹配的目标，则利用最小二乘法进行轨迹预测，生成预测轨迹，如果阈值时间内与该障碍物匹配的目标出现在预测轨迹上，则将该目标的中心点加入到轨迹中，并进行轨迹更新；若在阈值时间内该预测轨迹上未能出现与该障碍物匹配的目标，则认为该轨迹结束，在轨迹的末尾生成轨迹结束标记。
具体地，在当前帧实时图像的A1点周围进行局部搜索时，如果当前帧实时图像中存在一个目标，且该目标的特征描述子与上一帧实时图像中障碍物的特征描述子相同，则认为所述目标与所述障碍物匹配。
一种基于图像处理的矿山障碍物识别系统，包括：
模型生成模块，其对包含障碍物的历史图像进行标注生成训练集，将训练集输入到深度学习模型中生成识别模型；
障碍物识别模块，其将包含障碍物的实时图像输入到识别模型中，得到障碍物信息，并通过障碍物信息生成障碍物特征；
特征对比模块，其对同一障碍物不同时刻的障碍物特征进行比对，获取障碍物的实时位置并生成该障碍物的运行轨迹。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，所述处理器执行所述障碍物识别方法的步骤。
与现有技术相比，本发明的有益技术效果是：
本发明通过嵌入式计算平台对无人驾驶时障碍物的位置以及运行轨迹进行快速识别，并据此规划可行驶区域；所使用的Yolact模型对障碍物进行分割时，能够利用嵌入式平台的GPU对计算过程进行加速，故对嵌入式平台的性能要求较低，能够实现系统的低功耗、低成本，并保证识别的实时性。
附图说明
图1为本发明识别方法的流程示意图。
具体实施方式
下面结合附图对本发明的一种优选实施方式作详细的说明。
如图1所示，一种基于图像处理的矿山障碍物识别方法，步骤如下：
S1：对包含障碍物的历史图像进行标注生成训练集，将训练集输入到深度学习模型中生成识别模型。
具体地，所述障碍物包括路面坑洼、路边护栏、积水、石头、卸货护栏、卸货仓、通讯立杆、反光地面、石碓、挖掘机、土堆、行人以及矿车；这些障碍物可以分为动态障碍物和静态障碍物。
采集矿区约10万张图像样本进行模型训练，深度学习服务器GPU配置为2*RTX2080Super，主要使用Pytorch1.3.1为框架。
S2：将包含障碍物的实时图像输入到识别模型中，得到障碍物信息，并通过障碍物信息生成障碍物特征。
具体地，步骤二中，所述障碍物信息包括障碍物实时图像、障碍物边界框、障碍物类别、障碍物类别得分、车辆与障碍物的距离、车辆与障碍物之间的朝向角、障碍物关键点矩阵、障碍物所在帧号。
实时图像的采集借助单目V4L USB前视相机，其分辨率为1280*720，采用ROS驱动获取图像信息；该前视相机投入使用前，先采用张正友相机标定算法获取相机的内部参数和畸变系数。
生成障碍物特征时需要用到上述障碍物信息。
具体地，步骤二中，将实时图像输入到识别模型前，采用Yolact模型对多个障碍物进行分割，将实时图像输入到识别模型后，所述识别模型分别输出多个障碍物的障碍物信息。
Yolact模型用于二维图像的障碍物分割，是现有技术，其对目标进行分割的原理如下。
Yolact模型的特征提取网络backbone采用resnet101，共有3个分支，分别为1个分支输出目标位置、1个分支输出mask系数、1个分类置信率，决定目标的有4+k+c个参数；其中4表示目标位置，k表示mask系数，c表示分类置信率。
大致过程如下：从backbone中取出C3，C4，C5；通过FPN网络生成P3，P4，P5，通过P5生成P6和P7；P3通过Protonet生成k个138*138的proto原型；P3～P7通过Prediction Head网络各生成W*H*a个目标位置、mask系数以及分类置信率；把上面的结果进行FastNMS处理；FastNMS的处理结果和Protonet输出的k个138*138的Proto原型进行组合运算即可获得最终的检测结果；其中a为anchor数目。
所使用的Yolact模型对障碍物进行分割时，能够利用嵌入式平台的GPU对计算过程进行加速，故对嵌入式平台的性能要求较低，能够实现系统的低功耗、低成本，并保证识别的实时性。
具体地，步骤二中，将实时图像输入到识别模型中并生成障碍物特征时，所述识别模型将实时图像中的包含障碍物的区域进行框取，得到包含障碍物的二维区域，通过单视图度量衡定理将二维区域转换为三维区域，提取三维区域中的感兴趣区域，并生成感兴趣区域的特征描述子，所述障碍物特征即为所述特征描述子。
将二维区域转换为三维区域的过程中，除了用到单视图度量衡定理外，还需要用到上述前视相机的内部参数和畸变系数；即需要先利用相机的内部参数和畸变系数对实时图像进行校正。
假设地面平行，障碍物仅在垂直地面的坐标轴有旋转；目标中心高度与前视相机高度相当；同一类别障碍物的物理尺寸不存在量级上的偏差，朝向角与障碍物在图像中的位置关系不大，因此可以通过通用的物体检测框架来训练，并对障碍物信息进行估计。
单视图度量衡定理：任何一个物体，已知它的长宽高、朝向和距离，则它在图像上的具体形状大小等可唯一确定；反之亦然。
基于单视图量衡定理，可以建立一个哈西查询表，根据障碍物信息中的图像尺寸、物理尺寸、朝向角来查询目标的距离；根据每个障碍物的平均尺寸，建立查询表，覆盖360°朝向角的变化，映射不同的车辆与障碍物之间的距离；例如二维区域的高为25个像素，航向角为30°，则障碍物的距离为100米；通过上述转换，将二维区域转换为三维区域。
感兴趣区域，也称为ROI，本实施例中通过特征识别提取三维区域中的感兴趣区域；不同领域中，感兴趣区域是不同，本实施例中的感兴趣区域即为存在障碍物特征的区域；本实施例利用包含障碍物特征的实时图像，并结合深度学习算法，生成提取模型，识别包含障碍物特征的感兴趣区域。
障碍物特征融合了Akaze强角点特征、颜色直方图特征和边缘方向直方图特征；其中，Akaze强角点特征利用Akaze算法计算得到，Akaze算法利用了非线性扩散滤波的优势，获取低计算要求的特征，引入快速显示扩散数学框架FED来快速求解偏微分方程；采用FED来建立尺度空间要比当下其它的非线性模式建立尺度空间都要快，同时比AOS更加准确；另外其引入一个高效的改进局部差分二进制描述符，增加了旋转与尺度不变的鲁棒性，结合FED构建的尺度空间梯度信息增加了独特性；与SIFT、SURF算法相比，AKAZE算法更快同时与ORB、BRISK算法相比，可重复性与鲁棒性提升很大。
特征描述子，用于对障碍物特征进行描述，是一种二进制编码；障碍物特征是抽象的，无法比较的，而特征描述子是二进制编码，能够相互比较，判断两个障碍物特征是否相同。
S3：对同一障碍物不同时刻的障碍物特征进行比对，获取障碍物的实时位置并生成该障碍物的运行轨迹。
具体地，步骤三中，对同一障碍物不同时刻的障碍物特征进行比对时，将两个实时图像的边缘对齐，上一帧实时图像中障碍物的中心点为A，在当前帧实时图像中与A点对应的点为A1，则在A1点周围进行局部搜索：
如果在阈值距离内存在与该障碍物匹配的目标，则将该目标中心点加入到轨迹中，并进行轨迹更新；
如果在阈值距离内不存在与该障碍物匹配的目标，则利用最小二乘法进行轨迹预测，生成预测轨迹，如果阈值时间内与该障碍物匹配的目标出现在预测轨迹上，则将该目标的中心点加入到轨迹中，并进行轨迹更新；若在阈值时间内该预测轨迹上未能出现与该障碍物匹配的目标，则认为该轨迹结束，在轨迹的末尾生成轨迹结束标记。
具体地，在当前帧实时图像的A1点周围进行局部搜索时，如果当前帧实时图像中存在一个目标，且该目标的特征描述子与上一帧实时图像中障碍物的特征描述子相同，则认为所述目标与所述障碍物匹配。
利用特征比对方法对实时图像进行前后帧进行目标搜索，分析障碍物的运动速度，并考虑遮挡物等对障碍物跟踪的影响，并采用近邻搜索进行跟踪分析。
本实施例中，车辆行驶时，实时跟踪的障碍物数量小于或者等于10个，并考虑4s以内的障碍物遮挡问题。
其工作流程如下：
a、识别模型给出障碍物信息，包含所述障碍物信息包括障碍物实时图像、障碍物边界框、障碍物类别、障碍物类别得分、车辆与障碍物的距离、车辆与障碍物之间的朝向角、障碍物关键点矩阵、障碍物所在帧号；根据上述信息得到障碍物特征、特征描述子；
b、对于两帧图像，对上一帧图像中的各个障碍物，在当前帧图像中分别进行局部临域搜索，例如与障碍物中心距离小于100个像素内搜索，如果存在与上一帧障碍物匹配的目标，将与障碍物中心距离最近的目标加入到轨迹中；如果当前帧中不存在与上一帧中某个障碍物匹配的目标，则利用最小二乘法进行轨迹预测，若在4s内在预测轨迹上找到与上一帧某障碍物匹配的目标，则将该目标加入到轨迹中，若4s内仍然无匹配，则认为该轨迹结束，在轨迹的最后生成轨迹结束标记；
c、判断轨迹上是否存在轨迹结束标记，若不存在，重复A、B步骤。
经过上述过程，生成了各障碍物的运行轨迹，无人车辆可据此生成可行驶区域，避免与障碍物发生碰撞。
一种基于图像处理的矿山障碍物识别系统，包括：
模型生成模块，其对包含障碍物的历史图像进行标注生成训练集，将训练集输入到深度学习模型中生成识别模型；
障碍物识别模块，其将包含障碍物的实时图像输入到识别模型中，得到障碍物信息，并通过障碍物信息生成障碍物特征；
特征对比模块，其对同一障碍物不同时刻的障碍物特征进行比对，获取障碍物的实时位置并生成该障碍物的运行轨迹。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，所述处理器执行所述障碍物识别方法的步骤。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立技术方案，说明书的这种叙述方式仅仅是为了清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (3)

1.一种基于图像处理的矿山障碍物识别方法，步骤如下：
步骤一：对包含障碍物的历史图像进行标注生成训练集，将训练集输入到深度学习模型中生成识别模型；
步骤二：将包含障碍物的实时图像输入到识别模型中，得到障碍物信息，并通过障碍物信息生成障碍物特征；
步骤三：对同一障碍物不同时刻的障碍物特征进行比对，获取障碍物的实时位置并生成该障碍物的运行轨迹；
所述障碍物包括路面坑洼、路边护栏、积水、石头、卸货护栏、卸货仓、通讯立杆、反光地面、石碓、挖掘机、土堆、行人以及矿车；
步骤二中，所述障碍物信息包括障碍物实时图像、障碍物边界框、障碍物类别、障碍物类别得分、车辆与障碍物的距离、车辆与障碍物之间的朝向角、障碍物关键点矩阵、障碍物所在帧号；
步骤二中，将实时图像输入到识别模型中并生成障碍物特征时，所述识别模型将实时图像中的包含障碍物的区域进行框取，得到包含障碍物的二维区域，通过单视图度量衡定理将二维区域转换为三维区域，提取三维区域中的感兴趣区域，并生成感兴趣区域的特征描述子，所述障碍物特征即为所述特征描述子；
障碍物特征融合了Akaze强角点特征、颜色直方图特征和边缘方向直方图特征；其中，Akaze强角点特征利用Akaze算法计算得到，Akaze算法利用了非线性扩散滤波的优势，获取低计算要求的特征，引入快速显示扩散数学框架FED来快速求解偏微分方程；
步骤三中，对同一障碍物不同时刻的障碍物特征进行比对时，将两个实时图像的边缘对齐，上一帧实时图像中障碍物的中心点为A，在当前帧实时图像中与A点对应的点为A1，则在A1点周围进行局部搜索：
如果在阈值距离内存在与该障碍物匹配的目标，则将该目标中心点加入到轨迹中，并进行轨迹更新；
如果在阈值距离内不存在与该障碍物匹配的目标，则利用最小二乘法进行轨迹预测，生成预测轨迹，如果阈值时间内与该障碍物匹配的目标出现在预测轨迹上，则将该目标的中心点加入到轨迹中，并进行轨迹更新；若在阈值时间内该预测轨迹上未能出现与该障碍物匹配的目标，则认为该轨迹结束，在轨迹的末尾生成轨迹结束标记；
在当前帧实时图像的A1点周围进行局部搜索时，如果当前帧实时图像中存在一个目标，且该目标的特征描述子与上一帧实时图像中障碍物的特征描述子相同，则认为所述目标与所述障碍物匹配。
2.根据权利要求1所述的基于图像处理的矿山障碍物识别方法，其特征在于：步骤二中，将实时图像输入到识别模型前，采用Yolact模型对多个障碍物进行分割，将实时图像输入到识别模型后，所述识别模型分别输出多个障碍物的障碍物信息。
3.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，所述处理器执行如权利要求1-2中任一项所述障碍物识别方法的步骤。
CN202010818696.4A 2020-08-14 2020-08-14 基于图像处理的矿山障碍物识别方法、系统及设备 Active CN111967374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010818696.4A CN111967374B (zh) 2020-08-14 2020-08-14 基于图像处理的矿山障碍物识别方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010818696.4A CN111967374B (zh) 2020-08-14 2020-08-14 基于图像处理的矿山障碍物识别方法、系统及设备

Publications (2)

Publication Number Publication Date
CN111967374A CN111967374A (zh) 2020-11-20
CN111967374B true CN111967374B (zh) 2021-10-01

Family

ID=73366100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010818696.4A Active CN111967374B (zh) 2020-08-14 2020-08-14 基于图像处理的矿山障碍物识别方法、系统及设备

Country Status (1)

Country Link
CN (1) CN111967374B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034580B (zh) * 2021-03-05 2023-01-17 北京字跳网络技术有限公司 图像信息检测方法、装置和电子设备
CN114399741A (zh) * 2021-12-03 2022-04-26 际络科技(上海)有限公司 基于显著性检测的路面障碍物识别方法和系统
CN113920490A (zh) * 2021-12-15 2022-01-11 深圳佑驾创新科技有限公司 车辆障碍检测方法、装置及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111679678A (zh) * 2020-06-30 2020-09-18 安徽海博智能科技有限责任公司 一种横纵向分离的轨迹规划方法、系统及计算机设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251928A (zh) * 2008-03-13 2008-08-27 上海交通大学 基于核的对象跟踪方法
CN101950424B (zh) * 2010-09-09 2012-06-20 西安电子科技大学 基于质心跟踪框架的特征关联细胞跟踪方法
CN105216792A (zh) * 2014-06-12 2016-01-06 株式会社日立制作所 对周围环境中的障碍物目标进行识别跟踪的方法和设备
CN106023244A (zh) * 2016-04-13 2016-10-12 南京邮电大学 基于最小二乘法轨迹预测及智能避障模型的行人跟踪方法
CN110018496A (zh) * 2018-01-10 2019-07-16 北京京东尚科信息技术有限公司 障碍物识别方法及装置、电子设备、存储介质
CN109829386B (zh) * 2019-01-04 2020-12-11 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN111337941B (zh) * 2020-03-18 2022-03-04 中国科学技术大学 一种基于稀疏激光雷达数据的动态障碍物追踪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111679678A (zh) * 2020-06-30 2020-09-18 安徽海博智能科技有限责任公司 一种横纵向分离的轨迹规划方法、系统及计算机设备

Also Published As

Publication number Publication date
CN111967374A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN111967374B (zh) 基于图像处理的矿山障碍物识别方法、系统及设备
CN110175576B (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
US9990736B2 (en) Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms
Alvarez et al. Combining priors, appearance, and context for road detection
CN110738673A (zh) 基于实例分割的视觉slam方法
CN107167811A (zh) 基于单目视觉与激光雷达融合的道路可行驶区域检测方法
CN113506318B (zh) 一种车载边缘场景下的三维目标感知方法
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN112825192B (zh) 基于机器学习的对象辨识系统及其方法
CN115049700A (zh) 一种目标检测方法及装置
CN108597009A (zh) 一种基于方向角信息进行三维目标检测的方法
Nguyen et al. Real-time vehicle detection using an effective region proposal-based depth and 3-channel pattern
Ma et al. Crlf: Automatic calibration and refinement based on line feature for lidar and camera in road scenes
Qian et al. Robust visual-lidar simultaneous localization and mapping system for UAV
WO2021018690A1 (en) Method for determining an environmental model of a scene
Rangesh et al. Ground plane polling for 6dof pose estimation of objects on the road
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
Quach et al. Real-time lane marker detection using template matching with RGB-D camera
Ma et al. DSOD: DSO in dynamic environments
CN113671522B (zh) 基于语义约束的动态环境激光slam方法
CN113221739A (zh) 基于单目视觉的车距测量方法
CN113496163A (zh) 障碍物识别方法和装置
CN114820931B (zh) 基于虚拟现实的智慧城市cim可视化实时成像方法
Han et al. Accurate and robust vanishing point detection method in unstructured road scenes
Kang et al. Real-time road surface marking detection from a bird’s-eye view image using convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant