CN115576329A - 一种基于计算机视觉的无人驾驶agv小车的避障方法 - Google Patents

一种基于计算机视觉的无人驾驶agv小车的避障方法 Download PDF

Info

Publication number
CN115576329A
CN115576329A CN202211437823.1A CN202211437823A CN115576329A CN 115576329 A CN115576329 A CN 115576329A CN 202211437823 A CN202211437823 A CN 202211437823A CN 115576329 A CN115576329 A CN 115576329A
Authority
CN
China
Prior art keywords
feature point
depth
moment
point set
agv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211437823.1A
Other languages
English (en)
Other versions
CN115576329B (zh
Inventor
卢岩涛
白璐
孙仕琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202211437823.1A priority Critical patent/CN115576329B/zh
Publication of CN115576329A publication Critical patent/CN115576329A/zh
Application granted granted Critical
Publication of CN115576329B publication Critical patent/CN115576329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

本发明涉及数据处理领域，具体涉及一种基于计算机视觉的无人驾驶AGV小车的避障方法，包括：获取待分析图像组，对待分析图像组中各个灰度图像的所有特征点进行匹配，得到各个特征点集；根据各个特征点集中各个特征点的深度得到所述各个特征点集的运动状态；根据第一时刻中各个特征点所属特征点集的运动状态，所述各个特征点的深度以及所述各个特征点的坐标得到所述各个特征点的关注度；根据各个特征点集中各个特征点的深度以及坐标得到预测深度以及预测坐标，结合各个特征点关注度得到预测碰撞概率；根据预测碰撞概率控制AGV小车进行刹车避障。本发明可以避免频繁刹车的现象出现，进而保证AGV小车的工作效率。

Description

一种基于计算机视觉的无人驾驶AGV小车的避障方法
技术领域
本发明涉及数据处理领域，具体涉及一种基于计算机视觉的无人驾驶AGV小车的避障方法。
背景技术
AGV小车指装备有电磁或光学等自动导航装置，能够沿规定的导航路径行驶，具有安全保护以及各种移载功能的运输车。AGV小车凭借其承重大，工作效率高，以及可自主导航的特点，被广泛应用于物流仓储及柔性化生产线中，但是由于AGV小车的工作环境较为复杂，在其工作过程中不可避免会出现障碍物。
现有的AGV小车避障方法往往是判断物体与AGV小车之间的距离是否小于一定阈值，当小于该阈值时，AGV小车自动刹车并停止运行，但是由于AGV小车的实际工作环境较为复杂，并非所有小于距离阈值的物体均为障碍物，且并非所有障碍物都会对AGV小车的运行产生影响，如运动的物体，在某一时刻与AGV小车之间的距离小于阈值，但是随着该物体的运动，在下一时刻并不会与AGV小车发生碰撞，也就是说，在AGV小车的实际运行过程中，并不是遇到所有小于距离阈值的物体都需要停止，传统的避障方法容易出现误判而造成频繁的刹车，降低AGV小车的工作效率。因此需要一种能够准确获得AGV小车视野内不同位置不同物体的状态特点，并根据该状态特点进一步判断AGV小车是否需要进行刹车避障，使得AGV小车可以根据周边环境进行自适应避障，从而保证AGV小车的工作效率。
发明内容
本发明提供一种基于计算机视觉的无人驾驶AGV小车的避障方法，以解决现有的问题。
本发明的一种基于计算机视觉的无人驾驶AGV小车的避障方法采用如下技术方案：
本发明一个实施例提供了一种基于计算机视觉的无人驾驶AGV小车的避障方法，该方法包括以下步骤：
深度相机在相邻的三个时刻采集的数据构成待分析图像组，所述相邻的三个时刻按照时间从大到小的顺序分别记为：第一时刻、第二时刻和第三时刻，所述待分析图像组中每个数据均由一个灰度图像以及一个深度图构成；
根据待分析图像组中的灰度图像和深度图得到所有特征点以及各个特征点的深度，将待分析图像组中相邻时刻灰度图像进行特征点匹配，得到各个特征点集；根据各个特征点集中，在第一时刻、第二时刻以及第三时刻的特征点的深度得到所述各个特征点集的第一深度差值和第二深度差值，根据所述第一深度差值和第二深度差值得到所述各个特征点集的深度变化规律性；根据各个特征点集的第一深度差值之间的差异得到所述各个特征点集的深度变化差异性，根据所述深度变化规律性和深度变化差异性得到所述各个特征点集的运动状态；
根据第一时刻中各个特征点所属特征点集的运动状态、所述各个特征点的深度以及所述各个特征点的坐标得到所述各个特征点的关注度；根据第一时刻的各个特征点的深度以及所述各个特征点所属特征点集的第一深度差值得到所述各个特征点的预测深度；根据第一时刻的各个特征点的坐标以及所述各个特征点在第二时刻对应的特征点的坐标得到预测坐标；以关注度为权重对第一时刻各个特征点的预测深度、预测坐标进行融合得到预测碰撞概率；
根据预测碰撞概率控制AGV小车进行刹车避障。
优选的，所述各个特征点集的第一深度差值和第二深度差值的获取方法为：
将各个特征点集中第一时刻对应的特征点的深度与第二时刻对应特征点的深度之间的差值，记为所述各个特征点集的第一深度差值；将各个特征点集中第二时刻对应的特征点的深度与第三时刻对应特征点的深度之间的差值，记为所述各个特征点集的第二深度差值。
优选的，所述各个特征点集的深度变化规律性的获取方法为：
将各个特征点集的第一深度差值与所述各个特征点集的第二深度差值之间的比值作为第一比值，将各个特征点集的第二深度差值与所述各个特征点集的第一深度差值之间的比值作为第二比值，将第一比值与第二比值相加后减去2.0，所得结果作为所述各个特征点集的深度变化规律性。
优选的，所述各个特征点集的深度变化差异性的获取方法为：
计算所有特征点集的第一深度差值的均值，将各个特征点集的第一深度差值与所述均值之间差值的绝对值作为所述各个特征点集的深度变化差异性。
优选的，所述各个特征点集的运动状态的获取方法为：
将各个特征点集的深度变化规律性与深度变化差异性相乘，并构建所得相乘结果的正相关映射模型，将所得映射结果作为所述各个特征点集的运动状态。
优选的，所述各个特征点的关注度的获取方法为：
将灰度图像中所有像素点的横坐标的平均值作为图像中心点的横坐标，将所有像素点的纵坐标的平均值作为图像中心点的纵坐标；计算各个特征点与图像中心点之间的欧氏距离；计算各个特征点对应的欧氏距离与各个特征点的深度之间的乘积，计算运动状态与所述乘积之间的比值，将所得比值作为所述各个特征点的关注度。
优选的，所述预测碰撞概率的计算表达式为：
Figure 656750DEST_PATH_IMAGE001
式中，
Figure 778159DEST_PATH_IMAGE002
为预测碰撞概率；
Figure 709206DEST_PATH_IMAGE003
为第一时刻，即第t个时刻所包含的特征点的总个数；
Figure 151951DEST_PATH_IMAGE004
为第一时刻中第j个特征点的参考权重；
Figure 561066DEST_PATH_IMAGE005
为第一时刻中第j个特征点的预测深度；
Figure 271402DEST_PATH_IMAGE006
为第一时刻中第j个特征点的预测坐标到图像中心点的距离，
Figure 638930DEST_PATH_IMAGE007
为以自然常数为底数的指数函数。
优选的，所述根据预测碰撞概率控制AGV小车进行刹车避障的方法为：
根据经验设置碰撞概率阈值，当下一时刻的预测碰撞概率大于等于碰撞概率阈值时，AGV小车刹车避障，否则AGV小车正常运行。
本发明的有益效果是：本发明首先根据相邻三个时刻内深度相机采集的图像进行特征点分析，通过分析不同时刻下，匹配成功的特征点的深度变化的规律性以及不同特征点之间深度变化的差异性判断各个特征点对应物体的运动状态，根据各个特征点的运动状态以及相对于AGV小车行进方向的位置对不同的特征点设置不同的关注度，从而实现对AGV小车视野范围内无规律运动物体，规律性运动物体以及静止物体三种类型设置不同大小的关注度；然后根据各特征点在当前时刻相对于上一时刻的位置变化预测下一时刻AGV小车的位置，通过关注度对预测位置进行融合，得到下一时刻的预测碰撞概率，使得AGV小车的避障过程可以综合考虑不同位置上障碍物的状态特点以及AGV小车自身运动特点，保证AGV小车在避障过程中可以根据周边环境进行自适应避障，避免了传统方法因容易误判而导致的频繁刹车现象的出现，进而保证AGV小车的工作效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种基于计算机视觉的无人驾驶AGV小车的避障方法的步骤流程图；
图2 为本发明的一种基于计算机视觉的无人驾驶AGV小车的避障方法的位置示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于计算机视觉的无人驾驶AGV小车的避障方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于计算机视觉的无人驾驶AGV小车的避障方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于计算机视觉的无人驾驶AGV小车的避障方法的步骤流程图，该方法包括以下步骤：
步骤S001：使用深度相机在AGV小车行进过程中进行连续帧图像采集，得到行进方向上的待分析图像组。
根据阻碍AGV小车运动的障碍物的运动状态，可以将所有障碍物分为两种类型：静止的障碍物与运动的障碍物，对于前者只需要判断其是否小于距离阈值即可，而对于后者，则需要根据该物体的运动规律来判断该物体是否会与AGV小车发生碰撞。但是由于AGV小车在实际工作过程中是运动的，其采集的图像中各个物体本身与AGV小车就存在一个相对运动的关系，导致无法仅根据单帧图像判断图像中各个物体的具体运动类型，因此本发明使用深度相机采集AGV小车运动方向上的连续帧图像，根据相邻帧图像中各个物体的位置变化情况判断物体的运动类型，进而对不同类型的障碍物进行不同的处理。深度相机每次采集均可以得到一张三通道的RGB图像与一张单通道的深度图，深度图中的每个点的像素值表征该点到离相机平面的实际距离，即深度。
AGV小车上的深度相机对前方物体进行连续帧图像采集，每次采集均得到的一张RGB图像与一张深度图，并对每次采集得到的RGB图像进行灰度化处理，获取每次采集所对应的灰度图像与深度图；
由于本发明中需要根据各个特征点的深度变化情况进行特征点运动状态的识别，因此至少需要对连续的三帧图像进行分析，因此本发明将当前时刻采集的图像与该时刻的前两个时刻采集的图像进行分析，按照时间从大到小的顺序分别记为第一时刻，第二时刻以及第三时刻，设当前时刻为第t个时刻，
Figure 677293DEST_PATH_IMAGE008
，对应需要分析的图像为第t-2个时刻，第t-1个时刻与第t个时刻所采集的图像，则第t个时刻即为第一时刻，第t-1个时刻即为第二时刻，第t-2个时刻即为第三时刻，本发明将这三个时刻所对应的图像作为待分析图像组。
步骤S002：获取待分析图像组中所有灰度图像的特征点，并对相邻帧灰度图像进行特征点匹配，得到多个特征点集，根据各个特征点集中各个特征点之间的深度得到各个特征点集的运动状态。
AGV小车前方的物体存在运动物体与静止物体，二者的区别在于静止的物体所对应的特征点的深度变化与AGV小车的运行速度成正比，但是运动物体与AGV小车的运行速度可能成正比，例如当前AGV小车与另一个AGV小车均匀速地相向而行，但是由于图像中大部分场景均为静止的物体，因此本发明首先根据各个特征点深度变化的规律性初步判断各个特征点为运动物体的概率，然后根据各个特征点与其他特征点之间深度变化的差异性对各个特征点对应运动物体的初始概率进行修正，从而得到当前图像中各个特征点的运动类型；具体过程如下：
首先分别以灰度图像以及深度图的中心点为原点建立直角坐标系，然后使用SIFT算子对待分析图像组中所有灰度图像进行特征点的检测，得到各个灰度图像的所有特征点；对待分析图像组内相邻时刻的图像中的各个特征点进行暴力匹配，得到各个匹配的特征点对，即以相邻时刻的图像中任意两个特征点的描述子之间的欧氏距离作为这两个特征点之间的相似性度量，描述子之间的距离越小，认为特征点的相似性越高，特征点的匹配过程为公知技术，此处不做赘述。将待分析图像组中三张灰度图像中互相匹配的特征点记为一个特征点集，由此得到多个特征点集。
然后，根据第t个时刻所对应的灰度图像中各个特征点的坐标获取深度图中对应位置上的深度值，再依次对每个特征点集进行分析，其中，对于当前第t个时刻所对应的第j个特征点所在的特征点集，记第t个时刻时该特征点的深度为
Figure 640832DEST_PATH_IMAGE009
，第t-1个时刻对应的特征点深度为
Figure 956407DEST_PATH_IMAGE010
，在第t-2个时刻对应的特征点深度为
Figure 478524DEST_PATH_IMAGE011
；则该特征点集中，将第t个时刻特征点的深度与第t-1个时刻特征点的深度之间的差值，记为该特征点集的第一深度差值；将第t-1个时刻特征点的深度与第t-2个时刻特征点的深度之间的差值，记为该特征点集的第二深度差值；则第j个特征点所属特征点集的运动状态
Figure 145129DEST_PATH_IMAGE012
可表示为：
Figure 201375DEST_PATH_IMAGE013
式中，
Figure 371457DEST_PATH_IMAGE014
表示第t个时刻的第j个特征点所属特征点集的运动状态；
Figure 330054DEST_PATH_IMAGE015
表示第t个时刻中的第j个特征点所属特征点集的第一深度差值；
Figure 218376DEST_PATH_IMAGE016
表示第t个时刻中的第j个特征点所属特征点集的第二深度差值；
Figure 523717DEST_PATH_IMAGE017
表示所有特征点集的第一深度差值之间的平均值，
Figure 813884DEST_PATH_IMAGE018
为反正切函数。
由于静止物体的深度变化是由于AGV小车运动引起的，因此深度值的变化在每个时刻都是相同的，也就是静止物体特征点所对应的第一深度差值与第二深度差值是相同的，本发明使用
Figure 943383DEST_PATH_IMAGE019
表征同一物体在不同时刻上深度变化的规律性，当
Figure 53422DEST_PATH_IMAGE020
的值越接近于1，表示该特征点集所对应的物体深度变化的规律性较高，此时
Figure 162454DEST_PATH_IMAGE021
越趋于0，则该特征点集对应静止物体的概率较大，反之，对应
Figure 431762DEST_PATH_IMAGE022
的值越大；
考虑到并不能排除存在两个AGV小车均匀速地相向而行，使得运动物体的第一深度差值与第二深度差值比值接近于1的情况，而图像中大部分的特征点对应的均为静止物体，静止物体的特征点所属特征点集的第一深度差值大小较为相似，运动物体由于自身也存在运动，导致运动物体的特征点所属特征点集的第一深度差值与静止物体所对应的第一深度差值之间的差异较大，故可以根据当前时刻中各个特征点所对应的第一深度差值之间的差异进一步对物体的运动状态进行区分，因此本发明使用
Figure 873107DEST_PATH_IMAGE023
表征第j个特征点与其他特征点所对应的第一深度差值之间的差异性，差值越小，表示该特征点为静止物体的概率越大。
Figure 736021DEST_PATH_IMAGE024
为对
Figure 757067DEST_PATH_IMAGE025
构建的正相关模型，并实现该值的归一化处理。此时，当
Figure 506979DEST_PATH_IMAGE026
越小，认为该特征点所对应物体的运动状态为静止状态的可能性越大，
Figure 463434DEST_PATH_IMAGE026
越大，认为该特征点所对应物体的运动状态为运动状态的可能性越大。同理，得到当前时刻的其他各个特征点所属特征点集的运动状态，同一个特征点集中各个特征点的运动状态与该特征点集的运动状态相同。
步骤S003：根据各个特征点的深度以及对应的运动状态得到各个特征点的关注度，并计算下一时刻AGV小车的预测碰撞概率。
由于每张灰度图像中均可以得到很多个特征点，但是大多数的特征点所对应的物体并不会对AGV小车的运行产生阻碍，因此这些特征点并不需要进行过多的关注，也就是说，每张灰度图像中关注度越高的特征点发生碰撞的概率越大，为了保证对障碍物的识别效率，使AGV小车可以对运行过程中的各种情况及时做出反应，需要对不同的特征点设置不同的关注度。
深度相机获取的是AGV小车行进方向上的图像，因此越靠近图像中部的特征点越有可能阻碍AGV小车的运行，且距离AGV小车越近，即深度越小，发生碰撞的概率越大，此类特征点也就越需要关注，对应的关注度越高；此外，不同物体的运动状态存在差异，运动物体的移动速度也存在差异，对于特征点关注度的计算需要综合物体相对于AGV小车运行方向的差异（即特征点到图像中心点的距离），物体与AGV小车之间的距离(即特征点的深度)，以及深度变化情况三个方面进行判断。其中图像的中心点的横坐标为图像中所有像素点横坐标的平均值，图像中心点的纵坐标为图像中所有像素点纵坐标的平均值。
其中，对不同运动状态的物体关注度由高到低依次为：深度变化无规律的物体，深度规律性变化的物体，静止的物体。深度变化无规律的物体的运动具有随机性，如人的走动，根据当前时刻相对于上一时刻的深度变化预测下一时刻的预测碰撞概率时，可能会出现较大的误差，为了避免与这些物体相碰撞，越需要在下一时刻对这些特征点进行关注，而深度变化较为规律的物体，如其他的AGV小车，其在下一时刻的位置是可以预测的，因此其关注度要低于深度变化无规律的物体，而静止的物体只与AGV小车的移动速度有关，其自身并不存在运动，因此静止物体的关注度要低于深度变化规律的物体。
故本发明根据各个特征点的相对图像中心点的距离以及各个特征点的深度变化得到各个特征点的关注度，由于在对第j个特征点的运动状态进行分析时，当
Figure 62911DEST_PATH_IMAGE027
与
Figure 763014DEST_PATH_IMAGE028
之间的差异越大，即特征点的深度变化规律性越低，对应该特征点为深度变化无规律的运动物体，此时
Figure 633012DEST_PATH_IMAGE029
越大；当
Figure 760368DEST_PATH_IMAGE030
与
Figure 847142DEST_PATH_IMAGE031
之间的差异越小，而与
Figure 350935DEST_PATH_IMAGE032
之间的差异越大，对应该特征点为深度变化规律的运动物体；当
Figure 606599DEST_PATH_IMAGE033
与
Figure 904856DEST_PATH_IMAGE034
之间的差异越小，且与
Figure 478926DEST_PATH_IMAGE035
之间的差异也越小，对应该特征点为静止物体，即特征点关注度与特征点的运动状态呈正相关关系，则当前第t个时刻所对应的灰度图像中第j个特征点的关注度
Figure 520831DEST_PATH_IMAGE036
可表示为：
Figure 99842DEST_PATH_IMAGE037
式中，
Figure 569001DEST_PATH_IMAGE038
为第t个时刻对应的灰度图像中第j个特征点到图像中心点之间的欧氏距离。
由于
Figure 974574DEST_PATH_IMAGE039
可以理解为当前第t个时刻的第j个特征点垂直于摄像头平面（即平行于AGV小车行进方向）的距离；第j个特征点的横坐标
Figure 69438DEST_PATH_IMAGE040
可以理解为当前第t个时刻所对应的灰度图像中，第j个特征点垂直于AGV小车行进方向的距离；该特征点的纵坐标
Figure 752223DEST_PATH_IMAGE041
可以理解为该特征点相对于AGV小车的高度，如图2所示，该图中包含了AGV小车行进过程中的俯视图与侧视图。
由于关注度是根据各个特征点所对应的运动状态以及与AGV小车之间的距离来表示的，因此当图像中关注度越高的特征点距离AGV小车越近，发生碰撞的概率越高，在预测下一时刻的碰撞概率时，对该特征点的参考权重也越大，因此根据不同特征点的参考权重，在下一时刻所对应的深度以及该特征点到图像中心点之间的欧氏距离得到的预测碰撞概率
Figure 408595DEST_PATH_IMAGE042
可表示为：
Figure 176831DEST_PATH_IMAGE043
Figure 685172DEST_PATH_IMAGE044
Figure 471732DEST_PATH_IMAGE045
Figure 282693DEST_PATH_IMAGE046
式中，
Figure 554536DEST_PATH_IMAGE047
与
Figure 476356DEST_PATH_IMAGE048
分别为第t个时刻所对应的灰度图像中第j个特征点的横坐标与纵坐标；
Figure 258367DEST_PATH_IMAGE049
以及
Figure 489497DEST_PATH_IMAGE050
分别为当前第t个时刻与上一时刻，即第t-1个时刻所对应的灰度图像中对应特征点的横坐标之间的差值以及纵坐标之间的差值，则
Figure 497905DEST_PATH_IMAGE051
为第t个时刻所对应的灰度图像中第j个特征点的预测横坐标，
Figure 708568DEST_PATH_IMAGE052
为第t个时刻所对应的灰度图像中第j个特征点的预测纵坐标；
Figure 345086DEST_PATH_IMAGE053
为第t个时刻所对应的灰度图像中第j个特征点的参考权重；
Figure 763429DEST_PATH_IMAGE054
为第t个时刻中第j个特征点的预测深度；
Figure 242821DEST_PATH_IMAGE055
为第t个时刻中第j个特征点的预测坐标到图像中心点的距离，
Figure 772022DEST_PATH_IMAGE056
为以自然常数为底数的指数函数。
步骤S004： 根据下一时刻AGV小车的预测碰撞概率进行避障处理。
根据经验值设置碰撞概率阈值
Figure 889145DEST_PATH_IMAGE057
，当下一时刻的预测碰撞概率大于
Figure 212810DEST_PATH_IMAGE058
，即
Figure 54864DEST_PATH_IMAGE059
时，认为此时需要进行刹车；否则AGV小车正常运行，在下一时刻采集AGV小车行进方向上的图像，将第t-1个时刻，第t个时刻与第t+1个时刻作为新的待分析图像组，重复上述方法，判断AGV小车是否需要进行刹车避障。
通过以上步骤，完成AGV小车避障碍。
本发明首先根据相邻三个时刻内深度相机采集的图像进行特征点分析，通过分析不同时刻下，匹配成功的特征点的深度变化的规律性以及不同特征点之间深度变化的差异性判断各个特征点对应物体的运动状态，根据各个特征点的运动状态以及相对于AGV小车行进方向的位置对不同的特征点设置不同的关注度，从而实现对AGV小车视野范围内无规律运动物体，规律性运动物体以及静止物体三种类型设置不同大小的关注度；然后根据各特征点在当前时刻相对于上一时刻的位置变化预测下一时刻AGV小车的位置，通过关注度对预测位置进行融合，得到下一时刻的预测碰撞概率，使得AGV小车的避障过程可以综合考虑不同位置上障碍物的状态特点以及AGV小车自身运动特点，保证AGV小车在避障过程中可以根据周边环境进行自适应避障，避免了传统方法因容易误判而导致的频繁刹车现象的出现，进而保证AGV小车的工作效率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于计算机视觉的无人驾驶AGV小车的避障方法，其特征在于，该方法包括以下步骤：
深度相机在相邻的三个时刻采集的数据构成待分析图像组，所述相邻的三个时刻按照时间从大到小的顺序分别记为：第一时刻、第二时刻和第三时刻，所述待分析图像组中每个数据均由一个灰度图像以及一个深度图构成；
根据待分析图像组中的灰度图像和深度图得到所有特征点以及各个特征点的深度，将待分析图像组中相邻时刻灰度图像进行特征点匹配，得到各个特征点集；根据各个特征点集中，在第一时刻、第二时刻以及第三时刻的特征点的深度得到所述各个特征点集的第一深度差值和第二深度差值，根据所述第一深度差值和第二深度差值得到所述各个特征点集的深度变化规律性；根据各个特征点集的第一深度差值之间的差异得到所述各个特征点集的深度变化差异性，根据所述深度变化规律性和深度变化差异性得到所述各个特征点集的运动状态；
根据第一时刻中各个特征点所属特征点集的运动状态、所述各个特征点的深度以及所述各个特征点的坐标得到所述各个特征点的关注度；根据第一时刻的各个特征点的深度以及所述各个特征点所属特征点集的第一深度差值得到所述各个特征点的预测深度；根据第一时刻的各个特征点的坐标以及所述各个特征点在第二时刻对应的特征点的坐标得到预测坐标；以关注度为权重对第一时刻各个特征点的预测深度、预测坐标进行融合得到预测碰撞概率；
根据预测碰撞概率控制AGV小车进行刹车避障。
2.根据权利要求1所述的一种基于计算机视觉的无人驾驶AGV小车的避障方法，其特征在于，所述各个特征点集的第一深度差值和第二深度差值的获取方法为：
将各个特征点集中第一时刻对应的特征点的深度与第二时刻对应特征点的深度之间的差值，记为所述各个特征点集的第一深度差值；将各个特征点集中第二时刻对应的特征点的深度与第三时刻对应特征点的深度之间的差值，记为所述各个特征点集的第二深度差值。
3.根据权利要求1所述的一种基于计算机视觉的无人驾驶AGV小车的避障方法，其特征在于，所述各个特征点集的深度变化规律性的获取方法为：
将各个特征点集的第一深度差值与所述各个特征点集的第二深度差值之间的比值作为第一比值，将各个特征点集的第二深度差值与所述各个特征点集的第一深度差值之间的比值作为第二比值，将第一比值与第二比值相加后减去2.0，所得结果作为所述各个特征点集的深度变化规律性。
4.根据权利要求1所述的一种基于计算机视觉的无人驾驶AGV小车的避障方法，其特征在于，所述各个特征点集的深度变化差异性的获取方法为：
计算所有特征点集的第一深度差值的均值，将各个特征点集的第一深度差值与所述均值之间差值的绝对值作为所述各个特征点集的深度变化差异性。
5.根据权利要求1所述的一种基于计算机视觉的无人驾驶AGV小车的避障方法，其特征在于，所述各个特征点集的运动状态的获取方法为：
将各个特征点集的深度变化规律性与深度变化差异性相乘，并构建所得相乘结果的正相关映射模型，将所得映射结果作为所述各个特征点集的运动状态。
6.根据权利要求1所述的一种基于计算机视觉的无人驾驶AGV小车的避障方法，其特征在于，所述各个特征点的关注度的获取方法为：
将灰度图像中所有像素点的横坐标的平均值作为图像中心点的横坐标，将所有像素点的纵坐标的平均值作为图像中心点的纵坐标；计算各个特征点与图像中心点之间的欧氏距离；计算各个特征点对应的欧氏距离与各个特征点的深度之间的乘积，计算运动状态与所述乘积之间的比值，将所得比值作为所述各个特征点的关注度。
7.根据权利要求1所述的一种基于计算机视觉的无人驾驶AGV小车的避障方法，其特征在于，所述预测碰撞概率的计算表达式为：
Figure 341229DEST_PATH_IMAGE001
式中，
Figure 789528DEST_PATH_IMAGE002
为预测碰撞概率；
Figure 975789DEST_PATH_IMAGE003
为第一时刻，即第t个时刻所包含的特征点的总个数；
Figure 167736DEST_PATH_IMAGE004
为第一时刻中第j个特征点的参考权重；
Figure 139366DEST_PATH_IMAGE005
为第一时刻中第j个特征点的预测深度；
Figure 492987DEST_PATH_IMAGE006
为第一时刻中第j个特征点的预测坐标到图像中心点的距离，
Figure 166544DEST_PATH_IMAGE007
为以自然常数为底数的指数函数。
8.根据权利要求1所述的一种基于计算机视觉的无人驾驶AGV小车的避障方法，其特征在于，所述根据预测碰撞概率控制AGV小车进行刹车避障的方法为：
根据经验设置碰撞概率阈值，当下一时刻的预测碰撞概率大于等于碰撞概率阈值时，AGV小车刹车避障，否则AGV小车正常运行。
CN202211437823.1A 2022-11-17 2022-11-17 一种基于计算机视觉的无人驾驶agv小车的避障方法 Active CN115576329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211437823.1A CN115576329B (zh) 2022-11-17 2022-11-17 一种基于计算机视觉的无人驾驶agv小车的避障方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211437823.1A CN115576329B (zh) 2022-11-17 2022-11-17 一种基于计算机视觉的无人驾驶agv小车的避障方法

Publications (2)

Publication Number Publication Date
CN115576329A true CN115576329A (zh) 2023-01-06
CN115576329B CN115576329B (zh) 2023-04-07

Family

ID=84589209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211437823.1A Active CN115576329B (zh) 2022-11-17 2022-11-17 一种基于计算机视觉的无人驾驶agv小车的避障方法

Country Status (1)

Country Link
CN (1) CN115576329B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880674A (zh) * 2023-03-01 2023-03-31 上海伯镭智能科技有限公司 一种基于无人驾驶矿车的避障转向矫正方法
CN116132798A (zh) * 2023-02-02 2023-05-16 深圳市泰迅数码有限公司 一种智能摄像头的自动跟拍方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170243355A1 (en) * 2016-02-23 2017-08-24 Inventec Appliances (Pudong) Corporation Method for providing obstacle avoidance using depth information of image and unmanned aerial vehicle
US20180322646A1 (en) * 2016-01-05 2018-11-08 California Institute Of Technology Gaussian mixture models for temporal depth fusion
CN109740443A (zh) * 2018-12-12 2019-05-10 歌尔股份有限公司 检测障碍物的方法、装置及运动设备
CN110956662A (zh) * 2019-11-29 2020-04-03 北京邮电大学 载体避障方法、装置及电子设备
CN111247557A (zh) * 2019-04-23 2020-06-05 深圳市大疆创新科技有限公司 用于移动目标物体检测的方法、系统以及可移动平台
CN112423640A (zh) * 2018-07-20 2021-02-26 松下知识产权经营株式会社 自主行走式吸尘器
CN114359714A (zh) * 2021-12-15 2022-04-15 中国电子科技南湖研究院 基于事件相机的无人体避障方法、装置及智能无人体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180322646A1 (en) * 2016-01-05 2018-11-08 California Institute Of Technology Gaussian mixture models for temporal depth fusion
US20170243355A1 (en) * 2016-02-23 2017-08-24 Inventec Appliances (Pudong) Corporation Method for providing obstacle avoidance using depth information of image and unmanned aerial vehicle
CN112423640A (zh) * 2018-07-20 2021-02-26 松下知识产权经营株式会社 自主行走式吸尘器
CN109740443A (zh) * 2018-12-12 2019-05-10 歌尔股份有限公司 检测障碍物的方法、装置及运动设备
CN111247557A (zh) * 2019-04-23 2020-06-05 深圳市大疆创新科技有限公司 用于移动目标物体检测的方法、系统以及可移动平台
CN110956662A (zh) * 2019-11-29 2020-04-03 北京邮电大学 载体避障方法、装置及电子设备
CN114359714A (zh) * 2021-12-15 2022-04-15 中国电子科技南湖研究院 基于事件相机的无人体避障方法、装置及智能无人体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116132798A (zh) * 2023-02-02 2023-05-16 深圳市泰迅数码有限公司 一种智能摄像头的自动跟拍方法
CN116132798B (zh) * 2023-02-02 2023-06-30 深圳市泰迅数码有限公司 一种智能摄像头的自动跟拍方法
CN115880674A (zh) * 2023-03-01 2023-03-31 上海伯镭智能科技有限公司 一种基于无人驾驶矿车的避障转向矫正方法

Also Published As

Publication number Publication date
CN115576329B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN115576329B (zh) 一种基于计算机视觉的无人驾驶agv小车的避障方法
US11816852B2 (en) Associating LIDAR data and image data
Luo et al. Fast and furious: Real time end-to-end 3d detection, tracking and motion forecasting with a single convolutional net
US9990736B2 (en) Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms
US20190086923A1 (en) Method and apparatus for generating obstacle motion information for autonomous vehicle
Wojek et al. Monocular visual scene understanding: Understanding multi-object traffic scenes
CN111260683A (zh) 一种三维点云数据的目标检测与跟踪方法及其装置
WO2021134296A1 (zh) 障碍物检测方法、装置、计算机设备和存储介质
US11727668B2 (en) Using captured video data to identify pose of a vehicle
CN113370977B (zh) 一种基于视觉的智能车辆前向碰撞预警方法及系统
WO2022213729A1 (zh) 对目标的运动信息进行检测的方法和装置、设备和介质
CN115880674A (zh) 一种基于无人驾驶矿车的避障转向矫正方法
Mitzel et al. Real-Time Multi-Person Tracking with Time-Constrained Detection.
CN114387576A (zh) 一种车道线识别方法、系统、介质、设备及信息处理终端
CN116434150B (zh) 面向拥挤场景的多目标检测跟踪方法、系统及存储介质
CN113221739A (zh) 基于单目视觉的车距测量方法
Kim et al. Traffic Accident Detection Based on Ego Motion and Object Tracking
EP3896651A1 (en) Method and apparatus for evaluating temporal characteristics of semantic image segmentation
CN113963432A (zh) 一种基于双目立体视觉机器人跟随行人的方法
Kuprešak et al. Solution for autonomous vehicle parking
CN117689907B (zh) 车辆跟踪方法、装置、计算机设备和存储介质
Cambuim et al. Supporting Detection of Near and Far Pedestrians in a Collision Prediction System.
Li et al. Multilane detection and tracking based on binocular vision stixel world estimation and IPM
CN117475135A (zh) 一种目标图像识别和稳定跟踪方法与系统
CN116597417A (zh) 一种障碍物运动轨迹确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant