CN112668585A - 一种动态环境下的物体辨识与定位方法 - Google Patents
一种动态环境下的物体辨识与定位方法 Download PDFInfo
- Publication number
- CN112668585A CN112668585A CN202011347238.3A CN202011347238A CN112668585A CN 112668585 A CN112668585 A CN 112668585A CN 202011347238 A CN202011347238 A CN 202011347238A CN 112668585 A CN112668585 A CN 112668585A
- Authority
- CN
- China
- Prior art keywords
- global
- local
- environment
- object identification
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000003068 static effect Effects 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000012795 verification Methods 0.000 claims abstract description 13
- 238000013136 deep learning model Methods 0.000 claims abstract description 8
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 15
- 238000000513 principal component analysis Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000000903 blocking effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000012876 topography Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 9
- 230000008447 perception Effects 0.000 description 8
- 238000011426 transformation method Methods 0.000 description 6
- 238000001035 drying Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
一种动态环境下的物体辨识与定位方法，包括：1)获取作业环境的图像作为训练库进行处理并分类成训练集、验证集和测试集；2)将训练集输入改进的Faster‑RCNN深度学习模型进行训练，再将验证集和测试集输入进行验证和测试，得到目标物体特征模型；3)获取全局地形和全局位置信息，处理后输入目标物体特征模型获得全局静态物体辨识信息；4)获取局部地形与局部位置信息，处理后输入目标物体特征模型获得局部动态物体辨识信息；5)采用目标特征提取与图像融合方法实现全局静态物体辨识信息与全局位置信息、局部动态物体辨识信息与局部位置信息的融合，得到工程机械集群作业动态环境下的物体辨识与定位信息。本发明能实现全局作业环境下的动态物体辨识与精准定位。
Description
技术领域
本发明涉及工程机械集群自主作业物体辨识与定位、人工智能与机器视觉技术领域，特别是指一种动态环境下的物体辨识与定位方法。
背景技术
随着我国国民经济加大基础设施的投入，工程机械作为各项基础设施建设必需的施工机械装备得到了快速发展。当前，对于工程机械的研究仍然处于实现个体智能阶段，伴随着制造业的发展，以及在数字化、信息化和智能化等新兴技术的大背景下，新一代工程机械不仅需要实现集成化操作和智能控制，而且需要实现智能集群协同作业，集群智能是工程机械未来发展的必然趋势。
工程机械集群智能化是在不需要操作人员的参与情况下，通过安装各种复杂的传感器来实现自我感知、自主决策和自主作业，以及各机群个体之间的智能协同作业，而环境感知是工程机械在未知环境下实现智能集群协同作业的前提和基础。
工程机械集群作业中，由于作业环境存在显著的动态性，如车辆穿梭、人员走动、障碍物动态出现等，从而导致物体辨识与定位不准，动态障碍物检测能力低，使得环境感知面临较大挑战。此外，传统研究中仅考虑对作业现场的物体进行静态辨识，并没有考虑实时动态识别与精准位置信息获取，因而对物体进行动态辨识难度高。
中国发明专利201510688485.2提出一种在无人机上装载双目视觉的无人机自主障碍物检测系统，同时提供了一种自主障碍物检测方法，该方法通过双目视觉系统获得飞行环境的视觉信息，并经处理得到障碍物信息。中国发明专利201611052401.7提出了一种复杂环境下无人机自动障碍物检测和避障方法，通过在无人机上设置的双目摄像头进行实时图像采集，基于视差的原理筛选得到最终障碍物区域。这些专利通过无人机上搭载双目视觉系统进行障碍物的识别，其缺点在于在图像匹配和障碍物识别过程中并未通过深度学习相关算法建立大量训练图像模型数据库，对于障碍物辨识的精准度难以保证。此外，由于无人机负载和续航能力差，在集群作业的物体辨识和定位方面应用上存在潜在的实时性、动态性缺陷。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种动态环境下的物体辨识与定位方法，不需要人工操作，可以自动提取特征以检测物体，智能化程度高，适用于工程机械集群作业，能实现全局作业环境下的动态物体辨识与精准定位。
本发明采用如下技术方案：
一种动态环境下的物体辨识与定位方法，其特征在于，包括如下步骤：
1)通过机载环境感知系统和集群车载环境感知系统获取大量的作业环境的图像作为训练库，将训练库中的图像进行预处理和特征提取，将特征提取后的图像分类成训练集、验证集和测试集；
2)将训练集输入改进的Faster-RCNN深度学习模型进行训练，再将验证集和测试集输入训练好的改进的Faster-RCNN深度学习模型进行验证和测试，得到目标物体特征模型；
3)通过机载环境感知系统获取全局地形和全局位置信息，并对全局地形进行预处理和特征提取后输入目标物体特征模型获得全局静态物体辨识信息，还对全局地形进行图像处理得到全局静态物体特征点对应的深度信息值；
4)通过集群车载环境感知系统获取工程机械集群实际作业过程中的局部地形与局部位置信息，并进行预处理和特征提取后输入目标物体特征模型获得局部动态物体辨识信息，还对局部地形进行图像处理得到局部动态物体特征点对应的深度信息值；
5)采用目标特征提取与图像融合方法实现全局静态物体辨识信息及对应的深度信息值与全局位置信息、局部动态物体辨识信息及对应的深度信息值与局部位置信息的融合，得到工程机械集群作业动态环境下的物体辨识与定位信息。
优选的，所述预处理包括滤波去燥和图像增强；所述特征提取包括对图像进行分块处理，将分块后的子图像进行Gabor特征提取，并通过核主成分分析进行降维处理得到8个方向的特征并结合子图像RGB的3个通道特征组成特征向量。
优选的，所述机载环境感知系统获包括无人机、机载双目摄像机和北斗定位传感器设备，该机载双目摄像机和北斗定位传感器设备安装于无人机上，对机载双目摄像机进行参数标定，获取由图像二维像素点到空间三维位置之间的映射矩阵方程；通过启动无人机至适宜高度，对作业环境进行单次扫描，采集周围环境全局地形和全局位置信息。
优选的，所述集群车载环境感知系统包括有工程机械、双目摄像机和北斗定位传感设备，该机载双目摄像机和北斗定位传感器设备安装于工程机械，对机载双目摄像机进行参数标定，获取由图像二维像素点到空间三维位置之间的映射矩阵方程；当工程机械发动时，不间断地采集周围环境的局部地形与局部位置信息。
优选的，所述目标物体特征模型包括全局静态物体特征模型和局部动态物体特征模型，所述步骤3)中，特征提取后输入全局静态物体特征模型得到所述全局静态物体辨识信息；所述步骤4)中，特征提取后输入局部动态物体特征模型得到所述局部动态物体辨识信息。
优选的，所述步骤3)中，还包括对全局地形通过加权平均法转化为灰度图像，再进行直方图均衡化操作处理得到左右灰度图像，利用Harris-SURF算法检测并匹配左右灰度图像中全局地形表面的特征点后，由映射矩阵方程计算得到全局静态物体特征点对应的深度信息值。
优选的，所述步骤4)中，还包括对局部地形通过加权平均法转化为灰度图像，再进行直方图均衡化操作处理得到左右灰度图像，利用Harris-SURF算法检测并匹配左右灰度图像中局部动态物体表面的特征点后，由映射矩阵方程计算得到局部动态物体特征点对应的深度信息值。
优选的，采用主成分分析变换法、小波变换法或Gram Schmidt变换法实现全局静态物体辨识信息及对应的深度信息值与全局位置信息、局部动态物体辨识信息及对应的深度信息值与局部位置信息的融合，获得动态环境下的物体辨识与定位信息。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
本发明所述的基于双目视觉与深度学习的动态环境下的物体辨识与定位方法，通过机载环境感知系统和集群车载环境感知系统，可以获得全局的和多个局部的、实时动态的环境感知信息；通过图像处理方法和深度学习算法获得全局静态物体辨识与定位信息和局部动态物体辨识与定位信息；再结合机载北斗定位信息与车载北斗定位信息，采用图像融合方法实现全局静态物体辨识与定位信息和局部动态物体辨识与定位信息的融合，获得全局动态环境下的物体辨识与定位信息。
本发明方法与现有技术比，不需要人工操作，智能化程度高，适用于工程车辆集群作业，能够实现全局动态环境下物体的精确辨识与定位。
附图说明
图1为本发明的目标物体特征模型构建的流程图。
图2为本发明的动态环境下的物体辨识与定位方法的流程图。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
本发明可直接应用于工程机械集群作业过程中实现动态环境下的物体辨识与定位，解决传统研究中仅对作业现场的物体进行静态辨识，并没有实时动态识别并获取准确的位置信息的问题，实现动态环境下实时的物体辨识与跟踪定位，提高动态障碍物检测能力，为未来工程机械的集群协同作业提供基础保障。
参见图1和图2，一种动态环境下的物体辨识与定位方法，包括如下步骤：
1)通过机载环境感知系统和集群车载环境感知系统获取大量的作业环境的图像作为训练库，将训练库中的图像进行预处理和特征提取，将特征提取后的图像分类成训练集、验证集和测试集等数据集。
该步骤中，预处理包括滤波去燥和图像增强；特征提取包括对图像进行分块处理，将分块后的子图像进行Gabor特征提取，并通过核主成分分析进行降维处理得到8个方向的特征并结合子图像RGB的3个通道特征组成特征向量。具体如下：
将集群作业图像的训练库的左右图像进行滤波去燥、图像增强等图像预处理，消除原始图像中的噪声等干扰，突出其显著的关键信息，增强原始图像质量。
对预处理后的图像进行分块处理，以尺寸大小为128×128的图像为例，对图像进行分块处理，将图像分为64个16×16的子图像进行Gabor特征提取；并通过核主成分分析(KPCA算法)进行降维处理得到1×64的行向量，将其作为在特定尺度、特定方向上原始图像的特征向量，具体的Gabor特征提取步骤，包括：
首先，选取合适的Gabor滤波器参数，如Gabor小波的采样方式的频率和方向，表示在不同频率、不同方向上二维Gabor小波的采样方式，以及Gabor滤波器的带宽等；
然后，计算图像数据集的Gabor小波在8个方向的特征，并与RGB的3个通道特征组成11个特征通道。
2)将训练集输入改进的Faster-RCNN深度学习模型进行训练，再将验证集和测试集输入训练好的改进的Faster-RCNN深度学习模型进行验证和测试，得到目标物体特征模型。
该步骤中，将数据集中每个图像的11个特征通道输入改进的Faster-RCNN深度学习模型进行学习训练，得到目标物体特征模型。实际应用中，由于机载环境感知系统和集群车载环境感知系统采集的作业环境的图像不同，机载环境感知系统从上往下进行整体地形环境扫描，扫描周期长、更新时间慢，所得到的图像进行学习训练、验证和测试得到的目标物体特征模型为全局静态物体特征模型；而集群车载环境感知系统是基于作业车辆进行360度的实时周边地形环境扫描，扫描周期短、更新时间快，所得到的图像进行学习训练、验证和测试得到的目标物体特征模型为局部动态物体特征模型。
3)通过机载环境感知系统获取全局地形和全局位置信息，并对全局地形进行预处理和特征提取后输入目标物体特征模型获得全局静态物体辨识信息，还对全局地形进行图像处理得到全局静态物体特征点对应的精确的深度信息值；
其中，机载环境感知系统获包括无人机、机载双目摄像机和北斗定位传感器设备，该机载双目摄像机和北斗定位传感器设备安装于无人机上，对机载双目摄像机进行参数标定，获取由图像二维像素点到空间三维位置之间的映射矩阵方程；通过启动无人机至适宜高度，对作业环境进行单次扫描，同时开启机载北斗定位传感设备，获得周围环境全局性的机载图像对(左右图像)和全局定位信息，即实现采集周围环境全局地形和全局位置信息。
本发明对机载和车载的双目摄像机进行相机参数标定，得到校正后的内外参数，具体的，通过建立摄像机模型和采用棋盘标定法进行摄像机参数标定。包括：
建立摄像机模型
摄像机模型一般包含4个坐标系：世界坐标系，摄像机坐标系，图像坐标系，图像像素坐标系。通过平移旋转变换、透视变换、数字化图像，分析由世界坐标系到图像像素坐标系的映射关系为：
s*m＝A*[R t]*M,
其中，m为图像像素坐标(u,v,1)，M为世界坐标系的坐标点(X,Y,Z,1)，s为尺度因子，[R t]：摄像机的外参数，R旋转矩阵、t平移矩阵；A为内参数矩阵，u0和v0是图像平面原点的坐标，α和β是图像水平和垂直方向上的单位距离分辨率，γ代表两轴方向上尺度的偏差。
采用棋盘标定法进行摄像机参数标定
标定板角点坐标已知，左右摄像机同时多角度拍摄三张以上照片，经图像采集卡处理发送至处理器的双目视觉模块，分别进行图像预处理、标定板棋盘格角点检测、摄像机内外参数求解、径向畸变系数估计，获得该双目视觉子系统的图像二维像素点到空间三维位置之间的映射矩阵方程。
棋盘标定法的过程如下：
①标定板选取：采用将打印好的国际象棋棋盘贴在某一平板上作为标定板；
②图像获取：将标定板进行移动或移动摄像机，从不同角度上获取三张以上的照片；
③角点检测：对第②步获取的照片逐一的检测出所有角点；
④计算内外参数：不考虑径向畸变,利用旋转矩阵正交性，在通过求解线性方程，得出摄像机的5个内外参数；
⑤估计径向畸变：采用最小二乘法对径向畸变系数进行估计；
⑥优化内外参数：利用再投影误差最小准则优化内外参数。
该步骤中，预处理和特征提取与步骤1)相同，将获得的全局性的机载左右图像进行滤波去燥、图像增强等图像预处理，消除原始图像中的噪声等干扰，突出其显著的关键信息，增强原始图像质量；对预处理后的图像进行分块处理，将分块后的子图像进行Gabor特征提取，得到图像数据的Gabor小波在8个方向的特征，并与子图像RGB的3个通道特征组成11个特征通道作为全局静态物体特征模型的输入，通过特征对比得到全局静态物体辨识信息。
还包括对全局地形通过加权平均法转化为灰度图像，再进行直方图均衡化操作处理得到左右灰度图像，利用Harris-SURF算法检测并匹配左右灰度图像中全局地形表面的特征点后，由映射矩阵方程计算得到全局静态物体特征点对应的精确的深度信息值。基于该深度信息值，通过坐标转换后可以准确获得全局地形形貌。
具体的，利用Harris-SURF算法提取全局静态物体灰度图像表面离散特征点，并进行特征点左右图像立体匹配，该算法将Harris提取的角点与SURF算法提取的特征点合并，并剔除重复点获得新的特征点集，然后为每个特征点定义主方向并生成特征描述符。该算法保留了Harris角点检测算法的稳定性，同时融合了SURF算法尺度不变的特性，提高了特征匹配精度和效率。Harris-SURF特征点提取与匹配过程如下：
①角点检测：采用单尺度Harris角点检测算法对图像进行检测并提取角点，获得图像角点集；
②特征点检测：使用Hessian矩阵检测图像极值点，进行特征点定位，并确定特征点所在位置及尺度值；
③初始特征点集：将Harris检测出的角点集与SURF算法提取的特征点合并，剔除部分重复点及对尺度变化不稳定的特征点，形成初始特征点集；
④生成特征描述符：确定初始特征点集的主方向，并为每个特征点生成64维的特征描述符；
⑤特征点匹配：获得特征点相关信息后，采用欧氏距离或马氏距离作为待配准图像与原图像间的相似性度量，进行特征点匹配。
4)通过集群车载环境感知系统获取工程机械集群实际作业过程中的局部地形与局部位置信息，并进行预处理和特征提取后输入目标物体特征模型获得局部动态物体辨识信息，还对局部地形进行图像处理得到局部动态物体特征点对应的精确的深度信息值；
其中，集群车载环境感知系统包括有工程机械、双目摄像机和北斗定位传感设备，该机载双目摄像机和北斗定位传感器设备安装于工程机械，对双目摄像机进行参数标定，获取由图像二维像素点到空间三维位置之间的映射矩阵方程，即得到左右相机标定参数；当工程机械发动时，通过控制开启车载的双目相机对周围局部环境进行实时动态扫描，同时开启车载的北斗定位传感设备，获得周围环境局部性的车载图像对(左右图像)和局部定位信息，即实现不间断地采集周围环境的局部地形与局部位置信息。
本发明中，对车载的双目摄像机进行相机参数标定，得到校正后的内外参数，通过建立摄像机模型和采用棋盘标定法进行摄像机参数标定，与步骤3)中的参数标定步骤相同。
该步骤中，预处理和特征提取与步骤1)相同，将获得的局部性的车载左右图像进行滤波去燥、图像增强等图像预处理，消除原始图像中的噪声等干扰，突出其显著的关键信息，增强原始图像质量；对预处理后的图像进行分块处理，将分块后的子图像进行Gabor特征提取，得到图像数据的Gabor小波在8个方向的特征，并与子图像RGB的3个通道特征组成11个特征通道作为局部动态物体特征模型的输入，通过特征对比得到局部动态物体辨识信息。
该步骤中，还包括对局部地形通过加权平均法转化为灰度图像，再进行直方图均衡化操作处理得到左右灰度图像，利用Harris-SURF算法检测并匹配左右灰度图像中局部动态物体表面的特征点后，由映射矩阵方程计算得到局部动态物体特征点对应的精确的深度信息值。基于该深度信息值，通过坐标转换后可以获得局部动态物体的形貌与精准位置，并依据局部位置信息将局部动态物体的形貌更新到局部地形形貌中。
具体的，利用Harris-SURF算法提取局部动态物体灰度图像表面离散特征点，并进行特征点左右图像立体匹配，该算法将Harris提取的角点与SURF算法提取的特征点合并，并剔除重复点获得新的特征点集，然后为每个特征点定义主方向并生成特征描述符。该算法保留了Harris角点检测算法的稳定性，同时融合了SURF算法尺度不变的特性，提高了特征匹配精度和效率。Harris-SURF特征点提取与匹配过程与步骤3)中相同。
5)采用目标特征提取与图像融合方法实现全局静态物体辨识信息及对应的深度信息值与全局位置信息、局部动态物体辨识信息及对应的深度信息值与局部位置信息的融合，得到工程机械集群作业动态环境下的物体辨识与定位信息。
具体的，采用主成分分析变换法、小波变换法或Gram Schmidt变换法等实现全局静态物体辨识信息及对应的深度信息值与全局位置信息、局部动态物体辨识信息及对应的深度信息值与局部位置信息的融合，获得动态环境下的物体辨识与定位信息。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。
Claims (8)
1.一种动态环境下的物体辨识与定位方法，其特征在于，包括如下步骤：
1)通过机载环境感知系统和集群车载环境感知系统获取大量的作业环境的图像作为训练库，将训练库中的图像进行预处理和特征提取，将特征提取后的图像分类成训练集、验证集和测试集；
2)将训练集输入改进的Faster-RCNN深度学习模型进行训练，再将验证集和测试集输入训练好的改进的Faster-RCNN深度学习模型进行验证和测试，得到目标物体特征模型；
3)通过机载环境感知系统获取全局地形和全局位置信息，并对全局地形进行预处理和特征提取后输入目标物体特征模型获得全局静态物体辨识信息，还对全局地形进行图像处理得到全局静态物体特征点对应的深度信息值；
4)通过集群车载环境感知系统获取工程机械集群实际作业过程中的局部地形与局部位置信息，并进行预处理和特征提取后输入目标物体特征模型获得局部动态物体辨识信息，还对局部地形进行图像处理得到局部动态物体特征点对应的深度信息值；
5)采用目标特征提取与图像融合方法实现全局静态物体辨识信息及对应的深度信息值与全局位置信息、局部动态物体辨识信息及对应的深度信息值与局部位置信息的融合，得到工程机械集群作业动态环境下的物体辨识与定位信息。
2.如权利要求1所述的一种动态环境下的物体辨识与定位方法,其特征在于，所述预处理包括滤波去燥和图像增强；所述特征提取包括对图像进行分块处理，将分块后的子图像进行Gabor特征提取，并通过核主成分分析进行降维处理得到8个方向的特征并结合子图像RGB的3个通道特征组成特征向量。
3.如权利要求1所述的一种动态环境下的物体辨识与定位方法,其特征在于，所述机载环境感知系统获包括无人机、机载双目摄像机和北斗定位传感器设备，该机载双目摄像机和北斗定位传感器设备安装于无人机上，对机载双目摄像机进行参数标定，获取由图像二维像素点到空间三维位置之间的映射矩阵方程；通过启动无人机至适宜高度，对作业环境进行单次扫描，采集周围环境全局地形和全局位置信息。
4.如权利要求1所述的一种动态环境下的物体辨识与定位方法,其特征在于，所述集群车载环境感知系统包括有工程机械、双目摄像机和北斗定位传感设备，该机载双目摄像机和北斗定位传感器设备安装于工程机械，对机载双目摄像机进行参数标定，获取由图像二维像素点到空间三维位置之间的映射矩阵方程；当工程机械发动时，不间断地采集周围环境的局部地形与局部位置信息。
5.如权利要求1所述的一种动态环境下的物体辨识与定位方法,其特征在于，所述目标物体特征模型包括全局静态物体特征模型和局部动态物体特征模型，所述步骤3)中，特征提取后输入全局静态物体特征模型得到所述全局静态物体辨识信息；所述步骤4)中，特征提取后输入局部动态物体特征模型得到所述局部动态物体辨识信息。
6.如权利要求3所述的一种动态环境下的物体辨识与定位方法,其特征在于，所述步骤3)中，还包括对全局地形通过加权平均法转化为灰度图像，再进行直方图均衡化操作处理得到左右灰度图像，利用Harris-SURF算法检测并匹配左右灰度图像中全局地形表面的特征点后，由映射矩阵方程计算得到全局静态物体特征点对应的深度信息值。
7.如权利要求4所述的一种动态环境下的物体辨识与定位方法，其特征在于，所述步骤4)中，还包括对局部地形通过加权平均法转化为灰度图像，再进行直方图均衡化操作处理得到左右灰度图像，利用Harris-SURF算法检测并匹配左右灰度图像中局部动态物体表面的特征点后，由映射矩阵方程计算得到局部动态物体特征点对应的深度信息值。
8.如权利要求1所述的一种动态环境下的物体辨识与定位方法,其特征在于，所述步骤5)中，采用主成分分析变换法、小波变换法或Gram Schmidt变换法实现全局静态物体辨识信息及对应的深度信息值与全局位置信息、局部动态物体辨识信息及对应的深度信息值与局部位置信息的融合，获得动态环境下的物体辨识与定位信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011347238.3A CN112668585B (zh) | 2020-11-26 | 2020-11-26 | 一种动态环境下的物体辨识与定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011347238.3A CN112668585B (zh) | 2020-11-26 | 2020-11-26 | 一种动态环境下的物体辨识与定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112668585A true CN112668585A (zh) | 2021-04-16 |
| CN112668585B CN112668585B (zh) | 2024-04-09 |
Family
ID=75403673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011347238.3A Active CN112668585B (zh) | 2020-11-26 | 2020-11-26 | 一种动态环境下的物体辨识与定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112668585B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000042287A1 (en) * | 1999-01-13 | 2000-07-20 | Vermeer Manufacturing Company | Automated bore planning method and apparatus for horizontal directional drilling |
| CN109977812A (zh) * | 2019-03-12 | 2019-07-05 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| WO2019226405A1 (en) * | 2018-05-24 | 2019-11-28 | Microsoft Technology Licensing, Llc | Fusion of depth images into global volumes |
| CN111337947A (zh) * | 2020-05-18 | 2020-06-26 | 深圳市智绘科技有限公司 | 即时建图与定位方法、装置、系统及存储介质 |
| CN111444891A (zh) * | 2020-04-30 | 2020-07-24 | 天津大学 | 一种基于机载视觉的无人碾压机作业场景感知系统及方法 |
| CN111486855A (zh) * | 2020-04-28 | 2020-08-04 | 武汉科技大学 | 一种具有物体导航点的室内二维语义栅格地图构建方法 |
| CN111856448A (zh) * | 2020-07-02 | 2020-10-30 | 山东省科学院海洋仪器仪表研究所 | 基于双目视觉和雷达的海上障碍物识别方法及系统 |
-
2020
- 2020-11-26 CN CN202011347238.3A patent/CN112668585B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000042287A1 (en) * | 1999-01-13 | 2000-07-20 | Vermeer Manufacturing Company | Automated bore planning method and apparatus for horizontal directional drilling |
| WO2019226405A1 (en) * | 2018-05-24 | 2019-11-28 | Microsoft Technology Licensing, Llc | Fusion of depth images into global volumes |
| CN109977812A (zh) * | 2019-03-12 | 2019-07-05 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN111486855A (zh) * | 2020-04-28 | 2020-08-04 | 武汉科技大学 | 一种具有物体导航点的室内二维语义栅格地图构建方法 |
| CN111444891A (zh) * | 2020-04-30 | 2020-07-24 | 天津大学 | 一种基于机载视觉的无人碾压机作业场景感知系统及方法 |
| CN111337947A (zh) * | 2020-05-18 | 2020-06-26 | 深圳市智绘科技有限公司 | 即时建图与定位方法、装置、系统及存储介质 |
| CN111856448A (zh) * | 2020-07-02 | 2020-10-30 | 山东省科学院海洋仪器仪表研究所 | 基于双目视觉和雷达的海上障碍物识别方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| YANAN ZHANG ET AL.: ""Object Detection and Recognition of Intelligent Service Robot Based on Deep Learning"", 《2017 IEEE 8TH INTERNATIONAL CONFERENCE ON CIS & RAM》, 31 December 2017 (2017-12-31) * |
| 吴雅琴等: ""基于深度特征的视觉SLAM 定位技术研究"", 《智能计算机与应用》, vol. 10, no. 10, 31 October 2020 (2020-10-31) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112668585B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108805904B (zh) | 一种基于卫星序列图像的运动舰船检测与跟踪方法 | |
| Chen et al. | Building change detection with RGB-D map generated from UAV images | |
| CN107767400B (zh) | 基于层次化显著性分析的遥感图像序列动目标检测方法 | |
| CN109949361A (zh) | 一种基于单目视觉定位的旋翼无人机姿态估计方法 | |
| CN115797813B (zh) | 基于航拍图像的水环境污染检测方法 | |
| CN109492525B (zh) | 一种测量基站天线工程参数的方法 | |
| CN111582276B (zh) | 一种基于多特征融合的寄生虫虫卵的识别方法及系统 | |
| CN108320310B (zh) | 基于图像序列的空间目标三维姿态估计方法 | |
| CN114821358A (zh) | 光学遥感图像海上舰船目标提取与识别方法 | |
| CN111325184B (zh) | 一种遥感影像智能解译与变化信息检测方法 | |
| CN113689365B (zh) | 一种基于Azure Kinect的目标跟踪定位方法 | |
| CN106709432A (zh) | 基于双目立体视觉的人头检测计数方法 | |
| CN116977341B (zh) | 一种尺寸测量方法及相关装置 | |
| CN116703895B (zh) | 基于生成对抗网络的小样本3d视觉检测方法及其系统 | |
| CN112468721A (zh) | 一种具有自动调焦功能的视觉采集方法及装置 | |
| CN112668585B (zh) | 一种动态环境下的物体辨识与定位方法 | |
| CN106355576A (zh) | 基于mrf图像分割算法的sar图像配准方法 | |
| CN111783580B (zh) | 基于人腿检测的行人识别方法 | |
| CN115034577A (zh) | 一种基于虚实边缘匹配的机电产品漏装检测方法 | |
| CN114359403A (zh) | 一种基于非完整性蘑菇图像的三维空间视觉定位方法、系统及装置 | |
| CN114202587A (zh) | 基于船载单目相机的视觉特征提取方法 | |
| CN112598010B (zh) | 一种双目视觉的非结构化地形实时感知与重构方法 | |
| CN116205940B (zh) | 基于医学检验的数字图像目标检测方法及系统 | |
| CN117423010B (zh) | 一种基于遥感数据的河湖划界识别监测方法 | |
| CN116977615B (zh) | 荔枝果梗识别定位方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wang Shaojie Inventor after: Wu Binyun Inventor after: Hou Liang Inventor after: Bu Xiangjian Inventor after: Yu Shengfeng Inventor after: Chen Chunhua Inventor after: Zeng Jun Inventor before: Wang Shaojie Inventor before: Wu Binyun Inventor before: Yu Shengfeng Inventor before: Chen Chunhua Inventor before: Zeng Jun Inventor before: Hou Liang Inventor before: Bu Xiangjian |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |