CN111160280B - 基于rgbd相机的目标物体识别与定位方法及移动机器人 - Google Patents
基于rgbd相机的目标物体识别与定位方法及移动机器人 Download PDFInfo
- Publication number
- CN111160280B CN111160280B CN201911410057.8A CN201911410057A CN111160280B CN 111160280 B CN111160280 B CN 111160280B CN 201911410057 A CN201911410057 A CN 201911410057A CN 111160280 B CN111160280 B CN 111160280B
- Authority
- CN
- China
- Prior art keywords
- target object
- point cloud
- coordinate
- pixel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明适用于物体识别技术领域,提供了一种基于RGBD相机的目标物体识别与定位方法及移动机器人,该方法包括:S1、基于RGBD相机实时获取一帧RGB图像和一帧Depth深度图像;S2、在RGB图像查找与模板图像差异度最低的目标区域;S3、基于目标区域构建包含目标物体的三维点云,并在所述三维点云中剔除支撑面的点集,形成目标物体点云;S4、计算目标物体点云的重心坐标pg及目标物体的形心坐标pe;S5、计算重心坐标pg与形心坐标pe的差值,若该差值小于预设阈值,则判定目标物体成功识别,返回形心坐标pe。基于RGBD相机即可实现对目标物体的识别和精确定位,以进行对目标物体的下一步抓取操作。
Description
技术领域
本发明属于物体识别技术领域,提供了一种基于RGBD相机的目标物体识别与定位方法及移动机器人。
背景技术
随着自主移动抓取机器人在服务和仓储物流领域有着越来越广泛的应用,其定位导航技术也越发重要。自主移动抓取机器人主要分为移动平台和机械臂,移动平台的定位导航主要使用激光或视觉SLAM,地图的分辨率比较低,定位精度不高,因此在机械臂对目标物体进行一系列操作之前,必须对目标物体进行识别和精定位。
为了解决上述问题,现有的方案主要包含如下三种:1)标记物识别。在目标物体上贴二维码等标记物,通过视觉图像识别二维码信息,并对二维码进行定位,间接得到目标物体的位姿。2)双目视觉定位。通过使用两个相机在不同位置进行拍摄,然后对拍摄的图像进行匹配,筛选目标物体的匹配点对,根据视差和三角测距原理计算出目标物体的位置。3)深度学习识别与定位。建立目标物体图像的数据集,通过深度学习框架和数据集训练神经网络模型,再用训练好的模型识别图像中的目标物体位置,然而这些方法都存在一定的问题,无法保证目标物体识别和定位的效率和准确性。
发明内容
本发明实施例提供一种基于RGBD相机的目标物体识别与定位方法,基于RGBD相机即可实现对目标物体的识别和精确定位。
本发明是这样实现的,一种基于RGBD相机的目标物体识别与定位方法,所述方法具体包括如下步骤:
S1、基于RGBD相机实时获取一帧RGB图像和一帧Depth深度图像;
S2、在RGB图像查找与模板图像差异度最低的目标区域;
S3、基于目标区域构建包含目标物体的三维点云,并在所述三维点云中剔除支撑面的点集,形成目标物体点云;
S4、计算目标物体点云的重心坐标pg及目标物体的形心坐标pe;
S5、计算重心坐标pg与形心坐标pe的差值,若该差值小于预设阈值,则判定目标物体成功识别,返回形心坐标pe。
进一步的,所述目标区域的查找方法具体包括如下步骤:
S21、基于模板图像的尺寸m*n来构建滑动窗,滑动窗在RGB图像上滑动;
S22、计算滑动窗所在区域的RGB图像与模板图像的差异度S(i,j);
S23、滑动窗遍历整个RGB图像,获取差异度最小的像素原点坐标(umin,vmin),则匹配出的目标区域为[(umin,vmin),(umin+m,vmin+n)]。
进一步的,基于目标区域的深度图像imgD及RGB图像来计算包含目标物体的三维点云坐标(x,y,z),其计算公式具体如下:
(u,v)为像素点在深度图imgD的像素坐标,d为像素深度值,fx和fy为像素表示的焦距长,(cx,cx)为主点像素坐标,即目标区域中心的像素坐标。
进一步的,在步骤S3之后,在步骤S4之前还包括:
S6、对包含目标物体的三维点云进行滤波,剔除离群点。
进一步的,基于构建的目标物体点云来计算目标物体点云重心坐标pg,pg的计算公式具体如下:
其中,Si(xi,yi,zi)为目标物体的点云坐标,N为目标物体的点云数量。
进一步的,基于目标区域来计算目标物体的形心坐标pe,pe的计算公式具体如下:
其中,[umin,vmin]为相似度值最小的像素原点坐标,m和n代表模板图像的宽和高,fx和fy为像素表示的焦距长,(cx,cx)为主点像素坐标,即目标区域中心的像素坐标。
本发明是这样实现的,一种移动机器人,所述移动机器人上设有RGBD相机,RGBD相机与图像处理器连接,RGBD相机用于采集目标物体的图像,并发送至图像处理器,图形处理器基于权利要求1至权利要求6任一权利要求所述基于RGBD相机的目标物体识别与定位方法来定位目标物体的中心位置。
本发明提供的基于RGBD相机的目标物体识别方法具有如下有益技术效果:基于RGBD相机即可实现对目标物体的识别和精确定位,以进行对目标物体的下一步抓取操作。
附图说明
图1为本发明实施例提供的基于RGBD相机的目标物体识别与定位方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1为本发明实施例提供的基于RGBD相机的目标物体识别与定位方法流程图,该方法具体包括如下步骤:
S1、基于RGBD相机实时获取一帧RGB图像和一帧Depth深度图像;
S2、在RGB图像查找与模板图像差异度最低的目标区域,模板图像时预先存储的,目标区域的查找方法具体包括如下步骤:
S21、基于模板图像的尺寸m*n来构建滑动窗,滑动窗在RGB图像上滑动;
S22、计算滑动窗所在区域的RGB图像与模板图像的差异度S(i,j),其计算公式具体如下;
其中,T(m,n)表示模板图像中各点的像素值,m和n代表模板图像的宽和高,I(i+m,j+n)表示RGB图像中从坐标(i,j)到(i+m,j+n)像素区域的像素值。
S23、滑动窗遍历整个RGB图像,获取差异度最小的像素原点坐标(umin,vmin),则匹配出的目标区域为[(umin,vmin),(umin+m,vmin+n)]。
S3、基于目标区域构建包含目标物体的三维点云,并在所述三维点云中剔除支撑面的点集,形成目标物体点云;
基于目标区域的深度图像imgD及RGB图像来计算包含目标物体的三维点云坐标(x,y,z),其计算公式具体如下:
(u,v)为像素点在深度图imgD的像素坐标,d为像素深度值,fx和fy为像素表示的焦距长,(cx,cx)为主点像素坐标,即目标区域中心的像素坐标。
在本发明实施例中,在步骤S3之后,在步骤S4之前还包括:
S6、对包含目标物体的三维点云进行滤波,剔除离群点;
初始化pcl库中的统计概率滤波器,设置邻近点数,计算每个点和所有邻近点的距离均值,由所有的距离均值和方差建立高斯分布。再设置标准差倍数,认定平均距离在标准差倍数范围之外的点为离群点,剔除离群点,得到包含支撑面和目标物体的点云。
对点云进行RANSAC平面提取,使用随机产生器提取点集中的任意三点,构建支撑平面方程Ax+By+Cz+D=0,计算点云中所有点到该平面的距离d,当d小于阈值,保存内点,距离d的计算公式具体如下:
当随机迭代次数达到阈值,停止迭代,在点集中找到特定三点所含内点数最多,认定此内点点集为支撑平面,剔除该内点点集,只保留目标物体点云。
S4、计算目标物体点云的重心坐标pg及目标物体的形心坐标pe,
基于目标区域来计算目标物体的形心坐标pe,pe的计算公式具体如下:其中,[umin,vmin]为相似度值最小的像素原点坐标,m和n代表模板图像的宽和高,fx和fy为像素表示的焦距长,(cx,cx)为主点像素坐标,即目标区域中心的像素坐标。
S5、计算重心坐标pg与形心坐标pe的差值,若该差值小于预设阈值,则判定目标物体成功识别,并返回形心坐标pe,若该差值大于等于预设阈值,则执行步骤S1。
本发明还提供一种移动机器人,该移动机器人上设有RGBD相机,RGBD相机与图像处理器连接,RGBD相机用于采集目标物体的图像,并发送至图像处理器,图形处理器基于上述目标物体的识别方法来定位目标物体的中心位置。
本发明提供的基于RGBD相机的目标物体识别方法具有如下有益技术效果:基于RGBD相机即可实现对目标物体的识别和精确定位,以进行对目标物体的下一步抓取操作。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于RGBD相机的目标物体识别与定位方法,其特征在于,所述方法具体包括如下步骤:
S1、基于RGBD相机实时获取一帧RGB图像和一帧Depth深度图像;
S2、在RGB图像查找与模板图像差异度最低的目标区域;
S3、基于目标区域构建包含目标物体的三维点云,并在所述三维点云中剔除支撑面的点集,形成目标物体点云;
S4、计算目标物体点云的重心坐标pg及目标物体的形心坐标pe;
S5、计算重心坐标pg与形心坐标pe的差值,若该差值小于预设阈值,则判定目标物体成功识别,返回形心坐标pe;
基于构建的目标物体点云来计算目标物体点云重心坐标pg,pg的计算公式具体如下:
其中,Si(xi,yi,zi)为目标物体的点云坐标,N为目标物体的点云数量;
基于目标区域来计算目标物体的形心坐标pe,pe的计算公式具体如下:
其中,[umin,vmin]为相似度值最小的像素原点坐标,m和n代表模板图像的宽和高,fx和fy为像素表示的焦距长,(cx,cy)为主点像素坐标,即目标区域中心的像素坐标,d为像素深度值。
2.如权利要求1所述基于RGBD相机的目标物体识别与定位方法,其特征在于,所述目标区域的查找方法具体包括如下步骤:
S21、基于模板图像的尺寸m*n来构建滑动窗,滑动窗在RGB图像上滑动;
S22、计算滑动窗所在区域的RGB图像与模板图像的差异度S(i,j);
S23、滑动窗遍历整个RGB图像,获取差异度最小的像素原点坐标(umin,vmin),则匹配出的目标区域为[(umin,vmin),(umin+m,vmin+n)]。
4.如权利要求1所述基于RGBD相机的目标物体识别与定位方法,其特征在于,在步骤S3之后,在步骤S4之前还包括:
S6、对包含目标物体的三维点云进行滤波,剔除离群点。
5.一种移动机器人,其特征在于,所述移动机器人上设有RGBD相机,RGBD相机与图像处理器连接,RGBD相机用于采集目标物体的图像,并发送至图像处理器,图形处理器基于权利要求1至权利要求4任一权利要求所述基于RGBD相机的目标物体识别与定位方法来定位目标物体的中心位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911410057.8A CN111160280B (zh) | 2019-12-31 | 2019-12-31 | 基于rgbd相机的目标物体识别与定位方法及移动机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911410057.8A CN111160280B (zh) | 2019-12-31 | 2019-12-31 | 基于rgbd相机的目标物体识别与定位方法及移动机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111160280A CN111160280A (zh) | 2020-05-15 |
CN111160280B true CN111160280B (zh) | 2022-09-30 |
Family
ID=70559801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911410057.8A Active CN111160280B (zh) | 2019-12-31 | 2019-12-31 | 基于rgbd相机的目标物体识别与定位方法及移动机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111160280B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112446919B (zh) * | 2020-12-01 | 2024-05-28 | 平安科技(深圳)有限公司 | 物体位姿估计方法、装置、电子设备及计算机存储介质 |
CN113256721B (zh) * | 2021-06-21 | 2021-12-03 | 浙江光珀智能科技有限公司 | 一种室内多人三维高精度定位方法 |
CN116228854B (zh) * | 2022-12-29 | 2023-09-08 | 中科微至科技股份有限公司 | 一种基于深度学习的包裹自动分拣方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101632001A (zh) * | 2006-12-20 | 2010-01-20 | 斯甘拉伊斯股份有限公司 | 一种用于相对于基本参考数据对扫描点云数据定向的系统和方法 |
WO2019100647A1 (zh) * | 2017-11-21 | 2019-05-31 | 江南大学 | 一种基于rgb-d相机的物体对称轴检测方法 |
CN109949303A (zh) * | 2019-03-28 | 2019-06-28 | 凌云光技术集团有限责任公司 | 工件形状检测方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10046459B2 (en) * | 2015-11-16 | 2018-08-14 | Abb Schweiz Ag | Three-dimensional visual servoing for robot positioning |
CN108732582B (zh) * | 2017-04-20 | 2020-07-10 | 百度在线网络技术(北京)有限公司 | 车辆定位方法和装置 |
-
2019
- 2019-12-31 CN CN201911410057.8A patent/CN111160280B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101632001A (zh) * | 2006-12-20 | 2010-01-20 | 斯甘拉伊斯股份有限公司 | 一种用于相对于基本参考数据对扫描点云数据定向的系统和方法 |
WO2019100647A1 (zh) * | 2017-11-21 | 2019-05-31 | 江南大学 | 一种基于rgb-d相机的物体对称轴检测方法 |
CN109949303A (zh) * | 2019-03-28 | 2019-06-28 | 凌云光技术集团有限责任公司 | 工件形状检测方法及装置 |
Non-Patent Citations (2)
Title |
---|
"Registration of images to unorganized 3D point clouds using contour cues";A. Pujol-Miro等;《2017 25th European Signal Processing Conference (EUSIPCO)》;20171026;全文 * |
"具有视觉伺服的执行机构自主定位与精准控制研究";李雷远;《中国优秀博硕士学位论文全文数据库(博士)·信息科技辑》;20180215;第2018年卷(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111160280A (zh) | 2020-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109685066B (zh) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 | |
CN110148196B (zh) | 一种图像处理方法、装置以及相关设备 | |
CN111160280B (zh) | 基于rgbd相机的目标物体识别与定位方法及移动机器人 | |
CN109074085B (zh) | 一种自主定位和地图建立方法、装置和机器人 | |
CN109102547A (zh) | 基于物体识别深度学习模型的机器人抓取位姿估计方法 | |
EP2874097A2 (en) | Automatic scene parsing | |
CN110827353B (zh) | 一种基于单目摄像头辅助的机器人定位方法 | |
CN107808524B (zh) | 一种基于无人机的道路交叉口车辆检测方法 | |
CN106599776B (zh) | 一种基于轨迹分析的人数统计方法 | |
CN109145902B (zh) | 一种利用泛化特征对几何标识进行识别及定位的方法 | |
CN111337011A (zh) | 一种基于激光和二维码融合的室内定位方法 | |
Nagy et al. | SFM and semantic information based online targetless camera-LIDAR self-calibration | |
CN112132900B (zh) | 一种视觉重定位方法及系统 | |
CN112683228A (zh) | 单目相机测距方法及装置 | |
KR101456172B1 (ko) | 이동로봇의 위치인식 장치, 방법 및 이동로봇 | |
CN112197705A (zh) | 一种基于视觉和激光测距的果实定位方法 | |
CN109358315B (zh) | 一种辅助目标间接定位方法及系统 | |
CN113971697B (zh) | 一种空地协同车辆定位定向方法 | |
CN111198563B (zh) | 一种用于足式机器人动态运动的地形识别方法及系统 | |
CN111860084B (zh) | 图像特征的匹配、定位方法及装置、定位系统 | |
CN115205825B (zh) | 基于改进yolov5的行车视频序列图像检测识别交通标志方法 | |
CN116300880A (zh) | 视觉避障方法及系统、电子设备、介质 | |
CN115773759A (zh) | 自主移动机器人的室内定位方法、装置、设备及存储介质 | |
CN115841668A (zh) | 一种双目视觉苹果识别以及精准定位的方法 | |
Mou et al. | Efficient visual odometry estimation using stereo camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |