CN114494857A - 一种基于机器视觉的室内目标物识别和测距方法 - Google Patents

一种基于机器视觉的室内目标物识别和测距方法 Download PDF

Info

Publication number
CN114494857A
CN114494857A CN202111651778.5A CN202111651778A CN114494857A CN 114494857 A CN114494857 A CN 114494857A CN 202111651778 A CN202111651778 A CN 202111651778A CN 114494857 A CN114494857 A CN 114494857A
Authority
CN
China
Prior art keywords
depth map
depth
target object
bounding box
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111651778.5A
Other languages
English (en)
Inventor
许召辉
王宏程
范光宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avic East China Photoelectric Shanghai Co ltd
Original Assignee
Avic East China Photoelectric Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avic East China Photoelectric Shanghai Co ltd filed Critical Avic East China Photoelectric Shanghai Co ltd
Priority to CN202111651778.5A priority Critical patent/CN114494857A/zh
Publication of CN114494857A publication Critical patent/CN114494857A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于机器视觉的室内目标物识别和测距方法，涉及机器人视觉技术领域，包括以下步骤：利用相机获取深度图和点云图，YOLO算法识别物体，YOLO算法生成的物体边界框，对应生成深度图中的边界框，对深度图中的深度值进行去重并得到坐标，匹配边界框中点云与深度坐标，通过几何测距得到机器人与目标物体的距离。其优点在于：使用机器学习中的物体识别和RGB‑D视觉相结合的测距方法，在相机捕获的物体能够被识别的情况下，即可达到测距的目的.该方法不仅能得到识别对象的位置，还可得出被识别对象的具体名称，有助于改善机器人的场景理解能力。

Description

一种基于机器视觉的室内目标物识别和测距方法
技术领域
本发明涉及机器人视觉技术领域，更具体地说，涉及一种基于机器视觉的室内目标物识别和测距方法。
背景技术
随着社会的发展，各种类型的机器人已逐渐应用到社会的各行各业.尤其是近些年来计算机视觉技术带来的巨大变化，视觉技术在机器人行业的应用也越来越普遍.服务机器人在室内场景中完成对给定目标的识别和测距，进而达到机器人对场景理解的目的是服务机器人应用中的重要环节之一。
如果仅仅用于避障目的，目前主要使用的方法有超声波测距、红外测距、激光测距和双目立体视觉测距法等。
但是，现有技术中没有解决物体识别和测距同时实时进行，使用单目摄像头测距精度较差。
前面的叙述在于提供一般的背景信息，并不一定构成现有技术。
发明内容
本发明的目的在于提供一种基于机器视觉的室内目标物识别和测距方法，不仅能得到识别对象的位置，还可得出被识别对象的具体名称，有助于改善机器人的场景理解能力。
本发明提供一种基于机器视觉的室内目标物识别和测距方法，包括以下步骤：
S1：利用相机获取深度图和点云图，并进入S2步骤；
S2：YOLO算法识别物体，并进入S3步骤；
S3：YOLO算法生成的物体边界框，并进入S4步骤；
S4：对应生成深度图中的边界框，并进入S5步骤；
S5：对深度图中的深度值进行去重并得到坐标，并进入S6步骤；
S6：匹配边界框中点云与深度坐标，并进入S7步骤；
S7：通过几何测距得到机器人与目标物体的距离。
进一步地，步骤S1中的相机为RGB-D相机。
进一步地，步骤S2中的物体识别采用YOLOV4模块。
进一步地，步骤S2中的物体识别还包括在主机端搭建darknet框架。
进一步地，所述主机端搭建darknet框架包括以下步骤：对具体物体数据集进行标注后进行kmeans聚类；使用YOLOV4模型对特定物体数据集进行训练，损失值降到最低时结束；将训练好的YOLOV4权重文件替换进行目标识。
进一步地，步骤S3中YOLO算法生成的物体边界框，包括将RGB-D相机获取的图像作为物体识别模块的输入图像，得到被识别的物体的名称和物体在输入图像中所占据的边界框的坐标。
进一步地，步骤S4中对应生成深度图中的边界框，包括在深度图中框选一个与识别模块中一样的边界框，将步骤3获得的边界框坐标对应到深度图中，在剪切深度图中框选的区域。
进一步地，步骤S5中对深度图中的深度值进行去重并得到坐标，包括对框选的深度图中的灰度图进行去重操作，剩下的作为其灰度值；灰度值的深度计算如下：
Q[x y d 1]T＝[X Y Z W]T。
进一步地，步骤S6中匹配边界框中点云与深度坐标，包括根据获得的灰度值，通过该灰度值在深度图中的一系列坐标。
进一步地，步骤S7中通过几何测距得到机器人与目标物体的距离，包括把步骤S6中得到的坐标对应到点云图中，即可获得输入图像中被框选物体与相机的距离；测距计算如下：
Figure BDA0003444974320000031
本发明提供的基于机器视觉的室内目标物识别和测距方法，使用机器学习中的物体识别和RGB-D视觉相结合的测距方法，在相机捕获的物体能够被识别的情况下，即可达到测距的目的.该方法不仅能得到识别对象的位置，还可得出被识别对象的具体名称，有助于改善机器人的场景理解能力。
附图说明
图1为本发明实施例提供的基于机器视觉的室内目标物识别和测距方法的流程图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
图1为本发明实施例提供的基于机器视觉的室内目标物识别和测距方法的流程图。请参照图1，本发明实施例提供的一种基于机器视觉的室内目标物识别和测距方法，其特征在于，包括以下步骤：
S1：利用相机获取深度图和点云图，并进入S2步骤；
S2：YOLO算法识别物体，并进入S3步骤；
S3：YOLO算法生成的物体边界框，并进入S4步骤；
S4：对应生成深度图中的边界框，并进入S5步骤；
S5：对深度图中的深度值进行去重并得到坐标，并进入S6步骤；
S6：匹配边界框中点云与深度坐标，并进入S7步骤；
S7：通过几何测距得到机器人与目标物体的距离。
本发明提供的基于机器视觉的室内目标物识别和测距方法，使用机器学习中的物体识别和RGB-D视觉相结合的测距方法，在相机捕获的物体能够被识别的情况下，即可达到测距的目的.该方法不仅能得到识别对象的位置，还可得出被识别对象的具体名称，有助于改善机器人的场景理解能力。
具体地，步骤S1中的相机为RGB-D相机。
进一步地，步骤S2中的物体识别采用YOLOV4模块，可以直接在网络下载使用；当需要识别特定物体时，可在主机端搭建darknet框架；
搭建darknet框架包括以下步骤：
对具体物体数据集进行标注后进行kmeans(K均值聚类算法)聚类；使用YOLOV4模型对特定物体数据集进行训练，损失值降到最低时结束；将训练好的YOLOV4权重文件替换进行目标识。
需要说明的是，darknet框架是一个较为轻型的完全基于C与CUDA的开源深度学习框架，其主要特点就是容易安装，没有任何依赖项(OpenCV都可以不用)，移植性非常好，支持CPU与GPU两种计算方式。
进一步地，步骤S3中YOLO算法生成的物体边界框，包括将RGB-D相机获取的图像作为物体识别模块的输入图像，得到被识别的物体的名称和物体在输入图像中所占据的边界框的坐标。
进一步地，步骤S4中对应生成深度图中的边界框，包括在深度图中框选一个与识别模块中一样的边界框，将步骤3获得的边界框坐标对应到深度图中，在剪切深度图中框选的区域。
进一步地，步骤S5中对深度图中的深度值进行去重并得到坐标，包括对框选的深度图中的灰度图进行去重操作，剩下的作为其灰度值；灰度值的深度计算如下：
Q[x y d 1]T＝[X Y Z W]T。
需要说明的是，设图像中某一点的坐标为(X，Y)，可以使用公式Q[x y d 1]T＝[XY Z W]T计算物体的深度d。
进一步地，步骤S6中匹配边界框中点云与深度坐标，包括根据获得的灰度值，通过该灰度值在深度图中的一系列坐标。步骤S7中通过几何测距得到×机器人与目标物体的距离，包括把步骤S6中得到的坐标对应到点云图中，即可获得输入图像中被框选物体与相机的距离；测距计算如下：
Figure BDA0003444974320000051
需要说明的是，设点P为框图物体中的任意一点，Oz与Or为左右目相机的位置，Pz和Pr为左右相机成像点位置，f表示为焦距，T为Oz与Or中心点位置(其中f，T值通过相机标定可得)，K表示相机到物体的距离，设Pz到Pr的距离为D则有公式为D＝T-(Xz-Xr)；
进一步，根据三角形相似原理得到公式
Figure BDA0003444974320000052
从而可得K＝(f×T)/(Xz-Xr)，求得上述式子中的Xz和Xr值，即可求得深度信息。
需要说明的是，在本发明方案中，相机摄像头受到外界因素的干扰较大，在户外可能会影响图像识别和测距精度，所以本方案是假定在室内的环境下进行，本技术方案通过深度图与点云图的匹配提升了测距的精度，通过机器视觉的图像识别方案与单目测距结合达到了物体识别与测距同时进行的效果。
基于上文的描述可知，本发明优点在于：
1、本发明提供的基于机器视觉的室内目标物识别和测距方法，使用机器学习中的物体识别和RGB-D视觉相结合的测距方法，在相机捕获的物体能够被识别的情况下，即可达到测距的目的.该方法不仅能得到识别对象的位置，还可得出被识别对象的具体名称，有助于改善机器人的场景理解能力。
2、本发明提供的基于机器视觉的室内目标物识别和测距方法，涉及机器视觉中的物体识别和测距，快速、准确地识别物体并确定机器人与物体的距离；通过机器视觉的方法实时识别物体，其提供的边界框可为深度图与点云图的匹配提供视图基准；将深度图与点云图匹配提高了测距精度；在相机捕获的物体能够被识别的情况下，即可达到测距的目的；将测距与目标识别同时进行。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于机器视觉的室内目标物识别和测距方法，其特征在于，包括以下步骤：
S1：利用相机获取深度图和点云图，并进入S2步骤；
S2：YOLO算法识别物体，并进入S3步骤；
S3：YOLO算法生成的物体边界框，并进入S4步骤；
S4：对应生成深度图中的边界框，并进入S5步骤；
S5：对深度图中的深度值进行去重并得到坐标，并进入S6步骤；
S6：匹配边界框中点云与深度坐标，并进入S7步骤；
S7：通过几何测距得到机器人与目标物体的距离。
2.根据权利要求1所述的基于机器视觉的室内目标物识别和测距方法，其特征在于，步骤S1中的相机为RGB-D相机。
3.根据权利要求1所述的基于机器视觉的室内目标物识别和测距方法，其特征在于，步骤S2中的物体识别采用YOLOV4模块。
4.根据权利要求3所述的基于机器视觉的室内目标物识别和测距方法，其特征在于，步骤S2中的物体识别还包括在主机端搭建darknet框架。
5.根据权利要求4所述的基于机器视觉的室内目标物识别和测距方法，其特征在于，所述主机端搭建darknet框架包括以下步骤：
对具体物体数据集进行标注后进行kmeans聚类；使用YOLOV4模型对特定物体数据集进行训练，损失值降到最低时结束；将训练好的YOLOV4权重文件替换进行目标识。
6.根据权利要求1所述的基于机器视觉的室内目标物识别和测距方法，其特征在于，步骤S3中YOLO算法生成的物体边界框，包括将RGB-D相机获取的图像作为物体识别模块的输入图像，得到被识别的物体的名称和物体在输入图像中所占据的边界框的坐标。
7.根据权利要求1所述的基于机器视觉的室内目标物识别和测距方法，其特征在于，步骤S4中对应生成深度图中的边界框，包括在深度图中框选一个与识别模块中一样的边界框，将步骤3获得的边界框坐标对应到深度图中，在剪切深度图中框选的区域。
8.根据权利要求1所述的基于机器视觉的室内目标物识别和测距方法，其特征在于，步骤S5中对深度图中的深度值进行去重并得到坐标，包括对框选的深度图中的灰度图进行去重操作，剩下的作为其灰度值；灰度值的深度计算如下：
Q[x y d 1]T＝[X Y Z W]T。
9.根据权利要求8所述的基于机器视觉的室内目标物识别和测距方法，其特征在于，步骤S6中匹配边界框中点云与深度坐标，包括根据获得的灰度值，通过该灰度值在深度图中的一系列坐标。
10.根据权利要求9所述的基于机器视觉的室内目标物识别和测距方法，其特征在于，步骤S7中通过几何测距得到机器人与目标物体的距离，包括把步骤S6中得到的坐标对应到点云图中，即可获得输入图像中被框选物体与相机的距离；测距计算如下：
Figure FDA0003444974310000021
CN202111651778.5A 2021-12-30 2021-12-30 一种基于机器视觉的室内目标物识别和测距方法 Pending CN114494857A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111651778.5A CN114494857A (zh) 2021-12-30 2021-12-30 一种基于机器视觉的室内目标物识别和测距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111651778.5A CN114494857A (zh) 2021-12-30 2021-12-30 一种基于机器视觉的室内目标物识别和测距方法

Publications (1)

Publication Number Publication Date
CN114494857A true CN114494857A (zh) 2022-05-13

Family

ID=81508520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111651778.5A Pending CN114494857A (zh) 2021-12-30 2021-12-30 一种基于机器视觉的室内目标物识别和测距方法

Country Status (1)

Country Link
CN (1) CN114494857A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546566A (zh) * 2022-11-24 2022-12-30 杭州心识宇宙科技有限公司 基于物品识别的智能体交互方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546566A (zh) * 2022-11-24 2022-12-30 杭州心识宇宙科技有限公司 基于物品识别的智能体交互方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US10096122B1 (en) Segmentation of object image data from background image data
JP6011102B2 (ja) 物体姿勢推定方法
US10762386B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
CN111563442A (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
US20170337701A1 (en) Method and system for 3d capture based on structure from motion with simplified pose detection
WO2022116423A1 (zh) 物体位姿估计方法、装置、电子设备及计算机存储介质
CN108381549B (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
JP6955783B2 (ja) 情報処理方法、装置、クラウド処理デバイス及びコンピュータプログラム製品
CN110793544B (zh) 路侧感知传感器参数标定方法、装置、设备及存储介质
CN112509057B (zh) 相机外参标定方法、装置、电子设备以及计算机可读介质
JPWO2006049147A1 (ja) 三次元形状推定システム及び画像生成システム
JP5833507B2 (ja) 画像処理装置
CN112528974B (zh) 测距方法、装置、电子设备及可读存储介质
CN112818925A (zh) 一种城市建筑和树冠识别方法
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
CN114565916A (zh) 目标检测模型训练方法、目标检测方法以及电子设备
CN114279433A (zh) 地图数据自动化生产方法、相关装置及计算机程序产品
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN104182747A (zh) 基于多个立体相机的对象检测跟踪方法及装置
CN114494857A (zh) 一种基于机器视觉的室内目标物识别和测距方法
CN111275758A (zh) 混合型3d视觉定位方法、装置、计算机设备及存储介质
AU2020317303B2 (en) Information processing device, data generation method, and program
CN114608521A (zh) 单目测距方法及装置、电子设备和存储介质
CN116136408A (zh) 室内导航方法、服务器、装置和终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination