CN113971699A - 目标物识别方法、装置、电子设备和存储介质 - Google Patents

目标物识别方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113971699A
CN113971699A CN202111391582.7A CN202111391582A CN113971699A CN 113971699 A CN113971699 A CN 113971699A CN 202111391582 A CN202111391582 A CN 202111391582A CN 113971699 A CN113971699 A CN 113971699A
Authority
CN
China
Prior art keywords
point
coordinate system
target object
camera
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111391582.7A
Other languages
English (en)
Inventor
黄兴
杨道成
周讷达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Huaxing Digital Technology Co Ltd
Original Assignee
Shanghai Huaxing Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Huaxing Digital Technology Co Ltd filed Critical Shanghai Huaxing Digital Technology Co Ltd
Priority to CN202111391582.7A priority Critical patent/CN113971699A/zh
Publication of CN113971699A publication Critical patent/CN113971699A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种目标物识别方法、装置、电子设备和存储介质，其中方法包括：获取包含目标物的待识别深度图；对所述待识别深度图对应的点云中的畸变点进行聚类分割，得到所述目标物的点云；基于所述目标物的点云、以及所述待识别深度图对应的相机坐标系和大地坐标系之间的坐标转换关系，确定所述目标物的点云中各个点在大地坐标系中的三维坐标；基于所述各个点在大地坐标系中的三维坐标确定所述目标物的空间信息。本发明提供的方法、装置、电子设备和存储介质，减少环境光照条件的影响，并且无需考虑目标物的颜色或者纹理等特征，提高了目标物的位置识别精度。

Description

目标物识别方法、装置、电子设备和存储介质
技术领域
本发明涉及图像识别技术领域，尤其涉及一种目标物识别方法、装置、电子设备和存储介质。
背景技术
挖掘机等作业机械被广泛应用于矿山开采、楼房建筑、路桥修建等施工场地。其中，破碎作业是挖掘机经常执行的施工作业之一。为了使挖掘机自动化地执行破碎作业，需要挖掘机能够准确地识别石块的位置，从而顺利地控制破碎锤将石块破碎。
现有技术中，通过在挖掘机上安装相机进行图像采集，对采集的图像进行识别后得到需要破碎的目标物(石块)的位置等信息。由于相机进行图像采集时容易受到环境光照条件的影响，且目标物的颜色变化和纹理类型较为复杂，使得目标物的位置识别精度差，难以指导挖掘机进行自动化破碎作业。
发明内容
本发明提供一种目标物识别方法、装置、电子设备和存储介质，用以解决现有技术中目标物的识别方法容易受到环境光照条件的影响，识别精度差的技术问题。
本发明提供一种目标物识别方法，包括：
获取包含目标物的待识别深度图；
对所述待识别深度图对应的点云中的畸变点进行聚类分割，得到所述目标物的点云；
基于所述目标物的点云以及所述待识别深度图对应的相机坐标系和大地坐标系之间的坐标转换关系，确定所述目标物的点云中各个点在大地坐标系中的三维坐标；
基于所述各个点在大地坐标系中的三维坐标，确定所述目标物的空间信息。
根据本发明提供的目标物识别方法，所述相机坐标系和大地坐标系之间的坐标转换关系是基于包含标定物的标定深度图、以及所述标定物上的标定点在大地坐标系中的三维坐标确定的；
所述标定深度图与所述待识别深度图对应的相机坐标系相同。
根据本发明提供的目标物识别方法，所述相机坐标系和大地坐标系之间的坐标转换关系基于如下步骤确定：
确定所述标定物上的标定点在所述标定深度图中的像素坐标和深度值；
基于所述标定点的像素坐标和深度值、深度相机的相机焦距以及所述相机坐标系中深度相机的中心像素坐标，确定所述标定点在所述相机坐标系中的三维坐标；
基于所述标定点在所述相机坐标系中的三维坐标，以及所述标定点在大地坐标系中的三维坐标，确定所述相机坐标系和大地坐标系之间的坐标转换关系。
根据本发明提供的目标物识别方法，所述标定物为圆柱体，所述标定点为所述圆柱体的上表面中心。
根据本发明提供的目标物识别方法，所述对所述待识别深度图对应的点云中的畸变点进行聚类分割，得到所述目标物的点云的步骤之前，还包括：
以所述待识别深度图对应的点云中任一点为目标点，确定所述目标点对应的邻近点；
基于所述目标点的各个邻近点的特征维度值，确定所述目标点对应的畸变点；
其中，所述特征维度值是由所述待识别深度图对应的点云中各个点在相机坐标系中的三维坐标确定的。
根据本发明提供的目标物识别方法，所述基于所述目标点的各个邻近点的特征维度值，确定所述目标点对应的畸变点，包括：
基于所述目标点的各个邻近点与所述目标点之间的距离，确定所述目标点对应的内点；
基于所述目标点的各个内点的特征维度值变化权重，以及预设阈值权重，确定所述目标点对应的畸变点；
其中，所述各个内点的特征维度值变化权重是基于各个内点的特征维度值以及所述目标点的特征维度值确定的。
根据本发明提供的目标物识别方法，所述获取包含目标物的待识别深度图，包括：
确定覆盖所述目标物的采集区域；
基于所述采集区域的尺寸，确定深度相机的采集倾角；
基于所述深度相机的采集倾角、所述采集区域的尺寸以及所述深度相机的视场角度和像素精度，确定所述深度相机的采集高度；
基于所述深度相机的采集倾角和采集高度，获取所述待识别深度图。
本发明提供一种目标物识别装置，包括：
获取单元，用于获取包含目标物的待识别深度图；
识别单元，用于对所述待识别深度图对应的点云中的畸变点进行聚类分割，得到所述目标物的点云；
转换单元，用于基于所述目标物的点云，以及所述待识别深度图对应的相机坐标系和大地坐标系之间的坐标转换关系，确定所述目标物的点云中各个点在大地坐标系中的三维坐标；
确定单元，用于基于各个点在大地坐标系中的三维坐标，确定所述目标物的空间信息。
本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述目标物识别方法的步骤。
本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述目标物识别方法的步骤。
本发明提供的目标物识别方法、装置、电子设备和存储介质，通过对包含目标物的待识别深度图对应的点云中的畸变点进行聚类分割，得到目标物的点云，根据待识别深度图对应的相机坐标系和大地坐标系之间的坐标转换关系，确定目标物的点云中各个点在大地坐标系中的三维坐标，进而确定目标物的空间信息，由于采用了点云聚类分割的方法从环境中识别目标物，将目标物的三维坐标从相机坐标系转换至大地坐标系，减少环境光照条件的影响，并且无需考虑目标物的颜色或者纹理等特征，提高了目标物的位置识别精度，使得目标物的空间信息可以直接用于指导作业机械进行施工。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的目标物识别方法的流程示意图；
图2为本发明提供的标定方法的示意图；
图3为本发明提供的深度相机的视场示意图；
图4为本发明提供的深度相机的采集示意图之一；
图5为本发明提供的深度相机的采集示意图之二；
图6为本发明提供的目标物识别装置的结构示意图；
图7为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的目标物识别方法的流程示意图。如图1所示，该方法包括：
步骤110，获取包含目标物的待识别深度图。
具体地，目标物为需要进行空间信息识别的物体。待识别深度图为对包含目标物的场景进行深度信息采集后得到的深度图。待识别深度图中的像素值表示从图像采集器到场景中各点的距离(深度)，包含了目标物的深度信息，对目标物的深度信息进行识别后，可以得到目标物的空间信息。空间信息包括目标物的位置、形状和尺寸等。
待识别深度图可以通过深度相机进行获取。深度相机包括光飞行时间法相机(Time of Flight，TOF)、结构光相机、双目视觉相机等。优选地，可以通过TOF相机来采集待识别深度图。TOF相机通过测量光脉冲的飞行往返时间来得到确切的目标物距离，具有检测距离远和受环境光干扰小的优点，适合在环境恶劣的施工工地中使用。
步骤120，对待识别深度图对应的点云中的畸变点进行聚类分割，得到目标物的点云。
具体地，待识别深度图经过坐标转换，可以得到相对应的点云。待识别深度图中每一像素点代表的是深度相机的视野中特定坐标处的物体到离深度相机的摄像头平面的距离。深度相机的内标定参数包括相机焦距和中心像素坐标。其中，相机焦距包括横向焦距fx和纵向焦距fy。中心像素坐标为深度相机传感器中心在成像平面的中心坐标(cx，cy)，则对于待识别深度图中任一像素点，其在成像平面的坐标为(u，v)，该像素对应的深度值为dep，则可以解析出该像素点对应的点在该深度相机的相机坐标系中的三维坐标(x，y，z)为：
Figure BDA0003364735200000061
对待识别深度图中的每一像素点进行转换，可以得到待识别深度图对应的点云。
在现实场景中，同一物体表面上的各个点的位置关系通常是连续的，即点与点之间的位置关系不会产生突变。只有该物体的边缘处会与该物体所在的环境之间存在空间距离变化，相应地，在该物体的点云中，边缘位置会出现畸变点。点云中的畸变点为点云中的位置突变点，也就是说，畸变点与邻域内的其他点的位置关系为不连续。
可以通过对待识别深度图对应的点云中的各个点求解法向量和/或曲率，根据法向量和/或曲率的变化，确定点云中的各个畸变点。对这些畸变点进行聚类分割后，得到目标物的点云。
聚类分割算法可以采用RanSaC(随机采样一致)算法、基于临近信息的点云分割算法、欧几里得算法、区域生长算法和超体聚类分割算法等，本发明实施例对此不作具体限定。
步骤130，基于目标物的点云，以及待识别深度图对应的相机坐标系和大地坐标系之间的坐标转换关系，确定目标物的点云中各个点在大地坐标系中的三维坐标。
具体地，待识别深度图对应的相机坐标系为以采集待识别深度图的深度相机的光心位置为原点建立的，其中轴指向相机的正前方的三维坐标系。大地坐标系为以地球中心作为参考点建立的三维空间坐标系。
两个坐标系之间的坐标转换关系可以通过旋转矩阵和平移向量来表示。旋转矩阵用于描述两个坐标系中坐标轴的旋转关系，平移向量用于描述两个坐标系中坐标原点的平移关系。
可以根据待识别深度图对应的相机坐标系和大地坐标系之间的坐标转换关系，将目标物的点云中的各个点转换到大地坐标系中，得到各个点的三维坐标。
步骤140，基于各个点在大地坐标系中的三维坐标确定目标物的空间信息。
根据各个点的三维坐标，确定目标物在大地坐标系中的空间信息。可以根据各个点的三维坐标确定目标物的位置信息，例如可以对各个点的三维坐标进行求平均值，将平均值所对应的点作为目标物的中心点，将该点作为目标物的位置；也可以根据各个点的三维坐标确定目标物的形状信息，例如可以对各个点的三维坐标进行曲线拟合，根据拟合后的结果确定目标物对应的形状；还可以根据各个点的三维坐标确定目标物的尺寸信息，例如可以根据目标物的边界点的三维坐标进行差值计算后得到目标物的长宽高等信息。
下面以挖掘机安装破碎锤后自动识别矿石进行破碎作业为例进行说明。在进行自动破碎作业之前，需要对矿石进行识别。首先，可以通过TOF相机对包含矿石的作业场景进行深度信息采集，得到待识别深度图。根据TOF相机的内标定参数，将待识别深度图转换为点云。其次，通过点云中各个点的法向量或者曲率，确定点云中的畸变点，然后对畸变点进行聚类分割，得到矿石的点云。再次，根据TOF相机的相机坐标系与大地坐标系之间的坐标转换关系，将矿石的点云中的各个点的转换至大地坐标系中，得到各个点在大地坐标系中的三维坐标。最后，根据矿石中各个点在大地坐标系中的三维坐标计算得到矿石的中心位置和尺寸，从而控制挖掘机进行破碎作业。
本发明实施例提供的目标物识别方法，通过对包含目标物的待识别深度图对应的点云中的畸变点进行聚类分割，得到目标物的点云，根据待识别深度图对应的相机坐标系和大地坐标系之间的坐标转换关系，确定目标物的点云中各个点在大地坐标系中的三维坐标，进而确定目标物的空间信息，由于采用了点云聚类分割的方法从环境中识别目标物，将目标物的三维坐标从相机坐标系转换至大地坐标系，减少环境光照条件的影响，并且无需考虑目标物的颜色或者纹理等特征，提高了目标物的位置识别精度，使得目标物的空间信息可以直接用于指导作业机械进行施工。
基于上述实施例，相机坐标系和大地坐标系之间的坐标转换关系是基于包含标定物的标定深度图、以及标定物上的标定点在大地坐标系中的三维坐标确定的；
标定深度图与待识别深度图对应的相机坐标系相同。
具体地，相机坐标系和大地坐标系之间的坐标转换关系可以通过设置标定物进行解算的方式进行获取。标定深度图用于对相机坐标系和大地坐标系之间的坐标转换关系进行标定。
标定物所在的标定深度图与目标物所在的待识别深度图对应的相机坐标系应当相同。也就是说，采集标定深度图的深度相机的内标定参数应当与采集待识别深度图的深度相机的内标定参数保持相同；采集标定深度图的深度相机的采集视场应当与采集待识别深度图的深度相机的采集视场保持相同。
标定时，可以在目标物所在的场景中设置多个标定物，通过标定物上的标定点在相机坐标系中的三维坐标，以及标定物上的标定点在大地坐标系中的三维坐标，求解得到相机坐标系和大地坐标系之间的坐标转换关系，即两坐标系之间的旋转矩阵和平移向量。标定物上的标定点在相机坐标系中的三维坐标可以通过采集标定深度图进行获取。
基于上述任一实施例，相机坐标系和大地坐标系之间的坐标转换关系基于如下步骤确定：
确定标定物上的标定点在标定深度图中的像素坐标和深度值；
基于标定点的像素坐标和深度值、深度相机的相机焦距以及相机坐标系中深度相机的中心像素坐标，确定标定点在相机坐标系中的三维坐标；
基于标定点在相机坐标系中的三维坐标，以及标定点在大地坐标系中的三维坐标，确定相机坐标系和大地坐标系之间的坐标转换关系。
具体地，标定物可以选择特定结构的物体，标定点可以选择标定物上面的特定点。例如，标定物可以选择圆柱体，标定点可以选择为圆柱体的上表面的中心；标定物可以选择正方体，标定点可以选择为正方体的顶点等。
首先，在深度相机的采集视场中设置多个标定物，确定标定物上的标定点在标定深度图中的像素坐标和深度值。按照上述实施例中的方法，根据标定点的像素坐标和深度值、深度相机的相机焦距以及相机坐标系中深度相机的中心像素坐标，计算得到标定点在相机坐标系中的三维坐标Pcam(xcam，ycam，zcam)。
其次，可以采用GPS(Global Positioning System，全球定位系统)设备或者RTK(Real-time kinematic，实时差分定位)设备，测量得到标定点在大地坐标系中的三维坐标Pgps(xgps，ygps，zgps)。
再次，由于从相机坐标系到大地坐标系之间坐标转换关系满足刚体变换，因此，可以建立坐标转换关系的方程式：
Figure BDA0003364735200000091
其中，R为相机坐标系到大地坐标系之间旋转矩阵，T为相机坐标系到大地坐标系之间平移向量。
图2为本发明提供的标定方法的示意图，如图2所示，通过多个标定点在相机坐标系O_cam中的三维坐标和在大地坐标系O_gps中的三维坐标，可以对上述方程式进行求解，得到旋转矩阵R和平移向量T，即求解得到相机坐标系和大地坐标系之间的坐标转换关系。
基于上述任一实施例，标定物为圆柱体，标定点为圆柱体的上表面中心。
具体地，由圆柱体的几何特性可知，圆柱面上的点到圆柱体中轴线的距离恒等于圆柱体的截面半径r0。假设P(x，y，z)是圆柱面的任意一点，P0(x0，y0，z0)为圆柱体中轴线上的一点，(a，b，c)为圆柱体中轴线的单位向量，则圆柱体表达式可以表示为：
Figure BDA0003364735200000101
由上式可知，只需要{x0，y0，z0，a，b，c}六个参数就可以拟合出圆柱体。
由于圆柱体在不同视角下均能够很容易确定圆柱体的上表面中心，其截面半径可以提前确定，根据一组点云数值P0(x0，y0，z0)，就可以拟合出(a，b，c)。
因此，在上述实施例中，考虑到深度图的成像误差，需要满足标定物在一定视角变化的情况下，仍然能够准确地定位到标定点，可以将标定物选择为圆柱体，标定点选择为圆柱体的上表面中心。
基于上述任一实施例，步骤120之前包括：
以待识别深度图对应的点云中任一点为目标点，确定目标点对应的邻近点；
基于目标点的各个邻近点的特征维度值，确定目标点对应的畸变点；
其中，特征维度值是由待识别深度图对应的点云中各个点在相机坐标系中的三维坐标确定的。
具体地，可以根据邻近搜索的方式来确定畸变点，通过对比某点和其邻近点的位置变化特征，来实现识别畸变点。
可以以待识别深度图对应的点云中任一点为目标点，确定目标点对应的邻近点。邻近点的选取可以根据点与点之间的距离进行选取。
根据各个邻近点在相机坐标系中的三维坐标以及法向量，确定目标点的各个邻近点的特征维度值，该特征维度值用于考察各个邻近点的位置变化情况。
特征维度值的确定方法如下：
步骤一、在建立的K-Dtree中，K-Dtree中包含待识别深度图对应的点云中的所有点，确定任一点Pa(xa，ya，za)，并确定点Pa最近的K个点，作为集合P；
步骤二、令
Figure BDA0003364735200000111
COV＝QTQ。其中，Q为点Pa的最近的K个点与点Pa的之间的三维坐标差值矩阵，COV为协方差矩阵，对协方差矩阵进行奇异值分解后，得到最小特征值对应的特征向量[ua，va，wa]，将此向量作为Pa的法向量；
步骤三、得到点Pa的特征维度值可以为(xa，ya，za，ua，va，wa)。
对于目标点，对其各个邻近点的特征维度值的变化进行考察，从而确定目标点对应的畸变点。
基于上述任一实施例，基于目标点的各个邻近点的特征维度值，确定目标点对应的畸变点，包括：
基于目标点的各个邻近点与目标点之间的距离，确定目标点对应的内点；
基于目标点的各个内点的特征维度值变化权重，以及预设阈值权重，确定目标点对应的畸变点；
其中，各个内点的特征维度值变化权重是基于各个内点的特征维度值，以及目标点的特征维度值确定的。
具体地，对于目标点的各个邻近点与目标点之间的距离，确定目标点对应的内点，例如，若目标点为点Pa，则对其K邻域内的所有点集(最邻近的K个点)，计算每个邻近点与目标点之间的距离，并取平均值为mean。对于任一邻近点，若其与目标点之间的距离小于等于平均值，则该邻近点为目标点的内点；若其与目标点之间的距离大于平均值，则该邻近点不为目标点的内点。
根据各个内点与目标点之间的距离，以及各个内点与目标点之间的法向量偏角确定各个内点的特征维度值变化权重。
例如，对于内点Pb，该点的特征维度值为(xb，yb，zb，ub，vb，wb)，根据目标点Pa的特征维度值(xa，ya，za，ua，va，wa)，可以计算该点与目标点Pa之间的距离为：
Figure BDA0003364735200000121
可以计算该点与目标点Pa之间的法向量偏角为：
|uaub+vavb+wawb-1|
则内点Pb的特征维度值变化权重val可以用公式表示为：
Figure BDA0003364735200000122
如果任一内点的特征维度值变化权重大于预设阈值权重，则可以确定该内点为目标点对应的畸变点。
基于上述任一实施例，步骤110包括：
确定覆盖目标物的采集区域；
基于采集区域的尺寸，确定深度相机的采集倾角；
基于深度相机的采集倾角、采集区域的尺寸以及深度相机的视场角度和像素精度，确定深度相机的采集高度；
基于深度相机的采集倾角和采集高度，获取待识别深度图。
具体地，当采用深度相机对矿石进行深度图采集时，深度相机一般安装在作业机械上，然而，作业机械工作时会产生强烈的震动，影响深度相机的使用寿命及感测精度。因此，本发明实施例中的深度相机可独立安装于作业机械的施工现场。
深度相机的采集视场可以通过采集倾角和采集高度来确定。采集倾角为深度相机的中轴线与竖直方向的夹角；采集高度为深度相机相对于水平地面的安装高度。
图3为本发明提供的深度相机的视场示意图，如图3所示，对于深度相机O_camera，其采集视场为矩形区域。矩形区域的4个边分别为fx_a，fx_b，fy_a和fy_b。采集视场的尺寸可以用x和y表示。x为fx_a和fx_b之间的距离，y为fy_a和fy_b之间的距离。
中轴线可以用视场中心线O_camera-f来表示。深度相机的视场角可以用角fx_a-O_camera-fx_b(记为α)和角fy_a-O_camera-fy_b(记为β)来表示。
图4为本发明提供的深度相机的采集示意图之一，图5为本发明提供的深度相机的采集示意图之二，如图4和图5所示，对于深度相机O_camera，其安装于独立的安装杆P上，采集高度为len，采集倾角为θ。
在确定深度相机的采集倾角和采集高度之前，首先应确定覆盖目标物的采集区域。深度相机的采集倾角应使得采集视场的尺寸大于或等于采集区域的尺寸。
根据深度相机的采集倾角、采集区域的尺寸，以及深度相机的视场角度和像素精度，确定深度相机的采集高度，用公式表示为：
Figure BDA0003364735200000141
其中，prelevel为深度相机的像素精度等级，pre0为设定像素精度。
为了保证深度相机的精度尽可能高，则需要以上述4个不等式为约束条件，求解
Figure BDA0003364735200000142
求解得到的len为采集高度的最优值。
基于上述任一实施例，图6为本发明提供的目标物识别装置的结构示意图，如图6所示，该装置包括：
获取单元610，用于获取包含目标物的待识别深度图；
识别单元620，用于对待识别深度图对应的点云中的畸变点进行聚类分割，得到目标物的点云；
转换单元630，用于基于目标物的点云，以及待识别深度图对应的相机坐标系和大地坐标系之间的坐标转换关系，确定目标物的点云中各个点在大地坐标系中的三维坐标；
确定单元640，用于基于各个点在大地坐标系中的三维坐标，确定目标物的空间信息。
本发明实施例提供的目标物识别装置，通过对包含目标物的待识别深度图对应的点云中的畸变点进行聚类分割，得到目标物的点云，根据待识别深度图对应的相机坐标系和大地坐标系之间的坐标转换关系，确定目标物的点云中各个点在大地坐标系中的三维坐标，进而确定目标物的空间信息，由于采用了点云聚类分割的方法从环境中识别目标物，将目标物的三维坐标从相机坐标系转换至大地坐标系，减少环境光照条件的影响，并且无需考虑目标物的颜色或者纹理等特征，提高了目标物的位置识别精度，使得目标物的空间信息可以直接用于指导作业机械进行施工。
基于上述任一实施例，相机坐标系和大地坐标系之间的坐标转换关系是基于包含标定物的标定深度图、以及标定物上的标定点在大地坐标系中的三维坐标确定的；
标定深度图与待识别深度图对应的相机坐标系相同。
基于上述任一实施例，还包括：
转换单元，用于确定标定物上的标定点在标定深度图中的像素坐标和深度值；
基于标定点的像素坐标和深度值、深度相机的相机焦距以及相机坐标系中深度相机的中心像素坐标，确定标定点在相机坐标系中的三维坐标；
基于标定点在相机坐标系中的三维坐标，以及标定点在大地坐标系中的三维坐标，确定相机坐标系和大地坐标系之间的坐标转换关系。
基于上述任一实施例，标定物为圆柱体，标定点为圆柱体的上表面中心。
基于上述任一实施例，还包括：
邻近点确定单元，用于以待识别深度图对应的点云中任一点为目标点，确定目标点对应的邻近点；
畸变点确定单元，用于基于目标点的各个邻近点的特征维度值，确定目标点对应的畸变点；
其中，特征维度值是由待识别深度图对应的点云中各个点在相机坐标系中的三维坐标确定的。
基于上述任一实施例，畸变点确定单元具体用于：
基于目标点的各个邻近点与目标点之间的距离，确定目标点对应的内点；
基于目标点的各个内点的特征维度值变化权重以及预设阈值权重，确定目标点对应的畸变点；
其中，各个内点的特征维度值变化权重是基于各个内点的特征维度值，以及目标点的特征维度值确定的。
基于上述任一实施例，获取单元具体用于：
确定覆盖目标物的采集区域；
基于采集区域的尺寸，确定深度相机的采集倾角；
基于深度相机的采集倾角、采集区域的尺寸以及深度相机的视场角度和像素精度，确定深度相机的采集高度；
基于深度相机的采集倾角和采集高度，获取待识别深度图。
基于上述任一实施例，图7为本发明提供的电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器(Processor)710、通信接口(Communications Interface)720、存储器(Memory)730和通信总线(Communications Bus)740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑命令，以执行如下方法：
获取包含目标物的待识别深度图；对待识别深度图对应的点云中的畸变点进行聚类分割，得到目标物的点云；基于目标物的点云，以及待识别深度图对应的相机坐标系和大地坐标系之间的坐标转换关系，确定目标物的点云中各个点在大地坐标系中的三维坐标；基于各个点在大地坐标系中的三维坐标，确定目标物的空间信息。
此外，上述的存储器730中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令，实现上述方法，其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：
获取包含目标物的待识别深度图；对待识别深度图对应的点云中的畸变点进行聚类分割，得到目标物的点云；基于目标物的点云，以及待识别深度图对应的相机坐标系和大地坐标系之间的坐标转换关系，确定目标物的点云中各个点在大地坐标系中的三维坐标；基于各个点在大地坐标系中的三维坐标，确定目标物的空间信息。
本发明实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述方法，其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种目标物识别方法，其特征在于，包括：
获取包含目标物的待识别深度图；
对所述待识别深度图对应的点云中的畸变点进行聚类分割，得到所述目标物的点云；
基于所述目标物的点云以及所述待识别深度图对应的相机坐标系和大地坐标系之间的坐标转换关系，确定所述目标物的点云中各个点在大地坐标系中的三维坐标；
基于所述各个点在大地坐标系中的三维坐标，确定所述目标物的空间信息。
2.根据权利要求1所述的目标物识别方法，其特征在于，所述相机坐标系和大地坐标系之间的坐标转换关系是基于包含标定物的标定深度图、以及所述标定物上的标定点在大地坐标系中的三维坐标确定的；
所述标定深度图与所述待识别深度图对应的相机坐标系相同。
3.根据权利要求2所述的目标物识别方法，其特征在于，所述相机坐标系和大地坐标系之间的坐标转换关系基于如下步骤确定：
确定所述标定物上的标定点在所述标定深度图中的像素坐标和深度值；
基于所述标定点的像素坐标和深度值、深度相机的相机焦距以及所述相机坐标系中深度相机的中心像素坐标，确定所述标定点在所述相机坐标系中的三维坐标；
基于所述标定点在所述相机坐标系中的三维坐标、以及所述标定点在大地坐标系中的三维坐标，确定所述相机坐标系和大地坐标系之间的坐标转换关系。
4.根据权利要求3所述的目标物识别方法，其特征在于，所述标定物为圆柱体，所述标定点为所述圆柱体的上表面中心。
5.根据权利要求1所述的目标物识别方法，其特征在于，在对所述待识别深度图对应的点云中的畸变点进行聚类分割得到所述目标物的点云的步骤之前，还包括：
以所述待识别深度图对应的点云中任一点为目标点，确定所述目标点对应的邻近点；
基于所述目标点的各个邻近点的特征维度值，确定所述目标点对应的畸变点；
其中，所述特征维度值是由所述待识别深度图对应的点云中各个点在相机坐标系中的三维坐标确定的。
6.根据权利要求5所述的目标物识别方法，其特征在于，所述基于所述目标点的各个邻近点的特征维度值，确定所述目标点对应的畸变点，包括：
基于所述目标点的各个邻近点与所述目标点之间的距离，确定所述目标点对应的内点；
基于所述目标点的各个内点的特征维度值变化权重、以及预设阈值权重，确定所述目标点对应的畸变点；
其中，所述各个内点的特征维度值变化权重是基于各个内点的特征维度值以及所述目标点的特征维度值确定的。
7.根据权利要求1至6任一项所述的目标物识别方法，其特征在于，所述获取包含目标物的待识别深度图，包括：
确定覆盖所述目标物的采集区域；
基于所述采集区域的尺寸，确定深度相机的采集倾角；
基于所述深度相机的采集倾角、所述采集区域的尺寸以及所述深度相机的视场角度和像素精度，确定所述深度相机的采集高度；
基于所述深度相机的采集倾角和采集高度，获取所述待识别深度图。
8.一种目标物识别装置，其特征在于，包括：
获取单元，用于获取包含目标物的待识别深度图；
识别单元，用于对所述待识别深度图对应的点云中的畸变点进行聚类分割，得到所述目标物的点云；
转换单元，用于基于所述目标物的点云以及所述待识别深度图对应的相机坐标系和大地坐标系之间的坐标转换关系，确定所述目标物的点云中各个点在大地坐标系中的三维坐标；
确定单元，用于基于所述各个点在大地坐标系中的三维坐标，确定所述目标物的空间信息。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述目标物识别方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述目标物识别方法的步骤。
CN202111391582.7A 2021-11-19 2021-11-19 目标物识别方法、装置、电子设备和存储介质 Pending CN113971699A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111391582.7A CN113971699A (zh) 2021-11-19 2021-11-19 目标物识别方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111391582.7A CN113971699A (zh) 2021-11-19 2021-11-19 目标物识别方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113971699A true CN113971699A (zh) 2022-01-25

Family

ID=79590126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111391582.7A Pending CN113971699A (zh) 2021-11-19 2021-11-19 目标物识别方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113971699A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452656A (zh) * 2023-06-16 2023-07-18 星猿哲科技(深圳)有限公司 箱体内物体的整齐摆放方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452656A (zh) * 2023-06-16 2023-07-18 星猿哲科技(深圳)有限公司 箱体内物体的整齐摆放方法、装置、设备及存储介质
CN116452656B (zh) * 2023-06-16 2023-11-28 星猿哲科技(深圳)有限公司 箱体内物体的整齐摆放方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107330925B (zh) 一种基于激光雷达深度图像的多障碍物检测和跟踪方法
CN110148185B (zh) 确定成像设备坐标系转换参数的方法、装置和电子设备
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
EP3223191B1 (en) Creation of a 3d city model from oblique imaging and lidar data
CA2950791C (en) Binocular visual navigation system and method based on power robot
EP3876189A1 (en) Geographic object detection device, geographic object detection method, and geographic object detection program
CN113359782B (zh) 一种融合lidar点云与图像数据的无人机自主选址降落方法
CN109255808B (zh) 基于倾斜影像的建筑物纹理提取方法和装置
CN105346706A (zh) 飞行装置、飞行控制系统及方法
CN105447853A (zh) 飞行装置、飞行控制系统及方法
CN113657224A (zh) 车路协同中用于确定对象状态的方法、装置、设备
EP2887315A1 (en) Calibration device, method for implementing calibration, program and camera for movable body
CN110827361B (zh) 基于全局标定架的相机组标定方法及装置
CN107923744B (zh) 基于点云的表面施工
CN111488812A (zh) 障碍物位置识别方法、装置、计算机设备和存储介质
Konrad et al. Localization in digital maps for road course estimation using grid maps
CN112800938B (zh) 无人驾驶车辆检测侧面落石发生的方法及装置
CN111879244B (zh) 综采工作面液压支架支撑高度和顶梁倾角测量方法
CN110851978B (zh) 一种基于可见性的摄像机位置优化方法
CN110989619B (zh) 用于定位对象的方法、装置、设备和存储介质
CN113971699A (zh) 目标物识别方法、装置、电子设备和存储介质
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN107765257A (zh) 一种基于反射强度辅助外部校准的激光探测与测量方法
CN111553342B (zh) 一种视觉定位方法、装置、计算机设备和存储介质
KR20220052784A (ko) 깊이 영상 기반 실시간 바닥 검출방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination