CN114529610A - 一种基于rgb-d相机的毫米波雷达数据标注方法 - Google Patents

Abstract

本发明公开了一种基于RGB‑D相机的毫米波雷达数据标注方法，包括：用RGB‑D相机和毫米波雷达同时采集数据；通过像素坐标系与相机坐标系转换，得到图像中对应物体在相机坐标系下的点云数据集；根据点云数据集对RGB‑D相机采集的彩色图像标注目标，得到在RGB‑D相机坐标系下的点云数据坐标集；将RGB‑D相机坐标系下的点云数据坐标集转化为毫米波雷达坐标系下的点云数据坐标集；根据毫米波雷达坐标系下的点云数据坐标集寻找到对应的点云数据集，完成标注。本发明通过RGB‑D的彩色图像进行标注，可以识别出物体的种类或类别；标注方式简单，只需要找到毫米波雷达与RGB‑D相机中目标对应的点；图像中的信息丰富，可以为毫米波雷达的点云数据赋予更多的信息。

Description

一种基于RGB-D相机的毫米波雷达数据标注方法

技术领域

本发明涉及图像目标标注领域，尤其是指一种基于RGB-D相机的毫米波雷达数据标注方法。

背景技术

目前对于毫米波雷达目标点云数据的标注方法不多，一部分方案是通过对毫米波雷达的点云数据进行预处理，获取目标，即通过去除点云数据的噪声，再使用一些聚类的方法将毫米波雷达的点云数据进行聚类，获取雷达点云数据中的目标，从而对数据进行标注，但是这种方案仅通过聚类的点云无法识别具体的目标是什么物体；另外一些方案则是通过毫米波雷达的多普勒频谱图进行分析，获取数据中目标的相关信息，并将多普勒数据中目标信息转化至对应的点云数据中，但是这种方法需要采集毫米波雷达的多普勒数据，不是直接通过点云数据进行目标标注的，实现的过程复杂繁琐。

例如，一种在中国专利文献上公开的“用于标注点云数据的方法和装置”，其公告号CN107945198B，所述方法的一具体实施方式包括：使用激光雷达以及不同于激光雷达的传感器对同一场景进行数据采集，分别得到点云数据以及传感器数据；对所述点云数据进行分割与跟踪，获得点云分割与跟踪结果；对所述传感器数据中的特征物进行识别与跟踪，获得特征物识别与跟踪结果；使用所述特征物识别与跟踪结果对所述点云分割与跟踪结果进行校正，获得点云分割与跟踪结果的置信度；将置信度大于置信度阈值的点云分割与跟踪结果确定为点云标注结果。该发明虽然实现了降低了对点云数据进行标注的人工工作量，降低了标注成本，但并没有解决实现的过程复杂繁琐和无法识别具体的目标是什么物体的问题。

发明内容

本发明是为了克服现有技术的不是直接通过点云数据进行目标标注的，实现的过程复杂繁琐的问题，提供一种基于RGB-D相机的毫米波雷达数据标注方法。

为了实现上述目的，本发明采用以下技术方案：

一种基于RGB-D相机的毫米波雷达数据标注方法，包括以下步骤：S1：利用RGB-D相机和毫米波雷达同时采集数据，RGB-D相机采集的数据为一幅深度图像和一幅RGB的彩色图像，毫米波雷达采集输出点云数据集P_r；S2：通过像素坐标系与相机坐标系转换，得到图像中对应物体在相机坐标系下的点云数据集P_c；S3：根据点云数据集P_c对RGB-D相机采集的彩色图像进行目标标注，得到在RGB-D相机坐标系下的点云数据坐标集P_{_obj}；S4：将RGB-D相机坐标系下的点云数据坐标集P_{_obj}转化为毫米波雷达坐标系下的点云数据坐标集P_{_obj_I}；S5：根据毫米波雷达坐标系下的点云数据坐标集P_{_obj_I}和毫米波雷达点云数据集P_r寻找到对应的点云数据集P_result，完成标注。本发明通过同时采集毫米波雷达的数据与RGB-D的数据，利用RGB-D相机采集的图像数据直观的特点，可以很容易的标注出图像中的物体与类别；然后利用RGB-D相机的特性，将图像中的物体与RGB-D相机的点云数据进行对应，即找到图像中的目标物体对应RGB-D点云数据中的哪些点云；最后在通过RGB-D相机与毫米波雷达空间转换关系，利用RGB-D相机中目标点云数据的空间坐标找到毫米波雷达点云数据的对应值，便可以将毫米波雷达数据中的物体进行标注。这种方法直观，简洁，不需要设置去噪和聚类的参数，也不需要专业的分析多普勒数据的能力，对于普通的雷达使用者便可以完成。

作为本发明的优选方案，所述RGB-D相机和毫米波雷达在采集数据时，需要安装在同一平面上，且RGB-D相机的中心和毫米波雷达的中心在同一水平线上。本发明需要用到毫米波雷达和RGB-D相机，毫米波雷达和RGB-D相机需要安装在同一平面上，并且毫米波雷达的中心与RGB-D相机的中心在同一水平线上，这样做的目的是为了在计算RGB-D点云坐标与毫米波雷达点云坐标转化关系的时候比较简单。

作为本发明的优选方案，所述S2具体为：根据彩色图像上物体的若干像素点和深度图像对应的深度值，通过像素坐标系与相机坐标系转换公式得到图像中对应物体在相机坐标系下的空间坐标点的集合，即对应物体在相机坐标系下的点云数据集P_c，所述像素坐标系与相机坐标系转换公式为：

其中，(u，v，1)是彩色图像上物体的像素点在像素坐标系下的空间坐标，Z_c是彩色图像上物体的像素点在深度图上对应的深度值，f_x为相机焦距在x方向上的缩放比例，f_y相机焦距在y方向上的缩放比例，c_x为相机光轴在x方向上偏移量，c_y为相机光轴在y方向上偏移量，(x_c，y_c，z_c)为像素点在相机坐标系下的空间坐标。其中f_x、f_y、c_x、c_y是相机的内部参数，可以通过相机标定的方法或在相机出厂参数中找到对应参数的值。

作为本发明的优选方案，所述S4具体为：将RGB-D相机坐标系下的点云数据坐标集P_{_obj}内的空间坐标点的集合通过毫米波雷达坐标系和RGB-D相机坐标系转换公式转化为毫米波雷达坐标系下的云数据坐标集P_{_obj_I}，所述毫米波雷达坐标系和RGB-D相机坐标系转换公式为：

(x_c，y_c，z_c)-T＝(x_r，y_r，z_r)

其中，T＝(dx，0，0)为平移矩阵，dx为RGB-D相机的中心和毫米波雷达的中心之间的距离，(x_c，y_c，z_c)为RGB-D相机中的像素点在相机坐标系下的空间坐标，(x_r，y_r，z_r)为毫米波雷达中的与RGB-D相机中对应的像素点在雷达坐标系下的空间坐标。这里假设相机坐标系和毫米波雷达坐标系为向上为z，向前为y，向左为x，具体使用中，可以根据坐标系的不同进行调整，毫米波雷达中的其他的点也可以按照上面的公式进行转换。

作为本发明的优选方案，所述S5具体为：以点云数据坐标集P_{_obj_I}为基础，逐个取点云数据坐标集P_{_obj_I}中的空间坐标点，计算其与毫米波雷达采集输出点云数据集P_r中的空间坐标点的距离，找到距离最近的点完成标注。

作为本发明的优选方案，所述空间坐标点的距离公式为：

其中，(x_i，y_i，z_i)为点云数据坐标集P_{_obj_I}中的空间坐标点的坐标，(x_r，y_r，z_r)为毫米波雷达采集输出点云数据集P_r中的空间坐标点的坐标。

因此，本发明具有以下有益效果：1、通过RGB-D的彩色图像进行标注，可以识别出物体的种类或类别；2、标注方式简单，只需要找到毫米波雷达与RGB-D相机中目标对应的点，不需要使用去噪和聚类这些方法，也不需要分析很专业的多普勒频谱图；3、图像中的信息很丰富，可以为毫米波雷达的点云数据赋予更多的信息。

附图说明

图1是本发明的方法流程图；

图2是现有技术的图像标注示例图；

图3是本发明RGB-D相机和毫米波雷达的安装位置示意图；

图4是本发明的实施例的RGB-D图像示例图；

图5是本发明的实施例的相机坐标系和毫米波雷达坐标系的示意图；

图6是本发明的实施例的方法流程图；

图中：1、安装平面；2、RGB-D相机；3、毫米波雷达；4、RGB-D相机的中心；5、毫米波雷达的中心。

具体实施方式

下面结合附图与具体实施方式对本发明做进一步的描述。

如图2所示，现有技术的图像标注示例图，毫米波雷达的点云数据比较稀疏，且其数据与激光雷达存在一定的区别，激光雷达的数据较毫米波雷达来说比较稠密，所以激光雷达的点云数据可视化之后，人工可以识别出点云中的数据是什么物体，而毫米波雷达的数据无法在可视化之后通过人工的方法识别当前的点云数据所对应物体；并且当点云点较少时，无法判断这些点集合是否为物体；而通过对点云数据进行去噪，聚类的方法找出目标的方法存在一些问题，首先该方法依赖于去噪方法和聚类方法选取以及参数阈值的设置，对操作者的专业要求比较高；同时，对于有重叠的目标，聚类时很容易出现错误，即将两个目标物体聚为一类，并且通过聚类之后得到的目标物体，不能判断物体类别，即这个物体是什么。另外一种使用毫米波雷达多普勒频谱图的方法也存在一些问题，这种方法无法直接对毫米波雷达点云数据进行操作；同时需要使用较为专业的设备获取毫米波雷达多普勒数据，并对数据进行分析处理，普通的毫米波雷达使用者在分析和处理毫米波雷达的多普勒数据时是存在很大的困难的。

如图1所示，为本发明的方法整体流程图，本发明通过同时采集毫米波雷达的数据与RGB-D的数据，利用RGB-D相机采集的图像数据直观的特点，可以很容易的标注出图像中的物体与类别；然后利用RGB-D相机的特性，将图像中的物体与RGB-D相机的点云数据进行对应，即找到图像中的目标物体对应RGB-D点云数据中的哪些点云；最后在通过RGB-D相机与毫米波雷达空间转换关系，利用RGB-D相机中目标点云数据的空间坐标找到毫米波雷达点云数据的对应值，便可以将毫米波雷达数据中的物体进行标注。这种方法直观，简洁，不需要设置去噪和聚类的参数，也不需要专业的分析多普勒数据的能力，对于普通的雷达使用者便可以完成。

本发明需要用到毫米波雷达和RGB-D相机，毫米波雷达与RGB-D相机的安装如图3所示，毫米波雷达和RGB-D相机在安装时需要在同一平面上，并且毫米波雷达的中心与RGB-D相机的中心要在同一水平线上，这样做的目的是为了在计算RGB-D点云坐标与毫米波雷达点云坐标转化关系的时候比较简单。

实施例：如图6所示，是本实施例的方法流程图，S1：利用毫米波雷达和RGB-D相机同时进行数据采集。RGB-D相机采集的数据为一幅RGB的彩色图像和一幅深度图像，如图4所示，上面的为彩色图，下面的为深度图，毫米波雷达会直接输出点云坐标，若干点云坐标组成点云数据集P_r；S2：通过RGB-D相机坐标系与像素坐标系之间的变换，如下公式所示：

可以得到图像中对应的物体在RGB-D相机坐标系下的坐标。空间中某一个点在相机坐标系下的坐标为(x_c，y_c，z_c)，通过将每个方向上的坐标值除以Z方向的值，可以获得该点在相机坐标系下的归一化的坐标(x_c/z_c，y_c/z_c，1)，其中(u，v,1)是像素坐标系下的坐标(图像是由一个一个像素组成，像素坐标即图像中某个像素在图像中什么位置，像素坐标的原点在图像的左上角，水平方向为y，竖直方向上为x)，而深度图则是彩色图中每个像素点对应的深度值，即Z_c的值；经过像素坐标系到相机坐标系的变化，再加上深度图中的Z_c的值，即可得到对应的点在RGB-D相机坐标系下的空间坐标(x_c，y_c，z_c)，式中的f_x、f_y、c_x、c_y是相机的内部参数，可以通过相机标定的方法或相机出厂参数中会有对应参数的值；S3：依据点云数据集P_c，实现对RGB-D相机采集到的彩色图像进行目标标注，从而得到在RGB-D相机坐标系下的对应的点云数据坐标集P_{_obj}；S4：通过转换公式(2)将RGB-D相机坐标系下的点云数据坐标集P_{_obj}内的空间坐标点的集合转化为毫米波雷达坐标系下的云数据坐标集P_{_obj_I}。毫米波雷达会直接输出点云坐标，毫米波雷达中某一个空间点在毫米波雷达坐标系下的坐标为(x_r，y_r，z_r)，由于毫米波雷达与RGB-D相机在一个平面上，并且RGB-D相机中心与毫米波雷达的中心保持在同一水平线上，所以通过将毫米波雷达的点进行平移就可以转换到相机坐标系下，毫米波雷达坐标系和RGB-D相机坐标系之间的转换公式如公式(2)所示：

(x_c，y_c，z_c)-T＝(x_r，y_r，z_r) (2)

其中T为平移矩阵，T＝(dx，0，0)，(x_c，y_c，z_c)为RGB-D相机中的某个点在相机坐标系下的坐标，(x_r，y_r，z_r)为毫米波雷达中的与RGB-D中对应的点在雷达坐标系下坐标，dx为毫米波雷达的中心和RGB-D相机的中心之间的距离，这里设相机坐标系和毫米波雷达坐标系为向上为z，向前为y，向左为x，如图5所示，具体使用中，可以根据坐标系的不同进行调整，毫米波雷达中的其他的点也可以按照上面的公式进行转换，经过S4已经可以成功的将毫米波雷达的点云数据转化到RGB-D相机坐标系下，同理也可以实现将RGB-D相机坐标系下的点云数据转化到毫米波雷达坐标系下；S5：根据点云数据坐标集P_{_obj_I}和毫米波雷达点云数据集P_r寻找到对应的点云数据集P_result，并完成标注。RGB-D相机的彩色图像和深度图像组成的点云数据集为P_c(p₁，p₂…p_n)，毫米波雷达点云数据集为P_r(p₁，p₂…p_j)，通过RGB-D彩色图像目标标注，标注的目标在RGB-D相机坐标系的点云数据坐标集为P_{_obj}(p₁，p₂…p_m)，接着通过上面的公式(2)将毫米波雷达的点云数据转化到RGB-D相机坐标系下或将目标标注在RGB-D相机坐标系下的点集转化为毫米波雷达的坐标系，这里以将RGB-D相机坐标系的标注的点集P_{_obj}(p₁，p₂…p_m)转换到毫米波雷达坐标系下，转换后相机标注的目标的点集在毫米波雷达坐标系的坐标为P_{_obj_I}(p₁，p₂…p_m)，以P_{_obj_I}(p₁，p₂…p_m)为基础，在毫米波雷达点云集P_r(p₁，p₂…p_j)找到P_{_obj_I}对应的点云数据集合P_result。具体的方法为：逐个取P_{_obj_I}中的点，计算其与毫米波雷达点云集中P_r(p₁，p₂…p_j)点的距离，找到距离最近的那个点。距离计算的公式为：

其中，(x_i，y_i，z_i)为点云数据坐标集P_{_obj_I}中的空间坐标点的坐标，(x_r，y_r，z_r)为毫米波雷达采集输出点云数据集P_r中的空间坐标点的坐标。至此，通过RGB-D相机完成了对毫米波雷达中的点云数据的标注。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明保护范围之内。

Claims (6)

1.一种基于RGB-D相机的毫米波雷达数据标注方法，其特征是，包括以下步骤：

S1：利用RGB-D相机和毫米波雷达同时采集数据，RGB-D相机采集的数据为一幅深度图像和一幅RGB的彩色图像，毫米波雷达采集输出点云数据集P_r；

S2：通过像素坐标系与相机坐标系转换，得到图像中对应物体在相机坐标系下的点云数据集P_c；

S3：根据点云数据集P_c对RGB-D相机采集的彩色图像进行目标标注，得到在RGB-D相机坐标系下的点云数据坐标集P_{_obj}；

S4：将RGB-D相机坐标系下的点云数据坐标集P_{_obj}转化为毫米波雷达坐标系下的点云数据坐标集P_{_obj_I}；

S5：根据毫米波雷达坐标系下的点云数据坐标集P_{_obj_I}和毫米波雷达点云数据集P_r寻找到对应的点云数据集P_result，完成标注。

2.根据权利要求1所述的一种基于RGB-D相机的毫米波雷达数据标注方法，其特征是，所述RGB-D相机和毫米波雷达在采集数据时，需要安装在同一平面上，且RGB-D相机的中心和毫米波雷达的中心在同一水平线上。

3.根据权利要求1所述的一种基于RGB-D相机的毫米波雷达数据标注方法，其特征是，所述S2具体为：根据彩色图像上物体的若干像素点和深度图像对应的深度值，通过像素坐标系与相机坐标系转换公式得到图像中对应物体在相机坐标系下的空间坐标点的集合，即对应物体在相机坐标系下的点云数据集P_c，所述像素坐标系与相机坐标系转换公式为：

其中，(u，v，1)是彩色图像上物体的像素点在像素坐标系下的空间坐标，Z_c是彩色图像上物体的像素点在深度图上对应的深度值，f_x为相机焦距在x方向上的缩放比例，f_y相机焦距在y方向上的缩放比例，c_x为相机光轴在x方向上偏移量，c_y为相机光轴在y方向上偏移量，(x_c，y_c，z_c)为像素点在相机坐标系下的空间坐标。

4.根据权利要求2所述的一种基于RGB-D相机的毫米波雷达数据标注方法，其特征是，所述S4具体为：将RGB-D相机坐标系下的点云数据坐标集P_{_obj}内的空间坐标点的集合通过毫米波雷达坐标系和RGB-D相机坐标系转换公式转化为毫米波雷达坐标系下的云数据坐标集P_{_obj_I}，所述毫米波雷达坐标系和RGB-D相机坐标系转换公式为：

(x_c，y_c，z_c)-T＝(x_r，y_r，z_r)

其中，T＝(dx，0，0)为平移矩阵，dx为RGB-D相机的中心和毫米波雷达的中心之间的距离，(x_c，y_c，z_c)为RGB-D相机中的像素点在相机坐标系下的空间坐标，(x_r，y_r，z_r)为毫米波雷达中的与RGB-D相机中对应的像素点在雷达坐标系下的空间坐标。

5.根据权利要求1所述的一种基于RGB-D相机的毫米波雷达数据标注方法，其特征是，所述S5具体为：以点云数据坐标集P_{_obj_I}为基础，逐个取点云数据坐标集P_{_obj_I}中的空间坐标点，计算其与毫米波雷达采集输出点云数据集P_r中的空间坐标点的距离，找到距离最近的点完成标注。

6.根据权利要求5所述的一种基于RGB-D相机的毫米波雷达数据标注方法，其特征是，所述空间坐标点的距离公式为：

其中，(x_i，y_i，z_i)为点云数据坐标集P_{_obj_I}中的空间坐标点的坐标，(x_r，y_r，z_r)为毫米波雷达采集输出点云数据集P_r中的空间坐标点的坐标。

Images