CN113792797A - 点云数据筛选方法及存储介质 - Google Patents

Abstract

本申请是关于一种点云数据筛选方法及存储介质。该方法包括：获取包含同一个时间段内的点云数据和图像数据；按照第一规则获得所述时间段内的第一时刻点云数据，以及按照第二规则对所述时间段内的图像数据进行抽帧，获得与所述第一时刻点云数据对应的至少一个抽帧图像；对所述至少一个抽帧图像进行识别，若至少一个抽帧图像的识别结果满足预设条件，则保存与所述第一时刻点云数据对应的所述抽帧图像以及所述第一时刻点云数据。本申请提供的点云数据筛选方法及存储介质，能够高效快速的得到训练用点云数据，提高筛选精度。

Description

点云数据筛选方法及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种点云数据筛选方法及存储介质。

背景技术

随着人工智能、自动驾驶等技术的发展，车路一体化技术也越来越成熟，为了提高其车端监控或路端监控的识别性能，一般需要制作训练样本数据对目标监控进行训练。而为了能够得到训练用的训练样本数据，一般是通过人工筛选，判断每一张点云数据中是否存在训练所需要的类别，此种筛选方式不仅效率较低，而且容易出现误判断而影响训练数据。

发明内容

为解决或部分解决相关技术中存在的问题，本申请提供一种点云数据筛选方法及存储介质，该点云数据筛选方法及存储介质能够高效快速的得到训练用点云数据，提高筛选精度。

本申请第一方面提供一种点云数据筛选方法，包括：

获取包含同一个时间段内的点云数据和图像数据；

按照第一规则获得所述时间段内的第一时刻点云数据，以及按照第二规则对所述时间段内的图像数据进行抽帧，获得与所述第一时刻点云数据对应的至少一个抽帧图像；

对所述至少一个抽帧图像进行识别，若至少一个抽帧图像的识别结果满足预设条件，则保存与所述第一时刻点云数据对应的所述抽帧图像以及所述第一时刻点云数据。

在一种实施方式中，所述获取包含同一个时间段内的点云数据和图像数据，包括：

获取同一个时间段内的点云数据和4组图像数据；

以及，

按照第二规则对所述时间段的图像数据进行抽帧，获得与所述第一时刻点云数据对应的4个抽帧图像；

分别对所述4个抽帧图像进行识别，若至少一个抽帧图像的识别结果满足预设条件，则保存与所述第一时刻点云数据对应的4个抽帧图像以及所述第一时刻点云数据。

在一种实施方式中，所述分别对所述4个抽帧图像进行识别具体为：

获取用户的查询条件；

对所述4个抽帧图像进行识别；

若至少一个抽帧图像的识别结果与所述查询条件匹配，则保存与所述第一时刻点云数据对应的4个抽帧图像以及所述第一时刻点云数据。

在一种实施方式中，所述若至少一个抽帧图像的识别结果满足预设条件，则保存所述识别结果与所述4个抽帧图像的对应关系。

在一种实施方式中，根据用户的查询条件查找与所述查询条件匹配的识别结果，并保存与所述识别结果对应的所述4个抽帧图像，以及保存与所述4个抽帧图像对应的第一时刻点云数据。

在一种实施方式中，所述4个抽帧图像与所述点云数据分别保存至不同的文件夹。

在一种实施方式中，所述按照第一规则获得所述时间段内的第一时刻点云数据包括：

获得单位时间的点云数据，并生成连续多帧点云图像；

以第一预设方式选取所述单位时间中的至少一帧点云图像作为所述第一时刻点云数据。

在一种实施方式中，所述按照第二规则对所述时间段内的图像数据进行抽帧包括：

获取与所述点云数据相同单位时间的至少一个图像数据，并生成至少一组连续多帧抽帧图像；

以第二预设方式选取一组中的至少一帧抽帧图像，使得所选取的所述抽帧图像与所述第一时刻点云数据对应。

在一种实施方式中，所述获取包含同一个时间段内的点云数据和图像数据，包括：

用于获取所述点云数据的激光雷达数量至少包括两个，将从不同激光雷达得到的点云数据融合后形成所述点云数据；

用于获取图像数据的摄像头数量至少包括不同方向的四个，将从不同摄像头得到的图像数据作为所述图像数据。

本申请第二方面提供一种存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

本申请提供的技术方案可以包括以下有益效果：

本申请实施例提供的点云数据筛选方法，通过获取包含同一个时间段内的点云数据和图像数据，按照第一规则获得时间段内的第一时刻点云数据，以及按照第二规则对时间段内的图像数据进行抽帧，获得与第一时刻点云数据对应的至少一个抽帧图像，对至少一个抽帧图像进行识别，若至少一个抽帧图像的识别结果满足预设条件，则保存与第一时刻点云数据对应的所有抽帧图像以及第一时刻点云数据。利用检测技术对与点云数据所对应的图像数据识别检测，将满足预设条件的图像数据以及对应的点云数据保存而得到训练用点云数据，以高效快速的得到训练用点云数据，提高筛选精度。

进一步的，本申请实施例提供的方法，分别将点云数据和图像数据进行处理后，使两者产生对应的关系，只要检测相对容易获取的图像数据的结果即可判别对应的点云数据是否满足预设条件，从而实现点云数据的自动检测，降低了检测的难度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请实施例示出的点云数据筛选方法第一流程示意图；

图2是本申请实施例示出的点云数据筛选方法第二流程示意图；

图3是本申请实施例示出的用于十字路口时激光雷达和摄像头在路口设置位置的简单示意图；

图4是本申请实施例示出的点云数据筛选方法第三流程示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

相关技术中，在通过监控系统进行识别以达到车路一体化时，一般是通过激光雷达采集点云数据和对应设置的多个摄像头采集图像数据，然后基于点云数据进行平面拟合，以达到识别目的。点云数据(point cloud data)，是指在一个三维坐标系统中的一组向量的集合，扫描资料以点的形式记录，每一个点包含有三维坐标，有些可能含有颜色信息(RGB)或反射强度信息(Intensity)。

在监控系统中为了能够通过激光雷达和摄像头的配合使用具有较好的识别效果，监控系统在投入使用前会预先进行训练，训练数据的精准度直接影响了监控系统的使用性能。一般情况下，训练数据根据监控系统的应用情况实现采集所有需要识别的类别进行存储，待监控系统在使用状态下只要调取存储的训练数据进行对比，即可使监控系统达到需要的识别效果。

可以理解的是，对于上述中所提及到的监控系统，根据在不同环境中的使用需求，监控系统所需识别的目标种类等也会有所不同，可以通过替换不同的训练数据来达到监控系统的识别目的。例如，在智慧驾驶中时，监控系统可以设置于路口以起到监控路口不同车辆的驶入、驶出情况，也可以设置于自动驾驶车辆上，用于车辆避障、识别道路、辨识路牌等，在此不做具体限定。

一般情况下，所获取的训练数据通常是通过人工筛选，即在所获取的数据库中通过激光雷达的点云数据对应不同摄像头所得到的图像数据通过人工一一比对的方式，来手动筛选是否存在训练所需要的类别，而得到所需类别的训练用数据。其人工筛选的过程不仅效率低，而且容易出现误操作，进而影响所得到训练数据的精准度。

针对上述问题，本申请提供了一种点云数据筛选方法，以能够快速且高质量的得到所需训练用数据。

以下结合附图详细描述本申请实施例的技术方案。

图1是本申请实施例示出的点云数据筛选方法第一流程示意图。

参见图1，该方法包括：

步骤S101、获取包含同一个时间段内的点云数据和图像数据。

本申请实施例中，在某一个时间段内，可以通过激光雷达采集点云图像，以获得点云数据；通过与激光雷达配合使用的摄像头采集图像，获得图像数据。将该时间段内所获得的点云数据和图像数据分别保存并作为所需的点云数据和图像数据使用。

激光雷达和摄像头可以设置于车辆，也可以设置于道路的路口位置，为了能够通过激光雷达和摄像头的配合使用而得到目标位置、类别等信息，至少需要设置一个以上的摄像头。在以地面所形成的平面为基准平面中，激光雷达根据需要能够在感兴趣区域形成感受视野，摄像头所能够拍摄到的图像数据需要覆盖感受视野。所以，为了便于摄像头能够更精准的采集感受视野中的图像数据，摄像头可以设置为多个，且多个摄像头呈不同的拍摄方向分散设置，例如三个摄像头呈周向排布，以使得摄像头拍摄出来的图像数据能够通过不同的方向的拍摄角度而覆盖感受视野，且三个摄像头之间的拍摄角度可以设置成沿周向均匀分散布置，即任意相邻的摄像头之间的拍摄角度相差120度；或者，设置四个周向布置的摄像头时，四个摄像头之间的拍摄角度可以设置成沿周向均匀分散布置，即任意相邻的摄像头之间的拍摄角度相差90度。

无论摄像头所设置的数量和排布方式采用何种手段实现，只要能够使得摄像头最终所采集到的图像数据在以地面为基准平面上，能够覆盖激光雷达的感受视野即可，从而避免在激光雷达的感受视野遗漏图像数据而影响该视野范围内的识别精度。同时，通过不同方向拍摄所得到的图片数据能够更好的结合点云数据判断所拍摄物体的类别、位置、距离等信息，也能够避免出现在某一方向看近乎重叠的物体无法被识别到而发生误判断的情况。

可以理解的是，将激光雷达以及配合使用的摄像头设置于车辆或路口时，激光雷达的数量可以包括一个或多个，在激光雷达的数量设置两个及以上的情况下，获取待筛选点云数据时，需要分别获取同一个时间段内的不同激光雷达上的点云数据，然后将不同的点云数据融合成一个点云数据，最终作为所获取的点云数据使用。而摄像头设置的数量也可以包括一个或多个，在摄像头设置为多个的情况下，多个摄像头所拍摄的方向均不同，例如，摄像头的数量可以为四个，则所设置的摄像头所拍摄的方向为四个不同的方向，并将同一时间段的四个摄像头得到的图像数据分别保存且共同作为图像数据。

步骤S102、按照第一规则获得时间段内的第一时刻点云数据，以及按照第二规则对时间段内的图像数据进行抽帧，获得与第一时刻点云数据对应的至少一个抽帧图像。

在该步骤中，激光雷达的点云数据为多个点云数据的集合，按照第一规则对时间段内点云数据进行处理，以获得第一时刻点云数据，可以包括：

获取单位时间的点云数据，并生成连续多帧点云图像；

以第一预设方式选取单位时间中的至少一帧点云图像作为第一时刻点云数据。

一个时间段中包括多个单位时间，其中一个单位时间的点云数据采用语义分割、抽帧等手段所得到的某一帧点云图，经第一预设方式筛选后记为某一时刻点云数据，如第一时刻点云数据、第二时刻点云数据……第N时刻点云数据。可以理解的是，某一时刻点云数据中的时刻，代表了在该时间段中某一时间的片段，可以为一个精确的固定时间值，也可以为一个范围值，在此不做具体限定。

其中，在利用点云数据生成单位时间内的连续多帧点云图像时，可以根据预设手段选择点云数据的单位时间，所设置的单位时间可以为一个固定值，如1秒、1分钟，也可以为一个范围值，如0-3秒，4-6秒，在此不做具体限定。并且，在一个时间段中为了节约筛选时间且不会影响筛选结果，在时间段中可以以预设手段对时间段的时间进行抽样选择，以得到多个单位时间的点云数据的集合。例如，可以以等时间间隔的形式选取时间点，该时间点作为单位时间且记录对应的点云数据；或者，在将时间段的首尾去除某一预设时间后再对剩余时间段以等时间间隔的形式选取时间点，该时间点作为单位时间且记录对应的点云数据。其所选用的预设手段还可以包括其他的选取方式，可以根据不同的需求适应性选用，在此不做具体限定。

而在按照第二规则对时间段内的图像数据进行抽帧时，包括：

获取与点云数据相同单位时间的至少一个图像数据，并生成至少一组连续多帧抽帧图像；

以第二预设方式选取一组中的至少一帧抽帧图像，使得所选取的抽帧图像与第一时刻点云数据对应。

为了便于理解，选取通过第一规则获得第一时刻点云数据为例，对获取与第一时刻点云数据对应的至少一个抽帧图像的实现方式做说明，在该实施例中A、B、C、D四个摄像头分别获得A、B、C、D四组图像数据：

首先通过预设手段选取单位时间的点云数据并将得到的各个点云数据分别生成连续多帧点云图像，例如可以为15帧、20帧、25帧等，此处以每个单位时间生成连续20帧为例，在第一个单位时间T1中所生成的20帧点云图分别记为：0、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19，以此类推，在第二个单位时间T2中所生成的20帧图片也做同样记录。

然后通过第一预设方式选取点云图像组，以第一个单位时间T1中所生成的20帧点云图为例，可以以每间隔4帧选取得到：0、4、8、12、16帧的点云图，分别被记为第一时刻点云数据、第二时刻点云数据、第三时刻点云数据、第四时刻点云数据、第五时刻点云数据。

再对第一单位时间T1中的A、B、C、D四组图像数据分别进行抽帧，以A组图像数据为例，同样图像数据在一个单位时间抽帧得到的连续抽帧图像可以为15、20、25等，以单位时间抽帧得到25帧抽帧图像为例，在第一个单位时间T1中所生成的25帧点云图分别记为：0、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24，以每间隔5帧选取得到：0、5、10、15、20帧的抽帧图像，这五帧图片可以理解为分别与对应单位时间的五个时刻点云数据一一对应。同样的，在B、C、D组图像数据中也能够分别得到与五个时刻点云数据一一对应的：0、5、10、15、20帧的抽帧图像。

即在一个单位时间中：

点云数据所得到的五个时刻点云数据：{0、4、8、12、16}；

A组图像数据序列得到的五个抽帧图像：{0、5、10、15、20}；

B组图像数据序列得到的五个抽帧图像：{0、5、10、15、20}；

C组图像数据序列得到的五个抽帧图像：{0、5、10、15、20}；

D组图像数据序列得到的五个抽帧图像：{0、5、10、15、20}；

基于上述方式即可获得与某时刻点云数据对应的至少一个抽帧图像，可以理解的是，对点云数据和图像数据采用何种方式生成相应的连续帧的点云图或抽帧图像，能够选取几帧一一对应的时刻点云数据和抽帧图像，可以根据需要自行设定，只要满足时刻点云数据与抽帧图像能够在时间上一一对应即可。

步骤S103、对至少一个抽帧图像进行识别，若至少一个抽帧图像的识别结果满足预设条件，则保存与第一时刻点云数据对应的抽帧图像以及第一时刻点云数据。

在该步骤中，对抽帧图像进行识别所采用的检测技术，为较常使用的图片检测筛选技术，在此不做详细说明。

同样以上述中的A、B、C、D四组图像数据以及第一时刻点云数据为例：

获得在第一时刻的单位时间中：

点云数据得到的第一时刻点云数据：{0、4、8、12、16}；

A图像数据序列得到的五个抽帧图像：{0、5、10、15、20}；

B图像数据序列得到的五个抽帧图像：{0、5、10、15、20}；

C图像数据序列得到的五个抽帧图像：{0、5、10、15、20}；

D图像数据序列得到的五个抽帧图像：{0、5、10、15、20}；

具体的，选取第0帧的抽帧图像进行识别，该第0帧的抽帧图像包括A、B、C、D四组图像数据中的第0帧，将四个第0帧分别进行识别，并分别得到对应的识别结果。若至少有一个第0帧满足预设条件，则保存与第一时刻点云数据中第0帧对应的点云数据以及四组图像数据中的第0帧，否则删除。以此类推，选取第一时刻点云数据中对应的四组图像数据中的第5帧、第10帧、第15帧、第20帧进行识别，至第一时刻点云数据识别结束，再重复上述步骤对下一时刻点云数据识别。

在对图像数据进行识别时，判断识别结果是否满足预设条件可以理解为，以上述中的第0帧抽帧图像为例，对该抽帧图像进行识别，将抽帧图像中所识别到的所有信息进行类别的分类，例如，可以将全部属于路牌的标记为同一类别，全部属于车辆的标记为同一类别，根据路牌、栅栏、车辆等进行标记分类，而不会对相应地类别进行细分。或者也可以仅识别车辆，将同属于车辆的汽车、自行车、摩托车等进行详细分类而标记为不同的类别。而预设条件为通过识别结果得到的类别信息是否包含某种想要获取的类别，例如，预设条件所需的类别为路牌，判断识别结果中的所有类别中是否包含路牌这个对象的类别，如果包含则认为识别结果满足预设条件。

可以理解的是，识别结果和预设条件中对应的类别分类，根据不同的情况会有不同的分类形式、分类基准，得到不同类别的结果。主要取决于所要识别的具体场景和具体所要识别的物体，在此不做具体限定。

在此需要强调的是，对于通过按照第一规则获得时间段内的第一时刻点云数据，以及按照第二规则对时间段内的图像数据进行抽帧中所涉及到的第一规则和第二规则，分别是对点云数据和图像数据进行处理的常用手段，其目的在于能够便于获得点云图与二维图像上的对应关系，以使点云数据和图像数据分别产生对应关系，通过识别检测图像数据即可方便准确的得到对应的点云数据的信息，即可实现点云数据的自动检测，降低了检测的难度。所以对于第一规则和第二规则可以包含多种不同的方式，在此不做具体限定。

图2是本申请实施例的点云数据筛选的方法的另一流程示意图。图2相对图1更详细的描述了本申请的方案。图3是本申请实施例示出的用于十字路口时激光雷达和摄像头在路口设置位置的简单示意图。

参见图2和图3，该方法包括：

步骤S201、获取同一个时间段内的点云数据和4组图像数据。

步骤S202、按照第一规则获得时间段内的第一时刻点云数据，以及按照第二规则对时间段内的图像数据进行抽帧，获得与第一时刻点云数据对应的4个抽帧图像。

步骤S203、分别对4个抽帧图像进行识别，若至少一个抽帧图像的识别结果满足预设条件，则保存与第一时刻点云数据对应的4个抽帧图像以及第一时刻点云数据。

在本实施例中，摄像头2分别安装于四个路口，使得摄像头2拍摄方向之间的拍摄角度相差90度，在对路口的区域进行拍摄时，各摄像头2能够同时进行拍摄。两个激光雷达1在路口的对角设置，每个激光雷达1的感兴趣区域覆盖路口的区域，且不同激光雷达1的感兴趣区域重合的部分相互不会产生影响，结合后形成所需的感受视野。

在激光雷达1和摄像头2使用一段时间后，提取包含一个时间段内的点云数据和4组图像数据，以提取某一天中的某一个小时内的相关数据为例。对于所提取的数据，在数据录制过程中，会采用ros系统，将所有的节点数据，都录制到后缀为.bag的文件中。

通过ros系统，根据不同的节点，可以提取.bag数据中相应节点的数据，每个数据都是以时间戳为名字命名。例如，将所获得的一个小时点云数据通过ros系统保存在.bag的文件夹中，该文件夹中包含一个小时内的所有点云数据和4个摄像头的4组图像数据，而在该一个小时内的点云数据和4组图像数据根据记录的某时某分某秒的时间上不同，所以保存在.bag文件中的图像名以时间戳为名字命名。并且，以时间戳命名的点云数据和4组图像数据中，在保存时，点云数据和4组图像数据会形成对应关系，该对应关系的形成可以为通过按照第一规则选取后所得到的数据。例如，将一个小时以每1秒为单位时间，得到以每1秒划分的多个点云数据后，将1秒中的点云数据抽帧，得到0-19帧的20帧连续点云图，并将20帧连续点云图按照间隔4帧抽取一帧的方式得到1秒中最终的点云图像，作为五个时刻点云数据，记为{0、4、8、12、16}，并将一个小时中不同秒的五个时刻点云数据保存在.bag文件夹中，其中，0可以记为第一作为第一时刻点云数据、4可以记为第二作为第二时刻点云数据，以此类推，能够通过某时某分某秒第一、某时某分某秒第二……作为时间戳记录得到点云图像。

同样的，为了获得点云数据与4组图像数据的对应关系，将所获得的一个小时的4个摄像头的4组图像数据进行抽帧。即按照第二规则对时间段内的图像数据进行抽帧具体包括，获取与点云数据相同单元时间的至少一个图像数据，4个摄像头2获得的四组图像数据同分别记为A1、A2、A3、A4，将四个图像数据的单位时间设置为与点云数据相同，即每1秒为单位时间。以其中A1图像数据为例，对该图像数据中1秒的图像数据进行抽帧，得到0-24帧的连续25帧的抽帧图像。以第二预设方式选取一组中的至少一帧抽帧图像，使得所选取的抽帧图像与第一时刻点云数据的具体方式可以为：将25帧抽帧图像按照间隔5帧抽取一帧的方式得到与点云图时间相对应的抽帧图像，记为{0、5、10、15、20}。其中，0可以记为第一且与第一时刻点云数据对应、4可以记为第二，以此类推，能够通过某时某分某秒第一、某时某分某秒第二……作为时间戳记录得到。可以知道的是，4组图像数据所得到的抽帧图像标记相同，区别在于其分别属于A1、A2、A3、A4数据，从而获得点云数据和4个图像数据的对应关系。

可以理解的是，上述中仅是为了便于理解如何获得点云数据和4组图像数据对应关系，而进行的简单示意性描述，在此不做详细说明。

在一些实施例中，对于.bag文件夹中具有对应关系的点云数据和4组图像数据，为了便于区分，点云数据和4个抽帧图像可以分别保存在不同的.bag文件夹中，不同文件夹中对应的1个点云图和4个抽帧图像命名相同。

利用识别检测技术分别对保存有抽帧图像的.bag文件夹中的抽帧图像进行识别，例如，对抽帧图像记为T1中{0、5、10、15、20}的第一抽帧图像进行识别，在该文件夹中共有4个相同标记的抽帧图像，分别对4个抽帧图像进行识别，判断识别结果是否满足预设条件，得到相应的识别结果，当4个抽帧图像中至少有一个的识别结果满足预设条件时，则保存此4个0帧的抽帧图像、对应抽帧图像的图像数据，以及保存点云数据的.bag文件夹中记为T1中的第一时刻点云数据的点云图、以及对应的点云数据；当4个抽帧图像的所有识别结果均不满足预设条件，则将该4个抽帧图像、对应的4个抽帧数据以及对应的点云数据均删除。之后，采用上述识别方式对其他时间戳的抽帧图像进行识别，并判断识别结果。以此重复上述步骤，至.bag文件夹中的所有抽帧图像全部识别筛选完毕，所保留下来的数据即为所需得到的点云数据和图像数据。

可以理解的是，对于预设条件根据监控系统使用在不同的工况中可以有所不同，而将其应用于路口中时，监控系统是用于识别主要参与路口交通的车辆的类别。所以说，在此情况下，预设条件的类别包括以下类别中的至少一种：car,bus,truck,bike,motor，但不仅限于此。

图4是本申请实施例示出的点云数据筛选方法的又一流程示意图。图4相对图2更详细的描述了本申请实施例的方案。

参见图4，在一些实施例中，利用识别检测技术分别对位于.bag文件夹中的抽帧图像进行识别(即分别对4个抽帧图像进行识别)的详细步骤包括：

S20301、获取用户的查询条件。

S20302、对4个抽帧图像进行识别。

S20303、若至少一个抽帧图像的识别结果与查询条件匹配，则保存与第一时刻点云数据对应的4个抽帧图像以及第一时刻点云数据。

在上述步骤中，用户输入的查询条件中所想要的类别即为预设条件，例如，用户输入bike作为查询条件，在对抽帧图像进行识别时，会对命名相同的4个抽帧图像(即抽帧图像1、抽帧图像2、抽帧图像3、抽帧图像4)进行识别。根据抽帧图像的识别结果与查询条件匹配，即判断4个抽帧图像中是否包含bike的类别，若命名相同的4个抽帧图像中至少有一个抽帧图像中包含该类别，即至少有一个抽帧图像识别所判断的结果为是，则将4个抽帧图像、抽帧数据以及对应命名相同的点云图、点云数据保存，若识别结果全部判断为否，则将4个抽帧图像、抽帧数据以及对应命名相同的点云图、点云数据删除。

在一实施例中，若至少一个抽帧图像的识别结果满足预设条件，则保存识别结果与4个抽帧图像的对应关系。即在上述判断结果为是，则保存4个抽帧图像、抽帧数据以及对应命名相同的点云图、点云数据的基础上，为了便于后续的查找，在保存对应的点云数据和图像数据的同时，各抽帧图像在识别过程中哪那几个抽帧图像满足预设条件，哪几个抽帧图像不满足预设条件，在对应的文件中也会保留在数据中。当调取同一时间戳的点云数据和图像数据时，我们同时也能够获得该时间戳内抽帧图像与识别结果的对应关系，以便于查找。

可选地，对于满足预设条件所保留的点云数据和图像数据，为了便于后续的查找，在对抽帧图像进行识别时，抽帧图像中所识别到的其他类别也可以一并保存在数据中存储。在保存识别结果的同时将识别过程的信息保存，以便于后续的查找。

在一些实施例中，根据用户的查询条件查找与查询条件匹配的识别结果，并保存与识别结果对应的4个抽帧图像，以及保存与4个抽帧图像对应的第一时刻点云数据。以通过此种根据用于的查询条件进行匹配的查找方式能够节约查找的时间和匹配的精度，避免人工查找效率低、容易出错的问题。

可选地，上述步骤根据用户的查询条件查找与该查询条件匹配的识别结果后，并在保存与识别结果对应的4个抽帧图像、与4个抽帧图像对应的第一时刻点云数据时，为了能够便于查找区分，保存下来的仍分别保存在原来对应的点云数据的.bag文件夹和图像数据的.bag文件夹中，将不满足筛选条件的相关数据删掉。或者，也可以在此基础上额外在对应的.bag文件夹中重新建立命名相同的子文件夹，满足预设条件的数据分别保存在新建立的子文件夹中，位于上一级内的原始点云数据和图像数据保持不动。且在子文件夹中，点云数据和图像数据对应关系被标记，且对应的数据中所包含的类别信息也在相应地子文件夹中能够获取到。进一步地，通过点云数据的子文件夹和图像数据的子文件夹的数据即可得知在对应时间4个抽帧图像哪几帧满足预设条件且与其相对的点云数据为哪个。

在一些实施例中，同样以上述中分别保存在不同但以相同的.bag命名的文件夹中的点云数据和图像数据为例，点云数据和4个图像数据的文件夹所显示出来的名称例如可以为3d_url、3d_img0、3d_img1、_img2、3d_img3，其中0、1、2、3分别代表了所设置的4个摄像头从前后左右四个方向获得的4个图像数据，以选取其中一个图像数据中一个时间戳的抽帧图像为例，该抽帧图像可以记为1628596189174289817，将其进行split分割，根据图片分割出来的ID，拼接成.pcd做对应匹配，这样就得到了保存在不同文件夹下具有对应关系的点云数据和图像数据。

此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本申请还可以实施为一种存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当可执行代码(或计算机程序、或计算机指令代码)被电子设备(或电子设备、服务器等)的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种点云数据筛选方法，其特征在于，包括：

获取包含同一个时间段内的点云数据和图像数据；

按照第一规则获得所述时间段内的第一时刻点云数据，以及按照第二规则对所述时间段内的图像数据进行抽帧，获得与所述第一时刻点云数据对应的至少一个抽帧图像；

对所述至少一个抽帧图像进行识别，若至少一个抽帧图像的识别结果满足预设条件，则保存与所述第一时刻点云数据对应的所述抽帧图像以及所述第一时刻点云数据。

2.根据权利要求1所述的方法，其特征在于，所述获取包含同一个时间段内的点云数据和图像数据，包括：

获取同一个时间段内的点云数据和4组图像数据；

以及，

按照第二规则对所述时间段的图像数据进行抽帧，获得与所述第一时刻点云数据对应的4个抽帧图像；

分别对所述4个抽帧图像进行识别，若至少一个抽帧图像的识别结果满足预设条件，则保存与所述第一时刻点云数据对应的4个抽帧图像以及所述第一时刻点云数据。

3.根据权利要求2所述的方法，其特征在于，所述分别对所述4个抽帧图像进行识别具体为：

获取用户的查询条件；

对所述4个抽帧图像进行识别；

若至少一个抽帧图像的识别结果与所述查询条件匹配，则保存与所述第一时刻点云数据对应的4个抽帧图像以及所述第一时刻点云数据。

4.根据权利要求2所述的方法，其特征在于，所述若至少一个抽帧图像的识别结果满足预设条件，则保存所述识别结果与所述4个抽帧图像的对应关系。

5.根据权利要求4所述的方法，其特征在于，根据用户的查询条件查找与所述查询条件匹配的识别结果，并保存与所述识别结果对应的所述4个抽帧图像，以及保存与所述4个抽帧图像对应的第一时刻点云数据。

6.根据权利要求3-5任一项所述的方法，其特征在于，所述4个抽帧图像与所述点云数据分别保存至不同的文件夹。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述按照第一规则获得所述时间段内的第一时刻点云数据包括：

获得单位时间的点云数据，并生成连续多帧点云图像；

以第一预设方式选取所述单位时间中的至少一帧点云图像作为所述第一时刻点云数据。

8.根据权利要求1-5任一项所述的方法，其特征在于，所述按照第二规则对所述时间段内的图像数据进行抽帧包括：

获取与所述点云数据相同单位时间的至少一个图像数据，并生成至少一组连续多帧抽帧图像；

以第二预设方式选取一组中的至少一帧抽帧图像，使得所选取的所述抽帧图像与所述第一时刻点云数据对应。

9.根据权利要求1-5中任一项所述的方法，其特征在于，所述获取包含同一个时间段内的点云数据和图像数据，包括：

用于获取所述点云数据的激光雷达数量至少包括两个，将从不同激光雷达得到的点云数据融合后形成所述点云数据；

用于获取图像数据的摄像头数量至少包括不同方向的四个，将从不同摄像头得到的图像数据作为所述图像数据。

10.一种存储介质，其特征在于，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-9中任一项所述的方法。

Images