CN111259829A - 点云数据的处理方法和装置、存储介质及处理器 - Google Patents

点云数据的处理方法和装置、存储介质及处理器 Download PDF

Info

Publication number
CN111259829A
CN111259829A CN202010062823.2A CN202010062823A CN111259829A CN 111259829 A CN111259829 A CN 111259829A CN 202010062823 A CN202010062823 A CN 202010062823A CN 111259829 A CN111259829 A CN 111259829A
Authority
CN
China
Prior art keywords
point cloud
cloud data
target
data
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010062823.2A
Other languages
English (en)
Other versions
CN111259829B (zh
Inventor
彭亮
宋浩
魏雅文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaoma Huixing Technology Co ltd
Original Assignee
Beijing Xiaoma Huixing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaoma Huixing Technology Co ltd filed Critical Beijing Xiaoma Huixing Technology Co ltd
Priority to CN202010062823.2A priority Critical patent/CN111259829B/zh
Publication of CN111259829A publication Critical patent/CN111259829A/zh
Application granted granted Critical
Publication of CN111259829B publication Critical patent/CN111259829B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种点云数据的处理方法和装置、存储介质及处理器。其中,该方法包括:获取当前时间采集到的目标点云数据,其中,目标点云数据包括:至少一个对象的点云数据;获取与目标点云数据具有映射关系的目标图片数据;将目标点云数据投影至目标图片数据中,得到投影结果;对目标点云数据和投影结果进行识别,得到目标点云数据的识别结果,其中,识别结果用于表征至少一个对象的类型。本发明解决了相关技术中点云数据的处理方法准确度低的问题的技术问题。

Description

点云数据的处理方法和装置、存储介质及处理器
技术领域
本发明涉及无人驾驶汽车领域,具体而言,涉及一种点云数据的处理方法和装置、存储介质及处理器。
背景技术
在无人驾驶汽车领域中,无人驾驶汽车需要实时采集车辆周围的道路环境,通过识别确定车辆周围的其他汽车、行人、障碍物、红绿灯等对象的具体位置和当前状态,并基于识别结果对无人驾驶汽车进行控制,达到自动驾驶目的。
无人驾驶汽车上集成有多种传感器,主要可以是雷达(例如激光雷达、毫米波雷达等)和摄像头,通过雷达可以实时采集到无人驾驶汽车周围每个对象的三维轮廓数据,得到每个对象的点云数据;通过摄像头可以实时采集到无人驾驶汽车周期的图像。从而通过同时对点云数据和图像进行识别,可以较为准确地确定每个对象的具体位置和当前状态,方便后续对车辆进行自动控制。
但是,由于不同传感器采集数据的时间不同,且数据存储位置不同,点云数据和图像存在不匹配的情况,导致点云数据的标注结果和图像的标注结果误差较大,车辆控制准确度降低,存在较大安全隐患。
针对相关技术中点云数据的处理方法准确度低的问题的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种点云数据的处理方法和装置、存储介质及处理器,以至少解决相关技术中点云数据的处理方法准确度低的问题的技术问题。
根据本发明实施例的一个方面,提供了一种点云数据的处理方法,包括:获取当前时间采集到的目标点云数据,其中,目标点云数据包括:至少一个对象的点云数据;获取与目标点云数据具有映射关系的目标图片数据;将目标点云数据投影至目标图片数据中,得到投影结果;对目标点云数据和投影结果进行识别,得到目标点云数据的识别结果,其中,识别结果用于表征至少一个对象的类型。
可选地,获取与目标点云数据具有映射关系的目标图片数据,包括:获取数据映射集合,其中,数据映射集合包括:多个时间戳,以及每个时间戳对应的点云数据,以及每个点云数据对应的图片数据,点云数据和图片数据的映射关系基于时间戳确定;获取当前时间对应的目标时间戳;基于目标时间戳,从数据映射集合中获取目标图片数据。
可选地,获取当前时间对应的目标时间戳,包括:遍历数据映射集合对应的二叉搜索树,得到目标时间戳。
可选地,在获取数据映射集合之前,该方法还包括:获取多个点云数据,以及每个点云数据的时间戳;获取多个图片数据,以及每个图片数据的时间戳,其中,多个图片数据与多个点云数据同步采集;基于每个点云数据的时间戳和每个图片数据的时间戳,生成数据映射集合。
可选地,如果从数据映射集合中未获取到目标图片数据,则输出异常提示信息,其中,异常提示信息用于提示未获取到目标图片数据。
可选地,对目标点云数据和投影结果进行识别,得到目标点云数据的识别结果,包括:对目标点云数据进行识别,得到目标点云数据的第一结果;对投影结果进行识别,得到目标点云数据的第二结果;基于第二结果对第一结果进行修正,得到识别结果。
可选地,对目标点云数据进行识别,得到目标点云数据的目标结果,包括:获取接收到的目标区域,其中,目标区域包括:第一对象的点云数据,第一对象为至少一个对象中的任意一个;对第一对象的点云数据进行识别,得到第一对象的第一标注结果;对投影结果进行识别,得到目标点云数据的第二结果,包括:将目标区域投影至目标图片数据中,得到投影区域;对投影区域中的数据进行识别,得到第一对象的第二标注结果。
可选地,目标区域和投影区域同步更新。
可选地,在将目标点云数据映射至目标图片数据中,得到投影结果之后,该方法还包括:获取用于采集目标点云数据的第一传感器的第一参数,以及用于采集目标图片数据的第二传感器的第二参数;基于第一参数和第二参数,判断投影结果与目标图片数据是否匹配;如果投影结果与目标图片数据匹配成功,则对目标点云数据和投影结果进行识别,得到识别结果。
可选地,第一参数至少包括:第一传感器的安装位置和朝向信息;第二参数至少包括:第二传感器的安装位置、朝向信息、焦距参数和光圈参数。
可选地,通过线性变换算法将目标点云数据投影至目标图片数据,得到投影结果。
根据本发明实施例的另一方面,还提供了一种点云数据的处理方法,包括:触发交互界面上的识别控件,获取当前时间采集到的目标点云数据,其中,目标点云数据包括:至少一个对象的点云数据;在交互界面上显示与目标点云数据具有映射关系的目标图片;将目标点云数据投影至目标图片中,并在交互界面上显示投影结果;在交互界面上显示对目标点云数据和投影结果进行识别而得到的识别结果,其中,识别结果用于表征至少一个对象的类型。
根据本发明实施例的另一方面,还提供了一种点云数据的处理装置,包括:第一获取模块,用于获取当前时间采集到的目标点云数据,其中,目标点云数据包括:至少一个对象的点云数据;第二获取模块,用于获取与目标点云数据具有映射关系的目标图片数据;投影模块,用于将目标点云数据投影至目标图片数据中,得到投影结果;识别模块,用于对目标点云数据和投影结果进行识别,得到目标点云数据的识别结果,其中,识别结果用于表征至少一个对象的类型。
可选地,第二获取模块包括:第一获取单元,用于获取数据映射集合,其中,数据映射集合包括:多个时间戳,以及每个时间戳对应的点云数据,以及每个点云数据对应的图片数据,点云数据和图片数据的映射关系基于时间戳确定;第二获取单元,用于获取当前时间对应的目标时间戳;第三获取单元,用于基于目标时间戳,从数据映射集合中获取目标图片数据。
可选地,识别模块包括:第一识别单元,用于对目标点云数据进行识别,得到目标点云数据的第一结果;第二识别单元,用于对投影结果进行识别,得到目标点云数据的第二结果;修正单元,用于基于第二结果对第一结果进行修正,得到识别结果。
可选地,该装置还包括:第三获取模块,用于获取用于采集目标点云数据的第一传感器的第一参数,以及用于采集目标图片数据的第二传感器的第二参数;判断模块,用于基于第一参数和第二参数,判断投影结果与目标图片数据是否匹配;识别模块还用于如果投影结果与目标图片数据匹配成功,则对目标点云数据和投影结果进行识别,得到识别结果。
根据本发明实施例的另一方面,还提供了一种点云数据的处理装置,包括:触发模块,用于触发交互界面上的识别控件,获取当前时间采集到的目标点云数据,其中,目标点云数据包括:至少一个对象的点云数据;第一显示模块,用于在交互界面上显示与目标点云数据具有映射关系的目标图片;第二显示模块,用于将目标点云数据投影至目标图片中,并在交互界面上显示投影结果;第三显示模块,用于在交互界面上显示对目标点云数据和投影结果进行识别而得到的识别结果,其中,识别结果用于表征至少一个对象的类型。
根据本发明实施例的另一方面,还提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述的点云数据的处理方法。
根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述的点云数据的处理方法。
在本发明实施例中,在获取到当前时间采集到的目标点云数据之后,首先获取与其具有映射关系的目标图片数据,然后将目标点云数据投影至获取到的目标图片数据中,得到相应的投影结果,最后对目标点云数据和投影结果进行识别,可以得到目标点云数据的识别结果。与相关技术相比,获取到的目标图片数据是与目标点云数据具有映射关系的图片数据,从而可以获取到同一个采样周期内采集到的点云数据和图片数据,达到了提高点云数据和图片数据的匹配度,提升处理准确度,进而提升无人驾驶汽车的控制准确度提高无人驾驶汽车的安全性的技术效果,进而解决了相关技术中点云数据的处理方法准确度低的问题技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种点云数据的处理方法的流程图;
图2是根据本发明实施例的另一种点云数据的处理方法的流程图;
图3是根据本发明实施例的一种点云数据的处理装置的示意图;以及
图4是根据本发明实施例的另一种点云数据的处理装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“目标”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种点云数据的处理方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种点云数据的处理方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取当前时间采集到的目标点云数据,其中,目标点云数据包括:至少一个对象的点云数据。
在无人驾驶汽车领域,可以通过车载雷达采集到的车辆周围道路环境中所有对象的三维轮廓数据,得到每个对象的点云数据。由于车载雷达按照预设采样周期进行数据采集,例如,每隔0.1s采集一次点云数据,因此,上述步骤中的当前时间可以是指当前采集周期,目标点云数据可以是当前采集周期内采集到的所有对象的点云数据。
在一种可选的方案中,车载雷达每个采样周期内采集到的点云数据存储在一个固定位置,当需要对点云数据进行处理时,可以从该位置中读取出最后一次存储的点云数据,得到目标点云数据。
步骤S104,获取与目标点云数据具有映射关系的目标图片数据。
在无人汽车驾驶领域,可以通过车载摄像头采集到车辆周围道路环境中所有对象的图片,得到每个对象的图片数据。与车载雷达相同,车载摄像头也按照相同的采样周期进行拍摄,例如,每个0.1s拍摄一张图片。
需要说明的是,为了确保车载摄像头和激光雷达可以同步采集数据,可以通过激光雷达触发车载摄像头进行拍摄,例如,当激光雷达在每个采样周期内检测到对象时,触发车载摄像头进行拍摄。
在一种可选的方案中,车载摄像头每个采样周期内拍摄到的图片存储在另一个固定位置,并且与点云数据的存储位置不同。当需要对点云数据进行处理时,可以从该位置中读取出最后一次存储的图片,得到图片数据。
由于同一个采样周期内,车载雷达和车载摄像头的采集时间可能不同,导致两个存储位置最后一次存储的数据可能不是同一个采样周期采集到的数据。因此,为了确保从两个存储位置读取到的数据是同一个采样周期采集到的数据,可以将每个采样周期采集到的点云数据和图片数据进行映射,从而在读取到目标点云数据之后,可以根据映射关系读取到同一个采样周期内采集到的目标图片数据。
步骤S106,将目标点云数据投影至目标图片数据中,得到投影结果。
由于点云数据属于三维数据,识别结果容易受到点云数据的稀疏度影响,当点云数据较为稀疏时,会出现无法识别的情况,因此,识别准确度低。为了提高识别准确度,可以将目标点云数据投影至目标图片数据中,得到二维数据(即上述步骤中的投影结果),进一步结合三维数据和二维数据的标注结果,可以得到更加准确的识别结果。
可选地,可以通过线性变换算法将目标点云数据投影至目标图片数据,得到投影结果,但不仅限于此,也可以通过其他算法计算投影结果。
步骤S108,对目标点云数据和投影结果进行识别,得到目标点云数据的识别结果,其中,识别结果用于表征至少一个对象的类型。
在一种可选的方案中,可以分别对三维数据和二维数据进行标注,通过将两个标注结果进行汇总,从而可以得到最终的识别结果,确定每个对象的具体类型。
通过本发明上述实施例,在获取到当前时间采集到的目标点云数据之后,首先获取与其具有映射关系的目标图片数据,然后将目标点云数据投影至获取到的目标图片数据中,得到相应的投影结果,最后对目标点云数据和投影结果进行识别,可以得到目标点云数据的识别结果。与相关技术相比,获取到的目标图片数据是与目标点云数据具有映射关系的图片数据,从而可以获取到同一个采样周期内采集到的点云数据和图片数据,达到了提高点云数据和图片数据的匹配度,提升处理准确度,进而提升无人驾驶汽车的控制准确度提高无人驾驶汽车的安全性的技术效果,进而解决了相关技术中点云数据的处理方法准确度低的问题技术问题。
可选地,获取与目标点云数据具有映射关系的目标图片数据,包括:获取数据映射集合,其中,数据映射集合包括:多个时间戳,以及每个时间戳对应的点云数据,以及每个点云数据对应的图片数据,点云数据和图片数据的映射关系基于时间戳确定;获取当前时间对应的目标时间戳;基于目标时间戳,从数据映射集合中获取目标图片数据。
在本发明实施例中,点云数据和图片数据是按照时间顺序进行采集的,因此可以为每次采集到的点云数据和图片数据设置相应的时间戳,通过建立时间戳和数据之间的索引完成点云数据和图片数据的映射过程,得到上述步骤中的数据映射集合。
在一种可选的实施例中,在读取到目标点云数据之后,首先基于目标点云数据的采集时间可以确定其对应的采集周期,从而获取到相应的目标时间戳,然后基于目标时间戳在数据映射集合中进行查找,从而确定目标点云数据对应的目标图片数据。
可选地,获取当前时间对应的目标时间戳,包括:遍历数据映射集合对应的二叉搜索树,得到目标时间戳。
在本发明实施例中,通过在数据映射集合中进行查找,可以确定目标点云数据对应的目标时间戳。进一步为了提高目标时间戳的查找速度,可以将目标点云数据和目标图片数据的映射关系按照二叉搜索树的格式进行存储,并通过遍历二叉搜索树的方式得到。
可选地,在获取数据映射集合之前,该方法还包括:获取多个点云数据,以及每个点云数据的时间戳;获取多个图片数据,以及每个图片数据的时间戳,其中,多个图片数据与多个点云数据同步采集;基于每个点云数据的时间戳和每个图片数据的时间戳,生成数据映射集合。
在一种可选的方案中,点云数据和图片数据的映射方式如下:将同一个采样时刻采集到的点云数据和图片数据进行同步,点云数据和图片数据按照时间戳建立映射,时间戳和数据之间的建立索引来完成映射过程,得到上述的数据映射集合。
可选地,如果从数据映射集合中未获取到目标图片数据,则输出异常提示信息,其中,异常提示信息用于提示未获取到目标图片数据。
在本发明实施例中,当车载摄像头出现问题,例如车载摄像头在某个采样周期内未拍摄到图片时,点云数据和图片数据的映射关系出现异常,无法从数据映射集合中获取到目标图片数据,此时,可以及时向用户输出异常提示信息,告知用户车载摄像头在相应时刻未输出图片,并通过调取日志确定车载摄像头的存在的具体问题,用户可以及时对车载摄像头进行维修、替换等操作,进一步提高车载传感器的可靠性,提升处理准确度的效果。
可选地,对目标点云数据和投影结果进行识别,得到目标点云数据的识别结果,包括:对目标点云数据进行识别,得到目标点云数据的第一结果;对投影结果进行识别,得到目标点云数据的第二结果;基于第二结果对第一结果进行修正,得到识别结果。
在一种可选的方案中,为了提高目标点云数据的识别准确度,可以在目标点云数据标注的基础上,对投影结果进行识别,通过投影结果的标注结果反馈目标点云数据的标注结果是否准确,并在目标点云数据的标注结果错误的情况下,通过投影结果的标注结果对其进行修正,得到最终的识别结果。
在本发明实施例中,可以通过预先训练好的识别模型对目标点云数据和投影结果进行识别,识别模型可以通过大量的训练数据训练得到。
可选地,对目标点云数据进行识别,得到目标点云数据的目标结果,包括:获取接收到的目标区域,其中,目标区域包括:第一对象的点云数据,第一对象为至少一个对象中的任意一个;对第一对象的点云数据进行识别,得到第一对象的第一标注结果;对投影结果进行识别,得到目标点云数据的第二结果,包括:将目标区域投影至目标图片数据中,得到投影区域;对投影区域中的数据进行识别,得到第一对象的第二标注结果。
可选地,目标区域和投影区域同步更新。
在一种可选的方案中,目标点云数据在三维坐标系中的很多点,可以绘制出三维图像,对象反射回来的点可以构成二维图像,二维图像可以表述对象在二维层面上的点。在对目标点云数据进行标注时,可以在三维图像中画出长方体(即上述的目标区域),长方体中包含有某个对象的点云数据,进一步对长方体进行识别,可以确定该对象的具体类型,得到上述的第一结果。在对投影结果进行标注时,可以将长方体映射到目标图片数据中,确定二维图片中的长方形(即上述的投影区域),进一步对长方形进行识别,同样可以确定该对象的具体类型,得到上述的第二结果。
需要说明的是,三维长方体实时变换到二维照片上,也即,三维图像上的长方体进行更新时,对应二维图像上的长方形也会对应更新,逆过程相同。
在得到第一结果和第二结果之后,可以判断同一个对象的两个结果是否相同,如果相同,可以确定目标点云数据的标注结果正确,可以直接将第一结果作为最终的识别结果;如果不同,可以确定目标点云数据的标注结果错误,可以将第二结果作为最终的识别结果。
可选地,在将目标点云数据映射至目标图片数据中,得到投影结果之后,该方法还包括:获取用于采集目标点云数据的第一传感器的第一参数,以及用于采集目标图片数据的第二传感器的第二参数;基于第一参数和第二参数,判断投影结果与目标图片数据是否匹配;如果投影结果与目标图片数据匹配成功,则对目标点云数据和投影结果进行识别,得到识别结果。
可选地,第一参数至少包括:第一传感器的安装位置和朝向信息;第二参数至少包括:第二传感器的安装位置、朝向信息、焦距参数和光圈参数。
在无人驾驶汽车中,上述的第一传感器可以是采集目标点云数据的雷达,例如可以是激光雷达、毫米波雷达等,但不仅限于此,在本发明实施例中,以激光雷达为例进行说明。上述的第二传感器可以是采集目标图片数据的传感器,例如可以是车载摄像头等,但不仅限于此,在本发明实施例中,以车载摄像头为例进行说明。
在一种可选的方案中,为了确保点云数据识别的准确性,需要判断三维图像的投影过程或投影结果是否正确,可以使用硬件的参数,采用智能方法判定从三维图像投影至二维图像之后,与目标图片数据是否匹配。其中,可以通过计算二维图像和目标图片数据的相似度,通过判断相似度是否大于预先设定的阈值,确定二维图像和目标图片数据是否匹配。硬件的参数可以包括:第一传感器和第二传感器的安装位置和朝向;第二传感器的内部参数(包括焦距、光圈等参数)。
需要说明的是,使用第二传感器的内部参数可以矫正图像,从而避免图像畸变的问题。
实施例2
根据本发明实施例,还提供了一种点云数据的处理方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本发明实施例的另一种点云数据的处理方法的流程图,如图2所示,该方法包括如下步骤:
步骤S202,触发交互界面上的识别控件,获取当前时间采集到的目标点云数据,其中,目标点云数据包括:至少一个对象的点云数据。
上述步骤中的交互界面可以是无人驾驶车辆的中控显示屏中的人机交互界面,也可以是远程控制中心中的人机交互界面。并且可以在交互界面上显示识别控件,用户可以通过点击该识别控件,触发点云数据和图片数据进行对齐。
步骤S204,在交互界面上显示与目标点云数据具有映射关系的目标图片。
步骤S206,将目标点云数据投影至目标图片中,并在交互界面上显示投影结果。
步骤S208,在交互界面上显示对目标点云数据和投影结果进行识别而得到的识别结果,其中,识别结果用于表征至少一个对象的类型。
在一种可选的方案中,当用户需要将点云数据和图片数据进行对齐时,用户可以点击人机交互界面上的识别控件,从而触发中控显示屏或远程控制中心读取目标点云数据,并读取到同一个采样周期内采集到的目标图片数据,进一步通过将目标点云数据投影至目标图片数据中,得到相应的投影结果,进而可以通过对目标点云数据和投影结果进行识别可以得到最终的识别结果。
通过本发明实施例,通过触发交互界面上的识别控件,可以获取到当前时间采集到的目标点云数据,并获取与其具有映射关系的目标图片数据,然后将目标点云数据投影至获取到的目标图片数据中,得到相应的投影结果,最后对目标点云数据和投影结果进行识别,可以得到目标点云数据的识别结果。与相关技术相比,获取到的目标图片数据是与目标点云数据具有映射关系的图片数据,从而可以获取到同一个采样周期内采集到的点云数据和图片数据,达到了提高点云数据和图片数据的匹配度,提升处理准确度,进而提升无人驾驶汽车的控制准确度提高无人驾驶汽车的安全性的技术效果,进而解决了相关技术中点云数据的处理方法准确度低的问题技术问题。
需要说明的是,本实施例中的优选的实施方案和实施场景与上述实施例1中的实施方案和实施场景相同或类似,在此不做赘述。
实施例3
根据本发明实施例,提供了一种点云数据的处理装置。该装置可以执行上述实施例1中提供的点云数据的处理方法,在此不作赘述。
图3是根据本发明实施例的一种点云数据的处理装置的示意图,如图3所示,该装置包括:
第一获取模块32,用于获取当前时间采集到的目标点云数据,其中,目标点云数据包括:至少一个对象的点云数据。
第二获取模块34,用于获取与目标点云数据具有映射关系的目标图片数据。
投影模块36,用于将目标点云数据投影至目标图片数据中,得到投影结果。
可选地,投影模块还用于通过线性变换算法将目标点云数据投影至目标图片数据,得到投影结果。
识别模块38,用于对目标点云数据和投影结果进行识别,得到目标点云数据的识别结果,其中,识别结果用于表征至少一个对象的类型。
可选地,第二获取模块包括:第一获取单元,用于获取数据映射集合,其中,数据映射集合包括:多个时间戳,以及每个时间戳对应的点云数据,以及每个点云数据对应的图片数据,点云数据和图片数据的映射关系基于时间戳确定;第二获取单元,用于获取当前时间对应的目标时间戳;第三获取单元,用于基于目标时间戳,从数据映射集合中获取目标图片数据。
可选地,第二获取单元还用于遍历数据映射集合对应的二叉搜索树,得到目标时间戳。
可选地,第二获取模块还包括:第四获取单元,用于获取多个点云数据,以及每个点云数据的时间戳;第五获取单元,用于获取多个图片数据,以及每个图片数据的时间戳,其中,多个图片数据与多个点云数据同步采集;生成单元,用于基于每个点云数据的时间戳和每个图片数据的时间戳,生成数据映射集合。
可选地,该装置还包括:输出模块,用于如果从数据映射集合中未获取到目标图片数据,则输出异常提示信息,其中,异常提示信息用于提示未获取到目标图片数据。
可选地,识别模块包括:第一识别单元,用于对目标点云数据进行识别,得到目标点云数据的第一结果;第二识别单元,用于对投影结果进行识别,得到目标点云数据的第二结果;修正单元,用于基于第二结果对第一结果进行修正,得到识别结果。
可选地,第一识别单元还用于获取接收到的目标区域,目标区域包括:第一对象的点云数据,并对第一对象的点云数据进行识别,得到第一对象的第一标注结果,其中,第一对象为至少一个对象中的任意一个。第二识别单元还用于将目标区域投影至目标图片数据中,得到投影区域,并对投影区域中的数据进行识别,得到第一对象的第二标注结果。
可选地,该装置还包括:第三获取模块,用于获取用于采集目标点云数据的第一传感器的第一参数,以及用于采集目标图片数据的第二传感器的第二参数;判断模块,用于基于第一参数和第二参数,判断投影结果与目标图片数据是否匹配;识别模块还用于如果投影结果与目标图片数据匹配成功,则对目标点云数据和投影结果进行识别,得到识别结果。
实施例4
根据本发明实施例,还提供了一种点云数据的处理装置。该装置可以执行上述实施例2中提供的点云数据的处理方法,在此不作赘述。
图4是根据本发明实施例的另一种点云数据的处理装置的示意图,如图4所示,该装置包括:
触发模块42,用于触发交互界面上的识别控件,获取当前时间采集到的目标点云数据,其中,目标点云数据包括:至少一个对象的点云数据。
第一显示模块44,用于在交互界面上显示与目标点云数据具有映射关系的目标图片。
第二显示模块46,用于将目标点云数据投影至目标图片中,并在交互界面上显示投影结果。
第三显示模块48,用于在交互界面上显示对目标点云数据和投影结果进行识别而得到的识别结果,其中,识别结果用于表征至少一个对象的类型。
实施例5
根据本发明实施例,提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述实施例1和2中的点云数据的处理方法。
实施例6
根据本发明实施例,提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述实施例1和2中的点云数据的处理方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (19)

1.一种点云数据的处理方法,其特征在于,包括:
获取当前时间采集到的目标点云数据,其中,所述目标点云数据包括:至少一个对象的点云数据;
获取与所述目标点云数据具有映射关系的目标图片数据;
将所述目标点云数据投影至所述目标图片数据中,得到投影结果;
对所述目标点云数据和所述投影结果进行识别,得到所述目标点云数据的识别结果,其中,所述识别结果用于表征所述至少一个对象的类型。
2.根据权利要求1所述的方法,其特征在于,获取与所述目标点云数据具有映射关系的目标图片数据,包括:
获取数据映射集合,其中,所述数据映射集合包括:多个时间戳,以及每个时间戳对应的点云数据,以及每个点云数据对应的图片数据,所述点云数据和所述图片数据的映射关系基于时间戳确定;
获取所述当前时间对应的目标时间戳;
基于所述目标时间戳,从所述数据映射集合中获取所述目标图片数据。
3.根据权利要求2所述的方法,其特征在于,获取所述当前时间对应的目标时间戳,包括:
遍历所述数据映射集合对应的二叉搜索树,得到所述目标时间戳。
4.根据权利要求2所述的方法,其特征在于,在获取数据映射集合之前,所述方法还包括:
获取多个点云数据,以及每个点云数据的时间戳;
获取多个图片数据,以及每个图片数据的时间戳,其中,所述多个图片数据与所述多个点云数据同步采集;
基于所述每个点云数据的时间戳和所述每个图片数据的时间戳,生成所述数据映射集合。
5.根据权利要求2所述的方法,其特征在于,如果从所述数据映射集合中未获取到所述目标图片数据,则输出异常提示信息,其中,所述异常提示信息用于提示未获取到所述目标图片数据。
6.根据权利要求1所述的方法,其特征在于,对所述目标点云数据和所述投影结果进行识别,得到所述目标点云数据的识别结果,包括:
对所述目标点云数据进行识别,得到所述目标点云数据的第一结果;
对所述投影结果进行识别,得到所述目标点云数据的第二结果;
基于所述第二结果对所述第一结果进行修正,得到所述识别结果。
7.根据权利要求6所述的方法,其特征在于,
对所述目标点云数据进行识别,得到所述目标点云数据的目标结果,包括:获取接收到的目标区域,其中,所述目标区域包括:第一对象的点云数据,所述第一对象为所述至少一个对象中的任意一个;对所述第一对象的点云数据进行识别,得到所述第一对象的第一标注结果;
对所述投影结果进行识别,得到所述目标点云数据的第二结果,包括:将所述目标区域投影至所述目标图片数据中,得到投影区域;对所述投影区域中的数据进行识别,得到所述第一对象的第二标注结果。
8.根据权利要求7所述的方法,其特征在于,所述目标区域和所述投影区域同步更新。
9.根据权利要求1所述的方法,其特征在于,在将所述目标点云数据映射至所述目标图片数据中,得到投影结果之后,所述方法还包括:
获取用于采集所述目标点云数据的第一传感器的第一参数,以及用于采集所述目标图片数据的第二传感器的第二参数;
基于所述第一参数和所述第二参数,判断所述投影结果与所述目标图片数据是否匹配;
如果所述投影结果与所述目标图片数据匹配成功,则对所述目标点云数据和所述投影结果进行识别,得到所述识别结果。
10.根据权利要求9所述的方法,其特征在于,所述第一参数至少包括:所述第一传感器的安装位置和朝向信息;所述第二参数至少包括:所述第二传感器的安装位置、朝向信息、焦距参数和光圈参数。
11.根据权利要求1所述的方法,其特征在于,通过线性变换算法将所述目标点云数据投影至所述目标图片数据,得到所述投影结果。
12.一种点云数据的处理方法,其特征在于,包括:
触发交互界面上的识别控件,获取当前时间采集到的目标点云数据,其中,所述目标点云数据包括:至少一个对象的点云数据;
在所述交互界面上显示与所述目标点云数据具有映射关系的目标图片;
将所述目标点云数据投影至所述目标图片中,并在所述交互界面上显示投影结果;
在所述交互界面上显示对所述目标点云数据和所述投影结果进行识别而得到的识别结果,其中,所述识别结果用于表征所述至少一个对象的类型。
13.一种点云数据的处理装置,其特征在于,包括:
第一获取模块,用于获取当前时间采集到的目标点云数据,其中,所述目标点云数据包括:至少一个对象的点云数据;
第二获取模块,用于获取与所述目标点云数据具有映射关系的目标图片数据;
投影模块,用于将所述目标点云数据投影至所述目标图片数据中,得到投影结果;
识别模块,用于对所述目标点云数据和所述投影结果进行识别,得到所述目标点云数据的识别结果,其中,所述识别结果用于表征所述至少一个对象的类型。
14.根据权利要求13所述的装置,其特征在于,所述第二获取模块包括:
第一获取单元,用于获取数据映射集合,其中,所述数据映射集合包括:多个时间戳,以及每个时间戳对应的点云数据,以及每个点云数据对应的图片数据,所述点云数据和所述图片数据的映射关系基于时间戳确定;
第二获取单元,用于获取所述当前时间对应的目标时间戳;
第三获取单元,用于基于所述目标时间戳,从所述数据映射集合中获取所述目标图片数据。
15.根据权利要求13所述的装置,其特征在于,所述识别模块包括:
第一识别单元,用于对所述目标点云数据进行识别,得到所述目标点云数据的第一结果;
第二识别单元,用于对所述投影结果进行识别,得到所述目标点云数据的第二结果;
修正单元,用于基于所述第二结果对所述第一结果进行修正,得到所述识别结果。
16.根据权利要求13所述的装置,其特征在于,所述装置还包括:
第三获取模块,用于获取用于采集所述目标点云数据的第一传感器的第一参数,以及用于采集所述目标图片数据的第二传感器的第二参数;
判断模块,用于基于所述第一参数和所述第二参数,判断所述投影结果与所述目标图片数据是否匹配;
所述识别模块还用于如果所述投影结果与所述目标图片数据匹配成功,则对所述目标点云数据和所述投影结果进行识别,得到所述识别结果。
17.一种点云数据的处理装置,其特征在于,包括:
触发模块,用于触发交互界面上的识别控件,获取当前时间采集到的目标点云数据,其中,所述目标点云数据包括:至少一个对象的点云数据;
第一显示模块,用于在所述交互界面上显示与所述目标点云数据具有映射关系的目标图片;
第二显示模块,用于将所述目标点云数据投影至所述目标图片中,并在所述交互界面上显示投影结果;
第三显示模块,用于在所述交互界面上显示对所述目标点云数据和所述投影结果进行识别而得到的识别结果,其中,所述识别结果用于表征所述至少一个对象的类型。
18.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至12中任意一项所述的点云数据的处理方法。
19.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至12中任意一项所述的点云数据的处理方法。
CN202010062823.2A 2020-01-19 2020-01-19 点云数据的处理方法和装置、存储介质及处理器 Active CN111259829B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010062823.2A CN111259829B (zh) 2020-01-19 2020-01-19 点云数据的处理方法和装置、存储介质及处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010062823.2A CN111259829B (zh) 2020-01-19 2020-01-19 点云数据的处理方法和装置、存储介质及处理器

Publications (2)

Publication Number Publication Date
CN111259829A true CN111259829A (zh) 2020-06-09
CN111259829B CN111259829B (zh) 2023-10-20

Family

ID=70952349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010062823.2A Active CN111259829B (zh) 2020-01-19 2020-01-19 点云数据的处理方法和装置、存储介质及处理器

Country Status (1)

Country Link
CN (1) CN111259829B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114509023A (zh) * 2022-02-18 2022-05-17 湖南三一快而居住宅工业有限公司 磁钉识别定位装置、坐标机器人及磁钉识别定位方法
CN115102932A (zh) * 2022-06-09 2022-09-23 腾讯科技(深圳)有限公司 点云媒体的数据处理方法、装置、设备、存储介质及产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978764A (zh) * 2014-04-10 2015-10-14 华为技术有限公司 三维人脸网格模型处理方法和设备
CN107871129A (zh) * 2016-09-27 2018-04-03 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN108427871A (zh) * 2018-01-30 2018-08-21 深圳奥比中光科技有限公司 3d人脸快速身份认证方法与装置
CN109472831A (zh) * 2018-11-19 2019-03-15 东南大学 面向压路机施工过程的障碍物识别测距系统及方法
US20190096086A1 (en) * 2017-09-22 2019-03-28 Zoox, Inc. Three-Dimensional Bounding Box From Two-Dimensional Image and Point Cloud Data
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
US20190291723A1 (en) * 2018-03-26 2019-09-26 International Business Machines Corporation Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network
US20190340781A1 (en) * 2018-09-07 2019-11-07 Baidu Online Network Technology (Beijing) Co., Ltd. Obstacle detecting method and obstacle detecting apparatus based on unmanned vehicle, and device, and storage medium
CN110598743A (zh) * 2019-08-12 2019-12-20 北京三快在线科技有限公司 一种目标对象的标注方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978764A (zh) * 2014-04-10 2015-10-14 华为技术有限公司 三维人脸网格模型处理方法和设备
CN107871129A (zh) * 2016-09-27 2018-04-03 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
US20190096086A1 (en) * 2017-09-22 2019-03-28 Zoox, Inc. Three-Dimensional Bounding Box From Two-Dimensional Image and Point Cloud Data
CN108427871A (zh) * 2018-01-30 2018-08-21 深圳奥比中光科技有限公司 3d人脸快速身份认证方法与装置
US20190291723A1 (en) * 2018-03-26 2019-09-26 International Business Machines Corporation Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network
US20190340781A1 (en) * 2018-09-07 2019-11-07 Baidu Online Network Technology (Beijing) Co., Ltd. Obstacle detecting method and obstacle detecting apparatus based on unmanned vehicle, and device, and storage medium
CN109472831A (zh) * 2018-11-19 2019-03-15 东南大学 面向压路机施工过程的障碍物识别测距系统及方法
CN110598743A (zh) * 2019-08-12 2019-12-20 北京三快在线科技有限公司 一种目标对象的标注方法和装置
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵玲娜等: "基于激光反射率的点云与图像自动融合", 《测绘工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114509023A (zh) * 2022-02-18 2022-05-17 湖南三一快而居住宅工业有限公司 磁钉识别定位装置、坐标机器人及磁钉识别定位方法
CN114509023B (zh) * 2022-02-18 2024-03-08 湖南三一快而居住宅工业有限公司 磁钉识别定位装置、坐标机器人及磁钉识别定位方法
CN115102932A (zh) * 2022-06-09 2022-09-23 腾讯科技(深圳)有限公司 点云媒体的数据处理方法、装置、设备、存储介质及产品
CN115102932B (zh) * 2022-06-09 2024-01-12 腾讯科技(深圳)有限公司 点云媒体的数据处理方法、装置、设备、存储介质及产品

Also Published As

Publication number Publication date
CN111259829B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN110163904B (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
CN114413881B (zh) 高精矢量地图的构建方法、装置及存储介质
CN112581612A (zh) 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统
CN111742344A (zh) 图像语义分割方法、可移动平台及存储介质
CN110378360A (zh) 目标标定方法、装置、电子设备及可读存储介质
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN111259829B (zh) 点云数据的处理方法和装置、存储介质及处理器
CN111699410A (zh) 点云的处理方法、设备和计算机可读存储介质
CN114419572B (zh) 多雷达目标检测方法、装置、电子设备及存储介质
CN114898322A (zh) 行车环境识别方法、装置、车辆及存储介质
CN108876824B (zh) 目标跟踪方法、装置、系统及球机
CN112529335B (zh) 一种模型检测方法、装置、设备和存储介质
CN116817891A (zh) 一种实时多模态感知的高精地图构建方法
CN113450459A (zh) 目标物的三维模型构建方法及装置
CN116363628A (zh) 标志检测方法、装置、非易失性存储介质及计算机设备
CN115661014A (zh) 一种点云数据处理方法、装置和电子设备、存储介质
CN115115978A (zh) 对象的识别方法、装置、存储介质和处理器
CN114612754A (zh) 目标检测方法、装置、设备及存储介质
CN116433712A (zh) 基于多传感器时序感知结果前融合的融合追踪方法及装置
CN116433715A (zh) 基于多传感器前融合结果的时序追踪方法、装置及介质
CN112487984A (zh) 一种点云数据轻量化快速生成方法
CN112184605A (zh) 一种车辆驾驶视野增强方法、设备及系统
CN115527185A (zh) 自动驾驶感知结果的测试方法和装置
CN113792797B (zh) 点云数据筛选方法及存储介质
CN116681884B (zh) 一种对象检测方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant