CN111144211A - 点云显示方法和装置 - Google Patents

Abstract

本申请公开了点云显示方法和装置，涉及自动驾驶或辅助驾驶技术领域，可以用于对激光雷达获取的点云进行处理，得到可在车辆中安装的HMI设备上显示的点云。该方法应用于车载系统，该方法包括：从第一点云中确定用于描述目标对象的点；其中，第一点云是用于描述该车载系统所在车辆周边区域的点云，目标对象是该车载系统需要识别的对象；根据该用于描述所述目标对象的点，生成第二点云；显示第二点云。本发明可以降低所需车载系统处理和显示的激光点云的数据量，从而降低对车载系统的硬件要求。

Description

点云显示方法和装置

本申请要求于2019年08月28日提交国家知识产权局、申请号为201910804365.2、申请名称为“一种点云可视化的方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及自动驾驶或辅助驾驶技术领域，尤其涉及一种点云显示的方法和装置。

背景技术

随着经济的发展，汽车的保有量迅速增加，而汽车技术也在与计算机技术发生越来越多的融合。近年来，智能汽车已成为车辆发展的新趋势，越来越多的汽车采用了辅助驾驶系统(advanced driver assistance system，ADAS)和自动驾驶系统，这类系统利用车载计算机(移动数据中心Mobile Data Center)和车载传感器，在行驶过程中智能化探测障碍物、感知周围环境并自动决策车辆的路径并控制车辆的行驶状态。

激光点云是指智能汽车上所安装的激光雷达采集到的点云。由于激光点云的数据量通常很大，因此，对直接显示激光点云的硬件设备的性能要求较高，例如该硬件设备需要配置万兆以太网(giga Ethernet，GE)或10GE带宽的高性能图形处理器(graphicsprocessing unit，GPU)。然而，车辆中安装的人机接口(human machine interface，HMI)设备的性能通常较低，因此，不能直接在车辆中安装的HMI设备上显示采集到的原始激光点云。这就需要对激光点云进行处理。而如何对激光点云进行处理，从而得到可在车辆中安装的HMI设备上显示的点云，是当前亟待解决的技术问题。

发明内容

本申请实施例提供了点云显示方法和装置，可以用于对激光点云进行处理，从而有助于得到可在车辆中安装的HMI设备上显示的点云。

第一方面，提供一种点云显示方法，应用于车载系统，该方法包括：从第一点云中确定用于描述目标对象的点；第一点云是用于描述该车载系统所在车辆周边区域的点云；根据该用于描述目标对象的点，生成第二点云；其中，目标对象是该车载系统需要识别的对象；显示第二点云。该技术方案中，使用“基于第一点云中用于描述目标对象的点所生成的第二点云”代替第一点云进行显示，这有助于减少需要显示的点云的数据量。该技术方案可以用于对激光点云进行处理，以降低所需车载系统处理和显示的激光点云的数据量，从而降低对车载系统的硬件性能的要求，并有助于得到可在车辆中安装的HMI设备上显示的点云。

在一种可能的实现方式中，目标对象和该车辆的相关度超过阈值。其中，该相关度是根据以下至少一种因素确定的：目标对象与该车辆的距离、目标对象的位置、目标对象所指示的信息或目标对象的速度。

在一种可能的实现方式中，在从第一点云中确定用于描述目标对象的点之前，该方法还可以包括：呈现设置请求，该设置请求用于提示用户(如该车辆的驾驶员)设置目标对象所包括的对象的类型；根据接收到的设置响应确定目标对象所包括的对象的类型。这有助于实现基于用户的实际需求显示目标对象，从而增强点云显示过程的灵活性，并提高用户体验。

在一种可能的实现方式中，根据用于描述目标对象的点，生成第二点云，包括：将从第一点云中提取到的用于描述目标对象的点构成的集合，作为第二点云。这样，相比直接显示第一点云，有助于降低所显示的点云中点的数量，从而降低对显示设备的硬件性能的要求。

在一种可能的实现方式中，根据用于描述目标对象的点，生成第二点云，包括：通过对第三点云进行稀疏化生成第二点云，其中，第三点云是用于描述目标对象的点的集合。这样，有助于进一步降低所显示的点云中点的数量，从而进一步降低对显示设备的硬件性能的要求。

在一种可能的实现方式中，第三点云包括第一区域和第二区域；第一区域中的点所描述的对象与车辆之间的距离大于第二区域中的点所描述的对象与该车辆之间的距离。对第三点云进行稀疏化，包括：采用第一稀疏倍数对第一区域中的点进行稀疏化，并采用第二稀疏倍数对第二区域中的点进行稀疏化；其中，第一稀疏倍数小于第二稀疏倍数。稀疏倍数是指同一区域中稀疏化之前的点的个数与稀疏化后的点的个数之比。该可能的实现方式支持，距离车辆越远的点稀疏程度越低的技术方案，这有助于实现使用相对较多的点来描述距离车辆较远的对象，从而使得在减少点云中点的整体数量的同时，使得距离车辆较远的点较为清晰，从而有助于提高用户体验，并且能够提高驾驶安全性。

在一种可能的实现方式中，该方法还包括：对车载系统获得的原始点云序列进行采样，得到第一点云序列，其中，第一点云是第一点云序列中的任意一帧点云。这有助于降低点云处理的计算量。

在一种可能的实现方式中，对车载系统获得的原始点云序列进行采样，得到第一点云序列，包括：根据车载系统所在车辆的当前场景，确定采样频率；根据该采样频率，对原始点云序列进行采样，得到第一点云序列。这有助于满足不同场景下对目标对象的识别准确度需求，从而提高用户体验。

在一种可能的实现方式中，从第一点云中确定用于描述目标对象的点，包括：当目标对象包括道路之外(如该车辆所在道路之外)的对象时，基于该车辆所在周边区域的地图中道路标识的位置，对第一点云进行裁剪，得到用于描述该道路之外的对象的点。

在一种可能的实现方式中，基于该车辆所在周边区域的地图中道路标识的位置，对第一点云进行裁剪，得到用于描述该道路之外的对象的点，可以包括：将所确定的该车辆周边区域(如激光雷达的扫描范围)与所获取的该车辆周边区域的地图进行叠加。然后，根据该车辆周边区域的地图中道路标识的位置，从叠加后得到的图像中，获取道路标识与车辆周边区域(如激光雷达的扫描范围)所组成的封闭或半封闭的图形。接着，基于该封闭或半封闭的图像的边界作为裁剪边界，对第一点云进行裁剪，并将边界之外的点云，作为用于描述该道路之外的对象的点。

在一种可能的实现方式中，从第一点云中确定用于描述目标对象的点，包括：当所述目标对象包括道路上(如该车辆所在道路上)的目标障碍物时，根据对象的位置信息或者速度信息确定目标障碍物；基于所述目标障碍物的位置和大小，对第一点云进行剪裁，得到用于描述目标障碍物的点。

在一种可能的实现方式中，根据对象的位置信息确定目标障碍物，可以包括：获取一个或多个候选障碍物的位置信息，并根据该一个或多个候选障碍物的位置信息，从该一个或多个候选障碍物中选择在道路上的候选障碍物，将所选择的候选障碍物作为目标障碍物。这样，可以减少点云计算复杂度。

在一种可能的实现方式中，根据对象的速度信息确定目标障碍物，可以包括：获取道路上的一个或多个候选障碍物的速度信息，并根据该一个或多个候选障碍物的速度信息，从该一个或多个候选障碍物中选择速度大于预设阈值(如0)的候选障碍物，将所选择的候选障碍物作为目标障碍物。这样，可以减少点云计算复杂度。

在一种可能的实现方式中，从第一点云中确定用于描述目标对象的点，包括：根据第一类目标对象的特征信息，对第一点云进行裁剪，得到用于描述所述第一类目标对象的第一子点云，其中，目标对象包括第一类目标对象和第二类目标对象；根据第二类目标对象的特征信息，对第一点云进行裁剪，得到用于描述第二类目标对象的第二子点云。该情况下，根据用于描述所述目标对象的点，生成第二点云，包括：根据第一子点云和第二子点云生成所述第二点云。可见，本申请实施例，支持当存在多种类型的目标对象时，可以分别基于每种类型的目标对象的特征信息对点云进行裁剪，并基于各裁剪结果(即各子点云)生成第二点云。

第二方面，提供一种点云处理方法，应用于车载系统，该方法包括：从第一点云中确定用于描述目标对象的点；第一点云是用于描述该车载系统所在车辆周边区域的点云；根据该用于描述目标对象的点，生成第二点云；其中，目标对象是该车载系统需要识别的对象。可选的，第二点云用于显示。关于点云处理方法的可能的实现方式及其有益效果可参考上述第一方面的相关可能的实现方式及其有益效果，此处不再赘述。

第三方面，提供了一种点云显示装置，用于执行第一方面或第一方面的任一种可能的实现方式提供的方法。该装置具体可以是车载设备，或者是一个芯片。

在一种可能的实现方式中，该装置包括用于执行第一方面或第一方面任一种可能的实现方式提供的方法的各个模块。

在一种可能的实现方式中，该装置包括存储器、处理器和显示器，存储器用于用于存储计算机指令，处理器和显示器耦合。该装置运行时，该处理器执行存储器中的计算机指令以利用该装置中的硬件资源执行第一方面或第一方面任一种可能的实现方式所提供的方法的操作步骤。

第四方面，提供一种点云处理装置，用于执行第二方面或第二方面的任一种可能的实现方式提供的方法。该装置具体可以是车载设备，或者是一个芯片。

在一种可能的实现方式中，该装置包括用于执行第二方面或第二方面任一种可能的实现方式提供的方法的各个模块。

在另一种可能的实现方式中，该装置包括存储器和处理器，存储器用于用于存储计算机指令，该装置运行时，该处理器执行存储器中的计算机指令以利用该装置中的硬件资源执行第二方面或第二方面任一种可能的实现方式所提供的方法的操作步骤。

第五方面，提供了一种计算机可读存储介质，其上储存有计算机程序，当该计算机程序在计算机上运行时，使得计算机执行第一方面或其任一种可能的实现方式，或者第二方面或其任一种可能的实现方式提供的方法的操作步骤。

第六方面，提供了一种计算机程序产品，当其在计算机上运行时，使得第一方面或其任一种可能的实现方式，或者第二方面或其任一种可能的实现方式提供的方法的操作步骤。

可以理解的是，上述提供的任一种点云显示装置、点云处理装置、计算机可读存储介质、计算机程序产品或车载系统均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考对应的方法中的有益效果，此处不再赘述。

附图说明

图1为本申请实施例的提供的一种计算机系统的结构示意图；

图2A为本申请实施例提供的另一种计算机系统的结构示意图；

图2B为本申请实施例提供的另一种计算机系统的结构示意图；

图3为本申请实施例提供的一种图像处理方法的流程示意图；

图4为本申请实施例提供的一种原始第一点云序列与第一点云序列的对比示意图；

图5为本申请实施例提供的一种获取用于描述道路之外的对象的点的过程示意图；

图6为本申请实施例提供的一种获取用于描述道路上的目标障碍物的点的过程示意图；

图7为本申请实施例提供的一种生成第二点云的过程示意图；

图8为可适用于本申请实施例的一种稀疏化方法的示意图；

图9为本申请实施例提供的一种将第三点云与地图中的道路标识等信息进行结合后得到的新的点云；

图10为本申请实施例提供的一种车载系统的结构示意图；

图11为本申请实施例提供的一种点云显示装置的结构示意图。

具体实施方式

如图1所示，为可适用于本申请实施例的一种计算机系统(或车载系统)的结构示意图。其中，该计算机系统可以位于车辆上，该计算机系统可以包括车载设备101，以及与车载设备101直接或间接连接的设备/器件/网络等。参见图1，车载设备101包括处理器103，处理器103和系统总线105耦合。处理器103可以是一个或者多个处理器，其中每个处理器都可以包括一个或多个处理器核。显示适配器(video adapter)107，显示适配器可以驱动显示器109，显示器109和系统总线105耦合。系统总线105通过总线桥111和输入输出(input/output，I/O)总线113耦合。I/O接口115和I/O总线耦合。I/O接口115和多种I/O设备进行通信，比如输入设备117(如键盘、鼠标、触摸屏等)，多媒体盘(media tray)121(如只读光盘(compact disc read-only memory，CD-ROM)、多媒体接口等)，收发器123(可以发送和/或接受无线电通信信号)，通用串行总线(universal serial bus，USB)接口125和摄像头155(可以捕捉静态和动态数字视频图像)。

其中，处理器103可以是任何传统处理器，包括精简指令集计算(reducedinstruction set computer，RISC)处理器、复杂指令集计算(complex instruction setcomputer，CISC)处理器或上述的组合。可选地，处理器可以是诸如专用集成电路(application specific integrated circuit，ASIC)的专用装置。可选地，处理器103可以是神经网络处理器或者是神经网络处理器和上述传统处理器的组合。可选地，处理器103可以包括：主控制器(也可以称作中控)和先进驾驶辅助系统控制器。其中，主控制器是计算机系统的控制中心。ADAS控制器用于对自动驾驶或辅助自动驾驶的路线等进行控制。

显示器109，可以是车辆中安装的任意一个或多个HMI设备。例如，显示器109可以包括：平视显示器(head up display，HUD)、仪表盘以及专供乘客使用的显示器等。

可选地，在本文所述的各种实施例中，车载设备101可位于远离自动驾驶车辆的地方，并且可与自动驾驶车辆无线通信。在其它方面，本文所述的一些过程在设置在自动驾驶车辆内的处理器上执行，其它由远程处理器执行。

车载设备101可以通过网络接口129和软件部署服务器(deploying server)149通信。网络接口129是硬件网络接口，比如，网卡。网络127可以是外部网络，比如因特网，也可以是内部网络，比如以太网或者虚拟私人网络(virtual private network，VPN)。可选地，网络127还可以是无线网络，比如WiFi网络，蜂窝网络等。

硬盘驱动接口和系统总线105耦合。硬件驱动接口和硬盘驱动器相连接。系统内存135和系统总线105耦合。运行在系统内存135的数据可以包括车载设备101的操作系统137和应用程序143。

操作系统包括壳层(shell)139和内核(kernel)141。shell 139是介于使用者和操作系统之内核间的一个接口。shell是操作系统最外面的一层。shell管理使用者与操作系统之间的交互,等待使用者的输入，向操作系统解释使用者的输入，并且处理各种各样的操作系统的输出结果。

内核141由操作系统中用于管理存储器、文件、外设和系统资源的那些部分组成。直接与硬件交互，操作系统内核通常运行进程，并提供进程间的通信，提供CPU时间片管理、中断、内存管理、IO管理等等。

应用程序143包括控制车辆自动驾驶相关的程序。例如，对车载设备所获取到包含车辆道路上的图像信息的图像进行处理程序，如用于实现本申请实施例所提供的图像处理方法的程序。又如，管理自动驾驶车辆和路上障碍物交互的程序，控制自动驾驶车辆路线或者速度的程序，控制自动驾驶车辆和路上其他自动驾驶车辆交互的程等。应用程序143也存在于软件部署服务器149的系统上。在一个实施例中，在需要执行应用程序143时，车载设备101可以从软件部署服务器149下载应用程序143。

传感器153和车载设备101关联。传感器153用于探测车载设备101周围的环境。举例来说，传感器153可以探测动物、车辆、障碍物和人行横道等，进一步传感器还可以探测上述动物、车辆、障碍物和人行横道等物体周围的环境，比如：动物周围的环境，例如，动物周围出现的其他动物，天气条件，周围环境的光亮度等。可选地，如果车载设备101位于自动驾驶的车辆上，传感器可以是摄像头，红外线感应器，化学检测器，麦克风等。可选地，传感器153可以包括速度传感器，用于测量本车辆(即图1所示的计算机系统所在的车辆)的速度信息(如速度、加速度等)；角度传感器，用于测量车辆的方向信息，以及车辆与车辆周边的物体/对象之间的相对角度等。

可选地，传感器153可以包括激光雷达传感器，用于探测激光雷达发送的激光信号的反射信号，从而得到激光点云。激光雷达可以安装在车辆上方，用于发送激光信号。本申请实施例中所描述的点云可以是激光点云。

在本申请的一些实施例中，为了便于理解，按照处理器103所实现的功能，处理器103可以包括：

感知融合模块1031，用于确定车辆周边区域内的障碍物的信息(如障碍物的位置和大小等)，车辆的天气情况(如晴天或雨天等)等。

点云控制模块1032，用于执行本申请实施例中所描述的点云处理方法。

规划控制模块1033，用于根据感知融合模块1031和/或点云控制模块1032等模块的输出结果，对自动驾驶或辅助自动驾驶的路线进行规划。

档位控制模块1034，用于对车辆的档位进行控制。其中，档位可以包括停车档、倒车档、空档、行车档等。

地图管理模块1035，用于对地图(如高精地图)进行管理，如对地图进行更新，以及根据车辆当前的位置，获取该车辆周边一定区域内的地图的信息。其中，所发送的地图的信息包括：该车辆周边一定区域内的道路标识，如道路线、车道线、停车线等。地图管理模块1035还可以与点云控制模块1032之间进行信息交互，以使得点云控制模块1032获取车辆周边区域中的道路标识等。

其中，地图可以存储在计算机系统所包括的存储器中，该存储器可以是专门用于存储地图的存储器，也可以是通用的存储器。本申请实施例对此不进行限定。

上述各模块(如感知融合模块1031、点云控制模块1032、规划控制模块1033、档位控制模块1034和地图管理模块1035)均可以通过软件和/或硬件实现。并且，其中的任意一个或多个模块可以独立设置，也可以集成在一起。本申请实施例对此不进行具体限定。在一个示例中，这些模块中的任意一个或多个可以作为主控制器中或者ADAS控制器中的逻辑功能模块。

需要说明的是，图1所示的计算机系统仅为示例，其不对本申请实施例可适用的计算机系统构成限定。

图2A和图2B为本申请实施例提供的另一种计算机系统的结构示意图。图2A和图2B所示的计算机系统可以包括：ADAS控制器201、与ADAS控制器201连接的HUD202、主控制器203(即中控)、仪表盘204和专供乘客使用的显示器205。这些器件的功能述可以参考上文，此处不再赘述。

在图2A中，点云控制模块207位于ADAS控制器201中。在图2B中，点云控制模块207位于主控制器203中。其中，点云控制模块207可以是软件程序，用于实现本申请实施例所提供的点云显示方法中除显示步骤之外的其他步骤。计算机系统还包括激光雷达206，激光雷达206可以与点云控制模块207连接。

以下对本申请实施例中所涉及的部分术语或技术进行解释说明：

1)、对象

在本申请实施例中，对象包括道路上的对象和道路外的对象。

道路上的对象，包括：道路上的人、车、交通灯、交通指示牌(如限速指示牌等)、交通标志杆和异物。异物是指本不该出现在道路上的物体，如遗落在道路上的纸箱、轮胎等。

道路外的对象，包括：道路两旁的建筑物、树木及道路之间的隔离带等。

2)、目标对象

目标对象，是车载设备(或车载系统)需要识别的对象。

目标对象可以是预定义的，或是用户指示的。在本申请的一些实施例中，目标对象包括道路上的目标障碍物和道路外的部分或全部对象。其中，对于道路上行驶的一个车辆来说，道路上的除该车辆之外的对象均可以看作障碍物。目标障碍物可以是特定类型的障碍物，例如，目标障碍物可以是人或车辆。又如，在本申请的一些实施例中，目标障碍物可以是速度大于或等于预设阈值(如0)的障碍物。

在本申请的一些实现方式中，对于一个车辆来说，目标对象和该车辆的相关度超过阈值，其中，该相关度是根据以下至少一种因素确定的：该目标对象与该车辆的距离、该目标对象的位置、该目标对象所指示的信息或该目标对象的速度。

其中，本申请实施例对通过何种信息表征目标对象的位置不进行限定。例如，目标对象的位置可以是目标对象在道路上或道路外，或者，目标对象在该车辆的哪个方向等。

目标对象所指示的信息，可以理解为：目标对象是否指示预定义信息。例如，可以根据目标对象是否指示交通信息来确定其相关度。

本申请实施例对如何根据上述因素确定目标对象与车辆的相关度不进行限定。示例的，与车辆之间的距离越近的目标对象，与该车辆的相关度越高。在车辆所在道路上的目标对象与该车辆的相关度，高于在该车辆所在道路外的目标对象与该车辆的相关度。在车辆正前方的目标对象与该车辆的相关度，高于在车辆正后方的目标对象与该车辆的相关度。速度较大的目标对象与该车辆的相关度，高于速度较小的目标对象与该车辆的相关度。

3)、车辆周边区域

车辆周边区域，是指车辆周围一定范围的区域。

示例的，当本申请实施例中的点云是激光雷达所采集到的点云时，车辆周边区域可以是基于激光雷达的安装位置和扫描半径确定的，例如，车辆周边区域可以是以激光雷达为中心，激光雷达的扫描半径为半径的圆形区域。

需要说明的是，在具体实现时，可能因车辆所处的环境中的遮挡物(如墙等)的存在等因素，而导致所获得的车辆周边区域不是圆形。为了便于描述，下文中的具体示例中是以车辆周边区域是圆形为例进行说明的。

4)、裁剪点云

裁剪点云，是对点云进行处理，从而得到该点云中的一部分区域。裁剪点云的过程可以包括：先确定裁剪边界，再基于裁剪边界对点云进行裁剪，然后，将裁剪边界内部或外部的图像作为裁剪结果。

5)、车辆的场景(即车辆所处的场景)

本申请实施例对如何区分车辆所处的场景不进行限定。以下列举本申请实施例所提供的几种具体实现方式：

方式1：基于车辆的行驶情况区分车辆所处的场景。

例如，基于车辆是否正在泊车区分车辆所处的场景，可将车辆所处的场景分为泊车场景和非泊车场景。

再如，基于车辆是否正在倒车区分车辆所处的场景，可将车辆所处的场景分为倒车场景和非倒车场景。

又如，基于车辆是否正在直行区分车辆所处的场景，可将车辆所处的场景分为转弯场景和直行场景。

作为示例，点云控制模块可以从规划控制模块获得车辆当前是否处于泊车场景；从档位控制模块获得车辆当前是否处于倒车场景；从角度传感器获得车辆当前处于转弯场景还是直行场景。

对于规划控制模块或档位控制模块来说：

在一种实现方式中，点云控制模块可以通过向规划控制模块发送请求消息，并由该规划控制模块根据该请求消息向点云控制模块发送车辆当前是否处于泊车场景的响应消息。点云控制模块可以通过向档位控制模块发送请求消息，并由该档位控制模块根据该请求消息向点云控制模块发送车辆当前是否处于倒车场景的响应消息。

在另一种实现方式中，规划控制模块可以在确定车辆当前处于泊车场景时，向点云控制模块发送用于指示车辆当前处于泊车场景的指示信息。档位控制模块可以在确定车辆当前处于倒车场景时，向点云控制模块发送用于指示车辆当前处于倒车场景的指示信息。

对于角度传感器来说：角度传感器可以周期性地(或实时)向点云控制模块发送车辆当前的方向信息，点云控制模块可以根据该方向信息，确定车辆当前处于转弯场景还是直行场景。

方式2：基于车辆所在环境的天气情况区分车辆所处的场景。

基于此，示例的，车辆所处的场景可以包括晴天场景、雨天场景、多云场景、冰雹场景、雾霾场景等。可选的，还可以对上述场景进行更细粒度的划分，例如，雨天场景可进一步区分为大雨场景、中雨场景和小雨场景等。

作为示例，点云控制模块可以从感知融合控制模块获得车辆所在环境的天气情况，从而根据该天气情况确定车辆当前所处的场景。感知融合控制模块可以周期性地或触发性地向点云控制模块发送车辆所在环境的天气情况。

方式3：基于车辆所在环境的光线情况区分车辆所处的场景。

基于此，示例的，车辆所处的场景可以包括白天场景和夜晚场景等。点云控制模块可以从感知融合控制模块获得车辆当前所处的场景是白天场景还是夜晚场景。

方式4：基于车辆所在道路的道路情况区分车辆所处的场景。

例如，基于车辆所在道路的道路宽度区分车辆所处的场景。基于此，示例的，车辆所处的场景可以包括宽道场景和窄道场景等。可以理解的是，这里的宽道场景和窄到场景是相对而言的。示例的，当车辆所在道路的宽度大于或等于一个阈值时，可以认为该车辆当前处于宽道场景；当该车辆所在道路的宽度小于该阈值时，可以认为该车辆当前处于窄到场景。

又如，基于车辆所在道路是否是路口区分车辆所处的场景。基于此，示例的，车辆所处的场景可以包括路口场景和非路口场景等。

需要说明的是，在上述任意一种方式中，点云控制模块向其他设备/模块/器件获取的信息，可以是用于获得车辆的当前场景的信息，而非当前场景这一结果。例如，点云控制模块可以从感知融合模块中获得车辆所在环境的光线情况，从而基于该光线情况确定当前场景是白天场景还是夜晚场景。其他示例不再一一列举。当然，如果该其他设备/模块/器件可以直接获得车辆的当前场景，则可以通过与点云控制模块之间进行信息交互，从而使得点云控制模块获得车辆的当前场景。

另外需要说明的是，在不冲突的情况下，上述任意多个示例中的部分或全部特征可以结合使用，从而构成一个新的示例。例如，当基于车辆是否正在倒车和车辆所在道路的道路宽度区分车辆所处的场景时，车辆所处的场景可以包括：宽道倒车场景、宽道非倒车场景、窄到倒车场景、窄到非倒车场景等。其他示例不再一一列举。

6)、其他术语

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请实施例中，“至少一个”是指一个或多个。“多个”是指两个或两个以上。

在本申请实施例中，“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

以下，结合附图对本申请实施例提供的图像处理方法进行说明。该方法可以应用于图1所示的计算机系统中。

如图3所示，为本申请实施例提供的一种图像处理方法的流程示意图。图3所示的方法可以包括以下步骤：

S101：激光雷达传感器向点云控制模块发送原始点云序列。

原始点云序列，是指激光雷达传感器采集到的点云构成的点云序列。其中，原始点云序列中位置靠前的点云的采集时间早于位置靠后的点云的采集时间。点云的采集时间是激光雷达传感器采集该点云的时间。S101中的原始点云序列可以是激光雷达传感器发送给点云控制模块的任意多帧点云构成的点云序列。

可选的，激光雷达传感器可以周期性地向点云控制模块发送采集到的点云。该情况下，每个周期内发送的点云构成的序列可以作为一个原始点云序列。

激光雷达传感器采集的每帧点云均是用于描述点云控制模块所在车辆周边区域中的对象的点云。可以理解的是，随着车辆的移动或者车辆周边区域中对象的改变，激光雷达传感器所采集的不同帧点云可能不同。

S102：点云控制模块获取该点云控制模块所在车辆(下文中称为当前车辆)的当前场景。其中，当前车辆的当前场景可以是基于上文中所描述的任意一种区分车辆所处的场景的示例中所描述的任意一种场景，例如，当前场景包括夜晚场景或雨天场景。或者，当前车辆的当前场景可以是多种标准区分下的多个场景，例如当前场景包括夜晚场景和雨天场景。

S103：点云控制模块根据当前车辆的当前场景，确定采样频率。其中，该采用频率是指对原始点云序列进行采样时所采用的采样频率。

点云控制模块可以预先定义车辆所处的每种场景及其所对应的采样频率之间的对应关系。例如，以车辆所处的场景包括晴天场景和雨天场景这两种场景为例，点云控制模块可以预定义晴天场景所对应的采样频率为f1，雨天场景所对应的采样频率为f2。

其中，每种场景对应一个采样频率。基于同一标准区分的不同场景所对应的采样频率不同，基于不同标准区分的不同场景所对应的采样频率可以相同或不同。例如，晴天场景和雨天场景所对应的采样频率不同(即上述f1与f2不相等)；雨天场景和夜晚场景所对应的采样频率可以相同或不同。

在一种实现方式中，如果当前场景包括多种场景，那么，当前场景的采样频率可以是该多种场景中的每种场景所对应的采样频率中的最大采样频率。例如，如果当前场景包括夜晚场景和雨天场景，且夜晚场景和雨天场景对应的采样频率分别是5Hz和10Hz，则当前场景的采样频率可以是10Hz。

在另一种实现方式中，如果当前场景包括多种场景，那么，当前场景的采样频率可以是按照预设算法对该多种场景的每种场景所对应的采样频率进行运算后得到的采样频率。本申请实施例对该预设算法的具体实现方式不进行限定。例如，如果当前场景包括夜晚场景和雨天场景，且夜晚场景和雨天场景对应的采样频率分别是5Hz和10Hz，则当前场景的采样频率可以是按照预设算法对夜晚场景对应的采样频率5Hz和雨天场景对应的采样频率10Hz进行运算后得到的采样频率。

可选的，特殊场景(即路况的复杂度较高的场景)所对应的采样频率大于普通场景(即路况的复杂度较低的场景)所对应的采样频率。

例如，泊车场景对应的采样频率大于非泊车场景对应的采样频率；倒车场景对应的采样频率大于非倒车场景对应的采样频率；转弯场景对应的采样频率大于直行场景对应的采样频率。雨天场景对应的采样频率大于晴天场景对应的采样频率。夜晚场景对应的采样频率大于白天场景对应的采样频率。窄道场景对应的采样频率大于宽道场景对应的采样频率；路口场景对应的采样频率大于非路口场景对应的采样频率。

又如，泊车场景、倒车场景、转弯场景、雨天场景、夜晚场景、窄道场景和路口场景中至少两个(如所有)所对应的采样频率相同，且该采样频率大于其他场景所对应的采样频率。示例的，普通场景(即除路口场景和夜晚场景之外的其他场景)所对应的采样频率为1Hz，路口场景所对应的采样频率为5Hz，夜晚场景所对应的采样频率是18Hz等。

可以理解的是，车辆处于不同场景时，车载设备对目标对象的识别准确度不同，比如，相比车辆处于白天场景，当车辆处于夜晚场景时，车载设备对目标对象的识别准确度较低。本实施例中，根据车辆的当前场景确定采样频率，有助于满足不同场景下对目标对象的识别准确度需求，从而提高用户体验。

S104：点云控制模块基于所确定的采样频率，对原始点云序列进行采样，得到第一点云序列。

对原始点云序列进行采样，得到第一点云序列，可以理解为：选择原始点云序列中的部分点云，并将所选择的部分点云按照采样时间的先后顺序构成第一点云序列。本申请实施例对如何采样不进行限定，例如可以均匀采样，如在原始点云序列中每隔n帧取一帧点云。其中，n是大于或等于1的整数。

例如，假设采样频率是10Hz时，在原始点云序列中每隔6帧取一帧点云，采样频率是20Hz时，在原始点云序列中每隔3帧取一帧点云，那么，当采样频率是10Hz时，可以取原始点云序列中的第1、7、13、20……帧点云构成第一点云序列；当采样频率是20Hz时，可以取原始点云序列中的第1、4、7、10、13、16、19……帧点云构成第一点云序列。

如图4所示，为一种原始点云序列与第一点云序列的对比示意图。

对于第一点云序列中的每帧点云，车载设备执行以下步骤S105～S109。

需要说明的是，上述S102～S104是可选的步骤。其中，执行对原始点云序列进行采样，从而对采样得到的第一点云序列中的点云执行S105～S109，而非对原始点云序列中的每帧点云执行S105～S109，有助于降低点云处理的计算量。进一步地，根据当前车辆的当前场景确定采样频率，而非所有场景下均使用同一种采样频率，有助于满足不同场景下对目标对象的识别准确度需求，从而有助于通过平衡点云处理的计算量和对目标对象的识别准确度需求，提高点云处理的整体效果。

S105：点云控制模块从第一点云序列的第一点云中，确定用于描述目标对象的点。其中，第一点云可以是第一点云序列中的任意一帧点云。

具体的，点云控制模块对第一点云进行裁剪，以得到第一点云中用于描述目标对象(如每个目标对象)的点。

可选的，在S105之前，该方法还可以包括：呈现设置请求，该设置请求用于提示当前车辆的驾驶员设置目标对象所包括的对象的类型；然后，根据接收到的设置响应确定目标对象所包括的对象的类型。其中，本申请实施例对设置请求的呈现方式不进行限定，例如，设置请求可以是通过显示屏进行文字或图片呈现；或者通过扬声器进行语音呈现；或者是二者的结合等。对象的类型，可以包括：人、自行车、电动车、小汽车、卡车和交通标志杆等。该可选的实现方式支持由用户(如驾驶员)设置部分或全部目标对象的类型，这样，有助于实现基于用户的实际需求显示目标对象，从而增强点云显示过程的灵活性，并提高用户体验。

在一些实现方式中，部分或全部目标对象的类型可以是预定义的。在另一些实现方式中，一部分目标对象的类型是预定义的，另一部分目标对象的类型可以是用户设置的。

以下，基于目标对象与道路之间的关系，说明S105的具体实现方式：

第一、当目标对象包括道路之外(如当前车辆所在道路之外)的对象时，点云控制模块基于当前车辆周边区域的地图中道路标识的位置，对第一点云进行裁剪，得到用于描述该道路之外的对象的点。

可选的，道路标识可以包括道路线、车道线和停止线中的至少一种。道路标识的位置可以是绝对位置或相对位置。

其中，地图可以预先存储在车辆设备的存储器中，也可以是第三方所开发的地图类应用程序。地图中包含各种道路标识(如道路线、车道线和停止线)的坐标信息和大小等。其中，这里所描述的地图，是指泛指的地图，如包含某个城市或全国各地的地图等。地图管理模块可以用于管理存储器中存储的地图。点云控制模块可以向地图管理模块发送请求消息，该请求消息用于请求获取当前车辆周边一定区域的地图。例如该请求消息中可以包括当前车辆的位置信息，当前车辆的位置信息可以是点云控制模块从用于对当前车辆进行定位的模块/器件/设备中获取。地图管理模块接收到该请求消息之后，向点云控制模块发送当前车辆周边一定区域的地图。其中，地图管理模块所确定的当前车辆周边区域与点云控制模块确定的当前车辆周边区域的大小可能相同，也可能不同。

可选的，点云控制模块基于当前车辆周边区域的地图中道路标识的位置，对第一点云进行裁剪，得到用于描述该道路之外的对象的点，可以包括：

步骤一：点云控制模块将所确定的当前车辆周边区域(如激光雷达的扫描范围)与所获取的当前车辆周边区域的地图进行叠加。

步骤二：点云控制模块根据当前车辆周边区域的地图中道路标识的位置，从叠加后得到的图像中，获取道路标识与车辆周边区域(如激光雷达的扫描范围)所组成的封闭或半封闭的图形。

步骤三：点云控制模块基于该封闭或半封闭的图像的边界作为裁剪边界，对第一点云进行裁剪，并将边界之外的点云，作为用于描述该道路之外的对象的点。

如图5所示，为一种获取用于描述道路之外的对象的点的过程示意图。其中，图5中的a图表示第一点云，为了便于理解，a图中仅示意出了当前车辆和当前车辆上的激光雷达的扫描范围，b图为点云控制模块所获取的当前车辆周边区域的地图，该地图中包括道路标识，b图中的本向车道是指当前车辆所在的车道，对象车道是指与当前车辆的行驶方向相反的车辆所在的车道。点云控制模块可以将a图和b图进行叠加，得到c图。其中，当前车辆在a图、b图和c图中的位置相同。c图中阴影部分的边界为裁剪边界，c图中阴影部分即为用于描述该道路之外的对象的点。c图中共包括3处阴影部分，其中，最左侧和最右侧的阴影部分可以认为是道路之外的树木、建筑物等，中间的阴影部分可以认为是道路中间的隔离带等。

第二、当目标对象包括道路上(如当前车辆所在道路上)的目标障碍物时，点云控制模块基于该道路上的目标障碍物的位置和大小，对第一点云进行裁剪，得到第一点云中用于描述目标障碍物的点。

以下，说明点云控制模块确定第一点云中的目标障碍物的具体实现方式：

方式一：点云控制模块根据对象的位置信息，确定目标障碍物。

例如，点云控制模块获取一个或多个候选障碍物的位置信息，并根据该一个或多个候选障碍物的位置信息，从该一个或多个候选障碍物中选择在该道路上的候选障碍物，将所选择的候选障碍物作为目标障碍物。

候选障碍物，是点云控制模块从其他设备/模块/器件(如感知融合控制模块)获取的，且由该其他设备/模块/器件识别到的当前车辆周边区域内的障碍物。下文中均以该其他设备/模块/器件是感知融合控制模块为例进行说明。

本申请实施例对感知融合控制模块等如何识别当前车辆周边区域内的障碍物，如何获取所识别到的障碍物的信息，以及如何与点云控制模块之间进行信息交互从而使得点云控制模块获取到这些信息，均不进行限定。

例如，感知融合控制模块可以周期性或触发性地向点云控制模块发送自身识别的当前车辆周边区域内的障碍物的信息(如位置信息、速度信息、长宽信息、分类信息等)。

障碍物的位置信息，可以是用于表征该障碍物的绝对位置或相对位置(如相对当前车辆的位置)的位置信息。例如，可以使用该障碍物所在位置的经度和纬度，或该位置在世界坐标设定坐标系中的坐标值，来表征该障碍物的绝对位置；可以使用该障碍物在车辆坐标系中的坐标值，来表征该障碍物相对当前车辆的位置。

障碍物的长宽信息，是障碍物在道路上(即二维平面)上所占矩形区域的长和宽。在一个示例中，该矩形区域可以是包含“该障碍物投影到道路所在的二维平面上的投影区域”的矩形区域。

障碍物的分类信息，是用于表征该障碍物的类型的信息。障碍物的类型可以包括人、自行车、电动车、小汽车、卡车或交通标志杆等。

方式一是在考虑到“针对同一车辆来说，感知融合控制模块所确定的车辆周边区域，与点云控制模块所确定的车辆周边区域的大小可能相同，也可能不同，因此，感知融合控制模块所识别到的候选障碍物，可能在点云控制模块所确定的车辆周边区域中的道路之上，也可能在该道路之外”而提出的技术方案。在一个示例中，如果感知融合控制模块所确定的车辆周边区域与点云控制模块所确定的车辆周边区域的大小相同，则点云控制模块可以直接将获取到的候选障碍物作为目标障碍物。

在一种实现方式中，点云控制模块可以从感知融合控制模块获取到候选障碍物的位置信息，并从车辆周边区域的地图中获得当前车辆所在道路的位置信息；然后，结合该道路的位置信息和该候选障碍物的位置信息，确定该候选障碍物是否在该道路上。

方式二：点云控制模块根据对象的速度信息，确定目标障碍物。

例如，点云控制模块获取该道路上的一个或多个候选障碍物的速度信息，并根据该一个或多个候选障碍物的速度信息，从该一个或多个候选障碍物中选择速度大于或等于预设阈值(如0)的候选障碍物，将所选择的候选障碍物作为目标障碍物。

这里的速度可以是指绝对速度。也就是说，方式二中所选择的目标障碍物是动态障碍物，即位置可以移动的障碍物，如人或车辆等。关于候选障碍物的描述可以参考上述方式一。

方式二是在考虑到“感知融合控制模块所确定的候选障碍物包括静态障碍物(如交通灯，交通标志杆等)和动态障碍物(如人、车辆等)，在自动驾驶或辅助自动驾驶技术领域，相比静态障碍物来说，通常更关注动态障碍物，或者相比速度较慢的障碍物来说，通常更关注速度较快的障碍物”而提出的技术方案。

可选的，上述方式一和方式二可以结合，从而得到新的实现方式。也就是说，本申请实施例支持“点云控制模块将在该道路上的、且速度大于或等于预设阈值的候选障碍物，作为目标障碍物”的技术方案。该技术方案可以描述为：点云控制模块从所获取到的候选障碍物中过滤掉处于该道路边缘外的静态障碍物或速度较小的障碍物。

以下说明点云控制模块获得该道路上的目标障碍物的位置和大小的具体实现方式：

关于目标障碍物的位置信息，点云控制模块可以从其他设备/模块/器件(如感知融合控制模块)中获得。

目标障碍物的大小，可以是包含该目标障碍物的长方体(即目标障碍物的三维检测框)的长、宽和高。

在一种实现方式中，关于目标障碍物的长和宽，根据上文中的描述可知，点云控制模块可以从其他设备/模块/器件(如感知融合控制模块)中获得。关于目标障碍物的高，点云控制模块可以根据目标障碍物的分类信息获得。例如，预定义每种分类的障碍物的高度。如人的高度为2m，自行车的高度为2m，电动车的高度为2m，小汽车的高度为3m，卡车的高度为4m，交通标志杆的高度为5m。其中，关于目标障碍物的分类信息，点云控制模块可以从其他设备/模块/器件(如感知融合控制模块)中获得。采用该方式所获得的目标障碍物的三维检测框更接近目标障碍物本身，因此，精确度高。

在另一种实现方式中，目标障碍物的长、宽和高均可以是预定义大小的。也就是说，根据预定义的点云模型来表示每个目标障碍物的大小。其中，预定义的点云模型是指长、宽和高均是固定大小的一个三维检测框。该方式实现较为简单。

在获得任意一个目标障碍物的位置信息和大小之后，点云控制模块可以确定目标障碍物的三维检测框(即包含目标障碍物的一个立体区域)的位置和大小，从而基于该三维检测框，对第一点云进行裁剪，得到第一点云中的用于描述该目标障碍物的点；即将第一点云中的该三维检测框中的点作为用于描述该目标障碍物的点。依此类推，点云控制模块可以获得第一点云中的用于描述每个目标障碍物的点。

如图6所示，为一种获取用于描述道路上的目标障碍物的点的过程示意图。其中，图6中的a图表示第一点云，为了便于理解，a图中仅示意出了当前车辆和当前车辆上的激光雷达的扫描范围。点云控制模块基于a图和所获取到的目标障碍物的三维检测框的位置和大小，可以得到道路上的目标障碍物在a图中的位置和大小，如b图中的阴影部分所示，其中，b图中的每个阴影部分表示一个目标障碍物。

S106：点云控制模块根据用于描述目标对象的点，生成第二点云。示例的，用于描述目标对象的点在第一点云中的位置与在第二点云中的位置相同。

如果将用于描述每种类型的目标对象的点作为一子点云，那么：

若执行S105后，点云控制模块获取到用于描述一种类型的目标对象的子点云，则执行S106时，点云控制模块可以直接将该目标对象的子点云作为第二点云。

若执行S105后，点云控制模块获取到用于描述多种类型目标对象的子点云，则执行S106时，点云控制模块可以将用于描述该多个目标对象的子点云进行合并，得到第二点云。示例的，用于描述同一目标对象的点在第一点云中的位置和在第二点云中的位置相同。例如，参见图7，假设用于描述道路外的对象的子点云如图7的a图(即图5的c图)中的阴影部分所示，用于描述道路内的目标障碍物的子点云如图7的b图(即图6的b图)中的阴影部分所示，那么，将图7的a图中的阴影部分和b图中的阴影部分合并，可以得到图7的c图中的阴影部分(即第二点云)。

具体来说，当点云获取模块获取用于描述多种类型目标对象的子点云时，S105可以包括：点云控制模块根据第一类目标对象的特征信息，对第一点云进行裁剪，得到用于描述第一类目标对象的第一子点云，其中，目标对象包括第一类目标对象和第二类目标对象；点云控制模块根据第二类目标对象的特征信息，对第一点云进行裁剪，得到用于描述第二类目标对象的第二子点云。基于此，S106可以包括：点云控制模块根据第一子点云和第二子点云生成第二点云。

也就是说，本申请实施例，支持当存在多种类型的目标对象时，可以分别基于每种类型的目标对象的特征信息对点云进行裁剪，并基于各裁剪结果(即各子点云)生成第二点云。

其中，目标对象的特征信息是指用于识别目标对象的类型的信息。例如，当需要获取描述道路外的对象的点云以及道路内车辆的点云时，则前者的特征信息可以是对象所处的位置，后者的特征信息可以是对象所处的位置以及对象的大小。

上文描述的对象的特征信息仅为示例，其不对本申请实施例可适用的特征信息构成限定。可以理解的是，结合图7，与第一点云中的点相比，第二点云中不包含图7的c图中非阴影部分的点，这些点具体是激光雷达在扫描过程中产生的地面的反射点等，这样，可以减少点云计算复杂度和显示复杂度。

需要说明的是，由于目标对象是可以设置的，因此，在实际实现时，目标对象可以包含比本申请实施例中所描述的更多或更少的对象。

在一种实现方式中，S106可以包括：点云控制模块将用于描述目标对象的点，作为第二点云。这样，相比直接显示第一点云，有助于降低所显示的点云中点的数量，从而降低对显示设备的硬件性能的要求，且实现简单。

在另一种实现方式中，S106可以包括：点云控制模块通过对第三点云进行稀疏化，得到第二点云。其中，第三点云是用于描述目标对象的点的集合。这样，相比上一实现方式，有助于进一步降低所显示的点云中点的数量，从而进一步降低对显示设备的硬件性能的要求。

对点云进行稀疏化，是为了降低点云计算复杂度或显示复杂度，而对该点云中的点进行采样，并将采样后的点构成新的点云的过程。其中，稀疏化前后点云中的同一对象的轮廓一致或基本一致。例如，如图8所示，为稀疏化前后点云中的一个矩形中的点的示意图。其中，图8的a图表示稀疏化前的该矩形，图8的b图表示稀疏化后该矩形。本申请实施例对稀疏化过程中的采样方法不进行限定。

稀疏倍数，是指一个区域中所包含的稀疏前的点的个数与稀疏后的点的个数之比。对于同一区域来讲，稀疏倍数越大，表示稀疏程度越大，即稀疏后的点的个数越少。

进行点云稀疏化时所基于的区域，可以是一帧点云中的任意大小的一块区域。例如，点云控制模块可以先对第三点云进行网格划分，得到若干个网络，再以网格为单位，对不同网格中的点进行稀疏化。本申请示例对“对第三点云进行网格划分”的具体实现方式不进行限定，例如可以参考现有技术。另外，具体实现时，还可以通过其他方式将点云分为多个区域。

可选的，第三点云包括第一区域和第二区域；第一区域中的点所描述的对象与该车辆之间的距离大于第二区域中的点所描述的对象与该车辆之间的距离；然后，采用第一稀疏倍数对第一区域中的点进行稀疏化，并采用第二稀疏倍数对第二区域中的点进行稀疏化；其中，第一稀疏倍数小于第二稀疏倍数。进一步可选的，第一区域和第二区域均是网格。

也就是说，本申请实施例支持距离车辆越远的点稀疏程度越低的技术方案。

由于对于同一对象来说，该对象与车辆之间的距离越远，点云中用于描述该对象的点的个数越少。并且，用于描述一个对象的点的个数越多，该对象就会越清晰。因此，与“使用相同的稀疏倍数，对第三点云中的所有区域进行稀疏化”的技术方案相比，采用该可选的技术方案，有助于实现使用相对较多的点来描述距离车辆较远的对象，从而使得在减少点云中点的整体数量的同时，使得距离车辆较远的点较为清晰，从而有助于提高用户体验，并且能够提高驾驶安全性。

S107：点云控制模块向显示器发送第二点云。其中，点云控制模块可以直接或间接向显示器发送第二点云。示例的，该显示器可以是HUD或仪表盘等。

S108：显示器显示第二点云。

在一种实现方式中，显示器可以直接显示第二点云。

在另一种实现方式中，显示器可以将第二点云与该车辆周边区域中的其他对象的信息(如地图中的道路标识等信息)进行叠加，得到新的点云，并显示该新的点云。如图9所示，为一种将第二点云与地图中的道路标识等信息进行结合后得到的新的点云。这样，相比直接显示第二点云，显示器上还可以显示更多地用于表示该车辆周边区域的信息，从而有助于进一步提高用户体验。

本实施例提供的点云显示方法，从第一点云中确定用于描述目标对象的点，并根据用于描述目标对象的点生成第二点云，并显示第二点云。该方法使用第二点云代替第一点云进行显示，这有助于减少需要显示的点云的数据量。由于第一点云可以是激光点云，因此该方法有助于降低激光点云的数据量，从而有助于降低对显示设备的硬件性能的要求。这样，有助于得到可在车辆中安装的HMI设备上显示的点云。

上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对车载系统进行功能模块的划分，例如可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

如图10所示，为本申请实施例提供的一种点云显示装置90的结构示意图。该点云显示装置90包括处理器901和显示器902。其中，处理器901和显示器902可以分别是单独的部件，也可以是集成在一起的。作为示例，处理器901与显示器902之间可以通过有线或无线进行连接，例如处理器901和显示器902之间可以通过线缆连接，也可以通过WiFi或者蓝牙进行连接。

处理器901可以用于执行上文中点云控制模块所执行的步骤。显示器902可以用于执行上文中显示器所执行的步骤。例如，处理器901，用于从第一点云中确定用于描述目标对象的点；其中，第一点云是用于描述该车载系统所在车辆周边区域的点云，目标对象是该车载系统需要识别的对象；以及，根据用于描述所述目标对象的点，生成第二点云。显示器902，用于显示第二点云。例如，结合图3，处理器901可以用于执行S105～S106。显示器902可以用于执行S108。

可选的，目标对象和该车辆的相关度超过阈值，其中，该相关度是根据以下至少一种因素确定的：目标对象与该车辆的距离、目标对象的位置、目标对象所指示的信息或目标对象的速度。

可选的，该装置90还包括：输出模块903，用于呈现设置请求，该设置请求用于提示用户(如该车辆的驾驶员)设置目标对象所包括的对象的类型。处理器901还用于，根据接收到的设置响应确定目标对象所包括的对象的类型。输出模块903与显示器902可以相同或不同。例如，如果呈现设置请求是基于显示器呈现的，则输出模块903与显示器902可以是同一显示器，当然也可以是不同的显示器。又如，如果呈现设置请求是基于扬声器呈现的(即语音方式呈现)，则输出模块903与显示器902不同。

可选的，处理器901具体用于，通过对第三点云进行稀疏化生成所述第二点云，其中，第三点云是用于描述目标对象的点的集合。

可选的，第三点云包括第一区域和第二区域；第一区域中的点所描述的对象与车辆之间的距离大于第二区域中的点所描述的对象与车辆之间的距离。处理器901具体用于：采用第一稀疏倍数对第一区域中的点进行稀疏化，并采用第二稀疏倍数对第二区域中的点进行稀疏化；其中，第一稀疏倍数小于第二稀疏倍数。

可选的，处理器901还用于，对该车载系统获得的原始点云序列进行采样，得到第一点云序列，其中，第一点云是第一点云序列中的任意一帧点云。

可选的，处理器901具体用于，根据该车载系统所在车辆的当前场景，确定采样频率；并根据该采样频率，对原始点云序列进行采样，得到第一点云序列。例如，结合图3，处理器901可以用于执行S103～S104。

可选的，处理器901具体用于，当目标对象包括道路之外的对象时，基于该周边区域的地图中道路标识的位置，对第一点云进行裁剪，得到用于描述该道路之外的对象的点。

可选的，处理器901具体用于：当目标对象包括道路上的目标障碍物时，根据对象的位置信息或者速度信息确定目标障碍物；基于目标障碍物的位置和大小，对第一点云进行剪裁，得到用于描述目标障碍物的点。

可选的，当目标对象包括道路上的目标障碍物时，处理器901具体用于：获取一个或多个候选障碍物的位置信息，并根据一个或多个候选障碍物的位置信息，从一个或多个候选障碍物中选择在道路上的候选障碍物，将所选择的候选障碍物作为目标障碍物。

可选的，当目标对象包括道路上的目标障碍物时，处理器901具体用于：获取道路上的一个或多个候选障碍物的速度信息，并根据一个或多个候选障碍物的速度信息，从一个或多个候选障碍物中选择速度不为0的候选障碍物，将所选择的候选障碍物作为目标障碍物。

可选的，处理器901具体用于：根据第一类目标对象的特征信息，对第一点云进行裁剪，得到用于描述第一类目标对象的第一子点云，其中，目标对象包括第一类目标对象和第二类目标对象；根据第二类目标对象的特征信息，对第一点云进行裁剪，得到用于描述第二类目标对象的第二子点云；根据用于描述目标对象的点，生成第二点云，包括：根据第一子点云和第二子点云生成第二点云。

在一个示例中，结合图1，上述处理器901可以通过图1中的处理器103实现，显示器902可以通过图1中的显示器109实现。

上述提供的任一种点云显示装置90中相关内容的解释以及有益效果的描述等均可参考上述对应的方法实施例，此处不再赘述。

如图11所示，为本申请实施例提供的一种点云显示装置100的结构示意图。该装置100可以用于执行上文中点云显示方法。该装置可以应用于车载系统。该装置100可以包括确定单元1001、生成单元1002和显示单元1003。其中，确定单元1001，用于从第一点云中确定用于描述目标对象的点；第一点云是用于描述车载系统所在车辆周边区域的点云。生成单元1002，用于根据该用于描述目标对象的点，生成第二点云；其中，目标对象是车载系统需要识别的对象。显示单元1003，用于显示第二点云。例如，结合图3，确定单元1001可以用于执行S105，生成单元S106可以用于执行S106。显示单元1003可以用于执行S108。

可选的，目标对象和该车辆的相关度超过阈值，其中，该相关度是根据以下至少一种因素确定的：目标对象与该车辆的距离、目标对象的位置、目标对象所指示的信息或目标对象的速度。

可选的，如图11所示，该装置100还包括：输出单元1004，用于呈现设置请求，该设置请求用于提示用户(如该车辆的驾驶员)设置所述目标对象所包括的对象的类型。确定单元1001还用于，根据接收到的设置响应确定目标对象所包括的对象的类型。

可选的，生成单元1002具体用于，通过对第三点云进行稀疏化生成所述第二点云，其中，第三点云是用于描述目标对象的点的集合。

可选的，该装置100还包括：采样单元1005，用于对该车载系统获得的原始点云序列进行采样，得到第一点云序列，其中，第一点云是第一点云序列中的任意一帧点云。

可选的，采样单元1005具体用于：根据该车载系统所在车辆的当前场景，确定采样频率；根据该采样频率，对原始点云序列进行采样，得到第一点云序列。

可选的，确定单元1001具体用于，当目标对象包括道路之外(如该车辆所在道路之外)的对象时，基于该车辆周边区域的地图中道路标识的位置，对第一点云进行裁剪，得到用于描述该车辆所在道路之外的对象的点。

可选的，确定单元1001具体用于：当目标对象包括道路上的目标障碍物时，根据对象的位置信息或者速度信息确定目标障碍物；基于目标障碍物的位置和大小，对第一点云进行剪裁，得到用于描述目标障碍物的点。

可选的，确定单元1001具体用于：根据第一类目标对象的特征信息，对第一点云进行裁剪，得到用于描述第一类目标对象的第一子点云，其中，目标对象包括第一类目标对象和第二类目标对象；根据第二类目标对象的特征信息，对第一点云进行裁剪，得到用于描述第二类目标对象的第二子点云。生成单元1002具体用于，根据第一子点云和第二子点云生成第二点云。

在一个示例中，结合图1，上述确定单元1001、生成单元1002和采样单元1005可以通过图1中的处理器103实现，显示单元1003可以通过图1中的显示器109实现。输出单元1004可以通过图1中的显示器109实现，或者可以通过与图1中的处理器103所连接的扬声器等其他输出模块/器件/设备实现。

上述提供的任一种装置100中相关内容的解释以及有益效果的描述等均可参考上述对应的方法实施例，此处不再赘述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (28)

1.一种点云显示方法，其特征在于，应用于车载系统，所述方法包括：

从第一点云中确定用于描述目标对象的点；其中，所述第一点云是用于描述所述车载系统所在车辆周边区域的点云，所述目标对象是所述车载系统需要识别的对象；

根据所述用于描述所述目标对象的点，生成第二点云；

显示所述第二点云。

2.根据权利要求1所述的方法，其特征在于，所述目标对象和所述车辆的相关度超过阈值，其中，所述相关度是根据以下至少一种因素确定的：

所述目标对象与所述车辆的距离、所述目标对象的位置、所述目标对象所指示的信息或所述目标对象的速度。

3.根据权利要求1或2所述的方法，其特征在于，在所述从第一点云中确定用于描述目标对象的点之前，所述方法还包括：

呈现设置请求，所述设置请求用于提示所述车辆的驾驶员设置所述目标对象所包括的对象的类型；

根据接收到的设置响应确定所述目标对象所包括的对象的类型。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述用于描述所述目标对象的点，生成第二点云，包括：

通过对第三点云进行稀疏化生成所述第二点云，其中，所述第三点云是所述用于描述目标对象的点的集合。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

对所述车载系统获得的原始点云序列进行采样，得到第一点云序列，其中，所述第一点云是所述第一点云序列中的任意一帧点云。

6.根据权利要求5所述的方法，其特征在于，所述对所述车载系统获得的原始点云序列进行采样，得到第一点云序列，包括：

根据所述车载系统所在车辆的当前场景，确定采样频率；

根据所述采样频率，对所述原始点云序列进行采样，得到所述第一点云序列。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述从第一点云中确定用于描述目标对象的点，包括：

当所述目标对象包括道路之外的对象时，基于所述周边区域的地图中道路标识的位置，对所述第一点云进行裁剪，得到用于描述所述道路之外的对象的点。

8.根据权利要求1-6任一项所述的方法，其特征在于，所述从第一点云中确定用于描述目标对象的点，包括：

当所述目标对象包括道路上的目标障碍物时，根据对象的位置信息或者速度信息确定所述目标障碍物；

基于所述目标障碍物的位置和大小，对所述第一点云进行剪裁，得到用于描述所述目标障碍物的点。

9.根据权利要求1-6任一项所述的方法，其特征在于，所述从第一点云中确定用于描述目标对象的点，包括：

根据第一类目标对象的特征信息，对所述第一点云进行裁剪，得到用于描述所述第一类目标对象的第一子点云，其中，所述目标对象包括所述第一类目标对象和第二类目标对象；

根据所述第二类目标对象的特征信息，对所述第一点云进行裁剪，得到用于描述所述第二类目标对象的第二子点云；

所述根据所述用于描述所述目标对象的点，生成第二点云，包括：

根据所述第一子点云和所述第二子点云生成所述第二点云。

10.一种点云显示装置，其特征在于，应用于车载系统，所述装置包括：

处理器，用于从第一点云中确定用于描述目标对象的点；其中，所述第一点云是用于描述所述车载系统所在车辆周边区域的点云，所述目标对象是所述车载系统需要识别的对象；以及，根据所述用于描述所述目标对象的点，生成第二点云；

显示器，用于显示所述第二点云。

11.根据权利要求10所述的装置，其特征在于，所述目标对象和所述车辆的相关度超过阈值，其中，所述相关度是根据以下至少一种因素确定的：

所述目标对象与所述车辆的距离、所述目标对象的位置、所述目标对象所指示的信息或所述目标对象的速度。

12.根据权利要求10或11所述的装置，其特征在于，所述装置还包括：

输出模块，用于呈现设置请求，所述设置请求用于提示所述车辆的驾驶员设置所述目标对象所包括的对象的类型；

所述处理器还用于，根据接收到的设置响应确定所述目标对象所包括的对象的类型。

13.根据权利要求10至12任一项所述的装置，其特征在于，

所述处理器具体用于，通过对第三点云进行稀疏化生成所述第二点云，其中，所述第三点云是所述用于描述目标对象的点的集合。

14.根据权利要求10至13任一项所述的装置，其特征在于，

所述处理器还用于，对所述车载系统获得的原始点云序列进行采样，得到第一点云序列，其中，所述第一点云是所述第一点云序列中的任意一帧点云。

15.根据权利要求14所述的装置，其特征在于，

所述处理器具体用于，根据所述车载系统所在车辆的当前场景，确定采样频率；并根据所述采样频率，对所述原始点云序列进行采样，得到所述第一点云序列。

16.根据权利要求10至15任一项所述的装置，其特征在于，

所述处理器具体用于，当所述目标对象包括道路之外的对象时，基于所述周边区域的地图中道路标识的位置，对所述第一点云进行裁剪，得到用于描述所述道路之外的对象的点。

17.根据权利要求10至15任一项所述的装置，其特征在于，所述处理器具体用于：

当所述目标对象包括道路上的目标障碍物时，根据对象的位置信息或者速度信息确定所述目标障碍物；

基于所述目标障碍物的位置和大小，对所述第一点云进行剪裁，得到用于描述所述目标障碍物的点。

18.根据权利要求10至15任一项所述的装置，其特征在于，所述处理器具体用于：

根据第一类目标对象的特征信息，对所述第一点云进行裁剪，得到用于描述所述第一类目标对象的第一子点云，其中，所述目标对象包括所述第一类目标对象和第二类目标对象；

根据所述第二类目标对象的特征信息，对所述第一点云进行裁剪，得到用于描述所述第二类目标对象的第二子点云；

所述根据所述用于描述所述目标对象的点，生成第二点云，包括：根据所述第一子点云和所述第二子点云生成所述第二点云。

19.一种点云显示装置，其特征在于，应用于车载系统，所述装置包括：

确定单元，用于从第一点云中确定用于描述目标对象的点；其中，所述第一点云是用于描述所述车载系统所在车辆周边区域的点云，所述目标对象是所述车载系统需要识别的对象；

生成单元，用于根据所述用于描述所述目标对象的点，生成第二点云；

显示单元，用于显示所述第二点云。

20.根据权利要求19所述的装置，其特征在于，所述目标对象和所述车辆的相关度超过阈值，其中，所述相关度是根据以下至少一种因素确定的：

所述目标对象与所述车辆的距离、所述目标对象的位置、所述目标对象所指示的信息或所述目标对象的速度。

21.根据权利要求19或20所述的装置，其特征在于，所述装置还包括：

输出单元，用于呈现设置请求，所述设置请求用于提示所述车辆的驾驶员设置所述目标对象所包括的对象的类型；

所述确定单元还用于，根据接收到的设置响应确定所述目标对象所包括的对象的类型。

22.根据权利要求19-21任一项所述的装置，其特征在于，

所述生成单元具体用于，通过对第三点云进行稀疏化生成所述第二点云，其中，所述第三点云是所述用于描述目标对象的点的集合。

23.根据权利要求19-22任一项所述的装置，其特征在于，所述装置还包括：

采样单元，用于对所述车载系统获得的原始点云序列进行采样，得到第一点云序列，其中，所述第一点云是所述第一点云序列中的任意一帧点云。

24.根据权利要求23所述的装置，其特征在于，所述采样单元具体用于：

根据所述车载系统所在车辆的当前场景，确定采样频率；

根据所述采样频率，对所述原始点云序列进行采样，得到所述第一点云序列。

25.根据权利要求19-25任一项所述的装置，其特征在于，

所述确定单元具体用于，当所述目标对象包括道路之外的对象时，基于所述周边区域的地图中道路标识的位置，对所述第一点云进行裁剪，得到用于描述所述道路之外的对象的点。

26.根据权利要求19-25任一项所述的装置，其特征在于，所述确定单元具体用于：

当所述目标对象包括道路上的目标障碍物时，根据对象的位置信息或者速度信息确定所述目标障碍物；

基于所述目标障碍物的位置和大小，对所述第一点云进行剪裁，得到用于描述所述目标障碍物的点。

27.根据权利要求19-25任一项所述的装置，其特征在于，所述确定单元具体用于：

根据第一类目标对象的特征信息，对所述第一点云进行裁剪，得到用于描述所述第一类目标对象的第一子点云，其中，所述目标对象包括所述第一类目标对象和第二类目标对象；

根据所述第二类目标对象的特征信息，对所述第一点云进行裁剪，得到用于描述所述第二类目标对象的第二子点云；

所述生成单元具体用于，根据所述第一子点云和所述第二子点云生成所述第二点云。

28.一种计算机可读存储介质，其特征在于，包括：用于存储计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1至9任一项所述的方法。

Images