CN113902927A - 一种融合了图像与点云信息的综合信息处理方法 - Google Patents

Abstract

本发明实施例涉及一种融合了图像与点云信息的综合信息处理方法，所述方法包括：获取第一图像、第一点云集合；对第一点云集合进行深度图像转换生成第一深度图像；对第一图像和第一深度图像进行图像对齐处理；对第一图像进行对象目标识别生成多个第一识别框；根据各个第一识别框的第一框位置信息和第一框形状信息，对第一深度图像进行点云像素点聚类处理，生成第一识别框点云像素点集合；将各个第一识别框的第一识别类型信息，作为对应的第一点云像素点的点云语义信息；对第一图像和第一深度图像进行图像融合生成第一融合图像；对第一融合图像进行综合信息显示处理。通过本发明，可以有效降低分析人员的数据分析难度，提高工作效率。

Description

一种融合了图像与点云信息的综合信息处理方法

技术领域

本发明涉及数据处理技术领域，特别涉及一种融合了图像与点云信息的综合信息处理方法。

背景技术

自动驾驶系统的感知传感器常规都会包括摄像头和雷达两类传感器。摄像头产生的图像数据和雷达产生的点云数据除提供给自动驾驶系统感知模块进行实时的对象识别之外，还会提供给远程的各类数据分析软件进行数据分析，例如点云数据分析软件。在使用点云数据分析软件时，因为点云集合都是由一些离散点构成的，对象直观性很差，分析人员很难快速的从离散的点云集合中定位需要分析的目标点云。

发明内容

本发明的目的，就是针对现有技术的缺陷，提供一种融合了图像与点云信息的综合信息处理方法、电子设备及计算机可读存储介质，在获取场景点云集合的同时也获取对应的场景图像，并以场景图像的对象识别结果也就是识别框为参考对点云集合的点云进行聚类与语义定义，再在场景图像上对各个点云进行叠加显示，并实现对每个点云语义的提示显示方式。通过本发明，不但可以给出非常直观的点云场景界面，还能清晰的获知每个点云的语义特征；从而可以有效降低分析人员的数据分析难度，提高工作效率。

为实现上述目的，本发明实施例第一方面提供了一种融合了图像与点云信息的综合信息处理方法，所述方法包括：

获取指定场景的摄像头拍摄图像生成第一图像，并获取所述指定场景的雷达扫描点云生成第一点云集合；所述第一点云集合包括多个第一点云；

对所述第一点云集合进行深度图像转换，生成对应的第一深度图像；所述第一深度图像包括多个第一点云像素点；

对所述第一图像和所述第一深度图像进行图像对齐处理；

对所述第一图像进行对象目标识别，生成多个第一识别框；所述第一识别框包括第一识别类型信息、第一框位置信息和第一框形状信息；

根据各个所述第一识别框的所述第一框位置信息和所述第一框形状信息，对所述第一深度图像进行点云像素点聚类处理，生成对应的第一识别框点云像素点集合；

将各个所述第一识别框的所述第一识别类型信息，作为对应的所述第一识别框点云像素点集合中各个所述第一点云像素点的点云语义信息；

对所述第一图像和所述第一深度图像进行图像融合处理生成第一融合图像；并对所述第一融合图像进行综合信息显示处理。

优选的，所述对所述第一点云集合进行深度图像转换，生成对应的第一深度图像，具体包括：

在所述第一点云集合中，对各个所述第一点云的三维点云坐标做二维前视图投影坐标转换生成对应的第一点云-投影坐标，并将各个所述三维点云坐标的深度坐标转换为对应的第一点云-深度信息，并根据预设的深度与像素值的对应关系对各个所述第一点云-深度信息进行像素值转换生成对应的第一点云-像素信息；

创建图像分辨率与所述第一图像相同的空白图像作为第一空白图像；所述第一空白图像的各个像素点的初始像素值为统一的预设值；

在所述第一空白图像中，将像素点坐标与各个所述第一点云-投影坐标对应的像素点作为所述第一点云像素点，并将所述第一点云像素点的像素值设为对应的所述第一点云-像素信息；

将完成所有点云像素点设置的所述第一空白图像作为所述第一深度图像。

优选的，所述对所述第一图像和所述第一深度图像进行图像对齐处理，具体包括：

在所述第一图像中选择具有明显边缘的物体作为第一对齐参考物；

将所述第一对齐参考物在所述第一图像中的图像轮廓图形记为第一轮廓图形；将所述第一对齐参考物在所述第一深度图像中的图像轮廓图形记为第二轮廓图形；

调整所述第一轮廓图形和所述第二轮廓图形的对齐状态；当所述对齐状态为无错位重合状态时，所述图像对齐处理成功。

优选的，所述根据各个所述第一识别框的所述第一框位置信息和所述第一框形状信息，对所述第一深度图像进行点云像素点聚类处理，生成对应的第一识别框点云像素点集合，具体包括：

根据各个所述第一识别框的所述第一框位置信息和所述第一框形状信息，在所述第一深度图像中标记出对应的识别框图形区域，记为第一识别框区域；并将处于所述第一识别框区域的所述第一点云像素点聚为同一类，生成对应的所述第一识别框点云像素点集合。

优选的，所述对所述第一融合图像进行综合信息显示处理，具体包括：

对所述第一融合图像进行显示的同时在显示的第一融合图像上对各个所述第一识别框进行显示；并在显示时，对屏幕光标的实时位置进行获取，生成第一光标位置；若与所述第一光标位置对应的所述第一融合图像的像素点的所述点云语义信息不为空，则在所述第一光标位置以提示信息的显示方式对该点云语义信息进行显示。

本发明实施例第二方面提供了一种电子设备，包括：存储器、处理器和收发器；

所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；

所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。

本发明实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。

本发明实施例提供了一种融合了图像与点云信息的综合信息处理方法、电子设备及计算机可读存储介质，在获取场景点云集合的同时也获取对应的场景图像，并以场景图像的对象识别结果也就是识别框为参考对点云集合的点云进行聚类与语义定义，再在场景图像上对各个点云进行叠加显示，并实现对每个点云语义的提示显示方式。通过本发明，给出了非常直观的点云场景界面，还能清晰的获知每个点云的语义特征；从而有效地降低了分析人员的数据分析难度，提高了工作效率。

附图说明

图1为本发明实施例一提供的一种融合了图像与点云信息的综合信息处理方法示意图；

图2为本发明实施例二提供的一种电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明实施例一提供的一种融合了图像与点云信息的综合信息处理方法示意图，如图1所示，本方法主要包括如下步骤：

步骤1，获取指定场景的摄像头拍摄图像生成第一图像，并获取指定场景的雷达扫描点云生成第一点云集合；

其中，第一点云集合包括多个第一点云。

这里，第一图像与第一点云集合为摄像头和雷达对同一指定的场景在同一时间点同步拍摄和雷达扫描产生的场景图像和场景点云集合。

步骤2，对第一点云集合进行深度图像转换，生成对应的第一深度图像；

其中，第一深度图像包括多个第一点云像素点；

具体包括：步骤21，在第一点云集合中，对各个第一点云的三维点云坐标做二维前视图投影坐标转换生成对应的第一点云-投影坐标，并将各个三维点云坐标的深度坐标转换为对应的第一点云-深度信息，并根据预设的深度与像素值的对应关系对各个第一点云-深度信息进行像素值转换生成对应的第一点云-像素信息；

这里，深度与像素值的对应关系为本发明实施例为深度与像素值创建的一个正相关的非线性变换关系，深度越深则显示出的颜色越深；常规情况下该对应关系中的像素值的值域为灰度值的值域；

步骤22，创建图像分辨率与第一图像相同的空白图像作为第一空白图像；

其中，第一空白图像的各个像素点的初始像素值为统一的预设值；

这里，实际是对第一深度图像进行初始化，统一的预设值常规情况下预设为一个负值，这样方便与真实的点云像素点进行区分；之所以要设置第一空白图像与第一图像的图像分辨率相同，是为了保证二者的图像坐标精度一致；

步骤23，在第一空白图像中，将像素点坐标与各个第一点云-投影坐标对应的像素点作为第一点云像素点，并将第一点云像素点的像素值设为对应的第一点云-像素信息；

这里，每个第一点云像素点实际就是第一点云集合中对应的第一点云的前视图投影点，第一点云像素点的像素值与对应的第一点云的深度相关；

步骤24，将完成所有点云像素点设置的第一空白图像作为第一深度图像。

这里，第一深度图像实际就是第一点云集合的前视平面的投影图像，其像素值以点云深度为参考。

步骤3，对第一图像和第一深度图像进行图像对齐处理；

这里，虽然第一图像和第一深度图像都是由相同的指定场景得到的，但是往往点云的空间范围会超出图像的空间范围，所以第一深度图像往往会大于第一图像，对二者进行对齐才能保证第一深度图像与第一图像中相同物体的点云像素点和图像像素点是对齐的；

具体包括：步骤31，在第一图像中选择具有明显边缘的物体作为第一对齐参考物；

具体为：对第一图像进行灰度图转换生成对应的第一灰度图；并对第一灰度图进行图像边缘检测得到多个第一边沿图形；将与每个第一边沿图形对应的物体记为对应的第一对齐参考物；

步骤32，将第一对齐参考物在第一图像中的图像轮廓图形记为第一轮廓图形；将第一对齐参考物在第一深度图像中的图像轮廓图形记为第二轮廓图形；

这里，将第一对齐参考物在第一图像中的图像轮廓图形记为第一轮廓图形，具体为：将第一对齐参考物对应的第一边沿图形作为对应的第一轮廓图形；

将第一对齐参考物在第一深度图像中的图像轮廓图形记为第二轮廓图形，具体为：对第一深度图像进行灰度图转换生成对应的第二灰度图；并对第二灰度图进行图像边缘检测得到多个第二边沿图形；并对各个第二边沿图形的图形特征进行提取生成对应的第一图形特征，此处的图形特征常规使用图形面积特征；并计算第一对齐参考物对应的第一轮廓图形的图形面积生成第一图形面积；并将与第一图形面积最接近的第一图形特征对应的第二边沿图形作为第一对齐参考物对应的第二轮廓图形；

步骤33，调整第一轮廓图形和第二轮廓图形的对齐状态；当对齐状态为无错位重合状态时，图像对齐处理成功。

这里，在图像对齐处理成功之后还需基于第一图像与第一深度图像的对齐关系，对第一深度图像中超出第一图像范围的图像数据进行裁剪，从而使得裁剪后的第一深度图像与第一图像能够完全重合。

步骤4，对第一图像进行对象目标识别，生成多个第一识别框；

其中，第一识别框包括第一识别类型信息、第一框位置信息和第一框形状信息。

这里，本发明实施例采用训练成熟的基于卷积神经网络的人工智能图像语义识别模型对第一图像进行对象目标识别，生成多个第一识别框；第一识别类型信息包括建筑、动物、人、植物、车辆、自行车、摩托车、道路、道路线、交通标志/标记/标线等类型；每个第一识别框的图形结构为一个矩形结构，第一框位置信息则为该矩形结构中心点在第一图像中的像素点坐标；第一框形状信息包括长度信息和宽度信息，长度信息为该矩形结构的长度值，宽度为该矩形结构的宽度值。

步骤5，根据各个第一识别框的第一框位置信息和第一框形状信息，对第一深度图像进行点云像素点聚类处理，生成对应的第一识别框点云像素点集合；

具体包括：根据各个第一识别框的第一框位置信息和第一框形状信息，在第一深度图像中标记出对应的识别框图形区域，记为第一识别框区域；并将处于第一识别框区域的第一点云像素点聚为同一类，生成对应的第一识别框点云像素点集合。

这里，本发明实施例在第一深度图像中基于第一识别框的第一框位置信息定位矩形图形的中心点，基于该中心点再结合第一识别框的第一框形状信息的长度、宽度信息就可以得到与第一识别框位置、大小完全一样的一个矩形图像区域也就是第一识别框区域。第一图像的中每个第一识别框都会在第一深度图像中有一个位置、形状完全一样的第一识别框区域；那么，从该第一识别框区域中提取出的第一点云像素点自然是同一个对象的点云，将这些第一点云像素点聚类组成的第一识别框点云像素点集合就是该对象的所有点云。

步骤6，将各个第一识别框的第一识别类型信息，作为对应的第一识别框点云像素点集合中各个第一点云像素点的点云语义信息。

这里，由上文可知，第一识别框点云像素点集合中的点云语义都相同，每个第一识别框点云像素点集合对应一个第一识别框，那么自然第一识别框点云像素点集合中各个第一点云像素点的点云语义信息都应与第一识别框的第一识别类型信息保持一致。

这里，由第一点云像素点与前述第一点云集合中第一点云的一一对应关系可知，在对第一识别框点云像素点集合的第一点云像素点进行语义标注之后，自然就完成了对应的第一点云的语义标注。

步骤7，对第一图像和第一深度图像进行图像融合处理生成第一融合图像；并对第一融合图像进行综合信息显示处理；

具体包括：步骤71，对第一图像和第一深度图像进行图像融合处理生成第一融合图像；

具体为: 按像素点坐标顺序，对第一图像和第一深度图像的像素点进行逐个比对；比对过程中，将第一图像中与当前像素点坐标对应的像素点记为第一像素点，将第一深度图像中与当前像素点坐标对应的像素点记为第二像素点，将第一融合图像中与当前像素点坐标对应的像素点记为融合像素点；若第二像素点的像素值为统一的预设值，则将融合像素点的像素值设为第一像素点的像素值；若第二像素点的像素值不为统一的预设值，则将融合像素点的像素值设为第二像素点的像素值，并为融合像素点设置对应的融合点云语义信息，该融合点云语义信息与第二像素点对应的点云语义信息一致；

这里，本发明实施例按场景点云为前景、场景图像为后景的融合顺序得到最终的融合图像也就是第一融合图像，且在第一融合图像中若某个像素点为场景点云则还具有对应的点云语义信息；

步骤72，对第一融合图像进行综合信息显示处理；

具体包括：对第一融合图像进行显示的同时在第一融合图像上对各个第一识别框进行显示；并在显示时，对屏幕光标的实时位置进行获取，生成第一光标位置；若与第一光标位置对应的第一融合图像的像素点的点云语义信息不为空，则在第一光标位置以提示信息的显示方式对该点云语义信息进行显示。

这里，本发明实施示例实现了在场景图像上对各个识别出的对象识别框也就是第一识别框的显示，同时实现了对每个第一识别框对应的点云子集的显示，同时还采用响应光标位置的实时显示方式实现了对每个点云的语义信息显示。这样一来，分析人员就能非常直观的看到一个点云场景界面，还能清晰的获知每个点云的语义特征。

图2为本发明实施例二提供的一种电子设备的结构示意图。该电子设备可以为前述的终端设备或者服务器，也可以为与前述终端设备或者服务器连接的实现本发明实施例方法的终端设备或服务器。如图2所示，该电子设备可以包括：处理器301(例如CPU)、存储器302、收发器303；收发器303耦合至处理器301，处理器301控制收发器303的收发动作。存储器302中可以存储各种指令，以用于完成各种处理功能以及实现前述方法实施例描述的处理步骤。优选的，本发明实施例涉及的电子设备还包括：电源304、系统总线305以及通信端口306。系统总线305用于实现元件之间的通信连接。上述通信端口306用于电子设备与其他外设之间进行连接通信。

在图2中提到的系统总线305可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI) 总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，RAM) ，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、图形处理器（Graphics Processing Unit，GPU）等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

需要说明的是，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中提供的方法和处理过程。

本发明实施例还提供一种运行指令的芯片，该芯片用于执行前述方法实施例描述的处理步骤。

本发明实施例提供了一种融合了图像与点云信息的综合信息处理方法、电子设备及计算机可读存储介质，在获取场景点云集合的同时也获取对应的场景图像，并以场景图像的对象识别结果也就是识别框为参考对点云集合的点云进行聚类与语义定义，再在场景图像上对各个点云进行叠加显示，并实现对每个点云语义的提示显示方式。通过本发明，给出了非常直观的点云场景界面，还能清晰的获知每个点云的语义特征；从而有效地降低了分析人员的数据分析难度，提高了工作效率。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种融合了图像与点云信息的综合信息处理方法，其特征在于，所述方法包括：

获取指定场景的摄像头拍摄图像生成第一图像，并获取所述指定场景的雷达扫描点云生成第一点云集合；所述第一点云集合包括多个第一点云；

对所述第一点云集合进行深度图像转换，生成对应的第一深度图像；所述第一深度图像包括多个第一点云像素点；

对所述第一图像和所述第一深度图像进行图像对齐处理；

对所述第一图像进行对象目标识别，生成多个第一识别框；所述第一识别框包括第一识别类型信息、第一框位置信息和第一框形状信息；

根据各个所述第一识别框的所述第一框位置信息和所述第一框形状信息，对所述第一深度图像进行点云像素点聚类处理，生成对应的第一识别框点云像素点集合；

将各个所述第一识别框的所述第一识别类型信息，作为对应的所述第一识别框点云像素点集合中各个所述第一点云像素点的点云语义信息；

对所述第一图像和所述第一深度图像进行图像融合处理生成第一融合图像；并对所述第一融合图像进行综合信息显示处理。

2.根据权利要求1所述的融合了图像与点云信息的综合信息处理方法，其特征在于，所述对所述第一点云集合进行深度图像转换，生成对应的第一深度图像，具体包括：

在所述第一点云集合中，对各个所述第一点云的三维点云坐标做二维前视图投影坐标转换生成对应的第一点云-投影坐标，并将各个所述三维点云坐标的深度坐标转换为对应的第一点云-深度信息，并根据预设的深度与像素值的对应关系对各个所述第一点云-深度信息进行像素值转换生成对应的第一点云-像素信息；

创建图像分辨率与所述第一图像相同的空白图像作为第一空白图像；所述第一空白图像的各个像素点的初始像素值为统一的预设值；

在所述第一空白图像中，将像素点坐标与各个所述第一点云-投影坐标对应的像素点作为所述第一点云像素点，并将所述第一点云像素点的像素值设为对应的所述第一点云-像素信息；

将完成所有点云像素点设置的所述第一空白图像作为所述第一深度图像。

3.根据权利要求1所述的融合了图像与点云信息的综合信息处理方法，其特征在于，所述对所述第一图像和所述第一深度图像进行图像对齐处理，具体包括：

在所述第一图像中选择具有明显边缘的物体作为第一对齐参考物；

将所述第一对齐参考物在所述第一图像中的图像轮廓图形记为第一轮廓图形；将所述第一对齐参考物在所述第一深度图像中的图像轮廓图形记为第二轮廓图形；

调整所述第一轮廓图形和所述第二轮廓图形的对齐状态；当所述对齐状态为无错位重合状态时，所述图像对齐处理成功。

4.根据权利要求1所述的融合了图像与点云信息的综合信息处理方法，其特征在于，所述根据各个所述第一识别框的所述第一框位置信息和所述第一框形状信息，对所述第一深度图像进行点云像素点聚类处理，生成对应的第一识别框点云像素点集合，具体包括：

根据各个所述第一识别框的所述第一框位置信息和所述第一框形状信息，在所述第一深度图像中标记出对应的识别框图形区域，记为第一识别框区域；并将处于所述第一识别框区域的所述第一点云像素点聚为同一类，生成对应的所述第一识别框点云像素点集合。

5.根据权利要求1所述的融合了图像与点云信息的综合信息处理方法，其特征在于，所述对所述第一融合图像进行综合信息显示处理，具体包括：

对所述第一融合图像进行显示的同时在显示的第一融合图像上对各个所述第一识别框进行显示；并在显示时，对屏幕光标的实时位置进行获取，生成第一光标位置；若与所述第一光标位置对应的所述第一融合图像的像素点的所述点云语义信息不为空，则在所述第一光标位置以提示信息的显示方式对该点云语义信息进行显示。

6.一种电子设备，其特征在于，包括：存储器、处理器和收发器；

所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现权利要求1-5任一项所述的方法步骤；

所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1-5任一项所述的方法的指令。

Images