CN113362236A - 点云增强方法、点云增强装置、存储介质与电子设备 - Google Patents

Abstract

本公开提供一种点云增强方法、装置、计算机可读存储介质与电子设备，涉及计算机视觉技术领域。该方法包括：获取由雷达设备检测待检测区域所得到的点云，以及相机拍摄待检测区域所得到的至少一帧图像，待检测区域中包括至少一个文本子区域；从所述至少一帧图像中选取至少一关键帧图像，在关键帧图像中分割出文本子区域；将点云映射到关键帧图像中，从位于文本子区域内的子点云中选取不在同一直线上的至少三个点，根据所述至少三个点确定空间文本平面；将文本子区域的像素点映射到空间文本平面，以生成新点云点，基于所述新点云点对所述点云进行增强。本公开可以实现点云中文本内容及纹理的增强，有效恢复出文本细节信息，且实用性较高。

Description

点云增强方法、点云增强装置、存储介质与电子设备

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种点云增强方法、点云增强装置、计算机可读存储介质与电子设备。

背景技术

点云(Point Cloud)是在特定的空间坐标系下，表达目标空间分布与表面特性的点的集合，一般在获取目标表面每个采样点的空间坐标后，将其形成集合，并可以进一步绘制出目标的三维模型。点云在自动驾驶、机器人、测绘等领域都有广泛应用。

点云的稠密度与目标的精准表达有直接关系，若点云过于稀疏，则只能对粗犷性物体，例如车辆、行人或道路区域等，进行粗略的表示，而无法获得细节信息。对于目标中的文本部分，如图1所示的路牌，由于其表面形状单一，在采集点云时无法得到稠密的点云，进而无法通过点云观测到文本细节，例如无法识别出文本内容，显然对自动驾驶等场景中的应用有着非常不利的影响。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供了一种点云增强方法、点云增强装置、计算机可读存储介质与电子设备，进而至少在一定程度上克服现有的点云中无法得到文本细节信息的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种点云增强方法，包括：获取由雷达设备检测待检测区域所得到的点云，以及相机拍摄所述待检测区域所得到的至少一帧图像，所述待检测区域中包括至少一个文本子区域；从所述至少一帧图像中选取至少一关键帧图像，在所述关键帧图像中分割出所述文本子区域；将所述点云映射到所述关键帧图像中，从位于所述文本子区域内的子点云中选取不在同一直线上的至少三个点，根据所述至少三个点确定空间文本平面；将所述文本子区域的像素点映射到所述空间文本平面，以生成新点云点，基于所述新点云点对所述点云进行增强。

可选的，所述从所述至少一帧图像中选取至少一关键帧图像，在所述关键帧图像中分割出所述文本子区域，包括：在每一帧图像中均检测文字区域；对相邻两帧图像中的文字区域进行匹配，以在所述每一帧图像中对每个所述文字区域进行跟踪；对于每个所述文字区域，将其包围盒面积最大的一帧图像确定为所述文字区域对应的关键帧图像，并从所述关键帧图像中分割出所述文字区域的包围盒，以作为所述文字区域对应的文本子区域。

可选的，所述对相邻两帧图像中的文字区域进行匹配，包括：获取相邻两帧图像的光流，并确定匹配的光流点数量；当所述光流点数量与所述文字区域的像素点数量之比大于第一阈值时，确定所述文字区域在所述相邻两帧图像中为同一文字区域。

可选的，所述将所述点云映射到所述关键帧图像中，包括：将所述点云从世界坐标系转换到图像坐标系。

可选的，所述根据所述至少三个点确定空间文本平面，包括：将所述至少三个点从世界坐标系转换到相机坐标系；在所述相机坐标系中，根据所述至少三个点的相机坐标求解所述至少三个点所确定的平面，得到所述空间文本平面。

可选的，所述将所述文本子区域的像素点映射到所述空间文本平面，以生成新点云点，包括：在所述相机坐标系中，获取所述文本子区域的像素点在所述空间文本平面上的投影点，所述投影点为：经过所述相机坐标系的原点和所述像素点的直线，与所述空间文本平面的交点；将所述投影点从所述相机坐标系转换到所述世界坐标系，以生成所述像素点对应的新点云点。

可选的，所述将所述文本子区域的像素点映射到所述空间文本平面，包括：对所述文本子区域中进行二值分割，得到所述文本子区域的文字部分与背景部分；通过第一采样率对所述文字部分进行采样，得到前景像素点，以及通过第二采样率对所述背景部分进行采样，得到背景像素点，所述第一采样率高于所述第二采样率；将所述前景像素点和所述背景像素点映射到所述空间文本平面。

可选的，在将所述文本子区域的像素点映射到所述空间文本平面之前，所述方法还包括：通过以下任意一种或多种方式对所述文本子区域进行图像优化：超分辨率重建、去模糊、去噪、去雾。

可选的，在生成所述新点云点时，所述方法还包括：将所述新点云点对应的所述像素点的像素值或灰度值，赋值给所述新点云点。

根据本公开的第二方面，提供一种点云增强装置，包括：数据获取模块，用于获取由雷达设备检测待检测区域所得到的点云，以及相机拍摄所述待检测区域所得到的至少一帧图像，所述待检测区域中包括至少一个文本子区域；文本分割模块，用于从所述至少一帧图像中选取至少一关键帧图像，在所述关键帧图像中分割出所述文本子区域；平面确定模块，用于将所述点云映射到所述关键帧图像中，从位于所述文本子区域内的子点云中选取不在同一直线上的至少三个点，根据所述至少三个点确定空间文本平面；点云生成模块，用于将所述文本子区域的像素点映射到所述空间文本平面，以生成新点云点，基于所述新点云点对所述点云进行增强。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种点云增强方法。

根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一种点云增强方法。

本公开的技术方案具有以下有益效果：

根据上述点云增强方法、点云增强装置、计算机可读存储介质与电子设备，首先，获取待检测区域的点云与至少一帧图像；其次，从图像中选取至少一关键帧图像，分割出文本子区域；再次，将点云映射到关键帧图像中，从位于文本子区域内的子点云中选取不在同一直线上的至少三个点，以确定空间文本平面；最后，将文本子区域的像素点映射到空间文本平面，以生成新点云点，基于新点云点对点云进行增强。一方面，基于待检测区域的图像对点云进行增强，利用文本文字处于同一平面的特点，能够将图像中的像素准确映射到点云空间中，生成质量较高的新点云点，从而实现点云中文本内容及纹理的增强，有效恢复出文本部分的细节信息，有利于在自动驾驶等领域的应用。另一方面，本方案基于点云场景中常规的雷达设备与相机即可实现，无需额外的硬件设备，且点云增强的处理过程较为简单，易于实现，因此具有较高的实用性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施方式，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出包含文本的路牌；

图2示出相关技术中点云密度提升的示意图；

图3示出相关技术中点云空洞修补的示意图；

图4示出本示例性实施方式运行环境的系统架构图；

图5示出本示例性实施方式中一种点云增强方法的流程图；

图6示出本示例性实施方式中一种点云增强方法的子流程图；

图7示出本示例性实施方式中像素点映射的示意图；

图8示出本示例性实施方式中一种点云增强装置的结构框图；

图9示出本示例性实施方式中一种用于实现上述方法的计算机可读存储介质；

图10示出本示例性实施方式中一种用于实现上述方法的电子设备。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

相关技术中，对于点云的增强主要包括密度提升和空洞修补。其中，点云的密度提升以文章“PU-Net:Point Cloud Upsampling Network”(Lequan Yu，Xianzhi Li等，CVPR2018)为例，其提出一种基于深度神经网络的点云上采样方法，如图2所示，经过三次迭代逐渐完成点云密度的逐层提升。点云的空洞修补以文章“PCN:Point CompletionNetwork”(Wentao Yuan，Tejas Khot等，3DV 2018)为例，其提出一种基于编解码深度神经网络的点云空洞修补方法，如图3所示，经过大量数据训练可以完成点云修复。

上述方案均是在轮廓、形状方面对点云进行修补。一方面，文本区域带有语义信息，语义的缺失难以直接通过轮廓和形状恢复，例如“大”字可能只包括几个点云点，难于从中增强出整个“大”字点云簇。另一方面，文字从强度属性上跟背景牌色可能一样，从点云上体现不出纹理差异，即使进行了点云上采样或者空洞修补，通常也仅能得到强度相似的矩形区域，从点云簇中看不出文字。

鉴于上述一个或多个问题，本公开的示例性实施方式提供一种点云增强方法和点云增强装置。首先对该点云增强方法和点云增强装置运行环境的系统架构进行说明。参考图4所示，该系统架构400可以包括：终端410、网络420和服务器430。其中，终端410配置有雷达设备411和相机412，终端410例如可以是车载终端系统、机器人等，雷达设备411包括但不限于激光雷达，超声波雷达，相机412可以是终端410内置或外接的摄像头。网络420用以在终端410和服务器430之间提供通信链路的介质，可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等。服务器430部署于企业后台，可以对终端410的点云数据处理提供支持。

应该理解，图4中的终端、网络和服务器的数目仅仅是示意性的。根据实现需要，可以设置任意数目的终端、网络和服务器。例如，可以将多台终端410连接到同一服务器430，或者服务器430可以是多台设备组成的服务器集群等。

本示例性实施方式所提供的点云增强方法可以由终端410执行，例如在终端410采集点云与图像后，由其内部的处理器执行点云增强的处理；也可以由服务器430执行，例如终端410采集点云与图像后，上传到服务器430，使服务器430执行点云增强的处理。本公开对此不做限定。

图5示出了本示例性实施方式中点云增强方法的流程，可以包括以下步骤S510至S540：

步骤S510，获取由雷达设备检测待检测区域所得到的点云，以及相机拍摄待检测区域所得到的至少一帧图像。

其中，待检测区域是指需要通过点云进行表示的区域，例如可以是城市道路环境中包含车辆、行人、交通指示标识或广告牌的任意区域等。本示例性实施方式可以应用于，对包含文本对象的区域进行检测，以对文本对象进行点云增强，因此，待检测区域内可以包括至少一个文本子区域。文本子区域是指待检测区域中文字所在的部分区域，例如在自动驾驶的场景中，以车辆前方的视野区域为待检测区域，其中的交通指示标识或广告牌所在的区域为文本子区域。

本示例性实施方式中，针对于同一待检测区域，由雷达设备通过发射与接收雷达信号(如激光信号、超声波信号等)，并进行一定的信号处理，得到待检测区域的点云；同时由相机拍摄待检测区域的图像或视频，得到一帧或连续多帧图像。例如，如图1所示的车载终端系统可以同步搭载激光雷达和相机，按照预设规划路线采集特定时间t＝{1，2，…，n}内的激光点云和视频帧。

一般的，为了后续便于处理，可以对雷达设备和相机进行标定，包括时间标定与空间标定。时间标定方面，可以通过硬同步或者系统软同步获取图像帧对应的单帧点云，建立图像帧到点云的时间对应关系，从而完成时间标定。空间标定方面，点云点P_3d和视频帧像素点P_2d的映射关系可以表示为：

P_2d＝K_I[R_IP_3d+T_I] (1)

其中，K₁为相机内参，可通过张正友标定等方法完成，[R_I,T_I]为相机和雷达设备的外参，包括旋转矩阵和平移矩阵，可通过手眼标定或图像与点云匹配等方法完成。

步骤S520，从上述至少一帧图像中选取至少一关键帧图像，在关键帧图像中分割出文本子区域。

其中，关键帧图像是指步骤S510中获取的一帧或多帧图像中，与文本子区域相关的帧图像，例如在获取多帧图像，其中可能会包含清晰、较清晰或模糊的帧图像，则清晰的帧图像可以作为关键帧图像。本示例性实施方式对关键帧图像的数量不做限定，例如可以选取较多的关键帧图像甚至将每一帧图像均作为关键帧图像，以防止漏掉文本子区域。进一步，在各关键帧图像中分割出包含文本对象的文本子区域，以便于后续处理。

在一种可选的实施方式中，参考图6所示，步骤S520可以包括以下步骤S601至S603：

步骤S601，在每一帧图像中均检测文字区域。

其中，对文字区域进行检测可以采用多种方式，本公开不做限定。例如：可以采用MSER(Maximally Stable Extremal Regions，最大稳定极值区域)算法，具体来说，可以对每一帧图像进行灰度处理后再进行二值化处理，二值化所用的阈值从0到255逐渐递增；在一帧图像上，有些区域(例如文字)由于颜色(灰度值)是一致的，则在阈值持续增长的一段时间内都不会被覆盖，直到阈值涨到文字本身的灰度值时才会被覆盖，所得到的区域为最大稳定极值区域，即文字区域；也可以基于文字中单个字符以及字符间的连接关系，确定文字区域等等。

需要说明的是，为了从关键帧图像中分割出文本子区域，本示例性实施方式可以在每一帧图像中都进行文本区域的检测，且每一帧图像中可能检测不到文字区域，也可能检测到一个或多个文字区域。

步骤S602，对相邻两帧图像中的文字区域进行匹配，以在每一帧图像中对每个文字区域进行跟踪。

具体来说，先获取第一帧图像中检测到的文字区域，对其编号，例如第一帧图像中检测到3个文字区域，分别记为Q_1-1、Q_1-2、Q_1-3；然后获取第二帧图像中的文字区域，假设为两个，记为Q_2-1、Q_2-2；将Q_2-1分别与Q_1-1、Q_1-2、Q_1-3进行匹配，将Q_2-2也分别与Q_1-1、Q_1-2、Q_1-3进行匹配；假设Q_2-1与Q_1-1匹配成功，确定为同一文字区域，Q_2-2与Q_1-1、Q_1-2、Q_1-3均匹配失败，确定为新的文字区域，则此时的文字区域有4个，分别是Q_2-1、Q_1-2、Q_1-3、Q_2-2(对于匹配成功的前后两帧中的文字区域，一般保留后一帧中的文字区域，当然也可以保留前一帧中的文字区域，本公开不做限定)；接下来，再将第三帧图像中的文字区域分别与这4个文字区域进行匹配，依此类推，直到处理完最后一帧图像，得到所有的不相同的文字区域，由此实现了对每个文字区域的跟踪。

在一种实施方式中，可以通过以下方式进行文字区域的匹配：

获取相邻两帧图像的光流，并确定匹配的光流点数量；

当光流点数量与文字区域的像素点数量之比大于第一阈值时，确定文字区域在相邻两帧图像中为同一文字区域。

即通过光流跟踪法确定文字区域在相邻两帧图像中是否为同一区域。其中，光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。光流法原理以获取相邻两帧图像的光流为当前帧图像的光流以及下一帧图像的光流，举例说明，获取当前帧图像特征点，通过当前帧图像和下一帧图像的灰色比较，估计当前帧图像中的特征点在下一帧图像中的位置，过滤位置不变的特征点，其余点即为跟踪的目标点。在本示例性实施方式中，可以通过对帧图像中光流点数量的分析，确定文字所在区域，在文字区域中如果相邻帧的光流点匹配数和文字区域像素数之比超过预设的第一阈值(例如5％)，则可以认为两帧的文字区域为同一文字区域。

在另一种实施方式中，可以对文字区域中的文本内容进行识别，若相邻两帧图像中的文字区域的文本内容相同，则确定为同一文字区域。

步骤S603，对于每个文字区域，将其包围盒面积最大的一帧图像确定为该文字区域对应的关键帧图像，并从关键帧图像中分割出该文字区域的包围盒，以作为该文字区域对应的文本子区域。

其中，包围盒(Bounding Box)是一种求解离散点集最优包围空间的算法，基本思想是用体积稍大且特性简单的几何体(例如矩形)来近似地代替复杂的几何对象。本示例性实施方式中，确定所有不同的文字区域后，对每个文字区域，检测其在每一帧图像中的包围盒面积，选取包围盒面积最大的一帧图像，作为该文字区域对应的关键帧图像；由此可以对每个文字区域均确定一个对应的关键帧图像，但是不同文字区域可能对应于相同的关键帧图像，本公开对此不做限定。然后将每个关键帧图像中，文字区域的包围盒分割出来，作为对应的文本子区域。例如，在步骤S602中得到了M个不同的文字区域，则步骤S603可以得到对应的M个文本子区域。每个文本子区域可视为独立的一张图像。

步骤S530，将点云映射到关键帧图像中，从位于文本子区域内的子点云中选取不在同一直线上的至少三个点，根据该至少三个点确定空间文本平面。

一般的，点云处于世界坐标系中，关键帧图像处于图像坐标系中，因而可以将点云从世界坐标系转换到图像坐标系。具体来说，可以参考上述公式(1)，将点云中每个点的世界坐标(P_3d)转换为图像坐标(P_2d)。这样相当于将三维的点云映射到了图像平面中，其中一部分在文本子区域内，另一部分在文本子区域外；将文本子区域内的部分点云称为子点云，从子点云中选取不在同一直线上的至少三个点；需要说明的是，在选取至少三个点时，应当以其世界坐标判断是否在同一直线上。

需要补充的是，若子点云中不在同一直线上的点数量少于三个，则可以结束流程，输出无法增强点云的结果，或者重新分割文本子区域，例如可以适当放大文本子区域。

在一种可选的实施方式中，根据至少三个点确定空间文本平面，可以包括：

将上述至少三个点从世界坐标系转换到相机坐标系；

在相机坐标系中，根据上述至少三个点的相机坐标求解其所确定的平面，得到空间文本平面。

其中，世界坐标系转换到相机坐标系的转换可以基于相机的外参实现，例如可以通过以下公式(2)，将世界坐标P_3d转换为相机坐标P_{3d_I}。

P_{3d_I}＝R_IP_3d+T_I (2)

这样在相机坐标系中得到了至少三个点的坐标。空间文本平面的一般表达式为：Ax+By+Cz+D＝0。若选取了三个点，则直接求取这三个点所在的平面，即空间文本平面；若选取了四个或更多点，则可以通过最小二乘法求解空间文本平面，即求解一平面[A,B,C,D]，使每个点到该平面的距离之和最小，即空间文本平面。需要说明的是，此处得到的空间文本平面为相机坐标系中的平面。

在一种可选的实施方式中，雷达设备内部所用的坐标系(如参考坐标系，或惯性坐标系)可能并非世界坐标系，记雷达坐标系中点云点的坐标为P_3d，在世界坐标系中的坐标为P_{3d_w}，则有以下关系：

P_{3d_w}＝R_wP_3d+T_w (3)

其中，[R_w,T_w]为雷达坐标系与世界坐标系之间的变换参数，包括旋转矩阵和平移矩阵。因此，世界坐标系和图像坐标系之间的映射关系为：

P_2d＝f(P_{3d_w})＝K_I[R_IR′_w(P_{3d_w}-T_w)+T_I] (4)

在步骤S530中，可以利用公式(4)将点云映射到关键帧图像中。

进一步的，世界坐标系和相机坐标系之间的映射关系为：

P_{3d_I}＝R_IR′_w(P_{3d_w}-T_w)+T_I (5)

利用公式(5)，可以将上述选取的至少三个点从世界坐标系转换到相机坐标系中，求解其相机坐标。

步骤S540，将文本子区域的像素点映射到空间文本平面，以生成新点云点，基于新点云点对点云进行增强。

在求解出空间文本平面后，可以推断，点云中关于文字部分缺失的点云应当位于该空间文本平面中。因而，将文本子区域的像素点映射到空间文本平面，可以生成新点云点，将其加入原点云中，实现了对点云文本部分的增强。

在一种可选的实施方式中，将文本子区域的像素点映射到空间文本平面，以生成新点云点，可以包括：

在相机坐标系中，获取文本子区域的像素点在空间文本平面上的投影点，投影点为：经过相机坐标系的原点和像素点的直线，与空间文本平面的交点；

将投影点从相机坐标系转换到世界坐标系，以生成上述像素点对应的新点云点。

参考图7所示，为相机坐标系，其中Plane_{2d_I}表示图像平面，其平行于XOY平面，且与原点的距离OO’(O’为原点O在Plane_{2d_I}上的垂直投影)为f，f为相机的焦距；Plane_{3d_I}表示空间文本平面。以将图像平面中的像素点A映射到Plane_{3d_I}为例：假设A在图像坐标系中的坐标为(x,y)，获取其在相机坐标系中的坐标，为(x,y,f)；然后连接OA，并延伸到与Plane_{3d_I}相交，得到交点A’；最后将A’从相机坐标系转换到世界坐标系，例如可以通过公式(2)或公式(5)进行转换，得到A’的世界坐标，由此生成了新点云点A’。

通常无需将文本子区域的每个像素点都映射到空间文本平面，特别是在文本子区域的图像分辨率较高时，其像素点数量较多，如果对每个像素点均对应生成新点云点，会产生点云的冗余。因此可以对文本子区域的像素点进行采样或过滤，具体来说，可以通过以下方式实现：

对文本子区域进行分割，得到文本子区域的文字部分与背景部分；

通过第一采样率对文字部分进行采样，得到前景像素点，以及通过第二采样率对背景部分进行采样，得到背景像素点，第一采样率高于第二采样率；

将前景像素点和背景像素点映射到空间文本平面。

其中，图像分割用于分割文本子区域图像中的文字部分与背景部分，可以通过多种方式实现，例如可以采用Ncut算法(图像分割算法)，将文字部分的像素点置为1，将背景部分的像素点置为0，由此得到二值分割后的图像。对文字部分采用较高的第一采样率进行稠密采样，例如第一采样率为1/3，则每3个像素点中采样一个点，得到的像素点称为前景像素点；对背景部分采用较低的第二采样率进行稀疏采样，例如第二采样率为1/5，则每5个像素点中采样一个点，得到的像素点称为背景像素点。最后将前景像素点和背景像素点均映射到空间文本平面，生成对应的新点云点，则文字部分生成较多的新点云点，其周围的背景部分生成较少的新点云点，使得点云增强更加集中在文字内容。

当然，文字部分的新点云点可以增强文字内容的稠密度与清晰度，其周围背景部分的新点云点可以增强文本的纹理特征，两部分共同实现了文本细节信息的恢复。

在点云增强过程中，新点云点的质量受到文本子区域的图像质量的直接影响。因此，为了提高新点云点的质量，在步骤S540之前，可以通过以下任意一种或多种方式对文本子区域进行图像优化：

超分辨率重建、去模糊、去噪、去雾。

在实际应用中，获取的每一帧图像可能会由于受到外界环境或其他因素的影响，导致质量受损，无法获取高分辨率的图像，因此，可以采用图像超分辨率重建对进行图像优化。图像超分辨率重建是利用低质量、低分辨率图像(或运动序列)来产生单幅高质量、高分辨率图像的一种方法，其实质上即通过获取相邻多帧图像，基于这一系列低分辨率的图像通过插值等方法组成一张高分辨率的图像。

另外，考虑到其他因素，例如相机被遮蔽、污染，或者天气原因(如雾天、沙尘或风雪)等对图像造成的影响，还可以对文本子区域进行去模糊、去噪以及去雾等图像优化处理。具体的，可以采用多种方式实现上述图像优化处理，例如通过训练卷积神经网络来实现去模糊的图像优化处理，采用NL-Means(Non-Local Means，非局部平均)算法实现去噪的图像优化处理，以及通过暗通道先验去雾算法实现去雾的图像优化处理等，本公开对此不做具体限定。

在点云中，可以为每个点设置一定的颜色或灰度，通过颜色或灰度的分布，以更好地表示出目标的特征信息。因而，在生成新点云点时，可以将新点云点对应的像素点的像素值或灰度值，赋值给新点云点。例如，在文本子区域中，获取像素点A的RGB像素值，在生成像素点A对应的新点云点A’时，将A的RGB像素值赋值给A’。这样使文字部分和周围的背景部分具有更好的区分度，更易于识别。

综上所述，本示例性实施方式中，一方面，基于待检测区域的图像对点云进行增强，利用文本文字处于同一平面的特点，能够将图像中的像素准确映射到点云空间中，生成质量较高的新点云点，从而实现点云中文本内容及纹理的增强，有效恢复出文本部分的细节信息，有利于在自动驾驶等领域的应用。另一方面，本方案基于点云场景中常规的雷达设备与相机即可实现，无需额外的硬件设备，且点云增强的处理过程较为简单，易于实现，因此具有较高的实用性。

图8示出了本示例性实施方式中的点云增强装置800。如图8所示，该点云增强装置800可以包括：

数据获取模块810，用于获取由雷达设备检测待检测区域所得到的点云，以及相机拍摄待检测区域所得到的至少一帧图像，待检测区域中包括至少一个文本子区域；

文本分割模块820，用于从上述至少一帧图像中选取至少一关键帧图像，在关键帧图像中分割出文本子区域；

平面确定模块830，用于将点云映射到关键帧图像中，从位于文本子区域内的子点云中选取不在同一直线上的至少三个点，根据该至少三个点确定空间文本平面；

点云生成模块840，用于将文本子区域的像素点映射到空间文本平面，以生成新点云点，基于新点云点对点云进行增强。

在一种可选的实施方式中，文本分割模块820可以包括：

文字区域检测单元，用于在每一帧图像中均检测文字区域；

文字区域匹配单元，用于对相邻两帧图像中的文字区域进行匹配，以在每一帧图像中对每个文字区域进行跟踪；

包围盒分割单元，用于对于每个文字区域，将其包围盒面积最大的一帧图像确定为文字区域对应的关键帧图像，并从关键帧图像中分割出文字区域的包围盒，以作为文字区域对应的文本子区域。

在一种可选的实施方式中，文字区域匹配单元，还用于：获取相邻两帧图像的光流，并确定匹配的光流点数量；当光流点数量与文字区域的像素点数量之比大于第一阈值时，确定文字区域在相邻两帧图像中为同一文字区域。

在一种可选的实施方式中，平面确定模块830，还用于：将点云从世界坐标系转换到图像坐标系，从位于文本子区域内的子点云中选取不在同一直线上的至少三个点，根据至少三个点确定空间文本平面。

在一种可选的实施方式中，平面确定模块830可以包括：

坐标转换单元，用于将上述至少三个点从世界坐标系转换到相机坐标系；

平面求解单元，用于在相机坐标系中，根据上述至少三个点的相机坐标求解其所确定的平面，得到空间文本平面。

在一种可选的实施方式中，点云生成模块840可以包括：

投影点获取单元，用于在相机坐标系中，获取文本子区域的像素点在空间文本平面上的投影点，投影点是指经过相机坐标系的原点和像素点的直线，与空间文本平面的交点；

点云生成单元，用于将投影点从相机坐标系转换到世界坐标系，以生成像素点对应的新点云点。

在一种可选的实施方式中，点云生成模块840可以包括：

二值分割单元，用于对文本子区域进行分割，得到文本子区域的文字部分与背景部分；

像素点采样单元，用于通过第一采样率对文字部分进行采样，得到前景像素点，以及通过第二采样率对背景部分进行采样，得到背景像素点，第一采样率高于第二采样率；

像素点映射单元，用于将前景像素点和背景像素点映射到空间文本平面。

在一种可选的实施方式中，点云增强装置800还可以包括：

图像优化模块，用于在将文本子区域的像素点映射到空间文本平面之前，通过以下任意一种或多种方式对文本子区域进行图像优化：超分辨率重建、去模糊、去噪、去雾。

在一种可选的实施方式中，点云生成模块840，还用于在生成新点云点时，将新点云点对应的像素点的像素值或灰度值，赋值给新点云点。

上述装置中各模块/单元的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

参考图9所示，描述了根据本公开的示例性实施方式的用于实现上述方法的程序产品900，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本公开的示例性实施方式还提供了一种能够实现上述方法的电子设备，例如可以是图4中的终端410或服务器430。下面参照图10来描述根据本公开的这种示例性实施方式的电子设备1000。图10显示的电子设备1000仅仅是一个示例，不应对本公开实施方式的功能和使用范围带来任何限制。

如图10所示，电子设备1000可以以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于：至少一个处理单元1010、至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030和显示单元1040。

存储单元1020存储有程序代码，程序代码可以被处理单元1010执行，使得处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，处理单元1010可以执行图5或图6所示的方法步骤。

存储单元1020可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)1021和/或高速缓存存储单元1022，还可以进一步包括只读存储单元(ROM)1023。

存储单元1020还可以包括具有一组(至少一个)程序模块1025的程序/实用工具1024，这样的程序模块1025包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1030可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1000也可以与一个或多个外部设备1100(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1000交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1050进行。并且，电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施方式的方法。

此外，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (12)

1.一种点云增强方法，其特征在于，包括：

获取由雷达设备检测待检测区域所得到的点云，以及相机拍摄所述待检测区域所得到的至少一帧图像，所述待检测区域中包括至少一个文本子区域；

从所述至少一帧图像中选取至少一关键帧图像，在所述关键帧图像中分割出所述文本子区域；

将所述点云映射到所述关键帧图像中，从位于所述文本子区域内的子点云中选取不在同一直线上的至少三个点，根据所述至少三个点确定空间文本平面；

将所述文本子区域的像素点映射到所述空间文本平面，以生成新点云点，基于所述新点云点对所述点云进行增强。

2.根据权利要求1所述的方法，其特征在于，所述从所述至少一帧图像中选取至少一关键帧图像，在所述关键帧图像中分割出所述文本子区域，包括：

在每一帧图像中均检测文字区域；

对相邻两帧图像中的文字区域进行匹配，以在所述每一帧图像中对每个所述文字区域进行跟踪；

对于每个所述文字区域，将其包围盒面积最大的一帧图像确定为所述文字区域对应的关键帧图像，并从所述关键帧图像中分割出所述文字区域的包围盒，以作为所述文字区域对应的文本子区域。

3.根据权利要求2所述的方法，其特征在于，所述对相邻两帧图像中的文字区域进行匹配，包括：

获取相邻两帧图像的光流，并确定匹配的光流点数量；

当所述光流点数量与所述文字区域的像素点数量之比大于第一阈值时，确定所述文字区域在所述相邻两帧图像中为同一文字区域。

4.根据权利要求1所述的方法，其特征在于，所述将所述点云映射到所述关键帧图像中，包括：

将所述点云从世界坐标系转换到图像坐标系。

5.根据权利要求1所述的方法，其特征在于，所述根据所述至少三个点确定空间文本平面，包括：

将所述至少三个点从世界坐标系转换到相机坐标系；

在所述相机坐标系中，根据所述至少三个点的相机坐标求解所述至少三个点所确定的平面，得到所述空间文本平面。

6.根据权利要求5所述的方法，其特征在于，所述将所述文本子区域的像素点映射到所述空间文本平面，以生成新点云点，包括：

在所述相机坐标系中，获取所述文本子区域的像素点在所述空间文本平面上的投影点，所述投影点为：经过所述相机坐标系的原点和所述像素点的直线，与所述空间文本平面的交点；

将所述投影点从所述相机坐标系转换到所述世界坐标系，以生成所述像素点对应的新点云点。

7.根据权利要求1所述的方法，其特征在于，所述将所述文本子区域的像素点映射到所述空间文本平面，包括：

对所述文本子区域进行分割，得到所述文本子区域的文字部分与背景部分；

通过第一采样率对所述文字部分进行采样，得到前景像素点，以及通过第二采样率对所述背景部分进行采样，得到背景像素点，所述第一采样率高于所述第二采样率；

将所述前景像素点和所述背景像素点映射到所述空间文本平面。

8.根据权利要求1所述的方法，其特征在于，在将所述文本子区域的像素点映射到所述空间文本平面之前，所述方法还包括：

通过以下任意一种或多种方式对所述文本子区域进行图像优化：

超分辨率重建、去模糊、去噪、去雾。

9.根据权利要求1所述的方法，其特征在于，在生成所述新点云点时，所述方法还包括：

将所述新点云点对应的所述像素点的像素值或灰度值，赋值给所述新点云点。

10.一种点云增强装置，其特征在于，包括：

数据获取模块，用于获取由雷达设备检测待检测区域所得到的点云，以及相机拍摄所述待检测区域所得到的至少一帧图像，所述待检测区域中包括至少一个文本子区域；

文本分割模块，用于从所述至少一帧图像中选取至少一关键帧图像，在所述关键帧图像中分割出所述文本子区域；

平面确定模块，用于将所述点云映射到所述关键帧图像中，从位于所述文本子区域内的子点云中选取不在同一直线上的至少三个点，根据所述至少三个点确定空间文本平面；

点云生成模块，用于将所述文本子区域的像素点映射到所述空间文本平面，以生成新点云点，基于所述新点云点对所述点云进行增强。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的方法。

12.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9任一项所述的方法。

Images