CN115526990A - 用于数字孪生的目标可视化方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种用于数字孪生的目标可视化方法、装置及电子设备，该方法包括：获取目标区域图像和目标区域点云；利用预设特征提取模型分别对目标区域图像和目标区域点云进行特征提取，得到目标区域图像和目标区域点云的特征提取结果；根据目标区域图像和目标区域点云的特征提取结果，确定目标区域图像与目标区域点云的对应关系，结合目标区域图像的像素信息确定目标区域点云的颜色信息；利用目标区域点云的颜色信息渲染目标立体模型，以在数字孪生平台显示。本申请通过点云数据为目标可视化提供了轮廓信息，通过点云数据与图像数据之间的特征对应关系，提供了颜色信息，使得数字孪生平台能够展示更加丰富、更加真实的目标，提高了可视化效果。

Description

用于数字孪生的目标可视化方法、装置及电子设备

技术领域

本申请涉及数字孪生技术领域，尤其涉及一种用于数字孪生的目标可视化方法、装置及电子设备。

背景技术

数字孪生是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。数字孪生是一种超越现实的概念，可以被视为一个或多个重要的、彼此依赖的装备系统的数字映射系统。

在智慧交通等场景，数字孪生技术发挥了重要作用。目前应用于道路的数字孪生平台基本都是利用相机等多传感器对行人和车辆等目标进行检测，然后在数字孪生平台上以仿真的标准三维模型进行显示，所谓“标准三维模型”是指所有检测到的行人都是相同的大小，所有小汽车都是采用同一个小汽车模型显示，所有巴士也都是采用同一个巴士模型显示，因此目标之间的区分性较差，且与真实世界的目标差别较大，进而导致数字孪生平台的可视化效果并不好。

发明内容

本申请实施例提供了一种用于数字孪生的目标可视化方法、装置及电子设备，以使数字孪生平台对于目标的可视化显示更加丰富、更加真实。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种用于数字孪生的目标可视化方法，其中，所述方法包括：

获取目标区域图像和目标区域点云；

利用预设特征提取模型分别对所述目标区域图像和所述目标区域点云进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的特征提取结果；

根据所述目标区域图像的特征提取结果和所述目标区域点云的特征提取结果，确定所述目标区域图像与所述目标区域点云的对应关系；

根据所述目标区域图像与所述目标区域点云的对应关系以及所述目标区域图像的像素信息，确定所述目标区域点云对应的目标颜色信息；

利用所述目标区域点云对应的目标颜色信息渲染目标立体模型，以通过数字孪生平台进行显示。

可选地，所述获取目标区域图像和目标区域点云包括：

获取相机采集的图像数据和激光雷达采集的点云数据；

对所述图像数据进行目标检测，得到所述图像数据的目标检测结果，以及对所述点云数据进行目标检测，得到所述点云数据的目标检测结果；

根据所述图像数据的目标检测结果确定所述目标区域图像，以及根据所述点云数据的目标检测结果确定所述目标区域点云。

可选地，所述利用预设特征提取模型分别对所述目标区域图像和所述目标区域点云进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的特征提取结果包括：

确定图像坐标系与激光雷达坐标系的变换关系；

基于所述图像坐标系与激光雷达坐标系的变换关系，将所述目标区域点云投影到图像坐标系下，得到目标区域点云的投影图像以及所述目标区域点云的投影图像与目标区域点云的对应关系；

利用所述预设特征提取模型分别对所述目标区域图像和所述目标区域点云的投影图像进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的投影图像的特征提取结果。

可选地，所述目标区域点云的特征提取结果为目标区域点云的投影图像的特征提取结果，所述根据所述目标区域图像的特征提取结果和所述目标区域点云的特征提取结果，确定所述目标区域图像与所述目标区域点云的对应关系包括：

利用预设匹配算法，将所述目标区域图像的特征提取结果和所述目标区域点云的投影图像的特征提取结果进行匹配；

根据匹配结果确定所述目标区域图像与所述目标区域点云的投影图像的像素级对应关系；

根据所述目标区域图像与所述目标区域点云的投影图像的像素级对应关系，以及所述目标区域点云的投影图像与目标区域点云的对应关系，确定所述目标区域图像与所述目标区域点云的对应关系。

可选地，所述利用所述目标区域点云对应的目标颜色信息渲染目标立体模型包括：

根据所述目标区域点云构建目标立体模型；

利用所述目标区域点云对应的目标颜色信息，对所述目标立体模型进行渲染，得到渲染后的目标立体模型。

可选地，所述利用所述目标区域点云对应的目标颜色信息渲染目标立体模型包括：

利用所述目标区域点云对应的目标颜色信息对所述目标立体模型的可渲染区域进行渲染；

利用预设填充策略对所述目标立体模型的未渲染区域进行渲染。

可选地，所述预设特征提取模型通过如下方式训练得到：

获取包含目标的训练样本图像；

利用第一预设标注策略对所述训练样本图像进行标注，得到标注后的第一训练样本图像，以及利用第二预设标注策略对所述训练样本图像进行标注，得到标注后的第二训练样本图像；

利用所述标注后的第一训练样本图像训练预设神经网络的第一分支网络，以及利用所述标注后的第二训练样本图像训练预设神经网络的第二分支网络，得到训练后的预设神经网络，所述训练后的预设神经网络包括特征提取网络；

将所述特征提取网络作为所述预设特征提取模型。

第二方面，本申请实施例还提供一种用于数字孪生的目标可视化装置，其中，所述装置包括：

获取单元，用于获取目标区域图像和目标区域点云；

特征提取单元，用于利用预设特征提取模型分别对所述目标区域图像和所述目标区域点云进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的特征提取结果；

第一确定单元，用于根据所述目标区域图像的特征提取结果和所述目标区域点云的特征提取结果，确定所述目标区域图像与所述目标区域点云的对应关系；

第二确定单元，用于根据所述目标区域图像与所述目标区域点云的对应关系以及所述目标区域图像的像素信息，确定所述目标区域点云对应的目标颜色信息；

渲染单元，用于利用所述目标区域点云对应的目标颜色信息渲染目标立体模型，以通过数字孪生平台进行显示。

第三方面，本申请实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例的用于数字孪生的目标可视化方法，先获取目标区域图像和目标区域点云；然后利用预设特征提取模型分别对目标区域图像和目标区域点云进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的特征提取结果；之后根据目标区域图像的特征提取结果和目标区域点云的特征提取结果，确定目标区域图像与目标区域点云的对应关系；再根据目标区域图像与目标区域点云的对应关系以及目标区域图像的像素信息，确定目标区域点云对应的目标颜色信息；最后利用目标区域点云对应的目标颜色信息渲染目标立体模型，以通过数字孪生平台进行显示。本申请实施例通过激光雷达采集的点云数据的自身特征，为目标的可视化展示提供了轮廓信息，同时通过确定激光雷达的点云数据与相机的图像数据之间的对应关系，为目标的可视化展示提供了颜色表征信息，进而使得数字孪生平台能够展示更加丰富、更加真实的目标，提高了目标的可视化效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中一种用于数字孪生的目标可视化方法的流程示意图；

图2为本申请实施例中一种行人区域点云的投影图像示意图；

图3为本申请实施例中一种用于数字孪生的目标可视化装置的结构示意图；

图4为本申请实施例中一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

本申请实施例提供了一种用于数字孪生的目标可视化方法，如图1所示，提供了本申请实施例中一种用于数字孪生的目标可视化方法的流程示意图，所述方法至少包括如下的步骤S110至步骤S150：

步骤S110，获取目标区域图像和目标区域点云。

本申请实施例的用于数字孪生的目标可视化方法主要是借助于数字孪生平台实现智慧交通场景下的行人、车辆等各种道路目标的可视化展示。基于此，本申请实施例需要先获取目标区域图像和目标区域点云，目标区域图像是指行人、车辆等目标对应的局部图像，可以从路侧相机采集的道路图像中分割得到，能够为目标的可视化展示提供颜色信息等，而目标区域点云是指行人、车辆等目标对应的局部点云，可以从激光雷达采集的原始点云数据中分割得到，能够为目标的可视化展示提供轮廓信息等。

步骤S120，利用预设特征提取模型分别对所述目标区域图像和所述目标区域点云进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的特征提取结果。

在得到目标区域图像和目标区域点云后，需要利用预设特征提取模型分别对目标区域图像和目标区域点云进行特征提取，预设特征提取模型可以基于神经网络事先训练好，用来实现像素级别的目标特征的提取。

步骤S130，根据所述目标区域图像的特征提取结果和所述目标区域点云的特征提取结果，确定所述目标区域图像与所述目标区域点云的对应关系。

目标区域图像的特征提取结果表征了目标区域图像中每个像素的目标特征属性，目标区域点云的特征提取结果表征了目标区域点云对应的每个像素的目标特征属性，通过将二者进行匹配，从而能够确定出二者在像素级别的目标特征的对应关系。

步骤S140，根据所述目标区域图像与所述目标区域点云的对应关系以及所述目标区域图像的像素信息，确定所述目标区域点云对应的目标颜色信息。

根据目标区域图像与目标区域点云在像素级别的对应关系能够确定出目标区域点云中对应的每一个图像像素点，而每一个图像像素点本身具有能够表征图像颜色的信息，进而也就能够确定出目标区域点云最终对应的目标颜色信息。

步骤S150，利用所述目标区域点云对应的目标颜色信息渲染目标立体模型，以通过数字孪生平台进行显示。

目标区域点云对应的目标颜色信息本质上来源于真实世界中采集的目标区域图像中的颜色信息，例如，如果从真实世界采集的目标区域图像中的行人穿着红色上衣，那么通过上述步骤则能够确定出目标区域点云对应的人体立体模型的上半身为红色，以此对目标区域点云对应的人体立体模型进行渲染，使得人体立体模型具有了接近于真实世界的颜色信息，同时结合目标区域点云自身所能够提供的深度信息等，还可以得到目标的立体轮廓信息，由此渲染得到更加丰富、更加真实的人体立体模型，从而提高了数字孪生平台的可视化效果。

本申请实施例通过激光雷达采集的点云数据的自身特征，为目标的可视化展示提供了轮廓信息，同时通过确定激光雷达的点云数据与相机的图像数据之间的对应关系，为目标的可视化展示提供了颜色表征信息，进而使得数字孪生平台能够展示更加丰富、更加真实的目标，提高了目标的可视化效果。

在本申请的一些实施例中，所述获取目标区域图像和目标区域点云包括：获取相机采集的图像数据和激光雷达采集的点云数据；对所述图像数据进行目标检测，得到所述图像数据的目标检测结果，以及对所述点云数据进行目标检测，得到所述点云数据的目标检测结果；根据所述图像数据的目标检测结果确定所述目标区域图像，以及根据所述点云数据的目标检测结果确定所述目标区域点云。

本申请实施例在获取目标区域图像和目标区域点云时，可以先获取路侧相机采集的原始的图像数据以及激光雷达采集的原始的点云数据，然后可以利用预设图像检测模型对图像数据进行目标检测，从而从图像中分割出行人或者车辆等目标的检测框区域，预设图像检测模型可以基于YOLO网络、SSD(Single Shot MultiBox Detector，单次多框检测器)或者RCNN(Region Proposal-Convolutional Neural Networks，区域卷积神经网络)等网络训练得到。同样，可以利用预设点云检测模型对点云数据进行目标检测，从而从点云数据中分割出行人或者车辆等目标对应局部点云。预设点云检测模型例如可以采用PointNet网络或者Point-RCNN等来实现。当然，具体采用哪种检测模型进行目标检测，本领域技术人员可以根据实际需求灵活选择，在此不作具体限定。

图像数据的目标检测结果主要包括目标的2D检测框，可以以此分割出目标区域图像，点云数据的目标检测结果主要包括目标的3D检测框，可以以此分割出目标区域点云。

在本申请的一些实施例中，所述利用预设特征提取模型分别对所述目标区域图像和所述目标区域点云进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的特征提取结果包括：确定图像坐标系与激光雷达坐标系的变换关系；基于所述图像坐标系与激光雷达坐标系的变换关系，将所述目标区域点云投影到图像坐标系下，得到目标区域点云的投影图像以及所述目标区域点云的投影图像与目标区域点云的对应关系；利用所述预设特征提取模型分别对所述目标区域图像和所述目标区域点云的投影图像进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的投影图像的特征提取结果。

由于原始采集到的图像数据对应的是图像坐标系，点云数据对应的是激光雷达坐标系，因此可以先对两个坐标系之间的变换关系进行标定，例如可以采用标定板的方式将路侧的相机与激光雷达进行联合标定，从而建立起图像坐标系与激光雷达坐标系之间的变换关系，当然具体采用何种标定方式，本领域技术人员也可以基于现有技术灵活选择，在此不作具体限定。

基于上述图像坐标系与激光雷达坐标系之间的变换关系，可以将目标区域点云投影到图像坐标系下，从而得到目标区域点云的投影图像，同时可以保存目标区域点云与目标区域点云投影到图像坐标系上的位置的对应索引关系。目标区域点云的投影图像本质上是一个带有深度信息的二维图像矩阵，其中包含有目标的轮廓，矩阵的值为深度，除了目标占据的位置有深度值外，其他位置的值都为0，如图2所示，提供了本申请实施例中一种行人区域点云的投影图像示意图。此外，本申请实施例也可以先对目标区域点云进行去噪平滑等处理后再投影到图像坐标系下，从而保证目标区域点云的准确性。

上述过程相当于将目标区域点云统一到了图像坐标系下，进而可以利用预设特征提取模型对目标区域点云的投影图像以及目标区域图像分别进行特征提取，从而得到图像坐标系下的目标区域点云的特征提取结果以及目标区域图像的特征提取结果。预设特征提取模型主要用于对目标区域点云的投影图像以及目标区域图像进行像素级特征向量的提取，可以基于现有的神经网络事先训练得到。

在本申请的一些实施例中，所述目标区域点云的特征提取结果为目标区域点云的投影图像的特征提取结果，所述根据所述目标区域图像的特征提取结果和所述目标区域点云的特征提取结果，确定所述目标区域图像与所述目标区域点云的对应关系包括：利用预设匹配算法，将所述目标区域图像的特征提取结果和所述目标区域点云的投影图像的特征提取结果进行匹配；根据匹配结果确定所述目标区域图像与所述目标区域点云的投影图像的像素级对应关系；根据所述目标区域图像与所述目标区域点云的投影图像的像素级对应关系，以及所述目标区域点云的投影图像与目标区域点云的对应关系，确定所述目标区域图像与所述目标区域点云的对应关系。

基于前述实施例的特征提取结果，可以利用预设匹配算法确定出目标区域图像与目标区域点云的投影图像之间的对应关系，例如可以通过计算两个特征向量之间的欧式距离或者余弦距离等方式来实现，从而得到目标区域图像中的每一个像素级特征向量与目标区域点云的投影图像中的每一个像素级特征向量之间的对应关系。

由于前述实施例中已经基于图像坐标系与激光雷达坐标系之间的变换关系确定出了原始的目标区域点云与目标区域点云的投影图像的对应关系，进而也就得到了原始的目标区域点云-目标区域点云的投影图像-目标区域图像三者之间的对应关系，那么对于目标区域点云中的任意一个点来说，都可以基于上述对应关系在目标区域图像中找到其对应的像素点，而由于目标区域图像每个像素点的像素值都表征了颜色属性信息，例如，对于一个RGB图像，每一个像素点都对应有R、G、B三个通道的通道值，三个通道的通道值范围均为0～255，通过三个通道值的组合构成了每个像素点的颜色表征。因此能够确定出目标区域点云中的每个点所应赋予的颜色，在目标区域点云数据本身已经能够表达目标轮廓信息的基础上，又进一步增加了颜色表征，大大丰富了所展示的目标信息，且展示效果更加接近于真实场景。

在本申请的一些实施例中，所述利用所述目标区域点云对应的目标颜色信息渲染目标立体模型包括：根据所述目标区域点云构建目标立体模型；利用所述目标区域点云对应的目标颜色信息，对所述目标立体模型进行渲染，得到渲染后的目标立体模型。

本申请实施例最终是要将目标在数字孪生平台上进行可视化展示，因此需要先构建目标对应的立体模型，由于目标区域点云本身具有目标的立体轮廓信息，因此可以先根据目标区域点云构建目标立体模型，相邻点云之间构成三角面片，然后在得到目标区域点云中每一个点对应的颜色属性信息后，再利用颜色属性信息分别对目标区域点云中的每一个点进行渲染，从而可以得到既带有轮廓信息又带有颜色信息的目标立体模型。

在本申请的一些实施例中，所述利用所述目标区域点云对应的目标颜色信息渲染目标立体模型包括：利用所述目标区域点云对应的目标颜色信息对所述目标立体模型的可渲染区域进行渲染；利用预设填充策略对所述目标立体模型的未渲染区域进行渲染。

由于单个路侧相机的拍摄视野有限，同样单个激光雷达的扫描视野也有限，对于位于路侧相机和激光雷达视野范围内的目标来说，目标当前朝向路侧相机和激光雷达的那一面将可以被捕捉到颜色和轮廓等信息，因此看作是可渲染区域，可以直接通过上述确定的目标区域点云对应的目标颜色信息对可渲染区域进行渲染，而对于背向路侧相机和激光雷达的那一面，将无法被捕捉到颜色和轮廓等信息，因此可以看作是未渲染区域，为了保证整体的显示效果，可以采用一定的填充策略对未渲染区域进行填充和渲染。

在本申请的一些实施例中，填充策略可以包括：获取目标标准模型，并利用目标标准模型对目标立体模型的未渲染区域进行渲染；和/或，对目标进行跟踪，并根据跟踪结果获取未渲染区域的目标颜色信息；和/或，获取其他相机与其他激光雷达的目标区域点云对应的目标颜色信息，并利用其他相机与其他激光雷达的目标区域点云对应的目标颜色信息对目标立体模型的未渲染区域进行渲染。

对于第一种填充策略，目标标准模型是指数字孪生平台上以仿真的方式提供的统一标准的三维模型，在缺少更多视角的目标信息的情况下，可以基于标准模型进行填充，例如将未渲染区域统一置成灰色，保证目标立体模型显示的完整性。

对于第二种填充策略，由于目标可能会移动，因此可以通过当前视角的相机和激光雷达对目标进行持续跟踪，从而获取到目标更多角度的颜色、轮廓等细节信息并进行填充和渲染。

对于第三种填充策略，如果实际道路场景下具有其他相机和激光雷达，也可以通过对其他相机采集的图像数据和其他激光雷达采集的点云数据分别进行上述各实施例的处理，并对同一个目标在其他相机和其他激光雷达之间进行跟踪匹配，从而得到同一个目标全方位的颜色、轮廓、纹理等细节信息。

在本申请的一些实施例中，所述预设特征提取模型通过如下方式训练得到：获取包含目标的训练样本图像；利用第一预设标注策略对所述训练样本图像进行标注，得到标注后的第一训练样本图像，以及利用第二预设标注策略对所述训练样本图像进行标注，得到标注后的第二训练样本图像；利用所述标注后的第一训练样本图像训练预设神经网络的第一分支网络，以及利用所述标注后的第二训练样本图像训练预设神经网络的第二分支网络，得到训练后的预设神经网络，所述训练后的预设神经网络包括特征提取网络；将所述特征提取网络作为所述预设特征提取模型。

本申请实施例训练预设特征提取模型的目的是要是使预设特征提取模型能够针对各种姿势、角度的目标具有足够准确的目标特征提取能力。基于此，本申请实施例可以先获取训练样本图像，训练样本图像中包含有行人或者车辆等目标，即可以针对不同的目标分别训练，并且需要尽可能提供目标不同的姿势和角度，以保证模型的鲁棒性，之后对训练样本图像进行标注，这里采用的标注策略主要包括以下两个方面：

第一方面的标注策略是将训练样本图像对应的目标立体模型随机赋予不同颜色块，用以表示分类的不同类别，当然也可以以其他方式标注不同块的类别，目的在于使模型能够学习到不同颜色块的特征提取和区分能力，此种标注策略得到的训练样本图像可以用来训练预设神经网络的第一分支。

第二方面的标注策略是将训练样本图像对应的目标立体模型中的特定位置给予特定分类，例如可以对人体立体模型的各关节给予特定分类，此种标注策略得到的训练样本图像可以用来训练预设神经网络的第二分支，降低随机分类标注对模型收敛的影响，保证模型能够最终收敛。

通过上述标注后的训练样本图像训练预设神经网络，可以得到训练后的预设神经网络，训练后的预设神经网络包括特征提取网络和分类网络，而由于本申请实施例主要使用的是预设神经网络对图像目标的特征提取能力，即只关注每一个图像像素对应的特征向量，并不关注该特征向量的具体类别，这也是标注阶段随机分类标注的主要原因，因此在最终得到本申请实施例的预设特征提取模型时，可以去除预设神经网络的分类层，只保留特征提取层即可。

上述预设神经网络例如可以采用VGG网络或者ResNET网络等来实现，当然，具体采用何种网络结构来训练，本领域技术人员也可以根据实际需求灵活选择，在此不作具体限定。

本申请实施例还提供了一种用于数字孪生的目标可视化装置300，如图3所示，提供了本申请实施例中一种用于数字孪生的目标可视化装置的结构示意图，所述装置300包括：获取单元310、特征提取单元320、第一确定单元330、第二确定单元340以及渲染单元350，其中：

获取单元310，用于获取目标区域图像和目标区域点云；

特征提取单元320，用于利用预设特征提取模型分别对所述目标区域图像和所述目标区域点云进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的特征提取结果；

第一确定单元330，用于根据所述目标区域图像的特征提取结果和所述目标区域点云的特征提取结果，确定所述目标区域图像与所述目标区域点云的对应关系；

第二确定单元340，用于根据所述目标区域图像与所述目标区域点云的对应关系以及所述目标区域图像的像素信息，确定所述目标区域点云对应的目标颜色信息；

渲染单元350，用于利用所述目标区域点云对应的目标颜色信息渲染目标立体模型，以通过数字孪生平台进行显示。

在本申请的一些实施例中，所述获取单元310具体用于：获取相机采集的图像数据和激光雷达采集的点云数据；对所述图像数据进行目标检测，得到所述图像数据的目标检测结果，以及对所述点云数据进行目标检测，得到所述点云数据的目标检测结果；根据所述图像数据的目标检测结果确定所述目标区域图像，以及根据所述点云数据的目标检测结果确定所述目标区域点云。

在本申请的一些实施例中，所述特征提取单元320具体用于：确定图像坐标系与激光雷达坐标系的变换关系；基于所述图像坐标系与激光雷达坐标系的变换关系，将所述目标区域点云投影到图像坐标系下，得到目标区域点云的投影图像以及所述目标区域点云的投影图像与目标区域点云的对应关系；利用所述预设特征提取模型分别对所述目标区域图像和所述目标区域点云的投影图像进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的投影图像的特征提取结果。

在本申请的一些实施例中，所述目标区域点云的特征提取结果为目标区域点云的投影图像的特征提取结果，所述第一确定单元330具体用于：利用预设匹配算法，将所述目标区域图像的特征提取结果和所述目标区域点云的投影图像的特征提取结果进行匹配；根据匹配结果确定所述目标区域图像与所述目标区域点云的投影图像的像素级对应关系；根据所述目标区域图像与所述目标区域点云的投影图像的像素级对应关系，以及所述目标区域点云的投影图像与目标区域点云的对应关系，确定所述目标区域图像与所述目标区域点云的对应关系。

在本申请的一些实施例中，所述渲染单元350具体用于：根据所述目标区域点云构建目标立体模型；利用所述目标区域点云对应的目标颜色信息，对所述目标立体模型进行渲染，得到渲染后的目标立体模型。

在本申请的一些实施例中，所述渲染单元350具体用于：利用所述目标区域点云对应的目标颜色信息对所述目标立体模型的可渲染区域进行渲染；利用预设填充策略对所述目标立体模型的未渲染区域进行渲染。

在本申请的一些实施例中，所述预设特征提取模型通过如下方式训练得到：获取包含目标的训练样本图像；利用第一预设标注策略对所述训练样本图像进行标注，得到标注后的第一训练样本图像，以及利用第二预设标注策略对所述训练样本图像进行标注，得到标注后的第二训练样本图像；利用所述标注后的第一训练样本图像训练预设神经网络的第一分支网络，以及利用所述标注后的第二训练样本图像训练预设神经网络的第二分支网络，得到训练后的预设神经网络，所述训练后的预设神经网络包括特征提取网络；将所述特征提取网络作为所述预设特征提取模型。

能够理解，上述用于数字孪生的目标可视化装置，能够实现前述实施例中提供的用于数字孪生的目标可视化方法的各个步骤，关于用于数字孪生的目标可视化方法的相关阐释均适用于用于数字孪生的目标可视化装置，此处不再赘述。

图4是本申请的一个实施例电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成用于数字孪生的目标可视化装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取目标区域图像和目标区域点云；

利用预设特征提取模型分别对所述目标区域图像和所述目标区域点云进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的特征提取结果；

根据所述目标区域图像的特征提取结果和所述目标区域点云的特征提取结果，确定所述目标区域图像与所述目标区域点云的对应关系；

根据所述目标区域图像与所述目标区域点云的对应关系以及所述目标区域图像的像素信息，确定所述目标区域点云对应的目标颜色信息；

利用所述目标区域点云对应的目标颜色信息渲染目标立体模型，以通过数字孪生平台进行显示。

上述如本申请图1所示实施例揭示的用于数字孪生的目标可视化装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1中用于数字孪生的目标可视化装置执行的方法，并实现用于数字孪生的目标可视化装置在图1所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中用于数字孪生的目标可视化装置执行的方法，并具体用于执行：

获取目标区域图像和目标区域点云；

利用预设特征提取模型分别对所述目标区域图像和所述目标区域点云进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的特征提取结果；

根据所述目标区域图像的特征提取结果和所述目标区域点云的特征提取结果，确定所述目标区域图像与所述目标区域点云的对应关系；

根据所述目标区域图像与所述目标区域点云的对应关系以及所述目标区域图像的像素信息，确定所述目标区域点云对应的目标颜色信息；

利用所述目标区域点云对应的目标颜色信息渲染目标立体模型，以通过数字孪生平台进行显示。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种用于数字孪生的目标可视化方法，其中，所述方法包括：

获取目标区域图像和目标区域点云；

利用预设特征提取模型分别对所述目标区域图像和所述目标区域点云进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的特征提取结果；

根据所述目标区域图像的特征提取结果和所述目标区域点云的特征提取结果，确定所述目标区域图像与所述目标区域点云的对应关系；

根据所述目标区域图像与所述目标区域点云的对应关系以及所述目标区域图像的像素信息，确定所述目标区域点云对应的目标颜色信息；

利用所述目标区域点云对应的目标颜色信息渲染目标立体模型，以通过数字孪生平台进行显示。

2.如权利要求1所述方法，其中，所述获取目标区域图像和目标区域点云包括：

获取相机采集的图像数据和激光雷达采集的点云数据；

对所述图像数据进行目标检测，得到所述图像数据的目标检测结果，以及对所述点云数据进行目标检测，得到所述点云数据的目标检测结果；

根据所述图像数据的目标检测结果确定所述目标区域图像，以及根据所述点云数据的目标检测结果确定所述目标区域点云。

3.如权利要求1所述方法，其中，所述利用预设特征提取模型分别对所述目标区域图像和所述目标区域点云进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的特征提取结果包括：

确定图像坐标系与激光雷达坐标系的变换关系；

基于所述图像坐标系与激光雷达坐标系的变换关系，将所述目标区域点云投影到图像坐标系下，得到目标区域点云的投影图像以及所述目标区域点云的投影图像与目标区域点云的对应关系；

利用所述预设特征提取模型分别对所述目标区域图像和所述目标区域点云的投影图像进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的投影图像的特征提取结果。

4.如权利要求3所述方法，其中，所述目标区域点云的特征提取结果为目标区域点云的投影图像的特征提取结果，所述根据所述目标区域图像的特征提取结果和所述目标区域点云的特征提取结果，确定所述目标区域图像与所述目标区域点云的对应关系包括：

利用预设匹配算法，将所述目标区域图像的特征提取结果和所述目标区域点云的投影图像的特征提取结果进行匹配；

根据匹配结果确定所述目标区域图像与所述目标区域点云的投影图像的像素级对应关系；

根据所述目标区域图像与所述目标区域点云的投影图像的像素级对应关系，以及所述目标区域点云的投影图像与目标区域点云的对应关系，确定所述目标区域图像与所述目标区域点云的对应关系。

5.如权利要求1所述方法，其中，所述利用所述目标区域点云对应的目标颜色信息渲染目标立体模型包括：

根据所述目标区域点云构建目标立体模型；

利用所述目标区域点云对应的目标颜色信息，对所述目标立体模型进行渲染，得到渲染后的目标立体模型。

6.如权利要求1所述方法，其中，所述利用所述目标区域点云对应的目标颜色信息渲染目标立体模型包括：

利用所述目标区域点云对应的目标颜色信息对所述目标立体模型的可渲染区域进行渲染；

利用预设填充策略对所述目标立体模型的未渲染区域进行渲染。

7.如权利要求1～6之任一所述方法，其中，所述预设特征提取模型通过如下方式训练得到：

获取包含目标的训练样本图像；

利用第一预设标注策略对所述训练样本图像进行标注，得到标注后的第一训练样本图像，以及利用第二预设标注策略对所述训练样本图像进行标注，得到标注后的第二训练样本图像；

利用所述标注后的第一训练样本图像训练预设神经网络的第一分支网络，以及利用所述标注后的第二训练样本图像训练预设神经网络的第二分支网络，得到训练后的预设神经网络，所述训练后的预设神经网络包括特征提取网络；

将所述特征提取网络作为所述预设特征提取模型。

8.一种用于数字孪生的目标可视化装置，其中，所述装置包括：

获取单元，用于获取目标区域图像和目标区域点云；

特征提取单元，用于利用预设特征提取模型分别对所述目标区域图像和所述目标区域点云进行特征提取，得到目标区域图像的特征提取结果和目标区域点云的特征提取结果；

第一确定单元，用于根据所述目标区域图像的特征提取结果和所述目标区域点云的特征提取结果，确定所述目标区域图像与所述目标区域点云的对应关系；

第二确定单元，用于根据所述目标区域图像与所述目标区域点云的对应关系以及所述目标区域图像的像素信息，确定所述目标区域点云对应的目标颜色信息；

渲染单元，用于利用所述目标区域点云对应的目标颜色信息渲染目标立体模型，以通过数字孪生平台进行显示。

9.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～7之任一所述方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～7之任一所述方法。

Images