CN113327318B - 图像显示方法、装置、电子设备和计算机可读介质 - Google Patents

图像显示方法、装置、电子设备和计算机可读介质 Download PDF

Info

Publication number
CN113327318B
CN113327318B CN202110539709.9A CN202110539709A CN113327318B CN 113327318 B CN113327318 B CN 113327318B CN 202110539709 A CN202110539709 A CN 202110539709A CN 113327318 B CN113327318 B CN 113327318B
Authority
CN
China
Prior art keywords
pixel point
depth information
target
matrix
information group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110539709.9A
Other languages
English (en)
Other versions
CN113327318A (zh
Inventor
于瑞清
胡禹超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heduo Technology Guangzhou Co ltd
Original Assignee
HoloMatic Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HoloMatic Technology Beijing Co Ltd filed Critical HoloMatic Technology Beijing Co Ltd
Priority to CN202110539709.9A priority Critical patent/CN113327318B/zh
Publication of CN113327318A publication Critical patent/CN113327318A/zh
Application granted granted Critical
Publication of CN113327318B publication Critical patent/CN113327318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开的实施例公开了图像显示方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：获取车辆的车载相机的内参矩阵和历史时间段内车载相机拍摄的目标场景图集；将内参矩阵、目标场景图集中的每个目标场景图和对应的时间戳输入至预设的网络模型中以生成像素点深度信息组和车辆位姿矩阵，得到像素点深度信息组集合和车辆位姿矩阵组；对像素点深度信息组集合中每个像素点深度信息组进行点云配准以成配准后的三维点云数据；对配准后的三维点云数据集中的各个三维点云数据进行拼接处理得到稀疏点云数据；生成三维场景图；将三维场景图发送至车辆的车载显示终端以供显示。该实施方式可以降低计算资源的消耗。

Description

图像显示方法、装置、电子设备和计算机可读介质
技术领域
本公开的实施例涉及计算机技术领域，具体涉及图像显示方法、装置、电子设备和计算机可读介质。
背景技术
图像显示方法，是还原车辆行驶场景的一项技术。目前，生成三维场景图时，通常采用以下方式：首先，采用深度传感器对物体进行多方位扫描得到多角度的图像，然后，利用多角度的图像进行三维重建，生成三维场景图以供显示。
然而，当采用上述方式进行图像显示时，经常会存在如下技术问题：
第一，由于多角度的图像的角度不同，在进行三维重建时需要对所有角度的图像进行转换以进行图像配准，从而，消耗较多的计算资源；
第二，在对多角度的图像进行三维重建时，需要对多角度的图像进行匹配，随着图像的角度的增多，匹配难度也随之增加，最终会造成匹配的准确度降低，从而，导致重建的三维场景图中产生塌陷或空洞等现象，进而，使得显示出来的三维场景图不能应用于自动驾驶领域。
发明内容
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了图像显示方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面，本公开的一些实施例提供了一种图像显示方法，该方法包括：获取车辆的车载相机的内参矩阵和历史时间段内上述车载相机拍摄的目标场景图集，其中，上述目标场景图集中的每个目标场景图与上述历史时间段内的一个时间戳相对应。将上述内参矩阵、上述目标场景图集中的每个目标场景图和对应的时间戳输入至预设的网络模型中以生成像素点深度信息组和车辆位姿矩阵，得到像素点深度信息组集合和车辆位姿矩阵组。基于上述车辆位姿矩阵组，对上述像素点深度信息组集合中每个像素点深度信息组进行点云配准以成配准后的三维点云数据，得到配准后的三维点云数据集。对上述配准后的三维点云数据集中的各个三维点云数据进行拼接处理，得到稀疏点云数据。基于上述稀疏点云数据，生成三维场景图；将上述三维场景图发送至上述车辆的车载显示终端以供显示。
在一些实施例中，其中，所述基于像素点匹配坐标值组集合，对亚像素点表达式组中的每个亚像素点表达式进行线性插值以生成线性插值深度信息，得到线性插值深度信息组，包括：
通过以下公式，对所述亚像素点表达式组中的每个亚像素点表达式进行线性插值以生成线性插值深度信息包括的线性深度插值：
Figure BDA0003071187910000021
其中，γ表示所述亚像素点表达式中的横坐标值表达式，ε表示所述亚像素点表达式中的纵坐标值表达式，f表示所述线性深度插值，与所述线性深度插值等价的行列式中的每一项数据中的函数项表示所述像素点匹配坐标值组集合中与所述亚像素点表达式对应的像素点匹配坐标值组中的像素点匹配坐标值，i表示序号，r表示所述亚像素点表达式对应的车辆位姿矩阵中的旋转矩阵，r1，i表示所述亚像素点表达式对应的车辆位姿矩阵中旋转矩阵的第1行第i列的数据， r2，i表示所述亚像素点表达式对应的车辆位姿矩阵中旋转矩阵的第2 行第i列的数据，r3，i表示所述亚像素点表达式对应的车辆位姿矩阵中旋转矩阵的第3行第i列数据，C表示所述亚像素点对应的像素点世界坐标值，所述像素点世界坐标值用列向量表示，Ci表示所述亚像素点对应的像素点世界坐标值中的第i行数据，uo表示所述亚像素点表达式与对应的像素点图像坐标值之间的横向距离值，vo表示所述亚像素点表达式与对应的像素点图像坐标值之间的纵向距离值，f() 表示向下取整函数，T表示所述亚像素点表达式对应的车辆位姿矩阵中的平移向量，T1表示所述亚像素点表达式对应的车辆位姿矩阵中平移向量中的第1行数据，T2表示所述亚像素点表达式对应的车辆位姿矩阵中平移向量中的第2行数据，T3表示所述亚像素点表达式对应的车辆位姿矩阵中平移向量中的第3行数据。
第二方面，本公开的一些实施例提供了一种图像显示装置，装置包括：获取单元，被配置成获取车辆的车载相机的内参矩阵和历史时间段内上述车载相机拍摄的目标场景图集，其中，上述目标场景图集中的每个目标场景图与上述历史时间段内的一个时间戳相对应；输入单元，被配置成将上述内参矩阵、上述目标场景图集中的每个目标场景图和对应的时间戳输入至预设的网络模型中以生成像素点深度信息组和车辆位姿矩阵，得到像素点深度信息组集合和车辆位姿矩阵组；点云配准单元，被配置成基于上述车辆位姿矩阵组，对上述像素点深度信息组集合中每个像素点深度信息组进行点云配准以成配准后的三维点云数据，得到配准后的三维点云数据集；拼接单元，被配置成对上述配准后的三维点云数据集中的各个三维点云数据进行拼接处理，得到稀疏点云数据；生成单元，被配置成基于上述稀疏点云数据，生成三维场景图；显示单元，被配置成将上述三维场景图发送至上述车辆的车载显示终端以供显示。
第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的图像显示方法，可以降低计算资源的消耗。具体来说，造成三维场景图消耗较多计算资源的原因在于：由于多角度的图像的角度不同，在进行三维重建时需要对所有角度的图像进行转换以进行图像配准，从而，消耗较多的计算资源。基于此，本公开的一些实施例的图像显示方法，引入了预设的网络模型，可以用于生成目标场景图像 (例如，高速场景图像)的像素点深度信息和车辆位姿矩阵。然后，可以根据车辆位姿矩阵，对生成的像素点深度信息进行点云配准得到三维点云数据。相比于常用方法中对所有角度的图像进行转换，此种方法仅需要对像素点深度信息进行配准，极大地少了计算资源的消耗。最后再根据得到的配准后的三维点云数据，生成三维场景图以供显示。从而，该实现方式利用网络模型的参与，避免了对所有角度的图像进行转换。从像素点深度信息进行配准的方面降低了计算资源的消耗。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
图1是本公开的一些实施例的图像显示方法的一个应用场景的示意图；
图2是根据本公开的图像显示方法的一些实施例的流程图；
图3是根据本公开的图像显示方法的另一些实施例的流程图；
图4是根据本公开的图像显示装置的一些实施例的结构示意图；
图5是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1是本公开的一些实施例的图像显示方法的一个应用场景的示意图。
在图1的应用场景中，首先，计算设备101可以获取车辆的车载相机的内参矩阵102和历史时间段内上述车载相机拍摄的目标场景图集103，其中，上述目标场景图集103中的每个目标场景图与上述历史时间段内的一个时间戳相对应。接着，计算设备101可以将上述内参矩阵102、上述目标场景图集103中的每个目标场景图和对应的时间戳输入至预设的网络模型104中以生成像素点深度信息组和车辆位姿矩阵，得到像素点深度信息组集合105和车辆位姿矩阵组106。然后，计算设备101可以基于上述车辆位姿矩阵组106，对上述像素点深度信息组集合105中每个像素点深度信息组进行点云配准以成配准后的三维点云数据，得到配准后的三维点云数据集107。之后，计算设备101可以对上述配准后的三维点云数据集107中的各个三维点云数据进行拼接处理，得到稀疏点云数据108。接着，计算设备101可以基于上述稀疏点云数据108，生成三维场景图109。最后，计算设备 101可以将上述三维场景图109发送至上述车辆的车载显示终端110 以供显示。
需要说明的是，上述计算设备101可以是硬件，也可以是软件。当计算设备为硬件时，可以实现成多个服务器或终端设备组成的分布式集群，也可以实现成单个服务器或单个终端设备。当计算设备体现为软件时，可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的计算设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的计算设备。
继续参考图2，示出了根据本公开的图像显示方法的一些实施例的流程200。该图像显示方法的流程200，包括以下步骤：
步骤201，获取车辆的车载相机的内参矩阵和历史时间段内车载相机拍摄的目标场景图集。
在一些实施例中，图像显示方法的执行主体(如图1所示的计算设备101)可以通过有线的方式或者无线的方式获取车辆的车载相机的内参矩阵和历史时间段内上述车载相机拍摄的目标场景图集。其中，上述目标场景图集中的每个目标场景图与上述历史时间段内的一个时间戳相对应。上述目标场景图集中的目标场景图可以指高速场景图。上述目标场景图集中的各个目标场景图的可以是按照时间戳的先后顺序排列的。上述目标场景图与时间戳对应可以保证在图像显示过程中的各项数据的有序性。
步骤202，将内参矩阵、目标场景图集中的每个目标场景图和对应的时间戳输入至预设的网络模型中以生成像素点深度信息组和车辆位姿矩阵，得到像素点深度信息组集合和车辆位姿矩阵组。
在一些实施例中，上述执行主体可以将上述内参矩阵、上述目标场景图集中的每个目标场景图和对应的时间戳输入至预设的网络模型中以生成像素点深度信息组和车辆位姿矩阵，得到像素点深度信息组集合和车辆位姿矩阵组。其中，上述预设的网络模型可以是卷积神经网络。上述像素点深度信息组可以用于表征一个目标场景图中各个像素点的深度信息。上述像素点深度信息可以包括像素点的三维坐标值和光反射强度信息等。上述像素点深度信息可以用于表征像素点的点云数据。上述车辆位姿矩阵组中的每个车辆位姿矩阵可以用于表征上述车载相机在拍摄一个目标场景图时车辆的位置和姿态。另外，上述预设的网络模型可以包括卷积层、池化层、残差块、激活函数和全连接层等。
步骤203，基于车辆位姿矩阵组，对像素点深度信息组集合中每个像素点深度信息组进行点云配准以成配准后的三维点云数据，得到配准后的三维点云数据集。
在一些实施例中，上述执行主体可以基于上述车辆位姿矩阵组，对上述像素点深度信息组集合中每个像素点深度信息组进行点云配准以成配准后的三维点云数据，得到配准后的三维点云数据集。其中，可以通过ICP(Iterative Closest Point，迭代最近点)算法对上述像素点深度信息组集合中每两个相邻的像素点深度信息组进行点云配准以成配准后的三维点云数据。
步骤204，对配准后的三维点云数据集中的各个三维点云数据进行拼接处理，得到稀疏点云数据。
在一些实施例中，上述执行主体可以对上述配准后的三维点云数据集中的各个三维点云数据进行拼接处理，得到稀疏点云数据。其中，可以通过ScanContext(激光闭环检测)算法对上述配准后的三维点云数据集中的各个三维点云数据进行拼接处理，得到稀疏点云数据。
步骤205，基于稀疏点云数据，生成三维场景图。
在一些实施例中，上述执行主体可以基于上述稀疏点云数据，生成三维场景图。其中，可以将上述稀疏点云数据输入至预设的生成式对抗网络，得到稠密点云图像，作为三维场景图。
步骤206，将三维场景图发送至车辆的车载显示终端以供显示。
在一些实施例中，上述执行主体还可以将上述三维场景图发送至上述车辆的车载显示终端以供显示。其中，上述三维场景图可以用于表征上述车辆在历史时间段内经过的道路及周围环境的场景。
本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的图像显示方法，可以降低计算资源的消耗。具体来说，造成三维场景图消耗较多计算资源的原因在于：由于多角度的图像的角度不同，在进行三维重建时需要对所有角度的图像进行转换以进行图像配准，从而，消耗较多的计算资源。基于此，本公开的一些实施例的图像显示方法，引入了预设的网络模型，可以用于生成目标场景图像 (例如，高速场景图像)的像素点深度信息和车辆位姿矩阵。然后，可以根据车辆位姿矩阵，对生成的像素点深度信息进行点云配准得到三维点云数据。相比于常用方法中对所有角度的图像进行转换，此种方法仅需要对像素点深度信息进行配准，极大地少了计算资源的消耗。最后再根据得到的配准后的三维点云数据，生成三维场景图以供显示。从而，该实现方式利用网络模型的参与，避免了对所有角度的图像进行转换。从像素点深度信息进行配准的方面降低了计算资源的消耗。
进一步参考图3，其示出了图像显示方法的另一些实施例的流程 300。该图像显示方法的流程300，包括以下步骤：
步骤301，获取车辆的车载相机的内参矩阵和历史时间段内车载相机拍摄的目标场景图集。
在一些实施例中，步骤301的具体实现方式及所带来的技术效果可以参考图2对应的那些实施例中的步骤201，在此不再赘述。
步骤302，将内参矩阵、目标场景图集中的每个目标场景图和对应的时间戳输入至预设的网络模型包括的图像深度网络中以生成像素点深度信息组，得到像素点深度信息组集合。
在一些实施例中，图像显示方法的执行主体(如图1所示的计算设备101)可以将上述内参矩阵、上述目标场景图集中的每个目标场景图和对应的时间戳输入至上述预设的网络模型包括的图像深度网络中以生成像素点深度信息组，得到像素点深度信息组集合。其中，上述预设的网络模型可以包括图像深度网络和车辆位姿网络。由于每个目标场景图可以对应一个时间戳。因此生成的每个像素点深度信息组可以对应一个目标场景图和一个时间戳。
步骤303，将内参矩阵、目标场景图集中的每个目标场景图和对应的时间戳输入至预设的网络模型包括的车辆位姿网络中以生成车辆位姿矩阵，得到车辆位姿矩阵组。
在一些实施例中，上述执行主体可以将上述内参矩阵、上述目标场景图集中的每个目标场景图和对应的时间戳输入至上述预设的网络模型包括的车辆位姿网络中以生成车辆位姿矩阵，得到车辆位姿矩阵组。其中，由于上述目标场景图和时间戳对应。因此生成的每个车辆位姿矩阵可以与一个目标场景图和一个时间戳相对应。从而，每个车辆位姿矩阵还可以与一个像素点深度信息组对应。
步骤304，基于车辆位姿矩阵组，对像素点深度信息组集合中每个像素点深度信息组进行点云配准以成配准后的三维点云数据，得到配准后的三维点云数据集。
在一些实施例中，上述执行主体可以基于上述车辆位姿矩阵组，对上述像素点深度信息组集合中每个像素点深度信息组进行点云配准以成配准后的三维点云数据，得到配准后的三维点云数据集。其中，上述像素点深度信息组集合中的像素点深度信息可以包括像素点图像坐标值。
可以通过以下方式，对上述像素点深度信息组集合中每个像素点深度信息组进行点云配准以成配准后的三维点云数据：
第一步，将取出上述像素点深度信息组后的像素点深度信息组集合确定为目标像素点深度信息组集合。其中，取出上述像素点深度信息组可以是将该像素点深度信息组从上述像素点深度信息组集合中去除。可以得到不包括上述像素点深度信息组的目标像素点深度信息组集合。具体的，可以有序的从上述像素点深度信息组集合中取出像素点深度信息组。该顺序可以是像素点深度信息组对应的时间戳的先后顺序。实际的，从上述像素点深度信息组集合中取出上述像素点深度信息组之后，按照时间戳的先后顺序对下一个时间戳对应的像素点深度信息组进行点云配准时，可以不考虑已经取出过的像素点深度信息组。从而，可以减少重复配准产生的冗余数据。
第二步，从上述目标像素点深度信息组集合中任意取出一个目标像素点深度信息组，以执行如下配准步骤：
第一子步骤，根据上述车辆位姿矩阵组，对上述像素点深度信息组中像素点深度信息包括的像素点图像坐标值进行坐标转换，得到像素点世界坐标值组。其中，可以通过时间戳确定上述车辆位姿矩阵组中与上述像素点深度信息组对应的车辆位姿矩阵。然后，可以利用该车辆位姿矩阵，通过坐标转换公式将上述像素点深度信息组中像素点深度信息包括的像素点图像坐标值转换到世界坐标系中，得到像素点世界坐标值。最后，每个像素点图像坐标值可以对应一个像素点世界坐标值。
第二子步骤，将像素点世界坐标值组中的每个像素点世界坐标值反投影至上述目标像素点深度信息组中对应的像素点深度信息包括的像素点图像坐标值的位置以生成亚像素点表达式，得到亚像素点表达式组。其中，上述像素点深度信息组集合中的像素点深度信息还可以包括像素点三维坐标值。上述对应的可以是上述像素点深度信息组中像素点深度信息包括的像素点三维坐标值与上述像素点世界坐标值之间的距离最小的像素点三维坐标值。从而，可以通过直接反投影法对上述像素点世界坐标值进行反投影，得到亚像素点表达式。亚像素点表达式可以用于表征上述像素点世界坐标值反投影后的坐标值。
第三子步骤，从目标像素点深度信息组中目标像素点深度信息包括的像素点图像坐标值中选出与亚像素点表达式组中每个亚像素点表达式匹配的像素点坐标值作为像素点匹配坐标值组，得到像素点匹配坐标值组集合。其中，由于反投影后的亚像素点表达式所表征的坐标在像素格内。因此，可以将该像素格的四个顶点，即四个像素点图像坐标值确定为与上述亚像素点表达式匹配的像素点图像坐标值。
第四子步骤，基于像素点匹配坐标值组集合，对亚像素点表达式组中的每个亚像素点表达式进行线性插值以生成线性插值深度信息，得到线性插值深度信息组。其中，上述线性插值深度信息组中的线性插值深度信息可以包括线性深度插值。其中，可以通过以下步骤对上述亚像素点表达式组中的每个亚像素点表达式进行线性插值以生成线性插值深度信息包括的线性深度插值：
Figure BDA0003071187910000111
其中，γ表示上述亚像素点表达式中的横坐标值表达式。ε表示上述亚像素点表达式中的纵坐标值表达式。f表示上述线性深度插值。与上述线性深度插值等价的行列式中的每一项数据中的函数项表示上述像素点匹配坐标值组集合中与上述亚像素点表达式对应的像素点匹配坐标值组中的像素点匹配坐标值。1、2和i表示序号。r表示上述亚像素点表达式对应的车辆位姿矩阵中的旋转矩阵。r1，i表示上述亚像素点表达式对应的车辆位姿矩阵中旋转矩阵的第1行第i列的数据。r2，i表示上述亚像素点表达式对应的车辆位姿矩阵中旋转矩阵的第2行第i列的数据。r3，i表示上述亚像素点表达式对应的车辆位姿矩阵中旋转矩阵的第3行第i列数据。C表示上述亚像素点对应的像素点世界坐标值。上述像素点世界坐标值用列向量表示。Ci表示上述亚像素点对应的像素点世界坐标值中的第i行数据。uo表示上述亚像素点表达式与对应的像素点图像坐标值之间的横向距离值。vo表示上述亚像素点表达式与对应的像素点图像坐标值之间的纵向距离值。f()表示向下取整函数。T表示上述亚像素点表达式对应的车辆位姿矩阵中的平移向量。T1表示上述亚像素点表达式对应的车辆位姿矩阵中平移向量中的第1行数据。T2表示上述亚像素点表达式对应的车辆位姿矩阵中平移向量中的第2行数据。T3表示上述亚像素点表达式对应的车辆位姿矩阵中平移向量中的第3行数据。
第五子步骤，基于线性插值深度信息组，生成像素点深度差值组。其中，可以将线性插值深度信息组中每个线性插值深度信息包括的线性深度插值的和与后一个线性插值深度信息包括的线性深度插值的和做差以生成像素点深度差值。该像素点深度差值可以与上述线性插值深度信息相对应。
第六子步骤，基于像素点深度差值组，生成位姿变量矩阵集合和位姿变量置信度集合。其中，首先可以确定像素点深度差值组中各个像素点深度差值和对应的车辆位姿矩阵的乘积，得到位姿乘积矩阵组。然后，可以将位姿乘积矩阵组与对应的车辆位姿矩阵的差值确定为位姿变量矩阵，得到位姿变量矩阵集合。可以将上述位姿变量矩阵集合输入至上述车辆位姿网络，生成位姿变量置信度集合。位姿变量置信度可以用于表征车辆位姿网络对位姿变量矩阵的不确定度。每个位姿变量矩阵可以对应一个位姿变量置信度。
第七子步骤，基于位姿变量置信度集合，对位姿变量矩阵集合中的各个位姿变量矩阵进行加权处理，得到目标位姿变量矩阵，以及将目标位姿变量矩阵添加至位目标姿变量矩阵集合中。其中，可以将上述位姿变量矩阵集合中每个位姿变量矩阵对应的位姿变量置信度作为该位姿变量矩阵的权重的逆。从而，可以对上述位姿变量矩阵集合中的各个位姿变量矩阵进行加权求平均处理。
第八子步骤，响应于确定上述目标像素点深度信息组集合中的目标像素点深度信息组的数量小于等于预设阈值，输出目标位姿变量矩阵集合。其中，上述目标像素点深度信息组集合中的目标像素点深度信息组的数量小于等于预设阈值(例如，0)，可以表征上述目标像素点深度信息组集合中的各个目标像素点深度信息组与上述像素点深度信息配准完成。
第九子步骤，响应于确定上述目标像素点深度信息组集合中的目标像素点深度信息组的数量大于预设阈值，从取出目标像素点深度信息组后的目标像素点深度信息组集合中任意取出一个目标像素点深度信息组，再次执行上述配准步骤。其中，上述目标像素点深度信息组集合中的目标像素点深度信息组的数量大于预设阈值，可以用于表征上述目标像素点深度信息组集合中存在未与上述像素点深度信息组相匹配的目标像素点深度信息组。
第三步，基于上述目标位姿变量矩阵集合，生成配准后的三维点云数据。其中，可以将上述目标位姿变量矩阵集合输入至上述图像深度网络，得到配准后的三维点云数据。
在一些实施例的一些可选的实现方式中，上述像素点深度信息组中的像素点深度信息还可以包括像素点深度值。以及上述执行主体基于线性插值深度信息组，生成像素点深度差值组，可以包括以下步骤：
将上述线性插值深度信息组中每个线性插值深度信息包括的线性深度插值与对应的像素点图像坐标值所在的像素点深度信息包括像素点深度值之间的差值确定为像素点深度差值，得到像素点深度差值组。其中，由于线性深度差值是通过亚像素点表达式得到的，亚像素点表达式由像素点世界坐标值反投影至像素点图像坐标值的位置得到的。因此，线性深度差值可以与像素点图像坐标值相对应。
在一些实施例的一些可选的实现方式中，上述执行主体基于像素点深度差值组，生成位姿变量矩阵集合和位姿变量置信度集合，可以包括以下步骤：
第一步，将上述像素点深度差值组中的各个像素点深度差值确定为像素点深度损失值以调整上述车辆位姿网络的参数，得到调整后的车辆位姿网络。其中，可以通过调整上述车辆位姿网络的参数优化该车辆位姿网络，以提高生成的位姿变量矩阵集合和位姿变量置信度集合的准确性。
第二步，将上述内参矩阵和上述车辆位姿矩阵组输入至上述调整后的车辆位姿网络中，得到位姿变量矩阵集合和位姿变量置信度集合。
在一些实施例的一些可选的实现方式中，上述执行主体基于上述目标位姿变量矩阵集合，生成配准后的三维点云数据，可以包括以下步骤：
第一步，基于上述目标位姿变量矩阵集合，对上述像素点深度信息组集合中每个像素点深度信息组中的各个像素点深度信息包括的像素点图像坐标值进行坐标转换以生成三维点云坐标值组，得到三维点云坐标值组集合。其中，可以按照时间戳的顺序，将上述像素点深度信息组集合中的每个像素点深度信息组中的各个像素点深度信息包括的像素点图像坐标值和该像素点深度信息组对应的目标位姿变量矩阵输入至坐标转换公式以生成三维点云坐标值组。
第二步，对上述三维点云坐标值组集合中的各个三维点云坐标值组中各个三维点云坐标值进行配准，得到配准后的三维点云数据。其中，可以通过点云配准算法(例如，KC(Kernel Correlation，核相关滤波器)算法)对上述三维点云坐标值组集合中的各个三维点云坐标值组中各个三维点云坐标值进行配准，得到配准后的三维点云数据。
上述公式及其相关内容作为本公开的实施例的一个发明点，解决了背景技术提及的技术问题二“在对多角度的图像进行三维重建时，需要对多角度的图像进行匹配，随着图像的角度的增多，匹配难度也随之增加，最终会造成匹配的准确度降低，从而，导致三维重建的三维场景图中产生塌陷或空洞等现象，进而，导致生成的三维场景图不能应用于自动驾驶领域”。导致上述技术问题的因素往往如下：在对多角度的图像进行三维重建时，需要对多角度的图像之间进行相互匹配，随着图像的角度的增多，匹配难度也随之增加，最终会造成匹配的准确度降低，从而，导致三维重建的三维场景图中产生塌陷或空洞等现象。如果解决了上述因素，就能避免三维重建的三维场景图中产生塌陷或空洞等现象。为了达到这一效果，首先，考虑了在对多角度图像进行三维重建时，需要对多角度图像进行坐标转换和像素点深度信息的参与。因此引入了网络模型。通过网络模型包括的图像深度网络和车辆位姿网络，可以生成像素点深度信息和车辆位姿矩阵。然后，考虑到对多角度图像进行坐标转换时，容易造成匹配的准确度降低的问题。因此上述实现方式对生成的像素点深度信息进行了配准。其中，在对两个目标场景图对应的像素点深度信息组进行配准的过程中，考虑到了通过车辆位姿网络生成的像素点深度信息包括的像素点深度值和车辆位姿矩阵存在不准确的情况。因此对两个目标场景图中对应的像素点分别进行了反投影和线性插值。由于反投影后的像素点属于亚像素点，没有对应的像素点深度值。因此通过上述公式生成的像素点深度值进行替代。由此，一个像素点可以对应两个像素点深度值，即，一个是图像深度网络生成的像素点深度信息包括的像素点深度值；另一个是通过上述公式计算生成的。从而，再根据两个像素点深度值的差异作为损失值调整车辆位姿网络中的参数，可以达到优化车辆位姿网络的目的。进而使得生成的车辆位姿矩阵更加准确。最后，可以利用更加准确的车辆位姿矩阵，对各个像素点深度信息包括的像素点图像坐标值进行坐标转换。使得可以提高转换后的三维点云数据的准确性。从而，可以避免由于匹配的准确度降低造成的三维场景图中产生塌陷或空洞等现象。进而，使得生成的三维场景图可以应用于自动驾驶领域。
步骤305，对配准后的三维点云数据集中的各个三维点云数据进行拼接处理，得到稀疏点云数据。
步骤306，基于稀疏点云数据，生成三维场景图。
步骤307，将三维场景图发送至车辆的车载显示终端以供显示。
在一些实施例中，步骤305-307的具体实现方式及所带来的技术效果可以参考图2对应的那些实施例中的步骤204-206，在此不再赘述。
从图3中可以看出，与图2对应的一些实施例的描述相比，图3 对应的一些实施例中的图像显示方法的流程300体现了点云配准的步骤。考虑了对多角度图像进行坐标转换时，容易造成匹配的准确度降低的问题。因此上述实现方式对生成的像素点深度信息进行了配准。其中，在对两个目标场景图对应的像素点深度信息组进行配准的过程中，考虑到了通过车辆位姿网络生成的像素点深度信息包括的像素点深度值和车辆位姿矩阵存在不准确的情况。因此对两个目标场景图中对应的像素点分别进行了反投影和线性插值。由于反投影后的像素点属于亚像素点，没有对应的像素点深度值。因此通过上述公式生成的像素点深度值进行替代。由此，一个像素点可以对应两个像素点深度值，即，一个是图像深度网络生成的像素点深度信息包括的像素点深度值；另一个是通过上述公式计算生成的。从而，再根据两个像素点深度值的差异作为损失值调整车辆位姿网络中的参数，可以达到优化车辆位姿网络的目的。进而使得生成的车辆位姿矩阵更加准确。最后，可以利用更加准确的车辆位姿矩阵，对各个像素点深度信息包括的像素点图像坐标值进行坐标转换。使得可以提高转换后的三维点云数据的准确性。从而，可以避免由于匹配的准确度降低造成的三维场景图中产生塌陷或空洞等现象。进而，使得显示出来的三维场景图可以应用于自动驾驶领域。
进一步参考图4，作为对上述各图所示方法的实现，本公开提供了一种图像显示装置的一些实施例，这些装置实施例与图2所示的那些方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图4所示，一些实施例的图像显示装置400包括：获取单元401、输入单元402、点云配准单元403、拼接单元404、生成单元405和显示单元406。其中，获取单元401，被配置成获取车辆的车载相机的内参矩阵和历史时间段内上述车载相机拍摄的目标场景图集，其中，上述目标场景图集中的每个目标场景图与上述历史时间段内的一个时间戳相对应；输入单元402，被配置成将上述内参矩阵、上述目标场景图集中的每个目标场景图和对应的时间戳输入至预设的网络模型中以生成像素点深度信息组和车辆位姿矩阵，得到像素点深度信息组集合和车辆位姿矩阵组；点云配准单元403，被配置成基于上述车辆位姿矩阵组，对上述像素点深度信息组集合中每个像素点深度信息组进行点云配准以成配准后的三维点云数据，得到配准后的三维点云数据集；拼接单元404，被配置成对上述配准后的三维点云数据集中的各个三维点云数据进行拼接处理，得到稀疏点云数据；生成单元405，被配置成基于上述稀疏点云数据，生成三维场景图；显示单元406，被配置成将上述三维场景图发送至上述车辆的车载显示终端以供显示。
可以理解的是，该装置400中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置400及其中包含的单元，在此不再赘述。
下面参考图5，其示出了适于用来实现本公开的一些实施例的电子设备(例如图1中的计算设备101)500的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线 504。
通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置 506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图5中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是，本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM 或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP (HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述装置中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取车辆的车载相机的内参矩阵和历史时间段内上述车载相机拍摄的目标场景图集，其中，上述目标场景图集中的每个目标场景图与上述历史时间段内的一个时间戳相对应。将上述内参矩阵、上述目标场景图集中的每个目标场景图和对应的时间戳输入至预设的网络模型中以生成像素点深度信息组和车辆位姿矩阵，得到像素点深度信息组集合和车辆位姿矩阵组。基于上述车辆位姿矩阵组，对上述像素点深度信息组集合中每个像素点深度信息组进行点云配准以成配准后的三维点云数据，得到配准后的三维点云数据集。对上述配准后的三维点云数据集中的各个三维点云数据进行拼接处理，得到稀疏点云数据。基于上述稀疏点云数据，生成三维场景图。将上述三维场景图发送至上述车辆的车载显示终端以供显示。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、输入单元、点云配准单元、拼接单元、生成单元和显示单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，生成单元还可以被描述为“生成三维场景图的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD) 等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (7)

1.一种图像显示方法，包括：
获取车辆的车载相机的内参矩阵和历史时间段内所述车载相机拍摄的目标场景图集，其中，所述目标场景图集中的每个目标场景图与所述历史时间段内的一个时间戳相对应；
将所述内参矩阵、所述目标场景图集中的每个目标场景图和对应的时间戳输入至预设的网络模型中以生成像素点深度信息组和车辆位姿矩阵，得到像素点深度信息组集合和车辆位姿矩阵组；
基于所述车辆位姿矩阵组，对所述像素点深度信息组集合中每个像素点深度信息组进行点云配准以成配准后的三维点云数据，得到配准后的三维点云数据集；
对所述配准后的三维点云数据集中的各个三维点云数据进行拼接处理，得到稀疏点云数据；
基于所述稀疏点云数据，生成三维场景图；
将所述三维场景图发送至所述车辆的车载显示终端以供显示；
其中，所述预设的网络模型包括图像深度网络和车辆位姿网络；以及
所述将所述内参矩阵、所述目标场景图集中的每个目标场景图和对应的时间戳输入至预设的网络模型中以生成像素点深度信息组和车辆位姿矩阵，得到像素点深度信息组集合和车辆位姿矩阵组，包括：
将所述内参矩阵、所述目标场景图集中的每个目标场景图和对应的时间戳输入至所述预设的网络模型包括的图像深度网络中以生成像素点深度信息组，得到像素点深度信息组集合；
将所述内参矩阵、所述目标场景图集中的每个目标场景图和对应的时间戳输入至所述预设的网络模型包括的车辆位姿网络中以生成车辆位姿矩阵，得到车辆位姿矩阵组；
其中，所述像素点深度信息组集合中的像素点深度信息包括像素点图像坐标值；以及
所述对所述像素点深度信息组集合中每个像素点深度信息组进行点云配准以成配准后的三维点云数据，包括：
将取出所述像素点深度信息组后的像素点深度信息组集合确定为目标像素点深度信息组集合；
从所述目标像素点深度信息组集合中任意取出一个目标像素点深度信息组，以执行如下配准步骤：
根据所述车辆位姿矩阵组，对所述像素点深度信息组中像素点深度信息包括的像素点图像坐标值进行坐标转换，得到像素点世界坐标值组；
将像素点世界坐标值组中的每个像素点世界坐标值反投影至所述目标像素点深度信息组中对应的像素点深度信息包括的像素点图像坐标值的位置以生成亚像素点表达式，得到亚像素点表达式组；
从目标像素点深度信息组中目标像素点深度信息包括的像素点图像坐标值中选出与亚像素点表达式组中每个亚像素点表达式匹配的像素点坐标值作为像素点匹配坐标值组，得到像素点匹配坐标值组集合；
基于像素点匹配坐标值组集合，对亚像素点表达式组中的每个亚像素点表达式进行线性插值以生成线性插值深度信息，得到线性插值深度信息组，其中，所述线性插值深度信息组中的线性插值深度信息包括线性深度插值；
基于线性插值深度信息组，生成像素点深度差值组；
基于像素点深度差值组，生成位姿变量矩阵集合和位姿变量置信度集合；
基于位姿变量置信度集合，对位姿变量矩阵集合中的各个位姿变量矩阵进行加权处理，得到目标位姿变量矩阵，以及将目标位姿变量矩阵添加至位目标姿变量矩阵集合中；
响应于确定所述目标像素点深度信息组集合中的目标像素点深度信息组的数量小于等于预设阈值，输出目标位姿变量矩阵集合；
响应于确定所述目标像素点深度信息组集合中的目标像素点深度信息组的数量大于所述预设阈值，从取出目标像素点深度信息组后的目标像素点深度信息组集合中任意取出一个目标像素点深度信息组，再次执行所述配准步骤；
基于所述目标位姿变量矩阵集合，生成配准后的三维点云数据。
2.根据权利要求1所述的方法，其中，所述像素点深度信息组中的像素点深度信息还包括像素点深度值；以及
所述基于线性插值深度信息组，生成像素点深度差值组，包括：
将所述线性插值深度信息组中每个线性插值深度信息包括的线性深度插值与对应的像素点图像坐标值所在的像素点深度信息包括像素点深度值之间的差值确定为像素点深度差值，得到像素点深度差值组。
3.根据权利要求1所述的方法，其中，所述基于像素点深度差值组，生成位姿变量矩阵集合和位姿变量置信度集合，包括：
将所述像素点深度差值组中的各个像素点深度差值确定为像素点深度损失值以调整所述车辆位姿网络的参数，得到调整后的车辆位姿网络；
将所述内参矩阵和所述车辆位姿矩阵组输入至所述调整后的车辆位姿网络中，得到位姿变量矩阵集合和位姿变量置信度集合。
4.根据权利要求1所述的方法，其中，所述基于所述目标位姿变量矩阵集合，生成配准后的三维点云数据，包括：
基于所述目标位姿变量矩阵集合，对所述像素点深度信息组集合中每个像素点深度信息组中的各个像素点深度信息包括的像素点图像坐标值进行坐标转换以生成三维点云坐标值组，得到三维点云坐标值组集合；
对所述三维点云坐标值组集合中的各个三维点云坐标值组中各个三维点云坐标值进行配准，得到配准后的三维点云数据。
5.一种图像显示装置，包括：
获取单元，被配置成获取车辆的车载相机的内参矩阵和历史时间段内所述车载相机拍摄的目标场景图集，其中，所述目标场景图集中的每个目标场景图与所述历史时间段内的一个时间戳相对应；
输入单元，被配置成将所述内参矩阵、所述目标场景图集中的每个目标场景图和对应的时间戳输入至预设的网络模型中以生成像素点深度信息组和车辆位姿矩阵，得到像素点深度信息组集合和车辆位姿矩阵组；
点云配准单元，被配置成基于所述车辆位姿矩阵组，对所述像素点深度信息组集合中每个像素点深度信息组进行点云配准以成配准后的三维点云数据，得到配准后的三维点云数据集；
拼接单元，被配置成对所述配准后的三维点云数据集中的各个三维点云数据进行拼接处理，得到稀疏点云数据；
生成单元，被配置成基于所述稀疏点云数据，生成三维场景图；
显示单元，被配置成将所述三维场景图发送至所述车辆的车载显示终端以供显示；
其中，所述预设的网络模型包括图像深度网络和车辆位姿网络；以及
所述将所述内参矩阵、所述目标场景图集中的每个目标场景图和对应的时间戳输入至预设的网络模型中以生成像素点深度信息组和车辆位姿矩阵，得到像素点深度信息组集合和车辆位姿矩阵组，包括：
将所述内参矩阵、所述目标场景图集中的每个目标场景图和对应的时间戳输入至所述预设的网络模型包括的图像深度网络中以生成像素点深度信息组，得到像素点深度信息组集合；
将所述内参矩阵、所述目标场景图集中的每个目标场景图和对应的时间戳输入至所述预设的网络模型包括的车辆位姿网络中以生成车辆位姿矩阵，得到车辆位姿矩阵组；
其中，所述像素点深度信息组集合中的像素点深度信息包括像素点图像坐标值；以及
所述对所述像素点深度信息组集合中每个像素点深度信息组进行点云配准以成配准后的三维点云数据，包括：
将取出所述像素点深度信息组后的像素点深度信息组集合确定为目标像素点深度信息组集合；
从所述目标像素点深度信息组集合中任意取出一个目标像素点深度信息组，以执行如下配准步骤：
根据所述车辆位姿矩阵组，对所述像素点深度信息组中像素点深度信息包括的像素点图像坐标值进行坐标转换，得到像素点世界坐标值组；
将像素点世界坐标值组中的每个像素点世界坐标值反投影至所述目标像素点深度信息组中对应的像素点深度信息包括的像素点图像坐标值的位置以生成亚像素点表达式，得到亚像素点表达式组；
从目标像素点深度信息组中目标像素点深度信息包括的像素点图像坐标值中选出与亚像素点表达式组中每个亚像素点表达式匹配的像素点坐标值作为像素点匹配坐标值组，得到像素点匹配坐标值组集合；
基于像素点匹配坐标值组集合，对亚像素点表达式组中的每个亚像素点表达式进行线性插值以生成线性插值深度信息，得到线性插值深度信息组，其中，所述线性插值深度信息组中的线性插值深度信息包括线性深度插值；
基于线性插值深度信息组，生成像素点深度差值组；
基于像素点深度差值组，生成位姿变量矩阵集合和位姿变量置信度集合；
基于位姿变量置信度集合，对位姿变量矩阵集合中的各个位姿变量矩阵进行加权处理，得到目标位姿变量矩阵，以及将目标位姿变量矩阵添加至位目标姿变量矩阵集合中；
响应于确定所述目标像素点深度信息组集合中的目标像素点深度信息组的数量小于等于预设阈值，输出目标位姿变量矩阵集合；
响应于确定所述目标像素点深度信息组集合中的目标像素点深度信息组的数量大于所述预设阈值，从取出目标像素点深度信息组后的目标像素点深度信息组集合中任意取出一个目标像素点深度信息组，再次执行所述配准步骤；
基于所述目标位姿变量矩阵集合，生成配准后的三维点云数据。
6.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。
7.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。
CN202110539709.9A 2021-05-18 2021-05-18 图像显示方法、装置、电子设备和计算机可读介质 Active CN113327318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110539709.9A CN113327318B (zh) 2021-05-18 2021-05-18 图像显示方法、装置、电子设备和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110539709.9A CN113327318B (zh) 2021-05-18 2021-05-18 图像显示方法、装置、电子设备和计算机可读介质

Publications (2)

Publication Number Publication Date
CN113327318A CN113327318A (zh) 2021-08-31
CN113327318B true CN113327318B (zh) 2022-07-29

Family

ID=77415832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110539709.9A Active CN113327318B (zh) 2021-05-18 2021-05-18 图像显示方法、装置、电子设备和计算机可读介质

Country Status (1)

Country Link
CN (1) CN113327318B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706594B (zh) * 2021-09-10 2023-05-23 广州中海达卫星导航技术股份有限公司 三维场景信息生成的系统、方法及电子设备
CN113837943A (zh) * 2021-09-28 2021-12-24 广州极飞科技股份有限公司 图像处理方法、装置、电子设备及可读存储介质
CN114140538B (zh) * 2021-12-03 2022-09-27 禾多科技（北京）有限公司 车载相机位姿调整方法、装置、设备和计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544677A (zh) * 2018-10-30 2019-03-29 山东大学 基于深度图像关键帧的室内场景主结构重建方法及系统
CN109961504A (zh) * 2017-12-25 2019-07-02 宏达国际电子股份有限公司 三维模型重建方法、电子装置及非暂态电脑可读取记录媒体
WO2019169941A1 (zh) * 2018-03-05 2019-09-12 华为技术有限公司 一种测距方法及装置
CN110895833A (zh) * 2018-09-13 2020-03-20 北京京东尚科信息技术有限公司 一种室内场景三维建模的方法和装置
CN111951397A (zh) * 2020-08-07 2020-11-17 清华大学 一种多机协同构建三维点云地图的方法、装置和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509226B (zh) * 2018-11-27 2023-03-28 广东工业大学 三维点云数据配准方法、装置、设备及可读存储介质
CN110728717B (zh) * 2019-09-27 2022-07-15 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961504A (zh) * 2017-12-25 2019-07-02 宏达国际电子股份有限公司 三维模型重建方法、电子装置及非暂态电脑可读取记录媒体
WO2019169941A1 (zh) * 2018-03-05 2019-09-12 华为技术有限公司 一种测距方法及装置
CN110895833A (zh) * 2018-09-13 2020-03-20 北京京东尚科信息技术有限公司 一种室内场景三维建模的方法和装置
CN109544677A (zh) * 2018-10-30 2019-03-29 山东大学 基于深度图像关键帧的室内场景主结构重建方法及系统
CN111951397A (zh) * 2020-08-07 2020-11-17 清华大学 一种多机协同构建三维点云地图的方法、装置和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李策等.基于相对坐标ICP的室内场景三维重建算法.《兰州理工大学学报》.2017,(第03期), *

Also Published As

Publication number Publication date
CN113327318A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN113327318B (zh) 图像显示方法、装置、电子设备和计算机可读介质
CN108492364B (zh) 用于生成图像生成模型的方法和装置
CN112733820B (zh) 障碍物信息生成方法、装置、电子设备和计算机可读介质
CN115690382B (zh) 深度学习模型的训练方法、生成全景图的方法和装置
CN109754464B (zh) 用于生成信息的方法和装置
CN113607185B (zh) 车道线信息显示方法、装置、电子设备和计算机可读介质
CN114399588B (zh) 三维车道线生成方法、装置、电子设备和计算机可读介质
CN114549722A (zh) 3d素材的渲染方法、装置、设备及存储介质
CN112801907A (zh) 深度图像的处理方法、装置、设备和存储介质
CN114399814A (zh) 一种基于深度学习的遮挡物移除和三维重建方法
CN114445597A (zh) 三维车道线生成方法、装置、电子设备和计算机可读介质
CN109816791B (zh) 用于生成信息的方法和装置
CN111965383A (zh) 车速信息生成方法、装置、电子设备和计算可读介质
CN115082636B (zh) 基于混合高斯网络的单图像三维重建方法及设备
CN114140538B (zh) 车载相机位姿调整方法、装置、设备和计算机可读介质
CN115880526A (zh) 图像处理方法、装置、电子设备及存储介质
CN115035223A (zh) 一种图像处理方法、装置、设备及介质
CN114066722A (zh) 用于获取图像的方法、装置和电子设备
CN116630436B (zh) 相机外参修正方法、装置、电子设备和计算机可读介质
CN114863025B (zh) 三维车道线生成方法、装置、电子设备和计算机可读介质
CN115170674B (zh) 基于单张图像的相机主点标定方法、装置、设备和介质
CN115841151B (zh) 模型训练方法、装置、电子设备和计算机可读介质
CN114708336B (zh) 多相机在线标定方法、装置、电子设备和计算机可读介质
CN111489428B (zh) 图像生成方法、装置、电子设备及计算机可读存储介质
CN116309137A (zh) 一种多视点图像去模糊方法、装置、系统和电子介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 201, 202, 301, No. 56-4 Fenghuang South Road, Huadu District, Guangzhou City, Guangdong Province, 510806

Patentee after: Heduo Technology (Guangzhou) Co.,Ltd.

Address before: 100099 101-15, 3rd floor, building 9, yard 55, zique Road, Haidian District, Beijing

Patentee before: HOLOMATIC TECHNOLOGY (BEIJING) Co.,Ltd.

CP03 Change of name, title or address