CN115661366B - 用于构建三维场景模型的方法和图像处理装置 - Google Patents

Abstract

本申请涉及自动驾驶技术和图像处理技术，特别涉及用于构建三维场景模型的方法、实现该方法的图像处理装置以及实施该方法的计算机可读存储介质。按照本申请的一个方面，提供一种用于构建三维场景模型的方法，包括：从车载图像采集装置接收车辆外部的二维图像，并且从车载距离感测装置接收车辆附近的障碍物信息；识别二维图像中的感兴趣的对象；基于感兴趣的对象在二维图像中的位置和尺寸，将感兴趣的对象映射到三维空间中；以及基于障碍物信息与感兴趣的对象在所述三维空间中的位置信息之间的比较结果生成三维场景模型。

Description

用于构建三维场景模型的方法和图像处理装置

技术领域

本申请涉及自动驾驶技术和图像处理技术，特别涉及用于构建三维场景模型的方法、实现该方法的图像处理装置以及实施该方法的计算机可读存储介质。

背景技术

目前，用于辅助泊车的三维全景影像常采用碗状模型或者橄榄球状模型作为场景模型。车载摄像头获取的为二维平面图像，而场景模型提供的是三维图景，因此需要执行从二维平面至三维空间的映射。当物体靠近车载摄像头时，全景影像中的物体畸变严重，使得场景模型与物理空间的实际情形存在较大差异。此外，当全景影像由多个摄像头捕获的图像拼接而成时，由于每个摄像头的摄取视角不同，有可能导致较小的物体在拼缝区域内消失，从而使驾驶员对车辆周围环境产生错误的判断。

发明内容

本申请的一个目的是提供一种用于构建三维场景模型的方法和图像处理装置，其能够提供准确反映环境状态的全景影像信息。

按照本申请的一个方面，提供一种用于构建三维场景模型的方法，包括：

从车载图像采集装置接收车辆外部的二维图像，并且从车载距离感测装置接收车辆附近的障碍物信息；

识别所述二维图像中的感兴趣的对象；

基于所述感兴趣的对象在所述二维图像中的位置和尺寸，将所述感兴趣的对象映射到三维空间中；以及

基于所述障碍物信息与所述感兴趣的对象在所述三维空间中的位置信息之间的比较结果生成三维场景模型。

可选地，在上述方法中，所述二维图像包括具有不同的视角以提供环视全景画面的多幅图像。

可选地，在上述方法中，所述车载图像采集装置为安装在车辆上的一个或多个摄像头，所述车载距离感测装置为安装在车辆上的一个或多个激光雷达或超声波探测器。

可选地，在上述方法中，所述三维场景模型为碗状模型或橄榄球状模型。

可选地，在上述方法中，所述感兴趣的对象包括下列中的一种或多种类型：车辆、自行车、行人、墙体、栅栏和树。

可选地，在上述方法中，识别感兴趣的对象的步骤包括：

利用深度学习算法，在所述二维图像中识别与预设的二维模型相匹配的对象作为所述感兴趣的对象。

可选地，在上述方法中，生成三维场景模型的步骤包括：

将所述障碍物信息与所述位置信息进行比较以确定所述感兴趣的对象的存在性；

如果确定存在所述感兴趣的对象，则根据所述位置信息在所述三维场景模型中放置所述感兴趣的对象。

进一步，在上述方法中，对于所述三维空间中的一个位置，确定所述存在性的方式为：

如果所述障碍物信息指示该位置处存在障碍物并且所述位置信息指示该位置处存在所述感兴趣的对象，则确定该位置处存在所述感兴趣的对象；

如果所述障碍物信息指示该位置处不存在障碍物并且所述位置信息指示该位置处存在所述感兴趣的对象，则确定该位置处不存在所述感兴趣的对象；

如果所述障碍物信息指示该位置处存在障碍物并且所述位置信息指示该位置处不存在所述感兴趣的对象，则确定该位置处存在设定类型的感兴趣的对象。

按照本申请的另一个方面，提供一种图像处理装置，包括：

通信单元，其配置为从车载图像采集装置接收车辆外部的二维图像和从车载距离感测装置通信接收障碍物信息；

处理单元，其配置为执行下列操作：

识别所述二维图像中的感兴趣的对象；

基于所述感兴趣的对象在所述二维图像中的位置和尺寸，将所述感兴趣的对象映射到三维空间中；以及

基于所述障碍物信息与所述感兴趣的对象在所述三维空间中的位置信息之间的比较结果生成三维场景模型。

可选地，在上述图像处理装置中，所述二维图像包括具有不同的视角以提供环视全景画面的多幅图像。

可选地，在上述图像处理装置中，所述车载图像采集装置为安装在车辆上的一个或多个摄像头，所述车载距离感测装置为安装在车辆上的一个或多个激光雷达或超声波探测器。

可选地，在上述图像处理装置中，所述三维场景模型为碗状模型或橄榄球状模型。

可选地，在上述图像处理装置中，所述感兴趣的对象包括下列中的一种或多种类型：车辆、自行车、行人、墙体、栅栏和树。

可选地，在上述图像处理装置中，识别感兴趣的对象的操作包括：

利用深度学习算法，在所述二维图像中识别与预设的二维模型相匹配的对象作为所述感兴趣的对象。

可选地，在上述图像处理装置中，生成三维场景模型的操作包括：

将所述障碍物信息与所述位置信息进行比较以确定所述感兴趣的对象的存在性；

如果确定存在所述感兴趣的对象，则根据所述位置信息在所述三维场景模型中放置所述感兴趣的对象。

进一步，在上述图像处理装置中，对于所述三维空间中的一个位置，确定所述存在性的方式为：

如果所述障碍物信息指示该位置处存在障碍物并且所述位置信息指示该位置处存在所述感兴趣的对象，则确定该位置处存在所述感兴趣的对象；

如果所述障碍物信息指示该位置处不存在障碍物并且所述位置信息指示该位置处存在所述感兴趣的对象，则确定该位置处不存在所述感兴趣的对象；

如果所述障碍物信息指示该位置处存在障碍物并且所述位置信息指示该位置处不存在所述感兴趣的对象，则确定该位置处存在设定类型的感兴趣的对象。

按照本申请还有一个，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，通过由处理器执行所述指令来实现如上所述的方法。

在本申请的一些实施例中，将由二维图像确定的感兴趣对象的位置信息与车载距离感测装置确定的障碍物信息相结合来确定感兴趣对象的存在，并依据存在性判断结果来生成车辆周围的三维场景模型。通过融合障碍物信息和位置信息，可以减少单纯依赖图像生成场景模型时，物体影像严重畸变带来的误判，从而提高三维场景模型的准确性。此外，由于无需为形成全景影像而将多幅图像拼接，因此避免了因为拼接而导致物体丢失的可能性。再者，诸如摄像头之类的图像采集装置和诸如激光雷达、超声波探测器之类的距离感测装置都是用于实现自动驾驶功能的标准配置设备，因此在实施本申请上述实施例的方案时无需增加额外的硬件设备。

附图说明

本申请的上述和/或其它方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解，附图中相同或相似的单元采用相同的标号表示。附图包括：

图1为按照本申请一些实施例的图像处理装置的框图。

图2为按照本申请另外一些实施例的用于构建三维场景模型的方法的流程图。

图3为按照本申请另外一些实施例的三维场景模型生成方法的流程图。

具体实施方式

下面参照其中图示了本申请示意性实施例的附图更为全面地说明本申请。但本申请可以按不同形式来实现，而不应解读为仅限于本文给出的各实施例。给出的上述各实施例旨在使本文的披露全面完整，以将本申请的保护范围更为全面地传达给本领域技术人员。

在本说明书中，诸如“包含”和“包括”之类的用语表示除了具有在说明书和权利要求书中有直接和明确表述的单元和步骤以外，本申请的技术方案也不排除具有未被直接或明确表述的其它单元和步骤的情形。

除非特别说明，诸如“第一”和“第二”之类的用语并不表示单元在时间、空间、大小等方面的顺序而仅仅是作区分各单元之用。

图1为按照本申请一些实施例的图像处理装置的框图。

图1所示的图像处理装置10包括与车载图像采集装置20和车载距离感测装置30进行通信的通信单元110、处理单元120和存储单元130。

在图1所示的实施例中，通信单元110被配置为从车载图像采集装置20（例如摄像头）接收关于车辆外部环境的二维图像，并且从车载距离感测装置30（例如激光雷达或超声波探测器）接收关于车辆外部环境中的障碍物的信息。

示例性地，车辆包含多个车载图像采集装置20，它们被安装在车辆上的不同位置，例如车辆的前部、两侧和后部。由此，借助于安装在车辆多个位置的车载图像采集装置20，能够获取具有不同视角的二维图像以用于提供车辆周围环境的环视全景画面。

类似地，车辆还包含多个安装在车辆不同位置处的车载距离感测装置，例如车辆的前部、两侧和后部。由此，借助于这些车载距离感测装置30，能够感知车辆周围空间内的障碍物信息。这里所述的障碍物信息实际上反映了车载距离感测装置所发射的探测信号（例如激光束和超声波等）在三维空间内的反射信息。例如，当探测信号发射源前方存在障碍物时，车载距离感测装置将在探测信号发射起的一个延迟时间之后接收到反射信号，该延迟时间描述了障碍物与探测信号发射源之间的距离。由于激光束的高度方向性和高分辨率，用作车载距离感测装置的激光雷达所获取的点云数据能够提供更为丰富的障碍物信息，例如障碍物的轮廓和反射率等。

处理单元120与通信单元110耦合，其基于车载图像采集装置20获取的二维图像和车载距离感测装置30获取的障碍物信息来生成车辆周围环境的三维场景模型。示例性地，三维场景模型可以采用碗状模型或者橄榄球状模型。

在一些实施例中，处理单元120可被配置为首先对二维图像（例如前述多幅二维图像）中的感兴趣的对象进行分类识别。这里所述的感兴趣的对象可以由用户定义，其例如包括但不限于下列中的一种或多种类型：车辆、行人、墙体、栅栏和树。此外，对于每种类型的感兴趣的对象，可以作进一步的细分。例如车辆可以细分为摩托车、轿车、运动型多用途乘用车（SUV）和卡车等，行人可以细分为儿童和成年人等。可以采用各种图像识别算法来执行对感兴趣对象的分类识别操作。例如可以利用深度学习算法，在二维图像中识别与预设的二维模型相匹配的对象作为感兴趣的对象。这里所述的二维模型指的是能够反映对象特性的二维平面特征的集合。可选地，二维模型被存储在存储单元130以供处理单元120调用。

在完成感兴趣对象的分类识别之后，处理单元120可基于感兴趣的对象在二维图像中的位置和尺寸，将感兴趣的对象映射到三维空间中。可以采用各种几何映射算法将感兴趣的对象从二维平面映射至三维空间（例如可以利用反映点在平面内与空间内的对应关系的变换矩阵来执行映射操作）。

随后，处理单元120可基于障碍物信息与感兴趣的对象在三维空间中的位置信息之间的比较结果来生成三维场景模型。在一些实施例中，处理单元120通过比较障碍物信息与位置信息来判断感兴趣的对象的存在性，并基于所确定的存在性来决定是否在在三维场景模型中放置被识别到的感兴趣的对象。

在上面所述的存在性判断时，可以采用各种判断逻辑。示例性地，对于三维空间中的一个位置，可基于下列判据作存在性判断：

判据1：如果障碍物信息指示该位置处存在障碍物并且位置信息指示该位置处存在感兴趣的对象，则确定该位置处存在感兴趣的对象。也就是说，当障碍物信息与位置信息一致或匹配时，将作出该位置存在感兴趣对象的判定。

判据2：如果障碍物信息指示该位置处不存在障碍物并且位置信息指示该位置处存在感兴趣的对象，则确定该位置处不存在感兴趣的对象。

判据3：如果障碍物信息指示该位置处存在障碍物并且位置信息指示该位置处不存在感兴趣的对象，则确定该位置处存在设定类型的感兴趣的对象。这里所述的设定类型可以是前述各种类型。在一个示例中，例如将墙体作为设定类型，在位置信息指示该位置处不存在感兴趣对象而障碍物信息指示该位置处存在障碍物时，三维场景模型的相应位置处将放置墙体以起到警示用户的作用。

在上述判据2和3中，当障碍物信息与位置信息不一致或不匹配时，将障碍物信息作为更加可靠的判断依据。

需要指出的是，上面所述的位置应该理解为三维空间的一个区域。相应地，位置信息描述了感兴趣的对象在三维空间内所占区域的一个或多个特征（例如包括但不限于所占该区域的形状和边界等）；障碍物信息则描述了障碍物在三维空间内所占区域的一个或多个特征（例如包括但不限于所占该区域的形状和边界等）。

在一些实施例中，可以将障碍物信息指示的障碍物所占区域与位置信息指示的感兴趣对象所占区域的交叠程度作为是否一致或匹配的判断依据。例如当超过设定阈值时才确定障碍物信息与位置信息一致或匹配。此外，通过调整上述阈值可实现在强标准或弱标准下的一致性判断。

处理单元120还与存储单元130耦合，其一方面可以将三维场景模型生成过程中产生的中间结果（例如感兴趣的对象的位置信息）以及生成的三维场景模型存储在存储单元130内，另一方面可以从存储单元130调用用于识别感兴趣对象的二维模型。

图2为按照本申请另外一些实施例的用于构建三维场景模型的方法的流程图。仅仅是出于示例性的目的，下面的描述以图1所示的图像处理装置为例而展开的。

参见图2，所示的流程开始于步骤210。在该步骤中，处理单元120经通信单元110从车载图像采集装置接收车辆外部的二维图像，并且从车载距离感测装置接收车辆附近的障碍物信息。在一些实施例中，车载图像采集装置可以是安装在车辆上不同位置处（例如车辆的前部、两侧和后部）的摄像头，所接收的二维图像包括具有不同的视角以提供环视全景画面的多幅图像；车载距离感测装置可以是安装在车辆不同位置处（例如车辆的前部、两侧和后部）的激光雷达或超声波探测器，其能够提供车辆周围空间内的障碍物信息。

随后进入步骤220。在该步骤中，处理单元120识别二维图像中的感兴趣的对象。在一些实施例中，处理单元120可采用各种图像识别算法来执行对感兴趣对象的分类识别操作。例如可选地，处理单元利用深度学习算法，在二维图像中识别与预设的二维模型相匹配的对象作为感兴趣的对象。

接着进入步骤230。在该步骤中，处理单元120可基于感兴趣的对象在二维图像中的位置和尺寸，将感兴趣的对象映射到三维空间中。在步骤230中，可采用各种几何映射算法完成感兴趣的对象从二维平面至三维空间的映射。

在步骤230之后，图2所示的流程转入步骤240。在该步骤中，处理单元120基于车载距离感测装置获取的障碍物信息与感兴趣的对象在三维空间中的位置信息之间的比较结果生成三维场景模型。如上所述，位置信息描述了由二维图像确定的感兴趣对象所占区域的特征而障碍物信息描述了由车载距离感测装置探测的障碍物所占区域的特征。

接着进入步骤250。在该步骤中，处理单元120向外部设备（例如车载显示器）输出生成的三维场景模型。可选地，所生成的三维场景模型还可以存储于存储单元130内。

图3为按照本申请另外一些实施例的三维场景模型生成方法的流程图。图3所示的方法可用于实现图2中的步骤240。

图3所示的方法开始于步骤310。在该步骤中，处理单元120将障碍物信息与位置信息进行比较以确定感兴趣的对象的存在性。

示例性地，对于三维空间中的一个位置，可基于上面描述的判据1～3来作出存在性判断。如上所述，在上述判据2和3中，当障碍物信息与位置信息不一致或不匹配时，可将障碍物信息作为更加可靠的判断依据。由此可依照下列方式执行存在性判断：将障碍物信息指示存在障碍物的位置逐个与相应的位置信息进行比较。例如假设障碍物信息指示在位置A、B和C处存在障碍物，而位置信息指示在位置A、C和D处存在感兴趣对象，因此处理单元120可将位置A、B和C处的障碍物信息与位置信息进行比较，并依据相应的判据作出存在性判断。在上面的方式下，由于无需比较位置D处的障碍物信息与位置信息，因此可节约计算资源。

需要指出的是，在另外一些实施例中，也可以采用其它方式来作出存在性判断。在其中一种其它方式中，处理单元120首先生成待比较的位置列表，该列表包含由障碍物信息指示的障碍物位置和位置信息指示的感兴趣对象的位置（以上面给出的示例为例，位置列表将包含位置A、BC和D）；随后，处理单元将位置列表中的每个位置处的障碍物信息与位置信息进行比较，并依据相应的判据作出存在性判断。

在执行步骤310之后，图3所示的方法转入步骤320。在该步骤中，对于确定存在感兴趣的对象的位置，则根据位置信息在三维场景模型中放置感兴趣的对象。

按照本申请的另一方面，还提供了一种计算机可读存储介质，其上存储计算机程序，该程序被处理器执行时可实现上面借助图2和3所述的方法中包含的一个或多个步骤。

本申请中所称的计算机可读存储介质包括各种类型的计算机存储介质，可以是通用或专用计算机能够存取的任何可用介质。举例而言，计算机可读存储介质可以包括RAM、ROM、EPROM、E2PROM、寄存器、硬盘、可移动盘、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码单元并能够由通用或特定用途计算机、或者通用或特定用途处理器进行存取的任何其他临时性或者非临时性介质。上述的组合也应当包括在计算机可读存储介质的保护范围之内。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

本领域的技术人员将会理解，本文中所描述的各种示意性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

为了表明硬件和软件间的可互换性，各种示意性部件、块、模块、电路和步骤在上文根据其功能性总体地进行了描述。这样的功能性以硬件形式或软件形式实施取决于特定应用以及对总体系统所施加的设计限制。本领域技术人员可以针对具体的特定应用、按照变化的方式来实现所描述的功能性，但是，这样的实现方式决策不应当被理解为导致与本申请范围的背离。

尽管只对其中一些本申请的具体实施方式进行了描述，但是本领域普通技术人员应当了解，本申请可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本申请精神及范围的情况下，本申请可能涵盖各种的修改与替换。

提供本文中提出的实施例和示例，以便最好地说明按照本技术及其特定应用的实施例，并且由此使本领域的技术人员能够实施和使用本申请。但是，本领域的技术人员将会知道，仅为了便于说明和举例而提供以上描述和示例。所提出的描述不是意在涵盖本申请的各个方面或者将本申请局限于所公开的精确形式。

Claims (17)

1.一种用于构建三维场景模型的方法，包括：

从车载图像采集装置接收车辆外部的二维图像，并且从车载距离感测装置接收车辆附近的障碍物信息；

识别所述二维图像中的感兴趣的对象；

基于所述感兴趣的对象在所述二维图像中的位置和尺寸，将所述感兴趣的对象映射到三维空间中；以及

基于所述障碍物信息与所述感兴趣的对象在所述三维空间中的位置信息之间的比较结果生成三维场景模型。

2.如权利要求1所述的方法，其中，所述二维图像包括具有不同的视角以提供环视全景画面的多幅图像。

3.如权利要求2所述的方法，其中，所述车载图像采集装置为安装在车辆上的一个或多个摄像头，所述车载距离感测装置为安装在车辆上的一个或多个激光雷达或超声波探测器。

4.如权利要求1所述的方法，其中，所述三维场景模型为碗状模型或橄榄球状模型。

5.如权利要求1或2所述的方法，其中，所述感兴趣的对象包括下列中的一种或多种类型：车辆、自行车、行人、墙体、栅栏和树。

6.如权利要求1或2所述的方法，其中，识别感兴趣的对象的步骤包括：

利用深度学习算法，在所述二维图像中识别与预设的二维模型相匹配的对象作为所述感兴趣的对象。

7.如权利要求1或2所述的方法，其中，生成三维场景模型的步骤包括：

将所述障碍物信息与所述位置信息进行比较以确定所述感兴趣的对象的存在性；

如果确定存在所述感兴趣的对象，则根据所述位置信息在所述三维场景模型中放置所述感兴趣的对象。

8.如权利要求7所述的方法，其中，对于所述三维空间中的一个位置，确定所述存在性的方式为：

如果所述障碍物信息指示该位置处存在障碍物并且所述位置信息指示该位置处存在所述感兴趣的对象，则确定该位置处存在所述感兴趣的对象；

如果所述障碍物信息指示该位置处不存在障碍物并且所述位置信息指示该位置处存在所述感兴趣的对象，则确定该位置处不存在所述感兴趣的对象；

如果所述障碍物信息指示该位置处存在障碍物并且所述位置信息指示该位置处不存在所述感兴趣的对象，则确定该位置处存在设定类型的感兴趣的对象。

9.一种图像处理装置，包括：

通信单元，其配置为从车载图像采集装置接收车辆外部的二维图像和从车载距离感测装置通信接收障碍物信息；

处理单元，其配置为执行下列操作：

识别所述二维图像中的感兴趣的对象；

基于所述感兴趣的对象在所述二维图像中的位置和尺寸，将所述感兴趣的对象映射到三维空间中；以及

基于所述障碍物信息与所述感兴趣的对象在所述三维空间中的位置信息之间的比较结果生成三维场景模型。

10.如权利要求9所述的图像处理装置，其中，所述二维图像包括具有不同的视角以提供环视全景画面的多幅图像。

11.如权利要求10所述的图像处理装置，其中，所述车载图像采集装置为安装在车辆上的一个或多个摄像头，所述车载距离感测装置为安装在车辆上的一个或多个激光雷达或超声波探测器。

12.如权利要求9所述的图像处理装置，其中，所述三维场景模型为碗状模型或橄榄球状模型。

13.如权利要求9或10所述的图像处理装置，其中，所述感兴趣的对象包括下列中的一种或多种类型：车辆、自行车、行人、墙体、栅栏和树。

14.如权利要求9或10所述的图像处理装置，其中，识别感兴趣的对象的操作包括：

利用深度学习算法，在所述二维图像中识别与预设的二维模型相匹配的对象作为所述感兴趣的对象。

15.如权利要求9或10所述的图像处理装置，其中，生成三维场景模型的操作包括：

将所述障碍物信息与所述位置信息进行比较以确定所述感兴趣的对象的存在性；

如果确定存在所述感兴趣的对象，则根据所述位置信息在所述三维场景模型中放置所述感兴趣的对象。

16.如权利要求15所述的图像处理装置，其中，对于所述三维空间中的一个位置，确定所述存在性的方式为：

如果所述障碍物信息指示该位置处存在障碍物并且所述位置信息指示该位置处存在所述感兴趣的对象，则确定该位置处存在所述感兴趣的对象；

如果所述障碍物信息指示该位置处不存在障碍物并且所述位置信息指示该位置处存在所述感兴趣的对象，则确定该位置处不存在所述感兴趣的对象；

如果所述障碍物信息指示该位置处存在障碍物并且所述位置信息指示该位置处不存在所述感兴趣的对象，则确定该位置处存在设定类型的感兴趣的对象。

17.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，通过由处理器执行所述指令来实现如权利要求1-8中任意一项所述的方法。

Images