CN112634342A - 在虚拟环境中对光学传感器进行计算机实现的仿真的方法 - Google Patents

Abstract

本发明涉及一种用于在虚拟环境中对光学传感器(6)进行计算机实现的仿真的方法，其中光学传感器(6)提供深度信息，该方法包括以下步骤：(S100)读取表示传感器(6)的平截头体(F)的多个部分平截头体(F1、F2、F3)的数量的值(W)，每个部分平截头体具有一个近相交平面(NS1、NS2、NS3)和一个远相交平面(FS1、FS2、FS3)，(S200)通过沿着光学传感器(6)的光轴(A)将部分平截头体(F1、F2、F3)一个接一个地排列而根据值(W)形成部分平截头体(F1、F2、F3)，和(S1300)用深度数据(TD)填充Z缓冲器(8)，该深度数据基于至少一个部分平截头体(F1、F2、F3)的应用而获得。

Description

在虚拟环境中对光学传感器进行计算机实现的仿真的方法

技术领域

本发明涉及一种用于在虚拟环境中对光学传感器进行计算机实现的仿真的方法，其中，光学传感器提供深度信息。此外，本发明还涉及一种计算机程序产品和一种用于这种LIDAR传感器的计算机实现的仿真的系统。

背景技术

机动车辆可以被设计成用于所谓的自主驾驶。自主驾驶机动车辆是指可以在不受人类驾驶员的任何影响下驾驶、操作和停车(高度自动化或自主驾驶)的无人驾驶机动车辆。在不需要驾驶员方面的手动操作的情况下，也使用机器人汽车一词。在这种情况下，驾驶员座椅可以保持空着；方向盘、制动踏板和加速器踏板可能不存在。

这种自主机动车辆可以借助各种传感器来捕获其环境，并从获取的信息中确定自己的位置以及其他道路使用者的位置，与导航软件配合向行驶目的地行驶，并避免在去往所述目的地的途中发生碰撞。

这种光学传感器可以是所谓的LIDAR传感器。LIDAR(光检测和测距的缩写)在这种情况下表示一种与雷达相关的光学测量距离和速度并进行测距的方法。与如在RADAR(无线电定向和测距)中使用电磁波不同，其使用激光束。

LIDAR传感器的优势在于，它们可以高分辨率和高速度扫描机动车辆周围的360度的范围。LIDAR传感器通常使用基于激光的传感器的布置(例如64个)，这些传感器以高速(100n/min)旋转。然后，LIDAR传感器能够捕获被激光束撞击的障碍物。因此可以确定在机动车辆附近的每次撞击或每个对象的坐标。通过评估所述LIDAR数据，还可以获取与机动车辆周围的区域中的地形拓扑有关的信息。

此外，这种光学传感器可以是3D摄像机或立体摄像机。3D摄像机是允许以图像类型显示整个场景的距离的摄像机系统。立体摄像机通常具有例如彼此相邻安装的两个对象，并且在被触发时允许同时记录3D图像所需的两个立体场。

为了测试这种自动驾驶，在现实世界中对机动车辆进行测试。但是，这是一个昂贵的过程，发生事故的风险很大。为了避免事故并同时降低成本，必须在计算机生成的虚拟环境中进行测试，例如在虚拟城镇中进行测试。VR技术(虚拟现实技术)与虚拟环境一起开辟了许多可行性。VR技术的主要优势在于，它允许诸如工程师之类的用户参与测试，并与测试场景或配置参数进行交互。

US 8 665 260 B2，US 7 525 542 B2，CN 104 933 758 A和US 2016/0210775 A1公开了用于在虚拟环境中对光学传感器进行计算机实现的仿真的方法。

有必要呈现如何改善在虚拟环境中对提供深度信息的光学传感器进行计算机实现的仿真的方式。

发明内容

本发明的目的是通过一种用于在虚拟环境中对光学传感器进行计算机实现的仿真的方法来实现的，其中光学传感器提供深度信息，该方法包括以下步骤：

读取表示传感器的平截头体的多个部分平截头体的数量的值，每个部分平截头体具有一个近相交平面和一个远相交平面，

通过沿着光学传感器的光轴一个接一个地排列部分平截头体来根据该值形成部分平截头体，以及

用深度数据填充Z缓冲器，深度数据基于至少一个部分平截头体的应用而获得。

换句话说，可以将传感器(其可以是LIDAR传感器或3D摄像机)的平截头体划分为预定的多个部分平截头体，其中，每个部分平截头体被分配有用于监视各个部分平截头体的(虚拟)区域传感器。仅检测位于相应的近相交平面和远相交平面之间的相应部分平截头体中的对象，而不考虑位于部分平截头体外的对象。通过提供分别具有一个近相交平面和一个远相交平面的多个部分平截头体，可以使各个近相交平面和远相交平面之间的距离最小，这提高了深度数据的准确性。这样获取的深度数据然后可以用于在虚拟环境中渲染场景。由此可以改善在虚拟环境中对提供深度信息的光学传感器的计算机实现的仿真。

根据一个实施例，进一步的步骤是：

检测对象是否位于部分平截头体中，然后一旦检测到对象位于部分平截头体中，就执行以下步骤：

从传感器向对象发射预定数量的光束，

确定预定数量的光束中入射到对象上并且与传感器具有最短距离的光束，

通过评估与传感器具有最短距离的光束来确定近相交平面的位置，

确定预定数量的光束中入射到对象上并且与传感器具有最远距离的另一个光束，并且

通过评估与传感器具有最远距离的光束来确定远相交平面的位置。

换句话说，如果在部分平截头体中检测到被相应的近相交平面和远相交平面限定的对象，则沿者传感器的光轴调整近相交平面和远相交平面的相应位置。然后，通过沿者传感器的光轴移位，特别是就对象相对于传感器的光轴的范围或延伸程度进行移位，来调整近相交平面和远相交平面。通过从传感器发射诸如激光束的多个模拟光束并确定入射在对象上的位置来确定对象的范围或延伸程度。深度信息的z缓冲的非线性因此可以被抵消，结果是，深度信息的准确性被进一步提高。

根据另一个实施例，进一步的步骤包括：

将最短距离与预定的近限值进行比较，以及

如果最短距离小于近限值，则通过评估近限值来确定近相交平面的位置。

因此，可以特别容易地考虑到传感器不能捕获任何对象的最小距离。此外，可以考虑如下情况：在小于最小距离的区域内，对象相对于传感器的光轴以其范围或延伸程度延伸，即，对象部分离传感器太近。

根据另一个实施例，进一步的步骤包括：

将最远距离与预定的远限值进行比较，以及

如果最远距离大于远限值，则通过评估远限值来确定远相交平面的位置。

因此，类似地，可以特别容易地考虑到传感器不能捕获任何对象的最大距离。此外，可以考虑如下情况：在最大距离以上的区域中，对象相对于传感器的光轴以其范围或延伸程度延伸，即，对象部分离传感器太远。

本发明还包括一种计算机程序产品和一种用于这种传感器的计算机实现的仿真的系统。

附图说明

现在将参考附图说明本发明。在附图中：

图1示出了用于在虚拟环境中对光学传感器进行计算机实现的仿真的系统的组件的示意图；

图2示出了在虚拟环境中对光学传感器进行计算机实现的仿真的更多细节的示意图；

图3示出了用于操作图1所示的系统的方法序列的示意图。

具体实施方式

首先参考图1。

它示出了用于在虚拟环境中对光学传感器6进行计算机实现的仿真的系统2。

虚拟现实，或简称为VR，表示在由计算机实时生成的交互式虚拟环境中对现实及其物理属性的表示和同时感知。

为了营造沉浸感，专用的输出设备(未示出)(例如虚拟现实耳机)用于表示虚拟环境。为了赋予空间印象，从不同的角度生成和表示两个图像(立体投影)。

为了与虚拟世界进行交互，需要特定的输入设备(未示出)，例如3D鼠标、数据手套或操纵杆。操纵杆用于通过光学跟踪系统进行导航，其中红外摄像机通过捕获位于操纵杆上的标记，将空间中的位置永久通知系统2，从而使用户无需电缆即可自由移动。光学跟踪系统还可用于捕获工具和完整的人体模型，以便能够在VR场景中实时操作它们。

一些输入设备向用户的手或其他身体部位提供力反馈，由此，用户可以通过触觉和感觉在虚拟环境中定位自己，作为进一步的感官印象。

为了生成虚拟环境，还需要专门为此目的开发的软件。该软件必须能够实时(即，每秒至少25帧)立体地(分别针对用户的左眼和右眼)计算复杂的三维世界。该值因用途而异——例如，驾驶模拟每秒至少需要60帧，以避免眩晕(模拟器故障)。

在本示例性实施例中，光学传感器6提供深度信息，并且可以是LIDAR传感器或3D摄像机或立体摄像机。

在系统2的其他组件中，图1示出了渲染引擎4、传感器6的区域传感器6a、6b、6c和z缓冲器8。

系统2、渲染引擎4、具有区域传感器6a、6b、6c的传感器6和/或z缓冲器8可以具有用于其任务和/或功能的硬件和/或软件组件，这将在下面描述。

本示例性实施例中的渲染引擎4是使用诸如OpenGL或DirectX之类的Z缓冲的实时图形引擎。

渲染引擎4是被称为引擎的计算机程序或计算机硬件的一部分，其被实现为用计算机图形形式的物品、环境和人物来表示虚拟环境。

Z缓冲(也称为深度缓冲或深度缓冲方法)在此应理解为一种用于计算遮挡(也就是说，用于确定计算机图形学中用户在虚拟环境中可见的三维区域)的计算机图形学方法。使用z缓冲器8中的深度数据TD形式的深度信息，该方法以基于像素的方式确定必须绘制场景的哪些元素和遮挡哪些元素。

与其他方法(例如光线跟踪)相比，该方法已知是快速的。

现在另外参考图2。

它显示了将用其平截头体F模拟的光学传感器6。

在计算机图形学中，平截头体F是屏幕上3D宇宙的数学成像。

由于消失点的角度，从传感器6开始，对象O在深度上变小，即沿着传感器6的光轴A变小。用户的印象是他们正在看锥形的末端(平截头体)。在3D图形学中，也使用“观看体积”一词。它是“金字塔形的平截头体”，代表用户可以看到的体积。所谓的平截头体矩阵将3D世界成像到二维屏幕上。

因此，平截头体F具有截头棱锥的形状，在本示例性实施例中，截头棱锥的底部是在轴A方向上的最后一个远相交平面FS3。在轴A方向上超出最后一个远相交平面FS3，任何内容都无法通过渲染可视化。

相比之下，在本示例性实施例中，在轴A方向上的第一近相交平面NS1对应于用户沿金字塔底部方向看的位置。位于第一近相交平面NS1和传感器6之间的金字塔中的所有内容实际上都位于用户后面。金字塔的侧壁是代表屏幕外围的平面。

为了使对象O处于传感器6的视野中，必须将其放置在平截头体F内。

在本示例性实施例中，系统2的渲染引擎4被实施为读取预定值W，该预定值W表示传感器6的平截头体F的多个部分平截头体F1、F2、F3的数量，并且被实施为形成对应于值W的多个部分平截头体F1、F2、F3。

每个部分平截头体F1、F2、F3在每种情况下具有一个近相交平面NS1、NS2、NS3和一个远相交平面FS1、FS2、FS3。

渲染引擎4沿着光轴A排列这样形成的部分平截头体F1、F2、F3，使得它们一个位于另一个之后。在本示例性实施例中，第二部分平截头体F2的近相交平面NS2和第一部分平截头体F1的远相交平面FS1重合。类似地，第三部分平截头体F3的近相交平面NS3和第二部分平截头体F2的远相交平面FS2重合。

然后，每个部分平截头体F1、F2、F3被分配给传感器6的一个区域传感器6a、6b、6c。

此外，渲染引擎4被实施为，作为对例如在部分平截头体F1中被捕获的对象O的反应，从传感器6向对象O发出预定数量的模拟光束ST，在本示例性实施例中，从区域传感器6a发出。

此外，渲染引擎4被实施为确定多个光束ST中入射到对象O上并且与传感器6具有最短距离D1的光束。然后，在该位置的高度布置第一部分平截头体F1的近相交平面NS1。

为此，渲染引擎4类似地确定光束ST中的另一光束，该光束同样入射在对象O上，并且与传感器6具有最远距离D2。然后，在此位置的高度布置第一部分平截头体F1的远相交平面FS1。

换句话说，总距离x的部分距离x1减小了。可以提供，部分距离x2被相应地调整，使得在部分平截头体F1和F2之间没有间隙。换句话说，总距离x的部分距离x2被相应地增大。

渲染引擎4还被实施为将最短距离D1与预定的近限值NG进行比较并且在近限值NG的位置的高度处布置近相交平面NS1。因此可以特别容易地考虑到最小距离，在该最小距离以下，区域传感器6a不能捕获任何对象。

为了类似地考虑最远距离，在该最远距离上区域传感器6a不能捕获任何对象，将最远距离2与预定的远限值FG进行比较并且在该位置的高度处布置第一部分平截头体F1的远相交平面FS1。

最后，渲染引擎4然后用深度数据TD填充Z缓冲器8，深度数据TD基于部分平截头体F1的应用而获得。

现在另外参考图3来说明用于操作图1所示的系统2的方法序列。

在第一步骤S100中，系统2的渲染引擎4读取值W，该值W表示传感器6的平截头体F的多个部分平截头体F1、F2、F3的数量。

在另一步骤S200中，系统2的渲染引擎4通过沿者光轴A一个接一个地排列部分平截头体F1、F2、F3而根据值W形成部分平截头体F1、F2、F3。

在另一步骤S300中，系统2的渲染引擎4检测对象O是否位于部分平截头体F1、F2、F3内。

如果是这种情况，则在另一步骤S400中系统2的渲染引擎4从传感器6向对象O发射预定数量的光束ST。

在另一步骤S500，系统2的渲染引擎4确定预定数量的光束ST中入射到对象O上并且与传感器6具有最短距离D1的那个光束。

在另一步骤S600中，系统2的渲染引擎4将最短距离D1与预定的近限值NG进行比较。

如果最短距离D1小于近限值NG，则在另一步骤S700中系统2的渲染引擎4通过评估近限值NG来确定近相交平面NS1、NS2、NS3的位置。

相反，如果最短距离D1大于近限值NG，则在另一步骤S800中系统2的渲染引擎4通过评估最短距离D1来确定近相交平面NS1、NS2、NS3的位置。

在另一步骤S900中，系统2的渲染引擎4确定预定数量的光束ST中入射到对象O上并且与传感器6具有最远距离D2的那个光束。

在另一步骤S1000中，系统2的渲染引擎4将最远距离D2与预定的远限值FG进行比较。

如果最远距离D2大于远限值FG，则在另一步骤S1100中系统2的渲染引擎4通过评估远限值FG来确定远相交平面FS1、FS2、FS3的位置。

相反，如果最远距离D2小于远限值FG，则在另一步骤S1200中系统2的渲染引擎4通过评估最远距离D2来确定远相交平面FS1、FS2、FS3的位置。

最后，在另一步骤S1300中，系统2的渲染引擎4用深度数据TD填充Z缓冲器8，深度数据TD基于部分平截头体F1、F2、F3的应用而获得。

与本示例性实施例不同，步骤的顺序也可以不同。此外，还可以同时执行多个步骤。与本示例性实施例不同，还可以跳过或省略各个步骤。

因此，可以改善在虚拟环境中提供深度信息的光学传感器6的计算机实现的仿真。

附图标记列表

2 系统

4 渲染引擎

6 感应器

6a 区域传感器

6b 区域传感器

6c 区域传感器

8Z 缓冲器

A 轴

D1 最短距离

D2 最远距离

F 平截头体

F1 部分平截头体

F2 部分平截头体

F3 部分平截头体

FG 远限值

FS1 远相交平面

FS2 远相交平面

FS3 远相交平面

NG 近限值

NS1 近相交平面

NS2 近相交平面

NS3 近相交平面

O 对象

ST 光束

TD 深度数据

W 值

x 总距离

x1 部分距离

x2 部分距离

x3 部分距离

S100 步骤

S200 步骤

S300 步骤

S400 步骤

S500 步骤

S600 步骤

S700 步骤

S800 步骤

S900 步骤

S1000 步骤

S1100 步骤

S1200 步骤

S1300 步骤

Claims (9)

1.一种用于在虚拟环境中对光学传感器(6)进行计算机实现的仿真的方法，其中，所述光学传感器(6)提供深度信息，所述方法包括以下步骤：

(S100)读取表示所述传感器(6)的平截头体(F)的部分平截头体(F1、F2、F3)的数量的值(W)，每个所述部分平截头体(F1、F2、F3)具有一个近相交平面(NS1、NS2、NS3)和一个远相交平面(FS1、FS2、FS3)，

(S200)通过沿着所述光学传感器(6)的光轴(A)将所述部分平截头体(F1、F2、F3)一个接一个地排列而根据所述值(W)形成所述部分平截头体(F1、F2、F3)，和

(S1300)用深度数据(TD)填充Z缓冲器(8)，所述深度数据(TD)基于至少一个部分平截头体(F1、F2、F3)的应用而获得。

2.根据权利要求1所述的方法，还包括以下步骤：

(S300)检测对象(O)是否位于部分平截头体(F1、F2、F3)内，并且一旦检测到对象(O)位于所述部分平截头体(F1、F2、F3)内，就执行以下步骤：

(S400)从所述传感器(6)向对象(O)发射预定数量的光束(ST)，

(S500)确定所述预定数量的光束(ST)中入射到所述对象(O)上并且与所述传感器(6)具有最短距离(D1)的光束，

(S800)通过评估与所述传感器(6)具有所述最短距离(D1)的所述光束来确定近相交平面(NS1、NS2、NS3)的位置，

(S900)确定所述预定数量的光束(ST)中入射到所述对象(O)上并且与所述传感器(6)具有最远距离(D2)的另一光束，以及

(S1200)通过评估与所述传感器(6)具有所述最远距离(D2)的所述光束来确定远相交平面(FS1、FS2、FS3)的位置。

3.根据权利要求2所述的方法，还包括以下步骤：

(S600)将所述最短距离(D1)与预定的近限值(NG)进行比较，并且

(S700)在所述最短距离(D1)小于所述近限值(NG)的情况下，通过评估所述近限值(NG)来确定近相交平面(NS1、NS2、NS3)的位置。

4.根据权利要求2或3所述的方法，

(S1000)将所述最远距离(D2)与预定的远限值(FG)进行比较，并且

(S1100)在所述最远距离(D2)大于所述远限值(NG)的情况下，通过评估所述远限值(FG)来确定远相交平面的位置。

5.一种计算机程序产品，其被实施为执行根据权利要求1至4之一所述的方法。

6.一种用于在虚拟环境中对光学传感器(6)进行计算机实现的仿真的系统(2)，其中所述光学传感器(6)提供深度信息，其中所述系统(2)被实施为：读取表示所述传感器(6)的平截头体(F)的多个部分平截头体(F1、F2、F3)的数量的值(W)，每个所述部分平截头体(F1、F2、F3)具有一个近相交平面(NS1、NS2、NS3)和一个远相交平面，通过沿着所述光学传感器(6)的光轴(A)将所述部分平截头体(F1、F2、F3)一个接一个地排列而根据所述值(W)形成所述部分平截头体(F1、F2、F3)，以及用深度数据(TD)填充Z缓冲器(8)，所述深度数据(TD)基于至少一个部分平截头体(F1、F2、F3)的应用而获得。

7.根据权利要求6所述的系统(2)，其中所述系统(2)被实施为：检测对象(O)是否位于部分平截头体(F1、F2、F3)内，并且一旦检测到对象(O)位于所述部分平截头体(F1、F2、F3)内，就从所述传感器(6)向对象(O)发射预定数量的光束(ST)，确定所述预定数量的光束(ST)中入射到所述对象(O)上并且与所述传感器(6)具有最短距离(D1)的光束，通过评估与所述传感器(6)具有所述最短距离(D1)的所述光束来确定近相交平面(NS1、NS2、NS3)的位置，确定所述预定数量的光束(ST)中入射到所述对象(O)上并且与所述传感器(6)具有最远距离(D2)的另一光束，并且通过评估与所述传感器(6)具有所述最远距离(D2)的所述光束来确定远相交平面(FS1、FS2、FS3)的位置。

8.根据权利要求6或7所述的系统(2)，其中所述系统(2)被实施为：将所述最短距离(D1)与预定的近限值(NG)进行比较，并且在所述最短距离(D1)小于所述近限值(NG)的情况下，通过评估所述近限值(NG)来确定近相交平面(NS1、NS2、NS3)的位置。

9.根据权利要求6、7或8所述的系统(2)，其中所述系统(2)被实施为：将所述最远距离(D2)与预定的远限值(FG)进行比较，并且在所述最远距离(D2)大于所述远限值(NG)的情况下，通过评估所述远限值(FG)来确定远相交平面的位置。

Images