CN103295265B - 用于显示车辆的环境的观察系统和方法 - Google Patents

用于显示车辆的环境的观察系统和方法 Download PDF

Info

Publication number
CN103295265B
CN103295265B CN201310028713.4A CN201310028713A CN103295265B CN 103295265 B CN103295265 B CN 103295265B CN 201310028713 A CN201310028713 A CN 201310028713A CN 103295265 B CN103295265 B CN 103295265B
Authority
CN
China
Prior art keywords
vehicle
virtual
driver
comes
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310028713.4A
Other languages
English (en)
Other versions
CN103295265A (zh
Inventor
B.加斯曼
K-U.肖勒
J.夸斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman Becker Automotive Systems GmbH
Original Assignee
Harman Becker Automotive Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman Becker Automotive Systems GmbH filed Critical Harman Becker Automotive Systems GmbH
Publication of CN103295265A publication Critical patent/CN103295265A/zh
Application granted granted Critical
Publication of CN103295265B publication Critical patent/CN103295265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/32—Image data format

Abstract

本发明提供一种用于显示车辆环境的观察系统和方法，包括：借助多个图像捕获单元以图像数据（RAW）形式记录车辆环境的图像；借助显示装置显示输出图像；借助运算单元确定虚拟、三维空间和表面，该虚拟、三维空间至少部分被该表面限定；借助运算单元计算图像数据（RAW）在表面上的投影；借助运算单元从预定数据（Obj）计算虚拟车辆对象作为虚拟三维空间中的计算机生成的图形；以及，借助运算单元通过渲染包括虚拟车辆对象的视景体生成输出图像，视景体被表面限定，且视景体是基于在虚拟、三维空间中的视位及视角和缩放因子。

Description

用于显示车辆的环境的观察系统和方法
技术领域
本发明涉及一种用于显示车辆的环境的系统和方法。
背景技术
从Wikipedia文章''Bildsynthese''，http://de.wikipedia.org/wiki/Bildsynthese（英文版本："rendering"（http://en.wikIpedia.org/wiki/rendering）中已知一种图形管线。在具有虚拟观察者的场景中，视景体是由两个剪切平面限定。该场景中的全部图元以使得虚拟观察者正沿z深度轴观看的方式转换。如果该场景含有光源，那么基于对应三角形的材质属性计算每个顶点的颜色。从观看者角度而言场景的可见体是截棱锥（平截头体）。这个平截头体在下个步骤中被转换成立方体。部分或完全位于视景体外部的图元借助于剪切和剔除技术而被剪切或移除。最后，应用将顶点坐标移至荧幕的所要绘图区域的转换。z坐标保持相同，因为需要将其用于稍候的隐面测定。在光栅化步骤中，全部剩余的图元通过使属于其的像素变色而光栅化。由于仅将显示重叠三角形的可见部件，所以使用执行隐面测定的z缓冲器。
EP 1 720 131 B1示出了具有实际标记对象识别的增大现实系统。该增大现实系统被配置来调查实际世界环境，生成其图像数据，渲染虚拟图像数据并且将该虚拟图像数据与额外对象数据叠加以便增大实际世界环境。从实际环境接收的实际图像数据可被处理且操纵并且可从而被来自“虚拟”对象的对象图像数据增补以便为用户提供包括虚拟对象的图像。
发明内容
本发明的目标是尽可能改进车辆的观察系统。
此目标是通过一种具有独立技术方案1的特征的观察系统而达成。有利改善是附属技术方案的标的且包括在描述中。
因此，提供了一种观察系统。所述观察系统具有用于以图像数据的形式记录车辆的环境的图像的多个图像捕获单元。所述观察系统具有用于显示输出图像的显示装置。所述观察系统具有连接至所述多个图像捕获单元且连接至所述显示装置的运算单元。
所述运算单元被配置来确定虚拟、三维空间和表面，所述表面至少部分限制所述虚拟、三维空间。
所述运算单元被配置来计算所述图像数据至所述表面上的投影。
所述运算单元被配置来从预定数据计算虚拟车辆对象作为所述虚拟、三维空间中的计算机生成的图形。
所述运算单元被配置来通过渲染包括所述虚拟车辆对象的视景体生成输出图像。所述视景体被所述表面限定，所述视景体是基于所述虚拟、三维空间中的视位及视角以及缩放因子。
如相关于图示所阐述的本发明的特定实施方案提供多个优点。所述系统为用户提供看可以是显示器上的输出的环视。视位和视角可以视需要自由选择和改变，使得用户总是具有环境的最佳视野。用户还可以通过显示车辆对象而极容易地捕获相对于车辆位置的环境及从而预期可能的碰撞。
本发明的目标还将指定一种已经尽可能改进用于显示车辆的环境的方法。
此目的是由具有独立技术方案6的特征的方法达成。有利改善包括在描述中。
因此，提供了一种用于显示车辆的环境的方法。
在所述方法中，借助于多个图像捕获单元以图像数据的形式记录车辆的环境的图像。
在所述方法中，借助于显示装置显示输出图像。
在所述方法中，借助于运算单元确定虚拟、三维空间和表面，所述虚拟、三维空间至少部分被所述表面限定。
在所述方法中，借助于所述运算单元计算所述图像数据至所述表面上的投影。
在所述方法中，借助于所述运算单元从预定数据计算虚拟车辆对象作为所述虚拟三维空间中的计算机生成的图形。
在所述方法中，借助于所述运算单元通过渲染包括所述虚拟车辆对象的视景体生成所述输出图像。所述视景体被所述表面限定。所述视景体是基于所述虚拟、三维空间中的视位及视角以及缩放因子。
下文描述的实施方法涉及系统和方法两者。
根据一项有利实施方案，表面尤其在车辆对象的多个侧上邻接虚拟车辆对象。所述车辆对象有利具有邻接表面的区域。
根据有利实施方案，运算单元被配置来使用一个形状确定表面，所述形状从视位侧观看而言至少部分具有凹曲度。
根据有利实施方案，运算单元被配置来在邻近车辆对象且延伸至弯曲区域中的区域中以大致水平方式确定表面。邻近车辆对象的表面的区域优选在与车辆对象的底部区域相同的平面上。
根据一项实施方案，运算单元被配置来确定表面为具有底部和壁的碗状。所述碗状的底部被设计成大致水平，优选是平坦的。所述碗状的壁被设计成弯曲。
根据一项实施方案，运算单元被配置来确定三个空间方向上的虚拟、三维空间，所述虚拟、三维空间至少在两个空间方向上被所述表面限定。此达成环视，其使得用户能够完全或部分地环绕车辆观看环境，例如从鸟瞰角度。虚拟、三维空间优选在两个空间方向中完全限定且至少部分地限定在另一第三空间方向中。
根据一项有利实施方案，运算单元被配置来在虚拟、三维空间内确定固定位置中的车辆对象。所述车辆对象优选是动画的，例如因为车辆对象的虚拟车轮在车辆的确定移动中旋转和/或打转。
根据一项有利实施方案，运算单元被配置来通过将图像数据投射至表面上而计算失真。可压缩图像区域从而以在输出图像中输出尽可能大的环境部分且使得驾驶员更易定向其自身。
根据一项有利实施方案，图像捕获单元被设计成例如CMOS相机或CCD相机或类似相机。所述图像捕获单元优选具有大鱼眼（广角）。根据一项有利实施方案，显示装置被设计成触摸屏或投影仪或类似装置。
根据尤其有利的实施方案，运算单元被配置来控制视景体。
为了控制视景体，运算单元优选被配置来在虚拟、三维空间中的第一坐标与虚拟、三维空间中的第二坐标之间改变视位。
为了控制视景体，运算单元优选被配置来在虚拟、三维空间中的第一方向与虚拟、三维空间中的第二方向之间改变视位。
为了控制视位，运算单元优选被配置来在第一缩放值与第二缩放值之间改变缩放因子。
运算单元优选被配置来基于用户的确定输入而改变视位和/或视角和/或缩放因子。运算单元优选被配置来尤其自动改变视位和/或视角和/或缩放因子。为此目的，用户输入是必须的。
根据尤其有利实施方案，运算单元被配置来沿轨迹连续改变视位。此类型的轨迹具有例如圆形或椭圆形。
根据尤其有利的实施方案，运算单元被配置来确定碰撞概率。车辆区域与环境中的对象之间的碰撞的碰撞概率是基于至车辆环境中的对象的至少一个确定距离来确定。例如，车辆区域与对象之间的距离被测量且与多个阈值相比较。例如，碰撞概率具有在从0（无碰撞）至1（碰撞即将发生）的值范围的值。
根据一项有利实施方案，运算单元被配置来基于与车辆在环境中的移动相关联的至少一个信号而额外确定车辆区域与环境中的对象之间的碰撞的碰撞概率。该信号优选是控制信号或传感器信号。该信号优选与档位选择，尤其是前进或倒档，和/或车辆速度和/或车辆加速和/或借助于卫星信号确定的位置变化和/或感测刹车踏板位置和/或感测油门踏板位置和/或设置转弯指示器相关联。
根据尤其有利实施方案，车辆的每个区域与至少一个预定视景体相关联。预定视景体具有与该区域相关联的车辆对象的一部分和邻接关联部件的表面的表面区域。运算单元被配置来在碰撞概率超过阈值时控制与车辆的区域相关联的预定视景体。与车辆区域相关联的车辆的部件以及邻接相关联部件的表面的表面区域因此被渲染以生成输出数据。
此实施方案达成以下优点：如果存在碰撞的风险，那么动态生成显示车辆区域与环境中的对象之间的空间的输出图像。用户可因此更精确地估计碰撞概率。
为了确定碰撞概率超过阈值，可优选将碰撞概率与多个尤其是固定的阈值相比较。与超过阈值相关联的视位是基于表格（LUT查找表）确定。碰撞概率例如是值或矢量。例如，对于车辆的每个区域，矢量具有相关联碰撞概率值。
根据另一有利实施方案，运算单元具有用于检测与车辆运动相关联的信号的多个移动值的接口。例如，接口具有用于连接至数据总线的传感器节点和/或用于评定模拟传感器信号的模拟/数字转换器的总线连接。
上述实施方案个别且组合时尤其有利。全部实施方案可彼此组合。在图示的示例性实施方案的描述中阐述一些可行组合。然而，其中所说明用于组合可行实施方案的特征的这些可能性不是不可更改的。
附图说明
下文基于图示中说明的示例性实施方案更详细阐述本发明，其中
图1示出了环境中的车辆的示意表示；
图2示出了包括计算机生成车辆对象的三维空间的示意表示；
图3a至图3c示出了计算机生成车辆对象的视位和视角的图；
图4示出了从鹰眼角度的输出图像的示意表示；
图5示出了用于碰撞区域的输出图像的示意表示；
图6示出了观察系统的示意方框图；和
图7示出了示意流程图。
具体实施方式
图1示出环境900中的机动车辆100的示意图。示例性环境900具有作为对象的花桶910、壁920、人930和另一车辆956。车辆100仅示出为轮廓。车辆100具有区域101、102、103、104、105、106，其可与环境900中的对象910、920、930、956碰撞。另外，示意性地示出了作为图像捕获单元的多个相机110、120、140、160的配置和多个距离传感器410、420、430、440、450、460。
相机110、120、140、160指向车辆100的外部，使得相机110、120、140、160记录环境900的图像。然而，在图1的示例性实施方案中，相机110、120、140、160本身并不记录车辆100。为了使用相对少量的相机110、120、140、160来记录车辆100四周的环境900的图像，相机110、120、140、160具有例如175°（鱼眼）的超广角（由图1中的虚线指示）。因此，相机110、120、140、160被定位以用于环视。两个相机—如110和120—的记录区域可以重叠。
每个距离传感器410、420、430、440、450、460被设计来记录距离。距离传感器410、420、430、440、450、460以无接触的方式（例如，电容性地或使用超声波）测量车辆100和对象910、920、930、956中的一个之间的距离d1、d2、d3、d5、d6。
相机110、120、140、160和距离传感器410、420、430、440、450、460被连接至信号处理器和/或数据处理器200，其被配置来评定相机110、120、140、160和距离传感器410、420、430、440、450、460的信号。在图1的示例性实施方案中，运算单元200也被连接至触摸屏300，其被配置来输出输出图像330且由用户输入控制命令。
图1中示出的系统具有在输出图像330中将由相机110、120、140、160记录的环境900显示给用户的功能。输出图像330并不是静止的，而是代以基于多个（可变）距离d1、d2、d3、d5、d6有利地受控。
图2中示意性地示出输出图像330的生成。因为车辆100的相机110、120、140、160指向外部，所以车辆100本身并不被相机110、120、140、160记录。从预定数据计算出车辆对象500（而不是实车100）以作为计算机生成图形。该计算机生成图形示出了例如相同类型的车辆，例如适应于车辆100的车辆对象500的颜色。车辆对象500具有多个部件501、502、503、504，且车辆对象500的每个部件501、502、503、504均与实车100的区域101、102、103、104相关联。
车辆对象500被定位于虚拟的三维空间600中。虚拟的三维空间600由表面690限定。在图2的示例性实施方案中，表面690呈碗状。表面690的底部610是大致水平的。另一方面，表面690的壁620是大致垂直的，且在车辆500的方向上具有凹曲度。
计算图像数据至表面690上的投影，且借助于相机110、120、140、160记录该图像数据。在图2中，所记录的图像数据被投射至碗的内部。由于表面690的形状，所以对于输出图像330而言图像数据是失真的。与凹部相比，该失真使得在输出图像330中以放大的方式将投射区域显示在表面690的大致水平的截面610上（与凹部620相比）。表面690具有位于车辆对象500下方的孔650，这是因为相机110、120、140、160指向外部且不捕获实车100本身。根据图2，作为碗状的另一选择，还提供了另一形状，例如半球形。然而，碗状具有使图像数据失真的优点。还可以适应作为所测量的变量和/或控制变量的功能的表面690的形状。例如，所测量的变量为车辆速度。控制变量为用户输入。例如，通过改变大致水平的区域610的宽度来适应形状。
输出图像330基于视景体711、712而生成。视景体711、721被表面690限制于三维空间600中。视景体711、721是基于虚拟的三维空间600中的视位710、720，视角712、722和缩放因子714、724。视位710、720必须被分配至由表面690包围的区域。缩放因子714、724可以是固定的或可调节的。在图2的示例性实施方案中，通过虚线示意性地示出两个视景体711、721。
第一视景体721由所谓的第一剪切面723、由第一缩放因子724、由第一视角722定义且由表面690限定。基于表面690的曲度，第一视景体721偏离截棱锥形状。第一缩放因子724由开度角以简化的形式显示。车辆对象500还包括在第一视景体721内，使得在输出图像330中，表面690的区域在车辆对象500“后面”是不可见的（从第一视位来看）。因此，执行隐面测定。仅车辆对象500的一部分是可见的（在第一视位720的情况下，部件503和部件502可见）。通过渲染第一视位721而生成输出图像330。
图2的示例性实施方案还示出了第二视景体711，其具有第二视位710、第二视角712、第二剪切面713和第二缩放因子714。第二视景体711具有车辆对象500的最前面的部件501和表面690的大致水平的区域610。由于图2中示出的表面690的曲度，第二视景体711还具有不精确的截棱锥的形状，例如其不是精确的平截头体。当第一视景体721提供环境900的良好概观作为移动方向上的输出图像330时，第二视景体711在车辆对象500前面直接提供环境900的良好详细视图。在这两种情况下，车辆对象500使用户更容易地了解输出图像330。另外，在输出图像330（图2未示出）中可以显示其它信息，例如以米为单位的距离d1或警告标志。
虽然在最简单的情况下，可以在第一视景体721和第二视景体711之间进行切换，但是从第一视景体到第二视景体的平稳变动提高定位。视位沿着轨迹790从第一视位720到第二观位置710持续有利地变化。也可以适应视角722、712中的变化。在图3a至图3c中以举例的方式对这些变化的示例性实施方案进行解释。
图3中示出了轨迹791、792、793、797、798的示例性实施方案来以关联视角722、732、742改变视位720、730、740。视位720、730、740在虚拟的三维空间600内发生变化，虚拟的三维空间600另外具有所述表面690和所述车辆对象500，如结合图2所述。
依次地，图3a中的车辆对象500具有多个部件501、504、505、506，车辆对象500的每个部件501、504、505、506均与实车100的区域101、104、105、106相关联。在图3a的示例性实施方案中，在水平椭圆的轨迹791上改变视位720，该轨迹模拟观察者在车辆对象500周围的运动。在所示出的起始位置中，车辆对象500的部件504和与其邻近的表面690的区域在输出图像330中对于观察者来说是可见的。另一方面，如果位于车辆对象500前面的视位720具有优先级，那么车辆对象500的部件501与其邻近的表面690的区域在输出图像330中是可见的。
另外，从鸟瞰的角度来看，具有关联轨迹793的视位740和位于最低视位720和视位740之间的视位730中的每一个均以不同的高度被示出。通过轨迹（例如，圆形轨迹797、798）也示出了视位720、730、740的高度变化。如果根据图1借助于传感器410、420、430、440、450、460而确定碰撞的危险，那么沿着轨迹791、792、793、797、798以以下方式改变视位720、730、740：由投射的图像数据显示的车辆对象500的部件501和相应对象910之间的碰撞概率在输出图像330中是可见的。
图3b和图3c示出另一示例性实施方案。以上示出了车辆对象500。图3b中的视位720a和图3c中的720b位于椭圆轨迹791上。仅图3b中的视角728和图3c中的视角729是不同的。在图3b的情况下，在区域102、103的一个区域的车辆的右侧确定碰撞概率，使得视角728指向车辆对象500的右侧部件502、503。在图3c的情况下，另一方面，在区域104中的车辆的背面确定碰撞概率，使得视角转向车辆对象500的后方部件504。视位720a、720b保持不变。
图4中示意性地示出了输出图像330。借助于包括表面690的虚拟的三维空间600已生成图4中的输出图像330。显示了从第一视景体721渲染的图2中的第一视位720的视图。由于碗状表面690，由相机110、120、140、160的图像数据生成且在输出图像330中显示的对象图像910’、920’、930’和956’在输出图像330中失真。
图5中示意性地示出了图2的第二视景体711的输出图像330。通过结合输出图像330中的对象910的投射图像910’而显示车辆对象500的上方的视图，输出图像330向用户清晰地显示了车辆100和对象910之间的距离。还可以在输出图像330中显示距离指示800。
图6将机动车辆100的系统示出为示意方框图。该系统具有多个相机（110至140），多个距离传感器（410至460）和状态传感器810、820、830、840、850。相机110至140，距离传感器410至460和状态传感器810、820、830、840、850均被连接至运算单元200的接口240。第一状态传感器810被配置来（例如）感测档位选择以及输出关联第一传感器信号S1。第二状态传感器820被配置来（例如）感测方向盘运动以及输出关联第二传感器信号S2。第三状态传感器830被配置来（例如）感测油门踏板位置以及输出关联第三传感器信号S3。第四状态传感器840被配置来（例如）感测刹车压力以及输出关联第四传感器信号S4。第五状态传感器850被配置为（例如）开关以确定转弯指示灯设置以及输出关联第五传感器信号S5。如果传感器信号S1、S2、S3、S4、S5作为模拟信号被提供，那么接口240可能具有模拟转换器/数字转换器。或者，传感器410至416，和/或810至850和/或相机110至140可通过数据总线输入连接至接口240。
在图6的示例性实施方案中，运算单元200可通过数据连接320连接至显示器300。显示器300是（例如）一种使用户能够通过连接320而输入命令的触摸屏。显示器300具有显示区域340，其中由运算单元200渲染的输出图像330被显示。根据图1，车辆100的环境900的图像由相机110至114记录，且以图像数据RAW的形式经由接口240被写至运算单元200的缓冲器280。运算单元200具有储存预定数据Obj的存储区290。运算单元200的逻辑270被配置来从所储存的预定数据Obj中且以在三维空间600内的虚拟车辆对象500的形式生成计算机生成图形。例如，逻辑270为此具有图形处理器。逻辑270进一步被配置来从车辆对象500和图像数据RAW生成输出图像330作为距离传感器410至460和状态传感器810至850的传感器信号S1至S5的函数。将三维空间内的视位和视角以以下方式控制作为传感器410至460，810至850的函数：输出图像330自动地适应车辆100的环境900的变化，且临界碰撞区域自动地显示给用户。
图7示出了包括方法步骤1、2、3、4、5、6、7的示意流程图。在第一方法步骤1中，根据图6评定例如包括传感器810、820、830、840、850和传感器信号S1、S2、S3、S4、S5的状态传感器系统。状态传感器系统借助于传感器信号S1、S2、S3、S4、S5或借助于从传感器信号S1、S2、S3、S4、S5获取的信息来捕获车辆100的预期进一步运动线路。例如，档位选择（具体是前进档或倒档），和/或方向盘运动和/或油门踏板位置和/或刹车压力和/或转弯信号设置被感测。根据方法步骤1，状态信号的评定会优选地持续发生或以短时间间隔（例如，半秒）发生。
在第二方法步骤2中评定环境传感器系统。例如，根据图1，环境传感器系统具有距离传感器410、420、430、440、450、460。还可以使用相机110、120、130、140作为传感器而从图形数据RAW获取距离值。环境传感器系统使借助于传感器数据或借助于从传感器数据获取的信息来评定环境成为可能。具体是，环境900中的对象910、920、930、956可以被检测且其距离d1、d2、d3、d4、d5、d6和/或有关车辆100的方向（例如，“右前方”、“右后方”“中后方”等）被确定。优选地，可使用环境传感器系统做出关于对象910、920、930、956与车辆100间的距离d1至d6的陈述。例如，可使用超声波距离传感器。可替代地或与超声波距离传感器结合使用，从图形数据RAW检测到对象，和/或借助于热电堆而检测到人930。
在第三方法步骤3中，解释状态传感器的数据，以及确定车辆100期望朝哪个方向（齿轮/方向盘运动/转弯信号）运动，以及以什么速度（油门踏板/刹车压力）运动。另一方面，在第四方法步骤4中解释环境传感器系统；例如，确定一种指向或远离对象910、920、930、956和/或其在环境900中运动的方向的方法。
在第五方法步骤5中确定具有视位710、720和/或视角712、722的预先确定的视景体721、711。目的是通过渲染预先确定的视景体711、721而生成输出图像330。预先确定的视景体711、721具有虚拟的车辆对象500。预先确定的视景体711、721也由表面690限定于视角712、722的方向上。计算环境的图像数据RAW到表面690上的投影。如所示出的（例如，在图2中），预先确定的视景体711、721基于视位710、720和视角712、722和基于在虚拟的三维空间600中的固定的或可变的缩放因子714、724。至少一个视景体与图1中的每个区域101、102、103、104、105、106相关联。例如，图2中的预先确定的视景体711与图1中的区域101相关联。预先确定的视景体711具有与车辆100的区域101相关联的车辆对象500的部件501和与车辆对象500的相关部件501邻近的表面690的表面区域。
在第五方法步骤5中做出关于将靠近哪个视位710、720的决定。例如，为了做出该决定，在图7的示例性实施方案中执行阀值比较。碰撞概率
CP=f(d1...，d6，S1...S5) (1)
被确定为（例如）向量。例如，该向量的每一元素均与特定区域101、102、103、104、105、106的碰撞的一个概率相关联，如图1中示意性地示出。例如，碰撞概率CP是距离环境传感器系统的d1、d2、d3、d4、d5、d6和车辆100的状态传感器系统的传感器信号S1、S2、S3、S4、S5的函数。
在图7的示例性实施方案中，如果碰撞概率CP超出阀值，那么与车辆100的区域101相关联的预先确定的视景体711被控制，以便渲染与车辆100的区域101相关联的车辆对象500的部件501，以及渲染与相关部件501邻近的表面690的表面区域。
例如，从具有作为输入变量的碰撞概率的向量的查找表LUT中读出视位－根据图2，例如710－以作为输出变量。可替代地，也可以使用另一方法－例如，借助于模糊逻辑来从状态传感器系统和环境传感器系统确定视位710。例如，可以使用元素“信息”、“警告”和“批评”对传感器数据或从传感器数据获取的环境传感器的信息进行评级（如，以紧急性的形式）。例如，分别为每一类别，如“信息”、“警告”和“批评”分配一个距离范围，如“﹥3m”（信息）或“0.5m至3m”（警告），或“﹤0.5m”（批评）。
在图7的示例性实施方案中，将对应于图2中的710、720等的－视位－划分类别。类别Ⅰ识别详细视图的许多视位，例如，“右前方”、“左前方”、“右后方”、“左后方”。类别Ⅱ识别概观的许多观察者位置，如“前中心”、“后中心”。类别Ⅲ从鸟瞰的角度识别许多视位，如“前上方”、“后上方”。类别Ⅰ、Ⅱ、Ⅲ可以被储存于例如查找表LUT中。在不同的情况下，基于距离（例如，借助于距离传感器410至460，以及如果适用，借助于环境传感器系统的其他信号，以及如果适用，借助于状态传感器系统的传感信号）来控制当前类别。因此当前视位被确定为类别（紧急性）和地点或可能的碰撞对象和车辆的运动方向的变化的功能。
例如，如果在第五步骤5确定危险且因此在后方区域（对应于图1的104）和前方区域（对应于图1的101）两者中发生的碰撞概率很高，或者如果确定不存在任何碰撞危险，那么从鸟瞰的角度控制视位，这在移动方向上主要示出投射的图像数据。如果在移动方向上的碰撞危险仅存在于车辆100的一侧，那么控制具有车辆对象500的相关部件的详细视图的视景体。另一方面，如果移动方向上的碰撞危险位于车辆100的两侧，控制具有位于中心的视位的视景体，使得视景体包括车辆对象500两侧的部件。
在第六步骤6中控制视景体中的变化。在虚拟的三维空间中的第一坐标和虚拟的三维空间中的第二坐标之间改变视位。在沿着位于第一坐标和第二坐标的轨迹上的运动中改变视位。例如，该轨迹具有椭圆形状，车辆对象被定为于椭圆的中心。还可以在虚拟的三维空间中的第一方向和虚拟的三维空间中的第二方向之间改变视位。例如，缩放因子可以被永久地设置。
借助于逻辑适应两个视景体之间的过渡，使得视位不持续地来回摆动。例如，借助于逻辑而具有详细视图的视景体的视位的变化仅允许从位于中心的对应视位开始；否则，先控制位于中心的视位，以及随后仅控制具有详细视图的视景体的视位。
借助于逻辑通过时延控制从位于中心的视位到具有详细视图的视景体的视位的变化和/或从位于中心的视位到从鸟瞰的角度的视位的变化。虽然环境传感系统检测出碰撞的临时危险，但是由于时延这并不导致视位发生变化，因为视位的变化在时延结束前已由控制计数器重写。
在第七步骤7中，驱动视位的变化。例如，首先加速沿着轨迹的运动，该运动始于第一视位，且在到达第二视位前减速。这使输出图像的观察者能够正确地了解变化，以便观察者能够捕获碰撞的新视图和可能的危险。
本发明不局限于图1至图7所示出的实施方案变体。例如，可以使用不同数量的相机，例如，单一环绕相机或用于显示车辆上的环境的相机。还可以使用环境传感器系统的其他传感器和状态传感器系统，例如，雷达传感器等等。根据图6，框图的功能性可以特别有利地用于机动车辆的信息娱乐系统。
参考数字清单
1、2、3、4、5、6、7 方法步骤
100 车辆
101、102、103、104、105、106 车辆区域
110、120、140、160 相机
200 运算单元、处理器、微控制器
240 接口
270 逻辑、图像处理器
280 临时存储器、缓冲器
290 存储器
300 显示器、屏幕、触摸屏
320 连接
330 输出图像
340 显示区域
410、420、430、440、450、460 距离传感器
500 车辆对象
501、502、503、504、505、506 车辆对象的部件
600 虚拟的三维空间
610 大致水平的区域、底部
620 凹区域、壁
650 表面中的孔
690 表面
710、720、720a、720b、730、740 视位
711、721 视景体
712、722、728、729、732、742 视角
713、723 剪切面
714、724 缩放因子
790、797、798 位置变化
791、792、793 椭圆轨迹
800 文本、警告、距离指示
810、820、830、840、850 传感器
900 环境
910、920、930、956 对象
910’、920’、930’、956’ 投射的对象
CP 碰撞概率
d1、d2、d3、d5、d6 距离
Obj 预定数据、车辆对象数据
LUT 查找表
RAW 图像数据
S1、S2、S3、S4、S5 传感器信号

Claims (6)

1.一种车辆(100)的观察系统，其包括：
多个图像捕获单元(110、120、130、140)，其用于以图像数据的形式记录所述车辆(100)的环境(900)的图像；
显示装置(300)，其用于显示输出图像(330)；和
运算单元(200)，其连接至所述多个图像捕获单元(110、120、130、140)且连接至所述显示装置(300)；
其中所述运算单元(100)被配置成：
确定虚拟三维空间(600)和表面(690)，所述表面(690)至少部分限制所述虚拟三维空间(600)；
计算所述图像数据在所述表面(690)上的投影；
从预定数据计算虚拟车辆对象(500)作为所述虚拟三维空间(600)中的计算机生成的图形；以及
通过渲染包括所述虚拟车辆对象(500)的视景体(711、721)生成所述输出图像(330)，所述视景体(711、721)被所述表面(690)限定，所述视景体(690)是基于所述虚拟三维空间(600)中的视位(710、720)及视角(712、722)以及缩放因子(724)。
2.根据权利要求1所述的观察系统，其中，为了控制所述视景体(711、721)，所述运算单元(200)被配置成：
在所述虚拟三维空间(600)中的第一坐标与所述虚拟三维空间(600)中的第二坐标之间改变所述视位(710、721)；
和/或
在所述虚拟三维空间(600)中的第一方向与所述虚拟三维空间(600)中的第二方向之间改变所述视角(712、722)；
和/或
在第一缩放值与第二缩放值之间改变所述缩放因子(714、724)。
3.根据权利要求1或2所述的观察系统，其中所述运算单元(200)被配置成：
基于与所述车辆(100)的所述环境(900)中的对象(910)的至少一 个确定的距离(d1)，确定所述车辆(100)的区域(101)与所述环境(900)中的所述对象(910)之间发生碰撞的碰撞概率。
4.根据权利要求3所述的观察系统，其中所述运算单元(200)被配置成：
基于与所述环境(900)中所述车辆(100)的运动相关联的至少一个信号(S1)确定所述车辆(100)的所述区域(101)与所述环境(900)中的所述对象(910)之间发生碰撞的所述碰撞概率。
5.根据权利要求3所述的观察系统，
其中至少一个预定视景体(711、721)与所述车辆(100)的每个区域(101、102、103、104、105、106)相关联，所述预定视景体(711、721)具有所述车辆对象(500)的与所述车辆(100)的所述区域(101、102、103、104、105、106)相关联的部件(501、502、503、504、505、506)以及所述表面(690)中邻近所述相关联的部件(501、502、503、504、505、506)的表面区域；
其中所述运算单元(200)被配置成：
基于所述碰撞概率超过阈值，控制与所述区域(101、102、103、104、105、106)相关联的所述预定视景体(711、721)，以渲染所述车辆对象(500)的与所述区域(101、102、103、104、105、106)相关联的部件(501、502、503、504、505、506)以及所述表面(690)中邻近所述相关联的部件(501、502、503、504、505、506)的所述表面区域。
6.一种用于显示车辆(100)的环境的方法，所述方法包括以下步骤：
借助于多个图像捕获单元(110、120、130、140)以图像数据的形式记录所述车辆(100)的环境(900)的图像；
借助于显示装置(300)显示输出图像(330)；
借助于运算单元(200)确定虚拟三维空间(600)和表面(690)，所述虚拟三维空间(600)至少部分被所述表面(690)限定；
借助于所述运算单元(200)计算所述图像数据在所述表面(690)上的投影；
借助于所述运算单元(200)根据预定数据计算虚拟车辆对象(500)作为所述虚拟三维空间(600)中的计算机生成的图形；
借助于所述运算单元(200)通过渲染包括所述虚拟车辆对象(500)的视景体(711、721)生成所述输出图像(330)，所述视景体(711、721)被所述表面(690)限定，且所述视景体(690)是基于所述虚拟三维空间(600)中的视位(710、720)及视角(712、722)以及缩放因子(724)。
CN201310028713.4A 2012-01-30 2013-01-25 用于显示车辆的环境的观察系统和方法 Active CN103295265B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP12000590.5 2012-01-30
EP12000590.5A EP2620917B1 (en) 2012-01-30 2012-01-30 Viewing system and method for displaying an environment of a vehicle

Publications (2)

Publication Number Publication Date
CN103295265A CN103295265A (zh) 2013-09-11
CN103295265B true CN103295265B (zh) 2017-05-17

Family

ID=45562704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310028713.4A Active CN103295265B (zh) 2012-01-30 2013-01-25 用于显示车辆的环境的观察系统和方法

Country Status (5)

Country Link
US (1) US9865169B2 (zh)
EP (1) EP2620917B1 (zh)
JP (1) JP5590688B2 (zh)
KR (1) KR101427193B1 (zh)
CN (1) CN103295265B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013203404A1 (de) * 2013-02-28 2014-08-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur dreidimensionalen Abbildung zumindest eines Teilbereichs eines Fahrzeugumfelds
US8892358B2 (en) * 2013-03-14 2014-11-18 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
US10171775B1 (en) 2013-05-31 2019-01-01 Vecna Technologies, Inc. Autonomous vehicle vision system
TWI528325B (zh) * 2013-10-18 2016-04-01 財團法人資訊工業策進會 影像處理方法及應用影像處理方法之系統
DE102014214667A1 (de) * 2014-07-25 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Anzeigen von dynamischen sicherheitsrelevanten dreidimensionalen Inhalten auf einer Anzeigeeinrichtung
US20160176340A1 (en) * 2014-12-17 2016-06-23 Continental Automotive Systems, Inc. Perspective shifting parking camera system
EP3199403B1 (en) * 2016-01-28 2022-06-22 Harman Becker Automotive Systems GmbH System and method for external sound synthesis of a vehicle
DE102016211453A1 (de) * 2016-06-27 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
DE102016212687A1 (de) * 2016-07-12 2018-01-18 Audi Ag Verfahren zum Betreiben einer Anzeigeeinrichtung eines Kraftfahrzeugs
CN107094232B (zh) * 2017-02-13 2018-02-02 罗普特（厦门）科技集团有限公司 基于图像识别的定位装置
JP6889587B2 (ja) * 2017-03-31 2021-06-18 株式会社Ｓｕｂａｒｕ 画像表示装置
DE102017114611A1 (de) * 2017-06-30 2019-01-03 Connaught Electronics Ltd. Verfahren zum Erzeugen zumindest eines fusionierten perspektivischen Bildes eines Kraftfahrzeugs und eines Umgebungsbereiches des Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug
CN111033555B (zh) * 2017-08-25 2024-04-26 株式会社索思未来 修正装置、修正程序以及记录介质
FR3071333B1 (fr) 2017-09-15 2021-06-11 Renault Sas Procede d’affichage sur un ecran d’un environnement d’un vehicule automobile, et vehicule automobile dans lequel un tel procede est mis en œuvre
DE102018102047A1 (de) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem
JP7032950B2 (ja) 2018-02-19 2022-03-09 株式会社デンソーテン 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
JP2019156298A (ja) * 2018-03-15 2019-09-19 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
JP7060418B2 (ja) 2018-03-15 2022-04-26 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
WO2020005757A1 (en) * 2018-06-26 2020-01-02 Magic Leap, Inc. Waypoint creation in map detection
CN111376832A (zh) * 2018-12-28 2020-07-07 奥迪股份公司 图像显示方法、装置、计算机设备和存储介质
GB2581191B (en) * 2019-02-08 2022-02-16 Jaguar Land Rover Ltd Image system for a vehicle
JP7000383B2 (ja) * 2019-07-04 2022-01-19 株式会社デンソー 画像処理装置および画像処理方法
US10885819B1 (en) * 2019-08-02 2021-01-05 Harman International Industries, Incorporated In-vehicle augmented reality system
EP3809377A1 (en) * 2019-10-15 2021-04-21 Continental Automotive GmbH Method and device for providing a visualization of a vehicle
WO2021247641A1 (en) * 2020-06-02 2021-12-09 Oceaneering International, Inc. Automatic detection and tracking of pallet pockets for automated pickup

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1333626A (zh) * 2000-07-07 2002-01-30 松下电器产业株式会社 图像合成装置和方法
EP1720131A1 (en) * 2005-05-03 2006-11-08 Seac02 S.r.l. An augmented reality system with real marker object identification
CN101425181A (zh) * 2008-12-15 2009-05-06 浙江大学 一种全景视觉辅助泊车系统的标定方法
EP1462762B1 (en) * 2003-03-25 2010-11-03 Aisin Seiki Kabushiki Kaisha Circumstance monitoring device of a vehicle

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222557B1 (en) * 1998-06-26 2001-04-24 Visual Insights, Inc. Navigation system and method for viewing a 3D data landscape
KR20010112433A (ko) * 1999-04-16 2001-12-20 마츠시타 덴끼 산교 가부시키가이샤 화상처리장치 및 감시시스템
US6483429B1 (en) 1999-10-21 2002-11-19 Matsushita Electric Industrial Co., Ltd. Parking assistance system
DE60028907T2 (de) * 1999-11-24 2007-02-15 Donnelly Corp., Holland Rückspiegel mit Nutzfunktion
JP2002074594A (ja) * 2000-08-25 2002-03-15 Alpine Electronics Inc 障害物検知システム
US7138938B1 (en) * 2005-05-06 2006-11-21 Ford Global Technologies, Llc System and method for preemptively sensing an object and selectively operating both a collision countermeasure system and a parking assistance system aboard an automotive vehicle
US8797352B2 (en) * 2005-08-09 2014-08-05 Total Immersion Method and devices for visualising a digital model in a real environment
JP2009026250A (ja) * 2007-07-23 2009-02-05 Panasonic Corp 面成分検出装置、地上面検出装置、及び障害物検出装置
JP5067169B2 (ja) * 2008-01-15 2012-11-07 日産自動車株式会社 車両用駐車支援装置および画像表示方法
EP2107503A1 (en) * 2008-03-31 2009-10-07 Harman Becker Automotive Systems GmbH Method and device for generating a real time environment model for vehicles
WO2009144994A1 (ja) * 2008-05-29 2009-12-03 富士通株式会社 車両用画像処理装置、車両用画像処理方法
FR2932595B1 (fr) * 2008-06-13 2010-12-24 Valeo Vision Sas Procede d'affichage d'aide au parking.
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
US8665260B2 (en) * 2009-04-16 2014-03-04 Autodesk, Inc. Multiscale three-dimensional navigation
JP5444338B2 (ja) * 2009-05-25 2014-03-19 パナソニック株式会社 車両周囲監視装置
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1333626A (zh) * 2000-07-07 2002-01-30 松下电器产业株式会社 图像合成装置和方法
EP1462762B1 (en) * 2003-03-25 2010-11-03 Aisin Seiki Kabushiki Kaisha Circumstance monitoring device of a vehicle
EP1720131A1 (en) * 2005-05-03 2006-11-08 Seac02 S.r.l. An augmented reality system with real marker object identification
CN101425181A (zh) * 2008-12-15 2009-05-06 浙江大学 一种全景视觉辅助泊车系统的标定方法

Also Published As

Publication number Publication date
JP5590688B2 (ja) 2014-09-17
JP2013156981A (ja) 2013-08-15
KR20130088065A (ko) 2013-08-07
US20130194256A1 (en) 2013-08-01
EP2620917B1 (en) 2019-08-28
EP2620917A1 (en) 2013-07-31
KR101427193B1 (ko) 2014-08-07
CN103295265A (zh) 2013-09-11
US9865169B2 (en) 2018-01-09

Similar Documents

Publication Publication Date Title
CN103295265B (zh) 用于显示车辆的环境的观察系统和方法
CN105745122B (zh) 用于显示车辆周围环境的驾驶员辅助系统
US10362296B2 (en) Localized depth map generation
CN105793730B (zh) 对象运动的基于激光雷达的分类
US10832478B2 (en) Method and system for virtual sensor data generation with depth ground truth annotation
CN101167104B (zh) 用于图形显示汽车周围环境的方法
JP2019517049A5 (zh)
CN103177470A (zh) 利用机动车的显示器产生增强现实的方法和系统
JP2016506572A (ja) インフォテイメントシステム
EP3282419A1 (en) Image processing apparatus and method
CN105006175B (zh) 主动识别交通参与者的动作的方法和系统及相应的机动车
Jia et al. 3D image reconstruction and human body tracking using stereo vision and Kinect technology
EP3327676B1 (en) Method for displaying object on three-dimensional model
JPWO2019049709A1 (ja) 画像処理装置、画像処理方法、および画像表示システム
JP7475022B2 (ja) 室内空間の３次元地図生成方法及び装置
US20220180545A1 (en) Image processing apparatus, image processing method, and program
JP4986543B2 (ja) 情報処理方法、情報処理装置
JP6946857B2 (ja) 情報処理装置及びプログラム
CN110248845B (zh) 用于显示车辆的周围环境的方法和设备
CN114494611A (zh) 基于神经基函数的智能三维重建方法、装置、设备及介质
JP7103791B2 (ja) 車両の周辺を表示する方法
JP6385621B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
US20230394757A1 (en) Method for Generating Input Data for a Machine Learning Model
CN109597480A (zh) 人机交互方法、装置、电子设备及计算机可读存储介质
US20240137646A1 (en) Method and electronic device for generating point cloud

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant