CN112703127A - 用于提供车辆环境的至少一部分的图像表示的方法、计算机程序产品和驾驶员辅助系统 - Google Patents

用于提供车辆环境的至少一部分的图像表示的方法、计算机程序产品和驾驶员辅助系统 Download PDF

Info

Publication number
CN112703127A
CN112703127A CN201980060925.6A CN201980060925A CN112703127A CN 112703127 A CN112703127 A CN 112703127A CN 201980060925 A CN201980060925 A CN 201980060925A CN 112703127 A CN112703127 A CN 112703127A
Authority
CN
China
Prior art keywords
vehicle
representation
image
environment
mirror image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980060925.6A
Other languages
English (en)
Inventor
H.郭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Publication of CN112703127A publication Critical patent/CN112703127A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/22—
    • B60K35/28—
    • B60K35/60—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B60K2360/21—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement
    • B60Y2400/3015—Optical cameras

Abstract

本发明涉及一种用于提供车辆(1)的环境(7)的图像表示(15)的方法，其中至少部分地捕获车辆(1)的环境(7)，从限定视角(11)在限定视口(10)内提供捕获的环境(7)的至少一个第一部分(10a)的图像表示(15)，其中图像表示(15)包括表示车辆(1)的车辆表示(14)，并且其中图像表示(15)显示在显示设备(12)上。此外，当提供所述图像表示(15)时，所捕获的环境(7)的至少一个第二部分(16a)以在所述车辆表示(14)的限定区域(17，19，20)上的、环境(7)的所述至少一个第二部分(16a)的镜像(18)的形式被表示。

Description

用于提供车辆环境的至少一部分的图像表示的方法、计算机 程序产品和驾驶员辅助系统
技术领域
本发明涉及一种用于在显示设备上提供车辆的环境的至少一部分的图像表示的方法，其中车辆的环境至少部分地借助于至少一个车辆传感器被捕获，并且所捕获的环境的至少一部分的图像表示从限定视角在限定视口内提供，其中图像表示包括表示车辆的车辆表示。此外，图像表示在显示设备上显示。本发明还涉及一种计算机程序产品和用于车辆的驾驶员辅助系统，用于提供车辆环境的至少一部分的图像表示。
背景技术
从现有技术中已知一些系统，其设法提供例如车辆的360°环绕视图，该视图可以显示在车辆的显示设备上，以帮助驾驶员例如停车。为此目的，例如包括车辆表示的车辆周围360°的俯视图，例如车辆本身的2D位图图像，可以在平面视图中示出。还已知能够提供3D车辆模型的系统，其允许显示场景上的视角的动态变化。通常，为了捕获环境以提供这种可视化，使用包括几个摄像机的车辆摄像机系统。在这种多摄像机汽车视觉系统中，可以使用多个摄像机图像生成不同类型的视图。在这种包括几个摄像机和电子计算单元的可视化框架中，原始摄像机图像首先被映射到目标视口并被合并，从而生成表示来自车辆周围某处的特定3D点的视图的镶嵌图像。在最简单的情况下，虚拟摄像机放置在汽车上方，从顶部中心位置看，投影表面是一个平坦的2D平面。如上所述，该视图通常被称为俯视图。更一般的情况包括，例如，碗视图，其中投影2D表面具有碗形状，并且虚拟相机或虚拟视点位于3D空间的任意位置。
尽管能够改变包括车辆表示的环境场景的视角，但是仍然可能发生的是，从某个选定的视角来看，环境的可能包括相关信息的部分在限定视口之外，因此不被显示并且不能被用户看到。这会导致非常危急的情况。为了确保用户没有遗漏任何相关信息，用户可以改变车辆整个周围的表示的视角。然而，这对用户来说将是非常耗时和令人不舒适的。因此，为了方便起见，大多数用户不会一直改变视角，以确保不会遗漏任何重要信息。这又会导致非常危急的情况。
发明内容
因此，本发明的目的是提供一种用于在显示设备上提供车辆环境的至少一部分的图像表示的方法、一种计算机程序产品和一种驾驶员辅助系统，通过其可以降低丢失重要环境信息的风险。
该目的通过包括根据相应独立权利要求的特征的方法、计算机程序产品和驾驶员辅助系统来解决。在从属权利要求、说明书和附图中呈现了本发明的有利实施例。
根据在本发明的上下文中用于在显示设备上提供车辆的环境的至少一部分的图像表示的方法，车辆的环境至少部分地通过至少一个车辆传感器被捕获，并且所捕获的环境的至少一个第一部分的图像表示从限定视角在限定视口内提供，其中图像表示包括表示车辆的车辆表示。此外，图像表示在显示设备上显示。此外，当提供图像表示时，所捕获的环境的至少一个第二部分以在车辆表示的限定区域上的、环境的所述至少一个第二部分的镜像的形式来表示。
因此，有利地，环境的一部分，即环境的至少一个第二部分，可以被表示为车辆的限定区域上的反射，例如车辆表示的窗户上的反射。这有几个很大的优点。首先，由此有可能的是，从当前选择的视角实际上看不到的环境的一部分仍然可以在显示设备上以车辆表示的至少一部分上的反射(即镜像)的形式对用户可见。因此，对于限定视角和限定视口，可以同时显示关于车辆环境的附加信息。因此，可以极大地降低驾驶员错过车辆环境中的重要信息的风险。例如，在包括车辆表示的环境场景从自后面看车辆表示的视角显示在显示设备上的情况下，并且在驾驶员当前正在执行停车操作以将车辆向后停放到车辆后面的停车位的情况下，则通常从自后面看车辆表示的所述视角不能看到停车位本身，因为从这样的视角基本上只显示车辆前面的环境信息。然而，通过本发明，现在仍然可以看到车辆后面的停车位和周围区域作为车辆表示的后窗的反射，特别是除了车辆前面的环境部分的表示之外。因此，通过本发明，可以向驾驶员或用户提供关于车辆环境的更多相关信息，这在不同的驾驶或停车情况下提供了更好的帮助，从而极大地提高了安全性。本发明的另一个很大的优点是，该环境的第二部分以车辆表示的限定区域上的镜像或反射的形式显示。一方面，通过在车辆表示的一部分上提供该镜像，由所捕获的环境的至少一个第一部分提供的可能重要的信息不能被镜像隐藏。另一方面，通过以反射或镜像的形式提供关于环境的第二部分的信息，可以为用户提供光反射的自然印象，使得以非常自然和真实的方式提供该附加信息，因此对于用户来说非常容易和直观地识别。这又一次减少了用户的分心或烦躁，从而也提高了安全性，并再次降低了丢失重要信息的风险。此外，这种逼真的表示支持驾驶员认识到，以镜像形式表示的这种额外显示的内容实际上构成了环境的第二部分的反射或镜像，这对于能够相对于车辆正确定位由镜像表示的环境的第二部分非常有帮助。
优选地，所述至少一个车辆传感器被配置为摄像机。此外，车辆优选包括几个摄像机，尤其是总视野为360°。然后，由这些摄像机捕获的环境图像可以被合并在一起，并从如上所述的选择的视角映射到限定视口。然而，通常，该至少一个车辆传感器可以被配置为任何任意的车辆传感器，如激光扫描仪、超声波传感器和/或雷达。借助于所有这些传感器，可以通过对所捕获的传感器数据进行适当的处理来提供车辆环境或其至少一部分的表示，以提供所捕获的环境信息的图像表示。
此外，镜像构成环境的所述至少一个第二部分的图像，该至少一个第二部分已经以预限定的方式被镜像，特别是被计算地镜像，例如根据物理反射定律或者还具有与物理反射定律的限定偏差，这将在后面更详细地描述。
此外，根据本发明的优选实施例，环境的第二部分至少部分不同于环境的第一部分。换句话说，通过镜像，车辆环境的部分是可见的，否则不会从限定视角在限定视口上看到。因此，有利的是，可以向车辆的驾驶员或用户提供关于其环境的附加信息，并且可以降低丢失重要信息的风险。
此外，当车辆表示的限定区域构成车辆表示的涉及车辆的窗户、尤其是挡风玻璃和/或后窗和/或顶窗和/或侧窗的一部分时是非常有利的。因此，通过额外显示镜像，可以保持车辆表示的自然外观，并且可以降低用户可能分心或烦躁的风险。然而，通常镜像可以提供在车辆表示的任何任意部分上，例如代表车门或行李箱盖的部分上。
根据本发明的另一有利实施例，依赖于与车辆表示的其上显示镜像的限定区域相关联的镜像平面的限定几何形状和/或所述限定视角，和/或依赖于镜像平面相对于限定视角的位置和/或取向，来确定特定镜像。因此，可以实现镜像的非常自然的外观，因为这些依赖性对应于真实反射的定律。换句话说，借助于镜像来表示环境的哪个第二部分依赖于限定视角的位置以及车辆表示的表面的倾斜度，例如车辆表示的窗户的几何形状和表面倾斜度以及这些虚拟反射表面相对于虚拟视点的位置，从该虚拟视点，整个场景最终被显示在显示设备上。
此外，车辆表示可以以汽车的2D图像的形式提供，特别是位图图像，其从限定视角表示车辆。这种车辆2D图像形式的车辆表示尤其有利，例如用于俯视图。但是也可以以几种不同限定视角的形式提供场景的其他视图。在这种情况下，可以为每个视角限定相应的2D图像。使用车辆的2D图像作为车辆表示具有优势，特别是与车辆表示的一部分上的镜像的表示相结合，这在计算上特别便宜。因此，对于每个视角，可以限定与车辆表示的限定区域相关联的对应的镜像平面，并且可以从给定的视角容易地计算镜像。
因此，本发明的另一个有利实施例是，当视角可调节到几个预限定的离散视角时，其中对于每个预限定的视角，存储车辆的对应2D图像，并且其中在视角改变的情况下，2D图像和镜像对应地改变。因此，同样有利的是，利用有限的处理能力，可以提供场景上的多个不同视图，这些不同的视图有利地用镜像、尤其是相应的镜像所提供的附加信息被丰富，因为镜像的内容也取决于所选择的视角。
根据本发明的另一有利实施例，车辆表示以车辆模型的形式提供，特别是3D车辆模型，其中镜像平面的几何形状由车辆模型的限定区域的几何形状确定，在该限定区域上显示镜像。换句话说，为了计算车辆模型的一部分的真实环境反映，可以简单地将3D车辆模型的这一部分的几何形状用于这些计算。通过使用3D车辆模型作为车辆表示，特别是与镜像相结合，可以提供更真实的场景可视化，特别是动态可变的可视化。
因此，这是本发明的另一个有利实施例，当限定视角是动态可调整的时，其中车辆模型的表示和镜像是根据动态调整的视角而被动态调整的。因此，可以从3D空间中的任意视点提供环境信息，并且有利地，可以在不同视角之间提供连续过渡。
此外，一方面，可以基于物理光反射定律简单地计算镜像。因此，当基于物理光反射定律确定镜像时，这是本发明的另一个有利实施例。这导致最终显示的表示非常自然和逼真。另一方面，当镜像的计算不严格遵循物理光反射定律时，这也可能是非常有利的。
因此，当基于与物理光反射定律的限定偏差来确定镜像时，这是本发明的另一个有利实施例。例如，可以预先设计要在车辆表示上显示为反射的内容，例如以显示隐藏的周围场景，诸如来自车辆的远角落(far corners)的关键场景。例如，可以计算镜像，就好像来自环境的第二部分的光会首先穿过某个虚拟光学器件，如虚拟透镜，然后被镜像平面反射到虚拟视点。这种虚拟光学器件的设计则限定了限定偏差。因此，可以向用户提供更重要的信息。
尤其非常有利的是，当基于与物理光反射定律的限定偏差来确定镜像时，使得从限定视角到由镜像表示的环境的第二部分的视野比基于没有限定偏差的物理光反射定律来确定镜像的情况下的视野更大。优选地，视野特别是在水平方向上、即垂直于车辆的竖直轴线被放大，这在大多数驾驶或停车情况下是非常有利的。为了创建如此大的视场，不仅可以使用仅一个单个传感器的输入数据，如单个摄像机，而且镜像的计算也可以基于由不同传感器提供的环境数据，尤其是不同的(例如相邻的)摄像机，然后可以将各自提供的环境数据适当地融合和合并在一起。可以通过模拟来自环境的第二部分的穿过虚拟透镜的光来计算镜像，该虚拟透镜在水平方向上具有例如鱼眼特性，从而在水平方向上提供特别大的视场，然后在限定的镜像平面上虚拟地反射到虚拟视点。
根据本发明的另一有利实施例，车辆表示的限定区域根据限定视角的改变而改变。如上所述，如果车辆表示的限定区域构成例如车辆表示的窗户，这是非常有利的。由于车辆表示像普通汽车一样也包括几个窗户，如挡风玻璃、后窗、侧窗和可能的顶窗，所以可以使用车辆表示的所有这些窗户表示作为限定区域，最终在该限定区域上显示镜像，或者同时显示几个相应的镜像。然而，取决于视角，这些窗户表示中的一些可能比其他的更适合用作镜像平面。例如，如果图像表示是从自后面看车辆表示的视角显示的，那么使用后窗作为镜像平面来显示镜像比例如使用挡风玻璃更合适，尤其是从这样的视角来看，车辆表示的挡风玻璃甚至可能不可见。因此，根据本发明的这个有利实施例，也可以根据视角有利地选择应显示镜像的车辆表示的区域。优选地，如果视角是从后面看车辆表示，则车辆表示的后窗被用作车辆表示的限定区域，如果视角是从前部某处看车辆表示，则限定区域包括车辆表示的挡风玻璃表示，如果限定视角是从侧面某处看车辆表示，那么优选地，车辆表示的侧窗之一构成车辆表示的限定区域，并且在俯视图的情况下，限定区域至少由车辆表示的后窗和挡风玻璃构成，并且可选地还由车辆表示的侧窗构成。有利的是，通过改变图像表示的视角，现在用户不仅可以改变被表示为围绕车辆表示的环境的视野，还可以改变被表示为车辆表面的至少一部分上的反射的环形的第二部分的视野。
根据本发明的另一有利实施例，镜像的反射度是可调节的，其中镜像和车辆表示的限定区域根据调节后的反射度而交替渐变(cross faded)。因此，例如根据驾驶情况，可以自动调节反射度。例如，在正常驾驶情况下，反射度可以设置为20％，这意味着在车辆表示的限定区域上，镜像的20％是可见的，并且车辆表示本身的限定区域的80％是可见的，例如窗户表示。0％的反射度则意味着不显示镜像，仅车辆表示的限定区域可见，而100％的反射度则意味着只能看到镜像，如理想的反射镜一样，但完全看不到在车辆表示的限定区域中表示的车辆部分。当在环境信息比正常驾驶情况重要得多的停车位停车时，可以增加反射度，使得用户现在可以容易地收集通过镜像呈现的环境信息。然而，反射度也可以由用户自己调节。例如，反射度可以在0和100％之间调整。这是非常有利的，因为由此用户可以根据他的偏好设置反射度。同时，还可以向用户提供打开或关闭该玻璃反射特征的选项。如果用户关闭镜像的显示，则车辆表示、尤其是限定区域(例如车辆表示的窗户)例如显示为透明的，没有或者仅具有非常微弱的场景反射。
本发明还涉及一种计算机程序产品，其包括存储在计算机可读介质中的程序代码，并且当由电子控制设备的处理器执行程序代时，使得处理器：从限定视角在限定视口内提供捕获的车辆环境的至少一个第一部分的图像表示，其中图像表示包括表示车辆的车辆表示；并且在显示设备上显示图像表示。此外，所述计算机程序产品还包括当提供图像表示时，使处理器将所捕获的环境的至少一个第二部分以在车辆表示的限定区域上的、环境的所述至少一个第二部分的镜像的形式被表示。
此外，本发明还涉及一种用于车辆的驾驶员辅助系统，用于在显示设备上提供车辆环境的至少一部分的图像表示，其中驾驶员辅助系统包括：至少一个车辆传感器，其被配置为至少部分度捕获车辆的环境；处理单元，其被配置为从限定视角在限定视口内提供所捕获的环境的至少一个第一部分的图像表示，其中图像表示包括表示车辆的车辆表示；和显示设备，其被配置为显示所述图像表示。此外，处理单元被配置为，当提供图像表示时，将所捕获的环境的至少一个第二部分以在车辆表示的限定区域上的、环境的所述至少一个第二部分的镜像的形式被表示。
此外，包括根据本发明的驾驶员辅助系统的车辆也将被视为属于本发明。
关于根据本发明的方法及其实施例描述的优点同样适用于根据本发明的计算机程序产品、驾驶员辅助系统和车辆。
优选地，所述至少一个传感器被配置为至少一个摄像机。优选地，驾驶员辅助系统包括几个摄像机，例如四个摄像机，如安装在车辆前部的前摄像机、安装在车辆后部的后摄像机、安装在车辆左后视镜上的左后视镜摄像机和安装在车辆右后视镜上的右后视镜摄像机。在每个时间步骤，这些摄像机可以捕获车辆环境的图像，然后可以从限定了限定视角的限定虚拟视点将其投影到给定的视口，从而提供相应的输出图像，其中车辆表示被插入并显示在显示设备上，特别是车辆的显示设备上。
附图说明
根据权利要求书、附图和附图说明，本发明的其他特征是显而易见的。在上面在说明书中提到的特征和特征组合以及在在下文中在附图说明中提到的特征和特征组合和/或仅在附图中示出的特征和特征组合不仅可以在相应规定的组合中使用，而且可以在其他组合中使用或单独使用而不脱离本发明的范围。因此，实施方式也应被认为是本发明所包含和公开的，这些实施方式在附图中未明确示出和说明，而是从与所说明的实施方式分离的特征组合出现并产生的。实施方式和特征组合也应被视为已公开，因此不具有最初制定的独立权利要求的所有特征。此外，实施方式和特征组合应被认为是公开的，尤其是通过以上阐述的实施方式，其超出或偏离权利要求的关系中阐述的特征组合。
在附图中示出：
图1是根据本发明的一个实施例的具有驾驶员辅助系统的车辆的示意图；
图2是根据本发明的一个实施例的投影表面的示意图，该投影表面被配置为带有车辆的插入模型的碗；
图3是根据本发明实施例的显示在车辆显示设备上的图像表示的示意图；和
图4是根据本发明另一实施例的显示在车辆显示设备上的图像表示的示意图。
具体实施方式
图1示出了包括根据本发明实施例的驾驶员辅助系统2的车辆1的示意图。驾驶员辅助系统2包括至少一个环境传感器，在这种情况下是四个摄像机3、4、5、6，即前摄像机3、后摄像机4、左后视镜摄像机5和右后视镜摄像机6。每个摄像机3、4、5、6可以被配置为广角摄像机。因此，摄像机3、4、5、6中的每一个都可以捕获非常大的视场。在该示例中，前摄像机3包括对应的视场FOV1，该视场FOV1在水平面内由图示的边界线3a限定。类似地，后摄像机4包括对应的视场FOV2，其在水平面内被对应的边界线4a限制。左后视镜摄像机5包括对应的视场FOV3，其在水平面内由所示的边界线5a限制，右后视镜摄像机6包括对应的视场FOV4，其在水平面内由所示的边界线6a限制。因此，摄像机3、4、5、6中的每一个被配置为捕捉车辆1的环境7的对应部分7a、7b、7c、7d。此外，视场FOV1、FOV2、FOV3、FOV4成对重叠。
驾驶员辅助系统2还包括被配置为图像处理模块8的处理单元。图像处理模块8将由相应的摄像机3、4、5、6捕获的图像映射到目标表面，如碗9(见图2)或平坦的2D平面，并且随后在虚拟视点11处从任意选择的虚拟摄像机将图像合并并渲染到视口10(见图2)，从而定义视角。该视口10内的环境的图像表示以及另外的车辆1的表示然后被显示在车辆1的显示设备12上。
图2示出了投影表面的示意图，该投影表面在该示例中被配置为碗13，连同车辆1的3D模型，作为车辆表示14的示例。如上所述，由车辆摄像机3、4、5、6捕获的图像被合并在一起并投影在碗13的表面上。此外，限定了某个视口10，这取决于所选择的视角的位置，该视角在这里由虚拟视点11表示。在该示例中，选择视角11，使得提供从后面观看由车辆模型或者整体上由车辆表示14表示的车辆1的视图。最终显示在车辆1的显示设备12上的最终图像表示15如图3所示。
现在有利的是，不仅示出了与视口10相关联的车辆1的环境7的第一部分10a，还示出了车辆1的环境7的第二部分16a，其在图2中由车辆模型14后面的标记区域示出，因此可以被视为与第二视口16相关联。该第二部分16a以环境7的该第二部分16a的镜像18的形式显示在车辆表示14的特定区域上，特别是在该示例中显示在后窗17上(见图3)。因此，可以以非常自然和逼真的方式向车辆1的用户显示附加的环境信息。
通常，任何窗户表示17都可以用于显示镜像18，例如挡风玻璃19或侧窗20的表示，如图4所示。特别地，图4示出了俯视图像形式的图像表示15的另一示例的示意图，其中虚拟视点11直接位于车辆1上方，车辆1也由相应的车辆表示14表示。在这种情况下，车辆表示14优选地通过2D位图图像来提供。在这个例子中，对应的视口10是地平面，并且有利地，在这种情况下，不在该限定视口内的环境的其他部分在车辆表示14的窗户17、19、20上呈现为相应的镜像18。
因此，当镜像18呈现在构成窗户17、19、20的车辆表示14的部分上时，这是特别有利的，因为这给用户产生了光反射的非常自然的印象。通过以这种镜像18的形式示出环境的附加部分，例如使用玻璃窗，可以在根据图4中呈现的示例的俯视范围之外或者在任何其他选择的视口10之外反射环境7中的关键场景，如在图3的示例中，这极大地有助于改善驾驶员对环境7的观察。
为了提供这种镜像18，计算可以严格遵循物理光反射定律。为此，在车辆表示14以3D车辆模型14的形式提供的情况下，可以定义镜像平面，该镜像平面可以由车辆表示14的限定区域的几何形状来确定，在该限定区域上显示镜像18。但是在车辆1由2D位图图像表示的情况下，限定区域(例如窗户区域)可以与对应的镜像平面相关联，根据模型计算，特别是取决于虚拟视点11的位置，来自环境7的光在该镜像平面上被反射。
此外，当计算镜像18时，也可以允许与物理光反射定律的限定偏差。这意味着显示在玻璃上的场景可以预先设计成显示隐藏的周围场景，例如来自车辆1的远角落的关键场景。因此，有利的是，通过这种对光反射定律的人为偏离，可以扩大由该镜像18提供的视场。在这种情况下，可以应用图像扭曲和视口设计来扩展视野。图像扭曲和视口设计是变换真实摄像机3、4、5、6的原始图像以正确显示更感兴趣的图像内容的技术。
这种反射特征，即把环境的一部分显示为镜像，对于一些车辆操作性操作可能特别有用，例如车辆反向停放到停车位。此外，反射水平也是可调节的，特别是由用户调节，该反射水平定义了在车辆表示14的限定区域上出现的反射的亮度或强度。为此，可以向用户提供任何种类的输入器件，以根据他的偏好来调整反射水平。还可以提供默认的反射水平，以使反射尽可能自然，例如20％。此外，还可以向用户提供打开或关闭该玻璃反射特征的选项。因此，当此功能关闭时，玻璃将显示为透明，没有或只有非常弱的场景反射。
总之，借助于本发明或其实施例，可以以非常自然和逼真的方式向用户显示附加的可能关键的内容，而不隐藏环境的任何其他相关的表示部分，这因此在许多驾驶和停车情况下非常有益，并且降低了丢失关键信息的风险。

Claims (14)

1.一种用于在显示设备(12)上提供车辆(1)的环境(7)的至少部分的图像表示(15)的方法，包括以下步骤：
借助于至少一个车辆传感器(3，4，5，6)至少部分地捕获所述车辆(1)的环境(7)；
从限定视角(11)在限定视口(10)内提供所捕获的环境(7)的至少一个第一部分(10a)的图像表示(15)，其中所述图像表示(15)包括表示所述车辆(1)的车辆表示(14)；和
在所述显示设备(12)上显示所述图像表示(15)；
其特征在于，
当提供所述图像表示(15)时，所捕获的环境(7)的至少一个第二部分(16a)以在所述车辆表示(14)的限定区域(17，19，20)上的、所述环境(7)的所述至少一个第二部分(16a)的镜像(18)的形式被表示，
所述车辆表示(14)的所述限定区域(17，19，20)构成所述车辆表示(14)的涉及所述车辆(1)的窗户(17，19，20)的一部分，尤其是挡风玻璃(19)和/或后窗(17)和/或顶窗和/或侧窗(20)。
2.根据权利要求1所述的方法，
其特征在于，
所述环境(7)的第二部分(16a)至少部分地不同于所述环境(7)的第一部分(10a)。
3.根据前述权利要求中任一项所述的方法，
其特征在于，
根据与所述车辆表示(14)的显示所述镜像(18)的所述限定区域(17，19，20)相关联的镜像平面的限定几何形状和/或所述限定视角(11)，和/或根据所述镜像平面相对于所述限定视角(11)的位置和/或取向，来确定特定所述镜像(18)。
4.根据前述权利要求中任一项所述的方法，
其特征在于，
所述车辆表示(14)以所述车辆(1)的2D图像的形式提供，特别是位图图像，该2D图像从所述限定视角(11)表示所述车辆(1)。
5.根据前述权利要求中任一项所述的方法，
其特征在于，
视角(11)能够调节到几个预限定的离散视角(11)，其中对于每个预限定的视角(11)存储所述车辆(1)的对应2D图像，其中在视角(11)改变的情况下，2D图像和所述镜像(18)对应地改变。
6.根据前述权利要求中任一项所述的方法，
其特征在于，
所述车辆表示(14)以车辆模型的形式提供，其中所述镜像平面的几何形状由所述车辆模型的所述限定区域(17，19，20)的几何形状确定，在所述限定区域上显示所述镜像(18)。
7.根据前述权利要求中任一项所述的方法，
其特征在于，
所述限定视角(11)是能够动态调整的，其中所述车辆模型的表示和所述镜像(18)根据被动态调整的视角(11)而被动态调整。
8.根据前述权利要求中任一项所述的方法，
其特征在于，
所述车辆表示(14)的所述限定区域(17，19，20)根据所述限定视角(11)的改变而改变。
9.根据前述权利要求中任一项所述的方法，
其特征在于，
基于物理光反射定律确定所述镜像(18)。
10.根据前述权利要求中任一项所述的方法，
其特征在于，
基于与所述物理光反射定律的限定偏差来确定所述镜像(18)。
11.根据前述权利要求中任一项所述的方法，
其特征在于，
基于与所述物理光反射定律的限定偏差来确定所述镜像(18)，使得从所述限定视角(11)到由所述镜像(18)表示的所述环境(7)的第二部分(16a)上的视场比基于没有限定偏差的物理光反射定律来确定所述镜像(18)的情况中的视场大。
12.根据前述权利要求中任一项所述的方法，
其特征在于，
所述镜像(18)的反射度是能够调节的，其中所述镜像(18)和所述车辆表示(14)的限定区域(17，19，20)根据被调节的反射度交替渐变。
13.一种计算机程序产品，包括存储在计算机可读介质中的程序代码，并且当所述程序代码由电子控制设备(8)的处理器执行时，使得所述处理器执行以下步骤:
从限定视角(11)在限定视口(10)内提供捕获的环境(7)的至少一个第一部分(10a)的图像表示(15)，其中所述图像表示(15)包括表示车辆(1)的车辆表示(14)；和
在显示设备(12)上显示所述图像表示(15)；
其特征在于，
所述计算机程序产品还包括当提供所述图像表示(15)时，使所述处理器将所捕获的环境(7)的至少一个第二部分(16a)以在所述车辆表示(14)的限定区域(17,19,20)上的、所述环境(7)的所述至少一个第二部分(16a)的镜像(18)的形式被表示。
14.一种用于车辆(1)的驾驶员辅助系统(2)，用于提供所述车辆(1)的环境(7)的至少一部分的图像表示(15)，其中，所述驾驶员辅助系统(2)包括：
至少一个车辆传感器(3，4，5，6)，其被配置为至少部分地捕获所述车辆(1)的环境(7)；
处理单元(8)，其被配置为从限定视角(11)在限定视口(10)内提供所捕获的环境(7)的至少一个第一部分(10a)的图像表示(15)，其中所述图像表示(15)包括表示所述车辆(1)的车辆表示(14)；和
显示设备(12)，其被配置为显示所述图像表示(15)；
其特征在于，
所述处理单元(8)被配置为当提供所述图像表示(15)时，将所捕获的环境(7)的至少一个第二部分(16a)以在所述车辆表示(14)的限定区域(17，19，20)上的、所述环境(7)的所述至少一个第二部分(16a)的镜像(18)的形式被表示，
所述车辆表示(14)的所述限定区域(17，19，20)构成所述车辆表示(14)的涉及所述车辆(1)的窗户(17，19，20)的一部分，尤其是挡风玻璃(19)和/或后窗(17)和/或顶窗和/或侧窗(20)。
CN201980060925.6A 2018-08-10 2019-07-24 用于提供车辆环境的至少一部分的图像表示的方法、计算机程序产品和驾驶员辅助系统 Pending CN112703127A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018119481.1 2018-08-10
DE102018119481.1A DE102018119481A1 (de) 2018-08-10 2018-08-10 Verfahren zum Bereitstellen einer Bilddarstellung von mindestens einem Teil einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt und Fahrerassistenzsystem
PCT/EP2019/069857 WO2020030427A1 (en) 2018-08-10 2019-07-24 Method for providing an image representation of at least part of an environment of a vehicle, computer program product and driver assistance system

Publications (1)

Publication Number Publication Date
CN112703127A true CN112703127A (zh) 2021-04-23

Family

ID=67441120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980060925.6A Pending CN112703127A (zh) 2018-08-10 2019-07-24 用于提供车辆环境的至少一部分的图像表示的方法、计算机程序产品和驾驶员辅助系统

Country Status (7)

Country Link
US (1) US11491914B2 (zh)
EP (1) EP3833574B1 (zh)
JP (1) JP7191201B2 (zh)
KR (1) KR102447414B1 (zh)
CN (1) CN112703127A (zh)
DE (1) DE102018119481A1 (zh)
WO (1) WO2020030427A1 (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008024138A (ja) * 2006-07-20 2008-02-07 Denso Corp 画像表示装置およびプログラム
CN101681022A (zh) * 2008-03-28 2010-03-24 株式会社东芝 用于显示图像的图像显示设备和方法
US20100194596A1 (en) * 2009-02-03 2010-08-05 Denso Corporation Display apparatus for vehicle
JP2010254085A (ja) * 2009-04-23 2010-11-11 Ricoh Co Ltd フロントモニタカメラ装置及び車両左右両側確認装置
CN102934427A (zh) * 2009-12-24 2013-02-13 富士通天株式会社 图像处理装置、图像处理系统和图像处理方法
CN103481824A (zh) * 2012-06-12 2014-01-01 现代自动车株式会社 用于从成像装置图像中去除反射光的装置和方法
CN104015658A (zh) * 2013-03-01 2014-09-03 怡利电子工业股份有限公司 车用后视环景抬头显示装置
CN106573175A (zh) * 2014-06-04 2017-04-19 环球城市电影有限责任公司 用于沉浸式窗口效果的显示器
CN107517372A (zh) * 2017-08-17 2017-12-26 腾讯科技（深圳）有限公司 一种vr内容拍摄方法、相关设备及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3372944B2 (ja) * 2000-07-19 2003-02-04 松下電器産業株式会社 監視システム
JP5397373B2 (ja) * 2008-05-29 2014-01-22 富士通株式会社 車両用画像処理装置、車両用画像処理方法
JP5134504B2 (ja) * 2008-11-06 2013-01-30 クラリオン株式会社 車両周辺監視システム
DE102011084524A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
JP5669791B2 (ja) * 2012-08-07 2015-02-18 本田技研工業株式会社 移動体の周辺画像表示装置
KR102015204B1 (ko) * 2012-10-26 2019-08-27 인텔 코포레이션 비디오 방향에 기초한 멀티미디어 적응
US10324461B2 (en) * 2014-07-30 2019-06-18 Yanmar Co., Ltd. Remote control apparatus
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US10366473B2 (en) * 2017-05-23 2019-07-30 Toyota Jidosha Kabushiki Kaisha Providing traffic mirror content to a driver

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008024138A (ja) * 2006-07-20 2008-02-07 Denso Corp 画像表示装置およびプログラム
CN101681022A (zh) * 2008-03-28 2010-03-24 株式会社东芝 用于显示图像的图像显示设备和方法
US20100194596A1 (en) * 2009-02-03 2010-08-05 Denso Corporation Display apparatus for vehicle
JP2010254085A (ja) * 2009-04-23 2010-11-11 Ricoh Co Ltd フロントモニタカメラ装置及び車両左右両側確認装置
CN102934427A (zh) * 2009-12-24 2013-02-13 富士通天株式会社 图像处理装置、图像处理系统和图像处理方法
CN103481824A (zh) * 2012-06-12 2014-01-01 现代自动车株式会社 用于从成像装置图像中去除反射光的装置和方法
CN104015658A (zh) * 2013-03-01 2014-09-03 怡利电子工业股份有限公司 车用后视环景抬头显示装置
CN106573175A (zh) * 2014-06-04 2017-04-19 环球城市电影有限责任公司 用于沉浸式窗口效果的显示器
CN107517372A (zh) * 2017-08-17 2017-12-26 腾讯科技（深圳）有限公司 一种vr内容拍摄方法、相关设备及系统

Also Published As

Publication number Publication date
JP7191201B2 (ja) 2022-12-16
US20210309150A1 (en) 2021-10-07
US11491914B2 (en) 2022-11-08
DE102018119481A1 (de) 2020-02-13
KR102447414B1 (ko) 2022-09-27
WO2020030427A1 (en) 2020-02-13
KR20210042143A (ko) 2021-04-16
EP3833574B1 (en) 2023-11-15
JP2021534646A (ja) 2021-12-09
EP3833574A1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
US11689703B2 (en) Vehicular vision system with customized display
US10247941B2 (en) Vehicle vision system with light field monitor
US11241960B2 (en) Head up display apparatus and display control method thereof
CN107438538B (zh) 用于显示车辆的车辆周围环境的方法
JP6608146B2 (ja) ライブ映像を有する仮想透過型インストルメントクラスタ
US9317106B2 (en) Automatic correction device of vehicle display system and method thereof
US8780202B2 (en) Image generation apparatus
US8754760B2 (en) Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle
JP6091759B2 (ja) 車両のサラウンドビューシステム
CN113467600A (zh) 基于增强现实的信息显示方法、系统、装置及投影设备
WO2014130049A1 (en) Systems and methods for augmented rear-view displays
EP3811326B1 (en) Heads up display (hud) content control system and methodologies
JP2010130647A (ja) 車両周辺確認装置
CN113467601A (zh) 基于增强现实的信息显示方法、系统、装置及投影设备
CN113212312B (zh) 一种ar后视镜总成及其控制方法
CN112703127A (zh) 用于提供车辆环境的至少一部分的图像表示的方法、计算机程序产品和驾驶员辅助系统
JP2019133116A (ja) 表示システム、移動体、及び、設計方法
JPWO2019170202A5 (zh)
WO2020171045A1 (ja) ヘッドアップディスプレイ装置、表示制御装置、及び表示制御プログラム
JPH04365087A (ja) 表示装置
WO2019151199A1 (ja) 表示システム、移動体、及び、設計方法
CN116442907A (zh) 基于驾驶员瞳孔位置的路况展示方法、装置、车辆及介质
CN117241003A (zh) 全景图像处理方法、装置、存储介质及电子设备
CN117275376A (zh) 用于车载平视显示的重影消除方法、以及相关设备和芯片
CN116978300A (zh) Hud显示控制方法、车载显示装置及驾驶辅助系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination