CN108713216A - 用于透视变换和输出图像内容的方法、平视显示器和输出系统以及车辆 - Google Patents

用于透视变换和输出图像内容的方法、平视显示器和输出系统以及车辆 Download PDF

Info

Publication number
CN108713216A
CN108713216A CN201780016475.1A CN201780016475A CN108713216A CN 108713216 A CN108713216 A CN 108713216A CN 201780016475 A CN201780016475 A CN 201780016475A CN 108713216 A CN108713216 A CN 108713216A
Authority
CN
China
Prior art keywords
perspective transform
picture material
fritter
display
perspective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780016475.1A
Other languages
English (en)
Other versions
CN108713216B (zh
Inventor
S·布朗
C·齐斯拉
T·拜尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN108713216A publication Critical patent/CN108713216A/zh
Application granted granted Critical
Publication of CN108713216B publication Critical patent/CN108713216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/053—Detail-in-context presentations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling
    • G09G2360/122—Tiling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

本发明涉及用于透视变换和输出被呈现或检测的图像内容的方法、平视显示器和输出系统，以及具有这样的平视显示器或这样的输出系统的相应车辆。在用于透视变换和输出的方法中，将要显示的图像内容分为多个小块并且通过各一个透视变换来透视变换各个小块。接着将各个经透视变换的小块组合为一个经变换的图像内容；以及将经透视变换的图像内容投影到平视显示器的投影面上或显示在显示单元上。

Description

用于透视变换和输出图像内容的方法、平视显示器和输出系 统以及车辆
技术领域
本发明涉及用于透视变换和输出、特别是显示被呈现的和/或检测的图像内容的方法、平视显示器和输出系统以及带有这样的平视显示器或输出系统的车辆。
背景技术
车辆特别是机动车通常具有用于显示信息的装置。信息可以不仅涉及车辆的运行状态，例如油箱液位、速度、灯光设备的状态等，而且也对于驾驶员简化车辆的运行，例如通过显示导航信息，显示停车信息等。特别是可能的是，通过传感器例如通过一个或多个摄像机检测车辆的环境，且将该车辆环境例如表示为在车辆中显示器上的水平投影。为了给驾驶员尽可能舒适地显示信息，应用平视显示器，其将要显示的信息投影到驾驶员的自然的视野中，在这里驾驶员将这些信息作为虚拟图像从视觉上感知。自然的视野在此相应于对于运行车辆首先要注意的车辆环境，特别是位于车辆之前的道路走向。在信息例如投影到车辆的前挡风玻璃的情况下，驾驶员可以读取这些信息，而无需将视线由道路挪开，这提高车辆使用的安全性。
通过平视显示器的光学元件和前挡风玻璃的弯曲以及如下情况——即驾驶员通常有角度地注视前挡风玻璃——使得要显示信息的成像变形。同样但是通过传感器特别是通过一个或多个摄像机检测的车辆环境由于进行检测的传感器机构的成像元件的弯曲而变形，例如通过一个或多个带有鱼眼透镜的摄像机。为了以期望的方式、特别是不变形地亦即清晰和可容易识别地给驾驶员表示信息，特别是车辆环境的要显示的信息的成像因此必须一方面匹配于平视显示器的产生图像的装置的光路——该光路经由平视显示器的光学元件和车辆的前挡风玻璃直至驾驶员的眼睛——或者另一方面匹配于产生图像的装置的成像特性。
为了匹配于光路或产生图像的装置的成像特性，要显示的信息作为被呈现的或检测的图像内容传递给图形模块(Graphik-Engine)，该图形模块使得被呈现的或检测的图像内容经受变换。所述变换设计为，补偿如下变形，该变形例如通过平视显示器或产生图像的装置的弯曲的特别是光学元件、弯曲的前挡风玻璃和/或到前挡风玻璃上非垂直的视角生成。换言之，通过图形模块的变换被呈现的图像内容变形，以便对于观察者特别是驾驶员能实现可见感知被呈现的图像内容的矫正的成像。相应地但是也可以通过变换如此准备特别是通过传感器检测的图像内容，使得图像内容特别是可以直接在产生图像的装置上受矫正地由驾驶员可见感知。
发明内容
本发明的任务在于，提出一种方法、一种平视显示器、一种显示系统以及一种车辆，其中更灵活且更快速实施被呈现的和/或通过传感器检测的图像内容的变换和输出特别是显示。
本发明的另一任务在于，使得变换被呈现的图像内容的变换更简单地匹配于在平视显示器的光路中例如由于被呈现的图像内容在平视显示器的投影面上的成像位置的变化而引起的变化。
本发明的另一任务在于，使得变换被呈现的图像内容的变换更简单地匹配于产生图像的装置的成像特性，特别是如果通过传感器检测的图像内容将在产生图像的装置上变形地播放的话。
该任务通过按照各独立权利要求的方法、平视显示器和显示系统以及相应的车辆解决。本发明有利的设计方案是从属权利要求的内容。以说明书的一部分明确权利要求的公开内容。
本发明的第一方面涉及一种用于通过平视显示器透视变换和显示被呈现的图像内容的方法，其中，将被呈现的亦即要显示的图像内容分为多个区域、优选小块(Kacheln)或矩形。小块或包含在各个小块中的图像内容优选分别通过一个透视变换进行变换，且将各个经透视变换的小块或包含在经透视变换的小块中的经透视变换的图像内容组合为一个经透视变换的图像内容。将经透视变换的图像内容投影到配置给平视显示器的投影面上。
本发明的第二方面涉及一种用于透视变换和输出特别是通过传感器例如通过一个或多个摄像机检测的图像内容的方法，其中，将检测的特别是要显示的图像内容分为多个区域、优选小块或矩形。优选分别通过透视变换来变换各小块或包含在各个小块中的图像内容；且将各个经透视变换的小块或包含在经透视变换的小块中的经透视变换的图像内容组合为一个经透视变换的图像内容。输出经透视变换的图像内容。
本发明的第三方面涉及一种用于透视变换和显示被呈现的图像内容的平视显示器，所述平视显示器具有控制单元和投影单元。特别是按照本发明的平视显示器设置为，根据本发明的第一方面实施透视变换和显示被呈现的图像内容。优选地，控制单元具有：第一模块，所述第一模块设置为用于将被呈现的亦即要显示的图像内容分为多个区域、优选小块或矩形；第二模块、特别是图形模块，其设置为用于通过各一个透视变换特别是经由图形编程接口变换各个小块或包含在各个小块中的图像内容；以及第三模块，所述第三模块设置为用于将各个经透视变换的小块组合为一个经变换的图像内容。此外，投影单元优选设置为用于将经透视变换的图像内容投影到配置给平视显示器的投影面上。
本发明的第四方面涉及一种用于透视变换和输出特别是通过传感器例如通过一个或多个摄像机检测的图像内容的输出系统，所述输出系统具有控制单元以及输出单元、特别是数据接口。特别是按照本发明的输出系统设置为，根据本发明的第二方面实施透视变换和输出被呈现的图像内容。优选地，所述控制单元具有：第一模块，所述第一模块设置为用于将检测的特别是要显示的图像内容分为多个区域、优选小块或矩形；第二模块、特别是图形模块，其设置为用于通过各一个透视变换、特别是经由图形编程接口变换各个小块或包含在各个小块中的图像内容；以及第三模块，所述第三模块设置为用于将各个经透视变换的小块组合为一个经变换的图像内容。此外输出单元设置为用于输出经透视变换的图像内容。
第一、第二和第三模块可以分别构成为硬件或软件模块。特别是一个或两个模块可以构成为软件模块，而一个或多个其余模块可以构成为硬件模块。
优选地，构成为软件模块的第一、第二或第三模块实现在控制单元的一个或多个处理器、特别是一个或多个主处理器(CPU)上。
优选地，构成为硬件模块的第一、第二或第三模块具有至少一个带有图像处理器(GPU)的图形卡。
本发明的第五方面涉及一种车辆，其具有按照本发明的第三方面的平视显示器或按照本发明的第四方面的显示系统。
关于本发明的第一方面及其有利设计方案所述的特征和优点也适用于本发明的第二、第三、第四和第五方面以及其有利的设计方案，以及反之亦然。
在本发明的意义上可将图像内容特别是理解为一个或多个对象的光学成像。例如在图像中表示的对象是图像内容(例如树)。当图像在透视变换下改变、亦即变为另一图像时，然而图像内容不变化(变化的图像始终示出可能变形的树)。
在本发明的意义上检测借助于传感器机构特别是借助于一个或多个光学传感器实施。优选地，在此拍摄一个或多个对象、例如车辆环境。在此也可以顺序亦即基本上连续拍摄(录影)一个或多个对象。特别是，检测的对象可以通过显示器例如显示单元或投影单元表示或光学成像。
在本发明的意义上小块特别是可以理解为图像或图像内容的一部分或区域。优选地，图像或图像内容的小块具有图像内容的一部分。优选地，小块具有矩形形状。备选地，小块也可以具有其他形状，例如构成为梯形、平行四边形、菱形或三角形。特别是可以将图像或图像内容无间隙地分解或分为小块。
在本发明的意义上输出可理解为提供经透视变换的图像内容。优选地，图像内容在此提供给用于视觉表示的显示单元。备选或附加地，图像内容作为数据特别是经由数据接口提供。优选地，图像内容在此提供给驾驶员辅助机构，优选其用于导出控制参数，该控制参数用于高度自动化或半自动化特别是自主的行驶。
在本发明的意义上显示单元特别是可理解为产生图像的装置，其可以表示或显示图像或图像信息。例如显示单元可以至少部分构成为显示器(Display)或显示屏。
显示单元或产生图像的装置的成像特性在本发明的意义上特别是总是可理解为总是关于检测图像内容的传感器机构、例如一个或多个摄像机和/或透镜的产生图像的特性。例如通过鱼眼透镜检测的图像内容在相应弯曲的显示单元上无变形地表示。而在平面显示单元的情况下，图像内容的相应的透视变换是必要的，以便在显示单元上无变形地表示图像内容。
本发明特别是基于如下方案，将要显示的图像特别是被呈现或检测的图像内容——其包含要显示的信息——分为多个区域、例如小块、优选矩形或矩形小块，且将这些区域单独以各一个透视变换进行变换。换言之，模块化地实施图像亦即被呈现或检测的图像内容的透视变换。接着透视变换的区域亦即小块又组合为一个现在经透视变换的图像或图像内容，其在平视显示器中或由其投影到投影面上或输出给输出单元特别是显示在显示单元上，并且可以由观察者特别是例如具有平视显示器的车辆中的驾驶员基于进行的透视变换而优选不变形地亦即清晰且可容易识别地视觉上感知。
各个小块的透视变换在此优选与各个要透视变换的小块相协调。如果在平视显示器的光路中的变化使得要显示的图像亦即被呈现的图像内容的匹配是必要的，那么这可以通过各个透视变换的协调或匹配引起。
同样地，检测图像内容的传感器机构的产生图像的特性的变化——例如通过在摄像机之前应用其它透镜引起，由此经透视变换的图像内容将通过显示单元变形地表示——可以通过各个透视变换的协调或匹配来补偿。
特别是检测的图像内容可以通过如下方式变换，使得驾驶员可以简单地视觉上检测和/或评估在显示单元上表示的经透视变换的图像内容。优选地，经透视变换的图像内容也可以由此特别印象深刻地表示。
特别是不必要的是，协调或匹配每个单个的透视变换，或者进行唯一的全局透视变换的匹配亦即变化，其变换全部要显示的图像亦即整个被呈现或检测的图像内容。按照本发明的方法相比于匹配每个单个的透视变换或唯一的全局透视变换而要求更低的运算能力并且因此提高通过平视显示器或显示单元可以显示经变换的图像的图像速率。
优选地，通过本发明可能的是，只要这对于组合和变换的图像亦即图像内容的无变形表示或显示不是必要的，则省去这些各个小块的透视变换。特别是如果要显示的图像亦即被呈现或检测的图像内容的仅一部分必须通过透视变换或用于匹配于一方面平视显示器的光路或观察者位置或另一方面显示单元的成像特性的变换而变形或矫正，那么通过模块式透视变换可以降低用于透视变形或矫正的运算耗费，其方法是不变换如下各个小块，这些小块的图像内容不必须匹配于光路或成像特性。
优选地，各个小块的透视变换亦即模块式透视变换此外允许通过图形模块节省存储和运算时间地透视变换，所述图形模块优选被进一步处理并且特别是在当前微处理器上、特别是在不同的平台上稳定运行。更优选地，该图形模块构成为用于特别是硬件加速地处理矢量图形，从而可以基于矢量特别快速且高效实施各个透视变换。
总体上，本发明能实现呈现或检测的图像内容的快速和灵活的变换和显示。
优选地，经透视变换的图像内容可以输出给驾驶员辅助机构并且用于确定控制参数，该控制参数用于高度自动化或半自动化特别是自主的行驶。在此图像内容优选借助于由现有技术已知的图像识别算法处理，其中图像内容优选以如下方式透视变换，使得可以特别可靠和/或高效地执行这些算法。
例如可能的是，根据经透视变换的图像内容确保特别是在车辆的紧邻的环境中准确确定对象或自由空间，在对其进行考虑的情况下可以可靠地亦即无冲突地控制车辆。
在一个有利设计方案中，经透视变换的图像内容在显示单元上显示。由此通过传感器检测的图像内容可以由驾驶员特别是在任意显示器或显示屏上简单且清晰地从视觉上感知。
在另一有利设计方案中，各个小块以如下方式变换，使得经透视变换的图像内容由显示单元在至少一个第一区域中特别是在图像或图像内容的中间内不缩短地特别是未变形地表示而在至少一个第二区域中特别是在图像边缘或图像内容的边缘处缩短地亦即变形地。由此可以有利地非线性地表示图像内容，从而例如在车辆和/或车辆环境的俯视图中也在大的视角的情况下可良好识别地表示在车辆的紧邻环境中的细节。
在用于透视变换和输出、特别是显示被呈现或检测的图像内容的方法的一个有利设计方案中，在变换时关于以下特征中的至少之一透视变换每个单个的小块：梯形、拱形、伸长或缩短、旋转、位错。特别是，每个单个的小块也可以通过这些特征中的至少两个的组合来透视变换。由此要显示的图像内容能够可靠地匹配于平视显示器的光路或显示单元的成像特性。
在用于透视变换和输出、特别是显示被呈现或检测的图像内容的方法的另一有利设计方案中，邻接的小块具有重叠的图像内容。特别是，重叠的图像内容分别具有一个、两个或三个像素的宽度。由此确保，经透视变换的小块在组合为一个经透视变换的图像内容时同样重叠、具有经透视变换的图像内容或经透视变换的小块的棱边特别是齐平。特别是由此可靠地阻止：组合的经透视变换的图像内容具有如下区域，这些区域没有被至少一个经透视变换的小块覆盖并且因此表示为颜色中性的特别是黑色或白色的像素。优选地，通过方法的该特征也通过应用棱边平滑的应用、特别是通过平滑过滤器避免这些区域的生成。
在用于透视变换和输出、特别是显示被呈现或检测的图像内容的方法的另一有利设计方案中，所述图像内容作为点阵图形存在，其中，通过透视变换来移动小块的各个像素。由此可以将被呈现或检测的图像内容特别简单地分为不同区域、优选小块或矩形或矩形小块，其中，将在点阵图形的预定数量的像素分别配置给一个区域或一个小块。通过透视变换来移动点阵图形的属于各一个小块的各个像素。由此可以特别简单地实现透视变换。
优选地，所述点阵图形具有不同的颜色深度，特别是32、24、16、8或4位。更优选地，点阵图形也可以具有位于这些值之间的颜色深度。更优选地，点阵图形也可以具有大于32位或小于4位的颜色深度。更优选地，点阵图形的不同像素分别具有不同的颜色深度。特别是优选地，点阵图形的一些关联的像素——其分别属于单个小块——分别具有相同的颜色深度。特别是优选地，单个小块的颜色深度仅仅与用于颜色真实地表示包含在各个小块中的图像内容一样高是必要的。由此特别是被呈现的图像内容需要(特别是在缓冲存储器中的)特别少的存储空间，小块的透视变换可以特别高效地实施。
在用于透视变换和输出、特别是显示被呈现或检测的图像内容的方法的一个有利设计方案中，在透视变换时实施小块的各个像素、特别是如下像素的内插、特别是线性内插，所述像素邻接于通过透视变换而移动的像素和/或位于通过透视变换移动的像素之间。由此可靠地避免：生成带有未配置颜色值的像素的区域。优选地，每个小块的像素的数量少，从而各个像素在透视变换时不在大的间隔上移动。在该情况下，位于透视变换时所移动的像素之间的像素的线性内插提供经透视变换的图像内容，其由平视显示器或显示单元产生的成像可以清晰且清楚地(亦即特别是没有认为痕迹地)视觉上感知。线性内插特别是仅仅引起小的运算耗费，亦即计算的处理器的负荷小，因此可以快速且高效实施透视变换。
在用于透视变换和输出、特别是显示被呈现或检测的图像内容的方法的另一有利设计方案中，通过与变换矩阵相乘来透视变换各个小块，这允许应用矢量图形技术。优选地，变换矩阵是3x3矩阵。与变换矩阵相乘可实施特别简单且精确方式的变换。相应的透视变换可以因此特别快速且高效地特别是由图形模块实施。特别是因此可能的是，对于图像速率——以该图像速率透视变换被呈现或检测的图像内容——达到每秒30至90、优选45至75、特别优选基本上60个经透视变换的图像内容的值。在方法的一种特别有利的设计方案中可能的是，达到每秒90至160、优选基本上120个经透视变换的图像内容的值。
优选地，在与变换矩阵相乘时小块的各个像素特别是四个角点的位置——其优选通过支持矢量给出——与变换矩阵相乘。支持矢量在此是这样的矢量，其说明像素相对于原点的位置，其中原点特别是可以是小块或图像亦即被呈现或检测的图像内容的角点或中心点。通过支持矢量与变换矩阵的相乘，小块的各个像素的位置相对于原点移动。优选地，特别是通过线性内插来内插如下像素，该像素位于特别是与之邻接的移动的像素之间。优选地，由此闭合在经透视变换的小块的图像内容中的空隙。
优选地，可以通过选择在划分要显示的图像内容时小块的数量或规格亦即大小或面积确定、特别是限制特别是要线性内插的像素的数量，因为随着小块数量增加，每个小块的必须透视变换的像素的数量减少。由此确保：特别是位于移动的像素之间特别是与移动的像素邻接的像素的线性内插在小块或组合透视变换的且通过平视显示器或显示单元要显示的或通过输出单元要输出的图像内容上产生清楚且清晰的经透视变换的图像内容，亦即没有人为痕迹的经透视变换的图像内容。
优选地，选择大于临界数量或大小的小块的数量或规格，其中特别是要线性内插的像素的数量如此小，使得人为痕迹特别是各角在经透视变换的图像内容中出现。由此确保：组合的经透视变换的且通过平视显示器或显示单元要显示或通过输出单元要输出的图像内容不具有人为痕迹、特别是角。优选地，如此选择小块的数量和/或大小，使得小块重叠，特别是分别以一个或多个像素重叠。
在用于透视变换和输出、特别是显示被呈现或检测的图像内容的方法的一个有利设计方案中，所述变换矩阵从多个变换矩阵选择。特别是多个变换矩阵在此优选分别包含用于每个要透视变换的小块的变换矩阵。由此可以确保：变换矩阵匹配于一方面在平视显示器中相应要透视变换的小块的成像的光路或另一方面匹配于显示单元的成像特性、特别是关于检测图像内容的传感器机构的成像特性，或者特别是可以各自匹配于在成像的光路中或显示单元的成像特性的变化。更优选地，多个变换矩阵包含不同的透视变换。
通过应用变换矩阵，每个矢量的透视变换是可实现的。由此可以使得透视变换特别好地匹配于光路或成像特性。特别优选地，利用多个变换矩阵中的一个变换矩阵实施的透视变换涉及以下特征中至少之一：梯形、拱形、伸长或缩短、旋转、位错。
在用于透视变换和显示被呈现的图像内容的方法的另一有利设计方案中，各个小块的透视变换由图形模块优选经由图形编程接口、特别是OpenVG实施。图形模块的应用特别是通过硬件加速显著加速各个小块的透视变换并且降低中央处理器(CPU)的运算负荷。优选地应用如下图形编程接口，其是广泛应用的并且按照标准针对微处理器提供。更优选地，图形编程接口在多个平台上可用。此外应用的图形编程接口优选允许应用图形模块，其提供矢量图形的硬件加速的处理或计算。
在用于透视变换和输出、特别是显示被呈现或检测的图像内容的方法的另一有利设计方案中，所述经透视变换的小块保存在缓冲存储器中。缓冲存储器允许特别快速地访问保存在其中的经透视变换的小块，特别是在组合为一个整个透视变换的要显示或要输出的图像或图像内容时。
在用于透视变换和输出、特别是显示被呈现或检测的图像内容的方法的另一有利设计方案中，仅透视变换多个小块中的一部分，并且为了组合经变换的图像内容而由缓冲存储器加载其余的经变换的小块。由此可以显著加速透视变换的要显示的图像或图像内容的组合。特别是可以由此达到每秒30至90、优选45至75、特别优选基本上60个经透视变换的图像内容的图像速率，以该图像速率透视变换被呈现或检测的图像内容。在方法的一种特别有利的设计方案中可能的是，达到每秒90至160优选基本上120个经透视变换的图像内容的值。
在用于透视变换和输出、特别是显示被呈现或检测的图像内容的方法的另一有利设计方案中，仅透视变换多个小块中的一部分，该部分包含图像内容的如下元素，所述元素已经关于之前要变换和输出、特别是显示的和/或要投影的图像内容而改变过。特别是其余的需要用于将经透视变换的小块组合为透视变换的要显示的图像内容的经透视变换的小块由缓冲存储器来加载。由此特别是确保，由透视变换要求的处理器仅仅处理被呈现或检测的图像内容的如下部分，该部分不同于之前透视变换的和输出。特别是显示的图像内容，亦即包含改变过的要显示的信息或要显示的信息的改变过的表示，由此相比于实施所有小块的透视变换显著降低该处理器的运算功率。由此可以对于计算特别高效地安排这样的处理器的运算功率，并且达到每秒30至90、优选45至75、特别优选基本上60个经透视变换的图像内容的图像速率，以该图像速率来透视变换被呈现或检测的图像内容。在方法的一种特别有利的设计方案中可能的是，达到每秒90至160、优选基本上120个经透视变换的图像内容的值。
在用于透视变换和输出、特别是显示被呈现或检测的图像内容的方法的另一有利设计方案中，多个小块的不同部分具有不同的颜色深度，特别是32、24、16、8和4位。更优选地，多个小块的不同部分也可以具有位于其间的值的颜色深度。更优选地，多个小块的不同部分也可以具有大于32位或小于4位的颜色深度。特别是各小块分别具有尽可能小的颜色深度，其中相应包含的图像内容还可以颜色真实地亦即不降低颜色质量地显示或表示。优选地，透视变换特别是优选带有不同颜色深度的多个小块的各个像素的线性内插在要透视变换的小块的相应颜色深度下实施。由此确保：透视变换或经透视变换的小块仅仅需要少量存储空间或者优选线性的内插需要少的运算需要。由此可以特别快速和高效实施各个像素的透视变换、特别是优选线性的内插。
在用于透视变换和输出、特别是显示被呈现或检测的图像内容的方法的另一有利设计方案中，所述多个小块在透视变换时通过点或线反射进行反射并且组合为一个透视变换的反射的图像内容。由此透视变换的要显示的图像内容的图像定向可以匹配于平视显示器的光路或显示单元的成像特性。特别是可以通过反射省去在平视显示器中应用附加的光学元件，这些附加的光学元件改变特别是转动或反射经透视变换的图像内容的图像定向以便无缺陷地在平视显示器的投影面上成像。由此平视显示器得到特别简单的结构。
附图说明
本发明另外的特征、优点和应用可能由以下说明结合附图产生。附图至少部分示意地示出：
图1示出用于通过平视显示器或输出单元变换和输出、特别是显示被呈现或检测的图像内容的方法的一个实施形式；
图2示出利用按照本发明的方法的一个实施形式分为多个小块的被呈现的图像内容的视图；
图3示出小块的透视变换的视图；
图4示出利用按照本发明的方法的一个实施形式通过各个小块的透视变换进行经变换的图像内容的视图；
图5示出基本的透视变换的多个结果的视图；
图6示出点阵和变形的点阵的视图；
图7示出在投影面上支持点的包络的视图；以及
图8示出检测的图像内容及其透视变换的视图。
具体实施方式
图1示出用于通过平视显示器或输出单元、特别是显示单元变换和输出、特别是显示被呈现或检测的图像内容的方法100，以下参照其他附图对其进行阐述。
图2示出利用按照本发明的方法100的一个实施形式分为多个小块2的被呈现的图像内容1的视图。图像内容1包含多个元素7、8、9、10，它们间接和/或直接涉及车辆运行，特别是要注意的交通规则7、警告指示8、导航信息9和/或速度信息10。元素7、8、9、10分别是总的图像内容1的一部分。元素7、8、9优选作为图示显示和/或表示或成像。更优选地，元素9、10作为字符和/或字标特别是数字标志显示和/或表示或成像。图像内容1优选是被呈现的，从而该图像内容1作为数字图像、特别是作为点阵图形存在。由此图像内容1可以容易地通过数字方法特别是变换、优选透视变换处理亦即改变和/或修改、特别是变形。
在方法步骤101中将被呈现的图像内容1分为多个区域、特别是小块2、优选矩形小块2。更优选地，小块2是正方形的。小块2的边缘在示出的实施例中为了更好的描述性而通过水平和垂直线11标记。
优选地，各个小块2包围各个元素7、8、9、10或元素7、8、9、10的部分，亦即全部图像内容1的包含在各个小块2中的部分表示各个元素7、8、9、10或元素7、8、9、10的部分。
优选地，不同的小块2具有不同颜色深度，特别是32、24、16、8或4位。更优选地，不同小块也可以具有位于这些值之间的颜色深度。更优选地，不同的小块也可以具有大于32位或小于4位的颜色深度。更优选地，小块2的颜色深度仅仅与图像内容1的包含在小块2中的部分一样高是必要的，以便清楚和清晰亦即颜色真实地表示。特别是，不包含图像内容1的元素7、8、9、10的小块2具有特别低的颜色深度，例如4位或1位。优选地，包含单色元素7、8、9、10或元素7、8、9、10的单色部分、特别是字符或字标和/或数字标志的小块2具有低的颜色深度，特别是16、8或4位或位于其间的值。由此可以显著降低被呈现的图像内容1或各个小块2的存储空间。
图3示出小块2的透视变换3的视图。透视变换3在方法步骤102中由优选矩形特别是正方形的小块2产生经透视变换的小块4。
优选地，透视变换3通过矩阵乘法特别是与变换矩阵、例如3x3矩阵相乘在方法步骤102中实现。在此，各个像素、特别是优选作为点阵图形存在的小块2的四个角点——所述像素通过支持矢量说明——与产生透视变换的矩阵相乘。支持矢量是如下矢量，其说明像素关于原点的位置，特别是关于小块2或由小块2组成的图像亦即被呈现或检测的图像内容1、1’的四个角之一，或者小块2或由小块2组成的图像亦即被呈现或检测的图像内容1、1’的中点。
在示出的实施例中，通过透视变换3特别是通过支持矢量与变换矩阵的相乘在方法步骤102中给小块2的四个角点配置新的位置，其通过四个虚线箭头12标明。特别是在此要透视变换的像素的支持矢量的数值亦即长度和方向亦即定向改变。
如果在方法步骤102中通过透视变换3在经透视变换的小块4的像素之间生成空隙，那么这些空隙优选通过内插特别是通过线性内插在方法步骤103中闭合。特别是与通过透视变换3移动的像素邻接的和/或位于或设置其间的像素通过内插配置一个值，从而经透视变换的小块4具有经变换的图像内容5的无间隙的部分，亦即可没有人为痕迹地表示。优选地，通过线性内插在方法步骤103中实施经透视变换的图像内容的平滑化，从而该图像内容无人为痕迹地可通过平视显示器或显示单元表示。
图4示出利用按照本发明的方法100的一个实施形式组合的经变换的图像内容5的视图，该图像内容在方法步骤104中通过在方法步骤102中各个小块2的透视变换3产生。为了更好的可描述性，经透视变换的小块4的边缘如图1中那样通过基本上水平和基本上垂直的线11示出。
各个小块2在方法步骤102中的透视变换3中通过相应不同的透视变换3特别是相应不同的变换矩阵亦即模块式变换且在方法步骤104中组合为一个经透视变换的图像内容5。经透视变换的图像内容5在方法步骤105中优选通过平视显示器投影到配置给平视显示器的投影面上或由显示单元显示，在该投影面上图像内容5由用户、特别是配备平视显示器的车辆的驾驶员视觉上感知为不变形的图像。在方法步骤105中但也可以将透视变换的图像内容5特别是通过输出单元、例如作用数据经由相应的数据接口输出。优选地，经透视变换的图像内容5在此提供给驾驶员辅助装置。
通过在方法步骤102中单独的亦即模块式的透视变换3，每个经透视变换的小块4优选获得与邻接的经透视变换的小块4不同的形状。特别是由此产生闭合的或连续的优选无人为痕迹的经变换的图像内容5，其可以作为闭合的或连续的优选无人为痕迹的图像表示或显示。优选地，通过单独的透视变换3将邻接的小块2通过如下方式透视变换，使得其边缘闭合、亦即齐平地相互邻接。更优选地，对于每个小块2从多个透视变换3选择一个透视变换3，或对于每个小块2特别是单独地匹配透视变换3，从而在透视变换3和与相邻的经透视变换的小块4组合之后产生一个闭合的无人为痕迹的经透视变换的图像内容5。特别是相应的透视变换3对于各个小块2如此选择或匹配，使得在组合为经透视变换的图像内容5之后，没有棱边、弯折、不连续点和/或没有噪音在经透视变换的图像内容5或可示出的透视变换的图像中出现。
更优选地，被呈现或检测的图像内容1、1’在透视变换3之前在方法步骤101中分为具有重叠的边缘的小块2，亦即被呈现或检测的图像内容1、1’的一部分通过多于一个的小块2表示或者包含多于一个的小块2。特别是邻接的小块2的边缘重叠。重叠的边缘亦即重叠的区域可以具有不同宽度，特别是1、2、3或更多个像素。更优选地，选择或匹配重叠的边缘的宽度，从而在将经透视变换的小块4在方法步骤104中组合为一个经透视变换的图像内容5时，通过经透视变换的图像内容5可表示或可显示和/或可描绘的透视变换的图像的每个区域由至少一个经透视变换的小块4覆盖。由此经透视变换的小块4的边缘不必须闭合地、亦即齐平地相互邻接，从而在选择对于单个小块2适合的透视变换3或将透视变换3匹配于单个小块2时存在较大的自由度。特别是经透视变换的小块4必须由此仅仅基本上闭合、亦即齐平地相互邻接。
优选地，经透视变换的小块4的重叠的区域或重叠的边缘在方法步骤104中组合为经透视变换的图像内容5时通过如下方式平滑化、特别是求平均或内插，使得产生在邻接的经透视变换的小块4之间的无缝过渡。由此特别可靠地避免在组合的经透视变换的图像内容5中的人为痕迹、特别是棱边、弯折、不连续点和/或噪音。
图5示出单个和/或多个小块2的基本的透视变换3的多个结果。
图5A示出透视变换3的结果，该透视变换将矩形小块2透视变换为梯形的小块。
图5B示出透视变换3的结果，该透视变换将矩形小块2透视变换为平行四边形小块。这是图5A的特例。
图5C示出透视变换3的结果，该透视变换将矩形小块2透视变换为带有两个凸的对置侧边的拱形或桶形的小块。
图5D示出透视变换3的结果，该透视变换3将矩形小块2透视变换为带有凸的和凹的对置侧边的拱形或卷曲的小块。这是图5C的特例。
优选地，如下实现在图5C和D中示出的透视变换3，其方法是将小块2分为另外的特别是更小的小块，且将这些小块借助于一个或多个透视变换3以如下方式透视变换，使得在组合另外的特别是更小的小块时引起期望的小块形状，例如拱形或桶形或带有凸的和/或凹的对置侧边的卷曲的小块。
图5E示出透视变换3的结果，该透视变换将矩形小块2透视变换为缩短或伸长的小块。
图5F示出透视变换3的结果，该透视变换将矩形小块2透视变换为特别是相对于矩形小块2旋转的、亦即转动了确定的角的小块。
优选地，单个小块2的透视变换3由多个基本的透视变换3组合，其结果在图5A至F中示出。由此可能的是，对于每个单个的小块2从多个透视变换3选择一个透视变换3或匹配透视变换3，从而在方法步骤104中组合经透视变换的小块4之后产生特别是无人为痕迹的、经透视变换的图像内容5，所述图像内容特别是没有棱边、弯折、不连续点和/或噪音。
为了确定：必须通过何种方式在方法步骤102中透视变换被呈现或检测的图像内容1、1’，以便给车辆驾驶员在方法步骤105中作为不变形的图像显示，将正常的特别是有规律的点阵13变形，从而变形相应于对平视显示器光路的或对显示单元的成像特性的匹配。
图6示出(上图像部分)正常的点阵13和(下图像部分)通过变形引起的变形的点阵14的视图。在将被呈现或检测的图像内容1、1’分为多个小块2时应用或考虑。变形的点阵14的点阵点16——作为点示出——在选择适合的透视变换3或匹配各个要透视变换的小块2的透视变换3时得到应用或考虑正常的点阵13的点阵点15(作为叉示出)。由此例如可靠地确保：在方法步骤102中被呈现或检测的图像内容1、1’的透视变换相应于对平视显示器的光路的或对显示单元的成像特性的匹配。
优选地，正常的点阵13的变形亦即转变为变形的点阵14通过透视变换3或基本的透视变换3的组合进行，其结果在图4中示出。
更优选地，正常的点阵13的点阵点15说明小块2的位置。更优选地，变形的点阵14的点阵点16说明经透视变换的小块4的位置。特别是正常的点阵13的点阵点15用作小块2的输出支持点，优选作为其中点或其角点。特别是变形的点阵14的点阵点16用作经透视变换的小块4的目标支持点，优选作为其中点或其角点。
图7示出在产生图像的单元上被呈现或检测的图像内容或者被呈现或检测的图像内容按照本方法透视变换的图像内容的分布的视图。产生图像的单元构成为，在显示器6上在方法步骤105中图像内容表示或成像为图像，其中，显示器6可以是平视显示器或显示单元的部分。由显示器6优选仅仅规定通过虚线表示的确定的变换区域17，以便表示或描绘经透视变换的图像内容5。优选如此选择或匹配各个小块的透视变换，使得在方法步骤102中经透视变换的图像内容5不超出变换区域17。
被呈现的图像内容在方法步骤102中透视变换之前例如在输出区域19内在显示器6上无变形地表示。为了确保在通过平视显示器被呈现的图像内容成像时然而也由使用者无变形地从视觉上感知，被呈现的图像内容在显示器6上的表示必须匹配于平视显示器的光路。与此相应透视变换的图像内容仅仅在显示器6上目标区域18内变形地表示，从而正好补偿表示的图像内容的通过平视显示器的光路引起的变形。
通过传感器方式例如通过带有鱼眼透镜的一个或多个摄像机检测的图像内容在方法步骤102中透视变换之前相比之下例如在显示器6上的目标区域18之内变形地表示。为了确保在检测的图像内容通过显示器6成像时然而也由使用者无变形地从视觉上感知，检测的图像内容因此必须匹配于显示器6的成像特性，特别是关于检测的传感器机构的产生图像的特性。相应经透视变换的图像内容现在在显示器6上输出区域19内无变形地表示。
在被呈现的图像内容的情况下，在图6中示出的变形的点阵14的点阵点16的位置优选位于通过细点线表示的目标区域18内，其特别是变换区域17的一部分。目标区域18用作变形的点阵的点阵点16或经透视变换的小块4的目标支持点的包络。目标区域18优选小于变换区域17，因为经透视变换的小块2具有横向伸长并且由此阻止：经透视变换的小块4并由此经透视变换的图像内容5的部分超出变换区域17。
相应地在该情况下，正常的点阵13的点阵点15的位置通过由实细线表示的输出区域19显示。输出区域用作正常的点阵13的点阵点15或小块2的输出支持点的包络。输出区域19优选小于变换区域17，因为各个小块2的位置通过透视变换3朝显示器6的边缘或变换区域17的边缘移动或者可以增大各个小块2的横向伸长。由此可靠地确保：分为多个小块2的被呈现的图像内容1在透视变换3和将各个小块2组合为一个经透视变换的图像内容5之后不超出显示器6或显示器6的变换区域17。
在图8的左侧部分中示出通过摄像机检测的图像内容(1’)。图像内容(1’)在此表示车辆环境的至少一部分，如其例如通过在车辆尾部上带有鱼眼透镜的摄像机检测。通过鱼眼透镜覆盖大的视野、亦即大的角度范围。不过在此产生检测的图像内容(1’)的变形。
为了在显示器上无变形地表示检测的图像内容(1’)，检测的图像内容(1’)通过例如标记的线11分为多个区域、特别是小块2。透镜11在此限定小块2的边缘。
在该示例中，这些区域如所示不是矩形的。特别是小块2不是相统一的，亦即各小块根据在检测的图像内容(1’)内的位置具有不同形状和/或大小。
小块2中的每个特别是通过优选与3x3变换矩阵的矩阵乘法来透视变换。优选地，在此小块2中的每个根据其在检测的图像内容(1’)内的位置借助一组不同变换矩阵中的一个变换矩阵来透视变换。
优选地，由此在组合经透视变换的小块4时产生经透视变换的图像内容5，其相应于通过传感器检测的图像内容(1’)的不变形的成像。这在图8的左侧部分中表示。
备选地，但是也可以产生部分变形的经透视变换的图像内容5。特别是例如可以缩短经透视变换的图像内容5的边缘区域，以便在边缘区域中引起提高的信息密度、例如拓展的视野。
按照本发明的方法特别是可以用于合并通过多个摄像机单独检测的图像内容1’。在此多个图像内容1’分别分为多个区域、特别是小块2，且如此选择对于在多个图像内容1’中的各个区域2的透视变换，使得可以将引起的经透视变换的小块4组合为一个唯一的关联的经透视变换的图像内容5。
可能的附图标记列表：
1 被呈现的图像内容
1’ 检测的图像内容
2 小块
3 透视变换
4 经透视变换的小块
5 经变换的图像内容
6 显示器
7 交通规则
8 警告指示
9 导航信息
10 速度信息
11 小块边缘
12 箭头
13 正常的点阵
14 变形的点阵
15 正常的点阵的点阵点
16 变形的点阵的点阵点
17 变换区域
18 目标区域
19 输出区域
100 用于通过平视显示器或输出单元透视变换和输出被呈现或检测的图像内容的方法
101 将被呈现或检测的图像内容分为多个小块
102 多个小块的透视变换
103 内插
104 将经透视变换的小块组合为一个经透视变换的图像内容
105 通过平视显示器将经透视变换的图像内容投影到投影面上或通过输出单元输出

Claims (19)

1.用于通过平视显示器透视变换和显示被呈现的图像内容的方法(100)，具有如下步骤：
·将要显示的、特别是被呈现的图像内容(1)分为(101)多个小块(2)；
·通过各一个透视变换(3)来变换(102)各个小块(2)；
·将各个经透视变换的小块(4)组合(104)为一个经变换的图像内容(5)；以及
·将经透视变换的图像内容(5)投影(105)到配置给平视显示器的投影面上。
2.用于透视变换和输出检测的图像内容的方法(100)，具有如下步骤：
·将检测的图像内容(1’)分为(101)多个小块(2)；
·通过各一个透视变换(3)来变换(102)各个小块(2)；
·将各个经透视变换的小块(4)组合(104)为一个经变换的图像内容(5)；以及
·输出(105)经透视变换的图像内容(5)。
3.根据权利要求2所述的方法(100)，其中，将经透视变换的图像内容(5)显示在显示单元上。
4.根据权利要求3所述的方法(100)，其中，以如下方式变换各个小块(2)，使得经透视变换的图像内容(5)由显示单元在至少一个第一区域中不缩短地表示而在至少一个第二区域中缩短地表示。
5.根据权利要求1至4之一所述的方法(100)，其中，在变换(102)时关于以下特征中的至少之一来透视变换每个单个的小块(2)：梯形、拱形、伸长或缩短、旋转、位错。
6.根据权利要求1至5之一所述的方法(100)，其中，邻接的小块(2)具有重叠的图像内容。
7.根据上述权利要求之一所述的方法(100)，其中，图像内容(1、1’)作为点阵图形存在并且通过透视变换(3)来移动小块(2)的各个像素。
8.根据上述权利要求之一所述的方法(100)，其中，在透视变换(3)时实施小块(4)单个像素、特别是如下像素的内插(103)、特别是线性内插，所述像素邻接于通过透视变换(3)而移动的像素和/或位于所述通过透视变换而移动的像素之间。
9.根据上述权利要求之一所述的方法(100)，其中，通过与变换矩阵相乘来透视变换(102)各个小块(2)。
10.根据权利要求9所述的方法(100)，其中，所述变换矩阵从多个变换矩阵选择。
11.根据上述权利要求之一所述的方法(100)，其中，各个小块(2)的透视变换(102)由图形模块经由图形编程接口、特别是OpenVG实施。
12.根据上述权利要求之一所述的方法(100)，其中，经透视变换的小块(4)保存在缓冲存储器中。
13.根据权利要求12所述的方法(100)，其中，仅透视变换(102)所述多个小块(2)中的一部分，并且为了组合(104)为经透视变换的图像内容(5)由缓冲存储器加载其余的经变换的小块(4)。
14.根据上述权利要求之一所述的方法(100)，其中，仅透视变换(102)所述多个小块(2)中的一部分，该部分包含图像内容(1、1’)的如下元素(7、8、9、10)，所述元素已经关于之前要变换和要输出的、特别是要显示或要投影的图像内容而改变过。
15.根据上述权利要求之一所述的方法(100)，其中，多个小块(2)的不同部分具有不同的颜色深度，特别是32、24、16、8和4位。
16.根据上述权利要求之一所述的方法(100)，其中，所述多个小块(2)在透视变换(102)时通过点或线反射进行反射并且组合(104)为一个经透视变换的反射的图像内容(5)。
17.用于利用根据上述权利要求之一所述的方法(100)透视变换和显示被呈现的图像内容的平视显示器，具有：
·控制单元，其具有：第一模块，所述第一模块设置为用于将要显示的、特别是被呈现的图像内容(1)分为(101)多个小块(2)；第二模块，所述第二模块设置为用于通过各一个透视变换(3)来变换(102)各个小块(2)；以及第三模块，所述第三模块设置为用于将各个经透视变换的小块(4)组合(104)为一个经变换的图像内容(5)；以及
·投影单元，其设置为用于将经透视变换的图像内容(5)投影(105)到配置给平视显示器的投影面上。
18.用于利用根据上述权利要求之一所述的方法(100)透视变换和输出检测的图像内容的输出系统，具有：
·控制单元，其具有：第一模块，所述第一模块设置为用于将检测的图像内容(1’)分为(101)多个小块(2)；第二模块，所述第二模块设置为用于通过各一个透视变换(3)来变换(102)各个小块(2)；以及第三模块，所述第三模块设置为用于将各个经透视变换的小块(4)组合(104)为一个经变换的图像内容(5)；以及
·输出单元，其设置为用于输出(105)经透视变换的图像内容(5)。
19.车辆、特别是机动车，具有根据权利要求17所述的平视显示器和/或根据权利要求18所述的输出系统。
CN201780016475.1A 2016-03-11 2017-02-03 用于透视变换和输出图像内容的方法、平视显示器和输出系统以及车辆 Active CN108713216B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016204044.8A DE102016204044A1 (de) 2016-03-11 2016-03-11 Verfahren und head-up-display zum perspektivischen transformieren und anzeigen eines bildinhalts sowie fahrzeug
DE102016204044.8 2016-03-11
PCT/EP2017/052381 WO2017153099A1 (de) 2016-03-11 2017-02-03 Verfahren, head-up-display und ausgabesystem zum perspektivischen transformieren und ausgeben eines bildinhalts sowie fahrzeug

Publications (2)

Publication Number Publication Date
CN108713216A true CN108713216A (zh) 2018-10-26
CN108713216B CN108713216B (zh) 2022-08-30

Family

ID=57680244

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680083399.1A Pending CN108780566A (zh) 2016-03-11 2016-12-16 用于透视变换和显示图像内容的方法和平视显示器以及车辆
CN201780016475.1A Active CN108713216B (zh) 2016-03-11 2017-02-03 用于透视变换和输出图像内容的方法、平视显示器和输出系统以及车辆

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680083399.1A Pending CN108780566A (zh) 2016-03-11 2016-12-16 用于透视变换和显示图像内容的方法和平视显示器以及车辆

Country Status (5)

Country Link
US (2) US10460428B2 (zh)
EP (2) EP3427223B1 (zh)
CN (2) CN108780566A (zh)
DE (1) DE102016204044A1 (zh)
WO (2) WO2017153016A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114822269A (zh) * 2022-06-27 2022-07-29 深圳市联诚发科技股份有限公司 飘带状显示屏的智能显示方法、装置、设备及存储介质
CN114927090A (zh) * 2022-05-30 2022-08-19 卡莱特云科技股份有限公司 一种异形led显示屏中灯点的排序方法、装置及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020136859A1 (ja) 2018-12-28 2020-07-02 日本電気株式会社 推定装置、推定方法、及びコンピュータ読み取り可能な記録媒体

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030202212A1 (en) * 2002-04-30 2003-10-30 Microsoft Corporation Mixed raster content files
CN1491515A (zh) * 2001-12-10 2004-04-21 ������������ʽ���� 利用相机校准投影仪的方法
US20050210405A1 (en) * 2001-09-13 2005-09-22 Pixia Corp. Image display system
US20070008344A1 (en) * 2005-06-10 2007-01-11 German Medina Manipulation of Projected Images
US20090204890A1 (en) * 2008-02-06 2009-08-13 Brothrt Kogyo Kabushiki Kaisha Image processing apparatus and image processing program
US20110187903A1 (en) * 2010-02-02 2011-08-04 Samsung Electronics Co., Ltd. Digital photographing apparatus for correcting image distortion and image distortion correcting method thereof
US20130321678A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Systems and methods for lens shading correction
CN103600707A (zh) * 2013-11-06 2014-02-26 同济大学 一种智能泊车系统的泊车位检测装置及方法
DE102013019144A1 (de) * 2013-11-15 2015-05-21 Audi Ag Steuerung und Verfahren zum Bereitstellen eines elektronischen Bildsignals für ein Head-up-Display
US20150160539A1 (en) * 2013-12-09 2015-06-11 Geo Semiconductor Inc. System and method for automated test-pattern-free projection calibration

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6192393B1 (en) * 1998-04-07 2001-02-20 Mgi Software Corporation Method and system for panorama viewing
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP2005202593A (ja) * 2004-01-14 2005-07-28 Seiko Epson Corp 画像処理装置、プログラム及び方法
KR101220894B1 (ko) * 2004-02-04 2013-01-11 마이크로비젼, 인코퍼레이티드 주사-빔 헤드업 디스플레이 및 관련 시스템 및 방법
EP1800245B1 (en) * 2004-09-09 2012-01-04 Silicon Optix Inc. System and method for representing a general two dimensional spatial transformation
US20080186415A1 (en) * 2006-06-16 2008-08-07 Alphacurve, Inc. Curved screen display system and method
US8406562B2 (en) * 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
CN101742125B (zh) * 2008-11-27 2012-07-04 义晶科技股份有限公司 鱼眼图像校正及减轻透视变形的图像处理方法及相关装置
JP5735227B2 (ja) * 2010-07-16 2015-06-17 ルネサスエレクトロニクス株式会社 画像変換装置及び画像変換システム
DE102012001951A1 (de) * 2012-02-02 2013-08-08 Daimler Ag Anzeigevorrichtung für ein Fahrzeug und Verfahren zum Betreiben einer Anzeigevorrichtung
GB2499635B (en) * 2012-02-23 2014-05-14 Canon Kk Image processing for projection on a projection screen
US9251743B2 (en) * 2013-03-15 2016-02-02 Seattle Photonics Associates Optical system for head-up and near-to-eye displays
GB2526159B (en) * 2014-05-16 2017-12-20 Two Trees Photonics Ltd Diffuser for head-up display

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050210405A1 (en) * 2001-09-13 2005-09-22 Pixia Corp. Image display system
CN1491515A (zh) * 2001-12-10 2004-04-21 ������������ʽ���� 利用相机校准投影仪的方法
US20030202212A1 (en) * 2002-04-30 2003-10-30 Microsoft Corporation Mixed raster content files
US20070008344A1 (en) * 2005-06-10 2007-01-11 German Medina Manipulation of Projected Images
US20090204890A1 (en) * 2008-02-06 2009-08-13 Brothrt Kogyo Kabushiki Kaisha Image processing apparatus and image processing program
US20110187903A1 (en) * 2010-02-02 2011-08-04 Samsung Electronics Co., Ltd. Digital photographing apparatus for correcting image distortion and image distortion correcting method thereof
US20130321678A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Systems and methods for lens shading correction
CN103600707A (zh) * 2013-11-06 2014-02-26 同济大学 一种智能泊车系统的泊车位检测装置及方法
DE102013019144A1 (de) * 2013-11-15 2015-05-21 Audi Ag Steuerung und Verfahren zum Bereitstellen eines elektronischen Bildsignals für ein Head-up-Display
US20150160539A1 (en) * 2013-12-09 2015-06-11 Geo Semiconductor Inc. System and method for automated test-pattern-free projection calibration

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何明耘等: "虚拟座舱中平显功能实现算法研究", 《小型微型计算机系统》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114927090A (zh) * 2022-05-30 2022-08-19 卡莱特云科技股份有限公司 一种异形led显示屏中灯点的排序方法、装置及系统
CN114927090B (zh) * 2022-05-30 2023-11-28 卡莱特云科技股份有限公司 一种异形led显示屏中灯点的排序方法、装置及系统
CN114822269A (zh) * 2022-06-27 2022-07-29 深圳市联诚发科技股份有限公司 飘带状显示屏的智能显示方法、装置、设备及存储介质
CN114822269B (zh) * 2022-06-27 2022-09-23 深圳市联诚发科技股份有限公司 飘带状显示屏的智能显示方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US10460428B2 (en) 2019-10-29
WO2017153099A1 (de) 2017-09-14
WO2017153016A1 (de) 2017-09-14
EP3427223B1 (de) 2021-03-10
CN108713216B (zh) 2022-08-30
EP3427224A1 (de) 2019-01-16
EP3427223A1 (de) 2019-01-16
DE102016204044A1 (de) 2017-09-14
US20190005628A1 (en) 2019-01-03
CN108780566A (zh) 2018-11-09
US20190005608A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
US11634028B2 (en) Image processing method of generating an image based on a user viewpoint and image processing device
US5995111A (en) Image processing apparatus and method
US7148861B2 (en) Systems and methods for providing enhanced vision imaging with decreased latency
JP6924637B2 (ja) ３次元表示装置、３次元表示システム、移動体、および３次元表示方法
CN106573577A (zh) 显示系统和方法
KR20180010174A (ko) 다층 디스플레이 시스템에 의해 투영된 가상화된 3차원 객체를 표시하는 초점 주의 영역
US20100079578A1 (en) Apparatus, method and computer program product for three-dimensional image processing
US11528453B2 (en) Sensor fusion based perceptually enhanced surround view
CN108713216A (zh) 用于透视变换和输出图像内容的方法、平视显示器和输出系统以及车辆
EP3811326B1 (en) Heads up display (hud) content control system and methodologies
US9001186B2 (en) Method and device for combining at least two images to form a panoramic image
CN114077306A (zh) 实现内容可视化的装置和方法
KR102652943B1 (ko) 3차원 영상 출력 방법 및 그 방법을 수행하는 전자 장치
JP7332747B2 (ja) 表示装置および移動体
JP6668564B1 (ja) ヘッドアップディスプレイ、ヘッドアップディスプレイシステム、および移動体
EP2811454B1 (en) Image transformation
US20230386187A1 (en) Method for simulating the effects of the optical quality of windshield
JP6785983B2 (ja) 情報表示装置及び方法、並びにプログラム及び記録媒体
WO2023120603A1 (ja) 撮像装置および画像処理方法
WO2024070204A1 (ja) 虚像表示装置、移動体、虚像表示装置の駆動方法、及びプログラム
JPH08279057A (ja) 三次元図形の輪郭線および稜線強調表示装置
CN114140507A (zh) 融合激光雷达和双目相机的深度估计方法、装置及设备
WO2004114214A1 (en) Method and apparatus for capturing and displaying a three-dimensional scene
CN117724252A (zh) 一种图像显示方法及相关设备
CN118004035A (zh) 一种基于车载投影仪的辅助驾驶方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant