CN111866446B - 车辆观察系统 - Google Patents

车辆观察系统 Download PDF

Info

Publication number
CN111866446B
CN111866446B CN202010336211.8A CN202010336211A CN111866446B CN 111866446 B CN111866446 B CN 111866446B CN 202010336211 A CN202010336211 A CN 202010336211A CN 111866446 B CN111866446 B CN 111866446B
Authority
CN
China
Prior art keywords
distortion
image sensor
image
viewing system
geometry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010336211.8A
Other languages
English (en)
Other versions
CN111866446A (zh
Inventor
维尔纳·朗
安德历亚斯·恩兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mekra Lang GmbH and Co KG
Original Assignee
Mekra Lang GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mekra Lang GmbH and Co KG filed Critical Mekra Lang GmbH and Co KG
Publication of CN111866446A publication Critical patent/CN111866446A/zh
Application granted granted Critical
Publication of CN111866446B publication Critical patent/CN111866446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种车辆观察系统(100A、100B)，其包括用于捕获车辆(1)周围的部分的图像数据的至少一个图像捕获单元(10、10A、10B)，用于处理由图像捕获单元(10、10A、10B)捕获的图像数据的至少一个图像处理单元(20A、20B)，以及用于再现由图像处理单元(20A、20B)处理的图像数据的至少一个图像再现单元(30、30A、30B)。图像捕获单元(10、10A、10B)具有图像传感器(11)和具有畸变曲线的光学元件，其中图像数据根据光学元件的畸变曲线依赖于图像传感器(11)的位置而畸变。图像处理单元(20A、20B)适于从图像传感器(11)的图像数据中获取至少一个局部(12、12’)，其中，局部(12、12’)的几何形状取决于局部(12、12')在图像传感器(11)上的位置。

Description

车辆观察系统
技术领域
本发明涉及一种用于车辆、尤其是商用车辆的观察系统。
背景技术
对于车辆，法律规定在驾驶操作期间使车辆周围的所谓视场对于驾驶员可见。必须可见的视场取决于车辆的类型，例如摩托车、用于运送乘客的车辆、用于运送货物的车辆等。必须通过间接观察装置提供视场的可视性，并且必须通过使用该间接观察装置使坐在驾驶员座位上的驾驶员始终能够看到视场。根据车辆的类型，特别是根据驾驶员可以直接观察到车辆周围的哪些区域，不同的法律规定要求某些视场通过使用间接观察装置是永久且可靠地可见的。在欧洲，在UN/ECE第46号法规中定义了驾驶员必须始终可靠地可见的视场。其它相关的标准和法规分别包括例如ISO 5721,ISO 5006,ISO 16505,ISO 14401和EU167/2013。除了法律规定的视场之外，通常车辆周围的其它区域(即所谓的视场区域)通过间接观察装置变得可见。视场区域可以包括法律规定的视场。
通常，视场的视图能够利用一个或多个视镜来实现。然而，视镜具有一些缺点。例如，视镜仅向驾驶员示出位于视镜的与驾驶员相同的一侧上的物体。在视镜后面的任何物体都不能被这个视镜显示。此外，除了视镜非常靠近驾驶员之外，仅由平面玻璃制成的视镜对驾驶员显示出很小的区域。如果它们是凸形的，则会产生图像畸变。大型车辆通常具有六个或更多个视镜，这些视镜安装在车辆的外侧周围，它们中的大多数是凸起的并且会产生畸变，这使得驾驶员难以同时注意所有相关的视镜。然而，尽管有所有的视镜，在这些车辆周围的视场区域，即没有视场的区域中仍然存在盲点。
近年来，越来越普遍的是，考虑使用摄像机系统作为间接观察装置，或者作为间接观察装置的视镜的补充或者替代。在这样的摄像机系统中，连续地捕获图像，分别检测和处理图像，并且存储图像。由具有图像传感器装置的图像捕获单元捕获的(视频)数据例如通过使用供应单元进行传输，并且可选地在处理之后传输到位于驾驶室中的再现装置。再现装置再现相应法律规定的视场或多个视场的视图，并且可选地再现车辆周围区域的其他信息，例如潜在的碰撞风险、到其他物体的距离等，使得驾驶员始终总是能够看到视场。同时，该观察系统可改善夜视效果、为布置提供更大的灵活性，以及提供具有较低畸变可能性的更大的视场。
在此上下文中，永久可见是指以及时不间断的方式描绘视场中的视图，即，不被交替地示出和隐藏视场或其部分或者通过覆盖其他表示使得视场不能被完全看到而中断。因此，在显示装置上连续且实时地示出相应的一个或多个视场。这至少适用于对于所有车辆条件都被规定为永久可见的视场，在所述车辆条件中，点火装置被接通和/或优选地例如被耦合到接收相应信号的传感器，所述信号例如为门打开信号或点火开关信号。
现代反射镜为驾驶员创建了近乎完美形状的画面。驾驶员可获得的细节水平取决于到物体的距离、反射镜的曲率和反射程度以及驾驶员的视力。对于摄像机系统，可用细节的水平受许多不同参数的影响：摄像机传感器的分辨率、摄像机的视场，以及监视器的分辨率、在监视器上显示摄像机视场的多少以及该部分的大小、监视器距离驾驶员座位有多远以及驾驶员的视力。影响细节程度的主要参数是摄像机的光学元件(例如透镜或多个透镜的布置)的畸变失效。每个光学元件具有一定的畸变特性。通常，畸变失效至少逐区域地随着光学元件上的点周围的距离增加而增加，该点也被称为畸变中心并且包括例如光轴。因此，在畸变中心，畸变的失效是最小的。光学元件的畸变失效可以借助于畸变曲线来描述和描绘。畸变曲线是光学元件的畸变失效的图形描绘，其是距畸变中心(作为光轴)的距离的函数。在光学元件是旋转对称的情况下，畸变曲线对应于畸变失效的图形描绘，其是距畸变中心的径向距离的函数。因此，光学元件的畸变特性是光学系统描绘的几何故障，其在透镜方程式中导致描绘比例的局部变化。
如果物体位于光学元件的畸变中心附近，特别是在光学元件的畸变中心上或者附近，则该描绘基本上分别是无畸变的和畸变小的，并且不需要处理图像数据。驾驶员以基本上不畸变和没有畸变的方式观察监视器上的物体，并且可以可靠地识别物体的尺寸及其在所示车辆环境中的方位和部位，并且可以相应地采取行动以避免与物体碰撞。
然而，如果物体位于距光学元件的畸变中心一定距离处，特别是在畸变特性较大的区域中，则驾驶员会以畸变且不清楚的方式观看监视器上的物体，并且可能不能可靠地识别物体的尺寸及其在所示车辆环境中的定向和位置。特别地，驾驶员难以在没有进一步参考的情况下可靠地估计畸变量，从而难以可靠地估计和评估物体的位置和尺寸。因此，由于物体的畸变和不清楚的描绘，车辆和物体之间可能会发生碰撞。
如果应用所谓的挂车摇摄(trailer panning)，即跟踪从图像传感器拍摄的图像部分，则情况尤其如此。挂车摇摄在转弯或者在挂车相对于牵引车旋转并且驾驶员和/或控制单元必须跟踪监视器上的图像部分以便仍然可靠地观察挂车周围的环境的任何其它驾驶情况下尤其相关。然而，图像部分跟踪到图像传感器的边界或者通常跟踪到图像传感器上以极度畸变的方式描绘车辆周围环境的位置的跟踪，导致车辆环境的相应部分在监视器上以非现实的方式显示给驾驶员，并且导致他无法可靠地估计物体的比例、距离等。
从现有技术中，除了摄像机的机械位移(例如枢转)和畸变曲线的适应之外，还已知为了实现尽可能无畸变的描绘并且补偿光学元件的上述畸变特性。
然而，可以机械移动的摄像机具有的缺点是，它们仅能捕获车辆环境的有限部分，并且由于移动机构而易于磨损。此外，为了检测不在原始捕获部分中的物体，需要另外的传感器装置。
然而，对畸变曲线的适应需要对原始畸变曲线上的所有点进行精确的并且因此具有较高计算能力的适应。具有较高的复杂的透镜布置和/或附加光学元件的布置，可以进行机械/光学补偿。然而，由此摄像机系统变得昂贵。
例如，从US 2009/0002523 Α1和DE 10 2014 018 040 Α1中已知观察系统。US2018/0281698 A公开了一种车辆摄像机校准系统。
发明内容
因此，本发明的目的是提供一种用于车辆(特别是商用车辆)的观察系统，其向驾驶员尽可能精确地显示车辆环境，而与其相对于畸变中心(例如光学元件的光轴)的位置无关，使得驾驶员可以尽可能真实地识别车辆环境中的物体。同时，该解决方案应以价格低廉的方式实现。
上述目的通过具有权利要求1的特征的车辆观察系统来解决。在从属权利要求中给出了优选实施例。
本发明基于这样的思想，即提供一种用于车辆的观察系统，其具有至少一个捕获单元(例如摄像机)、至少一个图像处理单元(例如ECU)和至少一个图像再现单元(例如监视器，诸如LCD监视器、TFT监视器或LED监视器)，其中图像处理单元被配置为使得它从图像捕获单元的图像传感器上所描绘和记录的车辆环境的图像数据中分别获取/提取局部和图像部分，并在图像再现单元上向驾驶员显示车辆环境的该部分。取决于局部在布置在图像捕获单元中的图像传感器上的位置的位置，局部具有相对于图像传感器上的另一位置而改变的几何形状。改变的几何形状由图像处理单元确定。由于改变的几何形状，可以补偿或至少可以减小图像捕获单元中所包括的光学元件的畸变特性，从而以真实的方式或以至少近似真实的方式向驾驶员示出车辆环境。改变的几何形状尤其是指几何形状的某些边长的改变，例如几何形状的矩形、旋转、剪切和/或自由变形(例如，具有四个角的多边形形状)。如果几何形状不会改变，但始终保持相同的大小，而与所获取的局部在图像传感器上的位置无关，则在图像数据的畸变非常大的位置处从图像传感器获取的局部的图像数据将以极度畸变的方式显示给驾驶员，并且驾驶员不能可靠地估计车辆环境。
光学元件的畸变特性可以例如是桶形或脉冲形/垫形。在这方面，图像传感器上的物体的尺寸以及相应的监视器的尺寸随着到桶形畸变的畸变中心的距离的增加而减小，并且随着脉冲畸变而增大。因此，光学元件的畸变特性最不接近于畸变中心(例如光轴)的描绘或在畸变中心的描绘中，并且随着畸变中心的描绘的距离的增加而增加。畸变中心是一条假定的假想线，光学元件的曲率中心穿过该假想线。对于具有多个彼此依次布置的光学部分元件(即，多个透镜)的摄像机系统的光学元件，畸变中心由穿过每个部分元件的曲率中心的线产生。部分元素。光学元件的畸变特性可以例如随着畸变中心到光学元件的边界的距离而连续地增加，或者可以仅在距畸变中心的距离上部分地增大或减小。
从图像传感器上的图像数据中获取的局部具有作为假想限制的特定几何形状，该几何形状根据图像传感器上的图像部分的位置而变化，以分别补偿和至少部分地减少光学元件的畸变特性。因此，在图像捕获单元的图像传感器上分别描绘和记录的图像部分的几何形状和假想限制取决于图像部分在图像传感器上被获取的位置。例如，如果取矩形部分作为图像部分，则该部分在第一捕获位置处具有边长P1和P2，而在图像传感器上的另一捕获位置处具有边长P1'和P2'，其中P1≠P1'和/或P2≠P2'。附加地或替代地，边长P1和P1'和/或P2和P2'可彼此成角度且可以不平行。此外，可以在一个位置获取例如矩形图像部分，而在另一个位置获取非矩形(例如菱形)图像部分。
上述观察系统特别有利地用于具有牵引车和挂车的商用车辆。对于具有牵引车和挂车的商用车辆，在例如转弯的行驶状况下，必须跟踪图像部分，在这种情况下，挂车相对于牵引车分别旋转和枢转，并且保持图像部分会导致挂车侧壁在监视器上显示给驾驶员，因此驾驶员可以始终可靠地查看车辆环境。根据本发明，可以针对每个图像进行图像跟踪，其中相对于先前的图像而调整每个图像的几何形状。因此，通过跟踪图像部分，可以生成适当数量的图像，例如，每个像素变化一个图像，这些图像根据图像在图像传感器上的几何形状的相应位置而彼此不同，并且随后在监视器上显示给驾驶员，使得驾驶员具有原始图像部分根据挂车相对于牵引车的旋转角度而发生位移的印象。然而，实际上，该位移仅对应于图像传感器上/图像传感器的分开的图像部分的多次拍摄，它们在几何上彼此不同。图像部分的数量取决于挂车相对于牵引车的旋转量，并且可以由驾驶员手动控制(通过按下或按住按钮、在触摸板上进行选择等)或通过各种传感器装置的信号(旋转角度传感器、转向信号等)进行控制。
优选地，该局部在获取位置处被限定为具有参考几何形状的参考部分。该参考几何形状可以位于图像传感器上的每个任意位置，即，相关的获取位置可以位于图像传感器上的每个位置。参考几何形状是由观察系统的制造商规定的几何形状，然而，驾驶员或控制单元也可以根据再现要求(例如，驾驶员特定或法律规定)来确定参考几何形状。
优选地，局部被限定为畸变小的参考局部，特别是例如，如果图像传感器的局部是在对应于图像捕获单元的畸变中心在图像传感器上的描绘的位置附近从图像传感器获取的。例如，图像传感器的局部从在一个位置附近的图像传感器，该位置对应于图像传感器上的图像捕获单元的畸变中心(例如光轴)的描绘。因此，术语“在...附近”描述了该局部的位置，使得该局部包括图像捕获单元的畸变中心在图像传感器上的描绘，并且具有与图像捕获单元的畸变中心在所述图像传感器上的描绘相同的至少一个点。因此，参考局部对应于图像传感器的局部，该局部在图像再现单元上被驾驶员描绘为尽可能无畸变，这是由于其与图像捕获单元的畸变中心在图像传感器上的描绘接近，而不需要补偿光学元件的畸变特性。因此，参考局部对应于布置在图像传感器上的位置处的图像传感器的局部，在该位置处，由车辆环境的光学元件捕获的图像数据不具有或仅具有不需要补偿的最小的畸变。
根据优选实施例，参考局部的参考几何形状是具有宽度和长度的矩形。然而，还可以想到，参考几何形状是正方形、三角形、多边形、近似圆形、卵形、椭圆形等。该几何形状的选择可以例如取决于位于车辆环境中的物体的形状，或者可以取决于图像再现单元的几何形状。可以针对观察系统将参考几何形状确定为单个几何形状，或者可以根据观察系统必须满足的要求、需要车辆环境的适当描绘的参数(例如，分辨率)等而改变。因此，参考几何形状可以取决于观察系统的参数。如果获取多个局部，则局部可以具有不同的几何形状，例如矩形、菱形、圆形等。
如果该局部位于与图像捕获单元的畸变中心在图像传感器上的描绘相对应的位置的远侧，则该局部可以分别具有几何形状和假想限制，其相对于参考几何形状被旋转和/或畸变和/或缩放。例如，局部可以随着在图像传感器上的旋转而相对于参考几何形状分别倾斜和倾斜，使得局部的侧面与在图像传感器上水平延伸的假想线之间的角度小于或大于参考部分的相应侧面与在图像传感器上水平延伸的假想线之间的角度。在畸变的情况下，局部的尺寸比不再与参考部分的尺寸比相匹配，并且局部具有与参考部分不同的比例。通过缩放，局部的大小通过保持比例而改变。优选地，参考几何形状的旋转和/或畸变和/或缩放的程度随着到图像捕获单元的畸变中心在图像传感器上的描绘的距离增加而至少部分地增加，特别是当存在要从畸变中心获取的旋转对称畸变时。换句话说，参考几何形状的旋转和/或畸变和/或缩放分别随着连续进行的畸变而分别变得更大和更高，即，通常局部与图像捕获单元的畸变中心的描绘间隔得更远。或者，参考几何形状的旋转和/或畸变和/或缩放分别变得越来越大，并且在畸变部分中分别具有不连续的行进和部分畸变。
或者，如果高畸变再次衰减，尽管到图像传感器上的畸变中心的描绘的距离增加，即，当畸变首先随着到图像传感器上的畸变中心的描绘的距离增加，然后随着到图像传感器上的畸变中心的描绘的距离进一步增加而再次减小时，参考几何形状的旋转和/或畸变和/或缩放的程度随着到图像捕获单元的畸变中心的距离增加而减小。因此，参考几何形状的旋转和/或畸变和/或缩放的程度优选地分别取决于光学元件的畸变程度和畸变特性。
优选地，在第一空间方向上确定所述局部的几何形状的第一尺寸。根据畸变的程度、在图像传感器上的对应局部的位置等，确定第一(例如水平)尺寸并由此第一尺寸的适配可能足以补偿光学元件的畸变特性。然而，可能需要确定该局部的几何形状的第二尺寸，例如垂直尺寸。然后，第二尺寸的确定可以在第二空间方向上进行，其中，第一空间方向和第二空间方向优选地彼此垂直地延伸。
优选地，局部的几何形状通过计算算法确定或预先确定。
该计算算法例如使用至少一条补偿曲线，利用该补偿曲线，根据与局部相对应的图像捕获单元的描绘角的位置变化来确定图像传感器上的局部的宽度和/或长度。还可以想到用于确定局部的高度和宽度的两条补偿曲线。同样，也可以考虑用于另外确定所需旋转角度的三条或更多条补偿曲线。可替代地，旋转角的确定可以经由矢量场进行，其中，基于具有畸变曲线的光学器件的描绘函数和用于描绘在传感器上的车辆环境的摄像机的倾斜角，将坐标与例如每个传感器像素相关联。进一步可选地，旋转角的确定可以通过数学函数来进行。从图像传感器获取的局部对应于车辆环境的一部分，其由图像捕获单元以特定的描绘角捕获。描绘角是落在捕获单元的视角中的角度，并且因此小于捕获单元的视角。捕获单元的视角对应于图像捕获单元可以用来捕获图像数据的最大可能角度，并且取决于光学元件的设计。车辆环境的与图像捕获单元的视角相对应的部分可以被描绘为整个传感器表面上的图像数据。取决于在图像传感器上的局部的拍摄位置，描绘角的位置也改变。因此，描绘角在图像捕获单元的视角部分上枢转，其中光学元件形成旋转中心，描绘角分别绕该旋转中心枢转和旋转。例如，描绘角可以仅在很小的程度上改变其位置，并且因此可以围绕旋转中心在视角部分内仅绕几度进行枢转。然而，描绘角的位置也可能极大地改变。然后，描绘角围绕旋转中心在视角部分内枢转许多度。
优选地，补偿曲线可以对应于非线性曲线和/或至少一个数学函数。作为数学函数，可以考虑阶跃函数、指数函数、对数函数等。特别地，通过使用阶跃函数作为补偿曲线，不会发生对光学元件的畸变特性的连续补偿，而仅是阶梯补偿。即，参考局部的旋转、畸变和/或缩放根据局部从图像传感器表面获取的位置逐步地发生。换句话说，参考部分的几何形状在图像传感器上的两个相邻但间隔开的位置处改变，然而，在这些位置之间，不发生几何形状的改变。这实质上降低了图像处理单元的计算能力。
或者，补偿曲线可以对应于自由限定的曲线，该曲线的值例如根据经验确定并存储在处理单元中。具体地，分别关于参考部分相对于图像传感器上的局部的位置的旋转和/或畸变和/或缩放的经验值和测量值与补偿曲线上的每个点相关联，并且它们被存储在数据库中，使得计算算法在补偿光学元件的畸变特性期间从数据库中选择相应的值，并将这些值应用于参考部分的几何形状。
或者，补偿曲线可以对应于光学元件的畸变曲线。因此，在这种情况下，出现了与光学元件的畸变特性成正比的参考几何形状的适配。根据优选实施例，补偿曲线还对应于已经进行了数字畸变校正的光学元件的畸变曲线。
优选地，对应于参考部分的描绘角和对应于所述局部的描绘角具有相同的尺寸。然而，也可以想到的是，对光学元件的畸变特性进行补偿，使得如果角度大小相同，则参考几何形状在这种情况下不会改变程度，而仅产生在角度彼此不同的情况下仍然发生补偿的程度的改变。
优选地，所述局部包括商用车辆的主镜和/或广角镜的视场。例如，主镜和/或广角镜的视场分别对应于UN/ECE法规编号No.46中定义的视场II和IV。
图像传感器的一部分(由图像捕获单元确定以使其在再现单元上显示)通过单个局部或者通过彼此连续相邻的两个或更多个局部来实现。在获取过程中(取决于获取位置)，两个或更多个彼此连续相邻的局部可以具有不同的几何形状，并且在图像再现单元上的图像再现过程中，它们中会重新连接或显示在图像再现单元的两个不同部分中。
优选地，在图像数据被图像处理单元和/或另一图像处理单元在图像再现单元上再现之前，例如关于色彩饱和度、对比度、分辨率、过度曝光和曝光不足、模糊、图像噪声等对图像数据进行处理。
本发明的另一方面涉及一种用于具有上述观察系统的车辆的视镜替代系统。
在视镜替代系统内，例如，可以使用观察系统，使得根据车辆的驾驶状态，获取与驾驶条件相关联的某个局部并将其显示在再现单元上。可替代地或附加地，可以考虑取某个局部作为标准示出并示出，然而，驾驶员可以仅在特定的驾驶状况下手动地切换为另一局部的获取。
附图说明
在下文中，参考附图示例性地描述本发明，其中：
图1示出了根据本发明的两个观察系统的示意性结构，
图2a示出了使用图1的观察系统的商用车辆的俯视图，
图2b示出了使用图1的观察系统的图2a的商用车辆的侧视图，
图2c示出了摄像机的三维视场，
图3a示出了根据本发明观察系统的第一实施例的车辆摄像机捕获的第一描绘角和第二描绘角的俯视图，
图3b示出了根据本发明观察系统的第一实施例的图像传感器，在该图像传感器上限定了第一局部，
图3c示出了根据本发明观察系统的第一实施例的监视器，其上示出了第一局部，
图3d示出了根据本发明观察系统的第一实施例的图像传感器，其上限定了第二局部，
图3e示出了根据本发明观察系统的第一实施例的监视器，在其上示出了第二局部，
图3f示出了根据本发明观察系统的第一实施例的摄像机的补偿曲线，
图4a示出了根据本发明观察系统的第一实施例的图像传感器，在该图像传感器上修改了第二局部，
图4b示出了根据本发明观察系统的第一实施例的监视器，在其上示出了修改的局部，
图5a示出了根据本发明观察系统的第二实施例的车辆摄像机捕获的第一描绘角和第二描绘角的俯视图，
图5b根据本发明观察系统的第二实施例的车辆摄像机捕获的第一描绘角和第二描绘角的侧视图，
图5c示出了根据本发明观察系统的第二实施例的图像传感器，在该图像传感器上限定了第一局部，
图5d示出了根据本发明观察系统的第二实施例的监视器，其上示出了第一局部，
图5e示出了根据本发明观察系统的第二实施例的图像传感器，在该图像传感器上限定了第二局部，
图5f示出了根据本发明观察系统的第二实施例的监视器，在其上示出了第二局部，
图5g示出了根据本发明观察系统的第二实施例的图像处理单元在第一空间方向上的补偿曲线，
图5h示出了根据本发明观察系统的第二实施例的图像处理单元在第二空间方向上的补偿曲线，
图5i示出了根据本发明观察系统的第三实施例的图像传感器，在其上限定了两个局部，
图5j示出了与图5i中的情况相关的图2c的网格柱面的展开图，
图5k示出了根据本发明观察系统的第三实施例的观察系统的监视器，
图6a示出了根据本发明观察系统的第四实施例的图像传感器，
图6b示出了与图6a中的情况相关的图2c的网格柱面的展开图，
图6c示出了根据本发明观察系统的第四实施例的监视器。
具体实施方式
图1示出了根据本发明的两个观察系统100A、100B的示意性结构，其例如形成用于车辆左侧的观察系统100A和用于车辆右侧的观察系统100B。每个观察系统100A、100B都具有捕获单元10A、10B、处理单元20A、20B和再现单元30A、30B。因此，每个观察系统100A、100B都对应于间接观察系统，例如摄像机监视系统，并且因此对应于可间接观察车辆周围环境的视镜替代系统。
每个捕获单元10A、10B适于以图像数据的形式捕获/记录车辆周围环境的图像，特别是商用车辆周围环境的图像。在这方面，捕获单元10A、10B以适当的方式附接到车辆。捕获单元10A、10B可以是摄像机，特别是具有根据CMOS或CCD技术的传感器或者适于捕获运动图像的任何其它图像传感器的摄像机。可以为每个观察系统10A、10B提供多个捕获单元10A、10B。捕获单元10A、10B例如经由连接线或无线电通信与处理单元20A、20B中的相应一个通信。
处理单元20A、20B中的相应一个适于处理由捕获单元10A、10B捕获的图像数据。在这方面，处理单元20A、20B使用预定参数，例如分辨率、对比度、色饱和度、色温和色调、曝光时间等，并且改变这些或其它参数，特别是为了优化再现单元30A、30B上所描绘的图像。
再现单元30A、30B中的相应一个适于显示/再现由捕获单元10A、10B中的相应一个捕获并由处理单元20A、20B中的相应一个处理的图像。再现单元30A、30B可以是监视器，例如LCD、TFT或LED监视器。可以为每个观察系统100A、100B提供多个再现单元30A、30B。再现单元30A、30B优选地安装在车辆的驾驶室内，更优选地是安装在车辆的一个或两个A柱上，使得驾驶员可以在驾驶过程中不受阻碍地观看它们。
图2a示出了商用车辆1的俯视图。目前，商用车辆1是具有牵引车和半挂车或挂车的卡车/重型货车(HGV)。沿卡车行驶方向，在牵引车驾驶室的左前侧和右前侧各安装有摄像机10A、10B。如图2a所示，摄像机10A捕获一部分环境，当沿卡车的行驶方向观察时，该部分环境位于右侧，分别邻近牵引车的后部和邻近挂车和半挂车。即使未在图2a中示出，摄像机10B也根据摄像机10A配置成监视环境的一部分，当沿卡车的行驶方向观察时，该部分位于左侧，分别邻近牵引车的后部和邻近挂车和半挂车。环境的右部和左部中的每一个由相应的摄像机10A、10B以第一视角γ1捕获，其中在图2a中，可以看到该视角的投影γ1*在水平方向上，即，大致平行于平面道路表面。
在卡车的挂车的右侧，设置有四个物体40、50、60、70。物体40、50、60、70位于摄像机10A的第一视角的投影γ1'内，因此由摄像机10A捕获。物体40、50、60、70例如可以是物品形式的障碍物，例如另外的车辆或柱子或人。物体40和50以及物体60和70中的每一个分别位于圆弧上，所述圆弧的中心位于摄像机10A的位置处。换句话说，物体40和50以及物体60和70分别与摄像机具有相同的距离(半径)。在此，物体40和60比物体50和70更靠近车辆1。
在图2a所示的行驶状况下，物体40、60位于第一描绘角α1的投影α1*中。第一描绘角α1对应于小于摄像机10A的第一视角γ1的角度，该角度位于第一视角γ1内，并且其图像数据(来自捕获角γ1的全部图像数据)在再现单元(图2a中未示出)上向驾驶员示出。
图2b示出了图2a的卡车的侧视图。如图2b所示，摄像机10B的拍摄区域(以及摄像机10A的拍摄区域)不仅水平地向后方延伸，而且还倾斜地向下向后延伸，在图2b中，示出摄像机10A、10B各自的第二视角γ2的投影γ2*。第二视角γ2垂直于摄像机10A的第一视角γ1所在的平面延伸，并且向后扩展。通过第一视角γ1和第二视角γ2，每个摄像机10A、10B跨越相应的捕获锥体，其从相应的摄像机10A、10B开始向下扩展到后方。
如图2b中进一步所示，物体40、50、60和70(物体60和70在图2b中未示出)位于摄像机10A的第二视角γ2内，具体地说，位于对应于小于摄像机10A的第二视角γ2的角度的第二描绘角α2内，该第二描绘角α2位于第二视角γ2内，并且其图像数据(来自视角γ2的全部图像数据)在再现单元(图2b中未示出)上向驾驶员示出。
如从图2a和2b可以看出，作为示例，物体40、50、60和70具有近似圆柱形状，其纵轴在垂直于路面的方向上延伸，并且为了说明起见，假设其具有相同的尺寸。
在图2c中，在地球轴系统(坐标系X-Y-Z)中示例性地示出了诸如图2a和2b的摄像机10A或10B的摄像机的三维视场。摄像机捕获由视场Sk1、Sk2、Sk3和Sk4的边缘限定的三维视场。如果路面FO被假定为参考面，则摄像机的光轴向下倾斜。具体地，光轴相对于水平线HLO以倾斜角Φ延伸，水平线HLO穿过光学器件的第一主点。
如图2c所示，摄像机以假想的圆柱形网格图案的形式捕获诸如车辆环境之类的图像数据。圆柱形网格图案具有垂直网格线VL和与垂直于垂直网格线延伸的水平网格线HL。穿过光学器件的主点的水平线HLO具有与网格图案的旋转轴aR的相交点，该网格图案的旋转轴aR在垂直方向Z上穿过圆柱体横截面的中心。
图3a示出了与图2a类似的根据本发明的观察系统的摄像机10的俯视图。与图2a不同，在图3a所示的车辆环境中，不仅物体40和60被布置在摄像机10A的第一描绘角α1中，而且物体50和70也被布置在摄像机10A的第一描绘角α1’中。第一描绘角α1和α1'具有大致相同的大小，即，它们具有大致相同的角度延伸。第一描绘角α1和α1'都位于摄像机10的第一视角γ1(未示出)内。
图3b示出了根据本发明的观察系统的图像传感器11。图像传感器11具有矩形形状，其在上下方向上比在图3b的左右方向上延伸得更长。在图3b所示的图像传感器11的左边缘附近，第一局部12被定义为拍摄部分。如图3b所示，局部12包括摄像机10的光轴的描绘。第一局部12具有矩形形状，其纵向延伸在图3b中沿上下方向延伸，并且其宽度延伸在图3b中沿左右方向延伸。第一局部12在宽度延伸中具有宽度P。第一局部12对应于位于描绘角α1中的图像数据，并且例如可以包括主镜和/或广角镜的视场(例如，如ECE R46中所定义的视场II和IV)。位于光轴的图示附近的这种局部12可以是参考部分，其中畸变优选为较低，因为它位于此处，例如在光轴附近。
图3c示出了根据本发明的观察系统的监视器30(图像再现单元)。监视器30具有矩形形状，其在上下方向上比在图3c的左右方向上延伸得更长。监视器30描绘了第一局部12，且第一局部12分别示出在监视器30上。在此方面，监视器30的描绘表面基本上对应于局部12的表面。在监视器30上再现车辆环境的图像数据，其位于描绘角α1内并且因此位于第一局部12中。具体地，在监视器30上再现物体40和60。
如图3c所示，物体40和60在监视器30上以几乎无畸变的方式再现，并且在图示中仅具有不同的尺寸，因为在车辆环境中，它们位于距摄像机10不同的距离处。具体地，物体40比物体60更靠近摄像机10，因此物体40在监视器30上比物体60表现得更大，并且物体60比物体40更远离摄像机10，因此物体60在监视器30上比物体40表现得更小。当驾驶员识别出车辆环境中不同距离的物体时，也识别出不同尺寸的物体(离驾驶员越远，物体越小)，因此，对于驾驶员来说，可以真实再现车辆环境。物体40具有长度L，其在监视器30上沿左右方向延伸。物体40和60的几乎无畸变的再现构成为，物体40和60分别直接位于畸变中心和其直接附近，这里分别是摄像机10和光学元件(未示出)的光轴，其中当前为桶形的光学元件的畸变特性非常低。因此，在图像传感器12上的第一局部12的位置处，不需要补偿光学元件的畸变特性，并且物体40和60可以以关于畸变的补偿不变的方式在监视器30上呈现。如果从图像传感器11获取的局部不包括畸变中心，而是直接与畸变中心相邻和/或接触畸变中心，则同样的情况仍然适用。监视器30上的物体40和60的高度与宽度的比例近似对应于物体40和60的实际高度与宽度的比例。
图3d再次示出了图3b的图像传感器11。与图3b相反，在图3d中，在图像传感器11的右边缘附近限定了第二局部12'，该第二局部12'位于图像传感器11上与局部12不同的另一位置。局部12'不包括摄像机10的光轴的描绘，而是分别布置在光轴和畸变中心的远侧。如同第一局部12，第二局部12'也具有矩形形状，其纵向延伸在图3d中沿上下方向延伸，并且其宽度延伸在图3d中沿左右方向延伸。第二局部12'在宽度方向上的宽度P’相对于第一局部12的宽度P而变化。第二局部12'对应于位于描绘角α1’中的图像数据，并且还可以包括主镜和/或广角镜的视场(例如，如ECE R46中定义的视场II和IV)。
图3e再次示出了图3c的监视器30。现在监视器30再现第二局部12'。在此方面，监视器30的描绘表面大致对应于局部12'的表面。在监视器30上再现车辆环境的图像数据，该图像数据位于描绘角α1’中，并且因此位于第一局部12'中。具体地，在监视器30上再现物体50和70。
优选地，对于每个车辆侧仅设置一个监视器30。为了观察不同的局部12和12'，驾驶员可以手动地将示出局部12的视图切换到示出局部12'的视图，或者根据驾驶情况进行视图的切换。然而，可替代地，也可以为不止一个车辆侧设置不止一个监视器30。也就是说，例如可以设置两个监视器30，第一监视器30示出了局部12，而第二监视器(未示出)示出了局部12'。
如图3e所示，物体50和70具有不同的尺寸，因为它们在车辆环境中位于距摄像机10不同的距离处。具体地，物体50比物体70更靠近摄像机10，因此物体50在监视器30上比物体70表现得更大，并且物体70比物体50更远离摄像机10，因此物体70在监视器上比物体50表现得更小，这导致了车辆环境对驾驶员的真实再现。物体50和70的比例，即物体50和70的宽度和高度，分别在监视器30上以基本上无畸变的表示近似地对应于物体50和70的比例，即物体50和70的实际宽度和高度。
物体50和70几乎无畸变地(即以与物体40、60近似相同的尺寸和形状)被再现在图3e的监视器30上。物体50和70的几乎无畸变的再现被构造成，局部12’具有相对于局部12改变的几何形状，具体地，局部12’具有比局部12的宽度P小的宽度P’。如果从描绘光轴作为畸变中心或与描绘光轴作为畸变中心相邻的图像传感器11获取的局部12的宽度P减小到局部12’的宽度P’，则用于补偿光学元件的畸变特性。换句话说，可以补偿或至少减少光学元件的畸变特性，因为考虑到局部12的几何形状(例如，从图像传感器11获取的局部12'的至少侧边的长度)根据从图像传感器11的获取位置而改变，局部12的几何形状位于或靠近作为图像传感器上的畸变中心的光轴的图示上，或者总体上位于图像传感器11的另一部分中。在这方面，取决于光学元件的畸变特性的种类，例如，需要减小或扩大局部12的几何形状。在监视器上呈现的物体50的宽度具有在监视器30上基本沿左右方向上延伸的宽度L’，并且在基本上没有畸变呈现的情况下，监视器30上的物体50和物体40的比例近似等于物体50和物体40的实际比例。
见图3f，在图中示出了摄像机10和摄像机10的光学元件(未示出)的补偿曲线K。在该图中，在横坐标上表示以度[°]为单位的角度扩展，在纵坐标上表示以像素为单位的长度扩展。补偿曲线K是穿过原点(其表示畸变中心，例如光轴)并且在图3f中向右上方非线性延伸的曲线，其中其随着到原点的距离的增加而发展稍微变平。在图3f中，补偿曲线K对应于光学元件的畸变曲线。然而，也可以想到，补偿曲线K对应于自由限定的曲线，该自由限定的曲线是根据经验检测的并且存储在处理单元20A、20B中。或者，补偿曲线可对应于至少一个数学函数。
补偿曲线K由图像处理单元20A、20B使用，以便根据摄像机10的描绘角α1、α1’的与局部12、12'相对应的位置变化来确定局部12、12'在图像传感器11上的宽度P、P’。换句话说，图像处理单元20A、20B可以通过使用补偿曲线K来确定从图像传感器11取得的局部12、12'的哪个宽度P,P’取决于相应描绘角α1、α1’的位移，并且因此取决于在图像传感器11上的位置。图3f中所示的车辆环境的补偿指的是在第一空间方向上的补偿，该第一空间方向当前对应于平行于道路表面的水平空间方向。
在图3f的图中，示出了图3a的角度α1、α1'以及图3b和3d的局部12、12'的宽度尺寸P、P’。为了补偿畸变，局部12、12'的几何形状因此取决于它们从图像传感器表面取得的位置。因此，局部12、12'的几何形状彼此不同。如图3f所示，局部12、12’的宽度P、P’例如随着角度延伸的增加而减小，而角度α1、α1’保持相等。然而，也可以想到，角度α1、α1’也根据局部12、12’的位置而略微改变，其中相应局部12、12’的相应宽度P、P’也改变，然而，改变程度不像它们的角度α1、α1’不发生变化。
如图3c和3e所示，物体40和60以及物体50和70分别以几乎不畸变或仅略微畸变的方式显示在监视器30上。通过在监视器30上分别几乎不畸变或仅略微畸变表示物体40和60以及物体50和70，驾驶员可以很好地识别物体40和60以及物体50和70的尺寸以及它们在车辆环境中的位置和方向。因此，驾驶员可在计划的驾驶操作期间可靠地评估卡车是否与物体40、50、60和70中的一个或多个碰撞。
图4a再次示出了图3b的图像传感器11。从图像传感器11中获取基本上对应于图3d的局部12'的局部12”。特别地，宽度P”对应于图3d的局部12'的宽度P1'。然而，在图4a中，局部12”的位置相对于图3d的局部12'的位置而改变。具体地，图4a中的局部12”分别相对于局部12'向右倾斜和旋转，使得沿局部12"的宽度方向延伸的局部12”的上边缘相对于图像传感器11的边缘具有大于90°的定向角β。换句话说，在局部12”中，纵轴不是如图3d中那样沿上下方向延伸，而是在图4a中以与上下方向成角度的方式延伸，并且局部12'的边界不平行于同样呈矩形的图像传感器11的边界。
图4b示出了根据本发明的观察系统的监视器30，其基本上对应于图3c和3e的监视器并再现了局部12”。如图4b所示，位于局部12'中的物体50和70分别表示为进一步且更强的不畸变和无畸变，使得它们在图4b中的上下方向上的纵轴基本上平行于监视器30的纵向边缘。因此，物体50和70的宽度分别在图4b的监视器30上沿左右方向延伸，使得布置角β’大致垂直于监视器30的纵向边缘延伸。物体50具有在监视器30上沿左右方向延伸的宽度L”。
通过局部12”相对于局部12’的位置的附加旋转，物体50和70的畸变和扭曲可以分别进一步减小和完全消除。通过在监视器30上对物体50和60的无畸变表示，驾驶员可以很好地识别物体50和70的尺寸以及它们在车辆环境中的位置和定向。因此，驾驶员可更可靠地评估在计划的驾驶操纵期间卡车是否与物体50和/或物体70碰撞。
在图3c、3e和4b的监视器描绘中，物体40和50的宽度尺寸L、L’和L”的每个比率基本上对应于物体40和50的实际的宽度尺寸的比率。
图5a至5h示出了在两个空间方向上的摄像机10畸变特性的补偿。第一空间方向对应于第一空间方向(参见图2a的摄像机10A的捕获方向)，第二空间方向对应于基本上垂直于第一空间方向的第二空间方向(参见图2b的摄像机10B的捕获方向)。
图5a所示的驾驶状况基本上对应于图3a所示的驾驶状况，因此对应于安装在车辆(未示出)上的摄像机10的俯视图(对应于图2a中的视图)。与图3a中所示的驾驶情况相比，只有物体40和50位于摄像机10的视角γ1中。物体40位于畸变中心附近，而物体50位于与畸变中心相距一定距离的位置。
图5b还从另一个角度示出了图5a的驾驶状况。具体地，图5b示出了摄像机10的侧视图，并且因此示出了物体40和50的侧视图(对应于图2b中的视图，物体40未示出)。在这方面，物体40位于描绘角α2中，而物体50位于描绘角α2’中。描绘角α2和α2’小于视角γ2(未示出)并且位于视角γ2内。
图5c示出了与图3b的图像传感器类似的图像传感器11。在图像传感器11上，限定了局部12。局部12的图像数据对应于描绘角α1和α2的图像数据，每个描绘角包括物体40。局部12具有图5c中的左右方向上的宽度P1以及图5c中的上下方向上的长度P2，所述宽度P1源自第一空间方向上的描绘角α1的图像数据，所述长度P2源自第二空间方向上的描绘角α2的图像数据。局部12可以再次被认为是具有基本上无畸变的描绘的参考局部12。
图5d示出了监视器，其具有与图3c的监视器基本相同的构造，并且其监视器表面基本对应于局部12，监视器30上示出的物体40以基本不畸变的方式表示，因为其位于摄像机10的畸变中心附近，并且具有宽度L1和长度L2，它们的比率近似对应于车辆环境中物体40的宽度和高度的实际比率。
图5e再次示出了图5c的图像传感器11。在图像传感器11上，限定了局部12’。局部12'的图像数据对应于描绘角α1'和α2'的图像数据，每个描绘角包括物体50。局部12'具有图5e中的左右方向上的宽度P1'和图5e中的上下方向上的长度P2'，其中每一个都是源自两个描绘角α1'和α2'的图像数据。局部12’的宽度P1'和长度P2'两者都相对于图5c的局部12的宽度P1和长度P2而改变，因为局部12’是在图像传感器11上与局部12不同的另一位置处取得的。通过根据局部12在图像传感器11上的位置分别改变局部12的宽度和长度，即，在两个空间方向上适配局部12的几何形状，与仅在一个空间方向上发生补偿的情况相比，可以以改进的方式来补偿摄像机10的畸变特性。
图5f示出了监视器30，其具有与图3c的监视器基本相同的构造，并且其监视器表面基本对应于局部12'。尽管从摄像机10的畸变中心向远侧布置，但是监视器30上示出的物体50基本上以不畸变的方式表示，并且具有宽度L1'和长度L2'，其比率大致对应于物体40在该车辆环境中的实际比率。物体50的近似无畸变的描绘可以通过根据局部12的几何形状来调整局部12'的几何形状而实现，调整的范围和程度取决于局部12'的位置，并且具体地取决于局部12与畸变中心在图像传感器11上的的描绘之间的距离。通过根据图像传感器11上的局部12’的拍摄位置来改变局部12’的几何形状，可以补偿或至少减少当前正在进行的摄像机的畸变特性。即使未示出，考虑到局部12的位置，也可以想到与图4a和图4b中的第一实施例的变型类似的局部12'的位置变化，例如旋转。
畸变的补偿如图5g和5h所示。在图5g和5h中，分别在图中示出了摄像机10的补偿曲线K1和K2中的每一个。如在图3f的补偿曲线K中，在图5g和5h的图中，在横坐标上表示以度[°]为单位的角度扩展，并且在纵坐标上表示以像素为单位的长度扩展。补偿曲线K1和K2是穿过原点(其表示畸变中心)的曲线，并且每个曲线在图5g和5h中非线性地向右上延伸，由于摄像机10具有脉动的畸变，所以它们的进展随着离原点的距离的增加而强烈增加。在图5g和5h中，补偿曲线K1和K2对应于光学元件在相应空间方向上的补偿曲线。图5g中所示的补偿曲线K1对应于摄像机10在第一水平空间方向上的畸变特性，而图5h中所示的补偿曲线K2对应于摄像机10在第二垂直空间方向上的畸变特性。
补偿曲线K1、K2用于根据摄像机10的描绘角α1、α1’、α2’、α2’的对应于局部12、12'的位置变化来确定在图像传感器11上的局部12、12'的宽度P1、P1'，使得两个局部12、12'可以无畸变地或者近似无畸变地在监视器30上示出。换句话说，图像处理单元20a、20b可以借助于相应的补偿曲线K1、K2来确定从相应的图像传感器11获得的局部12、12'的宽度P1、P1'和长度P2、P2'分别取决于相应的描绘角α1、α1'和α2、α2'的位移，并且因此取决于相应的局部12、12'在图像传感器11上的位置。
在图5g和5h的图中，表示了图5a和5b的角度α1、α1’和α2、α2’以及图5c和5e的局部12、12’的宽度尺寸P1、P1’和长度尺寸P2、P2’。如图5g所示，局部12、12’的宽度P1、P1’在第一空间方向上随着角度延伸的增大而增大，而角度α1、α1’保持相等。如图5h所示，局部12、12’的宽度P2、P2’在第二空间方向上也随着角度延伸的增大而增大，而角度α2、α2’保持相等。然而，如已经参照图3f所解释的，也可以想到，角度α1、α1’和/或α2、α2’也根据相应的局部12、12'的位置而略微改变，由此相应的局部12、12’的相应的宽度P1、P1’和/或P2、P2’也改变，然而，改变的程度不像角度α1、α1’和/或α2、α2’不发生变化。
如图5d和5f所示，物体40以不畸变的方式在监视器30上显示，物体50以略微畸变的方式在监视器30上显示。通过在监视器30上几乎不畸变或仅略微畸变地表示物体40和50，驾驶员可以很好地识别物体40和50的尺寸以及它们在车辆环境中的位置和方向。因此，驾驶员能够可靠地评估在计划的驾驶操纵期间卡车是否与物体40和/或物体50碰撞。在此，通过图像处理单元20A、20B在两个空间方向上补偿摄像机10的畸变特性，与仅在一个空间方向上的补偿相比，促进了物体的进一步无畸变的显示。因此，也可以考虑在多于两个的空间方向上进行补偿，以便能够进一步无畸变地描绘物体。
在图5i中，示出了图像传感器11，在其上限定了局部12和局部12”。局部12”对应于相对于图5e的局部12'旋转的局部。也就是说，局部12”对应于已经在几何上适应获取位置并且另外相对于图像传感器的垂直边缘旋转的局部。如已经关于图4a和4b所描述的，可以通过适配从图像传感器获取的局部的几何形状并且通过旋转经适配的几何形状来进一步可靠地补偿光学元件的畸变特性。
如图5i所示，在图像传感器11的传感器表面上描绘了由摄像机10捕获的网格柱面(参见图2c)。通过光学器件的畸变特性和透视的基本规律，图2c的垂直线VL在图5e中不平行于图像传感器11的垂直边缘而延伸，而是被描绘为弯曲(虚拟)线LV1、LV2、LV3等(通常称为LV)。而且，图2c的水平线HL在图5i中不平行于图像传感器的水平边缘而延伸，而是被描绘为弯曲(虚拟)线LH1、LH2等(通常称为LH)。线的弯曲从畸变中心向图像传感器的边缘增加。局部12位于图像传感器的一部分中，其中局部12的边缘仅平行于所描绘的网格图案的垂直线和水平线。因此，在传感器上几乎没有畸变地描绘了局部12。局部12”位于图像传感器的一部分中，其中所描绘的网格图案的垂直和水平线强烈地弯曲。
如果从图像传感器的垂直线LV1、LV2、LV3和水平线LH1、LH2强烈弯曲的部分获取局部12的几何形状，而不对几何形状进行调整，则监视器上的局部12的图像数据将以强烈畸变的方式再现。为了补偿畸变，如图5a至5h所示，如果在图像传感器上的垂直线LV1、LV2、LV3和水平线LH1、LH2强烈弯曲的位置处拍摄，则可以使局部12(具有中心M)的几何形状适应于图像传感器上的拍摄位置。另外，如果几何形状分别适应于水平线LH1、LH2和垂直线LV1、LV2、LV3的行进和弯曲，即，如果相对于图像传感器上的垂直定向旋转几何形状，使得穿过几何形状的中心M”的几何形状的纵轴和横轴相切地位于相应的弯曲水平线LH和垂直线LV处，则可以更好地补偿畸变。局部12”相对于传感器边缘的垂直定向旋转的旋转角度称为β。
旋转角β的确定借助于矢量场进行。在这方面，对于传感器表面的每个点(例如，每个像素)，确定相关联的角度并将其存储在数据库中。也就是说，对于每个传感器像素，基于具有畸变曲线的光学元件的描绘函数和摄像机的倾斜角(参见图2c)，坐标与在图像传感器11上描绘的柱面网格图案相关联。在这方面，不需要每个像素具有直接关联。例如，可以通过插值来确定所存储的点之间的值。角度的确定可以根据经验或通过计算来进行。通过局部的点在传感器上的位置来确定其位置就足够了。该点例如可以是局部12”的中心M”，该中心M”位于局部12”的中心。根据图像传感器上的局部12”中的中心M”的位置，控制单元20A、20B从数据库读出旋转角度，并且使局部12'围绕所读出的角度旋转。
为了便于理解，在图5j中，示出了与图5i的情况相关的图2c的网格柱面的投影。点Se1、Se2、Se3和Se4标记了摄像机的视场的投影交点的角点，并且对应于图像传感器Se1、Se2、Se3和Se4的角点。从图5j可以看出，局部12具有高度H和宽度W，而局部12”具有高度H”和宽度W”，它们大致相等(H～H”,W～W”)。
旋转的局部12”从图像传感器11到监视器30的传输可以借助于基于改变的几何形状和旋转的变换矩阵来进行。在这方面，点Se1、Se2、Se3和Se4对应于监视器上的点ME1至ME4。因此，在监视器30上完整地描绘了局部12”。如图5k所示，由于局部12”的改变的几何形状和旋转，物体40和60在图像传感器上被描绘为几乎没有畸变。物体40在监视器30上具有例如宽度L”，其对应于车辆环境中物体40的宽度L的比率。
图6a至6c示出了如何根据图像传感器11上的位置来适配局部12、12’、12”的几何形状以使得可以尽可能补偿光学元件的畸变特性的另一方法。如图6a所示，在图像传感器上限定了三个局部12、12’、12”。所有三个局部12、12’、12”都经受矩阵变换，即取决于它们在图像传感器11上的相应位置的透视变换。
然而，与图5i至5k(其作为图6a至6c的基础)的方法相比，在确定局部12、12’、12”在某些位置处的几何形状期间，不确定旋转角，而是使用局部12、12’、12”的特征点(例如局部12的角点，在该角点处，局部12、12’、12”中的每一个的侧边缘彼此相交)来确定几何形状。关于图6a和图6c，点E1至E4用于局部12，点E1'至E4'用于局部12’，点E1”至E4”用于局部12”，分别作为矩阵变换的输入数据，而监视器ME1至ME4的角点形成矩阵变换的目标数据。
图6b再次示出了图2c的网格柱面的投影。点Se1、Se2、Se3和Se4再次标记摄像机的视场的投影交点的角点，并且对应于图像传感器Se1、Se2、Se3和Se4的角点。由图6b可知，局部12具有高度H及宽度W，而局部12'具有高度H’及宽度W’，且局部12”具有高度H”及宽度W”，它们分别近似相等(H～H’～H”,W～W’～W”)。
通过变换矩阵将局部12、12’、12”从图像传感器11传输到监视器30。在此方面，角点ME1至ME4形成对应于角点E1'至E4'的局部12’的目标数据/目标点。因此，如图6c所示，物体40在监视器30上具有例如宽度L’，该宽度L’对应于车辆环境中物体40的宽度L的比率。通常，图像传感器11上以及相应地在监视器30上的局部12、12’、12”的形状取决于光学元件的畸变特性。
因此，通过调整几何形状和根据几何形状在图像传感器上的位置对几何形状的附加旋转，可以比简单地调整几何形状以更可靠的方式补偿光学元件的畸变特性。本发明应当理解为，为了补偿光学元件的畸变特性，也可以发生几何形状的独有的旋转。
通常，在仅具有单个监视器部分的单个监视器上，车辆周围环境的表示(即，来自描绘角的图像数据的表示)以及因此的局部的表示，可以临时地随后发生，或者在具有分离的监视器部分的单个监视器上同时发生。分离的监视器部分可沿监视器的左右方向彼此相邻或彼此叠置地布置，并且可包括商用车辆的主镜和/或广角镜的其它视场，例如在ECER46中限定的视场，例如，在上监视器部分中的主镜的视场和在下监视器部分中的广角镜的视场。还可以想到，所有视场都在具有单个监视器部分的监视器中表示。这需要空间上相邻或至少紧密定位的局部，以及在局部所位于的图像传感器表面上光学元件的畸变特性的连续或部分的补偿，使得产生车辆环境的连续完整图像(没有中断)，使驾驶员可以快速评估车辆环境。最后，例如根据驾驶情况或驾驶员的输入，可以在不同的时间显示所述局部。最后，也可以考虑在多个监视器上显示不同的局部。
这里明确地指出，旨在出于原始公开的目的以及出于独立于实施例和/或权利要求书中的特征的组成来限制所要求保护的发明的目的，说明书和/或权利要求书中公开的所有特征彼此分开且独立地公开。这里明确地指出，为了原始公开的目的以及为了限制所要求保护的发明的目的，特别是作为数值范围的限制，所有数值范围或实体组的指示都公开了每个可能的中间值或中间实体。
附图标记列表
10、10A，10B 图像捕获单元，摄像机
11 图像传感器
12，12'，12” 局部
20A，20B 图像处理单元
30、30A，30B 图像再现单元，监视器
40 物体
50 物体
60 物体
70 物体
100A，100B 观察系统
aR 旋转轴
E1-E4，E1'-E4'，E1”-E4” 图像传感器点
FO 路面
H，H'，H” 高度
HLO 穿过物体的第一个主点的水平线
HL 水平网线
K，K1，K2 补偿曲线
LH，LH1，LH2，LH3 水平弯曲(虚拟)线
M，M'，M” 中心
ME1-ME4 监视目标点
P，P'，P”，P1，P1' 局部的宽度
P2，P2' 局部的长度
LV1，LV2，LV3 垂直弯曲(虚拟)线
Sk1，Sk2，Sk3，Sk4 视场的边缘
Se1，Se2，Se3，Se4 图像传感器的角点
VL 垂直网线
W，W'，W” 宽度
α1，α1' 摄像机在第一空间方向上的描绘角
α2，α2' 摄像机在第二空间方向上的描绘角
β 定向角
β’ 布置角
γ1 摄像机在第一空间方向上的视角
γ1* 摄像机在第一空间方向上的视角的投影
γ2 摄像机在第二空间方向上的视角
γ2* 摄像机在第二空间方向上的视角的投影
方面
1.一种用于车辆(1)的观察系统(100A、100B)，包括
至少一个图像捕获单元(10、10A、10B)，用于捕获车辆(1)周围的部分的图像数据，其中，所述图像捕获单元(10、10A、10B)具有图像传感器(11)和具有畸变曲线的光学元件，其中，取决于所述图像传感器(11)上的位置的所述图像数据根据所述光学元件的所述畸变曲线而畸变，
至少一个图像处理单元(20A、20B)，用于处理由所述图像捕获单元(10、10A、10B)捕获的图像数据，以及
至少一个再现单元(30、30A、30B)，用于再现由所述图像处理单元(20A、20B)处理的所述图像数据，
其中，所述图像处理单元(20A、20B)被配置为从所述图像传感器(11)的所述图像数据中获取至少一个局部(12、12’)，其中，所述局部(12、12’)的几何形状取决于所述局部(12、12')在所述图像传感器(11)上的位置。
2.根据方面1的观察系统(100A、100B)，其中，所述局部(12)限定具有参考几何形状的参考局部(12)。
3.根据方面2所述的观察系统(100A，100B)，其中，如果所述局部(12)是从所述图像传感器(11)在对应于所述图像捕获单元(10、10A、10B)的畸变中心在所述图像传感器(11)上的描绘的位置附近取得的，则所述局部(12)限定参考局部。
4.根据方面3所述的观察系统(100A，100B)，其中，所述局部(12)是从所述图像传感器(11)在对应于所述图像捕获单元(10、10A、10B)的畸变中心在所述图像传感器(11)上的描绘的位置处或与所述位置直接相邻的位置处取得的。
5.根据方面3或4所述的观察系统(100A，100B)，其中，所述畸变中心是光轴。
6.根据方面2至5中任一项所述的观察系统(100A，100B)，其中，所述参考几何形状是具有宽度(P1)和长度(P2)的矩形。
7.根据方面2至6中任一项所述的观察系统(100A，100B)，其中，如果所述局部(12’)布置在对应于所述图像捕获单元(10、10A、10B)的所述畸变中心在所述图像传感器(11)上的描绘的位置的远侧，则所述局部(12’)具有相对于所述参考几何形状旋转和/或畸变和/或缩放的几何形状。
8.根据方面7所述的观察系统(100A，100B)，其中，所述参考几何形状的旋转和/或畸变和/或缩放的程度至少部分地随着到所述图像捕获单元(10、10A、10B)的所述畸变中心在所述图像传感器(11)上的描绘的距离的增加而增加。
9.根据方面7所述的观察系统(100A，100B)，其中，所述参考几何形状的旋转和/或畸变和/或缩放的程度随着到所述图像捕获单元(10、10A、10B)的所述畸变中心在所述图像传感器(11)上的描绘的距离的增大而逐区域地减小。
10.根据前述方面中的任一方面的观察系统(100A，100B)，其中，所述局部(12’)的所述几何形状的第一尺寸的确定发生在第一空间方向上。
11.根据方面10所述的观察系统(100A，100B)，其中，所述局部(12’)的几何形状的第二尺寸的确定发生在第二空间方向上。
12.根据方面11所述的观察系统(100A，100B)，其中，所述第一空间方向和所述第二空间方向彼此垂直地延伸。
13.根据前述方面中任一项所述的观察系统(100A，100B)，其中，所述局部(12′)的几何形状是借助于计算算法来确定的。
14.根据方面13所述的观察系统(100A，100B)，其中，所述计算算法使用至少一条补偿曲线(K)，利用所述补偿曲线(K)，根据与所述局部(12、12’)相对应的所述图像捕获单元(10、10A、10B)的所述描绘角(α、α1、α2)的位置的变化来确定所述图像传感器(11)上的所述局部(12’)的所述宽度(P1’)和/或所述长度(P2’)。
15.根据方面14所述的观察系统(100A，100B)，其中，所述补偿曲线(K)对应于非线性曲线和/或至少一个数学函数。
16.根据方面14或15所述的观察系统(100A，100B)，其中，所述补偿曲线(K)对应于自由限定的曲线。
17.根据方面16所述的观察系统(100A，100B)，其中，所述自由限定的曲线的值是根据经验确定的并且存储在所述处理单元(20A、20B)中。
18.根据方面14所述的观察系统(100A，100B)，其中，所述补偿曲线(K)对应于所述光学元件的所述畸变曲线。
19.根据方面18所述的观察系统(100A，100B)，其中，所述补偿曲线(K)还对应于所述光学元件的具有数字畸变校正的补偿曲线。
20.根据方面2至19中任一项所述的观察系统(100A，100B)，其中，对应于所述参考局部(12)的所述描绘角(α、α1、α2)与对应于所述局部(12’)的所述描绘角(α'、α1'、α2')相等。
21.根据前述方面中的任一方面的观察系统(100A，100B)，其中，所述局部(12、12’)包括商用车辆的主镜和/或广角镜的视场。
22.一种用于车辆的视镜替代系统，其具有根据方面1至21中任一项所述的观察系统(100A、100B)。

Claims (22)

1.一种用于车辆(1)的观察系统(100A、100B)，包括
至少一个图像捕获单元(10A、10B)，用于捕获车辆(1)周围的部分的图像数据，其中，所述图像捕获单元(10A、10B)具有图像传感器(11)和具有畸变曲线的光学元件，其中，取决于所述图像传感器(11)上的位置的所述图像数据根据所述光学元件的所述畸变曲线而畸变，
至少一个图像处理单元(20A、20B)，用于处理由所述图像捕获单元(10A、10B)捕获的图像数据，以及
至少一个再现单元(30A、30B)，用于再现由所述图像处理单元(20A、20B)处理的所述图像数据，
其中，所述图像处理单元(20A、20B)被配置为从所述图像传感器(11)的所述图像数据中获取至少一个局部(12、12’)，其中，所述图像传感器上的所述局部(12、12’)的几何形状和描绘角(α1，α1’，α2，α2’)的位置取决于所述局部(12、12’)在所述图像传感器(11)上的位置。
2.根据权利要求1所述的观察系统(100A、100B)，其中，所述局部(12)限定具有参考几何形状的参考局部。
3.根据权利要求2所述的观察系统(100A、100B)，其中，如果所述局部(12)是从所述图像传感器(11)在对应于所述图像捕获单元(10A、10B)的畸变中心在所述图像传感器(11)上的描绘的位置附近取得的，则所述局部(12)限定参考局部。
4.根据权利要求3所述的观察系统(100A、100B)，其中，所述局部(12)是从所述图像传感器(11)在对应于所述图像捕获单元(10A、10B)的畸变中心在所述图像传感器(11)上的描绘的位置处或与所述位置直接相邻的位置处取得的。
5.根据权利要求3所述的观察系统(100A、100B)，其中，所述畸变中心是光轴。
6.根据权利要求2至5中任一项所述的观察系统(100A、100B)，其中，所述参考几何形状是具有宽度(P1)和长度(P2)的矩形。
7.根据权利要求3至5中任一项所述的观察系统(100A、100B)，其中，如果所述局部(12’)布置在对应于所述图像捕获单元(10A、10B)的所述畸变中心在所述图像传感器(11)上的描绘的位置的远侧，则所述局部(12’)具有相对于所述参考几何形状旋转和/或畸变和/或缩放的几何形状。
8.根据权利要求7所述的观察系统(100A、100B)，其中，所述参考几何形状的旋转和/或畸变和/或缩放的程度至少部分地随着到所述图像捕获单元(10A、10B)的所述畸变中心在所述图像传感器(11)上的描绘的距离的增加而增加。
9.根据权利要求7所述的观察系统(100A、100B)，其中，所述参考几何形状的旋转和/或畸变和/或缩放的程度随着到所述图像捕获单元(10A、10B)的所述畸变中心在所述图像传感器(11)上的描绘的距离的增大而逐区域地减小。
10.根据权利要求1至5中任一项所述的观察系统(100A、100B)，其中，所述局部(12’)的所述几何形状的第一尺寸的确定发生在第一空间方向上。
11.根据权利要求10所述的观察系统(100A、100B)，其中，所述局部(12’)的所述几何形状的第二尺寸的确定发生在第二空间方向上。
12.根据权利要求11所述的观察系统(100A、100B)，其中，所述第一空间方向和所述第二空间方向彼此垂直地延伸。
13.根据权利要求1至5中任一项所述的观察系统(100A、100B)，其中，所述局部(12’)的几何形状是借助于计算算法来确定的。
14.根据权利要求13所述的观察系统(100A、100B)，其中，所述计算算法使用至少一条补偿曲线(K)，利用所述补偿曲线(K)，根据与所述局部(12、12’)相对应的所述图像捕获单元(10A、10B)的所述描绘角(α1、α2)的位置的变化来确定所述图像传感器(11)上的所述局部(12’)的宽度(P1’)和/或长度(P2’)。
15.根据权利要求14所述的观察系统(100A、100B)，其中，所述补偿曲线(K)对应于非线性曲线和/或至少一个数学函数。
16.根据权利要求14所述的观察系统(100A、100B)，其中，所述补偿曲线(K)对应于自由限定的曲线。
17.根据权利要求16所述的观察系统(100A、100B)，其中，所述自由限定的曲线的值是根据经验确定的并且存储在所述处理单元(20A、20B)中。
18.根据权利要求14所述的观察系统(100A、100B)，其中，所述补偿曲线(K)对应于所述光学元件的所述畸变曲线。
19.根据权利要求18所述的观察系统(100A、100B)，其中，所述补偿曲线(K)还对应于所述光学元件的具有数字畸变校正的补偿曲线。
20.根据权利要求2至5中任一项所述的观察系统(100A，100B)，其中，对应于所述局部(12)的所述描绘角(α1、α2)与对应于所述局部(12’)的所述描绘角(α1’、α2’)相等。
21.根据权利要求1至5中任一项所述的观察系统(100A、100B)，其中，所述局部(12、12’)包括商用车辆的主镜和/或广角镜的视场。
22.一种用于车辆的视镜替代系统，其具有根据权利要求1至21中任一项所述的观察系统(100A、100B)。
CN202010336211.8A 2019-04-26 2020-04-24 车辆观察系统 Active CN111866446B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019110871.3 2019-04-26
DE102019110871.3A DE102019110871A1 (de) 2019-04-26 2019-04-26 Sichtsystem für ein Fahrzeug

Publications (2)

Publication Number Publication Date
CN111866446A CN111866446A (zh) 2020-10-30
CN111866446B true CN111866446B (zh) 2022-10-28

Family

ID=70277137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010336211.8A Active CN111866446B (zh) 2019-04-26 2020-04-24 车辆观察系统

Country Status (5)

Country Link
US (1) US11134225B2 (zh)
EP (1) EP3730346B1 (zh)
CN (1) CN111866446B (zh)
DE (1) DE102019110871A1 (zh)
ES (1) ES2908413T3 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7035712B2 (ja) 2018-03-29 2022-03-15 トヨタ自動車株式会社 後方監視装置
EP3905655A1 (en) * 2020-04-30 2021-11-03 Motherson Innovations Company Ltd. Method for aligning a camera of a vehicle camera monitor system and vehicle
CN112702526A (zh) * 2020-12-28 2021-04-23 西安中科立德红外科技有限公司 一种基于pal制式的多视角视频处理装置及方法
CN112702529B (zh) * 2020-12-29 2022-07-08 杭州海康机器人技术有限公司 云台相机配置方法、装置及可读存储介质和电子设备
CN114633692B (zh) * 2022-03-14 2023-10-03 深圳市艾为智能有限公司 一种偏心镜头在cms系统中的应用方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6069755A (en) * 1994-03-21 2000-05-30 Li; Shiqing Rear-view mirror for vehicles
CN1690659A (zh) * 2004-04-23 2005-11-02 株式会社自动网络技术研究所 车辆周围环境观察设备
CN101861255A (zh) * 2007-11-21 2010-10-13 三洋电机株式会社 图像处理装置和方法、驾驶支持系统、车辆
DE102014018040A1 (de) * 2014-12-05 2016-06-09 Mekra Lang Gmbh & Co. Kg Sichtsystem
CN109523489A (zh) * 2018-11-28 2019-03-26 广州大学 一种生成俯视无畸变倒车影像的方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8599257B2 (en) * 2006-08-18 2013-12-03 Nec Corporation Vehicle detection device, vehicle detection method, and vehicle detection program
JP2009010730A (ja) * 2007-06-28 2009-01-15 Kyocera Corp 画像処理方法と該画像処理方法を用いた撮像装置
JP4924896B2 (ja) * 2007-07-05 2012-04-25 アイシン精機株式会社 車両の周辺監視装置
US8017898B2 (en) * 2007-08-17 2011-09-13 Magna Electronics Inc. Vehicular imaging system in an automatic headlamp control system
DE112010005565T5 (de) * 2010-05-14 2013-02-28 Mitsubishi Electric Corp. Einparkunterstützungsvorrichtung, Einparkunterstützungssystem und Einparkunterstützungskameraeinheit
JP5124672B2 (ja) * 2011-06-07 2013-01-23 株式会社小松製作所 作業車両の周辺監視装置
WO2013008623A1 (ja) * 2011-07-12 2013-01-17 日産自動車株式会社 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法
DE102014006153A1 (de) * 2014-04-25 2015-10-29 Man Truck & Bus Ag Verfahren zur Bilddarstellung eines indirekten Sichtfeldes im Fahrzeugumfeld eines Fahrzeugs, insbesondere eines Nutzfahrzeugs, mit einem Kamera-Monitor-System
US20180281698A1 (en) * 2017-03-31 2018-10-04 Magna Electronics Inc. Vehicular camera calibration system
DE102017207792A1 (de) * 2017-05-09 2018-11-15 Continental Automotive Gmbh Vorrichtung und Verfahren zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatzkamera
JP6958147B2 (ja) * 2017-09-07 2021-11-02 トヨタ自動車株式会社 画像表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6069755A (en) * 1994-03-21 2000-05-30 Li; Shiqing Rear-view mirror for vehicles
CN1690659A (zh) * 2004-04-23 2005-11-02 株式会社自动网络技术研究所 车辆周围环境观察设备
CN101861255A (zh) * 2007-11-21 2010-10-13 三洋电机株式会社 图像处理装置和方法、驾驶支持系统、车辆
DE102014018040A1 (de) * 2014-12-05 2016-06-09 Mekra Lang Gmbh & Co. Kg Sichtsystem
CN109523489A (zh) * 2018-11-28 2019-03-26 广州大学 一种生成俯视无畸变倒车影像的方法

Also Published As

Publication number Publication date
US11134225B2 (en) 2021-09-28
EP3730346B1 (de) 2021-12-29
DE102019110871A1 (de) 2020-10-29
CN111866446A (zh) 2020-10-30
EP3730346A1 (de) 2020-10-28
US20200344450A1 (en) 2020-10-29
ES2908413T3 (es) 2022-04-29

Similar Documents

Publication Publication Date Title
CN111866446B (zh) 车辆观察系统
KR102150255B1 (ko) 차량 환경을 캡처하기 위한 뷰 시스템
US9238434B2 (en) Rear view mirror simulation
US8130270B2 (en) Vehicle-mounted image capturing apparatus
US8233045B2 (en) Method and apparatus for distortion correction and image enhancing of a vehicle rear viewing system
US8421865B2 (en) Method for calibrating a vehicular camera system
US6611202B2 (en) Vehicle camera display system
JP4810953B2 (ja) 車両用死角映像表示装置
US8063752B2 (en) Camera unit with driving corridor display functionality for a vehicle, method for displaying anticipated trajectory of a vehicle, and system for generating driving corridor markers
US8134608B2 (en) Imaging apparatus
US8477191B2 (en) On-vehicle image pickup apparatus
WO2009116327A1 (ja) 画像処理装置及び方法、運転支援システム、車両
WO2011090163A1 (ja) パラメータ決定装置、パラメータ決定システム、パラメータ決定方法、及び記録媒体
US20140226008A1 (en) Viewing system for vehicles, in particular commercial vehicles
KR101552444B1 (ko) 시각 시스템
KR102124298B1 (ko) 후방 교차 교통-퀵 룩스
KR101657673B1 (ko) 파노라마뷰 생성 장치 및 방법
US11752952B2 (en) Method for aligning a camera of a vehicle camera monitor system and vehicle
CN117197253A (zh) 一种cms视野自适应调节方法
US20180316868A1 (en) Rear view display object referents system and method
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
US11400861B2 (en) Camera monitoring system
US20050030380A1 (en) Image providing apparatus, field-of-view changing method, and computer program product for changing field-of-view
JP2021512536A (ja) 自動車用のカメラ・モニターシステムを運転する方法および装置
JP7551699B2 (ja) カメラシステムおよびその制御方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant