CN109677327A - 用于检测车辆的环境的环境检测系统和用于检测车辆的环境的方法 - Google Patents

用于检测车辆的环境的环境检测系统和用于检测车辆的环境的方法 Download PDF

Info

Publication number
CN109677327A
CN109677327A CN201811220635.7A CN201811220635A CN109677327A CN 109677327 A CN109677327 A CN 109677327A CN 201811220635 A CN201811220635 A CN 201811220635A CN 109677327 A CN109677327 A CN 109677327A
Authority
CN
China
Prior art keywords
ems
imaging
sensor
environment
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811220635.7A
Other languages
English (en)
Inventor
P·利伯特劳特
M·格泽
U·塞格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN109677327A publication Critical patent/CN109677327A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/08Anamorphotic objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0068Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration having means for controlling the degree of correction, e.g. using phase modulators, movable elements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B41/00Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026Windows, e.g. windscreen
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/08Mirrors
    • G02B5/10Mirrors with curved faces

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)

Abstract

本发明涉及一种用于检测车辆的环境的环境检测系统(100)。所述环境检测系统(100)包括传感器(102)和成像设备(106),所述传感器具有光敏感的传感器面(104),所述成像设备构造用于在所述传感器面(104)上产生所述环境的畸变成像,其中,所述成像具有配属给所述环境检测系统(100)的各一个不同的检测范围的至少两个畸变区域,所述环境以各一个不同的成像尺度成像在所述至少两个畸变区域中。

Description

用于检测车辆的环境的环境检测系统和用于检测车辆的环境 的方法
技术领域
本发明从根据独立权利要求所述类型的设备或方法出发。一种计算机程序也是本发明的主题。
背景技术
迄今,在用于环境检测的应用的用机器的图像处理中,以下摄像机系统或光学器件被视为特别有利:所述摄像机系统或光学器件尽可能允许等距的成像,其相应于日昝投影。在该投影中,成像是等角的(winkeltreu)。尤其对于广角镜组,也已知其他投影。
发明内容
在此背景下,借助在此提出的方案,提出根据主权利要求的一种用于检测车辆的环境的环境检测系统、一种用于借助环境检测系统检测车辆的环境的方法以及一种相应的计算机程序。通过在从属权利要求中列出的措施,能够实现在独立权利要求中说明的设备的有利的扩展方案和改进。
在此提出的方案基于以下认识:可以实现一种环境检测系统,所述环境检测系统具有用于多形态地(multimorph)成像环境的光学系统,在所述光学系统中畸变地(verzeichnet)示出环境。由此可以在同一传感器上以不同的成像特性产生多个范围,所述不同的成像特性允许在用机器的图像处理装置中对象的改善的可识别性。
对用于驾驶员辅助功能的环境检测系统或自主驾驶的系统提出特别的要求,因为对于车辆控制必须登记显著不同的对象,例如其他交通参与者、行车道性质或光学交通指示标志。这些应用尤其要求在不同视向上部分地不同的成像尺度。
对车辆控制的干预视行驶状况而定地取决于不同的“感知”。借助多形态的成像将环境成像到视频传感器上——所述成像满足所有状况和应用——对部件提出要求,所述要求难以满足。
为了能够实现重要相关的对象的安全检测,因此时常使用具有专门的功能特性的多个摄像机,所述多个摄像机例如通过不同的视向如向左、向右、向上、向下、向前或向后、不同的检测角度如远程角度、标准角度或广角度、不同的焦点范围如近焦点或远焦点以及它们的分辨率、也即它们的扫描值或光谱检测范围来区分。
为了确保信号完整性,应将来自多个源的图像在时间上和在空间上相关。这可能引起高的复杂性耗费和成本耗费,尤其当将来自具有不同的扫描时间基、有公差的视向偏差和内外与外在的校准的多个物理检测单元的信号相互比较时。通过在此提出的方案可以使复杂性更不可控。由此可以降低成本。
对于图像处理,原则上优选日昝投影,然而,这类投影光学器件对于较大的视角要求显著增加的图像高度。为了在仅仅适度增加的传感器分辨率的情况下适应变得越来越大的检测范围,可以采取以下解决方案:所述解决方案已经由20世纪的电影拍摄和投影技术已知并且借助有针对性地对称畸变的光学器件能够实现多形态的成像。一个示例应用是,以高的纵横比例如2.55:1将场景压缩到35mm胶卷上。变形的投影也可以被用于在图像平面上以特别的纵横比成像相同的视角。
除此之外,可以对于监视系统使用具有径向可变的投影的光学器件。在图像传感器上,可以因此以高的兴趣、特别详细地成像监视范围(低的等倾线(Isoklinen)密度),而造成较少信息的视角可以被压缩地成像(高的等倾线密度)。
这样的投影要么关于系统的光学轴线径向对称要么具有至少一个对称元件,例如在椭圆形投影的情况下的镜平面。不同的投影通过畸变的光学器件的应用来实现,也即镜组的畸变用作成型特征(Gestaltungsmerkmal)。在一些应用如全景摄影或电影摄影中,有针对性地应用该行为,以便实现畸变系统的高效应用。在此,通过非球形的元件例如棱镜、相互扭转90度的环曲面透镜或柱面透镜的应用引起所期望的畸变。对于径向对称的畸变,也可以应用抛光的或压制的非球形透镜。
基于待检测的重要相关的对象,驾驶员辅助系统可以具有以下图像区域:该图像区域具有较强或较不强地突出的对称的畸变。例如,可以通过使用三个图像传感器和三个光学器件来实现监视范围的良好的覆盖。然而,由此在车辆中占据较多空间并且因此功率消耗和系统成本增加。对于图像的处理,可以执行修正,以便反算出透视的中央投影并且简化对象的识别。
在驾驶员辅助领域的应用中,可以通过具有不同的角度分辨率和不同的传感器的并行的摄像机或摄像机头满足对张角或分辨率的显著不同的要求。
在此提出的方案基本上基于:以可自由成型的、不一定点径向的或镜像对称的方式实现光学路径的成像特性。这些特性在此可以通过设计、借助所设置的调节设备静态地或也动态地可调节。这样的成像因此可以称作多形态的,因为成像尺度的局部区域别导致,对象的形状根据观察角度而显得不同。
所述方案基于以下认识:并非所有视角造成用于驾驶员辅助系统的相同的信息含量(Informationsgehalt)。通过图像区域的有针对性的畸变,可以在图像传感器上产生更均匀的信息密度,其方式是,例如具有高的信息含量的视域占据图像面的大的范围,反之,在图像面上压缩不重要的视域。图像畸变的分布在此不一定是径向对称或轴对称的。在等倾线的轴对称的成型中,例如可以以高的详细程度、也即以每度多个像素以及小的等倾线密度成像中央检测范围。
在自动化的图像分析处理的意义上的最大的信息含量的范围不是必须关于光学轴线或传感器对称地延伸。在多形态畸变的光学器件中,最高的像素密度的范围也可以向上移位。
借助以下光学系统——所述光学系统具有带有不同的成像尺度的可自由成型的区域——的成像是特别节约资源的,因为特别高效地利用传感器面并且所需要的再处理从以下获益:处理更小的数据量,因为冗余度被减小到最小值上。
在此提出的方案的重要优点是,可以相应于环境检测系统的局部的分辨率要求逐个区域地成型环境的成像,而不使用多个成像系统或成像单元或传感器单元,并且,所检测的对象的通过唯一的光学系统从不同的视向的配属是给定的,所述光学系统优选成像到传感器上。由此,在安装之后,特别准确的配属是给定的,因为避免了显著具有公差的路径,例如多个摄像机或待机械上相互调准的单独的光学路径。
提出一种用于检测车辆的环境的环境检测系统,其中,所述环境检测系统具有以下特征:
传感器,所述传感器具有光敏感的传感器面;以及
成像设备,所述成像设备构造用于在所述传感器面上产生所述环境的畸变成像,其中,所述成像具有配属给所述环境检测系统的各一个不同的检测范围的至少两个畸变区域,所述环境以各一个不同的成像尺度成像在所述至少两个畸变区域中。
传感器可以理解为图像传感器,例如CMOS-传感器或其余光敏感的构件。成像设备可以理解为由一个或多个光学构件如镜或透镜组成的光学设备。检测范围可以理解为待检测的对象空间的配属给环境检测系统的确定的视角的部分范围。畸变可以理解为在投影中成像尺度的局部改变的意义上的光学失真。成像尺度可以理解为对象的光学成像的图像大小与对象的真实大小之间的比例关系。
根据一种实施方式,成像设备可以构造用于改变畸变区域。由此,环境检测系统可以尽可能高效地工作。为此,成像设备可以构造用于接收用于改变所述畸变区域中的至少一个畸变区域的合适的控制信号。这样的控制信号例如可以引起配属有畸变区域的检测范围的改变和/或引起畸变区域的成像尺度的改变。控制信号例如可以通过与辅助系统的接口来接收,所述控制信号利用环境检测系统的图像或者由环境检测系统自身生成,例如在使用当前的所检测的图像的情况下。控制信号也可以通过用于配置环境检测系统的接口来接收。因此,环境检测系统例如可以匹配于以下车辆的特性:在所述车辆上安装有或者安装环境检测系统。变化信号可以例如涉及模拟的或数字的电信号。
根据一种实施方式,环境检测系统可以具有控制设备,所述控制设备构造用于通过在使用通过所述传感器提供的图像信号的情况下控制所述成像设备来根据所述检测范围的相应的信息含量改变所述畸变区域。控制设备在此可以理解为处理传感器信号并且据此输出控制信号和/或数据信号的电设备。控制设备可以具有可以按硬件方式和/或按软件方式构造的接口。在按硬件方式的构造中,接口例如可以是所谓的系统ASIC的包括所述设备的最不同功能的一部分。然而,也可能的是,接口是单独的集成电路或至少部分地由分立构件组成。在按软件方式的构造中,接口可以是软件模块,其例如与其他软件模块共存在微控制器上。通过该实施方式,例如可以压缩地成像具有较低的信息含量的检测范围,并且延展地成像具有较大的信息含量的检测范围。由此可以在环境检测中实现特别高的效率。
此外有利的是,所述成像设备构造用于产生具有不对称的畸变区域的成像。不对称的畸变区域可以理解为既不是径向对称的也不是轴对称的畸变区域。由此可以在环境中高效和准确地检测最不同的场景。
根据另一实施方式,所述成像设备可以具有自由成形的和/或布置在所述车辆的挡风玻璃上的和/或关于其光学特性可变的至少一个光学元件用于产生所述畸变区域。由此,可以以相对低的耗费将成像设备集成到车辆中。
在此,所述光学元件可以实施为透镜元件和/或镜元件和/或混合元件。混合元件可以理解为由不同材料组成的光学元件。例如,可以施加光学功能结构到混合元件上。通过该实施方式可以成本有利地提供环境检测系统。
也有利的是,所述光学元件具有用于产生所述畸变区域的微结构。微结构可以理解为用于有针对性地成像环境的结构。由此,可以以相对低的附加耗费有针对性地改变光学元件的光学特性。
在此提出的方案此外实现一种用于借助环境检测系统检测车辆的环境的方法,其中,所述环境检测系统具有传感器和成像设备,所述传感器具有光敏感的传感器面,其中,所述方法包括以下步骤:
借助所述成像设备在所述传感器面上产生所述环境的畸变成像,其中,所述成像具有配属给所述环境检测系统的各一个不同的检测范围的至少两个畸变区域,所述环境以各一个不同的成像尺度成像在所述至少两个畸变区域中。
根据一种实施方式,所述方法包括以下步骤:在使用通过所述传感器提供的图像信号的情况下控制所述成像设备,以便根据所述检测范围的相应的信息含量改变所述畸变区域。
所述方法可以例如按软件或硬件或按由软件和硬件组成的混合形式例如在控制设备中实施。
具有程序代码的计算机程序产品或者计算机程序也是有利的,所述程序代码可以存储在机器可读的载体或者存储介质,如半导体存储器、硬盘存储器或光学存储器上并且尤其用于当在计算机或者设备上执行程序产品或者程序时实施、实现和/或控制根据先前描述的实施方式之一的方法的步骤。
附图说明
在附图中示出并且在下面的描述中详细地阐述本发明的实施例。
图1示出根据一个实施例的环境检测系统的示意图;
图2示出根据一个实施例的环境检测系统的示意图;
图3示出根据一个实施例的环境检测系统的示意图;
图4示出根据一个实施例的环境检测系统的示意图;
图5示出根据一个实施例的成像设备的示意图;
图6示出图5中的透镜元件的俯视图;
图7示出图5中的透镜元件的俯视图;
图8示出根据一个实施例的传感器的俯视图;
图9示出图8中的传感器的横截面示图;
图10示出图8中的传感器的底面图;
图11示出根据一个实施例的传感器102的横截面示图;
图12示出通过根据一个实施例的传感器提供的图像的示意图;
图13示出根据一个实施例的成像设备的畸变区域的分布的示意图;
图14示出通过根据一个实施例的成像设备产生的多形态的对称成像的示意图;
图15示出通过根据一个实施例的成像设备产生的多形态的对称成像的示意图;
图16示出通过根据一个实施例的成像设备产生的多形态的不对称成像的示意图;
图17示出根据一个实施例的方法的流程图;
图18示出根据一个实施例的控制设备的示意图;
图19示出根据一个实施例的环境检测系统的系统架构的示意图;
图20示出借助根据一个实施例的成像设备将场景显著畸变地投影到图像平面中的一个示例。
在本发明的优选实施例的后续描述中,对于在不同附图中示出并且起类似作用的元件使用相同的或类似的附图标记,其中,不重复描述这些元件。
具体实施方式
图1示出根据一个实施例的环境检测系统100的示意图。用于检测车辆的环境的环境检测系统100包括传感器102,该传感器具有光敏感的传感器面104,环境的畸变成像可借助成像设备106投影到该传感器面上。在此,成像设备106构造用于如此产生成像,使得该成像具有至少两个畸变区域,所述环境以各一个不同的成像尺度成像在所述至少两个畸变区域中。例如由此在同一成像中压缩环境的检测范围并且延展地示出环境的其他检测范围。根据实施例,畸变区域可以是不同大小,相互重叠、相互隔开或者连续地过渡到彼此中。在此,畸变区域可以关于传感器106的光学轴线108对称或不对称地分布。
根据该实施例,成像设备106包括多个光学元件,在此示例性地包括在车辆的挡风玻璃109上安装的场透镜元件110和同样承载窗玻璃的具有畸变作用的混合的或自由成形的元件112,其邻接场透镜元件110的边缘。此外,成像设备106包括在场透镜元件110和传感器102之间的光程中布置的成像光学器件,该成像光学器件由三个相继地布置的透镜元件114组成。光程以三个实线标出。
图2示出根据一个实施例的环境检测系统100的示意图。与图1不同,环境检测系统100在此包括承载窗玻璃的摄像机保持装置200,该摄像机保持装置用于保持具有传感器102的摄像机202。场透镜元件110作为自由成形的元件集成到摄像机保持装置200中并且因此是摄像机保持装置200的组成部分。
图3示出根据一个实施例的环境检测系统100的示意图。示出图2中的摄像机保持装置200,其中,摄像机保持装置200根据该实施例具有弯曲的镜元件300,该镜元件用于使通过挡风玻璃109入射的光束转向到连接在摄像机202之前的成像光学器件的透镜元件114上。镜元件300同样是环境检测系统100的成像设备的一部分。例如,镜元件300施加到摄像机保持装置300的内壁上。透镜元件114由固定在摄像机保持装置200上的透镜保持装置302保持。
图4示出根据一个实施例的环境检测系统100的示意图。环境检测系统100基本上相应于先前根据图3描述的环境检测系统,其具有以下区别:镜元件300在此不是在摄像机保持装置200的内壁上、而是与内壁间隔开地作为反射面在镜保持装置400上实现。根据该实施例,镜保持装置400形成透镜保持装置302的一部分。
图5示出根据一个实施例的成像设备106的示意图。示出成像光学器件,其具有如先前根据图1至4描述的那样的三个透镜元件114。根据该实施例,微结构500施加到三个透镜元件114中的中间的透镜元件上,所述微结构构造用于引起环境的成像的畸变。透镜元件114例如涉及塑料透镜。根据实施例,微结构500施加到整个穿透面上或者仅仅施加到穿透面的一部分上,如从图6和7可以看出的那样。
图6和7分别示出具有图5中的微结构500的中间的透镜元件114的俯视图。
图8示出根据一个实施例的传感器102的俯视图。根据该实施例,传感器102实施为与场透镜800连接的芯片,其中,场透镜800是环境检测系统的成像设备的部件。在俯视图中,示例性地可以看出场透镜800的通过虚线标记的四个畸变区域802、804、806、808,通过所述场透镜以各一个不同的成像尺度将环境成像到传感器102的传感器面上。
图9示出图8中的传感器102的横截面示图。可以看出传感器芯片900和以具有光学作用的施加到传感器芯片900上的层形式的场透镜800。该光学作用例如通过场透镜800的球形的或非球形的形状或自由形状实现,但是折射率改变借助掺杂的材料或通过表面的微结构化来实现。
根据该实施例,光学作用在使用控制信号的情况下可变并因此可调节。
图10示出图8中的传感器102的底面图。传感器102例如实施为具有玻璃盖或塑料盖的CSP封装。
图11示出根据一个实施例的传感器102的横截面示图。与图8至10不同,在此施加透明的圆顶材料(Glob-Top-Material)1100用于使成像畸变。圆顶材料1100和传感器芯片900分别与载体衬底1102连接。
图12示出通过根据一个实施例的传感器提供的图像1200的示意图。示例性地示出通过属于成像设备的镜使入口门畸变成像,所述镜具有歪斜的矩形的棱锥体。图像1200的畸变例如允许,放大地成像入口门的光栅的细节并且在上方的图像边缘中缩小地成像对象。
图13示出根据一个实施例的成像设备的畸变区域802、804、806、808的分布的示意图。分布区域分别以线来标记。出于概览性原因,在图13中,分布区域中的仅仅四个分布区域设有附图标记。
图14示出通过根据一个实施例的成像设备产生的多形态的对称成像1400的示意图。
图15示出通过根据一个实施例的成像设备产生的多形态的对称成像1500的示意图。
图16示出通过根据一个实施例的成像设备产生的多形态的不对称成像1600的示意图。
在图14至16中,畸变区域通过多个等倾线来标出,所述多个等倾线示出相同的视角在在传感器面上的图像平面中的位置。较密的线群组相应于更大的视角范围。
图17示出根据一个实施例的方法1700的流程图。用于检测车辆的环境的方法1700例如可以借助先前根据图1至16描述那样的环境检测系统来实施。在此,在步骤1710中,借助所述成像设备在所述传感器面上产生所述环境的畸变成像。在例如位于步骤1710之前的可选的步骤1720中,在使用通过所述传感器提供的图像信号的情况下控制所述成像设备,以便根据所述检测范围的相应的信息含量改变所述畸变区域。在这种情况下,可以将图像信号理解为控制信号,或者可以在使用图像信号的情况下例如基于图像分析处理来产生控制信号,所述控制信号适合用于通过成像设备的合适的控制来引起畸变区域的改变。替代地,与步骤1710并行地或者在步骤1710之后实施步骤1720。
图18示出根据一个实施例的控制设备1800的示意图。控制设备1800构造用于在使用环境检测系统的传感器的图像信号1802的情况下提供用于控制成像设备的控制信号1804。通过控制成像设备,例如成像设备的畸变区域的形状或分布可匹配于环境的通过图像信号1802代表的图像的不同的图像范围的信息含量。
图19示出根据一个实施例的环境检测系统的系统架构的示意图。在此,第一块1910代表对象空间,第二块1920代表环境检测系统的入射窗,例如具有混合元件的挡风玻璃,第三块1930代表第一成像元件,例如自由形状镜或棱镜,第四块1940代表第二成像元件,例如透镜元件,第五块1950代表传感器连接的场透镜,并且,第六块1960代表环境检测系统的传感器。
图20示出借助根据一个实施例的成像设备将场景2000显著畸变地投影到图像平面中的一个示例。左边示出场景2000,右边示出场景2000的由环境检测装置的传感器提供的图像2002。
下面,再次以其他言语描述在此提出的方案的不同实施例。
在此提出的方案包括以下系统:该系统尤其构造用于检测自动地或半自动地行驶的车辆的车辆环境或者具有主动的或被动的安全或舒适性装置的车辆。
环境检测系统可以是车辆连接的或者可以通过外部的基础设施如无人机或可携带的或静止的装置带来识别性能,所述装置通过本地的数据传输网络相互连接。环境检测系统也可以提供用于车辆的控制的数据。在环境检测系统的光程中,例如集成有至少一个光学自由形状元件,其形成用于在成像中产生局部的与图像区域相关的改变。
特别有利的是成像比例关系的以以下方式的改变:所述方式允许,在不同的视向上实现匹配于识别任务的分辨率。为此,可以使用已经提到的控制信号。
因此,对于确定的任务可以有意义的是,实现场景在传感器上的显著的压缩或延展,如在图20中所示的那样。该畸变可以被优化用于使确定的识别任务变得容易,即使这对于人类观察者而言不再形象地可检测。图20中的显著畸变的图像2002例如非常详细地示出确定的范围:所述范围对于特别的识别任务是必需的。图像2002例如通过一部分图像的或整个图像的逆变换来反变换成经修正的图像,该图像在突出的位置上允许对象的特别高的分辨率。
对于机器的识别任务,尤其在分类方法或学习网络的应用中,也可以直接地在无反变换的情况下使用并且在连接在后面的用于节约资源地识别的图像处理系统中使用这样畸变的图像,因为如此在光学上再分配图像信息,使得以尽可能小的数目的扫描点来实现最大的识别性能。
环境检测系统由光学地起作用的一个或多个元件组成,其单独地或组合地允许先前提到的成像。具有自由形状面的一个或多个光学边界面的应用是特别高效的。
这能够实现畸变区域的产生,所述畸变区域具有对称性或无对称性,也即不是径向对称或点对称的畸变。由此,能够实现在图像区域中的同构范围的位置和局部的成像尺度与不同的应用或状况的匹配。根据实施例,环境检测系统由以下组成部分中的所有或一些组成:
a)挡风玻璃、碎石-定位盘(Steinschlag-Fangscheibe)、摄像机-入射窗或透明的保护顶罩;
b)在a)下提到的元件上的混合的光学元件;
c)自由成形的镜、球形镜或非球形镜;
d)由一个或多个镜组成的混合的光学元件;
e)球形透镜或非球形透镜;
f)在非球形透镜上的混合的光学结构;
g)自由成形的、球形的或非球形的场透镜,例如以传感器封装窗或传感器芯片-保护层的形式,例如由LSR组成的圆顶;
h)在传感器芯片-保护层或传感器表面上的混合的光学的、尤其经微结构化的层。
本发明思想的特别有效的实现在于在环境检测系统的光学路径中的自由形状转向镜,所述自由形状转向镜例如允许,从不同的方向成像对象。可以特别有效地直接在入射窗之后应用该元件,如从图19也可以看出的那样。但也可能的是,交换元件的位置并且例如交换系统图像中的第一和第二成像元件。
在此提出的方案例如适合用于实现具有不同的投影特性或成像特性的环境检测系统,所述环境检测系统将不同的功能统一在一个应用中,例如通过提供:
a)用于检测高分辨率的约+/-30°的中央范围的区域;
b)用于检测高分辨率的例如向左和向右50°的范围以便识别交叉交通的区域;
c)用于低分辨率地检测外围环境的区域;
d)以下区域:在所述区域中,窗玻璃表面的区段投影到传感器上,以便例如执行结冰分析或检测雨滴或污物的存在;
e)外部照明的积分值的成像。
光学系统通常每秒地畸变,应通过镜组的贡献(Beitrag)或通过其他不可避免的元件如挡风玻璃或专门添加的另外的元件引起。通过总设计的巧妙的均衡,现在可以实现:处理需要更少的带宽、更少的存储器、更少的传感器面和更少的结构耗费以及空间需求。此外,由此可以降低成本。
成像的畸变可以匹配于机器角度的算法的要求。畸变可以视为划分成区域。在不同的畸变之间的过渡可以离散地——例如借助棱镜或折叠的平面镜实现或连续地实现,例如借助自由形状镜或非球形的透镜或环曲面透镜实现,或者自适应地匹配于状况,例如借助变焦-镜组。
为了形成畸变,例如使用以下元件:
a)镜(球形的、抛物线状的、椭圆形的、自由形状镜,例如NURBS)作为连续的镜面或具有不连续点(两个或更多个镜分段,它们可以相互倾斜);
b)棱镜,其中,棱镜的一个或多个面可以附加地配备有透镜或混合结构;
c)非球形透镜、环曲面透镜、柱面透镜、区域的(多焦点)透镜,其具有不同的成像尺度;
d)混合结构,其在一侧或两侧施加到一个或多个光学元件上;
e)自适应光学元件如自适应镜(SLM、反射性的膜片或薄片)、LcoS、自适应透镜(液体透镜、膜片透镜、弹性体透镜、LC-透镜、玻璃膜片透镜);
f)由前述光学元件组成的组合。
各个结构元件是例如镜、玻璃、晶体、塑料或金属。反射特性例如通过金属涂层或薄膜涂层(Bragg-滤波器)来实现。
镜例如构造用于实现成像的所期望的有利的畸变,校正光学路径中的其他部件的像差和畸变量值,例如挡风玻璃的畸变份额,充当用于红外辐射的透射窗,从而传感器和摄像机的其余部件不遭受太阳的热辐射,或者以便将其他功能作为环境的成像实现。镜的特定的范围在此不直接参与环境的成像并且可以用于其他的检测任务。例如,镜的区域可以如此形成,使得这些区域将挡风玻璃的一部分直接成像到传感器的一确定的范围上。该范围可以例如作为雨传感器起作用。如果镜作为棱镜实现,则棱镜的面可选地设有附加的功能。
透镜例如由玻璃、晶体或塑料如热塑性塑料、热固塑料、弹性体制成。
自适应光学元件例如是折射的膜片透镜或液体透镜。例如可以在使用控制信号的情况下调节这样的光学元件的光学特性。在膜片透镜的情况下,液体通过膜片来与其环境分离。液体和膜片可以是在确定的光谱范围中吸收性的,以便实现滤波功能。在液体透镜的情况下,液体由其他液体、玻璃或真空包围。镜例如是具有薄的弹性膜片的膜片镜,所述弹性膜片具有反射特性。在此,实施方式可以是,入射光在反射之前通过该液体或者直接由反射面反射。具有薄的例如金属薄片的膜片镜间接地或通过单独的促动器形成。镜的另外的示例是具有可促动的分段的可变形的固体镜或者是液体镜,例如基于金属液体或在液体镜上的全反射。同样地能够实现多个自适应元件的组合,例如由三个膜片透镜——也即紧密地放置在一起的自适应光学元件组成的消色差透镜,或者由多个自适应光学元件组成的光学变焦系统,所述光学变焦系统可以是纯反射的、纯折射的或者是由两者组成的组合,也即反射折射的。
混合的光学元件例如是施加到功能结构上的由玻璃、塑料、弹性体、晶体或金属组成的透镜或镜。这些混合结构同样由这些材料构造。功能结构可以是单层式或多层式的,可以是施加到光学元件上的光圈或窗,例如用于散射光抑制的遮光板,或者如光栅那样衍射地起作用或如透镜那样折射地起作用。衍射元件可以幅度调制地或相位调制地起作用。混合的折射元件可以任意地设计,例如作为球形面、菲涅耳-结构、非球形面或自由形状面。摄像机的入射窗,如挡风玻璃、前照灯或摄像机顶罩可以同样地实施为混合元件。
在固定的元件的情况下,视野的畸变例如借助一个或多个镜来实现。通过使用镜可以减小镜组的复杂性,更好地使摄像机系统绝热,并且反射折射的镜组可以配备有附加的功能性,例如红外带通滤波器。
视野的畸变此外可以借助一个或多个非球形的透镜或环曲面透镜、倾斜的和/或偏心的球形的透镜或棱镜实现。
通过使用镜或转向棱镜,在大的视角的情况下也可以缩小出射窗,并且减小结构体积。
特别对于为一构件——如挡风玻璃、前照灯壳体或摄像机顶罩——的入射窗,混合结构例如如此实施,使得完全地或部分地校正该构件的内在像差,例如挡风玻璃的畸变。例如,混合元件构造用于使构件的类型改变或生产波动平整化。由此可以平衡通过构件的不同改变引起的畸变改变(例子:挡风玻璃上的硅氧烷)。混合结构替代地如此实施,使得混合结构引起附加的所期望的像差,如视野边缘上的附加的畸变。
例如,传感器的入射窗也实施为混合元件。在那,混合元件可以同时作为场透镜起作用。在场透镜与传感器上的微透镜阵列组合的情况下,场透镜的可自由选择的形状能够实现在光学器件设计中的附加的自由度。该元件可以由浇铸料如硅氧烷制成。对于宏观结构(球体、非球体、自由形状面)附加地,微结构可以成型到硅氧烷中,所述微结构如用于制造宽带的抗反射层的蛾眼结构或者用于制造光学抗混叠滤波器的棱镜结构或衍射结构。硅氧烷也可以如此形成,使得传感器的微透镜结构是多余的。如果该元件由浇铸材料实现,则对于光学特性附加地产生有利的机械特性。例如在生产时可能的污物不再直接到达传感器面上。由此,失效率下降。材料的热导率高于空气的热导率,从而使传感器的热更均匀地分布并且避免了温度峰值。如果浇铸料是硅氧烷,则电子组件、也即传感器和馈电线附加地受保护。
自适应光学元件例如被用于补偿焦距的温度漂移,例如用于重聚焦或自适应绝热。该功能例如通过沿着光学轴线可移位的单个透镜或透镜组、自适应的折射光学元件或自适应的反射光学元件来实现。也可以将多个自适应光学元件组合成一个变焦-光学器件。因此,可以使摄像机的检测范围匹配于状况(在高的速度时大的作用距离、在低的速度时的广角)。视野的与状况有关的畸变例如通过自适应镜来实现。
具有光学成像设备的环境检测系统本身时间同步地、也即视频实时地将多个不同的成像特性统一。环境检测系统根据实施例包括允许环境的不是径向对称的或点对称的成像的至少一个元件或者至少一个可变地可调节的用于状况匹配的元件。附加地,环境检测系统例如具有与挡风玻璃连接的光学元件,该光学元件具有畸变,所述畸变包括非球形面或自由形状面,其具有畸变区域,如在图1中所示的那样。替代地,环境检测系统具有与摄像机保持装置连接的场透镜,所述场透镜具有至少一个球形面或非球形面或自由形状面并且产生畸变区域,如在图2中示出的那样。替代地,环境检测系统具有与摄像机保持装置连接的镜,该镜具有球形面或非球形面或自由形状面并且产生畸变区域,如在图3中示出的那样。摄像机保持装置例如实施为保持板。
根据另一实施例,环境检测系统包括集成到透镜保持装置或摄像机壳体中的镜元件,所述镜元件具有球形面或非球形面或自由形状面并且产生畸变区域,如在图4中示出的那样。
可选地,环境检测系统包括至少一个透镜,所述至少一个透镜产生用于产生空间上分布的畸变区域的微结构,如在图5中示出的那样。
根据另一实施例,环境检测系统包括与传感器封装连接的至少一个场透镜,所述至少一个场透镜具有球形面或非球形面或自由形状面,所述至少一个场透镜产生空间上分布的畸变区域,如在图8至10中示出的那样。
根据另一实施例,环境检测系统包括透明的传感器芯片-封装,所述传感器芯片-封装作为场透镜起作用并且包含球形面或非球形面或自由形状面并且设有微结构,该微结构产生空间上分布的畸变区域,如在图11中示出的那样。
也可以考虑由前述元件中的多个组合成一个合适的光学系统。
如果一个实施例包括第一特征与第二特征之间的“和/或”关系,则这可以解读如下:所述实施例根据一种实施方式不仅具有第一特征,而且具有第二特征;并且根据另一种实施方式或者仅仅具有第一特征,或者仅仅具有第二特征。

Claims (11)

1.一种用于检测车辆的环境的环境检测系统(100),其中,所述环境检测系统(100)具有以下特征:
传感器(102),所述传感器具有光敏感的传感器面(104);以及
成像设备(106),所述成像设备构造用于在所述传感器面(104)上产生所述环境的畸变成像(1400;1500;1600),其中,所述成像(1400;1500;1600)具有配属给所述环境检测系统(100)的各一个不同的检测范围的至少两个畸变区域(802,804,806,808),所述环境以各一个不同的成像尺度成像在所述至少两个畸变区域中。
2.根据权利要求1所述的环境检测系统(100),其中,所述成像设备(106)构造用于改变所述畸变区域(802,804,806,808)。
3.根据权利要求2所述的环境检测系统(100),所述环境检测系统具有控制设备(1800),所述控制设备构造用于通过在使用通过所述传感器(102)提供的图像信号(1802)的情况下控制所述成像设备(106)来根据所述检测范围的相应的信息含量改变所述畸变区域(802,804,806,808)。
4.根据以上权利要求中任一项所述的环境检测系统(100),其中,所述成像设备(106)构造用于产生具有不对称的畸变区域(802,804,806,808)的成像(1400;1500;1600)。
5.根据以上权利要求中任一项所述的环境检测系统(100),其中,所述成像设备(106)具有自由成形的和/或布置在所述车辆的挡风玻璃上的和/或关于其光学特性可变的至少一个光学元件(109,110,112,114;300;800;1100)用于产生所述畸变区域(802,804,806,808)。
6.根据权利要求5所述的环境检测系统(100),其中,所述光学元件实施为透镜元件(110,114;800;1100)和/或镜元件(300)和/或混合元件(112)。
7.根据权利要求5或6所述的环境检测系统(100),其中,所述光学元件(109,110,112,114;300;800;1100)具有用于产生所述畸变区域(802,804,806,808)的微结构(500)。
8.一种用于借助环境检测系统(100)检测车辆的环境的方法(1700),其中,所述环境检测系统(100)具有传感器(102)和成像设备(106),所述传感器具有光敏感的传感器面(104),其中,所述方法(1700)具有以下步骤:
借助所述成像设备(106)在所述传感器面(104)上产生所述环境的畸变成像(1400;1500;1600),其中,所述成像(1400;1500;1600)具有配属给所述环境检测系统(100)的各一个不同的检测范围的至少两个畸变区域(802,804,806,808),所述环境以各一个不同的成像尺度成像在所述至少两个畸变区域中。
9.根据权利要求8所述的方法(1700),所述方法具有以下步骤:在使用通过所述传感器(102)提供的图像信号(1802)的情况下控制(1720)所述成像设备(106),以便根据所述检测范围的相应的信息含量改变所述畸变区域(802,804,806,808)。
10.一种计算机程序,所述计算机程序构造用于实施和/或控制根据权利要求8或9所述的方法(1700)。
11.一种机器可读的存储介质,在所述存储介质上存储有根据权利要求10所述的计算机程序。
CN201811220635.7A 2017-10-19 2018-10-19 用于检测车辆的环境的环境检测系统和用于检测车辆的环境的方法 Pending CN109677327A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017218722.0A DE102017218722A1 (de) 2017-10-19 2017-10-19 Umfelderfassungssystem zum Erfassen eines Umfelds eines Fahrzeugs und Verfahren zum Erfassen eines Umfelds eines Fahrzeugs
DE102017218722.0 2017-10-19

Publications (1)

Publication Number Publication Date
CN109677327A true CN109677327A (zh) 2019-04-26

Family

ID=65996214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811220635.7A Pending CN109677327A (zh) 2017-10-19 2018-10-19 用于检测车辆的环境的环境检测系统和用于检测车辆的环境的方法

Country Status (4)

Country Link
US (1) US20190124273A1 (zh)
CN (1) CN109677327A (zh)
DE (1) DE102017218722A1 (zh)
FR (1) FR3087275B1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017122444B4 (de) * 2017-09-27 2022-06-15 Bcs Automotive Interface Solutions Gmbh Linsenplatte, Regensensor und Lichtsensor
JP6975003B2 (ja) * 2017-09-29 2021-12-01 株式会社デンソー 周辺監視装置およびその校正方法
CN112509054B (zh) * 2020-07-20 2024-05-17 重庆兰德适普信息科技有限公司 一种相机外参动态标定方法
DE102020125023A1 (de) 2020-09-25 2022-03-31 Marelli Automotive Lighting Reutlingen (Germany) GmbH Sensoreinrichtung, Scheinwerfer, Verfahren und Steuergerät
JP7400705B2 (ja) * 2020-11-30 2023-12-19 トヨタ自動車株式会社 撮像システム及び撮像装置
DE102020132825A1 (de) 2020-12-09 2022-06-09 Valeo Schalter Und Sensoren Gmbh Verfahren zum betreiben einer kameravorrichtung, fahrzeug und computerprogrammprodukt
JP2022137896A (ja) * 2021-03-09 2022-09-22 本田技研工業株式会社 カメラを有する車体構造

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040257677A1 (en) * 2003-06-19 2004-12-23 Minolta Co., Ltd. Image-taking apparatus, and camera and camera system incorporating it
US20090147097A1 (en) * 2007-12-07 2009-06-11 Kenichi Sato Imaging system, imaging apparatus, portable terminal apparatus, onboard apparatus, medical apparatus and method of manufacturing the imaging system
US20120050470A1 (en) * 2010-08-27 2012-03-01 Eiji Oba Imaging device, imaging system, and imaging method
US20170237882A1 (en) * 2014-08-11 2017-08-17 Seiko Epson Corporation Imaging device, imaging display apparatus, and vehicle

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3119823A1 (de) * 1981-05-19 1982-12-16 Ibm Deutschland Gmbh, 7000 Stuttgart Verfahren und einrichtung zur kompensation geometrischer verzeichnungsfehler bei optischen abbildungssystem
US7405884B2 (en) * 2000-12-21 2008-07-29 Olympus Corporation Optical apparatus
JP2005119529A (ja) * 2003-10-17 2005-05-12 Toyota Motor Corp 窓構造
DE10360754A1 (de) * 2003-12-23 2005-07-28 Hella Kgaa Hueck & Co. System zur Bilderfassung und -darstellung
DE102004036603A1 (de) * 2004-07-28 2006-03-23 Robert Bosch Gmbh Videokamera zur Unterstützung des Fahrers eines Fahrzeugs
WO2013067083A1 (en) * 2011-11-02 2013-05-10 Magna Electronics, Inc. Vehicle vision system with asymmetric anamorphic lens
DE102014012720A1 (de) * 2014-08-27 2015-04-02 Daimler Ag Verfahren zur Ermittlung von optischen Verzerrungen und Kameraanordnung für ein Fahrzeug
DE102014116441A1 (de) * 2014-11-11 2016-05-12 Connaught Electronics Ltd. Verfahren zum Darstellen einer Sicherheitsinformation, Fahrerassistenzsystem und Kraftfahrzeug

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040257677A1 (en) * 2003-06-19 2004-12-23 Minolta Co., Ltd. Image-taking apparatus, and camera and camera system incorporating it
US20090147097A1 (en) * 2007-12-07 2009-06-11 Kenichi Sato Imaging system, imaging apparatus, portable terminal apparatus, onboard apparatus, medical apparatus and method of manufacturing the imaging system
US20120050470A1 (en) * 2010-08-27 2012-03-01 Eiji Oba Imaging device, imaging system, and imaging method
US20170237882A1 (en) * 2014-08-11 2017-08-17 Seiko Epson Corporation Imaging device, imaging display apparatus, and vehicle

Also Published As

Publication number Publication date
FR3087275B1 (fr) 2022-08-05
FR3087275A1 (fr) 2020-04-17
DE102017218722A1 (de) 2019-04-25
US20190124273A1 (en) 2019-04-25

Similar Documents

Publication Publication Date Title
CN109677327A (zh) 用于检测车辆的环境的环境检测系统和用于检测车辆的环境的方法
US7463342B2 (en) Optical tracking device using micromirror array lenses
Cheng et al. Review of state-of-the-art artificial compound eye imaging systems
US6304285B1 (en) Method and apparatus for omnidirectional imaging
US8077245B2 (en) Apparatus for imaging using an array of lenses
US9019341B2 (en) Method for obtaining a composite image using rotationally symmetrical wide-angle lenses, imaging system for same, and CMOS image sensor for image-processing using hardware
US8213087B2 (en) Integrated panoramic and forward optical device, system and method for omnidirectional signal processing
US7768571B2 (en) Optical tracking system using variable focal length lens
US20030081952A1 (en) Method and apparatus for omnidirectional three dimensional imaging
Dansereau et al. A wide-field-of-view monocentric light field camera
US20060171696A1 (en) Imaging apparatus
US20160377842A1 (en) Bifocal lens and imaging device including same
AU2008283197A1 (en) Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
WO2005089369B1 (en) Apparatus for imaging using an array of lenses
US11012635B2 (en) Optical device including pinhole array aperture and related methods
CN114563851B (zh) 成像镜头、取像装置与电子装置
CN110376725B (zh) 一种鱼眼镜头系统
CN110673313B (zh) 一种变焦鱼眼镜头系统及设计方法
JP2000231009A5 (zh)
KR20200117507A (ko) 카메라 장치 및 이의 동작 방법
Tisse Low-cost miniature wide-angle imaging for self-motion estimation
WO2018215834A1 (en) Reflective truncated ball imaging system
Jo et al. Design of omnidirectional camera lens system with catadioptic system
KR101928363B1 (ko) 가변 초점 미러를 이용한 적외선 광학계
JP7244129B1 (ja) ナイトビジョンカメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination