CN116648639A - 环绕视图成像系统 - Google Patents

环绕视图成像系统 Download PDF

Info

Publication number
CN116648639A
CN116648639A CN202080108126.4A CN202080108126A CN116648639A CN 116648639 A CN116648639 A CN 116648639A CN 202080108126 A CN202080108126 A CN 202080108126A CN 116648639 A CN116648639 A CN 116648639A
Authority
CN
China
Prior art keywords
illumination
imager
illuminator
view
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080108126.4A
Other languages
English (en)
Inventor
伊恩·布拉什
诺伯特·莱克莱尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jabil Optics Germany GmbH
Original Assignee
Jabil Optics Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jabil Optics Germany GmbH filed Critical Jabil Optics Germany GmbH
Publication of CN116648639A publication Critical patent/CN116648639A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/06—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe involving anamorphosis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明涉及用于系统环境的3D成像的环绕视图成像系统，该系统避免相关图像检测器的饱和和过度曝光。此外，公开了用于这种环绕视图成像系统的对应成像器。该系统包括成像器(10)和照明器(40)。所照明器(40)和成像器(10)相叠地布置，并且彼此分开距离d以形成中间区域(R)，中间区域(R)既不在照明器的视场(FOV40)内也不在成像器的视场(FOV10)内。本发明的其他方面涉及用于避免所述图像检测器(12)的饱和和过度曝光的进一步解决方案。这些不同的解决方案可以单独或组合使用。

Description

环绕视图成像系统
技术领域
本发明涉及用于系统环境的三维(3D)成像的环绕视图成像系统，该系统避免相关图像检测器的饱和和过度曝光。此外，公开了用于这种环绕视图成像系统的对应成像器。
背景技术
对于能够在系统的3D环境中定位物体的3D成像系统或传感器，存在基于几种技术的不同方法，例如光探测和测距(激光雷达，LiDAR)、飞行时间(ToF，直接和间接版本)、调幅或调频照明、结构光等。这些系统存在于自动移动机器人(AMR)、工业移动机器人(IMR)和如起重车、叉车、汽车、无人机的自动导引车(AGV)中，用于避免碰撞、检测障碍物、乘客监控以及观察机器和机器人的禁区。这些系统还可以用于协作机器人、安全和监控摄像机应用。
如果解决方案是基于光学的，并且使用阵列检测器(例如互补金属氧化物半导体(CMOS)传感器、电荷耦合器件(CCD)传感器、光电二极管阵列等)来避免部件在系统中的移动，那么将环境成像到相关图像检测器上的接收透镜是高度关键的元件。透镜必须允许在水平和垂直方向上的宽视场上具有高分辨率。与此同时，它应该在没有渐晕的情况下表现出均匀成像特性和高光通量(小的f值)，以实现长检测范围。
对于宽的、例如大于120度的水平视场，鱼眼透镜可以在直立位置使用。然而，传统的鱼眼透镜具有几个缺点，例如高入射角和相关的涂层问题。进一步的问题是宽视场结合了低分辨率、低f值和相对照明(无渐晕)。这些缺点可以通过使用反射折射透镜系统来避免，在反射折射透镜系统中，反射镜与透镜组合以形成图像。然而，反射折射透镜系统通常具有中心遮挡物并且f值固定为总体设计焦比(主镜的直径除以焦距)。这意味着不能通过可调节光圈或类似物来控制曝光。相反，通常通过在镜头的正面或背面放置中性密度滤光片来调整曝光。这些方法降低了系统的灵敏度并降低了信噪比(SNR)。
然而，由于环绕视图成像系统需要宽的水平和垂直视场，使相关图像检测器饱和的问题在这样的成像系统中是一个普遍的问题，因为接收到的成像光的强度在光入射的不同方向之间可能大不相同。系统环境的图像可能因此由于来自某些角度区域的光而过度曝光，而另一些角度区域可能仍然曝光不足。可以应用像高动态范围(HDR)技术的优化，但是很难用深度敏感技术来实现，深度敏感技术通常需要图像检测器的帧的各个图像之间时基恒定。
本发明的客观问题因此与一直以来的避免环绕视图成像系统中的相关图像检测器的饱和和过度曝光的问题有关。因此，需要环绕视图成像系统和相应的成像器，其允许选择性地限制或控制将由相关图像检测器接收的成像光的强度。
发明内容
本发明通过提供一种如权利要求1所述的用于环绕视图成像系统的成像器以及通过提供如权利要求2、4、6和9所述的环绕视图成像系统来解决该客观问题。
在本发明的第一方面，提出一种用于环绕视图成像系统的成像器。该成像器包括图像检测器、以及具有主体的圆柱形的单片反射折射透镜，该主体具有套筒、顶表面和底表面，其中在该成像器的视场中来自该成像器的环境的成像光通过该套筒进入该主体、由围绕该底表面的中心设置的周向第一非球面透镜区域进行第一次反射、由围绕该顶表面的中心设置的第二非球面透镜区域进行第二次反射、然后通过设置在该底表面中心的第三非球面透镜区域离开该主体前往该图像检测器。
成像器应被理解为能够接收、聚焦和检测从该成像器的环境进入该成像器的成像光的装置。成像器因此通常包括与该环境相邻的至少一个(优选为环形圆周360度的)入口孔，用于生成该环境的图像的透镜或其他光学元件，以及存储所生成的图片以用于进一步处理的相关图像检测器。由于该图像的生成是保证好的图像质量的最重要的方面，代替使用单个透镜或光学元件，可以在成像器中使用用于校正出现的像差的复杂透镜系统(或一般的光学组件系统)。成像器可以是使用环境光(例如3D可见光或红外光)进行成像的装置或者特别适于将来自外部照明光源(照明灯)的反射光成像为成像光(例如闪光LIDAR)。
成像光经由单片透镜的圆柱形侧表面进入单片透镜并依次被两个非球面镜面(或镜像面)反射。与上述光相互作用的该第一非球面镜面可以为福布斯(Forbes)非球面(参见G.W.Forbes,“Shape specification for axially symmetric optical surfaces,”Opt.Express 15(8),5218–5226(2007))，而另一个镜面可以呈现标准的非球面描述。作为使用福布斯非球面的结果，对于上述表面，可以获得改进的光学性能。
该成像光经由第三非球面(例如标准非球面)离开该透镜，这为系统校正光学像差的能力增加了额外的自由度。与典型的鱼眼圆顶透镜相比，单片设计的进一步好处是实现了适度的表面切线斜率和入射角，以及更小的元件直径。与具有单个反射镜元件的解决方案相比，单片提供了更简单的机械安装选项，并且可以以低公差更精确地制造。
此外，与标准鱼眼透镜相反，提出的单片反射折射透镜设计限制了成像器在垂直方向上的视场，以避免相关图像检测器的饱和和过度曝光。特别地，该系统可以具有360度x60度的水平和垂直视场。在所提出的透镜处于竖直位置的情况下，例如可以将60度划分为从水平面向上45度和向下15度。然而，通过这种设计也可以容易地实现高达360度x 120度的更宽的水平和垂直视场。通过将视场限制在所需的角度范围内，只有来自环境相关区域的成像光可以进入该透镜和该成像器。较小垂直视场因而降低了由于偶然捕获的环境和分散光导致探测器饱和的可能性。特别地，对于在平坦入射角下反射的环境光(例如潮湿道路上傍晚阳光的明亮反射)，可以有效地抑制该环境光进入该成像器。
该透镜例如可被设计为在整个视场上具有1.5的f值而没有渐晕。优选的f值在1.2和1.8之间的范围内，更优选的在1.4和1.6之间的范围内。由于该透镜的紧凑单片设计，在透镜的生产中就已经可以有效地校正像差，而不需要复杂且容易出错的后期组装过程。这也确保了该成像器良好的长期稳定性，并使透镜相对地独立于外部环境参数(如温度或湿度)的变化。
由于该单片已经包括3个非球面，光学系统的其余部分可以仅用简单的球面透镜来实现，同时仍以适中的成本确保良好的光学性能(例如调制传递函数MTF、失真等)。可以选择失真，使得在具有二次像素的图像检测器处的垂直和水平分辨率(至少大约)相同。可以选择其他失真以获取所需的分辨率。然而，为了进一步提升该透镜的光学特性，套筒区域可以包括额外的非球面形状，来自该成像器环境的该成像光在该套筒区域进入该主体。在这种情况下该透镜上可以呈现甚至4个非球面，以获取更高的性能和/或更低的或改进的失真特性。
在一个优选实施例中，该图像检测器可以具有适用于图像尺寸的主动检测区域。由于该图像的中心区域可能与成像无关，在图像读出或检测器映射时，可以完全省略或抑制该图像检测器的这些区域，该图像的中心区域可能与该成像器的视场外的视角相对应。这再次具有该图像检测器的被动区域不会被偶然捕获的环境光和散射光饱和的优点。此外，由于不需要读出不重要的检测器区域，在一些检测器设计中可以增加特定类型的检测器的有效帧速率。通过更高的帧速率，可以减少光致电荷载流子在检测器的各个像素中的累积，使得在不使用其他HDR技术的情况下可以优化该检测器的SNR，以用于宽动态范围上的图像检测。
本发明的另一个方面涉及一种用于对系统的环境进行成像的环绕视图成像系统，包括成像器和照明器；其中该照明器适于在该照明器的视场内对该系统的环境进行照明，以使被该环境反射的照明光能够在该成像器的视场由该成像器成像为成像光，其中该照明器和该成像器相叠地布置，并且彼此分开距离d以形成中间区域，该中间区域既不在该照明器的视场内也不在该成像器的视场内。优选地，该成像器位于该照明器上方。
照明器应被理解为能够在该照明器的环境发射照明光的装置。在环绕视图成像系统中，照明器提供光脉冲(例如闪光LIDAR)，光脉冲被该环境中的物体反射，并且光脉冲之后被具有图像检测器(例如CMOS图像传感器、CCD图像传感器)的相关成像器成像为成像光。然而，照明器也可以被配置为提供时间和/或光谱上明确定义的光场(例如标准LIDAR或ToF),该光场也与该照明器的该环境中的物体互相作用以被反射，并且该光场可以随后被成像。术语“照明器”因此不限于用于该环境的特定类型的光源或特定类型的照明。所讨论类型的环绕视觉成像系统通常被称为主动成像系统。相反地，被动环绕视觉成像系统被设计为仅使用环境光用于成像，并且因此它们不需要照明器作为必要组件。
在主动成像系统中，该照明通常存在强烈过度曝光和多路径照明的问题。由于照明功率密度随着与照明源的距离平方而减小，源附近的功率密度非常高。如果成像孔径和照明孔径在垂直方向上没有分开一定距离，并且该传感器附近有物体(例如墙或箱子)，该传感器可能会出现饱和和过度曝光。在某些像素处的这种过度曝光甚至可能使该图像检测器的相邻像素饱和，或者将误导的光带到相邻像素。这将导致来自该传感器系统的不正确的距离信息。
该照明器和该成像器相叠地布置，并且彼此分开距离d，可以在附近形成中间区域，该中间区域既不在该照明器的视场内也不在该成像器的视场内。这通过限制垂直视场(在有限视场的意义上)避免了饱和和过度曝光。
优选地，该距离d在50mm和500mm之间，更优选地在75mm和250mm之间，甚至更优选地在100mm和200mm之间。对于示例性环绕视图成像系统而言，该系统具有成像器和照明器，该成像器具有40度的特定垂直视场(从水平面向上+25度和向下-15度)，该照明器具有40度相同规定的垂直视场，特别优选的距离d为160mm，使得两个视场在距离堆叠的照明器和成像器组件的中心轴217mm处开始重叠。这意味着，在成像中完全省略了直接围绕该系统的中心轴形成的中间区域，该中间区域是饱和和过度曝光最可能出现的地方。
优选地，该照明器的视场包括具有高的最大照明功率的主照明区域、和布置在主照明区域与成像器之间的次照明区域，次照明区域具有较低的最大照明功率。在该主照明区域可以与以上描述的实施例的视场对应的同时，该次照明区域可以被用于减少由于该照明器和该成像器之间的该距离d形成的该“盲”中间区域的体积。事实上，该次照明区域可以被设置为填充上述中间区域的一部分，然而，由于较低的最大照明功率，相比于两个照明区域都使用高的最大照明功率的照明的情况，饱和和过度曝光的问题仍能被降低。因此，该实施例的构想是，与来自该照明器和该成像器的视场重叠的其他空间区域相比，在特别容易受到相关图像检测器的饱和和过度曝光的影响的成像区域中，使照明功率降低。
优选地，该次照明区域由设置在视场边界处的漫射(或散射)元件组成，以及该漫射元件朝该次照明区域散射照明光。该次照明区域的强度分布可以被设置为均匀的(即具有平坦的轮廓)或者该照明功率被设置为朝该成像器的方向减少。后一种配置具有的优点是在离该成像器更近的关键区域，每个角度的该照明功率能够进一步降低，这仍然可以为足够且可靠的图像生成提供足够的照明功率。优选地，该漫射元件能够被配置为通过向次照明区域散射照明光，尤其是来自主照明区域的照明光，以向该区域提供特定分层的、高斯或礼帽模式或轮廓。
优选地，具有所描述的部分功率配置的该次照明区域能够由放置在该照明器的特定距离中的该漫射元件照明。由于这样的空间定位，垂直强度轮廓(即该中间区域的大小)能够以非常简单的方式通过固定和稳定的元件对准来控制。在该成像系统的使用中，该漫射元件和该照明器之间的距离也能够适于主动控制该中间区域的大小。
在另一个方面中，本发明涉及一种用于对系统的环境进行成像的环绕视图成像系统，包括具有图像检测器的成像器、照明器以及照明控制器，其中该照明器适于在该照明器的视场内对该系统的环境进行照明，以使被该环境反射的照明光能够在该成像器的视场由该成像器成像为成像光，其中该照明控制器适于根据由该图像检测器接收的该成像光的强度值来控制照明功率的空间分布。
该一方面尤其解决了当物体靠近该照明器时ToF或闪光照明严重过度曝光的风险问题。以上描述的机械解决方案可能不充分或者不适用，因为单个照明脉冲的高强度将导致该照明器和该成像器之间不可行的大距离d以及不成比例的大的“盲”中间区域。相反，可以基于场景反馈动态控制照明功率，如通过算法测量和解释，以减少杂散光，扩大动态范围，以及用于提高传感器性能的其他目的。这些技术还可以包括主动控制以上描述的该漫射元件和该照明器之间的该距离。
对于直接ToF，也可以调制照明功率，例如，由该照明控制器通过增加或减少脉冲宽度、增加或减少脉冲持续时间、增加或减小脉冲强度，和/或增加或减少单个照明光源的脉冲数量进行调制。对于间接ToF，可以调整照明功率，例如，通过调整照明波的振幅或帧内照明的持续时间进行调整。对于作为照明光源垂直腔面发射激光器(VCSEL)，可以用单独的VCSEL、VCSEL组或所有VCSEL来改变该照明功率。其他照明光源可以类似地进行控制。
场景反馈能够被测量，例如，通过监测像素强度的变化、像素强度值簇的变化，和/或确定超过设定的照明功率阈值。强度阈值能够在该图像检测器中(例如片上系统(SOC))或在主机处理器上进行评估。能够基于以上描述的方法增加或减少源强度。
监测像素度量，例如强度、像素强度的簇、深度值或像素深度值的簇，以控制照明功率，可以通过监测下述项实现：
a)绝对值或阈值或其组合，
b)逐帧滚动像素平均值，以及
c)合并单个度量或度量组合的算法。
通常，对于大的水平视场或径向视场的照明，使用一个以上照明光源(例如VCSEL、LED)。如果该相关图像检测器的饱和或过度曝光是由该环境中的单个物体引起的，则仅调暗照亮该物体的该照明源并在该成像器的视场中的无遮障区域中保持全范围检测是有利的。
受控调暗的使用减少了鱼眼透镜中杂散光产生的噪声。这能够增大该传感器的动态范围以及减少该传感器杂散光的数量或过度曝光。鱼眼透镜容易受到该透镜周围照明“反弹”的影响，从而产生噪音。如果过多照明光进入该透镜，透镜实际上能够“致盲”自己。调暗的使用降低了这种可能性。在这个实施例中，深度数据值和强度数据值的变化能够用于控制调暗。在基于脉冲的环绕视图成像系统中，受控调暗能够例如通过降低脉冲数量、脉冲持续时间和脉冲大小来执行。对于间接ToF的方法，受控调暗还可以通过降低光的强度来应用。
优选地，照明功率的空间分布的控制是基于超出预定阈值的参数IΔ，其中，参数IΔ被定义为
其中，i、j表示在该图像检测器的相应水平和垂直方向上的各个像素(i和j是自然数)，p为大于1的自然数(优选地大于2)，Cl为预先确定的系数，以及Xl为与该图像检测器的两个连续帧对应的特定参数之间的差。
优选地，通过在阵列中确定该图像检测器每个像素的参数IΔ以向该照明控制器提供反馈，该阵列使由水平行数量(i)和垂直列数量(j)定义的阵列并标记为阵列(i,j)，通过遍历大小为(imax,jmax)的阵列来确定从(0,0)至(imax,jmax)的像素值。
优选地，总数中的被加数为p＝11，也就意味着11个不同的参数Xl被用于确定该参数IΔ。Cl为在系统测试、校准以及表征过程中确定的系数。系数Cl受该照明源、环境光、图像检测器、透镜类型等影响。系数Cl可以为能够在图像检测器不同像素间变化的正实数或负实数。一个或多个系数Cl可以被设置为零。
然而，根据本发明用于至少一个像素的至少一个系数Cl必须为非零，在确定参数IΔ时，该像素能够被评估且与成像相关(相比该图像检测器的像素总数，感兴趣区域可以减少相关像素的数量)。此外，像素阵列可以包括非主动区域省略的区域，可以假设这些区域由与成像无关的虚拟像素组成。换言之，对于任何种类的原则上能够被描述为(imax,jmax)大小的阵列的图像检测器来说(即使存在用于成像的遗漏或省略的像素区域)，用于相关像素的参数IΔ能够被确定并被用于使用该方案控制照明功率的该空间分布。只要网格结构可以定义为唯一(imax,jmax)大小的阵列，允许明确地寻址这些像素中的每一个，各个像素就可以具有不同的大小或非方形的形状(即，不同于统一的阵列布置)。
用于(imax,jmax)大小的像素阵列的像素(i,j)的11个优选参数Xl可以按以下进行定义(帧数m，像素距离m):
l＝1：X1＝像素(i,j)帧(n+1)的强度值-像素(i,j)帧(n)的强度值
l＝2：X2＝像素(i,j)帧(n+1)的深度值-像素(i,j)帧(n)的深度值
l＝3：X3＝像素(i,j)帧(n+1)的平均相邻强度值-像素(i,j)帧(n)的平均相邻强度值，如
m＝0,1,2,3,4或5像素l＝4：X4＝像素(i,j)帧(n+1)的平均相邻深度值-像素(i,j)帧(n)的平均相邻深度值，如
m＝0,1,2,3,4或5像素l＝5：X5＝像素(i,j)的强度值的变化率＝…
…＝Δ(i,j)帧(n)-帧(n-1)-Δ(i,j)帧(n-1)-帧(n-2)，
其中Δ(i,j)帧(n+1)-帧(n)＝...
…＝像素(i,j)帧(n+1)的强度值-像素(i,j)帧(n)的强度值
l＝6：X6＝像素(i,j)的深度值的变化率＝…
…＝Δ(i,j)帧(n)-帧(n-1)-Δ(i,j)帧(n-1)-帧(n-2)，
其中Δ(i,j)帧(n+1)-帧(n)＝...
…＝像素(i,j)帧(n+1)的深度值-像素(i,j)帧(n)的深度值
l＝7：X7＝像素(i,j)的平均相邻强度值的变化率＝
Δ(i,j)帧(n)-帧(n-1)-Δ(i,j)帧(n-1)-帧(n-2)，
其中Δ(i,j)帧(n+1)-帧(n)＝平均相邻强度值(i,j)帧(n+1)-平均相邻强度值(i,j)帧(n)，如
m＝0,1,2,3,4或5像素l＝8：X8＝像素(i,j)的平均相邻深度值的变化率＝…
…＝Δ(i,j)帧(n)-帧(n-1)-Δ(i,j)帧(n-1)-帧(n-2)，
其中Δ(i,j)帧(n+1)-帧(n)＝平均相邻深度值(i,j)帧(n+1)-平均相邻深度值(i,j)Frame(n)，如
m＝0,1,2,3,4或5像素l＝9：如果像素(i,j)帧(n)的强度值>最大定义强度阈值，则X9＝{0,1}l＝10：如果像素(i,j)帧(n)的深度值<最小定义深度阈值，则X10＝{0,1}
l＝11：X11＝环境光传感器中的Δ＝…
… ＝环境光值帧 (n+1)-环境光值帧 (n)
在这些定义中，必须考虑对位于阵列维度之外的相对于第一帧0(或1)或相邻像素(参见图5a)出现的临界值进行合理的调整。对于那些将在确定参数IΔ时引起问题的像素，相关分量Cl可以优选地设置为零以避免引起分量Cl的不确定性。这就意味着对于不同相关像素的参数IΔ，也可以针对每个像素定义要比较的阈值。然而，为了简单，也可以定义全局阈值。可以将这一全局阈值与用于该检测器阵列的相关像素的所有被评估参数IΔ的和值进行比较。
优选地，在确定用于该检测器阵列的相关像素的该参数IΔ之后，算法可以遍历该图像检测器的指定照明区域内的该像素，对该区域中超过减少照明或增加照明所需的定义阈值的像素数量进行计数。
针对成像器的透镜和图像检测器以及照明源组合，调节计数器和不同阈值。确定该阈值时，还需要考虑该成像系统的应用以及所应用的平台(即例如机器人、无人机或车辆)。例如，移动的AMR上的成像系统将需要在深度计算中包括机器人的速度和移动距离。可以由传感器、编码器等确定机器人移动的距离。物体自传感器的距离变化需要包括机器人距离的变化和物体距离的变化的组合(参见图5b)。
目的是消除由距离成像系统特定距离阈值内的物体产生的饱和或杂散光的任何风险。照明源的强度所需变化的幅度可以通过表征成像系统来确定。在一些实施例中，照明控制器可以被限制为有限数量的步骤或设置。因此，可以创建查找表，调整特定参数IΔ的适当设置，该特定参数IΔ为图像检测器的照明区域而确定(参见图5c)。
在另一方面，本发明涉及一种用于对系统的环境进行成像的环绕视图成像系统，包括成像器、照明器以及照明控制器，其中该照明器适于在该照明器的视场内对该系统的环境进行照明，以使被该环境反射的照明光能够在该成像器的视场由该成像器成像为成像光，其中该照明控制器适于根据该系统的实际和/或预测运动轮廓来控制来自该照明器的照明功率的空间分布。
实际运动轮廓应理解该成像系统实际执行的所有相关运动的组合。这些运动能够被定义为绝对的(例如经由GPS)或相对的(例如经由机器人的工作区域的预定边界)，并且可以包括全部三个轴上的移动、系统的旋转，或者例如倾斜、平移或旋转机器人的部件之一(例如，在该成像系统的视场中临时移动的臂或夹具)。由于该照明控制器可以使用这些信息，能够引导或限制照明以避免来自该照明器的任何不必要的或不利的光发射。在视场临时包括机器人或机器的一部分的情况下，这可能是特别有吸引力的，该机器人或机器可能引起强光散射或反射，从而使相关的图像检测器饱和或过度曝光。
当照明控制器使用关于环境的已知或检测到的信息时，这些信息也可以与实际运动轮廓结合使用。如果视场包括可能引起使相关的图像检测器饱和或过度曝光的强光散射或反射的物体或表面时，那么指向这些障碍物的照明可以被重定向、减少或完全抑制。例如，在操作中，AMR很可能沿着墙壁、货架导航和/或进入角落。接近墙壁、货架或物体增加了过度曝光的可能性。为了防止饱和和过度曝光，可以以渐进模式对至少一些照明源进行调光。
受控调暗的使用减少了来自鱼眼透镜中明显的杂散光的噪音。这能够增大该传感器的动态范围以及减少该传感器杂散光的数量或过度曝光。鱼眼透镜容易受到透镜周围照明“反弹”的影响，从而产生噪音。如果过多照明光进入该透镜，透镜实际上能够“致盲”自己。调暗的使用降低了这种可能性。在基于脉冲的环绕视图成像系统中，受控调暗能够例如通过降低脉冲数量、脉冲持续时间和脉冲大小来执行。对于间接ToF的方法，受控调暗还可以通过降低光的强度来应用。
相比于实际运动轮廓，预测运动轮廓预测了该系统的未来运动。这一信息例如可以基于从实际运动轮廓的外推或从预定路线或行进路径得出。通过将预测运动轮廓用于照明控制，该系统响应能够更快，并且相关图像检测器的任何饱和或过度曝光都可以提前避免(预测性饱和避免(PSA))。
优选地，该照明器包括周向设置的照明光源，其中该照明光源通过枢转或移动式托架或支架与相关照明板电连接以及机械连接。
本实施例的构思是各个光源(或任何相关的光成形/引导装置)可以安装到该照明板上的枢转或移动式托架或支架。这允许了机械地控制该光源和该光成形/引导装置的角度或位置，以实现所需的光分布。例如，这可以响应于实时场景信息或基于系统的实际和/或预测运动轮廓来动态地完成。这些照明光源(例如VCSEL、LED)的发射方向因此能够得到控制，这可以被认为是一种方向强度控制。
用于这种机械可控光源调整的优选实施例是刚-柔照明板，其中光源由柔性电缆连接，该柔性电缆可以在该照明板的生产过程中或者之后在该成像系统的使用过程中实时旋转或平移到位。
优选地，该照明光源和该照明板之间的角度可以通过致动器主动控制。该致动器可以通过照明控制器控制。该角度因此能够动态变化，以及该照明器的视场可以在使用中进行调适。这具有的优点是，各个照明光源可以相对于特定的照明方向进行机械调暗和强度控制。这种技术可用于照明光源，其中由于发射光的光学特性(例如波长、相位、光谱线宽)取决于发射光的强度，不能应用电子强度控制。
在另一方面，本发明涉及一种用于对系统的环境进行成像的环绕视图成像系统，包括具有图像检测器和检测控制器的成像器、以及照明器，其中该照明器适于在该照明器的视场内对该系统的环境进行照明，以使被该环境反射的照明光能够在该成像器的视场中由该成像器成像为成像光，其中该检测控制器通过将该图像检测器的读出限制在感兴趣区域(ROI)来增加该图像检测器的帧率，其中该ROI的定义基于该系统的实际和/或预测运动轮廓。
该检测控制器因此被配置为允许，与对应的图像检测器相结合，将该图像检测器的该读出限制在特定区域，其中该限制允许该图像检测器在读出中忽略该ROI外部的像素。该检测控制器因此控制该图像检测器的读出过程。根据本发明，该图像检测器必须因此被配置为在这些限制像素的读出过程中允许增加的帧率，这意味着该图像检测器的一些区域或像素在读出时被忽略。如上所述，关于与图像尺寸相对应的主动检测区域，较高的帧速率减少了光致电荷载流子在检测器的各个像素中的累积。饱和和过度曝光因此能够被避免，并且能够增加该检测器的SNR以在宽动态范围内实现最佳图像检测。在帧捕获中还可以在一个图像检测器上选择多个ROI。尤其可以通过选择行、选择列、或选择图像检测器的部分行和列来定义ROI。
关于该环境的动态照明，上文已经讨论了分析系统的实际和/或预测运动轮廓背后的构思。参见相关段落。然而，分析实际和/或预测运动轮廓尤其允许确定例如AMR的行进方向。通过AMR(例如清洁机器人)，该环境的该成像可以减少到基本上由行进方向定义的视场，这是因为，与公共场合的自动驾驶车辆不同，所有其他方向都可以忽略，而不会造成重大的安全损失。因此优选的是，ROI的定义基于实际和/或预期的行进方向，以使该环境基本上仅在该行进方向周围的小视场中成像。该视场可以具有优选地小于5度、更优选地小于1度的水平范围。
定义ROI和动态限制该系统的该视场的另一个优点在于AMR、AGV或其他移动平台的最高运行速度取决于许多因素(停车距离、传感器范围、深度传感器性能、车辆重量、环境条件等)。如通过延迟和帧率进行测量的深度传感器的性能影响这些装置在行进方向上的速度。帧率越快，场景信息能够越快传递至这些装置。
优选地，该系统还包括照明控制器，其中该照明控制器适于控制照明功率的空间分布以避免反射照明光被该图像检测器的该ROI以外的区域接收。这一特征与以上讨论的动态照明直接相关，并且将照明源的调暗(或关闭)与单个ROI或多个ROI的选择相结合。参见相关段落。该图像检测器的选择性照明与选择性读出的组合降低了发射的照明光的总体强度，同时增加了可能的帧率。
除了在节能和避免可能干扰其他系统的不必要的光污染的基础上改善环境性能之外，这也意味着较少的照明光可以在该系统内部和外部进行散射，这是通过避免任意偶然反射以及通过减少光致电荷载流子的累积以降低每帧单个像素接收的最大强度，来减少相关图像检测器的饱和和过度曝光。在较高的帧率，还减少了电荷载流子数量强烈变化的相邻像素之间可能的载流子泄漏，这转而增加了该成像检测器的SNR。
本发明的进一步优选实施例由从属权利要求中提到的特征产生。
除非在特定情况下另有规定，本申请中提及的本发明的各种实施例和方面可以相互组合以获得优势。
附图说明
以下，将通过附图进一步详细地描述本发明。所给出的示例适于描述本发明。在附图中：
图1示出根据本发明的成像器的实施例的示意图；
图2a)示出现有技术环绕视图成像系统的示意图以及图2b)至图2d)示出根据本发明的环绕视图成像系统的不同实施例的示意图；
图3示出依据由根据本发明的图像检测器接收的成像光的强度值来控制照明功率的空间分布的示意图；
图4示出根据本发明的照明控制方案的不同实施例的示意图；
图5示出根据本发明的照明控制器的方法的示意图；
图6示出根据本发明的照明器的示意图；
图7示出基于根据本发明的环绕视图成像系统的实际和/或预测运动轮廓的ROI的示意图；以及
图8示出结合基于根据本发明的环绕视图成像系统的实际和/或预测运动轮廓的ROI控制照明功率的空间分布的示意图。
具体实施方式
图1示出根据本发明的成像器10的实施例的示意图。成像器，包括图像检测器12以及具有主体30的圆柱形的单片反射折射透镜20，该主体具有套筒32、顶表面34和底表面36，其中在该成像器的视场FOV10中来自该成像器10的环境的成像光B通过该套筒32进入该主体30、由围绕该底表面36的中心C1设置的周向第一非球面透镜区域22进行第一次反射、由围绕该顶表面34的中心C2设置的第二非球面透镜区域24进行第二次反射、然后通过设置在该底表面36的中心C1的第三非球面透镜区域26离开该主体30前往该图像检测器12。
此外，示例性地示出了反射折射透镜20和图像检测器12之间的透镜组。特别地，所示的透镜组包括用于进一步图像投影的八个球面透镜。如示出的反射折射透镜20包括三个非球面，光学系统的其余部分可以仅用标准球面透镜来实现，同时能够以适中的成本确保良好的光学性能(即MTF、失真等)。成像器10还可包括带通滤波器，其可优选地设置在透镜组和图像检测器12之间。附加的带通滤波器可以切断照明光的光谱分量，这些光谱分量与图像生成无关，或者会导致图像检测器12的饱和和过度曝光。
根据本发明的反射折射透镜20因此包括四个光学活性表面，在这些表面上成像光B在传播通过单片的主体30的同时被重定向。套筒32和第三非球面透镜区域26对于成像光B是透明的。在这些表面上，当反射折射透镜20的折射率与环境的折射率不同时，成像光通过衍射而重定向。优选地，反射折射透镜20由具有高折射率(在成像光B的相关光谱范围内透明)的塑料光学材料制成，如丙烯酸、聚苯乙烯、聚碳酸酯、环烯烃聚合物(COP)或由这些材料制成的复合材料制成。然而，可以使用在成像光B的相关光谱范围内透明的任何光学材料。
在第一非球面透镜区域22和第二非球面透镜区域24，成像光通过反射而重定向。这意味着在这些区域，主体30的各个表面用作该入射成像光B的反射镜。优选地，可以通过将金属或介电层(镜面)涂覆在相应的表面来制造该反射镜。介电层可以是被设计为在成像光B的相关光谱范围内提供高反射的介电堆。在一些实施例中，第一非球面透镜区域22和/或第二非球面透镜区24可以被形成为通过全内反射(TIR)来反射成像光B。TIR减少了反射中的光学损耗，以便检测非常弱的成像光B，而使用反射表面通常防止在反射折射透镜20中出现散射光，该散射光可能偶然地进入成像器10的后续部分。换言之，反射折射透镜20被设计为稳定且紧凑的光学元件，其价格便宜且易于生产，并且通过避免反射折射透镜20内部杂散光的出现来降低相关图像检测器12的饱和和过度曝光的风险。
图2a)示出现有技术环绕视图成像系统的示意图以及图2b)至图2d)示出根据本发明的环绕视图成像系统的不同实施例的示意图。在根据图2a)的现有技术环绕视图成像系统中，照明器40核成像器10通常共享共同的视场FOV10、FOV40，这意味着照明光A由照明器40发射到立体角范围中，该立体角范围与照明光B由成像器10成像的立体角范围相同。如果反射物体O非常靠近成像系统，可能发生强烈的过度曝光和多路径照明，这是因为照明功率密度随着与源的距离平方而减小。在某些像素处的这种过度曝光甚至会使图像检测器12的相邻像素饱和，或者将误定向的光带到相邻像素。这将导致来自传感器系统的不正确的距离信息。
可以通过在环绕视图成像系统中将该照明器40和该成像器10相叠地布置并且彼此分开距离d以形成中间区域R，该中间区域R既不在该照明器的视场FOV40内也不在该成像器的视场FOV10内，以避免这一过度曝光的问题。在这种情况下，照明器的视场FOV40与成像器的视场FOV10不同，这意味着照明光A由照明器40发射到立体角范围中，该立体角范围不同于照明光B由成像器10成像的立体角范围。然而，通过这种方法，成像系统具有大的中间区域R，其中不能再对周围进行成像。
如图2b)所示，可以通过使照明器的视场FOV40包括具有高的最大照明功率(第一照明光A1)的主照明区域FOV40a以及布置在主照明区域FOV40a与成像器10之间的、具有较低的最大照明功率(第二照明光A2)的次照明区域FOV40b来降低这个缺点的影响。次照明区域FOV40b可以被用于减少由于该照明器40和该成像器10之间的该距离d形成的该“盲”中间区域的体积。事实上，该次照明区域FOV40b甚至可以填充中间区域R的相当大的部分，然而，由于其较低的最大照明功率，相比于两个照明区域FOV40a和FOV40b都具有高的最大照明功率的照明的情况，图像传感器12的饱和和过度曝光的问题仍能被降低。因此，该实施例的构想是，与该照明器40和该成像器12的视场重叠的其他区域相比，在特别容易受到相关图像检测器12的饱和和过度曝光的影响的成像区域中，使照明功率降低。
如图2c)所示的实施例中，次照明区域FOV40b由设置在照明器视场FOV40边界处的漫射元件70形成。漫射元件70将第一照明光A1散射至次照明区域FOV40b，第一照明光A1之后成为第二照明光A2。次照明区域FOV40b的强度分布可以被配置为均匀的(即具有平坦的轮廓)或者该照明功率被配置为随角度朝该成像器10的减少。这一配置具有的优点是在离成像器10更近的关键区域中，能够进一步降低每个角度的照明功率，同时仍可以为充足且可靠的图像生成提供足够的照明功率。
图2b)和图2c)所述的两个实施例之间的区别在于，在第一实施例中，主照明区域FOV40a和次照明区域FOV40b均为照明器40的原始公共视场FOV40的部分，而在第二实施例中，通过漫射元件70将第二照明区域FOV40b从照明器40的主照明区域FOV40a分开。使用漫射元件70生成第二照明区域FOV40b具有的优点是，无需任何适应，就可以使用具有较低最大或最小视场的照明器40。直接提供主照明区域FOV40a和次照明区域FOV40b的照明器40必须特定地被设计用于这些应用，因此相较于使用单个漫射元件70更昂贵。具有上述部分功率配置的次级照明区域FOV40b可以由漫射元件70来照明，漫射元件70放置在距离照明器40一定距离处。由于这样的空间定位，垂直强度轮廓(即该中间区域的大小)能够以非常简单的方式通过固定和稳定的元件对准来控制。
图2d)示出了漫射元件70的具体实施例和所得到的组合照明区域中的强度分布。通常，可以定义两个或多个照明区域以减少潜在的噪声源或提高功率效率。因此，还可以通过共同的漫射元件70或一个或多个单独的漫射元件从照明器40的主照明区域FOV40a中分离出第三照明区域。在主照明区域FOV40a中可以提供具有顶帽轮廓的高强度区域的同时，在次照明区域FOV40b和第三照明区域中的照明轮廓可以不同于顶部轮廓。轮廓的类型可以取决于环绕视图成像系统的具体配置和布置。特别地，可以通过将斜率强度增加r2来创建第三照明区域中的恒定照明，其抵消照明减少的1/r2。强度分布也可以在照明区域内分级。特定的分级可用于包括以大角度接收的噪声的影响。
在一些实施例中，第三照明区域例如可以指向底层、角落或边。然后，光子可以在撞击物体并返回传感器之前在地板上反弹。然而，仅直接光子能用于成像。被定义为多路径噪声的反弹光子会导致不正确的距离读取。减少对多路径噪声至关重要的FOV区域中的照明，也会降低多路径反射的影响。此外，可以避免由地板上的这些反射导致的相关图像检测器的饱和和过度曝光。相应的共同的漫射元件70的示例性实施例示为具有中心平面透射区域的双楔结构。对于环绕视图成像系统，这种结构可以作为圆环，环绕全水平FOV周围布置。
图3示出依据由根据本发明的图像检测器12接收的成像光B的强度值来控制照明功率的空间分布的示意图。其中图3a)示出了照明器40的俯视图，其包括8个圆形布置的VCSEL作为照明光源44。这些照明光源按模式安装到共同的照明板46上，以允许水平360度照明。当物体O(如人或昆虫)接近照明器40时，相关图像检测器12可能发生饱和和过度曝光。然而，在由图像检测器12接收的成像光B的强度值经检测控制器60的评估达到临界值之前，可以通过照明控制器42使照明功率的空间分布适于当前情况。如果检测控制器60检测到图像检测器12开始饱和，则检测控制器60可以与照明控制器42交互以修改照明功率的空间分布。特别地，一个或多个照明光源44可以根据物体的O反射而变暗或关闭。图中，示例性地使第三VCSEL失效，以使成像器10不能检测到反射。
在图3b)中，照明器40以非常相似的方式工作，并且可以具有与上面所述相同的结构。在这种情况下，环绕视图成像系统示例性地沿着右壁向上移动、到达邻接壁、旋转90度、然后最终沿着邻接壁移动。最靠近墙壁的照明源44’可以根据物体O的反射而变暗，以避免图像检测器12的饱和和过度曝光。相应的照明源44’也可以完全关闭。然而，调暗照明源44’以在墙壁附近区域提供部分照明可以避免“盲”点。对于调暗，可以通过照明控制器42的相应算法逐渐控制由照明器40发出的照明光A的强度。
图4示出根据本发明的照明控制方案的不同实施例的示意图。图4a)和图4b)提出了基于成像系统环境中物体的闭环照明控制架构的不同算法，其中图4a)示出了照明控制器42的照明控制器电路的直接反馈，以及图4b)示出了由附加调光器控制电路(其被视为相应照明控制器电路的附加组件，其中两个电路均被视为形成根据本发明的照明控制器42)提供的反馈。本发明一些实施方式可能需要外置调光器控制电路，因为不是所有的照明控制器电路都能够控制脉冲(例如VCSEL，LED)的强度、持续时间、数量等。
照明控制器42能够向各个照明光源44发送控制信号以启动脉冲或波形。照明光源44(也称作发射器)照明周围环境(也称为场景或环境)，并且经由图像检测器12通过成像器10(也称为接收器)捕获反射返回的信号。原始像素信息被传送到深度控制器，用于确定周围物体的深度值。然后，深度信息被发送到环绕视图成像系统中的处理单元或外部处理单元(例如CPU、GPU、FPGA、ASIC)，这些处理单元可以处理算法。来自算法的反馈然后被直接发送到原始照明控制器42或扩展照明控制器42，其包括根据图像检测器12和照明控制器电路的架构决定的调光器控制电路。之后，这些实施方式中的任一个调整各个照明源44(例如VCSEL、LED)的强度、持续时间等。
图4c)示出能够被用于控制VCSEL照明(LD表示激光二极管)的示例性调光器控制电路。激光二极管驱动器脉冲选通电路可以修改到驱动器的脉冲的数量，并且经由控制信号控制场效应晶体管(FET)，以控制作为照明光源44的VCSEL的光输出。
优选地，与门用于选通或阻挡去往驱动器的一些脉冲，以减少场景上VCSEL照明的数量。与门的输入可以来自激光器驱动器和照明控制器电路(控制信号)。
图5示出根据本发明的照明控制器所使用的方法的示意图。图5a)示出对像素阵列中的像素(i，j)周围的像素的相邻值进行平均，像素阵列的大小为(imax,jmax)以及像素距离m＝1。变量i指的是阵列中的水平行数，变量j指的是垂直列数。在阵列的边缘，相应的相邻值可以设置为零，或者必须经过合理的调整来考虑。优选地，对于不具有在其周围进行平均所需数量的相邻像素的像素，可以完全省略对相邻值进行平均。
图5b)示出了由距离矩阵和360°传感器深度矩阵确定深度矩阵。例如，AMR或AGV的处理单元可以提供在一帧(时间帧)期间行进的距离值的矩阵。另一方面，环绕视图成像系统能够提供相应帧的深度值矩阵。然后可以合并这两个矩阵以产生由环绕视图成像系统和处理单元确定的深度值的矩阵。然后，这个矩阵可以用作照明控制器的输入，该照明控制器适于依据由图像检测器接收的成像光的强度值以及系统的实际和/或预测的运动轮廓来控制来自照明器的照明功率的空间分布。然而，根据系统的实际和/或预测的运动轮廓，可以得出进一步的控制数据。除了在帧期间行进的距离值之外，这些控制数据还可以包括到固定的或通知的物体(例如AMR或AGV的预定义路径中的附近墙壁和障碍物、物体通知信标等)的已知距离。
图5c)示出了参数IΔ与相应照明控制设置的调整。优先的是消除由距环绕视图成像系统特定距离内的物体产生的饱和或杂散光的任何风险。照明源的变化量必须通过在不同条件下对系统进行表征来确定。在一些实施方式中，照明控制可以被限制为有限数量的步骤或设置。因此，可以创建查找表，以调整针对照明区域确定的特定参数IΔ的适当设置。在图式中，由参数IΔ的特定阈值定义m个不同的控制设置，其中所选的照明控制设置取决于参数IΔ的特定值。由于参数IΔ是基于像素的，因此必须配置所选照明控制设置，以专门控制与得出参数IΔ的像素相关的环境区域的照明。因此，所示的照明控制设置可以应用于相关像素(i,j)的各参数IΔ。
图6示出根据本发明的照明器40的示意图。照明器40包括周向设置的照明光源44，其中该照明光源44通过枢转或移动式托架或支架与相关照明板46电连接以及机械连接。这允许机械地控制照明光源44和光成形/引导装置的角度或位置，以便实现所需的光分布。这可以响应于来自该环境的实时场景信息而动态完成。优选地，照明光源44和照明板46之间的角度50由致动器52主动控制。
用于安装具有可变位置的照明光源44的一种选择为所示的刚-柔照明板46，其中照明光源44(例如VCSEL)通过柔性电路附接，该柔性电路可以在生产过程中或实时地旋转或平移到位。特别地，该图示出了作为照明光源44的各个VCSEL，照明光源44通过柔性线缆48附接到照明板46。柔性线缆48允许VCSEL旋转或平移至最佳性能角度。VCSEL的旋转可以动态地或在生产期间进行，从而设置在固定角度。
图7示出了基于根据本发明的环绕视图成像系统的实际和/或预测运动轮廓的ROI的示意图。图7a)示出了典型的图像检测器读出，其中对图像检测器12的所有行和列进行评估。然而，环境投影到其上的相关成像区域也可以仅是圆环内的区域。圆环内的图像可以与相邻罗盘中显示的方向相关，因此图示中的顶部对应于向前方向，右部对应于向右方向，依此类推。读出独立于环绕视图成像系统的移动，并且影响整个图像检测器12，即，所有像素都被读出。
在图7b)中，为了增加图像检测器12的帧率，检测控制器将图像检测器的读出限制在感兴趣区域ROI，其中ROI的定义基于系统的实际和/或预测的运动轮廓。如图所示，读出例如限于图像检测器12的上部，其基本上对应于向前方向的成像。读出部分由检测控制器通过特定ROI的定义来设置。ROI的定义可以基于系统的实际和/或预测的运动轮廓，这允许提取用于成像的相关方向。成像系统的实际运动轮廓可以例如由编程路径预先定义，或者可以从检测实际运动参数(例如速度、行进方向等)的传感器中得出。成像系统的预期运动轮廓可以从编程路径或从预先计算的遇到障碍物中得出，这些障碍物可以是预期立即到达的。预测的运动轮廓可以用于增加AMR或AGV的反应时间。
图8示出了结合基于根据本发明的基于环绕视图成像系统的实际和/或预测的运动轮廓的ROI来控制照明功率的空间分布的示意图。本实施例与如图7所示的ROI的使用直接相关。图8a)示例性地示出了一种配置，其中照明板46具有沿周向发射照明光的多个照明光源44，这些照明光源被配置为照明整个360度环境。在这种情况下，视场内的环境能够被完全成像。
在图8b)中，照明控制器适于控制照明功率的空间分布，以避免反射的照明光被位于ROI之外的图像检测器的区域接收。在所示的示例性配置中，ROI被设置为具有在图像检测器12上除向右方向以外的任何位置的检测器读出。由于该环境的这个区域因此未被检测到，沿这个方向行进的任何照明都将被浪费，并且包含一些光被散射却仍被成像器捕获的风险。这可能由于多次反射而发生，导致图像检测器12的检测噪声增加或者甚至导致饱和和过度曝光。为了避免这些问题，用于ROI之外的方向的相应照明光源44’可以被调暗或完全关闭。
附图标记列表
10 成像器 40 照明器
12 图像检测器 42 照明控制器
20 反射折射透镜 44 照明光源
22 第一非球面透镜区域 46 照明板
24 第二非球面透镜区域 48 柔性线缆(弯曲线缆)
26 第三非球面透镜区域 50 角度
30 主体 52 致动器
32 套筒 60 检测控制器
34 顶表面 70 漫射元件
36 底表面
A 照明光
B 成像光
C1 中心(底表面36)
C2 中心(顶表面34)
FOV10 成像器的视场
FOV40 照明器的视场
FOV40a 主照明区域
FOV40b 次照明区域
R 中间区域
O 物体

Claims (10)

1.一种用于环绕视图成像系统的成像器(10)，包括图像检测器(12)以及具有主体(30)的圆柱形的单片反射折射透镜(20)，所述主体具有套筒(32)、顶表面(34)和底表面(36)，其中，在所述成像器的视场(FOV10)内来自所述成像器(10)的环境的成像光(B)通过所述套筒(32)进入所述主体(30)、由围绕所述底表面(36)的中心(C1)设置的周向第一非球面透镜区域(22)进行第一次反射、由围绕所述顶表面(34)的中心(C2)设置的第二非球面透镜区域(24)进行第二次反射、然后通过设置在所述底表面(36)的中心(C1)的第三非球面透镜区域(26)离开所述主体(30)前往所述图像检测器(12)。
2.一种用于对系统的环境进行成像的环绕视图成像系统，包括成像器(10)和照明器(40)；其中，所述照明器(40)适于在所述照明器的视场(FOV40)内对所述系统的所述环境进行照明，以使被所述环境反射的照明光(A)能够在所述成像器的视场(FOV10)内由所述成像器(10)成像为成像光(B)；
其特征在于，
所述照明器(40)和所述成像器(10)相叠地布置，并且彼此分开距离d以形成中间区域(R)，所述中间区域(R)既不在所述照明器的视场(FOV40)内也不在所述成像器的视场(FOV10)内。
3.根据权利要求2所述的环绕视图成像系统，其中，所述照明器的视场(FOV40)包括具有高的最大照明功率的主照明区域(FOV40a)以及布置在所述主照明区域(FOV40a)与所述成像器(10)之间的次照明区域(FOV40b)，所述次照明区域(FOV40b)具有较低的最大照明功率。
4.一种用于对系统的环境进行成像的环绕视图成像系统，包括具有图像检测器(12)的成像器(10)、照明器(40)以及照明控制器(42)，其中，所述照明器(40)适于在所述照明器的视场(FOV40)内对所述系统的所述环境进行照明，以使被所述环境反射的照明光(A)能够在所述成像器的视场(FOV10)内由所述成像器(10)成像为成像光(B)；
其特征在于，
所述照明控制器(42)适于根据由所述图像检测器(12)接收的所述成像光(B)的强度值来控制照明功率的空间分布。
5.根据权利要求4所述的环绕视图成像系统，其中，所述控制照明功率的空间分布的所述控制是基于超出预定阈值的参数IΔ，其中，所述参数IΔ被定义为
其中，i、j表示在所述图像检测器(12)的相应水平和垂直方向上的各个像素，p为大于1的自然数，Cl为预先确定的系数，以及Xl为与所述图像检测器(12)的两个连续帧对应的特定参数之间的差。
6.一种用于对系统的环境进行成像的环绕视图成像系统，包括成像器(10)、照明器(40)以及照明控制器(42)；其中，所述照明器(40)适于在所述照明器的视场(FOV40)内对所述系统的所述环境进行照明，以使被所述环境反射的照明光(A)能够在所述成像器的视场(FOV10)内由所述成像器(10)成像为成像光(B)；
其特征在于，
所述照明控制器(42)适于根据所述系统的实际和/或预测运动轮廓来控制来自所述照明器(40)的照明功率的空间分布。
7.根据权利要求2至6中任一项所述的环绕视图成像系统，其中，所述照明器(40)包括周向设置的照明光源(44)，其中，所述照明光源(44)通过枢转或移动式托架或支架与相关的照明板(46)电连接以及机械连接。
8.根据权利要求7所述的环绕视图成像系统，其中，所述照明光源(44)和所述照明板(46)之间的角度(50)由致动器(52)主动控制。
9.一种用于对系统的环境进行成像的环绕视图成像系统，包括具有图像检测器(12)和检测控制器(60)的成像器(10)、以及照明器(40)，其中，所述照明器(40)适于在所述照明器的视场(FOV40)内对所述系统(500)的所述环境进行照明，以使被所述环境反射的照明光(A)能够在所述成像器的视场(FOV10)内由所述成像器(10)成像为成像光(B)；
其特征在于，
所述检测控制器(60)通过将所述图像检测器(12)的读出限制在感兴趣区域ROI，来增加所述图像检测器(12)的帧率，其中，所述ROI的定义基于所述系统的实际和/或预测运动轮廓。
10.根据权利要求9所述的环绕视图成像系统，还包括照明控制器(42)，其中，所述照明控制器(42)适于控制照明功率的空间分布，以避免被反射的照明光(A)被所述图像检测器(12)的所述ROI以外的区域接收。
CN202080108126.4A 2020-10-26 2020-10-26 环绕视图成像系统 Pending CN116648639A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2020/080079 WO2022089721A1 (en) 2020-10-26 2020-10-26 Surround-view imaging systems

Publications (1)

Publication Number Publication Date
CN116648639A true CN116648639A (zh) 2023-08-25

Family

ID=73030110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080108126.4A Pending CN116648639A (zh) 2020-10-26 2020-10-26 环绕视图成像系统

Country Status (4)

Country Link
US (1) US20230393277A1 (zh)
EP (2) EP4232872A1 (zh)
CN (1) CN116648639A (zh)
WO (1) WO2022089721A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4780713B2 (ja) * 2006-06-15 2011-09-28 オリンパス株式会社 光学系
CN104364673B (zh) * 2012-05-29 2018-03-13 布莱特瓦维森有限公司 使用自适应景深的选通成像
JP3214777U (ja) * 2014-05-30 2018-02-08 テクノロギアン トゥトキムスケスクス ヴェーテーテー オイ 全方位撮像装置
US9635231B2 (en) * 2014-12-22 2017-04-25 Google Inc. Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions
KR102335186B1 (ko) * 2014-12-24 2021-12-03 삼성전자주식회사 렌즈 조립체, 이를 이용한 장애물 감지유닛, 및 이를 구비한 이동로봇
US10609266B2 (en) * 2018-08-21 2020-03-31 Rockwell Automation Technologies, Inc. Camera for wide field of view with an arbitrary aspect ratio

Also Published As

Publication number Publication date
WO2022089721A1 (en) 2022-05-05
EP4318044A2 (en) 2024-02-07
EP4318044A3 (en) 2024-04-10
US20230393277A1 (en) 2023-12-07
EP4232872A1 (en) 2023-08-30

Similar Documents

Publication Publication Date Title
US10180224B2 (en) Quasi-sparse optical illumination
US10018724B2 (en) System and method for scanning a surface and computer program implementing the method
US6774988B2 (en) Light source detection and categorization system for automatic vehicle exterior light control and method of manufacturing
US11780361B2 (en) Close-in illumination module
CN112703418A (zh) 具有对应的光学元件阵列的光检测器阵列
US20210199770A1 (en) Optical Redirector Device
KR20180093537A (ko) 속도 적응형 3차원 장애물 감지장치
GB2574418A (en) A mobile robot and method of controlling a mobile robot illumination system
WO2021142487A1 (en) Lidar system including scanning field of illumination
US20210228047A1 (en) Vision system for a mobile robot
CN116648639A (zh) 环绕视图成像系统
JP2021071471A (ja) 距離画像の作成装置
KR101872620B1 (ko) 속도 적응형 장애물 감지장치
US20230280010A1 (en) Headlight device
CN115769258A (zh) 用于漫射照明和结构光的投影仪
JP7473616B2 (ja) 自動露光遮蔽カメラ
US20240053446A1 (en) Surround-view imaging system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination