CN112995454A - 相机视觉系统 - Google Patents

相机视觉系统 Download PDF

Info

Publication number
CN112995454A
CN112995454A CN202011441680.2A CN202011441680A CN112995454A CN 112995454 A CN112995454 A CN 112995454A CN 202011441680 A CN202011441680 A CN 202011441680A CN 112995454 A CN112995454 A CN 112995454A
Authority
CN
China
Prior art keywords
plane
camera
lens
image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011441680.2A
Other languages
English (en)
Other versions
CN112995454B (zh
Inventor
W.曾
S.曾
S.E.帕里什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN112995454A publication Critical patent/CN112995454A/zh
Application granted granted Critical
Publication of CN112995454B publication Critical patent/CN112995454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及相机视觉系统。在各个实施例中，提供了相机和移动平台。在一示例性实施例中，提供了一种移动平台，其包括主体和设置在该主体上的相机。相机包括一个或多个图像传感器以及一个或多个透镜组件。一个或多个透镜组件相对于一个或多个图像传感器配置，使来自一个或多个图像传感器的至少一个图像平面倾斜，以与来自一个或多个透镜组件的至少一个等效透镜平面形成非零角度，将图像聚焦面转换为与其中安装相机的移动平台的移动方向平行。在某些实施例中，多个图像传感器或透镜组件的使用增加了相机视角。

Description

相机视觉系统
技术领域
技术领域总体上涉及移动平台和车辆领域，更具体地，涉及车辆(或移动平台)相机视觉系统。
背景技术
某些车辆包括一个或多个车辆相机，其为车辆的驾驶员或一个或多个车辆系统(例如自主驾驶和主动安全系统)提供信息。这样的车辆相机可能具有有限的景深，使得与景深内的物体相比，景深外的物体可能显得有些模糊。
因此，期望提供包括改进的景深的用于车辆的相机视觉系统。此外，结合附图和本发明的此背景技术，根据本发明的后续详细描述和所附权利要求，本发明的其他期望的特征和特性将变得显而易见。
发明内容
根据示例性实施例，提供了一种配置为用于安装在移动平台中的相机。该相机包括：一个或多个图像传感器；以及一个或多个透镜组件，其相对于一个或多个图像传感器配置，使来自一个或多个图像传感器的至少一个图像平面倾斜，以与来自一个或多个透镜组件的至少一个等效透镜平面形成非零角度，将图像传感器聚焦面转换为与其中安装相机的移动平台的移动方向平行，从而为图像传感器提供理论上无限的景深。
同样在一实施例中，相机包括一个或多个聚焦面；并且至少一个聚焦面相对于图像平面成非零角度。
同样在一实施例中，聚焦面在单个点处与图像平面和透镜平面都相交。
同样在一实施例中，聚焦面对准成平行于移动平台的水平移动方向。
同样在一实施例中，聚焦面平行于视场的边缘平面。
同样在一实施例中，聚焦面在车辆的水平移动方向上从车辆水平地延伸理论上无限的距离。
同样在一实施例中，一个或多个图像传感器包括单个图像传感器，并且一个或多个透镜组件包括单个透镜组件。
同样在一实施例中，一个或多个图像传感器包括：具有第一图像平面的第一图像传感器；以及具有第二图像平面的第二图像传感器；一个或多个透镜组件包括单个透镜组件；透镜平面与第一图像平面和第二图像平面都形成非零角度；并且与使用单个图像传感器相比，使用多个图像传感器即第一和第二图像传感器增加了相机视角。
同样在一实施例中，相机还包括镜子，其设置为将第二图像传感器和第一图像传感器分开。
同样在一实施例中，一个或多个图像传感器包括单个图像传感器；一个或多个透镜组件包括：具有第一透镜平面的第一透镜组件；以及具有第二透镜平面的第二透镜组件；第一透镜平面和第二透镜平面中的每个与图像平面形成非零角度；并且与使用单个透镜组件相比，使用多个透镜组件即第一和第二透镜组件增加了相机视角。
同样在一实施例中，相机还包括从第一透镜和第二透镜之间的图像传感器延伸的图像分离器。
在另一示例性实施例中，提供了一种移动平台，其包括主体以及设置在该主体上的相机。相机包括一个或多个图像传感器以及一个或多个透镜组件。一个或多个透镜组件相对于一个或多个图像传感器配置，使来自一个或多个图像传感器的至少一个图像平面倾斜，以与来自一个或多个透镜组件的至少一个等效透镜平面形成非零角度，从而产生平行于其中安装相机的移动平台的水平移动方向对准的视场。
同样在一实施例中，相机包括聚焦面；并且聚焦面相对于图像平面成非零角度。
同样在一实施例中，聚焦面在单个点处与图像平面和透镜平面都相交。
同样在一实施例中，聚焦面对准成平行于移动平台的水平移动方向。
同样在一实施例中，聚焦面平行于视场的边缘平面。
同样在一实施例中，一个或多个图像传感器包括单个图像传感器；并且一个或多个透镜组件包括单个透镜。
同样在一实施例中，其中一个或多个图像传感器包括：具有第一图像平面的第一图像传感器；以及具有第二图像平面的第二图像传感器；一个或多个透镜组件包括单个透镜组件；透镜平面与第一图像平面和第二图像平面都形成非零角度；相机还包括镜子，其设置为将第二图像传感器和第一图像传感器分开；并且与使用单个图像传感器相比，使用多个图像传感器即第一和第二图像传感器增加了相机视角。
同样在一实施例中，一个或多个图像传感器包括单个图像传感器；一个或多个透镜组件包括：具有第一透镜平面的第一透镜组件；以及具有第二透镜平面的第二透镜组件；并且第一透镜平面和第二透镜平面中的每个与图像平面形成非零角度；相机还包括从第一透镜和第二透镜之间的图像传感器延伸的图像分离器；并且与使用单个透镜组件相比，使用多个透镜组件即第一和第二透镜组件增加了相机视角。
在另一示例性实施例中，提供了一种包括主体和相机的移动平台。相机设置在主体上，并且包括一个或多个图像传感器和一个或多个透镜组件。一个或多个透镜组件相对于一个或多个图像传感器配置，使来自一个或多个图像传感器的至少一个图像平面倾斜，以与来自一个或多个透镜组件的至少一个等效透镜平面形成非零角度，从而产生平行于其中安装相机的移动平台的水平移动方向对准的视场；其中：相机包括聚焦面；聚焦面相对于图像平面成非零角度；聚焦面在单个点处与图像平面和透镜平面都相交；并且聚焦面对准成平行于车辆的水平移动方向。
附图说明
在下文中，将结合以下附图描述本公开，其中相同的标号表示相同的元件，并且其中：
图1是根据示例性实施例的包括一个或多个相机的车辆的功能框图，该相机具有平行于水平面的视场用于车辆移动；
图2是根据示例性实施例的图1的相机之一的示例性透镜组件的示意图；
图3-6是根据各个示例性实施例的图1的不同示例性相机的示意图；以及
图7-18是根据各种示例性实施例的图1-6的相机和图1的车辆的不同示例性车辆应用的示意图。
具体实施方式
以下详细描述本质上仅是示例性的，并且无意于限制本公开或其应用和用途。此外，无意受到在先前背景技术或以下详细描述中提出的任何理论的约束。
图1示出了根据示例性实施例的车辆100。如下面进一步更详细描述，车辆100包括安装在车辆100上的一个或多个相机系统102。如图1所示，在各个实施例中，每个相机系统102包括以特定方式对准的一个或多个相应的传感器104和透镜(或透镜组件)105(每个具有相应的等效透镜平面)(以及在某些实施例中，一个或多个镜子113)，以提供与车辆100的移动方向108平行的聚焦面(最锐聚焦面)106，如下面结合图2-18更详细描述。如本申请通篇所用，应当理解，在某些实施例中，透镜组件包括一个或多个光学透镜和滤光器。
在某些实施例中，车辆100包括汽车。在各个实施例中，车辆100可以是许多不同类型汽车中的任何一种，例如轿车、货车、卡车或运动型多用途车(SUV)，并且可以是两轮驱动(2WD)(即后轮驱动或前轮驱动)、四轮驱动(4WD)或全轮驱动(AWD)，和/或在某些实施例中是各种其他类型的车辆。在某些实施例中，车辆100还可以包括摩托车、飞机、海上车辆和/或一种或多种其他类型车辆。另外，在各个实施例中，还将理解，车辆100可以包括任何数量的其他类型移动平台。
在所示的实施例中，车辆100包括基本包围车辆100的其他部件的车身。同样在所示的实施例中，车辆100包括多个轴112和车轮114。车轮114每个都旋转地联接至一个或多个轴112于车身110的各个角附近以便于车辆100的移动。在一实施例中，车辆100包括四个车轮114，尽管这在其他实施例中可以变化(例如对于卡车和某些其他车辆而言)。
驱动系统116驱动车轮114。驱动系统116优选地包括推进系统。在某些示例性实施例中，驱动系统116包括与其变速器联接或不与之联接的内燃机和/或电动机/发电机。在某些实施例中，驱动系统116可以改变，和/或可以使用两个或更多个驱动系统116。举例来说，车辆100还可结合多个不同类型推进系统中的任何一个或组合，例如汽油或柴油燃料的燃烧发动机、“柔性燃料车辆”(FFV)发动机(即使用汽油和酒精的混合物)、气态化合物(例如氢气和/或天然气)燃料的发动机、燃烧/电动机混合动力发动机以及电动机。
如图1所示，在各个实施例中，相机102可以设置在车辆100的主体110上(或靠在其上)的各个位置。例如，在某些实施例中，相机102设置在车辆100的前部(例如在车辆100的前挡风玻璃之后和/或靠在其上)、车辆100的侧面(例如驾驶员侧和乘客侧)、车辆100的后部(例如在后备箱或后舱盖上或附近)、车辆顶上和/或挡风玻璃后面的驾驶舱内以及其他各种可能的位置。
同样如图1所示，在各个实施例中，每个相机102联接到车辆100的控制系统120。在各个实施例中，控制系统120还联接到车辆100的驱动系统116和各种其他系统130(例如转向、制动、加速和/或一个或多个其他主动安全、自主驾驶，提供后相机镜以保持视野通畅，和/或车辆100的其他系统和/或相关功能)。在各个实施例中，控制系统包括计算机处理器122和承载信号的计算机存储器124。此外，在各个实施例中，图1的控制系统120(包括其处理器122)使用从相机102获得的图像(例如基于检测到的行人、车辆和/或其他物体的自动制动，和/或基于道路、其标记和/或经由相机图像捕获的其上物体的各种其他功能)控制各种车辆功能(例如车道保持辅助、车道保持意识、自动制动、自适应巡航控制、前向碰撞警报和/或车辆100的各种其他安全和/或其他特征)。
参照图2，提供了根据示例性实施例的图1的相机102之一的示例性透镜组件105的示意图。如图2所示，在某些实施例中，透镜组件105包括传感器保护器202、滤光器204、组合透镜206(例如包括胶合在一起的凸凹和双凸透镜)、凸弯月形透镜208、双凹透镜210、双凸透镜212和弯月形透镜214。在各个实施例中，透镜组件105的部件可以变化(在某些实施例中还可以包括单个透镜)。除非另有说明，否则本文所用的术语“透镜105”和“透镜组件105”可互换地指代为表示单个透镜105和/或包括一个或多个现有透镜和滤光器部件的透镜组件105。
图3-6是根据各个示例性实施例的图1的不同示例性相机的示意图。
首先，参照图3，提供了根据示例性实施例的用于图1的车辆100的示例性相机102的示意图。如图3所示，在各个实施例中，相机的传感器104和透镜(或透镜组件)105相对于彼此定位，使得景深106表示平行于图1的车辆100的水平移动方向108的水平景深。如图3所示，在某些实施例中，视场106至少部分地由第一平面302和第二平面304界定。在某些实施例中，第一平面302对应于车辆100沿图1的水平方向108的移动(或行驶)平面。同样在某些实施例中，第二平面304对应于相机102的聚焦面(即锐聚焦面)。
具体地，如图3所示，透镜(或透镜组件)105相对于传感器104成一定角度，使得图像平面310和透镜平面312在相交点320处彼此相交且与聚焦面304相交，并且相对于其形成角度α(314)。因此，与典型组件相反，聚焦面304不平行于图像平面312和透镜平面312，而是在点320处与二者相交。在各个实施例中，来自传感器104的图像平面310是倾斜的，以与来自透镜组件105的至少一个等效透镜平面312形成角度α(314)。在各个实施例中，角度α(314)是在零和九十度之间的非零角度。
同样如图3所示，在各个实施例中，聚焦面304、平行于图像平面340和前局部平面342各自在图3的点322处相交。另外，如图2所示，平行于图像平面340跨透镜105的中心平行于图像平面310。此外，同样如图3所示，前局部平面342平行于透镜平面312，并且透镜平面312与前局部平面342之间的距离(f)352等于透镜105的焦距。
同样如图3所示，在各个实施例中，聚焦面304对准成平行于车辆水平面(例如，如图3所示的第一平面302)。同样在各个实施例中，如图3所示，(i)第一高度(H1)316表示传感器104离聚焦面304的高度；(ii)第二高度(H2)355表示透镜105离聚焦面304的高度；(iii)第一距离(Di)350表示图像距离；(iv)第二距离(Do)360表示物体距离；(v)第一角度(θ/2)330表示第一视场角；(vi)第二角度(θ/2)332表示第二视场角；(viii)第三角度(θ)334表示组合的视场角(将第一和第二角度330和332组合)；以及(ix)视场106包括前景深336和后景深338，其确定沿车辆移动方向的无限距离的清晰图像区域。在一实施例中，聚焦面304也平行于视场302的边缘平面。
同样根据图3的实施例，传感器104和透镜105相对于角度α(314)一起定位，从而获得最终的水平景深106，并且使得相机传感器104和透镜105的光学布局设计转移相机102聚焦在其上的物体平面以与车辆水平面对准，以在不减小光圈的情况下在相机102的前面以理论上无限的距离渲染清晰图像。在各个实施例中，这是基于如下所述的图3的参数的相互关系，即：
sin(α)＝Di/H1(方程1)(基于Scheimpflug原理)；
sin(α)＝f/H2(方程2)(基于Hinge规则)；
1/f＝1/DI+1/DO(方程3)(基于Gaussian光学方程)；
H1/(Di+Do)＝H2/Do(方程4)(基于聚焦面与主光照方向对准)；以及
θ＝2·tan-1(S′/2·f(方程5)(基于相机视角方程)。
同样在图3的实施例中，第三角度(θ)334(也称为竖直视角(AOV))通过根据相机视角方程(如上)确定图像尺寸来覆盖视角380附近(例如，在某些实施例中，图3的距离“L”370小于两米)。此外，同样在图3的实施例中，聚焦面304(或锐聚焦面)平行于第一平面302(也可以称为竖直AOV的顶部边缘，通过根据以上方程确定图像距离Di350获得，以便确保最大的竖直视角(AOV)。
参照图4，提供了根据示例性实施例的图1的车辆100的另一示例性相机102的示意图。除了在相机102(如图3所示)的前面以理论上无限的距离渲染清晰图像之外，图4所示的示例性相机还提供了显著增加的相机视场以处理道路地形变化。如图4所示，在各个实施例中，存在两个相机图像传感器104，即第一传感器104(1)和第二传感器104(2)。如图4所示，两个传感器104(1)和104(2)彼此对称放置，第一平面402在中心。在所描绘的实施例中，第一传感器104(1)限定了在第一平面402下方的相机视角，第二传感器104(2)限定了在第一平面402上方的相机视角。同样在所描绘的实施例中，两个传感器104(1)和104(2)与相同透镜(或透镜组件)105一起使用。
同样如图4所示，在所描绘的实施例中，第一传感器104(1)的第一图像平面410(1)和透镜平面412在相交点420(1)处彼此相交并且与第一聚焦面404(1)相交，并且相对于其形成角度α1 414(1)。类似地，第二传感器104(2)的第二图像平面410(2)和透镜平面412在相交点420(2)处彼此相交并且与第二聚焦面404(2)相交，并且相对于其形成角度α2 414(2)。在各个实施例中，角度α1 414(1)和α2 414(2)是介于零和四十五度之间的非零角度。
同样如图4所示，在各个实施例中，相对于第一传感器104(1)的第一聚焦面404(1)、平行于图像平面440(1)和前局部平面442(1)各自在图4的点422(1)处相交。类似地，同样在各个实施例中，相对于第二传感器104(2)的第二聚焦面404(2)、平行于图像平面440(2)和前局部平面442(2)各自在图4的点422(2)处相交。
同样如图4所示，在所描绘的实施例中，第一传感器104(1)与透镜105组合在车辆100的水平移动方向的下半部(包括第一前景深436(1))上并且在第一平面402和第一聚焦面(最锐聚焦面)404(1)之间针对第一景深106(1)(和聚焦面404(1))产生第一角度θ1 430(1)。类似地，也如图4所示，同样在所描绘的实施例中，第二传感器104(2)与透镜105组合在车辆100的移动方向的上半部(包括第二前景深436(2))并且在第一平面402和第二聚焦面(最锐聚焦面)404(2)之间针对第二景深106(2)(和聚焦面404(1))产生第二角度θ2 430(2)。在各个实施例中，角度θ1 430(1)和θ2 430(2)是各自在零和八十度之间的非零角度。
参照图5，提供了根据示例性实施例的图1的车辆100的另一示例性相机102的示意图。除了在相机102(如图3所示)的前面以理论上无限的距离渲染清晰图像之外，图5所示的示例性相机是提供显著增加的相机视场以处理道路地形变化的另一种方法。如图5所示，在各个实施例中，除了透镜105和两个传感器104(即第一传感器104(1)和第二传感器104(2))之外，还有镜子113，其设置成将两个图像传感器104(2)和104(1)分开。如图5所示，镜子113被添加为相对于透镜105具有四十五度角，以反射来自传感器104之一的视图。因此，传感器104(1)和104(2)彼此分开，从而消除角度θ1 530(1)和θ2 530(2)之间的间隙。
如图5所示，第一传感器104(1)的第一图像平面510(1)和透镜平面512在相交点520(1)处彼此相交并且与第一聚焦面504(1)相交，并且相对于其形成角度α1 514(1)。类似地，第二传感器104(2)的第二图像平面510(2)和透镜平面512在相交点520(2)处彼此相交并且与第二聚焦面504(2)相交，并且相对于其形成角度α2 514(2)。
同样如图5所示，第一聚焦面504(1)、第一传感器104(1)的平行于图像平面540(1)和前局部平面542在图5的点522(1)处相交。类似地，同样在各个实施例中，第二聚焦面504(2)、第二传感器104(2)的平行于图像平面540(2)和前局部平面542在图5的点522(2)处相交。
同样如图5所示，在所描绘的实施例中，第一传感器104(1)与透镜105组合在车辆100的水平移动方向的下半部(包括第一前景深536(1))上并且在第一平面502和第一聚焦面(最锐聚焦面)504(1)之间针对第一景深106(1)(和聚焦面504(1))产生第一角度θ1 530(1)。类似地，也如图5所示，同样在所描绘的实施例中，第二传感器104(2)与镜子113和透镜105组合在车辆100的移动方向的上半部(包括第二前景深536(2))并且在第一平面502和第二聚焦面(最锐聚焦面)504(2)之间针对第二景深106(2)(和聚焦面504(2))产生第二角度θ2 530(2)。在各个实施例中，角度θ1 530(1)和θ2 530(2)是各自在零和八十度之间的非零角度。
参照图6，提供了根据示例性实施例的图1的车辆100的另一示例性相机102的示意图。除了在相机102(如图3所示)的前面以理论上无限的距离渲染清晰图像之外，图6所示的示例性相机是提供显著增加的相机视场以处理道路地形变化的另一种方法。如图6所示，在各个实施例中，结合单个相机图像传感器104，利用两个透镜(或透镜组件)105，即第一透镜(或透镜组件)105(1)和第二透镜(或透镜组件)105(2)。在某些实施例中，第二透镜105(2)包括增加相机竖直AOV的广角透镜(或透镜组件)。另外，利用图像分离器601以避免两个透镜105(1)和105(2)之间的串扰或干扰。在各个实施例中，图像分离器601从第一透镜和第二透镜之间的传感器延伸。
如图6所示，图像平面610在交点620(1)处与第一透镜105(1)的第一透镜平面612(1)和第一聚焦面604(1)相交，并且相对于其形成角度α1 614。类似地，图像平面610在交点620(2)处与第二透镜105(2)的第二透镜平面612(2)和第二聚焦面604(2)相交，并且相对于其形成角度α2 614。
同样如图6所示，相对于第一透镜105(1)的第一聚焦面604(1)、平行于图像平面640和第一前局部平面642(1)各自在图6的点522(1)处相交。类似地，同样在各个实施例中，相对于第二透镜105(2)的第二聚焦面604(2)、平行于图像平面640和第二前局部平面642(2)各自在图6的点522(2)处相交。
同样如图6所示，在所描绘的实施例中，传感器104与第一透镜105(1)组合在车辆100的水平移动方向的下半部(包括前景深636和后景深638)并且在跟随如图6所示的近视点680的第一聚焦面(最锐聚焦面)604(1)上方针对第一景深106(1)(和聚焦面604(1))产生第一角度θ1 630(1)。类似地，也如图6所示，同样在所描绘的实施例中，传感器104与第二透镜105(2)组合在车辆100的水平移动方向的上半部(包括在第二聚焦面(最锐聚焦面)604(2)下方)上针对第二景深106(2)(和聚焦面604(2))产生第二角度θ2 630(2)。在各个实施例中，角度θ1 630(1)和θ2 630(2)是各自在零和八十度之间的非零角度。
图7-18是根据各个示例性实施例的图1-6的相机和图1的车辆的不同示例性车辆应用的示意图。
首先，参照图7，根据示例性实施例，提供一种用于周围视觉系统的第一车辆应用。在一实施例中，图7的车辆应用结合图1的车辆100的停车辅助功能使用。
如图7所示，在所描绘的实施例中，相机102布置成围绕车辆，包括安装在前侧102(1)、驾驶员侧102(2)、乘客侧102(3)和后侧102(4)上的相机。下面结合图8中的示例性实施方式在下文更详细地描述图7的应用。
具体地，参照图8，提供了根据示例性实施例的用于图7的周围视觉系统的相机102的配置。在图8的实施例中，提供了如以上结合图3所述的相同传感器104和透镜组件105，并且包括相同的角度α314。在一个这样的实施例中，将广角透镜(例如鱼眼透镜)用于透镜组件105。
在图8的实施例中，透镜平面成一定角度以与相机图像传感器平面相交并面向道路表面。由于此并且由于相机102相对于车辆100正在行驶的道路表面870的几何形状，提供了改善的深度以用于短距离成像。在一个描绘的实施例中，第一平面802代表视场的顶部边缘，第二平面804代表景深(后)838的底部边缘，其间具有竖直视角(AOV)830。如图8所示，最锐聚焦面850在第一和第二平面802、804之间，并且平行于第一平面802。
同样在图8的实施例中，并且与图3的配置相反，聚焦面(或最锐聚焦面)850不平行于道路表面870，且不平行于图像传感器平面104和透镜平面(105)，而是相对于道路表面870成一定角度。在各个实施例中，最锐聚焦面850与道路表面870之间形成的角度在零至八十度的范围内。同样在所描绘的实施例中，调节景深区域以确保在道路表面870上的距离“L”890(在一实施例中为至少五到十米的距离)在可接受的锐聚焦内。同样在所描绘的实施例中，该应用导致在道路表面870附近的较大锐聚焦区域，同时实现了相似的相机视角。关于图7和8，在某些实施例中，聚焦面倾斜以与图像平面和透镜平面相交，从而在道路表面附近产生较大锐聚焦区域。
接下来，关于图9，提供了根据示例性实施例的用于前视相机系统的第二车辆应用。在各个实施例中，图9的车辆应用结合图1的车辆100的一种或多种基于相机的主动安全技术(例如车道辅助、自适应巡航控制、前撞技术、自动紧急制动和前行人制动)使用。
如图9所示，在所描绘的实施例中，一个或多个相机102安装在车辆100的前部附近。在一实施例中，相机102安装在车辆100的前挡风玻璃之后。下面结合图10-12中的不同示例性实施方式在下文更详细地描述图9的应用。
具体地，参照图10，提供了根据示例性实施例的用于图9的前视相机系统的相机102的第一配置。在图10的实施例中，提供了如以上结合图3所述的相同传感器104和透镜105组件，并包括相同的角度α314。
在所描绘的实施例中，图3的实施例的整个相机102(包括传感器104和透镜105布局)成一定角度以提高处理道路地形变化的能力。具体地，在所描绘的实施例中，聚焦面1004平行于第一平面1002，并且第一平面1002与平行于道路表面1070的平面1071成角度β1001。在某些实施例中，用于角度β1001的最大值为二十度，使得即使道路表面1070中有斜坡1075，相机102也不会失去接收足够远的景深的能力。在所描绘的实施例中，相机102仍保持理论上无限的深度。另外，通过确定相机102光圈值，将道路表面1070覆盖在相机景深区域中。同样在各个实施例中，竖直视角(AOV)θ1030的值大于三十度；且角度β1001的值在五度到二十度之间。
接下来，参照图11，提供了根据示例性实施例的用于图9的前视相机系统的相机102的第二配置。在图11的实施例中，提供了如以上结合图4所述的相同传感器104和透镜105组件，包括使用具有单个透镜组件105的两个传感器104(1)和104(2)，并且包括相同的角度α1 414(1)和α2 414(2)。使用两个传感器创建两个聚焦面(1102和1104)。
在图11所描绘的实施例中，相机102安装成使得聚焦面1102和1104平行于道路表面1170和车辆移动方向。图11中的聚焦面方向提供了无限的景深，而将两个传感器与一个透镜组件一起使用提供了相机视场，其覆盖车辆移动方向上的整个道路表面1170，包括用于地形变化，比如道路表面1170的斜坡1170。在各个实施例中，组合的竖直视角(AOV)θ1130大于四十度，其中图11中所示的每个第一和第二分量视角θ1 1130(1)和θ2 1130(2)各自大于二十度。同样在所描绘的实施例中，该配置由此考虑到地形变化(例如包括在道路表面1170中的斜坡1175)，并且仍然提供了理论上无限的深度。在某些实施例中，相机的视角大于四十度。类似地，在图11的实施例中，两个传感器104(1)和104(2)可以用反射镜分开，如上面结合图5所述。
接下来，参照图12，提供了根据示例性实施例的用于图9的前视相机系统的相机102的第三配置。在图12的实施例中，提供了如以上结合图6所述的相同传感器104和透镜105组件，包括使用单个传感器104、两个透镜组件105(1)和105(2)以及图像分离器601，并且包括相同的角度α614。使用两个透镜组件产生两个聚焦面(1202和1204)。
在图12所示的实施例中，类似于以上结合图11的讨论，相机102安装成使得聚焦面1202和1204平行于道路表面1270，并提供理论上无限的景深和覆盖在车辆移动方向上的整个道路表面1270，包括用于地形变化(例如道路1270的斜坡1275)。在各个实施例中，组合的竖直视角(AOV)θ1230大于四十度，其中图12中所示的每个第一和第二分量视角θ1 1230(1)和θ2 1230(2)每个大于二十度。同样在所描绘的实施例中，该配置由此考虑到地形变化(例如包括在道路表面1270中的斜坡1275)，并且仍提供理论上无限的深度。
参照图13，提供了根据示例性实施例的用于后相机镜的通畅视野以帮助驾驶员的第三车辆应用。在一实施例中，图13的车辆应用结合图1的车辆100的后相机视觉功能一起使用。
如图13所示，在所描绘的实施例中，相机102定位在车辆100的后侧(例如在车辆100的后舱盖、后备箱或后车身板上或附近)。同样如图13所示，后相机镜1301安装在车辆100中，例如在车辆100的后视镜上。在各个实施例中，如在图10-12中阐述的相机配置可以用于图13的该应用。在各个实施例中，传感器104和透镜105配置为使得提供图11的角度β1001和/或双视角θ1 11301(1)和θ2 1130(2)和/或图12的视角θ1 12301(1)和θ2 1230(2)，以更好地改善客户体验，而不管道路地形如何变化，以通过后相机102上捕获的图像、提供图13的后相机镜1301上的显示提供车辆100后方环境的便利视图。
接下来，关于图14，提供了根据示例性实施例的用于自主驾驶的前视相机系统的第四车辆应用。如图14所示，在所描绘的实施例中，在车辆100的前部附近使用单个相机102。在一实施例中，相机102安装在车辆100的前挡风玻璃之后。下面结合图15-18中的不同示例性实施方式在下文更详细地描述图14的应用。
具体地，参照图15，提供了根据示例性实施例的用于图14的相机系统的相机102的第一配置。在图15的实施例中，利用了两个相机102。即第一相机102(1)和第二相机102(2)。
如图15所示，第一相机102(1)包括单个传感器104(1)和单个透镜组件105。在该实施例中，第一相机102(1)的传感器104(1)和透镜组件105配置为类似于图3的方式，具有相同的角度α314并且产生与图3相似的水平视场106(1)。同样如图15所示，第二相机102(2)包括常规相机，其中传感器104(2)和透镜105(2)彼此平行，从而产生竖直视场106(2)。在图15的实施例中，组合的视场106(1)和106(2)一起实现了足够长的深度，以使相机检测很远距离(例如在一实施例中远至两百米)的车辆和行人，并且还能够提供较大的竖直视角来处理道路地形变化并检测交通灯相位。同样在所描绘的实施例中，组合的竖直视角(来自分量1700(1)和1700(2))大于四十度，具有理论上的无限深度。
接下来，参照图16，提供了根据示例性实施例的用于图14的相机系统的相机102的第二配置。在图16的实施例中，利用了两个相机102，即第一相机102(1)和第二相机102(2)。
如图16所示，第一相机102(1)包括单个传感器104(1)和单个透镜105。在该实施例中，第一相机102(1)的传感器104(1)和透镜组件105配置为类似于图3的方式，具有相同的角度α314，并且产生与图3类似的水平视场106(1)。同样如图16所示，第二相机102(1)的传感器104(1)和透镜组件105也以与图3类似的方式配置，具有相同的角度α314，并且产生类似于图3的水平景深106(1)，第二相机102(2)也是如此。在图16的实施例中，组合的视场106(1)和106(2)一起也实现足够长的视场深度，以检测很远距离的车辆和行人(例如在一实施例中远至200米)，并且还能够提供较大的竖直视角以处理道路地形变化并检测交通灯相位。
接下来，参照图17，提供了根据示例性实施例的用于图14的相机系统的相机102的第三配置。在图17的实施例中，利用单个相机102。
如图17所示，相机102包括两个传感器104(1)和104(2)以及单个透镜105。在该实施例中，相机102的传感器104(1)、104(2)和透镜105配置为类似于图4的方式，具有相同的角度α1 314(1)和α2 314(2)，并产生类似于图3的水平景深106(1)和106(2)。在图17的实施例中，组合的视场106(1)和106(2)一起提供显著增加的视场，以处理道路密度变化并检测交通灯相位。在所示的实施例中，组合的竖直视角大于四十度(来自组合分量θ1 1700(1)和θ2 1700(2)，其中每个大于二十度)，例如以便处理道路地形变化，并且相机102还提供了理论上的无限深度。同样在各个实施例中，相机102倾斜以在聚焦面和道路表面之间形成零至二十度之间的角度以处理道路地形变化。类似地，在图17的实施例中，两个传感器104(1)和104(2)可以用反射镜分开，如上面结合图5所述。
最后，参照图18，提供了根据示例性实施例的用于图14的相机系统的相机102的第四配置。在图18的实施例中，利用单个相机102。
如图18所示，相机102包括单个传感器104和两个透镜105(1)和105(2)以及图像分离器106。在各个实施例中，图像分离器106从第一透镜和第二透镜之间的传感器延伸。在该实施例中，相机102的传感器104、透镜105(1)和105(2)以及图像分离器106以与图6类似的方式配置，具有相同的角度α614，并且产生与图6类似的水平景深106(1)和106(2)。在图18的实施例中，组合的视场106(1)和106(2)一起提供了显著增加的视场，以处理道路密度变化并检测交通灯相位。在所描绘的实施例中，组合的竖直视角大于四十度(来自组合分量θ11800(1)和θ2 1800(2)，其中每个大于二十度)，例如以便处理道路地形变化，并且相机102还提供了理论上的无限深度。同样在各个实施例中，相机102倾斜以在聚焦面和道路表面之间形成零至二十度之间的角度以处理道路地形变化。
因此，所公开的方法、系统和车辆为车辆的相机提供了改进的视场和景深。在各个实施例中，景深(和聚焦面)平行于车辆的水平移动方向对准，从而在车辆沿着道路行进时为相机图像提供更大的清晰度景深。在各个实施例中，提供了两个图像传感器、两个透镜组件或两个相机以显著增加视场来处理道路间的地形变化。同样在各个实施例中，提供了多个示例性实施例来实现这些特征，包括具有变化数量和定位的相机的传感器、透镜、透镜组件、镜子和/或图像分离器。另外，在各个实施例中，还提供了许多不同的车辆应用和实施方式，利用了用于车辆的单个相机以及不同类型的多个相机的不同实施例。
应当理解，系统、车辆、应用和实施方式可以与图中所示和本文所描述的那些不同。例如，在各个实施例中，图1的车辆100、相机102、控制系统120和/或其他系统130可以变化。另外，同样在各个实施例中，除了其他可能的变化之外，图2-18的各个实施例、车辆应用和配置也可以在不同实施例中变化。
尽管在前面的详细描述中已经提出了至少一个示例性实施例，但应当理解，存在大量的变型。还应当理解，一个或多个示例性实施例仅是示例，并且无意以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实现一个或多个示例性实施例的便利路线图。应当理解，在不脱离如所附权利要求及其合法等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (10)

1.一种配置为用于安装在移动平台中的相机，该相机包括：
一个或多个图像传感器；以及
一个或多个透镜组件，其相对于所述一个或多个图像传感器配置，使来自所述一个或多个图像传感器的至少一个图像平面倾斜，以与来自所述一个或多个透镜组件的至少一个等效透镜平面形成非零角度，将图像传感器聚焦面转换为与其中安装相机的移动平台的移动方向平行，从而为图像传感器提供理论上无限的景深。
2.根据权利要求1所述的相机，其中：
所述相机包括一个或多个聚焦面；并且
至少一个聚焦面相对于所述图像平面成非零角度。
3.根据权利要求2所述的相机，其中，所述聚焦面在单个点处与所述图像平面和透镜平面都相交。
4.根据权利要求2所述的相机，其中，所述聚焦面对准成平行于所述移动平台的水平移动方向。
5.根据权利要求2所述的相机，其中，所述聚焦面平行于视场的边缘平面。
6.根据权利要求2所述的相机，其中，所述聚焦面在车辆的水平移动方向上从车辆水平地延伸理论上无限的距离。
7.根据权利要求1所述的相机，其中：
所述一个或多个图像传感器包括单个图像传感器；并且
所述一个或多个透镜组件包括单个透镜组件。
8.根据权利要求1所述的相机，其中：
所述一个或多个图像传感器包括：
具有第一图像平面的第一图像传感器；以及
具有第二图像平面的第二图像传感器；
所述一个或多个透镜组件包括单个透镜组件；
所述透镜平面与所述第一图像平面和第二图像平面都形成非零角度；并且
与使用单个图像传感器相比，使用多个图像传感器即所述第一和第二图像传感器增加了相机视角。
9.根据权利要求1所述的相机，其中：
所述一个或多个图像传感器包括单个图像传感器；
所述一个或多个透镜组件包括：
具有第一透镜平面的第一透镜组件；以及
具有第二透镜平面的第二透镜组件；
所述第一透镜平面和第二透镜平面中的每个与所述图像平面形成非零角度；并且
与使用单个透镜组件相比，使用多个透镜组件即所述第一和第二透镜组件增加了相机视角。
10.一种移动平台，包括：
主体；以及
设置在所述主体上的相机，所述相机包括：
一个或多个图像传感器；以及
一个或多个透镜组件，其相对于所述一个或多个图像传感器配置，使来自所述一个或多个图像传感器的至少一个图像平面倾斜，以与来自所述一个或多个透镜组件的至少一个等效透镜平面形成非零角度，从而产生平行于其中安装相机的移动平台的水平移动方向对准的视场。
CN202011441680.2A 2019-12-12 2020-12-08 相机视觉系统 Active CN112995454B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/711,760 US10965856B1 (en) 2019-12-12 2019-12-12 Camera vision systems
US16/711,760 2019-12-12
US16/737,057 US10965857B1 (en) 2019-12-12 2020-01-08 Camera vision systems
US16/737,057 2020-01-08

Publications (2)

Publication Number Publication Date
CN112995454A true CN112995454A (zh) 2021-06-18
CN112995454B CN112995454B (zh) 2023-03-31

Family

ID=75164610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011441680.2A Active CN112995454B (zh) 2019-12-12 2020-12-08 相机视觉系统

Country Status (3)

Country Link
US (2) US10965856B1 (zh)
CN (1) CN112995454B (zh)
DE (1) DE102020130497B4 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023051486A1 (zh) * 2021-09-28 2023-04-06 上海凯姆视觉科技有限公司 一种车载摄像系统
WO2024001667A1 (zh) * 2022-06-26 2024-01-04 上海凯姆视觉科技有限公司 一种用于非正向拍摄的摄像系统及摄像系统设置方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114633692B (zh) * 2022-03-14 2023-10-03 深圳市艾为智能有限公司 一种偏心镜头在cms系统中的应用方法
US11874539B1 (en) * 2022-07-13 2024-01-16 GM Global Technology Operations LLC Perception camera with road surface glare reduction

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060221179A1 (en) * 2004-04-12 2006-10-05 Stereo Display, Inc. Three-dimensional camcorder
CN103969922A (zh) * 2014-01-24 2014-08-06 日东电子科技(深圳)有限公司 相机斜照方法及斜照相机
US20160280397A1 (en) * 2015-03-27 2016-09-29 Konica Minolta Laboratory U.S.A., Inc. Method and system to avoid plant shadows for vegetation and soil imaging
CN107272164A (zh) * 2016-03-30 2017-10-20 德尔福技术有限公司 用于在车辆上使用的多用途相机装置
CN208754389U (zh) * 2018-05-25 2019-04-16 上海翌视信息技术有限公司 一种具有偏置构成的相机
CN109936691A (zh) * 2017-12-15 2019-06-25 康耐视公司 双成像视觉系统相机、瞄准仪及其使用方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10638030B1 (en) * 2017-01-31 2020-04-28 Southern Methodist University Angular focus stacking
WO2018169977A1 (en) * 2017-03-14 2018-09-20 Trimble Inc. Integrated vision-based and inertial sensor systems for use in vehicle navigation
US10191155B2 (en) * 2017-03-29 2019-01-29 Luminar Technologies, Inc. Optical resolution in front of a vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060221179A1 (en) * 2004-04-12 2006-10-05 Stereo Display, Inc. Three-dimensional camcorder
CN103969922A (zh) * 2014-01-24 2014-08-06 日东电子科技(深圳)有限公司 相机斜照方法及斜照相机
US20160280397A1 (en) * 2015-03-27 2016-09-29 Konica Minolta Laboratory U.S.A., Inc. Method and system to avoid plant shadows for vegetation and soil imaging
CN107272164A (zh) * 2016-03-30 2017-10-20 德尔福技术有限公司 用于在车辆上使用的多用途相机装置
CN109936691A (zh) * 2017-12-15 2019-06-25 康耐视公司 双成像视觉系统相机、瞄准仪及其使用方法
CN208754389U (zh) * 2018-05-25 2019-04-16 上海翌视信息技术有限公司 一种具有偏置构成的相机
CN110536048A (zh) * 2018-05-25 2019-12-03 上海翌视信息技术有限公司 一种具有偏置构成的相机

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023051486A1 (zh) * 2021-09-28 2023-04-06 上海凯姆视觉科技有限公司 一种车载摄像系统
WO2024001667A1 (zh) * 2022-06-26 2024-01-04 上海凯姆视觉科技有限公司 一种用于非正向拍摄的摄像系统及摄像系统设置方法

Also Published As

Publication number Publication date
DE102020130497B4 (de) 2022-11-03
US10965856B1 (en) 2021-03-30
US10965857B1 (en) 2021-03-30
CN112995454B (zh) 2023-03-31
DE102020130497A1 (de) 2021-06-17

Similar Documents

Publication Publication Date Title
CN112995454B (zh) 相机视觉系统
US11763781B2 (en) Information display apparatus
US11703326B2 (en) Stereo camera apparatus, vehicle, and parallax calculation method
US10556540B2 (en) Vehicle surroundings monitoring apparatus
US11679720B2 (en) Head up side view mirror
US10893214B2 (en) Camera monitoring system, image processing device, vehicle and image processing method
US20130342658A1 (en) Camera system for a motor vehicle
US20210302727A1 (en) Vehicle display device
US10051242B2 (en) Visual positioning with direction orientation navigation system
CN112987028B (zh) 激光雷达视觉系统
US20140111644A1 (en) Vehicle assembly with display and corrective lens
WO2017195693A1 (ja) 画像表示装置
CN115136184A (zh) 图像处理装置、显示系统、图像处理方法和记录介质
CN117518126A (zh) 一种遮光罩、探测装置和车辆
WO2020016496A1 (fr) Vehicule automobile equipe d'un dispositif d'avertissement visuel de danger
Jain et al. Automotive Electronics-A Boon for Safety

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant