CN117412179A - 用于提供车辆及其周围环境的合成图像的系统和方法 - Google Patents

用于提供车辆及其周围环境的合成图像的系统和方法 Download PDF

Info

Publication number
CN117412179A
CN117412179A CN202310876255.3A CN202310876255A CN117412179A CN 117412179 A CN117412179 A CN 117412179A CN 202310876255 A CN202310876255 A CN 202310876255A CN 117412179 A CN117412179 A CN 117412179A
Authority
CN
China
Prior art keywords
interest
region
roi
captured image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310876255.3A
Other languages
English (en)
Inventor
A·戈麦斯·贡萨洛
I·阿古斯蒂·文图拉
R·布克·富泰姆
P·冈萨雷斯·马丁内兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ficosa Adas SL
Original Assignee
Ficosa Adas SL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ficosa Adas SL filed Critical Ficosa Adas SL
Publication of CN117412179A publication Critical patent/CN117412179A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及用于提供车辆及其周围环境的合成图像的系统和方法。系统包括：多个摄像头(1、2、3、4)，其中，第一摄像头(1)被配置为获取第一拍摄图像，第二摄像头(2)被配置为获取第二拍摄图像，第一拍摄图像和第二拍摄图像至少部分地交叠；至少一个控制器(5、11、12、13、14)，其被配置为接收并组合至少第一拍摄图像和第二拍摄图像，以提供合成图像；系统被配置为：限定第一拍摄图像内的第一关注区域(ROI‑1)和第二拍摄图像内的第二关注区域(ROI‑2)；以及对至少第一关注区域(ROI‑1)和第二关注区域(ROI‑2)的亮度和/或颜色进行检测，以在至少第一拍摄图像和第二拍摄图像被组合之前调整至少第一拍摄图像和第二拍摄图像的亮度和/或颜色。

Description

用于提供车辆及其周围环境的合成图像的系统和方法
技术领域
本发明涉及用于提供车辆的合成图像的系统和方法，合成图像是指通过组合车辆及其周围环境的多个不同图像(诸如俯瞰图)而获得的图像，所述系统和方法允许对形成合成图像的获取图像的亮度和/或颜色进行调整。
背景技术
现代车辆通常包括用于ADAS(高级驾驶员辅助系统)应用的摄像头模块和成像系统。ADAS主要关注碰撞避免技术(例如，车道偏离警告和盲点应用)和驾驶员辅助(诸如夜视、驾驶员警觉性和自适应巡航控制)。
ADAS领域内的应用之一是俯瞰图(也称为周围环境视图)。也就是说，使用了多个摄像头模块，其中存在至少两个摄像头，车辆的每一侧上具有一个摄像头，最优选地，第三后方摄像头，并且优选地，第四前方摄像头：一个摄像头在左方(例如，在左后视镜或小翼上)，一个摄像头在前方，一个摄像头在右方(例如，在右后视镜或小翼上)，并且一个摄像头在后方。
在某些预设情况下，例如，当用户将车辆置于倒档时，他/她想要激活并在屏幕上自动显示俯瞰图(周围环境视图)系统。也就是说，控制器被配置为激活多个摄像头模块并拍摄图像。摄像头中的每个摄像头可以被配置为将其图像(例如，帧速率为至少15帧每秒(fps)的视频)发送至控制器，所述控制器进一步被配置为例如通过“单应性矩阵”对称为“俯瞰图”的图像进行处理(将待查看的图像从顶部变换到底部)。
另外，控制器被配置为进行“拼接”，即，拼接、组合或接合多个图像，具体地，将四个图像接合在一起。因此，当驾驶员或用户将车辆置于倒档时，屏幕几乎瞬时地显示以鸟瞰图从顶部到底部示出车辆及其周围环境的图像或视频。显然，车顶以及通常是车辆的上表面没有被任何摄像头拍摄到，并且仅仅是存储在控制器中的图像。
“单应性矩阵”被限定为进行图像变换的方式。也就是说，“单应性”(也称为平面单应性)是在两个平面之间发生的变换。换句话说，它是图像的两个平面投影之间的映射。它可以由齐次坐标空间中的3×3变换矩阵表示。
提供俯瞰图的当前系统的一个问题是每个摄像头模块接收不同的光水平，并且当拼接(即，组合或接合四个图像)时，会获得具有不同光度的单个俯瞰图图像。
所捕获的不同光水平主要是由于车辆外部的环境因素(例如，光源(例如，太阳)的方向)以及每个摄像头的集成因素(integration factor)造成的。
例如，如果车辆面向太阳，则前方摄像头可以捕获更多的光，而后方摄像头可能比前方摄像头接收少得多的光。
针对每个摄像头在车辆中的集成因素，存在在车辆底盘更外部或更内部的摄像头，使得通常或多或少地，所拍摄的图像的一部分对应于车辆底盘，或摄像头从底盘接收的反射。如今，不同的车型可以具有不同的摄像头集成。也就是说，摄像头可以基于车型在不同的位置和/或地方安装在车辆上。例如，前方摄像头在第一车型中可以布置在一个预定位置和/或地方处，而相同或非常类似的前方摄像头在第二车型中可以布置在第二不同位置和/或地方处。例如，针对第二车型的前方摄像头可以以相比于第一车型上的摄像头更远离车辆的方式安装，因此，两个拍摄图像可能基本上不同，即使这些前方摄像头都是具有基本相同或相似特性的前方摄像头。
针对尝试解决环境因素而言，例如，US20160368417A1公开了具有多个摄像头的俯瞰图系统，其中每个摄像头具有图像信号处理器，该图像信号处理器包括选择拍摄图像的关注区域并且检查该关注区域的亮度和颜色的几何和颜色处理单元。处理器还通过例如自动曝光(亮度)和/或自动白平衡(颜色)来调整亮度和颜色。
在汽车行业的批量生产中，实施该系统是复杂的，因为它在车辆工作时不断动态地调整图像的亮度和颜色。换句话说，US20160368417A1中公开的关注区域是动态的，因为它根据光水平而在拍摄图像内移动。
此外，当前系统的问题是摄像头中的每个摄像头具有相同的图像算法，例如，自动曝光和自动白平衡。然而，摄像头中的每个摄像头的集成和位置是不同的，因此，摄像头中的每个摄像头可能具有对环境光的不同曝光，即，每个摄像头可能接收更多或更少的光，并且这是一个问题，尤其是当组合具有不同亮度水平的单个图像时。
发明内容
因此，本发明的目的是提供一种系统和方法，其提供改进的图像亮度/颜色调整，以实现车辆的具有协调且恒定的亮度和/或颜色的合成图像(诸如俯瞰图或周围环境视图)。
利用本发明的系统和方法，解决了所述缺点，呈现了以下将描述的其它优点。
在说明书中描述了根据本发明的系统和方法。说明书还包括另外的可选特征。
具体地，根据本发明的第一方面，一种用于提供车辆及其周围环境的合成图像的系统包括：
-多个摄像头，每个摄像头可以获得车辆的周围环境的拍摄图像，其中，第一摄像头可以被配置为获取第一拍摄图像，并且第二摄像头可以被配置为获取第二拍摄图像，第一拍摄图像和第二拍摄图像至少部分地交叠；
-至少一个控制器，所述至少一个控制器可以被配置为接收并组合至少第一拍摄图像和第二拍摄图像，以提供合成图像；其中，所述系统并且优选地是所述至少一个控制器可以被配置为限定第一拍摄图像内的第一关注区域和第二拍摄图像内的第二关注区域；并且
所述系统并且优选地是所述至少一个控制器还可以被配置为对至少第一关注区域和第二关注区域的亮度和/或颜色进行检测，以使所述系统(即，所述至少一个控制器)在至少第一拍摄图像和第二拍摄图像被组合之前对至少第一拍摄图像和第二拍摄图像的亮度和/或颜色进行调整。
优选地，第一关注区域在大小和/或位置方面可以不同于第二关注区域。
优选地，可以在车辆不工作时，优选地，通过所述至少一个控制器预定义第一关注区域和第二关注区域的大小、形状和位置，也就是说，第一关注区域和第二关注区域可以在车辆的非工作状态(离线)被确定和加载(即，保存)。
更优选地，所述至少一个控制器可以包括合成图像处理器，该合成图像处理器布置在摄像头之外并且电连接至摄像头，使得在使用中，包括图像数据的数据可以从所述合成图像处理器发送至摄像头，反之亦然。此外，所述至少一个控制器还可以包括每个摄像头内部的控制单元(即，所述控制单元不同于合成图像处理器)。
甚至更优选地，合成图像处理器与摄像头之间的电连接是通过通信接口完成的，通信接口是CAN总线、LIN总线、以太网、光纤通信、无线、LVDS或同轴接口。
更优选地，在使用中，可以在车辆的装配线期间(包括车辆的比最终装配线早的任何制造/装配过程)(即，在车辆工作之前)，在大小和/或位置方面对第一关注区域和第二关注区域进行预定义。也就是说，在车辆的最终装配的任何阶段或之前，可以确定至少第一关注区域和第二关注区域的大小、几何和/或位置，并且随后将其保存(即，加载/出示)在合成图像处理器上。
另选地，可以在布置在第一摄像头中的控制单元上保存(即，加载/出示)至少第一关注区域的大小、几何和/或位置，并且可以在布置在第二摄像头中的控制单元上保存(即，加载/出示)第二关注区域。换句话说，可以确定至少第一关注区域和第二关注区域的大小、几何和/或位置，并且随后将其保存(即，加载/出示)在合成图像处理器上或分别布置在第一摄像头和第二摄像头中的控制单元上。
优选地，在使用中，在车辆工作(在线)期间，第一关注区域和第二关注区域的大小和/或位置是不变的。也就是说，如果车辆处于工作状态，则至少第一关注区域和第二关注区域的大小和/或位置可以是不可改变的。在本公开的含义内，车辆的工作可以理解为车辆处于开启状态(例如，车辆的点火或马达的启动已经被接通)的状态。
优选地，每个关注区域可以是由坐标限定的，这些坐标在由所述至少一个控制器限定之后是固定的(在拍摄图像内不可移动)。更优选地，如所解释的，所述至少一个控制器是车辆内的布置在摄像头之外的合成图像处理器。也就是说，如果车辆处于工作状态(在线)，则至少第一关注区域和第二关注区域分别可以不在第一拍摄图像和第二拍摄图像内移动。在根据亮度和/或颜色的协调合成图像与计算资源(即，由所述至少一个控制器执行的计算操作的数量)之间实现了良好平衡。更优选地，在使用中，可以在车辆的装配线期间(包括车辆的比最终装配线早的任何制造/装配过程)(离线)，在大小和/或位置方面对第一关注区域和第二关注区域进行预定义(例如，确定和保存)。
优选地，至少70％的第一关注区域和至少70％的第二关注区域可以包括车辆的周围环境。也就是说，至少70％的第一关注区域可以包括车辆的外部区域(即，周围环境)。此外，至少70％的第二关注区域可以包括车辆的外部区域(即，周围环境)。
优选地，小于30％的第一关注区域包括车辆的一部分。也就是说，第一关注区域不包括车辆的一部分的多于30％。更优选地，小于30％的第二关注区域可以包括车辆的一部分。也就是说，第二图像区域不包括车辆的一部分的多于30％。甚至更优选地，本发明的多个摄像头的任何关注区域的少于30％包括车辆的一部分。也就是说，本发明的多个摄像头中没有关注区域可以包括车辆的一部分的多于30％。
更优选地，第一关注区域可以基本上仅包括车辆的周围环境(即，没有车辆的部分)。在本公开的含义内，基本上仅包括车辆的周围环境可以理解为包括关注区域中的车辆的一部分的小于20％，更优选地，小于10％。应注意，大多数现有技术公开了四个关注区域(每个摄像头针对一个关注区域)，每个关注区域基本上位于相应拍摄图像的中心，其中，每个关注区域的大约40％-60％对应于车辆的一部分(即，与确定/检测亮度和/或颜色的水平不相关)。
优选地，第一关注区域的大小可以介于第一拍摄图像的25％至80％之间。更优选地，第一关注区域的大小可以介于第一拍摄图像的30％至60％之间。甚至更优选地，第一关注区域的大小可以介于第一拍摄图像的35％至55％之间。类似地，第二关注区域的大小可以介于第二拍摄图像的25％至80％之间。更优选地，第二关注区域的大小可以介于第二拍摄图像的30％至60％之间。甚至更优选地，第二关注区域的大小可以介于第二拍摄图像的35％至55％之间。此外，本发明的多个摄像头的任何关注区域的大小可以介于第一拍摄图像的25％至80％之间、更优选地介于30％至60％之间、并且甚至更优选地介于35％至55％之间。已经发现，当关注区域小于拍摄图像的20％时，亮度和/或颜色检测的准确度低。
用于提供车辆的合成图像的系统可以优选地是用于提供车辆及其周围环境的俯瞰图的系统。所述系统还可以包括被配置为获取第三拍摄图像的第三摄像头以及被配置为获取第四拍摄图像的第四摄像头。也就是说，用于提供车辆及其周围环境的俯瞰图的系统可以包括四个摄像头(左方摄像头、前方摄像头、右方摄像头和后方摄像头)。
拍摄图像可以至少部分地彼此交叠。仅作为示例，第一拍摄图像和第二拍摄图像可以至少部分地彼此交叠。此外，第二拍摄图像和第三拍摄图像可以至少部分地彼此交叠。另外，第三拍摄图像和第四拍摄图像可以至少部分地彼此交叠，并且第四拍摄图像和第一拍摄图像可以至少部分地彼此交叠。
优选地，第二关注区域的几何中心与(例如，与前方摄像头相关联的)第二拍摄图像的下边缘之间的距离小于第四关注区域的几何中心与(例如，与后方摄像头相关联的)第四拍摄图像的下边缘之间的距离。也就是说，相比于与后方摄像头相关联的关注区域靠近后方摄像头的拍摄图像的底部，与前方摄像头相关联的关注区域更靠近前方摄像头的拍摄图像的相应底部。
优选地，第二关注区域的几何中心与(例如，与前方摄像头相关联的)第二拍摄图像的上边缘之间的距离可以是第四关注区域的几何中心与(例如，与后方摄像头相关联的)第四拍摄图像的上边缘之间的距离的至少1.2倍。更优选地，1.3倍，并且甚至更优选地，1.5倍。
应当指出，左方摄像头的ROI优选地不居中，而是向左移位。更优选地，相比于左方摄像头的ROI，右方摄像头的ROI被略微放置到右侧。
优选地，所述至少一个控制器包括合成图像处理器和针对每个摄像头的控制单元。如上所述，合成图像处理器在车辆中布置在多个摄像头之外并且电连接至摄像头，使得在使用中，数据(即，包括图像数据)可以从所述合成图像处理器发送至摄像头，反之亦然。所述控制单元中的每一者与合成图像处理器不同。
更优选地，摄像头的控制单元继而可以包括图像信号处理器或ISP。甚至更优选地，合成图像处理器与控制单元之间的电连接是通过通信接口完成的，通信接口是CAN总线、LIN总线、以太网、光纤通信、无线接口、LVDS或同轴。优选地，合成图像处理器可以被配置为接收和组合至少第一拍摄图像和第二拍摄图像，以提供合成图像。
此外，所述合成图像处理器还可以被配置为限定第一拍摄图像内的第一关注区域和第二拍摄图像内的第二关注区域。更优选地，所述合成图像处理器可以被配置为限定第一拍摄图像、第二拍摄图像、第三拍摄图像和第四拍摄图像内的相应第一关注区域、第二关注区域、第三关注区域和第四关注区域。
第一摄像头的控制单元可以优选地在至少第一关注区域被组合之前对至少第一关注区域的亮度和/或颜色进行检测。此外，第二摄像头的控制单元可以优选地在至少第二关注区域被组合之前对至少第二关注区域的亮度和/或颜色进行检测。更优选地，第三摄像头的控制单元可以优选地在至少第三关注区域被组合之前对至少第三关注区域的亮度和/或颜色进行检测；并且第四摄像头的控制单元可以优选地在至少第四关注区域被组合之前对至少第四关注区域的亮度和/或颜色进行检测。
优选地，至少第一关注区域的亮度和/或颜色可以在至少第一关注区域被组合之前被调整。例如，基于在车辆的装配线之前或期间与每个摄像头相关联的合成图像处理器上输入的保存的ROI和离线限定的初始参数，合成图像处理器将它们发送至摄像头，使得其自身自动配置。
此外，第二摄像头的控制单元可以优选地在至少第二关注区域被组合之前对至少第二关注区域的亮度和/或颜色进行调整。更优选地，第三摄像头的控制单元可以优选地在至少第三关注区域被组合之前对至少第三关注区域的亮度和/或颜色进行调整；并且第四摄像头的控制单元可以优选地在至少第四关注区域被组合之前对至少第四关注区域的亮度和/或颜色进行调整。
得益于这些特征，由于个体图像的亮度和/或颜色凭借调整步骤而是基本相同的，所以俯瞰图具有一致的外观。
有利地，所述至少一个控制器还限定针对每个摄像头的关注区域，每个关注区域基本上仅包括车辆的周围环境。这意味着关注区域不包括车辆的底盘的任何部分或仅包括一小部分(其是影响图像的亮度和/或颜色的不期望光效果的来源)，还防止了具有相同摄像头集成但具有不同颜色的底盘的车辆之间的差异。
因此，考虑到俯瞰图是连续生成的、创建视频而不是静态视图，调整图像的亮度和/或颜色需要减少的处理时间。
优选地，针对每个摄像头和每个车辆，通常在车辆工厂或之前，对关注区域的限定仅进行一次。
根据第二方面，本发明还涉及一种用于提供车辆的合成图像(即，车辆及其周围环境的俯瞰图)的方法，所述方法包括以下步骤：
-确定至少第一拍摄图像内的第一关注区域和第二拍摄图像内的第二关注区域的大小和位置；
-将至少第一关注区域和第二关注区域保存在所述至少一个控制器上，优选地，保存在合成图像处理器上，更优选地，该步骤在车辆不工作时(车辆的关闭状态)执行，例如，在装配车辆线之前或期间(离线)；
-优选地，在车辆工作(在线)期间，获得多个摄像头中的每个摄像头的图像，其中，第一摄像头可以获取第一拍摄图像，并且第二摄像头可以获取第二拍摄图像，第一拍摄图像和第二拍摄图像至少部分地交叠；
-优选地，在车辆工作(在线)期间，优选地通过第一摄像头和第二摄像头的控制单元确定至少第一关注区域和第二关注区域的亮度和/或颜色；
-优选地，在车辆工作(在线)期间，优选地通过第一摄像头和第二摄像头的控制单元调整至少第一拍摄图像和第二拍摄图像的亮度和/或颜色；以及
-优选地，在车辆工作(在线)期间，优选地通过布置在摄像头之外的合成图像处理器组合来自多个摄像头(1、2、3、4)的图像，以形成车辆的合成图像。
根据本发明的方法还优选地包括以下步骤：确定关于多个摄像头中的每个摄像头的关注区域，每个关注区域基本上仅包括车辆的周围环境。
优选地，关注区域仅由坐标限定一次，这些坐标在其限定之后是固定的。
此外，仅针对每个图像的关注区域调整由多个摄像头获得的图像中的每个图像的亮度和/或颜色。
根据优选实施方式，通过AEC(自动曝光控制)/AGC(自动增益控制)调整亮度，并且通过AWB(自动白平衡)调整颜色。
附图说明
为了更好地理解已经公开的内容，示出了一些附图，其中仅作为非限制性示例示意性地描述了实施方式的实际情况。
图1是形成根据本发明的系统的一部分的元件的框图；
图2a至图2d分别示出了由根据现有技术的用于提供车辆及其周围环境的俯瞰图的系统获得的左视图、前视图、右视图和后视图；以及
图3a至图3d分别示出了由根据本发明的系统获得的左视图、前视图、右视图和后视图。
具体实施方式
根据本发明的系统在图1中示出为框图，并且它包括多个摄像头。
根据该实施方式，摄像头是四个，对于俯瞰图：左方摄像头(1)、前方摄像头(2)、右方摄像头(3)和后方摄像头(4)。每个摄像头(1、2、3、4)获得车辆的周围环境的图像。然而，可以根据合成图像的要求来改变摄像头的数量。
每个摄像头(1、2、3、4)获得车辆的周围环境的拍摄图像，并且至少一些拍摄图像至少部分地交叠。
根据本发明的系统还包括至少一个控制器，该至少一个控制器被配置为接收和组合拍摄图像中的至少一些拍摄图像，以提供在放置在车辆内部的屏幕(6)上示出的合成图像。
必须指出的是，所述至少一个控制器优选地包括多个控制器(两个或更多个控制器)，具体地，在图1所示的实施方式中，所述至少一个控制器包括周围环境视图系统的中央控制器(5)(通常称为俯瞰图系统的电子控制单元(ECU))以及针对摄像头中的每个摄像头的可以包括图像信号处理器(ISP)的控制器(在附图中以附图标记11、12、13、14示出)。
在由摄像头(1、2、3、4)获得的图像中的每个图像中，优选地在车辆工厂处或之前(离线)为每个车辆选择关注区域(ROI-1、ROI-2、ROI-3、ROI-4)。这些ROI是用于检测亮度和/或颜色并且在由合成图像处理器(5)组合以提供俯瞰图之前对至少第一拍摄图像、第二拍摄图像、第三拍摄图像和第四拍摄图像的亮度和/或颜色进行调整的拍摄图像的部分。
如所解释的，系统对关注区域(ROI-1、ROI-2、ROI-3、ROI-4)的亮度和/或颜色进行检测，以在拍摄图像被组合之前调整拍摄图像的亮度和/或颜色。具体地，第一控制单元被配置为对第一关注区域(ROI-1)的亮度和/或颜色进行检测，使得在使用中，第一拍摄图像的亮度和/或颜色在例如由合成图像处理器组合该第一拍摄图像之前被调整。此外，第二控制单元被配置为对第二关注区域(ROI-2)的亮度和/或颜色进行检测，使得在使用中，第二拍摄图像的亮度和/或颜色在例如由合成图像处理器组合该第二拍摄图像之前被调整。此外，第三控制单元被配置为对第三关注区域(ROI-3)的亮度和/或颜色进行检测，使得在使用中，第三拍摄图像的亮度和/或颜色在例如由合成图像处理器组合该第三拍摄图像之前被调整。此外，第四控制单元被配置为对第四关注区域(ROI-4)的亮度和/或颜色进行检测，使得在使用中，第四拍摄图像的亮度和/或颜色在例如由合成图像处理器组合该第四拍摄图像之前被调整。
必须指出的是，根据本发明的系统由车辆的用户或驾驶员手动地(例如，通过按钮等)激活或当驾驶员将车辆置于倒档时自动地激活。
在图2a至图2d中分别示出了由根据现有技术的车辆的系统获得的左视图、前视图、右视图和后视图。
在这些图中，ROI包括由摄像头(1、2、3、4)拍摄的底盘区域(C)。
如根据现有技术的这些图2a至图2d所示，ROI还包括车辆的底盘(C)的主要部分，这些ROI受环境条件(诸如影响车辆的屏幕(6)中所示的俯瞰图的亮度和颜色)的影响。通常，如在图2a至图2d中可见的，现有技术公开了四个关注区域(每个摄像头一个关注区域)，每个关注区域基本上布置在相应拍摄图像的中心，其中，至少前拍摄图像和后拍摄图像的关注区域的大约40％-60％对应于车辆的一部分(例如，车辆的底盘或任何外表面)。如所解释的，不幸的是，这导致具有不同颜色和/或亮度的合成图像(例如，单个俯瞰图图像)。
根据本发明，并且如图3a至图3d所示，所选择的ROI基本上仅包括车辆的周围环境，即，它们包括底盘(C)的一小部分，或者不包括底盘(C)的任何部分，如下文更详细地描述的。
具体地，关注区域(ROI-1、ROI-2、ROI-3、ROI-4)的大小和/或位置彼此不同，并且关注区域(ROI-1、ROI-2、ROI-3、ROI-4)的大小、形状和位置在车辆不工作时被预定义，更具体地，被确定并保存在合成图像处理器(5)中。
在使用中，在车辆工作(在线)期间，关注区域(ROI-1、ROI-2、ROI-3、ROI-4)的大小和/或位置是不变的，并且每个关注区域可以由坐标(x，y)限定，这些坐标在由合成图像处理器(5)限定之后是固定的，并且它们具体是在车辆的装配线之前或期间(离线)就大小和/或位置而言被确定、保存和固定的。
例如，关注区域中的至少一个关注区域的至少70％包括车辆的周围环境，并且关注区域中的至少一个关注区域的小于30％包括车辆的一部分。
例如，关注区域的大小介于拍摄图像的25％至80％之间，具体地，关注区域的大小介于拍摄图像的30％至60％之间。如图3a至图3d所示，第一关注区域、第二关注区域、第三关注区域和第四关注区域的大小分别介于第一拍摄图像、第二拍摄图像、第三拍摄图像和第四拍摄图像的35％至55％之间。
如前所述，在根据本发明的系统的情况下，优选地在车辆工厂处或之前(离线)选择ROI，考虑了不包括车辆的底盘(C)的任何部分，或者至少仅包括底盘(C)的较少部分。因此，底盘(C)将不影响或较少地影响由摄像头(1、2、3、4)获得的图像的亮度和/或颜色。
当选择ROI时，针对每个摄像头的每个ROI确定x、y坐标，并且这些x、y坐标被保存和固定，即，它们在用于确定针对每个摄像头的每个ROI的第一步骤之后不再改变。换句话说，根据优选示例，在离线时，x、y坐标被确定并保存在图像合成处理器上，并且当在线时，保持不变。如图3a至图3d所示，针对每个摄像头的每个ROI是矩形，但是当然不排除其它几何。在所示示例中，x、y坐标是矩形的每个顶点的水平(x)和垂直(y)位置。当然，可以使用其它类型的坐标来预定义关注区域。
如图3a至图3d所示，第二关注区域(ROI-2)的几何中心与第二拍摄图像的下边缘之间的距离小于第四关注区域(ROI-4)的几何中心与第四拍摄图像的下边缘之间的距离，例如，第二关注区域(ROI-2)的几何中心与第二拍摄图像的上边缘之间的距离是第四关注区域(ROI-4)的几何中心与第四拍摄图像的上边缘之间的距离的至少1.2倍。这意味着每个ROI的位置和大小可以适配成基本上仅包括车辆的周围环境。
当用户激活根据本发明的系统时，控制单元(11、12、13、14)并且具体是每个摄像头(1、2、3、4)的ISP对由摄像头获得的图像的亮度和/或颜色进行调整。
由控制单元调整的这些图像是由合成图像处理器对其进行彼此组合以生成在车辆的屏幕(6)上示出的俯瞰图的图像。
根据示例，图像的这种组合包括由本领域中已知的任何方式执行的透视校正(例如，从上到下)，诸如图像的两个平面投影之间的映射，并且其可以由齐次坐标空间中的3×3变换矩阵(例如，诸如“单应性矩阵”)表示。
在某些预设情况下，例如，通过用户与人机接口(HMI)交互(例如，接合倒档)，他/她指示激活俯瞰图(周围环境视图)系统，使得在使用中，以非常小的延迟在屏幕上自动显示俯瞰图系统。也就是说，控制器还被配置为激活多个摄像头(1、2、3、4)并且在来自人机接口(HMI)的信号时获取拍摄图像。在示例中，人机接口(HMI)与所述控制器之间的通信可以是直接通信，或者不是直接通信(即，电连接在其间的中间元件/控制器)，这通过CAN总线、LIN总线、以太网、光纤通信、无线、LVDS和同轴接口中的至少一者来执行。
当然，这些步骤是连续进行的，使得屏幕(6)上所示的图像不是静止图像，而是视频。
根据所示示例，第一摄像头(1)、第二摄像头(2)、第三摄像头(3)和第四摄像头(4)通过上述通信接口将其拍摄图像(例如，帧速率为至少15帧每秒(fps)并且具体是30fps或更高的视频)发送至合成图像处理器，所述合成图像处理器还被配置为对称为“俯瞰图”的图像进行处理。
可选地，一旦获得了俯瞰图，但是在将其显示在屏幕(6)上之前，可以存在其它图像处理步骤，例如，检测地面上的线、检测车辆外部和附近的对象(附近的行人、汽车或摩托车)、检测信号(交通信号)等。
更优选地，待检测的线尤其是停车线，其中可以确定停车地点的自由空间。
得益于该提议解决方案，可以提供一种用于车辆的系统，该系统提供了具有改进的图像亮度和/或颜色调整的俯瞰图，并因此实现了具有协调的或恒定的亮度和/或颜色的周围环境视图或俯瞰图。
尽管已经参考了本发明的具体实施方式，但是对于本领域技术人员显而易见的是，所描述的系统和方法容易发生许多变化和修改，并且在不脱离由所附权利要求限定的保护范围的情况下，所提及的所有细节可以被其它技术等同物替代。

Claims (15)

1.一种用于提供车辆的合成图像的系统，所述系统包括：
多个摄像头(1、2、3、4)，每个摄像头获得所述车辆的周围环境的拍摄图像，其中，第一摄像头(1)被配置为获取第一拍摄图像，并且第二摄像头(2)被配置为获取第二拍摄图像，所述第一拍摄图像和所述第二拍摄图像至少部分地交叠；
至少一个控制器(5、11、12、13、14)，所述至少一个控制器被配置为接收并组合至少所述第一拍摄图像和所述第二拍摄图像，以提供所述合成图像；
其特征在于，
所述系统被配置为限定所述第一拍摄图像内的第一关注区域(ROI-1)和所述第二拍摄图像内的第二关注区域(ROI-2)；并且
所述系统还被配置为对至少所述第一关注区域(ROI-1)和所述第二关注区域(ROI-2)的亮度和/或颜色进行检测，以使所述系统在至少所述第一拍摄图像和所述第二拍摄图像被组合之前对至少所述第一拍摄图像和所述第二拍摄图像的亮度和/或颜色进行调整。
2.根据权利要求1所述的用于提供车辆的合成图像的系统，其中，所述第一关注区域(ROI-1)在大小和/或位置方面不同于所述第二关注区域(ROI-2)。
3.根据权利要求1所述的用于提供车辆的合成图像的系统，其中，在所述车辆不工作时，优选地，在所述至少一个控制器(5、11、12、13、14)中预定义所述第一关注区域(ROI-1)和所述第二关注区域(ROI-2)的大小、形状和位置。
4.根据权利要求3所述的用于提供车辆的合成图像的系统，其中，在使用中，在所述车辆工作期间，所述第一关注区域(ROI-1)和所述第二关注区域(ROI-2)的大小和/或位置是不变的。
5.根据权利要求1所述的用于提供车辆的合成图像的系统，其中，每个关注区域是由坐标限定的，这些坐标在由所述至少一个控制器(5)限定之后是固定的。
6.根据权利要求1所述的用于提供车辆的合成图像的系统，其中，至少70％的所述第一关注区域(ROI-1)和至少70％的所述第二关注区域(ROI-2)包括所述车辆的所述周围环境。
7.根据权利要求1所述的用于提供车辆的合成图像的系统，其中，小于30％的所述第一关注区域(ROI-1)包括所述车辆的一部分。
8.根据权利要求1所述的用于提供车辆的合成图像的系统，其中，所述第一关注区域(ROI-1)基本上仅包括所述车辆的所述周围环境。
9.根据前述权利要求中任一项所述的用于提供车辆的合成图像的系统，其中，所述第一关注区域(ROI-1)的大小介于所述第一拍摄图像的25％至80％之间。
10.根据权利要求9所述的用于提供车辆的合成图像的系统，其中，所述第一关注区域(ROI-1)的大小介于所述第一拍摄图像的30％至60％之间。
11.根据前述权利要求中任一项所述的用于提供车辆的合成图像的系统，其中，所述至少一个控制器包括合成图像处理器(5)和针对每个摄像头(1、2、3、4)的控制单元(11、12、13、14)。
12.根据前述权利要求中任一项所述的用于提供车辆的合成图像的系统，其中，所述至少一个控制器(5、11、12、13、14)被配置为限定所述第一拍摄图像内的第一关注区域(ROI-1)和所述第二拍摄图像内的第二关注区域(ROI-2)；并且
所述至少一个控制器(5、11、12、13、14)对至少所述第一关注区域(ROI-1)和所述第二关注区域(ROI-2)的亮度和/或颜色进行检测，以使所述至少一个控制器(5、11、12、13、14)在至少所述第一拍摄图像和所述第二拍摄图像被组合之前对至少所述第一拍摄图像和所述第二拍摄图像的亮度和/或颜色进行调整；
优选地，所述合成图像处理器(5)被配置为限定所述第一拍摄图像内的第一关注区域(ROI-1)和所述第二拍摄图像内的第二关注区域(ROI-2)；并且
针对每个摄像头(1、2、3、4)的所述控制单元(11、12、13、14)被配置为对至少所述第一关注区域(ROI-1)和所述第二关注区域(ROI-2)的亮度和/或颜色进行检测，以在至少所述第一拍摄图像和所述第二拍摄图像被组合之前对至少所述第一拍摄图像和所述第二拍摄图像的亮度和/或颜色进行调整，所述合成图像处理器(5)被配置为接收和组合至少所调整的第一拍摄图像和第二拍摄图像，以提供所述合成图像。
13.根据前述权利要求中任一项所述的用于提供车辆的合成图像的系统，其中，所述合成图像是车辆及其周围环境的俯瞰图，其中，所述系统还包括被配置为获取第三拍摄图像的第三摄像头(3)以及被配置为获取第四拍摄图像的第四摄像头(4)，并且其中，所述第二关注区域(ROI-2)的几何中心与所述第二拍摄图像的下边缘之间的距离小于所述第四关注区域(ROI-4)的几何中心与所述第四拍摄图像的下边缘之间的距离。
14.根据前述权利要求中任一项所述的用于提供车辆的合成图像的系统，其中，所述第二关注区域(ROI-2)的几何中心与所述第二拍摄图像的上边缘之间的距离是所述第四关注区域(ROI-4)的几何中心与所述第四拍摄图像的上边缘之间的距离的至少1.2倍。
15.一种用于提供车辆的合成图像的方法，其特征在于，所述方法包括以下步骤：
优选地，在所述车辆的装配线之前或期间，确定至少第一拍摄图像内的第一关注区域(ROI-1)和第二拍摄图像内的第二关注区域(ROI-2)；
保存至少所述第一关注区域(ROI-1)和所述第二关注区域(ROI-2)；
获得多个摄像头(1、2、3、4)中的每个摄像头的图像，其中，第一摄像头(1)获取第一拍摄图像，并且第二摄像头(2)获取第二拍摄图像，所述第一拍摄图像和所述第二拍摄图像至少部分地交叠；
确定至少所述第一关注区域(ROI-1)和所述第二关注区域(ROI-2)的亮度和/或颜色；
对至少所述第一拍摄图像和所述第二拍摄图像的亮度和/或颜色进行调整；以及
组合来自所述多个摄像头(1、2、3、4)的所调整的图像，以形成车辆的合成图像。
CN202310876255.3A 2022-07-15 2023-07-17 用于提供车辆及其周围环境的合成图像的系统和方法 Pending CN117412179A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22382678.5A EP4306363A1 (en) 2022-07-15 2022-07-15 System and method for providing a composite image of a vehicle and its surroundings
EP22382678.5 2022-07-15

Publications (1)

Publication Number Publication Date
CN117412179A true CN117412179A (zh) 2024-01-16

Family

ID=83228989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310876255.3A Pending CN117412179A (zh) 2022-07-15 2023-07-17 用于提供车辆及其周围环境的合成图像的系统和方法

Country Status (3)

Country Link
US (1) US20240020985A1 (zh)
EP (1) EP4306363A1 (zh)
CN (1) CN117412179A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6115104B2 (ja) * 2012-12-04 2017-04-19 アイシン精機株式会社 車両の制御装置、及び制御方法
US9533618B2 (en) * 2014-03-07 2017-01-03 Texas Instruments Incorporated Method, apparatus and system for processing a display from a surround view camera solution
US10040394B2 (en) 2015-06-17 2018-08-07 Geo Semiconductor Inc. Vehicle vision system

Also Published As

Publication number Publication date
EP4306363A1 (en) 2024-01-17
US20240020985A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
US11597319B2 (en) Targetless vehicular camera calibration system
US11535154B2 (en) Method for calibrating a vehicular vision system
US11972597B2 (en) Vehicular driver monitoring system with camera view optimization
US9505338B2 (en) Vehicle driving environment recognition apparatus
US9041807B2 (en) Image processing device and image processing method
JP6441360B2 (ja) カメラシステムによって取得された画像を車両のバックミラー組立品に表示するための表示システム
JP2014116756A (ja) 周辺監視システム
US10965872B2 (en) Image display apparatus
EP3503531B1 (en) Image display apparatus
US10460703B2 (en) Display control apparatus, display control method, and camera monitoring system
CA2792562A1 (en) Automatic image equalization for surround-view video camera systems
JP2013183298A (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
US20200039435A1 (en) Onboard camera system for eliminating a-pillar blind areas of a mobile vehicle and image processing method thereof
JP2018052216A (ja) 車両用視認装置及び車両用視認画像表示方法
KR102124298B1 (ko) 후방 교차 교통-퀵 룩스
EP3761262A1 (en) Image processing device and image processing method
EP3076655B1 (en) Imaging settings changing device, imaging system, and imaging settings changing method
CN112351242A (zh) 图像处理装置以及图像处理方法
CN114248689B (zh) 用于机动车的摄像头监测系统及其图像显示方法
US10735667B1 (en) Vehicle surroundings monitoring apparatus
CN117412179A (zh) 用于提供车辆及其周围环境的合成图像的系统和方法
JP7073237B2 (ja) 画像表示装置、画像表示方法
US20050082462A1 (en) Image pickup device
JP2024056563A (ja) 表示処理装置、表示処理方法、及び表示処理装置の作動プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication