CN112638712B - 摄像机监视系统 - Google Patents

摄像机监视系统 Download PDF

Info

Publication number
CN112638712B
CN112638712B CN201980052292.4A CN201980052292A CN112638712B CN 112638712 B CN112638712 B CN 112638712B CN 201980052292 A CN201980052292 A CN 201980052292A CN 112638712 B CN112638712 B CN 112638712B
Authority
CN
China
Prior art keywords
vehicle
ground area
camera
area
meters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980052292.4A
Other languages
English (en)
Other versions
CN112638712A (zh
Inventor
V·蒂豪尼
H·内梅特
L·巴洛格
A·瑟洛斯
B·加尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Knorr Bremse Systeme fuer Nutzfahrzeuge GmbH
Original Assignee
Knorr Bremse Systeme fuer Nutzfahrzeuge GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Knorr Bremse Systeme fuer Nutzfahrzeuge GmbH filed Critical Knorr Bremse Systeme fuer Nutzfahrzeuge GmbH
Publication of CN112638712A publication Critical patent/CN112638712A/zh
Application granted granted Critical
Publication of CN112638712B publication Critical patent/CN112638712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/001—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles integrated in the windows, e.g. Fresnel lenses
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种用于车辆的侧面区域的摄像机监视系统，其包括：图像检测单元(110)，用于在所述车辆的至少一侧同时检测关于第一地面区域(210)和关于第二地面区域(220)的图像数据；和图像评估单元(120)，其构造成用于将关于所述第一地面区域(210)的图像数据与关于所述第二地面区域(220)的图像数据分开，以便能够实现独立的展示。

Description

摄像机监视系统
技术领域
本发明涉及一种摄像机监视系统和一种用于支持驾驶员辅助系统或自主驾驶的方法，并且尤其涉及一种用于替代商用车上的常见的镜的摄像机组件。
背景技术
视频传感器技术和视觉展示可能性的不断改进允许能够越来越多地替代用于在车辆中间接地视觉展示的已知设备。代替传统的镜，越来越多地使用摄像机监视系统或摄像机显示系统，其替代了镜并能够实现包含例如缩放或在显示器上叠加地示出之类的附加功能在内的更高视觉品质。摄像机监视系统的另一个优点是，所利用的摄像机相对较小，因此降低了空气阻力。否则所利用的后视镜由于其尺寸会提供相当大的迎风面积，并因此造成明显更高的燃料消耗。
已知的摄像机监视系统例如在US2017/274827 A1和US2014/132770A1中被描述。此处描述的系统虽然允许用摄像机替代镜，但却利用车对车通信来获得对后面的周围环境的可靠检测，或者需要使用机械铰接装置才能同时覆盖不同的区域(前部区域、后部区域)。这些系统根本不能或者只能受限地在商用车领域中使用，因为在商用车的情况下通常不存在由驾驶员在视觉上进行控制的可能性。
因此，需要一种摄像机监视系统，其在检测周围环境时提供高度的灵活性和安全性，以便因此能够替代(尤其是商用车中的)后视镜。
发明内容
这些问题中的至少一部分由根据本发明的摄像机监视系统、根据本发明的商用车和根据本发明的方法来解决。以下给出了其他有利实施方式。
本发明涉及一种用于车辆的、尤其是商用车的侧面区域的摄像机监视系统。所述摄像机监视系统包括：
-图像检测单元，用于在车辆的至少一侧同时检测关于第一地面区域和关于第二地面区域的图像数据；和
-图像评估单元，其构造成用于将关于第一地面区域的图像数据与关于第二地面区域的图像数据分开，以便能够实现独立的展示。
摄像机监视系统尤其是摄像机显示系统，其适合于替代商用车上的现有后视镜。因此，所述摄像机监视系统设计成用于侧向的图像检测，以便以图像的方式检测车辆的侧面和后部的周围环境。当然，实施例不应限于在如商用车的专用车辆中的应用。所述摄像机监视系统能够用于任意车辆。
第一地面区域可以如下限定：该第一地面区域从垂直于商用车的运动方向延伸并且从司机的位置(或其视点)向后偏移4米的第一线开始，并且该第一地面区域以可变的宽度在侧面平行于车辆边缘(驾驶员侧或副驾驶员侧)向后延伸，其中，该可变的宽度直至与第一线的距离为26米地向后从1米线性地增加到5米的宽度，然后保持恒定。
第二地面区域可以如下限定：该第二地面区域从垂直于商用车的运动方向延伸并从司机的位置(或其视点)向后偏移1.5米的第二线开始，并且该第二地面区域以可变的宽度在侧面平行于车辆边缘(驾驶员侧或副驾驶员侧)向后延伸到23.5米的长度，其中，该可变的宽度直至与第二线的距离为8.5米地从4.5米线性地增加到15米的宽度，然后保持恒定。
第一和第二地面区域可以在车辆的两侧延伸，其中，检测单元通常仅检测一侧。术语“前”或“前部”和“后”关于车辆的正常行驶方向，也就是说“前”或“前部”在车辆的正常向前行驶的方向上。
可选地，图像检测单元包括以下摄像机单元中的至少一个：
-具有广角镜头或鱼眼镜头的第一摄像机单元，以便在安装在商用车的副驾驶员侧的前角区域上的情况下同时检测商用车前方的前部区域、第一地面区域、第二地面区域和第三地面区域；
-第二摄像机单元，用于检测在商用车的副驾驶员侧的图像数据；
-第三摄像机单元，用于检测在商用车的驾驶员侧的图像数据；
-具有广角镜头或鱼眼镜头的第四摄像机单元，以便在安装在商用车的驾驶员侧的前角区域上的情况下同时检测前部区域、第一地面区域、第二地面区域和第三地面区域。
第二摄像机单元和第三摄像机单元例如构造成用于检测在车辆的驾驶员侧或副驾驶员侧的(后面)侧面区域的图像数据(例如传统倒车镜的视野区域)。
第三地面区域可以如下限定：该第三地面区域从垂直于商用车的运动方向延伸穿过司机的位置(或其视点)的第三线开始，并且该第三地面区域在2米的宽度上平行于车辆边缘(驾驶员侧或副驾驶员侧)向后延伸1.75米并且向前延伸1米。因此，该第三地面区域基本上位于示例性商用车的驾驶员舱旁边。
前部区域可以如下限定：该前部区域从前车辆边界开始并且在车辆纵向方向上延伸直至在车辆边界前方的至少2米处。此外，该前部区域可以在驾驶员舱的整个宽度上延伸并且在侧面延伸超出副驾驶员侧2米。
当然，检测单元至少检测所限定的区域(地面区域和前部区域)，但是还可以一同检测其他区域。因此，所限定的区域应代表至少被检测的最小区域。
图像评估单元可以构造成用于对来自第一摄像机单元和/或来自第四摄像机单元的图像数据进行图像变换，以便补偿由于所利用的镜头而引起的失真。由此实现了冗余，因为第一摄像机单元(以及第四摄像机单元)也检测车辆的向后指向的侧面区域，该侧面区域也被第二摄像机单元(以及第三摄像机单元)检测。通过图像变换使得可以比较所检测的图像。
可选地，摄像机监视系统包括至少一个显示单元，该显示单元具有至少一个用于展示第一地面区域的第一区段和用于展示第二地面区域的第二区段。第三地面区域和/或前部区域也可以在显示单元的各自区段中显示。也可以设置多个显示单元。例如，对于副驾驶员侧和驾驶员侧可以存在单独的显示器，以便独立地监视车辆的侧面。
可选地，图像评估单元构造成用于在所检测的图像数据中验证(或识别或辨识)以下周围环境信息中的至少一个并提供相应的结果：
-行车道标记；
-物体(例如树木、人行道、自行车道、行人等)；
-其他车辆；
-道路边缘。
以此例如能够支持车道跟踪或驾驶员辅助系统或自主驾驶。尤其，第一摄像机单元和/或第四摄像机单元可以被用于此，这两个摄像机单元例如可以竖直向下地(朝行车道)定向，并因此即使在有另外的车辆或其他物体位于紧邻的周围环境中并且并挡住了水平视线时也能够清楚地检测到所提到的周围环境信息。
本发明还涉及一种具有如上所述的摄像机监视系统的车辆、尤其是商用车。
本发明还涉及一种用于支持车辆的驾驶员辅助系统或自主驾驶的方法。该方法包括以下步骤：
-评估由前述摄像机监视系统检测到的图像数据；
-基于此，确定车辆的周围环境信息，其中，所述周围环境信息包括以下信息中的至少一个：在该车辆的周围环境中确定的行车道标记、确定的行车道边缘、确定的其他车辆、确定的物体；
-提供所述周围环境信息。
所提供的环境信息尤其可以用于车道跟踪或用于取向。
该方法或其至少一部分也可以以指令的形式在软件中或在计算机程序产品上实现或存储，其中，当该方法在处理器上运行时，所存储的指令能够实施根据该方法的步骤。因此，本发明还涉及一种其上存储有软件代码(软件指令)的计算机程序产品，该软件代码构造成用于当由处理单元实施该软件代码时实施上述方法之一。处理单元可以是任何形式的计算机或控制单元，其具有可以实施软件代码的相应微处理器。
附图说明
由下面的详细描述和不同实施例的附图，更好地理解本发明的实施例，然而，这些实施例不应被理解为它们将本公开内容限制为特定的实施方式，而仅仅是用于解释和理解。
图1 示出根据本发明的一个实施例的摄像机监视系统。
图2 示出根据其他实施例的摄像机监视系统的其他细节。
图3A、3B示出根据实施例由检测单元同时检测的地面区域。
图4A、4B示出根据实施例由检测单元同时检测的其他地面区域。
图5A、5B示出用于图3A、3B中的地面区域的显示器。
图6A、6B示出用于图4A、4B中的地面区域的示例性显示器。
具体实施方式
图1示出了根据本发明的一个实施例的摄像机监视系统。该摄像机监视系统尤其适用于应用在商用车中，但也适用于其他车辆，以便例如替代现有的镜组件。摄像机监视系统包括图像检测单元110，用于同时检测在示例性商用车10的至少一侧(尤其是在副驾驶员侧)上的第一地面区域210和第二地面区域220的图像数据。图像检测单元110例如是以合适的方式安装的摄像机，该摄像机利用拍摄(Aufnahme)同时检测两个地面区域210、220。另外，摄像机监视系统包括图像评估单元120，该图像评估单元构造成用于将关于第一地面区域210的图像数据与关于第二地面区域220的图像数据分开，以便能够独立地示出。
可选地，摄像机监视系统包括至少一个显示单元131，以便以图像的方式示出由图像检测单元110检测的拍摄。但是，显示单元131不必是摄像机监视系统的一部分。已经存在的显示器也可以用于此。
例如，可以在显示单元131的第一区段中示出第一地面区域210，并且在另一区段中示出第二地面区域220。在最简单的示例中，图像检测单元110是具有相应镜头(例如广角镜头)的摄像机，该摄像机可以同时检测多个区域而不必使摄像机运动。所述多个区域由图像评估单元120分开，以便能够在显示单元131上单独地同时示出。但是，地面区域210、220也可以通过切换而相继地在显示器上显示。
图2示出了摄像机监视系统的另一实施例，其与图1所示的系统的不同之处在于，图像检测单元110示例性地具有第一摄像机单元121、第二摄像机单元、第三摄像机单元123和第四摄像机单元124。
第一摄像机单元121和第二摄像机单元122例如构造成用于安装在驾驶员舱的前角区域或侧面区域上(例如在副驾驶员侧16)并用于彼此独立地检测商用车的侧面区域或后部区域。尤其，第一摄像机单元121也检测直接在商用车前方和旁边的地面区域以及驾驶员舱后方的侧面区域。为了实现这一点，第一摄像机单元121可以包括相应的广角镜头、例如鱼眼镜头。第二摄像机单元122检测示例性商用车的侧面区域和后部区域(第一和第二地面区域210、220)。为此也可以设置相应的广角镜头。
另外，第三摄像机单元123和第四摄像机单元124设置在驾驶员侧17，它们可以安装在驾驶员舱10的角区域中。第三摄像机单元123可以与第二摄像机单元122类似或相同地构造，并且可以检测在驾驶员侧17在驾驶员舱10旁边或后面的侧面区域。第四摄像机单元124可以与第一摄像机单元121类似或相同地构造并且检测直接邻接商用车的地面区域。为了实现这一点，第四摄像机单元124也可以包括相应的广角镜头、例如鱼眼镜头。
这提供以下优点：并行地检测不同的传感器区域和尤其车辆周围的地面区域。因此，例如第一摄像机单元121和第二摄像机单元122可以并行地检测在侧面位于商用车旁边或后面的第一和第二地面区域210、220。由于这种冗余，这些实施例尤其适合于一般不能在副驾驶员侧由驾驶员进行视觉检验的商用车。
因此，本发明的实施例特别适合于替代常规的镜组件、例如商用车的后视镜，其中，提供了附加的功能性。
图3A、3B、4A和4B示出了地面区域，这些地面区域根据实施例例如作为侧面区域被摄像机单元121、122、123、124同时检测。在此并且在下文中，所有长度说明可以理解为公差为±10％或±5％。此外，下述地面区域是至少被检测的最小区域。当然，摄像机单元还将检测其他区域。
图3A、3B示出第一地面区域210和第二地面区域220，它们根据实施例被第二和第三摄像机单元122、123在其各自的侧被同时检测。
图3A示出了第一地面区域210，该第一地面区域在车辆的两侧延伸并且可以如下限定：该第一地面区域从垂直于商用车的运动方向延伸并且从司机的位置15(或其视点)向后偏移4米的第一线211开始，并且该第一地面区域以可变的宽度在侧面平行于两个车辆边缘16、17向后延伸。该可变的宽度直至与第一线211的距离为26米地向后从1米线性地增加到5米的宽度，然后保持恒定。因此，第一地面区域210包括约为5米的最大宽度，其中，从驾驶员位置开始在约30米的距离处达到该最大宽度。
图3B示出了第二地面区域220，该第二地面区域在车辆的两侧延伸，并且可以如下限定：第二地面区域220从垂直于商用车的运动方向延伸并且从司机的位置15(或其视点)向后偏移1.5米的第二线221开始，并且该第二地面区域以可变的宽度在侧面平行于车辆边缘16、17向后延伸到23.5米的长度。该可变的宽度直至与第二线221的距离为8.5米地从4.5米线性地增加到15米的宽度，然后向后保持恒定。因此，该宽度从约4.5米扩宽到15米的最大宽度，在与驾驶员位置为约10米的距离处达到该最大宽度。
因此，图3A中的第一地面区域210基本上代表向后方的视野区域，而图3B中的第二地面区域220代表侧面视野区域，该侧面视野区域例如对于车道变换是重要的，以便例如识别在该车辆旁边的相邻车道之一中是否存在车辆。第二摄像机单元122(和类似地驾驶员侧16上的第三摄像机单元123)主要用于检测第一地面区域210并且同时检测第二地面区域220。
图4A、4B示出了第三地面区域230和前部区域240，它们根据实施例主要由副驾驶员侧16的第一摄像机单元121(并且类似地由驾驶员侧17的第四摄像机单元124)同时检测。
图4A示出了第三地面区域230，该第三地面区域从垂直于商用车的运动方向延伸穿过驾驶员的位置15的第三线231向后延伸1.75米并且向前延伸约1米。从右车辆边缘16测量，第三地面区域230的宽度约为2米。以相同或类似的方式限定用于驾驶员侧17的第三地面区域230。
图4B示出了第四地面区域240(前部区域)，该第四地面区域示例性地也由第一摄像机单元121检测。第四地面区域240从驾驶员舱10的前侧241开始在车辆宽度上向前延伸直至约2米的距离并且超过副驾驶员侧的车辆边缘16延伸直至2米。可选地，(从驾驶员的视角看)右前角处的第四地面区域240以约2米的曲率半径被倒圆。因此，第三地面区域230和第四地面区域240尤其检测对于商用车的司机而言难以或根本不能看到的区域(与乘用车不同)。
为了在摄像机监视系统中实现冗余，第一摄像机单元121在副驾驶员侧16例如装配在驾驶员舱10的上角区域中，从而第一摄像机单元121可以检测第三地面区域230、第四地面区域240、第一地面区域210和第二地面区域220。为了能够以图像的方式尽可能真实地示出所有地面区域，可以对第一地面区域210和第二地面区域220的由第一摄像机单元121(利用示例性的鱼眼镜头)得到的拍摄相应地进行处理或者说变换，以便消除由第一摄像机单元121的鱼眼镜头造成的可能失真。
在驾驶员侧，第四摄像机单元124有利地也是广角或鱼眼摄像机，其同样检测图像数据，所述图像数据在相应变换之后适于检测第一和第二地面区域210、220并将它们尽可能不失真地以图像的方式示出给驾驶员。为此，第四摄像机单元124可以又安装在商用车的驾驶员舱10的上角区域中，从而该摄像机单元不仅可以检测第三地面区域230和(驾驶员舱前面的)第四地面区域240，而且还可以检测向后指向的第一地面区域210和第二地面区域220。
也可以在利用查找表(所谓的“lookup tables”)的情况下进行矫正，以使图像匹配于车辆中已经存在的专用显示器。
因此，这些实施例允许驾驶员始终保持对左车辆侧和右车辆侧的事件的控制。为了确保由摄像机单元良好地覆盖，例如可以利用具有高分辨率和广角镜头的摄像机单元。与传统镜组件相比，这种摄像机系统提供了非常高的灵活性，因为摄像机图像可以单独地在显示器的不同区段上显示。例如，可以对显示器进行划分，以便单独地示出不同的地面区域。
图5A和图5B示例性地示出了如何能够在相应的显示单元131上示出从驾驶员侧(左侧)检测的图像。在图5A中，示例性地突出示出第一地面区域210，其例如在显示单元131的上部区域中示出。图5B示出第二地面区域220，其例如在显示单元131上在下部区域中示出。
图6A示例性地示出了从第三地面区域230检测的图像，如该第三地面区域由副驾驶员侧16的第一摄像机单元121所检测的那样。图6B示例性地示出了前部区域240，如该前部区域例如由副驾驶员侧16的第一摄像机单元121所检测的那样。两个所检测的区域230、240可以如第一地面区域210和第二地面区域220那样以类似的方式以图像方式示出(参见图5A、5B)。
第一摄像机单元121(和类似地第四摄像机单元124)示例性地包括鱼眼镜头并且布置在车辆舱室的(例如副驾驶员侧16的)角区域中。以这种方式，既可以检测第三地面区域230又可以检测前部区域240。为此，第一和第三摄像机单元121、124竖直向下地指向，并且由于鱼眼镜头还可以检测水平线上的区域(即第一和第二地面区域210、220)。有利的是，这些鱼眼摄像机121、124具有尽可能高的分辨率，以便在对检测的图像进行矫正(图像变换)之后还能够识别出许多细节。因此，第一摄像机单元121和/或第四摄像机单元124可以具有比例如第二摄像机单元122和/或第三摄像机单元123更大的分辨率。
示出的行车道标记20(例如参见图6B)可以由所提及的摄像机单元121、122、123、124中的每一个来检测或探测。由于这些限定的地面区域，行车道标记20或其他物体几乎总能够由摄像机监视系统探测到。与向前或直接向后指向的传统系统不同，在本发明的实施例中，视线不会被其他物体(例如车辆)挡住。鱼眼摄像机(第一或第四摄像机单元121、124)尤其适合于探测车辆周围环境中的行车道标记20和/或物体，因为它们向所有侧检测地面区域。但是，在利用向后指向的第二和/或第三摄像机单元122、123的情况下可以识别并连续地跟踪车辆附近的行车道上的行车道标记20和/或其他结构。
因此，这些实施例也可以用在驾驶员辅助系统中或自主驾驶情况下，以便通过附加的算法来承担对车辆周围环境中的行车道标记20或物体的探测。
本发明的实施例尤其也涉及以下主题：
用于商用车的摄像机监视系统，其包括至少一个向后指向的广角摄像机122、123，所述广角摄像机覆盖第一地面区域210和第二地面区域220。
根据其他的有利实施方式，摄像机监视系统包括至少两个向后指向的广角摄像机122、123，它们可以装配在车辆的右侧和左侧。
根据其他的有利实施方式，摄像机监视系统包括至少一个向下指向的鱼眼摄像机121，其可以安装在副驾驶员侧16，以便检测前部区域240和第三地面区域230。
根据其他的有利实施方式，摄像机监视系统在驾驶员舱10的驾驶员侧17包括附加地向下指向的鱼眼摄像机124，以便提供如在副驾驶员侧16那样的其他类似功能性。以此，还可以在驾驶员侧17上检测第一地面区域210和第二地面区域220。
根据其他的有利实施方式，由摄像机监视系统、例如由向后指向的广角摄像机122、123检测的图像可以被用于探测行车道标记20和/或物体。
根据其他的有利实施方式，向下指向的鱼眼摄像机121、124可以用于识别行车道标记20和/或探测物体。
因此，这些实施例还包括一种利用摄像机监视系统的方法。该方法或这些方法步骤也可以由计算机实现，也就是说，可以通过指令来实现，这些指令存储在存储介质上并且能够在该方法在处理器上运行时执行该方法的步骤。指令通常包括一个或多个指令，所述指令可以以不同的方式存储在位于(具有处理器的)控制单元中或外围的不同介质上，这些指令在被读取并且由控制单元实施时促使控制单元实施用于实施根据本发明的方法所必需的功能、功能性和运算。
在说明书、权利要求书和附图中公开的本发明特征既可以单独地也可以以任何组合的方式对于实现本发明而言是重要的。
附图标记列表
10 驾驶员舱
15 驾驶员位置(眼睛位置)
16 副驾驶员侧(副驾驶员侧的车辆边缘)
17 驾驶员侧
20 行车道标记
110 图像检测单元
120 图像评估单元
121、122、…摄像机单元
131显示单元
210、220、…地面区域
211、121、…前参考线(第一线、第二线、…)
241前车辆边缘/前车辆边界

Claims (10)

1.一种摄像机监视系统，用于车辆的侧面区域，所述摄像机监视系统包括：
-图像检测单元(110)，用于在所述车辆的至少一侧同时检测关于第一地面区域(210)和关于第二地面区域(220)的图像数据；和
-图像评估单元(120)，所述图像评估单元构造成用于将关于所述第一地面区域(210)的图像数据与关于所述第二地面区域(220)的图像数据分开，以便能够实现独立的展示，
其特征在于，
所述图像检测单元(110)包括以下摄像机单元：
-具有鱼眼镜头的第一摄像机单元(121)，以便在安装在所述车辆的副驾驶员侧(16)的前角区域上的情况下同时检测所述车辆前方的前部区域、所述第一地面区域(210)、所述第二地面区域(220)和第三地面区域(230)；
-第二摄像机单元(122)，用于检测所述车辆的副驾驶员侧(16)的图像数据；
-第三摄像机单元(123)，用于检测所述车辆的驾驶员侧(17)的图像数据；
-具有鱼眼镜头的第四摄像机单元(124)，以便在安装在所述车辆的驾驶员侧的前角区域上的情况下同时检测所述前部区域、所述第一地面区域(210)、所述第二地面区域(220)和第三地面区域(230)。
2.根据权利要求1所述的摄像机监视系统，其特征在于，
所述第一地面区域(210)如下限定：
从垂直于所述车辆的运动方向延伸并且从司机的位置(15)向后偏移4米的第一线(211)开始，所述第一地面区域(210)以可变的宽度在侧面平行于车辆边缘向后延伸，其中，该可变的宽度直至与所述第一线(211)的距离为26米地从1米线性地增加到5米的宽度，然后保持恒定；并且
所述第二地面区域(220)如下限定：
从垂直于所述车辆的运动方向延伸并从司机的位置(15)向后偏移1.5米的第二线(221)开始，所述第二地面区域(220)以可变的宽度在侧面平行于车辆边缘向后延伸到23.5米的长度，其中，该可变的宽度直至与所述第二线(221)的距离为8.5米地从4.5米线性地增加到15米的宽度，然后保持恒定。
3.根据权利要求1或2所述的摄像机监视系统，其特征在于，
所述图像评估单元(120)构造成用于在所检测的图像数据中。
4.根据权利要求1或2所述的摄像机监视系统，其特征在于，
所述第三地面区域(230)如下限定：
从垂直于所述车辆的运动方向延伸穿过司机的位置(15)的第三线(231)开始，所述第三地面区域(230)在2米的宽度上平行于车辆边缘向后延伸1.75米并且向前延伸1米；并且
所述前部区域如下限定：
从前车辆边界(241)开始，所述前部区域在车辆纵向方向上在驾驶员舱(10)的整个宽度上延伸直至至少2米并且在侧面超出所述副驾驶员侧(16)延伸2米。
5.根据权利要求1或2所述的摄像机监视系统，其特征在于，
设置有至少一个显示单元(131)，该显示单元具有至少一个用于展示所述第一地面区域(210)的第一区段和用于展示所述第二地面区域(220)的第二区段。
6.根据权利要求1或2所述的摄像机监视系统，其特征在于，
所述图像评估单元(120)构造成用于在所检测的图像数据中验证并提供以下周围环境信息中的至少一个：
-行车道标记(20)；
-物体；
-其他车辆；
-道路边缘。
7.根据权利要求1或2所述的摄像机监视系统，其特征在于，
所述图像评估单元(120)构造成用于在借助鱼眼镜头进行的拍摄中补偿失真。
8.一种商用车，其特征在于，其具有根据上述权利要求之一所述的摄像机监视系统。
9.一种用于支持车辆的驾驶员辅助系统或自主驾驶的方法，其特征在于：
-评估由根据权利要求1至7之一所述的摄像机监视系统检测到的图像数据；
-基于此，确定所述车辆的周围环境信息，其中，所述周围环境信息包括以下信息中的至少一个：在所述车辆的周围环境中确定的行车道标记、确定的行车道边缘、确定的其他车辆、确定的物体；
-提供所述周围环境信息。
10.一种机器可读的存储介质，在所述存储介质上存储有计算机程序，所述计算机程序构造成用于当在数据处理单元上实施所述计算机程序时实施根据权利要求9所述的方法。
CN201980052292.4A 2018-08-06 2019-07-18 摄像机监视系统 Active CN112638712B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018119024.7A DE102018119024A1 (de) 2018-08-06 2018-08-06 Kameraüberwachungssystem
DE102018119024.7 2018-08-06
PCT/EP2019/069420 WO2020030406A1 (de) 2018-08-06 2019-07-18 Kameraüberwachungssystem

Publications (2)

Publication Number Publication Date
CN112638712A CN112638712A (zh) 2021-04-09
CN112638712B true CN112638712B (zh) 2024-04-16

Family

ID=67539434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980052292.4A Active CN112638712B (zh) 2018-08-06 2019-07-18 摄像机监视系统

Country Status (8)

Country Link
US (1) US11400861B2 (zh)
EP (1) EP3833576B1 (zh)
JP (1) JP7391940B2 (zh)
KR (1) KR20210036386A (zh)
CN (1) CN112638712B (zh)
DE (1) DE102018119024A1 (zh)
RU (1) RU2756349C1 (zh)
WO (1) WO2020030406A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109572555B (zh) * 2018-11-13 2020-01-21 百度在线网络技术（北京）有限公司 一种应用于无人车的遮挡信息显示方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101844545A (zh) * 2009-03-25 2010-09-29 株式会社电装 车辆周边显示装置和用于车辆周边图像的方法
CN103065470A (zh) * 2012-12-18 2013-04-24 浙江工业大学 基于单目多检测面的机器视觉的车辆闯红灯行为检测装置
EP3106349A1 (de) * 2015-06-16 2016-12-21 MEKRA LANG GmbH & Co. KG Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels
DE102017010956A1 (de) * 2017-11-27 2018-07-26 Daimler Ag Vorrichtung zur Ausgabe von Umgebungsinformationen

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10329054A1 (de) * 2003-06-27 2005-01-13 Volkswagen Ag Kollisionsobjekt-Erkennungssystem
JP2008204281A (ja) 2007-02-21 2008-09-04 Nippon Soken Inc 物体検出装置、および車車間通信システム
EP2723069B1 (en) * 2011-06-16 2017-10-18 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitoring device
KR101373616B1 (ko) 2012-11-14 2014-03-12 전자부품연구원 차량용 사이드 카메라 시스템 및 그 제어방법
DE102013218812A1 (de) 2013-09-19 2015-03-19 Robert Bosch Gmbh Fahrerassistenzsystem für ein Kraftfahrzeug
DE102014006153A1 (de) * 2014-04-25 2015-10-29 Man Truck & Bus Ag Verfahren zur Bilddarstellung eines indirekten Sichtfeldes im Fahrzeugumfeld eines Fahrzeugs, insbesondere eines Nutzfahrzeugs, mit einem Kamera-Monitor-System
CN106414174B (zh) * 2014-05-29 2019-03-29 株式会社小糸制作所 车辆外部监视装置和拍摄装置
US10486599B2 (en) * 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
US20170124881A1 (en) 2015-10-28 2017-05-04 Velvac Incorporated Blind zone warning for semi-trailer
DE102016003233A1 (de) * 2016-03-16 2017-09-21 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Fahrzeug, insbesondere Nutzfahrzeug
US10336257B2 (en) 2016-03-23 2019-07-02 GM Global Technology Operations LLC Rear vision system for a vehicle and method of using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101844545A (zh) * 2009-03-25 2010-09-29 株式会社电装 车辆周边显示装置和用于车辆周边图像的方法
CN103065470A (zh) * 2012-12-18 2013-04-24 浙江工业大学 基于单目多检测面的机器视觉的车辆闯红灯行为检测装置
EP3106349A1 (de) * 2015-06-16 2016-12-21 MEKRA LANG GmbH & Co. KG Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels
DE102017010956A1 (de) * 2017-11-27 2018-07-26 Daimler Ag Vorrichtung zur Ausgabe von Umgebungsinformationen

Also Published As

Publication number Publication date
KR20210036386A (ko) 2021-04-02
CN112638712A (zh) 2021-04-09
WO2020030406A1 (de) 2020-02-13
JP2021534624A (ja) 2021-12-09
RU2756349C1 (ru) 2021-09-29
DE102018119024A1 (de) 2020-02-06
JP7391940B2 (ja) 2023-12-05
US11400861B2 (en) 2022-08-02
EP3833576B1 (de) 2023-04-26
EP3833576A1 (de) 2021-06-16
US20210268964A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
US8009868B2 (en) Method of processing images photographed by plural cameras and apparatus for the same
RU2702992C1 (ru) Система замещения зеркал и система помощи водителю
US9802540B2 (en) Process for representing vehicle surroundings information of a motor vehicle
US20180186290A1 (en) Method for providing at least one information from an environmental region of a motor vehicle, display system for a motor vehicle driver assistance system for a motor vehicle as well as motor vehicle
CN112543718B (zh) 摄像机监视系统
US10192121B2 (en) Display device for a vehicle, in particular a commercial vehicle
JP2013154869A (ja) メインミラー及び広角ミラーによる法定視界を表示するための輸送車両用の視認システム
CN102740056A (zh) 图像显示系统
CN110281921B (zh) 机动车的用于显示增强现实的驾驶员辅助系统以及方法
EP2414776B1 (en) Vehicle handling assistant apparatus
CN109415018B (zh) 用于数字后视镜的方法和控制单元
WO2016120874A1 (en) Vision system
US20180334100A1 (en) Rear view display image view positioning and zoom effect system and method
CN112638712B (zh) 摄像机监视系统
US9457748B1 (en) Motor vehicle with environment monitoring system
EP3905655A1 (en) Method for aligning a camera of a vehicle camera monitor system and vehicle
GB2402013A (en) Automatic focal length control
CN107914639B (zh) 使用外反射镜的车道显示装置及车道显示方法
CN108367715B (zh) 用于后视的方法和控制单元
US20190068943A1 (en) Environment Perception System for Autonomous Vehicle
US11491923B2 (en) Image presentation for vehicles with multiple cameras
US20170246991A1 (en) Multi-function automotive camera
CN105100702B (zh) 呈现车辆环境的方法、显示装置、系统及计算机程序
Tanaka Development of moving object detection using vision system
CA2921735A1 (en) Multi-function automotive camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant