CN106537904B - 具有环境监测装置的车辆以及用于运行这种监测装置的方法 - Google Patents

具有环境监测装置的车辆以及用于运行这种监测装置的方法 Download PDF

Info

Publication number
CN106537904B
CN106537904B CN201580039918.XA CN201580039918A CN106537904B CN 106537904 B CN106537904 B CN 106537904B CN 201580039918 A CN201580039918 A CN 201580039918A CN 106537904 B CN106537904 B CN 106537904B
Authority
CN
China
Prior art keywords
vehicle
camera
environment
image
image acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580039918.XA
Other languages
English (en)
Other versions
CN106537904A (zh
Inventor
H·内梅特
M·哲埃里
A·瑟略西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Knorr Bremse Systeme fuer Nutzfahrzeuge GmbH
Original Assignee
Knorr Bremse Systeme fuer Nutzfahrzeuge GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=53404532&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN106537904(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Knorr Bremse Systeme fuer Nutzfahrzeuge GmbH filed Critical Knorr Bremse Systeme fuer Nutzfahrzeuge GmbH
Publication of CN106537904A publication Critical patent/CN106537904A/zh
Application granted granted Critical
Publication of CN106537904B publication Critical patent/CN106537904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种车辆(1)，其具有监测所述车辆的环境的环境监测装置(100)，其包括具有至少两个摄像机(2a、2b、2c、2d)的图像采集装置(110)，所述摄像机拍摄所述车辆(1)的环境和/或所述车辆(1)自身的图像，并且，所述环境监测装置包括所述图像采集装置(110)的第一摄像机布置方式，在该第一摄像机布置方式中，第一摄像机(2a)布置在所述车辆(1)的第一棱边的区域中，在该第一棱边上，第一车辆侧面(10)与车辆前面(14)或者车辆后面(16)相互会聚，并且，在所述第一摄像机布置方式中，第二摄像机(2b)布置在所述车辆(1)的不同于所述第一棱边的第二棱边的区域中，在该第二棱边上，不同于所述第一车辆侧面(10)的第二车辆侧面(12)与所述车辆前面(14)或者所述车辆后面(16)相互会聚。本发明设置，第一摄像机装置进一步这样布置，使得所述第一摄像机(2a)的所述图像采集区域(3a)包括所述第一车辆侧面(10)的环境的至少一部分和所述车辆前面(14)的环境的至少一部分或者所述车辆后面(16)的环境的至少一部分，并且，所述第二摄像机(3b)的图像采集区域(3b)包括所述第二车辆侧面(12)的环境的至少一部分和所述车辆前面(14)的环境的至少一部分或者所述车辆后面(16)的环境的至少一部分。

Description

具有环境监测装置的车辆以及用于运行这种监测装置的方法
技术领域
本发明涉及一种车辆，该车辆具有监测该车辆的环境的环境监测装置，该环境监测装置包括具有至少两个摄像机的图像采集装置、图像采集装置的第一摄像机布置，所述摄像机拍摄车辆的环境的图像，在所述第一摄像机布置中，第一摄像机布置在车辆的第一棱边的区域中，在该第一棱边上，第一车辆侧面与车辆前面或者车辆后面相互会聚，并且，在所述第一摄像机布置中，第二摄像机布置在车辆的不同于第一棱边的第二棱边的区域中，在该第二棱边上，不同于第一车辆侧面的第二车辆侧面与车辆前面或者车辆后面相互会聚。本发明也涉及一种用于运行车辆的环境监测装置的方法。
背景技术
例如从DE 10 2012 014 448 A1已知具有这样的环境监测装置的车辆。在那里，摄像机分别布置在商用车的驾驶室的侧门的附近区域中并且在车辆的纵方向上看大致布置在侧视镜的位置上，所述摄像机对侧视镜补充地拍摄位于侧视镜背后的对象的图像，所述对象位于商用车的两个侧面的环境中。被拍摄的图像被显示在驾驶室中的图像再现装置中。
发明内容
本发明基于下述任务：这样来改进以上所说明的、具有环境监测装置的车辆，使得能够以尽可能小的花费实现更好的监测结果。同时，要指出一种用于运行环境监测装置的方法，所述方法满足所述要求。
根据本发明，该任务通过本发明的特征解决。
本发明基于下述构想：第一摄像机装置这样布置使得第一摄像机的图像采集区域包括第一车辆侧面的环境的至少一部分与车辆前面的环境的至少一部分或者车辆后面的环境的至少一部分，并且，第二摄像机的图像采集区域包括第二车辆侧面的环境的至少一部分与车辆前面的环境的至少一部分或者车辆后面的环境的至少一部分。
在此，车辆前面应理解为车辆的在行驶方向上最前方的面。典型地，在具有“前鼻”的轿车中，所述车辆前面是具有前转向灯的前板，并且，在具有“无前鼻式的”驾驶室的重型商用车中，这是驾驶室的、包括挡风玻璃的前面。以类似的方式，车辆后面应理解为车辆的在行驶方向上最后方的面。这在以典型的“三厢设计(three-box-design)”的轿车中是行李厢的区域中的后板，并且，在重型商用车中，这是例如车身的后覆板(Heckverkleidung)。然后，在同样地共同构成车辆的牵引车-挂车组合中，车辆后面由挂车车身的或者半挂车车身的后覆板构成。
车辆的棱边应理解为基本上竖直的和棱边式的接合线以及倒圆的接合线，所谓的车辆面在所述接合线上相互会聚。因此，这些棱边构成在车辆的外表层上或者说车身上的线或者说线状的结构，车辆前面或者说车辆后面在所述线或者说线状的结构上在方向改变的情况下过渡到车辆的两个侧面中。
借助于仅仅两个摄像机的这样的布置，不但能够监测车辆的两个侧面的环境而且能够监测车辆前面的环境或者车辆后面的环境。这实现了利用仅仅两个摄像机进行车辆的相对大的环境区域监测。
此外，彼此水平地隔开间距地布置的第一摄像机和第二摄像机相对于车辆前面的或者车辆后面的环境作为立体摄像机共同作用，因为第一摄像机的图像采集区域与第二摄像机的图像采集区域至少部分地在车辆前面的环境中或者在车辆后面的环境中重叠。从而有可能借助于图像数据融合生成位于所监测的环境中的对象的三维图像，和/或确定该对象到车辆的距离。然后，优选在图像分析利用装置中生成并且借助于图像显示装置示出这样的三维图像。
在车辆前面的和车辆后面的两个对碰撞特别关键的区域中，借助于由至少两个摄像机的立体拍摄进行的对象识别通常比当对象识别利用仅仅一个摄像机来进行时需要更小的计算消耗。优选地，基于立体摄像机的对象识别与对象识别算法组合，其中，在图像分析利用装置中的这样的对象识别算法配属于各个单个的摄像机。由此提高环境监测装置的鲁棒性(Robustheit)，因为在摄像机或者说其对象识别算法发生故障时，存在着以其它的摄像机的或者说其对象识别算法的形式的冗余。
此外，在困难的光照情况时下述布置是有利的，在所述布置中，例如由摄像机所提供的图像具有差的质量，所述差的质量能够被由其它的摄像机所提供的图像的可能更好的质量补偿。
此外，有可能使用混合蒙板(Blending-Masken)，例如用于合成(“拼接”)单个的被拍摄的图像，能够使所述混合蒙板基于对象的所求取的距离或者说所求取的位置而动态地改变，以便分别获得对象的最优的视图。
通过在申请文件中所列举的措施实现在本发明指出的发明有利的扩展方案和改进。
根据本发明，设置具有第一摄像机和第二摄像机的第一摄像机装置，所述第一摄像机装置监测两个侧面的环境，并且根据在车辆棱边上在前方或者在后方放置来附加地监测车辆前面的环境或者替代地监测车辆后面的环境。
为了实现对车辆的环境的在各个方面有利的整体监测，根据一种扩展方案，提出图像采集装置的第二摄像机布置，在该第二摄像机布置中，第三摄像机布置在车辆的不同于第一和第二棱边的第三棱边上，第一车辆侧面与车辆前面或者车辆后面在所述第三棱边上相互会聚，并且，在所述第二摄像机布置中，第四摄像机布置在车辆的不同于第一、第二和第三棱边的第四棱边上，第二车辆侧面与车辆前面或者车辆后面在所述第四棱边上相互会聚，这样相互会聚，使得，如果车辆前面的环境的至少一部分不被第一摄像机的图像采集区域包括，则第三摄像机的图像采集区域包括第一车辆侧面的环境的至少一部分和车辆前面的环境的所述至少一部分，或者，如果车辆后面的环境的至少一部分不被第一摄像机的图像采集区域包括，则第三摄像机的图像采集区域包括车辆后面的环境的所述至少一部分，并且，如果车辆前面的环境的至少一部分不被第二摄像机的图像采集区域包括，则第四摄像机的图像采集区域包括第二车辆侧面的环境的至少一部分和车辆前面的环境的所述至少一部分，或者，如果车辆后面的环境的至少一部分不被第二摄像机的图像采集区域包括，则第四摄像机的图像采集区域包括车辆后面的环境的所述至少一部分。
换言之，在所有四个车辆棱边上分别设置一个摄像机，所述摄像机的图像采集区域分别包括车辆侧面的环境的至少一部分以及车辆前面的或者车辆后面的环境的至少一部分。因此，能够利用仅仅四个摄像机对车辆环境进行四周监测。
特别优选地，第一摄像机和第二摄像机和/或第三摄像机和第四摄像机分别布置在分别所属的棱边上的最高点的区域中。换言之，那么所述摄像机布置在车辆的在竖直方向上看的“上角”上。
那么尤其能够以鸟瞰形式、即在竖直线上从上方看地拍摄。但是，替代地，也能够是全景透视图(Panoramaperspektive)。
这例如由此实现，第一图像采集区域和第二图像采集区域和/或第三图像采集区域和第四图像采集区域分别具有中轴线，所述中轴线具有竖直的分量。因为摄像机的图像采集区域从透镜出发在大多数情况下漏斗状或者锥状地扩大，图像采集区域的这样的中轴线理解为相应的漏斗的或者说锥的中轴线。换言之，图像采集区域的中轴线于是向下指向。
向下定向的摄像机的图像需要少的转换消耗来生成鸟瞰图，因为其已经向下定向，并且因此需要少量的视角调整。
根据一种扩展方案，构造环境监测装置的图像分析利用装置，在所述图像分析利用装置中输入由摄像机所拍摄的图像，
a)由第一摄像机装置和/或由第二摄像机装置所拍摄的并且输入到图像分析利用装置中的图像借助于单应性的转换投影到地面中，
b)基于投影到地面中的图像，借助于所集成的对象识别算法来识别至少一个可能位于车辆的环境中的对象，并且确定该对象相对于车辆的位置，
c)投影到所述地面中的图像被概括为唯一的示图并且该示图作为鸟瞰图生成，
d)将鸟瞰图输入到图像显示装置中，用于在那里显示。
尤其在“图像拼接”的情况下、即在由多个单图像组成图像用于显示的情况下，下述措施与摄像机的根据本发明的布置组合地实现：拼接轴线的位置能够一方面通过旋转并且另一方面通过平移动态地改变，以确保更好地显示所识别的对象。更准确地，由此得出实施例的以下的说明。
特别优选地，也设置与图像分析利用装置这样共同起作用的警报装置：在由于至少一个所识别的对象低于预先给定的到相关的车辆面的或者到车辆的最小间距时，产生警报信号。
如果在利用至少两个摄像机或者说利用四个摄像机进行以上所说明的环境监测时，尤其在车辆长的情况下会出现监测缺口，则附加地在第一车辆侧面和第二车辆侧面上分别能够布置有至少一个另外的摄像机，利用该另外的摄像机检测车辆的、未被第一摄像机的和第二摄像机的和/或第三摄像机的和第四摄像机的图像采集区域检测的环境区域。
本发明也涉及一种用于运行车辆的环境监测装置的方法，该环境监测装置包括至少一个摄像机装置、图像分析利用装置以及图像显示装置，所述方法至少包括以下步骤：
a)由摄像机装置拍摄车辆的环境的图像并且将代表这些图像的信号输入到图像分析利用装置中，所述摄像机装置包括至少两个布置在车辆的车辆棱边上的摄像机，所述摄像机的图像采集区域包括车辆前面的或者车辆后面的环境的至少一部分以及两个车辆侧面的环境的至少一部分，
b)由摄像机装置所拍摄的和输入到图像分析利用装置中的图像借助于单应性的转换被投影到地面中，
c)基于被投影到地面中的图像，借助于所集成的对象识别算法来识别至少一个可能位于车辆的环境中的对象并且确定该对象相对于车辆的位置，
d)被投影到地面中的图像被概括在唯一的示图中并且该示图作为鸟瞰图生成，
e)鸟瞰图被输入到图像显示装置中，用于在那里显示。
此外，下文将结合附图详细描述本发明的进一步改进措施和本发明的实施例。
附图说明
在附图中示出：
图1具有根据现有技术的环境监测装置的车辆的示意性俯视图，所述环境监测装置在两个车辆侧面上各具有一个摄像机并且在车辆前面上和车辆后面上各具有一个摄像机；
图2根据图1的、具有根据现有技术的环境监测装置的车辆的立体的示图，在该示图中能够看到四个摄像机的图像采集区域；
图3根据图1的、具有根据现有技术的环境监测装置的车辆的示意性俯视图，在该俯视图中能够看到四个摄像机的图像采集区域；
图4根据图1的、具有根据现有技术的环境监测装置的车辆的示意性俯视图，在该俯视图中能够看见四个摄像机的图像采集区域的可能的重叠，用于产生立体图像；
图5根据图1的、具有根据现有技术的环境监测装置的车辆的示意性俯视图，在该俯视图中示出借助于前摄像机所拍摄的对象的鸟瞰图；
图6a至6d根据图1的、具有根据现有技术的环境监测装置的车辆的示意性俯视图，在该俯视图中示出由不同的摄像机以鸟瞰形式所拍摄的图像的混合；
图7根据本发明的一种优选的实施方式的车辆的环境监测装置的高度示意性的示图；
图8根据本发明的一种优选的实施方式的、具有图7的环境监测装置的第一和第二摄像机装置的车辆的示意性俯视图，所述环境监测装置在车辆的每个外棱边上各具有一个摄像机；
图9具有图7的环境监测装置的第一和第二摄像机装置的车辆的立体示图，在该立体示图中能够看到四个摄像机的图像采集区域；
图10具有图7的环境监测装置的第一和第二摄像机装置的车辆的示意性俯视图，在该俯视图中能够看到四个摄像机的图像采集区域；
图11具有图7的环境监测装置的第一和第二摄像机装置的车辆的示意性俯视图，在该俯视图中能够看到四个摄像机的图像采集区域的重叠区域；
图12具有图7的环境监测装置的第一和第二摄像机装置的车辆的示意性的俯视图，在该俯视图中示出借助于两个前方的摄像机所拍摄的对象的鸟瞰图；
图13a至13f具有图7的环境监测装置的第一和第二摄像机装置的车辆的示意性俯视图，在该俯视图中示出由不同的摄像机以鸟瞰形式所拍摄的图像的混合；
图14a和14b具有图7的环境监测装置的第一和第二摄像机装置的以及具有另外的在侧面布置的摄像机的车辆的示意性俯视图；
图15牵引车-挂车组合在没有挂车或者说半挂车的情况下的牵引车的立体视图，在该牵引车中，在驾驶室的后面上布置有用于监测的后面区域的附加的摄像机；
图16一种方法的优选的实施方式的步骤的流程图，所述步骤由根据本发明的环境监测装置实施。
具体实施方式
图1示出具有根据现有技术的环境监测装置100的商用车1的示意性俯视图，所述环境监测装置在车辆前面上具有摄像机2a，在两个车辆侧面10、12上各具有一个摄像机2b、2c并且在车辆后面16上具有摄像机2d。
在图2中示出根据图1的、具有根据现有技术的环境监测装置100的商用车1的立体的示图，在该示图中能够看到四个摄像机2a至2d的图像采集区域3a至3d。由此，图像采集区域3a至3d分别锥状地或者漏斗状地从各自的摄像机2a至2d出发倾斜向下朝向商用车1的地表支承面18或者说朝向地面18延伸。
如由图3得知，该图示出了图像采集区域3a至3d在地表支承面18中的投影，四个摄像机2a至2d的图像采集区域3a至3d能够在车辆棱边或者车辆拐角区域中在重叠区域4ab、4bd、4cd和4ac中重叠。然而，如也从图4得知，这些重叠区域4ab、4bd、4cd和4ac仅被限制到商用车1的边缘区域上。那么仅仅在这些车辆边缘侧的、共同构成立体检测区域5的重叠区域4ab、4bd、4cd和4ac中，能够是立体图像、即由至少两个摄像机2a至2d并行地拍摄的图像。
图5示出根据图1的、具有根据现有技术的环境监测装置100的商用车1的示意性俯视图，在该俯视图中示出借助于唯一的前摄像机2a所拍摄的对象的鸟瞰图6，该对象大致居中地位于商用车1的车辆前面14之前，并且因此不处于根据图4的车辆棱边侧的立体检测区域5中。因此，该对象的立体图像拍摄是不可能的。
在图6a至图6d中示出根据图1的、具有根据现有技术的环境监测装置100的商用车1的示意性俯视图，在该俯视图中示出对象的由两个摄像机2a和2b在鸟瞰图6中所拍摄的图像的混合。在这种情况下，所述对象位于两个摄像机的、即在第一车辆侧面10上的摄像机2b(图6a)和在车辆前面14上的摄像机2a(图6b)的重叠区域4ac或者说立体检测区域5中，其中，分别在鸟瞰图6中看到由相应的摄像机2a或者说2b记录的图像。
在图6c看到由两个摄像机2a和2b所拍摄的图像的立体图像7，并且在图6d中看到沿着混合轴线9并合的图像(拼接)的鸟瞰图8。如从图6d得知，对象6的鸟瞰图8是不完全的，因为在混合或者拼接时丢失了一部分。所以只能困难地识别所述对象。
利用本发明的以下所说明的优选的实施例避免在以上所说明的现有技术中存在的缺点。
在图7中示出根据本发明的一种优选的实施方式的环境监测装置100的高度示意性的示图，例如所述环境监测装置在这里布置在重型商用车1上。环境监测装置具有用于拍摄位于商用车1的环境中的对象的图像的图像采集装置110，所述图像采集装置将代表所述对象的图像的图像信号输入到图像分析利用装置120中。在对图像信号的分析利用或者说处理(下文还将说明)之后，在图像显示装置130中，例如在布置在商用车1的驾驶室140中的监视器中示出所拍摄的对象的相应的图像。
图8示出根据本发明的一种优选的实施方式的、具有图7的环境监测装置100的第一和第二摄像机装置的商用车1的示意性俯视图，所述环境监测装置在所述商用车1的每个外棱边上各具有一个摄像机2a至2d。
如根据图8和图9能够容易地设想，在图8中示意性地示出的、商用车在地面中的投影面是接近矩形的，并且因此在车辆前面14与两个车辆侧面10、12之间的以及在两个车辆侧面与车辆后面16之间的过渡部上具有过渡棱边。
因此，这样的过渡棱边或者车辆棱边应理解为基本上竖直的和棱边式的接合线以及倒圆的接合线，在所述接合线上，车辆前面14接合或者说过渡到两个车辆侧面10、12上并且两个车辆侧面接合或者说过渡到车辆后面16上。因此，车辆棱边构成在商用车的外表层或者说车身上的线或者说线状的结构，在所述线或者说线状的结构上，车辆前面14或者说车辆后面16以例如90度的方向改变过渡到两个车辆侧面10、12中。
在图像采集装置的第一摄像机布置中，根据图8，第一摄像机2a布置在商用车1的第一棱边的区域中，在该第一棱边上，第一车辆侧面10和车辆前面14相互会聚，并且，在所述第一摄像机布置中，第二摄像机2b布置在商用车1的不同于第一棱边的第二棱边的区域中，在该第二棱边上，不同于第一车辆侧面10的第二车辆侧面12和车辆前面14相互会聚。
如从图9和图10得知，第一摄像机2a的图像采集区域3a包括第一车辆侧面10的环境的至少一部分和车辆前面14的环境的至少一部分，并且，第二摄像机2b的图像采集区域3b包括第二车辆侧面12的环境的至少一部分和车辆前面14的环境的至少一部分。
此外，图像采集装置110也包括第二摄像机装置，在该第二摄像机装置中，第三摄像机2c布置在商用车的不同于第一和第二棱边的第三棱边上，第一车辆侧面10和车辆后面16在该第三棱边上相互会聚，并且，在该第二摄像机装置中，第四摄像机2d布置在商用车1的不同于第一、第二和第三棱边的第四棱边上，第二车辆侧面12和车辆后面16在该第四棱边上相互会聚。
在此，第三摄像机2c的图像采集区域3c包括第一车辆侧面10的环境的至少一部分和车辆后面16的环境的至少一部分。第四摄像机2d的图像采集区域3d包括第二车辆侧面12的环境的至少一部分和车辆后面16的环境的至少一部分。
换言之，在所有四个车辆棱边上分别设置一个摄像机2a至2d，所述摄像机的图像采集区域3a至3d分别包括车辆侧面10、12的环境的至少一部分以及车辆前面14的或者车辆后面16的环境的至少一部分。借此，能够利用仅仅四个摄像机对车辆环境进行四周监测，如从图10得知，在该图中示出重叠区域4ab、4ac、4bd和4cd，在所述重叠区域中，图像能够被至少两个摄像机拍摄。这些重叠区域4ab、4ac、4bd和4cd共同构成四个摄像机2a至2d的图像采集区域5，在所述图像采集区域中能够利用分别至少两个摄像机对对象进行立体检测，并且所述图像采集区域在图11中理想化地示出。
根据替代的实施方式，也能够在两个前方的车辆棱边上设置仅仅一个具有第一摄像机2a和第二摄像机2b的第一摄像机装置，或者也能够在两个后方的车辆棱边上设置仅仅一个具有第三摄像机2c和第四摄像机2d的第二摄像机装置，其中，因此或者监测商用车1的前方环境和两个侧面环境或者监测后方环境和两个侧面环境。
如尤其从图9得知，四个摄像机2a至2d优选地分别布置在分别所属的车辆棱边上的最高点的区域中。换言之，那么所述摄像机2a至2d布置在商用车1的在竖直方向上看的“上角”上。尤其能够以鸟瞰形式、即在竖直线上从上方看地拍摄。
如果从漏斗状或者锥状的图像采集区域3a至3d分别具有假想的中轴线出发，则所述中轴线于是被视为向量地分别具有竖直的分量。换言之，那么四个摄像机2a至2d的图像采集区域3a至3d的中轴线向下指向。
图12示出借助于两个在前方的摄像机2a和2d所拍摄的对象的立体拍摄作为鸟瞰图7，所述对象位于商用车1的车辆前面14前方。因此，鸟瞰图7由对象的来自不同的视角或者视向的两个示图组成。
在图13a至13f逐步地示出在图12的实施例上进行图像分析利用的操作方式。
图13a示出对象6的如其由左前方的摄像机2b提供的示图，并且图13b示出对象6的如其由右前方的摄像机2a提供的示图。
在图13c中，由两个摄像机2a和2b的示图组成的重叠或者说立体图像作为鸟瞰图7示出。
图13d以鸟瞰图示出唯一的示图8，该示图由对象6的、两个摄像机2a和2b的单图概括(混合或者拼接)产生，其中，以粗的虚线示出可见的部分并且以细的虚线示出不可见的部分。在此，混合轴线9居中地位于两个摄像机2a和2b之间并且垂直于车辆前面14。
为了在鸟瞰图中获得对象6的改进的单个的示图8，混合轴线9根据图13e首先动态地转动并且然后根据图13f通过动态的平移在这里例如向右移动。
如果在利用四个摄像机2a至2d进行以上所说明的环境检测时尤其在车辆长的情况下会出现监测缺口，则根据在图14a和图14b中所示出的实施方式能够附加地在第一车辆侧面10和第二车辆侧面12上分别布置一个另外的摄像机2e或者说2f，利用所述另外的摄像机检测商用车1的、未能被最初的四个摄像机2a至2d的图像采集区域检测的环境区域。这种实施方式涉及特别长的车辆或者说车辆组，例如牵引车-挂车组合或者说牵引车-半挂车组合。在图14a中示出例如六个摄像机2a至2f的图像采集区域3，并且在图14b中理想化地示出所述六个摄像机2a至2f的立体检测区域5。
附加于布置在车辆棱边上的四个摄像机2a至2d之外，任意数量的另外的摄像机能够布置在商用车的所有的面上并且尤其布置在车辆侧面10、12上、车辆前面14上和车辆后面16上。
在图15中示出例如具有附加的摄像机2g的实施方式，该附加的摄像机在没有挂上半挂车的牵引车1的驾驶室140的背后的壁上，该附加的摄像机的图像采集区域3g在这里检测例如在驾驶室140后方的环境。
图16示出一种方法的优选的实施方式的步骤的流程图，所述步骤通过以上所说明的环境监测装置100实施。
根据图16的步骤1，借助于至少一个具有例如鱼眼镜头(fish eye lens)的摄像机装置拍摄车辆的环境的图像。在此，摄像机装置包括至少两个布置在车辆的车辆棱边上的摄像机，所述摄像机的图像采集区域包括车辆前面的或者车辆后面的环境的至少一部分以及两个车辆侧面的环境的至少一部分。代表所拍摄的图像的信号然后被输入到图像分析利用装置中。
在步骤2中，在图像分析利用装置中补偿例如鱼眼镜片的畸变。
在步骤3中，使在畸变方面被补偿的图像经受单应性的转换，以便将图像转换到车辆的地表支承面中或者说地表面中。
因此然后(步骤4)，在图像分析利用装置中分析、尤其相互比较被转换到地表面中的图像。图像的分析利用或者说分析例如由此进行：被投影到地表面18中的图像是否不同，并且，如果是，则至少一个具有超过地表面18的高度的三维的对象位于摄像机2a至2d的图像采集区域3a至3d之内。因为在这种情况下，对象从不同的拍摄角度出现，如所述拍摄角度由多个摄像机2a至2d提供，对象也在不同的示图中出现，如图13c已经在上面说明。如果否，则从此出发：没有三维的对象位于摄像机2a至2d的图像采集区域3a至3d中。
在步骤5中，从所拍摄的并且被投影到地表面中的立体图像以及从通过不同的摄像机的不同的示图(视角)确定所识别的一个对象的或者所识别的一些对象在车辆的环境中的位置。
在步骤6中，被投影到地表面中的图像被并合(拼接或者说混合)为唯一的图像，以便获得车辆的整个环境的鸟瞰图。同时，根据对象的所求取的位置或者被识别的对象的所求取的位置，在需要的情况下也能够产生警报信号。
在图像分析利用装置120中进行步骤2至6的实施(见图7)，所述步骤2至6涉及在步骤1中所拍摄的图像的分析利用。
最后，在步骤7中，借助于图像显示装置130例如在驾驶室140中的监视器上示出合成为唯一的示图的单图像(拼接或者说混合)。在此，附加地也能够光学地和/或声学地输出所述警报信号。
因此，概括根据图16的方法，该方法至少包括以下的步骤：
a)由至少一个图像采集装置110拍摄车辆1的环境的图像并且将代表该图像的信号输入到图像分析利用装置120中，所述图像采集装置包括至少两个布置在车辆的车辆棱边上的摄像机2a、2b或者说2c、2d，所述摄像机的图像采集区域3a、3b或者说3c、3d包括车辆前面14的或者车辆后面16的环境的至少一部分以及两个车辆侧面10、12的环境的至少一部分，
b)由图像采集装置110所拍摄的和输入到所述图像分析利用装置120中的图像借助于单应性的转换被投影到地面180中，
c)基于被投影到地面18中的图像，借助于所集成的对象识别算法来识别至少一个位于车辆的环境中的对象6并且确定其相对于车辆1的位置，
d)被投影到地面18中的图像被概括(“拼接”)为唯一的示图8并且该示图8作为鸟瞰图生成，
e)鸟瞰图8被输入到图像显示装置130中，用于在那里显示。
f)根据所识别的对象6的所求取的位置产生警报信号。
警报装置135(图7)与图像分析利用装置120这样共同作用，使得在由于至少一个所识别的对象6低于预先给定的、到相关的车辆面10至16或者到车辆1的最小间距时，产生警报信号。
仅仅可选地并且例如在驾驶员辅助系统的框架下设置以上的步骤f)以及警报装置135。与之相对地，可能足够的是，驾驶员能够根据在图像显示装置130上所示出的(环视)示图8评估，是否存在碰撞危险。
参考标记列表
1 车辆
2 摄像机
3 图像采集区域
4 重叠区域
5 立体检测区域
6 单一的摄像机的鸟瞰图
7 至少两个摄像机的立体图像
8 合成的图像的示图
9 混合轴线
10 第一车辆侧面
12 第二车辆侧面
14 车辆前面
16 车辆后面
100 环境监测装置
110 图像采集装置
120 图像分析利用装置
130 图像显示装置
135 警报装置
140 驾驶室

Claims (11)

1.车辆（1），具有监测所述车辆的环境的环境监测装置（100），所述环境监测装置包括a）具有至少两个摄像机（2a、2b、2c、2d）的图像采集装置（110），所述图像采集装置拍摄所述车辆（1）的环境的和/或所述车辆（1）自身的图像，和b）所述图像采集装置（110）的第一摄像机布置，在所述第一摄像机布置中，第一摄像机（2a）布置在所述车辆（1）的第一棱边的区域中，在所述第一棱边上，第一车辆侧面（10）与车辆前面（14）或者车辆后面（16）相互会聚，并且，在所述第一摄像机布置中，第二摄像机（2b）布置在所述车辆（1）的不同于所述第一棱边的第二棱边的区域中，在所述第二棱边上，不同于所述第一车辆侧面（10）的第二车辆侧面（12）与所述车辆前面（14）或者所述车辆后面（16）相互会聚，其中，c）此外，所述第一摄像机装置这样布置：所述第一摄像机（2a）的第一图像采集区域（3a）包括所述第一车辆侧面（10）的环境的至少一部分与所述车辆前面（14）的环境的至少一部分或者所述车辆后面（16）的环境的至少一部分，并且，所述第二摄像机（2b）的第二图像采集区域（3b）包括所述第二车辆侧面（12）的环境的至少一部分与所述车辆前面（14）的环境的至少一部分或者所述车辆后面（16）的环境的至少一部分；其中，基于立体摄像机的对象识别与对象识别算法组合，在图像分析利用装置中对象识别算法配属于各个单个的摄像机，其中，图像分析利用装置构造成将被投影到地面（18）中的图像概括为唯一的示图并且该唯一的示图作为鸟瞰图（8）生成，所述唯一的示图由对象的至少两个摄像机的单图混合或者拼接产生。
2.根据权利要求1所述的车辆（1），其特征在于，所述图像采集装置（110）包括第二摄像机布置，在所述第二摄像机布置中，a）第三摄像机（2c）布置在所述车辆（1）的不同于第一和第二棱边的第三棱边上，所述第一车辆侧面（10）与所述车辆前面（14）或者所述车辆后面（16）在所述第三棱边上相互会聚，并且，在所述第二摄像机布置中，第四摄像机（2d）布置在所述车辆（1）的不同于第一、第二和第三棱边的第四棱边上，所述第二车辆侧面（12）与所述车辆前面（14）或者所述车辆后面（16）在所述第四棱边上相互会聚，使得，b）如果所述车辆前面（14）的环境的至少一部分不被所述第一摄像机（2a）的第一图像采集区域（3a）包括，则所述第三摄像机（2c）的第三图像采集区域（3c）包括所述第一车辆侧面（10）的环境的至少一部分和所述车辆前面（14）的环境的所述至少一部分，或者，如果所述车辆后面（16）的环境的至少一部分不被所述第一摄像机（2a）的第一图像采集区域（3a）包括，则所述第三摄像机的图像采集区域包括所述车辆后面（16）的环境的所述至少一部分，并且c）如果所述车辆前面（14）的环境的至少一部分不被所述第二摄像机（2b）的所述第二图像采集区域（3b）包括，则所述第四摄像机（2d）的第四图像采集区域（3d）包括所述第二车辆侧面（12）的环境的至少一部分和所述车辆前面（14）的环境的所述至少一部分，或者，如果所述车辆后面（16）的环境的至少一部分不被所述第二摄像机（2b）的第二图像采集区域（3b）包括，则所述第四摄像机的图像采集区域包括所述车辆后面（16）的环境的所述至少一部分。
3.根据权利要求1或2所述的车辆（1），其特征在于，所述第一摄像机（2a）和所述第二摄像机（2b）和/或第三摄像机（2c）和第四摄像机（2d）分别布置在分别所属的棱边上的最高点的区域中。
4.根据权利要求3所述的车辆（1），其特征在于，所述第一图像采集区域（3a）和所述第二图像采集区域（3b）和/或第三图像采集区域（3c）和第四图像采集区域（3d）分别具有中轴线，所述中轴线具有竖直的分量。
5.根据权利要求4所述的车辆（1），其特征在于，所述图像分析利用装置这样构造：a）由所述第一摄像机装置和/或由第二摄像机装置所拍摄的并且输入到所述图像分析利用装置（120）中的图像借助于单应性的转换投影到地面（18）中，b）基于投影到所述地面（18）中的图像借助于集成的对象识别算法来识别至少一个可能位于所述车辆（1）的环境中的对象（6）并且确定所述对象的相对于所述车辆（1）的位置，c）被投影到所述地面（18）中的图像被概括为唯一的示图并且该示图作为鸟瞰图（8）生成，d）将所述鸟瞰图（8）输入到图像显示装置（130）中，用于在那里显示。
6.根据权利要求5所述的车辆（1），其特征在于，与所述图像分析利用装置（120）这样共同作用的警报装置（135）：在至少一个所识别的对象（6）到相关的车辆面（10、12、14、16）或者到所述车辆（1）低于预先给定的最小间距时，产生警报信号。
7.根据权利要求1或2所述的车辆（1），其特征在于，所述车辆前面（14）构成所述车辆（1）的最前方的面，并且，所述车辆后面（16）构成所述车辆（1）的最后方的面。
8.根据权利要求1或2所述的车辆（1），其特征在于，所述车辆为商用车，并且，所述车辆前面（14）包括所述商用车的驾驶室（140）的前面。
9.根据权利要求1或2所述的车辆（1），其特征在于，所述车辆为单个车辆或者车辆组。
10.根据权利要求1或2所述的车辆（1），其特征在于，附加地在所述第一车辆侧面（10）和所述第二车辆侧面（12）上分别布置有至少一个另外的摄像机（2e、2f），利用所述另外的摄像机检测所述车辆（1）的、未被所述第一摄像机（2a）的第一图像采集区域（3a）和所述第二摄像机（2b）的第二图像采集区域（3b）和/或第三摄像机（2c）的第三图像采集区域（3c）和第四摄像机（2d）的第四图像采集区域（3d）检测的环境区域。
11.用于运行车辆（1）的环境监测装置（100）的方法，所述环境监测装置包括至少一个图像采集装置（110）、图像分析利用装置（120）以及图像显示装置（130），所述方法至少包括以下步骤：a）由所述图像采集装置（110）拍摄所述车辆（1）的环境的图像并且将代表这些图像的信号输入到所述图像分析利用装置（120）中，所述图像采集装置包括至少两个布置在所述车辆（1）的车辆棱边上的摄像机（2a、2b），所述摄像机的图像采集区域（3a、3b）包括车辆前面（14）的或者车辆后面（16）的环境的至少一部分以及两个车辆侧面（10、12）的环境的至少一部分，b）由所述图像采集装置（110）所拍摄的和输入到所述图像分析利用装置（120）中的图像借助于单应性的转换被投影到地面（18）中，c）基于被投影到所述地面（18）中的图像借助于所集成的对象识别算法来识别至少一个可能位于所述车辆（1）的环境中的对象并且确定所述对象的相对于所述车辆（1）的位置，d）被投影到所述地面（18）中的图像被概括为唯一的示图并且该唯一的示图作为鸟瞰图（8）生成，其中所述唯一的示图由对象的至少两个摄像机的单图混合或者拼接产生，e）所述鸟瞰图（8）被输入到所述图像显示装置（130）中，用于在那里显示，其中，基于立体摄像机的对象识别与对象识别算法组合，在图像分析利用装置中对象识别算法配属于各个单个的摄像机。
CN201580039918.XA 2014-06-20 2015-06-11 具有环境监测装置的车辆以及用于运行这种监测装置的方法 Active CN106537904B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014108684.8A DE102014108684B4 (de) 2014-06-20 2014-06-20 Fahrzeug mit Umfeldüberwachungseinrichtung sowie Verfahren zum Betreiben einer solchen Überwachungseinrichtung
DE102014108684.8 2014-06-20
PCT/EP2015/063000 WO2015193158A1 (de) 2014-06-20 2015-06-11 Fahrzeug mit umfeldüberwachungseinrichtung sowie verfahren zum betreiben einer solchen überwachungseinrichtung

Publications (2)

Publication Number Publication Date
CN106537904A CN106537904A (zh) 2017-03-22
CN106537904B true CN106537904B (zh) 2020-02-07

Family

ID=53404532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580039918.XA Active CN106537904B (zh) 2014-06-20 2015-06-11 具有环境监测装置的车辆以及用于运行这种监测装置的方法

Country Status (5)

Country Link
US (1) US10710506B2 (zh)
EP (1) EP3157786B1 (zh)
CN (1) CN106537904B (zh)
DE (1) DE102014108684B4 (zh)
WO (1) WO2015193158A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014108684B4 (de) 2014-06-20 2024-02-22 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Fahrzeug mit Umfeldüberwachungseinrichtung sowie Verfahren zum Betreiben einer solchen Überwachungseinrichtung
EP3081433A1 (en) * 2015-10-12 2016-10-19 Continental Automotive GmbH An improved camera module for vehicle
WO2017115371A1 (en) * 2015-12-30 2017-07-06 Foresight Automotive Ltd. Apparatus and method for avoiding vehicular accidents
DE102017108254B4 (de) 2016-04-19 2019-10-02 GM Global Technology Operations LLC Rundumsichtkamerasystem zur Objekterkennung und -verfolgung und Verfahren zum Ausstatten eines Fahrzeugs mit einem Rundumsichtkamerasystem
US10829044B2 (en) * 2016-08-08 2020-11-10 Koito Manufacturing Co., Ltd. Vehicle monitoring system using a plurality of cameras
DE102016116859A1 (de) 2016-09-08 2018-03-08 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Sensoranordnung für ein autonom betriebenes Nutzfahrzeug und ein Verfahren zur Rundumbilderfassung
US10518702B2 (en) * 2017-01-13 2019-12-31 Denso International America, Inc. System and method for image adjustment and stitching for tractor-trailer panoramic displays
DE102017209427B3 (de) * 2017-06-02 2018-06-28 Volkswagen Aktiengesellschaft Vorrichtung zur Fahrschlauchabsicherung
CN107627959B (zh) * 2017-09-20 2022-05-17 鹰驾科技（深圳）有限公司 机动车的全景视频监测方法及系统
DE102018119026A1 (de) * 2018-08-06 2020-02-06 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Kameraüberwachungssystem
JP2020040750A (ja) * 2018-09-07 2020-03-19 株式会社豊田自動織機 産業車両用運転支援装置
EP3627183B1 (en) * 2018-09-18 2022-05-11 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Control system for autonomous driving of a vehicle
CN110329154A (zh) * 2019-06-28 2019-10-15 苏州上善知源汽车电子有限公司 可用于远程车辆控制及高速辅助场景的汽车全景影像系统
CN110303986A (zh) * 2019-07-02 2019-10-08 宁波胜维德赫华翔汽车镜有限公司 一种增强视野的摄像头监控系统
DE102020202122A1 (de) 2020-02-19 2021-08-19 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Übertragung von Information von einem ersten an ein zweites Fahrzeug
CN113492754B (zh) * 2020-03-20 2023-03-14 际络科技(上海)有限公司 商用车辆的驾驶环境探测系统、商用车辆的驾驶舱及商用车辆
EP4215416A1 (en) * 2022-01-19 2023-07-26 Volvo Truck Corporation A method of combining two images with an overlapping field of view to generate a wide-angle view extending around at least 270°

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6923080B1 (en) * 2000-07-20 2005-08-02 Daimlerchrysler Ag Device and method for monitoring the surroundings of an object
CN101256073A (zh) * 2007-02-28 2008-09-03 三洋电机株式会社 车辆四周监视装置及方法
TW201319520A (zh) * 2011-11-09 2013-05-16 Altek Autotronics Corp 盲點偵測警示系統

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4677364B2 (ja) 2006-05-23 2011-04-27 株式会社村上開明堂 車両監視装置
US8094182B2 (en) 2006-11-16 2012-01-10 Imove, Inc. Distributed video sensor panoramic imaging system
JP2008187566A (ja) 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
CN101030316B (zh) * 2007-04-17 2010-04-21 北京中星微电子有限公司 一种汽车安全驾驶监控系统和方法
FR2932595B1 (fr) 2008-06-13 2010-12-24 Valeo Vision Sas Procede d'affichage d'aide au parking.
DE102008035428B4 (de) 2008-07-30 2010-11-18 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
JP2010287029A (ja) 2009-06-11 2010-12-24 Konica Minolta Opto Inc 周辺表示装置
EP2375376B1 (en) 2010-03-26 2013-09-11 Alcatel Lucent Method and arrangement for multi-camera calibration
CN103080990B (zh) 2011-06-07 2015-04-01 株式会社小松制作所 作业车辆的周边监视装置
DE102011077143A1 (de) 2011-06-07 2012-12-13 Robert Bosch Gmbh Fahrzeugkamerasystem und Verfahren zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung
DE102011088332B4 (de) 2011-12-13 2021-09-02 Robert Bosch Gmbh Verfahren zur Verbesserung der Objektdetektion bei Multikamerasystemen
DE102012014448A1 (de) 2012-07-21 2014-01-23 Daimler Ag Nutzfahrzeug mit Bilderfassungseinrichtung
DE102012215322A1 (de) 2012-08-29 2014-03-06 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur
US20150286878A1 (en) 2014-04-08 2015-10-08 Bendix Commercial Vehicle Systems Llc Generating an Image of the Surroundings of an Articulated Vehicle
DE102014108684B4 (de) 2014-06-20 2024-02-22 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Fahrzeug mit Umfeldüberwachungseinrichtung sowie Verfahren zum Betreiben einer solchen Überwachungseinrichtung
US10089538B2 (en) * 2015-04-10 2018-10-02 Bendix Commercial Vehicle Systems Llc Vehicle 360° surround view system having corner placed cameras, and system and method for calibration thereof
EP3081433A1 (en) * 2015-10-12 2016-10-19 Continental Automotive GmbH An improved camera module for vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6923080B1 (en) * 2000-07-20 2005-08-02 Daimlerchrysler Ag Device and method for monitoring the surroundings of an object
CN101256073A (zh) * 2007-02-28 2008-09-03 三洋电机株式会社 车辆四周监视装置及方法
TW201319520A (zh) * 2011-11-09 2013-05-16 Altek Autotronics Corp 盲點偵測警示系統

Also Published As

Publication number Publication date
US10710506B2 (en) 2020-07-14
CN106537904A (zh) 2017-03-22
EP3157786B1 (de) 2019-03-06
EP3157786A1 (de) 2017-04-26
WO2015193158A1 (de) 2015-12-23
DE102014108684B4 (de) 2024-02-22
US20170166132A1 (en) 2017-06-15
DE102014108684A1 (de) 2015-12-24

Similar Documents

Publication Publication Date Title
CN106537904B (zh) 具有环境监测装置的车辆以及用于运行这种监测装置的方法
US10899277B2 (en) Vehicular vision system with reduced distortion display
US11472338B2 (en) Method for displaying reduced distortion video images via a vehicular vision system
EP3394833B1 (en) Dynamic image blending for multiple-camera vehicle systems
US11910123B2 (en) System for processing image data for display using backward projection
CN109691088B (zh) 图像处理设备、图像处理方法、以及程序
US20160082887A1 (en) Vehicle vision system using kinematic model of vehicle motion
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
CN107627959B (zh) 机动车的全景视频监测方法及系统
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
US20090022423A1 (en) Method for combining several images to a full image in the bird's eye view
EP1288618A2 (en) Driving assistance display apparatus
CN107027329B (zh) 将行进工具的周围环境的局部图像拼接成一个图像
CN104321224A (zh) 具有摄像机监控系统的机动车
JP2018531530A (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP2009206747A (ja) 車両用周囲状況監視装置及び映像表示方法
JP6699427B2 (ja) 車両用表示装置および車両用表示方法
US9162621B2 (en) Parking support apparatus
JP7000383B2 (ja) 画像処理装置および画像処理方法
CN113498527A (zh) 具有动态拼接的镜更换系统
CN113508574A (zh) 成像系统和方法
JP2017117357A (ja) 立体物検知装置
JP2020119492A (ja) 画像合成装置、及び、制御方法
CN112532915A (zh) 车外监视装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant