CN109711423A - 用于机动车的外部区域中物体的形状识别的方法及机动车 - Google Patents

用于机动车的外部区域中物体的形状识别的方法及机动车 Download PDF

Info

Publication number
CN109711423A
CN109711423A CN201811252541.8A CN201811252541A CN109711423A CN 109711423 A CN109711423 A CN 109711423A CN 201811252541 A CN201811252541 A CN 201811252541A CN 109711423 A CN109711423 A CN 109711423A
Authority
CN
China
Prior art keywords
scan line
motor vehicle
profile
image
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811252541.8A
Other languages
English (en)
Other versions
CN109711423B (zh
Inventor
D.勒本
C.埃尔富尔特
M.穆西亚尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of CN109711423A publication Critical patent/CN109711423A/zh
Application granted granted Critical
Publication of CN109711423B publication Critical patent/CN109711423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于在机动车的外部区域中的物体的形状识别的方法，其中，在至少两个不同的测量时间点分别生成图像，并且在图像中的第一图像中确定至少一个扫描线，并且在图像中的每个其它的图像中确定相对应的扫描线，并且对于第一图像的每个扫描线获取沿着扫描线所得出的轮廓，并且沿着每个其它的图像的分别相对应的扫描线获取所得出的相对应的轮廓，并且通过将第一图像的每个扫描线的轮廓与每个其它的图像的分别相对应的轮廓进行比较，获取特征化的区域在测量时间点之间所得出的相应的移动距离并且取决于每个特征化的区域的所获取的移动距离在物体与背景之间进行区分。

Description

用于机动车的外部区域中物体的形状识别的方法及机动车
技术领域
本发明涉及一种用于测量(Vermessen)在机动车的外部区域中的物体的方法。在机动车相对于物体运动期间，测量光学地借助于摄像头来实现。一种用于执行该方法的控制装置以及一种带有根据本发明的控制装置的机动车也属于本发明。
背景技术
如果想要使机动车相对于物体进行机动和/或使物体与机动车连接或联接到机动车处，则有利的是，了解该物体的尺寸或几何结构。当机动车的机动应该自动地实现、也就是说在没有驾驶员的协助的情况下通过控制装置进行时，那么这尤其是这种情况。
一个针对这样的机动的示例是挂车(Anhänger)到机动车处的联接。为了机动车的挂车联结部(Anhängerkupplung)靠近到挂车的牵引杆(Deichsel)处并且定位在预先确定的目标位置或联接位置中，挂车联结部的空间上的位置必须是已知的。
为此由文件EP 3 081 405 A2已知，在机动车靠近到挂车牵引杆处期间借助于标记(Marker)获取相对位置，该标记使得挂车牵引杆的位置可识别。该标记可以例如将挂车牵引杆的GPS坐标以信号的方式指示。此外考虑，借助于摄像头或其它的传感器、例如雷达来测定挂车牵引杆的位置。针对光学的位置测定(Ortung)的准确的算法没有被描述。标记的使用如下是不利的，即，对于挂车必须提供这样的标记，这使得这种解决方案成本昂贵。
由文件WO 2016/155919 A1已知，使用一种摄像头，以便明确挂车牵引杆的位置。在此，在摄像头的摄像头图像中再识别挂车牵引杆的形状。在此，需要将挂车牵引杆的几何结构在机动车中存储在数据图书馆(Datenbibliothek)中，由此该几何结构然后可以在摄像头图像中被再识别。但是这需要对于每个应该可以联接到机动车处的挂车在数据图书馆中提供适合的几何结构数据。
由文件GB 2513393 A已知，借助于图像处理基于摄像头图像获取挂车关于机动车的相对位置。此处也必须事先借助于带有几何结构数据的数据库(Datei)使得挂车的几何结构对机动车已知。
由文件WO 2012/080044 A1已知一种方法，以便基于光学的流(Fluss)获取在机动车与在机动车的外部区域中的物体之间的相对运动，该光学的流由摄像头的图像序列(Bildsequenz)形成。在此，没有设置有物体的形状识别。
发明内容
本发明基于如下任务，从机动车出来，识别处于机动车的外部区域中的物体的形状。
该任务通过独立专利权利要求的对象来解决。本发明的有利的实施方式通过从属专利权利要求、如下说明书以及附图来得到。
通过本发明提供一种用于在机动车的外部区域中的物体的形状识别的方法。该方法在机动车相对于物体运动期间执行。在此，通过机动车的控制装置借助于摄像头在至少两个不同的测量时间点分别生成图像。图像示出在外部区域的背景前的物体。在图像中的第一图像中确定至少一个采样线(Abtastlinie)或扫描线(Scanlinie)。扫描线是图像中的假想的线，沿着该扫描线观察或分析图像的各个像素的像素值。相对于每个扫描线在图像中的每个其它的图像中确定相对应的扫描线。每个相对应的扫描线在相应的图像中具有与第一图像的从属的扫描线相同的走向，其与所述扫描线相对应。因此，相对应的扫描线具有与从属的扫描线相同的形状。
对于第一图像的每个扫描线，对于预先确定的图像特性、例如像素的像素亮度或颜色值，获取沿着扫描线所得出的轮廓。相应地，沿着每个其它的图像的分别相对应的扫描线获取所得出的相对应的轮廓。因此，每个轮廓描述图像特性、即例如像素的像素亮度或颜色值沿着相应的扫描线的相应的走向。针对第一图像的每个扫描线，按照扫描线的轮廓获取扫描线的至少一个特征化的区域。这样的特征化的区域是带有预先确定的特征化的形状的轮廓区段。针对这一特征化的区域的示例可以是在轮廓的走向中的最大部(Maximum)或双顶部(Doppelspitze)。这样的特征化的区域可以在相对应的扫描线中被再识别。相应地，通过将第一图像的每个扫描线的轮廓与每个其它的图像的分别相对应的轮廓进行比较，在分别相对应的轮廓中再识别至少一个特征化的区域。换言之，因此针对第一图像的每个扫描线，获取该扫描线的轮廓的至少一个特征化的区域，并且通过将该轮廓与每个其它的图像的相应的相对应的轮廓进行比较，在分别相对应的轮廓中再识别至少一个特征化的区域。现在可以识别出，在该轮廓和相对应的轮廓中，特征化的区域分别处于何处。可以识别出，所述轮廓相对彼此移动多远。然后针对每个扫描线的轮廓的每个特征化的区域，获取特征化的区域沿着相应的扫描线的在测量时间点之间所得出的移动距离。因此，检查或识别出，特征化的区域由于机动车相对于物体的相对运动在图像中沿着相应的扫描线移动多远。该移动取决于相应的图像内容(物体或背景)与摄像头的间距。这种效果也被称为视差(Parallaxe)。相应地，沿着每个扫描线取决于扫描线的轮廓的每个特征化的区域的所获取的移动距离在物体与背景之间进行区分。这样的区分也被称为分割。此处纯粹地光学地基于摄像头的至少两个图像执行分割。
通过本发明得出如下优点，即，基于摄像头的摄像头图像在没有预先了解物体的情况下可以识别所述物体的形状。由此可以以在机动车中的较小的附加的构件耗费和互连耗费的情况下实现该方法。
本发明也包括如下实施方式，通过所述实施方式得出附加的优点。
一实施方式设置成，为了在物体与背景之间进行区分，每个扫描线的轮廓的每个特征化的区域取决于其移动距离关联有高度值，并由此沿着每个扫描线生成高度轮廓(Höhenprofil)。然后按照相应的高度轮廓，沿着每个扫描线在物体与背景之间进行区分。由此得出如下优点，即，还获取物体的表面轮廓(在物体的区域中的高度轮廓)。
一实施方式设置成，预先确定的图像特性(基于所述图像特性沿着每个扫描线形成相应的轮廓)包括图像的图像内容的颜色值和/或对比值和/或棱边感测值(Kantendetektionswert)。棱边感测值可以例如基于局部的导出来形成，如其例如可以形成为图像的相邻的像素的亮度值的差。在此，沿着扫描线布置的这样的像素自然被用于获取轮廓。所述的图像特性具有如下优点，即，利用所述图像特性可以光学地在物体与背景之间进行区分。
一实施方式设置成，特征化的区域借助于预先确定的特征感测来确定，该特征感测将在相应的轮廓中的至少一个预先确定的特征化的图案辨识为特征化的区域。这样的特征化的图案可以例如是局部的最大部或局部的最小部。也可以设置成，这样的局部的最大部或局部的最小部要求带有预先确定的最小特征(Mindestausprägung)、即例如预先确定的最小高度或最小深度，由此辨识特征化的区域。该实施方式具有如下优点，在轮廓中可以自动地辨识至少一个特征化的区域。
一实施方式设置成，扫描线和相对应的扫描线具有相应于如下射束的映像(Abbild)的走向，所述射束虚拟地在外部区域中三维地以预先确定的高度笔直地延伸远离机动车。由此得出如下优点，物体的在第一图像中处于确定的第一扫描线上的部件在机动车的运动的情形中处于其它的图像的相对应的扫描线上。在此，预先确定的高度优选地是物体的期待的或已知的高度。由此减少在两个图像之间的部件处于不同的扫描线上的概率。
一实施方式设置成，识别机动车的直线驶出，并且在直线驶出期间生成图像。由此，图像的探测因此在如下时间点触发，所述时间点适宜于保证，在轮廓中得出如下特征化的区域，所述特征化的区域也包含在每个相对应的轮廓中。
如果机动车不执行直线驶出，则一实施方式设置成，取决于机动车的转向角度来调整扫描线的形状。由此也可以在机动车的转弯行驶的情形中实现如下，即，物体的处于第一物体的确定的扫描线上的部件在继续行驶的情形中沿着扫描线运动，并由此也处于其它的图像的相对应的扫描线上。相应地，然后在扫描线的轮廓中也找到如下特征化的区域，所述特征化的区域包含在相对应的扫描线的相对应的轮廓中并由此可以被再识别。
一实施方式设置成，特征化的区域的高度值以预先确定的数量的可能的高度值来扫描。由此可以减少噪声。尤其可以设置成，设置有两个可能的高度值，从其中，一个高度值为物体的期待的高度，并且第二高度值为背景的期待的高度，并由此生成更详细的高度轮廓(双值的高度轮廓)。通过以物体和背景的期待的高度值进行扫描，以有利的方式消除由于不均衡(Unebenheit，有时也称为不平坦)或由于中间值所引起的多义性，如其例如通过具有比该物体更小的高度的另外的物体所得出的那样。如果例如处于生长有植物(Gradbewachsene)的底部上的挂车联结部被探测为物体，则全部的草茎(Grashalme)关联于所述底部，并且在高度轮廓方面呈现平坦的底部。
一实施方式设置成，将机动车的行驶地面探测为背景。换言之，摄像头如此取向，使得其探测区域从上方朝物体指向。然后得出机动车的行驶地面作为背景。由此得出如下优点，即，视差的所描述的效果实现在物体与背景之间的极为有效的区分。
一实施方式设置成，在高度轮廓方面所有其高度值处于预先确定的值区间中的这样的区段关联于物体。由此得到如下分割，所述分割附加地得出物体的形状的描述或表面描述。
通过所述分割可以测量物体或探测或描述物体的至少一个形状或宽度。
一实施方式设置成，将扫描线的高度轮廓归纳成二维的高度图。换言之，去除线结构，通过在扫描线之间内插高度值。由此得出面型的高度图。这种实施方式具有如下优点，对于二维的面的每个点限定高度值。
一实施方式设置成，所述的图像在机动车靠近到挂车的挂车牵引杆处期间被获取。所述物体因此是挂车牵引杆。按照在物体与背景之间的描述的区分获取挂车牵引杆的尺寸和/或形状。机动车的靠近意味着，物体、即挂车牵引杆仍没有联接到机动车处。机动车驶向物体、即尤其是挂车牵引杆。如果然后到达挂车牵引杆，则获取其尺寸和/或形状。由此可以基于所获取的尺寸和/或形状执行挂车联结部相对于挂车牵引杆的联接过程或定位。因此没有必要事先例如基于带有几何结构数据的数据数据库(Datendatei)使得挂车牵引杆的形状和/或尺寸已知。其自动地在机动车靠近到挂车牵引杆处时被获取。
为了在机动车中执行根据本发明的方法，通过本发明也提供用于机动车的控制装置。所述控制装置可以设计为机动车的控制器。所述控制装置具有计算设备，所述计算设备设立成用于，执行根据本发明的方法的一实施方式。为此，所述计算设备可以包括程序代码，所述程序代码在通过计算设备实施时执行该方法的实施方式。程序代码可以存储在计算设备的数据存储器中。
本发明也包括一种机动车，所述机动车带有用于机动车的外部区域的至少一个摄像头并且带有根据本发明的控制装置的一实施方式。控制装置与所述至少一个摄像头耦联。由此，控制装置可以基于至少一个摄像头的图像执行根据本发明的方法。根据本发明的机动车优选地设计为汽车、尤其是乘用汽车或载重汽车。
所描述的实施方式的组合也属于本发明。
附图说明
下面描述本发明的实施例。为此：
图1示出根据本发明的机动车的一实施方式的示意性的图示；
图2示出根据本发明的方法的一实施方式的流程图；
图3示出带有在其中反映的物体的摄像头的图像的示意性的图示；以及
图4示出带有在不同的测量时间点探测的轮廓和相对应的轮廓的图表。
下面阐释的实施例为本发明的优选的实施方式。在该实施例中，该实施方式的所描述的部件分别呈现本发明的各个应相互独立地观察的特征，所述特征也分别相互独立地改进本发明并由此也应单个地或以不同于所示出的组合视作为本发明的组成部分。此外，所描述的实施方式也可通过本发明的已经描述的特征中的另外的特征来补充。
在图中，功能相同的元件分别设有相同的附图标记。
附图标记列表
10 机动车
11 摄像头
12 控制装置
13 探测区域
14 外部区域
15 物体
15' 背景
16 挂车
17 靠近
18 挂车联结部
19 尺寸和/或形状
20 方法
21 图像
22 图像
23 扫描线
23' 射束
24 图像特性
25 轮廓
26 轴线
27 相对应的轮廓
28 特征感测
29 特征化的区域
30 再识别的特征化的区域
31 分割规范
32 分割
33 部段
34 部段
He 已知的高度
D0,D1 移动距离
D2,D3 移动距离
De 期待的移动距离
T0,T1 测量时间点。
具体实施方式
图1示出机动车10，所述机动车可以是汽车、尤其是乘用汽车或载重汽车。机动车10可具有摄像头11，所述摄像头例如可以是视频摄像头或单个图像摄像头。摄像头11可以是机动车10的尾部摄像头(Heckkamera)。此外，示出机动车10的控制装置12。控制装置12可以例如通过机动车10的控制器来形成。摄像头11的探测区域13可以取向到机动车10的外部区域14中、例如到在机动车10后方(也就是说在机动车10的尾部处)的后面的区域中。由此，借助于摄像头11可以探测在外部区域14中的物体15。在所示出的示例中，物体15可以是挂车16的挂车牵引杆。为了实施例的进一步的阐释假设，挂车16应该利用机动车10来运输。为此，机动车10相对于物体15运动接近，也就是说存在机动车10到物体15处的靠近17。例如，机动车10应该被带到相对于物体15的这样的相对位置中，使得物体15可以与机动车10的挂车联结部18连接，而在此物体15不必移动或滚动。
为此，物体15的形状或尺寸19可以通过控制装置12来获取并以信号的方式指示。
为此，图2阐明方法20，所述方法可以通过控制装置12执行以用于获取物体15的形状和/或尺寸19。
在步骤S10中，在靠近17期间可以通过控制装置12借助于摄像头11在两个不同的测量时间点T0,T1分别生成或拍摄在背景15'前方的物体15的摄像头图像或简称图像21,22。背景15'在摄像头11的探测区域13的所示出的取向的情形中可以是行驶地面。
为了进一步阐释方法20参考图3和图4。
图3示出如可利用摄像头11所生成的示例性的图像21。
在步骤S11中，控制装置12可以在所述图像中的第一图像(此处示例性地图像21)中限定或确定至少一个扫描线23。每个扫描线23可以相应于射束21'的映像(见图1)，所述射束在高度He下笔直地延伸远离机动车。高度He可以是物体15的已知的高度。在图像22中以及在每个其它的图像中可以限定相同的扫描线23。其由此呈现与图像21的扫描线23相对应的扫描线。
对于图像21的每个扫描线23，针对预先确定的图像特性24形成沿着扫描线所得出的轮廓25，如其示例性地在图4中阐明的那样。
图4沿着相应于图像21的扫描线23的走向的轴线26阐明针对图像特性24的所得出的轮廓25，所述图像特性呈现棱边感测的值。为此，例如对于轮廓25的每个点可以计算沿着扫描线23的相邻的像素的亮度值的差。此外，图4阐明，针对图像22、即针对测量时间点T1、针对图像22中的相对应的扫描线可以如何基于图像特性24获取相对应的轮廓27。
在步骤S12中，现在对于轮廓25可以基于特征感测28获取至少一个特征化的区域29。特征感测28可以例如将局部的最大(Maxima)辨识为相应的特征化的区域。轮廓25的每个特征化的区域29现在可以在轮廓27中又识别为再识别的特征化的区域30。例如，这可以基于相互关系来实现。
在步骤S13中，现在对于每个特征化的区域29可以获取相应的特征化的区域29沿着相应的扫描线23在测量时间点T0和T1之间所得出的移动距离D0,D1,D2,D3。移动距离D0,D1,D2,D3一方面取决于机动车10在这两个测量时间点T0,T1之间在靠近17期间的运动距离，并且另一方面取决于分别在特征化的区域29中呈现的图像内容与摄像头11的间距。通过图像内容的不同的间距，得出视差(Parallaxe)的效果，也就是说视相应的图像内容与摄像头11的间距而定得出其它的移动距离D0,D1,D2,D3。
在步骤S14中，现在可以沿着每个扫描线23取决于相应的扫描线23的轮廓25的每个特征化的区域29的所获取的移动距离D0,D1,D2,D3在物体15与背景15'之间进行区分。
为此可以将分割规范31作为基础，所述分割规范例如设置相应的移动距离D0,D1,D2,D3与期待的移动距离De的比较，所述期待的移动距离由物体15的已知的高度He产生。在此，所述比较可以设置公差区间，在所述公差区间内，相应的移动距离D0,D1,D2,D3与期待的移动距离De的相同性被识别或以信号的方式指示。
图3阐明，沿着扫描线23可以如何进行分割32成两个部段33,34。部段33可以描述扫描线23的关联于物体15的区段。部段34可以描述扫描线23的关联于背景15'的区段。
由所有扫描线23的所有部段33现在可以获取对物体15的尺寸和/或形状19的描述。
尺寸和/或形状19可以在机动车中向另外的构件、例如驾驶员辅助系统以信号的方式指示，所述驾驶员辅助系统将机动车10自主地或自动地引导接近到物体15处。
由此，即使当不存在对形状19的了解时，也能够实现机动车10相对于物体15以已知的高度He的精确的驶近或靠近17。不需要对形状的了解。物体15的形状19被感测。由此可以到达例如挂车联结部18的精确的目标位置和/或避免与物体15在靠近17的情形中的碰撞。
控制装置12为此执行在考虑到在靠近17的情形中的车辆运动的情况下在各个图像21,22中的运动的分析。图像21,22的各个图像区域一方面关联于背景15'(例如行驶地面或底部平面)并且另一方面关联于已知的高度He的物体15。图像区域以扫描线23的形式来表示。其在三维的空间23'中相应，其在物体15的已知的高度He下伸延，并且其形状作为扫描线23投影或反映到相应的图像21,22中。所述扫描线23经由在时间上相邻的图像21,22关于其图像特性24例如借助于棱边感测功能来分析。检查每个扫描线23的哪些部分或部段33,34相应于根据期待的移动距离De的期待的物体运动(得出相对于物体15的关联)并且哪些与假设相矛盾(相应于相对于背景15'的关联)。这在足够数量的扫描线23(例如超过5、尤其是超过10)的情况下实现分割32，所述分割可以被用于确定物体15的外部形状。由此实现到物体15处的精确的且无阻碍的驶近或靠近17。
此外，可以通过物体相对于机动车10的离得最近的点的三角测量(Triangulation)推断出这种离得最近的点的高度。这可以被用作为另外的安全特征使用。由此，机动车10可以精确地向着所描述的目标位置靠近。在需要时，取决于目标位置可以使用偏置(Offset)，以便与此相对地定位。
所介绍的方式提供了物体15的外部形状的识别以及物体几何结构通过图像特性、例如棱边功能的分析的识别，由此可以防止机动车10与物体15的碰撞并且可以执行向着目标位置的驶近。
在此，物体15可以是挂车16的挂车牵引杆，在其挂车爪(Anhängerklaue)处应联接或对接有机动车10。在此，挂车联结部18(挂车联接装置)可以定位在挂车爪下，这限定目标位置。然而，现实的目标位置在这种情况下可以设置偏置或偏移(Versatz)，即挂车爪的联结拱状件(Kupplungskuppel)的一半直径相对于物体15与机动车10的所描述的离得最近的点。
总体上，示例示出，可以如何通过本发明提供光学的分割。

Claims (15)

1. 一种用于在机动车(10)的外部区域(14)中的物体(15)的形状识别的方法(20)，其中，在所述机动车(10)相对于所述物体(15)运动期间，通过所述机动车(10)的控制装置(12)借助于摄像头(11)在至少两个不同的测量时间点(T0,T1)分别生成图像(21,22)，所述图像示出在所述外部区域(14)的背景(15')前方的物体(15)，并且
- 在所述图像(21)中的第一图像中确定至少一个扫描线(23)，并且相对于每个扫描线(23)在所述图像(22)中的每个其它的图像中确定相对应的扫描线，并且
- 对于所述第一图像(21)的每个扫描线(23)对于预先确定的图像特性(24)获取沿着所述扫描线(23)所得出的轮廓(25)，并且沿着每个其它的图像的分别相对应的扫描线获取所得出的相对应的轮廓(27)，并且
- 在所述第一图像(21)的每个扫描线(23)的轮廓(25)中获取至少一个特征化的区域(29)，并且
- 通过将所述第一图像(21)的每个扫描线(23)的轮廓(25)与每个其它的图像(22)的分别相对应的轮廓(27)进行比较，在分别相对应的轮廓(27)中再识别所述至少一个特征化的区域(29)，
其特征在于，
- 对于每个特征化的区域(23)获取所述特征化的区域(29)沿着相应的扫描线(23)的在所述测量时间点(T0,T1)之间所得出的移动距离(D0,D1,D2,D3)，由此识别出，所述特征化的区域(23)由于所述机动车(10)相对于所述物体(15)的相对运动在所述其它的图像(22)中沿着相应的扫描线(23)移动多远，其中，该移动取决于分别要么是物体要么是背景的相应的图像内容与所述摄像头的间距，并且相应地
- 沿着每个扫描线(23)取决于所述扫描线(23)的轮廓(25)的每个特征化的区域(29)的所获取的移动距离(D0,D1,D2,D3)在物体(15)与背景(15')之间进行区分。
2.根据权利要求1所述的方法(20)，其中，所述预先确定的图像特性包括所述图像的图像内容的颜色值和/或对比值和/或棱边感测值。
3.根据前述权利要求中任一项所述的方法(20)，其中，所述特征化的区域(29)借助于预先确定的特征感测来确定，所述特征感测将在所述相应的轮廓(25)中的至少一个预先确定的特征化的图案辨识为特征化的区域。
4.根据前述权利要求中任一项所述的方法(20)，其中，所述扫描线(23)和相对应的扫描线具有相应于如下射束的映像的走向，所述射束虚拟地在所述外部区域(14)中三维地以预先确定的高度(He)笔直地延伸远离所述机动车(10)。
5.根据前述权利要求中任一项所述的方法(20)，其中，识别所述机动车(10)的直线驶出，并且在所述直线驶出期间生成所述图像(21,22)。
6.根据前述权利要求中任一项所述的方法(20)，其中，取决于所述机动车(10)的转向角度来调整所述扫描线(23)的形状。
7.根据前述权利要求中任一项所述的方法(20)，其中，将所述机动车(10)的行驶地面探测为所述背景(15')。
8.根据前述权利要求中任一项所述的方法(20)，其中，所述图像(21,22)在所述机动车(10)靠近到挂车(16)的挂车牵引杆处期间被获取，并且按照在物体(15)与背景(15')之间的区分获取所述挂车牵引杆的尺寸和/或形状。
9.根据前述权利要求中任一项所述的方法(20)，其中，为了在物体(15)与背景(15')之间进行区分，每个扫描线(23)的轮廓(25)的每个特征化的区域(29)取决于其移动距离关联有高度值，并且由此沿着每个扫描线(23)生成高度轮廓，并且按照所述相应的高度轮廓沿着每个扫描线(23)在物体(15)与背景(15')之间进行区分。
10.根据权利要求9所述的方法(20)，其中，在所述高度轮廓中，所有如下这样的区段关联于所述物体(15)，所述区段的高度值处于预先确定的值区间中。
11.根据权利要求9或10所述的方法(20)，其中，所述特征化的区域(29)的高度值以预先确定的数量的可能的高度值来扫描。
12.根据权利要求9至11中任一项所述的方法(20)，其中，设置有两个可能的高度值，从其中，一个高度值为所述物体(15)的期待的高度(He)并且第二个高度值为所述背景(15')的期待的高度，并由此生成二元的高度轮廓。
13.根据权利要求9至12中任一项所述的方法(20)，其中，将所述扫描线(23)的高度轮廓归纳成二维的高度图。
14.一种用于机动车(10)的控制装置(12)，其中，所述控制装置(12)具有计算设备，所述计算设备设立成用于执行根据前述权利要求中任一项所述的方法。
15.一种机动车(10)，带有用于探测所述机动车(10)的外部区域(14)的至少一个摄像头(11)并且带有根据权利要求14所述的控制装置(12)，其中，所述控制装置(12)与所述至少一个摄像头(12)耦联。
CN201811252541.8A 2017-10-25 2018-10-25 用于机动车的外部区域中物体的形状识别的方法及机动车 Active CN109711423B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017219119.8 2017-10-25
DE102017219119.8A DE102017219119A1 (de) 2017-10-25 2017-10-25 Verfahren zur Formerkennung eines Objekts in einem Außenbereich eines Kraftfahrzeugs sowie Kraftfahrzeug

Publications (2)

Publication Number Publication Date
CN109711423A true CN109711423A (zh) 2019-05-03
CN109711423B CN109711423B (zh) 2023-06-30

Family

ID=63579163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811252541.8A Active CN109711423B (zh) 2017-10-25 2018-10-25 用于机动车的外部区域中物体的形状识别的方法及机动车

Country Status (4)

Country Link
US (1) US10679073B2 (zh)
EP (1) EP3477249B1 (zh)
CN (1) CN109711423B (zh)
DE (1) DE102017219119A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111928795A (zh) * 2020-09-04 2020-11-13 浙江省计量科学研究院 一种牵引车、挂车外廓尺寸参数一并式测量方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206291857U (zh) * 2016-10-20 2017-06-30 成都佳诚弘毅科技股份有限公司 销轴距测量装置
US11287827B2 (en) 2018-05-08 2022-03-29 Continental Automotive Systems, Inc. Visual object tracker
DE102020205468A1 (de) * 2020-04-30 2021-11-04 Zf Friedrichshafen Ag Autonomes und/oder assistiertes Kuppeln eines Anhängers unter Berücksichtigung des Höhenprofils des Untergrunds

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008046215A1 (de) * 2008-09-08 2009-09-17 Daimler Ag Verfahren zur Ankoppelung eines Fahrzeugs an eine Ladestation
DE102009053807A1 (de) * 2009-11-18 2011-05-19 Conti Temic Microelectronic Gmbh Verfahren zum Unterstützen eines Fahrers beim Einparken eines Fahrzeugs
WO2012080044A1 (de) * 2010-12-15 2012-06-21 Robert Bosch Gmbh Verfahren und system zur bestimmung einer eigenbewegung eines fahrzeugs
CN102891985A (zh) * 2011-07-20 2013-01-23 通用汽车环球科技运作有限责任公司 用于增强的深度视频感的系统和方法
GB201307525D0 (en) * 2013-04-26 2013-06-12 Jaguar Land Rover Ltd Vehicle hitch assistance system
EP2634070A1 (de) * 2012-02-28 2013-09-04 WABCO GmbH Zielführungssystem für Kraftfahrzeuge
WO2013129095A1 (ja) * 2012-03-02 2013-09-06 日産自動車株式会社 立体物検出装置及び立体物検出方法
DE102012011121A1 (de) * 2012-06-05 2013-12-05 Connaught Electronics Ltd. Verfahren zum Detektieren von Objekten nach der Methode des optischen Flusses, Kamerasystem und Kraftfahrzeug
DE102014114078A1 (de) * 2013-10-24 2015-04-30 GM Global Technology Operations LLC Intelligentes Abschleppen
DE102015201586A1 (de) * 2015-01-29 2016-08-04 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Wiedererkennung eines Anhängers
WO2016155919A1 (en) * 2015-04-01 2016-10-06 Robert Bosch Gmbh Trailer coupling assistance system with vehicle video camera
EP3081405A2 (en) * 2015-04-14 2016-10-19 Continental Automotive Systems, Inc. Automated hitch assist system
CN106536299A (zh) * 2014-05-22 2017-03-22 御眼视觉技术有限公司 基于检测对象制动车辆的系统和方法
WO2017093303A1 (de) * 2015-12-03 2017-06-08 Trw Automotive Safety Systems Gmbh Fahrzeugsicherheitssystem, baugruppe für ein fahrzeugsicherheitssystem und verfahren zum herstellen eines fahrzeugsicherheitssystems
US10275668B1 (en) * 2015-09-21 2019-04-30 Hrl Laboratories, Llc System for collision detection and obstacle avoidance

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7777615B2 (en) 2008-03-20 2010-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. System for assisting the attachment of a trailer to a vehicle
US9933264B2 (en) * 2015-04-06 2018-04-03 Hrl Laboratories, Llc System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
DE102015211754A1 (de) 2015-06-24 2016-12-29 Bayerische Motoren Werke Aktiengesellschaft Parkassistenzsystem zum automatisierten Durchführen eines Einparkmanövers in eine Querparklücke mit Erkennung eines die Querparklücke nach hinten begrenzenden Bodenhindernisses
DE102015213404A1 (de) 2015-07-16 2017-01-19 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zum Ankuppeln eines Kraftfahrzeugs an einen Anhänger
DE102017219123B4 (de) * 2017-10-25 2022-12-22 Volkswagen Aktiengesellschaft Verfahren zum Ermitteln von Objektgrenzen eines Objekts in einem Außenbereich eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008046215A1 (de) * 2008-09-08 2009-09-17 Daimler Ag Verfahren zur Ankoppelung eines Fahrzeugs an eine Ladestation
DE102009053807A1 (de) * 2009-11-18 2011-05-19 Conti Temic Microelectronic Gmbh Verfahren zum Unterstützen eines Fahrers beim Einparken eines Fahrzeugs
WO2012080044A1 (de) * 2010-12-15 2012-06-21 Robert Bosch Gmbh Verfahren und system zur bestimmung einer eigenbewegung eines fahrzeugs
CN102891985A (zh) * 2011-07-20 2013-01-23 通用汽车环球科技运作有限责任公司 用于增强的深度视频感的系统和方法
EP2634070A1 (de) * 2012-02-28 2013-09-04 WABCO GmbH Zielführungssystem für Kraftfahrzeuge
WO2013129095A1 (ja) * 2012-03-02 2013-09-06 日産自動車株式会社 立体物検出装置及び立体物検出方法
DE102012011121A1 (de) * 2012-06-05 2013-12-05 Connaught Electronics Ltd. Verfahren zum Detektieren von Objekten nach der Methode des optischen Flusses, Kamerasystem und Kraftfahrzeug
GB201307525D0 (en) * 2013-04-26 2013-06-12 Jaguar Land Rover Ltd Vehicle hitch assistance system
DE102014114078A1 (de) * 2013-10-24 2015-04-30 GM Global Technology Operations LLC Intelligentes Abschleppen
CN106536299A (zh) * 2014-05-22 2017-03-22 御眼视觉技术有限公司 基于检测对象制动车辆的系统和方法
DE102015201586A1 (de) * 2015-01-29 2016-08-04 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Wiedererkennung eines Anhängers
WO2016155919A1 (en) * 2015-04-01 2016-10-06 Robert Bosch Gmbh Trailer coupling assistance system with vehicle video camera
EP3081405A2 (en) * 2015-04-14 2016-10-19 Continental Automotive Systems, Inc. Automated hitch assist system
US10275668B1 (en) * 2015-09-21 2019-04-30 Hrl Laboratories, Llc System for collision detection and obstacle avoidance
WO2017093303A1 (de) * 2015-12-03 2017-06-08 Trw Automotive Safety Systems Gmbh Fahrzeugsicherheitssystem, baugruppe für ein fahrzeugsicherheitssystem und verfahren zum herstellen eines fahrzeugsicherheitssystems

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111928795A (zh) * 2020-09-04 2020-11-13 浙江省计量科学研究院 一种牵引车、挂车外廓尺寸参数一并式测量方法
CN111928795B (zh) * 2020-09-04 2021-10-01 浙江省计量科学研究院 一种牵引车、挂车外廓尺寸参数一并式测量方法

Also Published As

Publication number Publication date
US20190122053A1 (en) 2019-04-25
EP3477249A1 (de) 2019-05-01
EP3477249B1 (de) 2021-12-01
US10679073B2 (en) 2020-06-09
DE102017219119A1 (de) 2019-04-25
CN109711423B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
US10719723B2 (en) Path sensing using structured lighting
US11305691B2 (en) Vehicular vision system
US10977504B2 (en) Vehicle-mounted image target objection recognition device
US11836989B2 (en) Vehicular vision system that determines distance to an object
CN109711423A (zh) 用于机动车的外部区域中物体的形状识别的方法及机动车
US10481255B2 (en) Trailer dimension estimation with two dimensional radar and camera
JP4246766B2 (ja) 車両から対象物を位置測定して追跡する方法および装置
US8320628B2 (en) Method and system for assisting driver
US7091837B2 (en) Obstacle detecting apparatus and method
CN103886757B (zh) 用于自动分类运动中的车辆的方法
WO2013081984A1 (en) Vision system for vehicle
Beauvais et al. Clark: A heterogeneous sensor fusion method for finding lanes and obstacles
EP3029602A1 (en) Method and apparatus for detecting a free driving space
Kaempchen et al. Fusion of laserscanner and video for advanced driver assistance systems
Scheunert et al. Free space determination for parking slots using a 3D PMD sensor
KR102664001B1 (ko) 중첩되지 않는 카메라 뷰로부터 획득된 이미지들을 조화시키는 방법
US10836224B2 (en) Method for determining object boundaries of an object outside of a transportation vehicle and control device and transportation vehicle
US11410427B2 (en) Vision system and method for a motor vehicle
JP2006286010A (ja) 障害物検知装置及びその方法
JPH09161063A (ja) 先行車両識別装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant