CN108496176A - 识别机动车辆的周围区域中的对象的方法,驾驶员辅助系统和机动车辆 - Google Patents

识别机动车辆的周围区域中的对象的方法,驾驶员辅助系统和机动车辆 Download PDF

Info

Publication number
CN108496176A
CN108496176A CN201680079975.5A CN201680079975A CN108496176A CN 108496176 A CN108496176 A CN 108496176A CN 201680079975 A CN201680079975 A CN 201680079975A CN 108496176 A CN108496176 A CN 108496176A
Authority
CN
China
Prior art keywords
pedestrian
contrast pattern
identified
image
motor vehicles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680079975.5A
Other languages
English (en)
Other versions
CN108496176B (zh
Inventor
M.海姆柏格
P.拉莫斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of CN108496176A publication Critical patent/CN108496176A/zh
Application granted granted Critical
Publication of CN108496176B publication Critical patent/CN108496176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00Brake-action initiating means
    • B60T7/12Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

本发明涉及一种识别机动车辆(1)的周围区域(4)中的对象(3)为行人(5)的方法,其中借助于至少一个车辆侧相机(6)在图像(B)中捕获周围区域(4),其中在至少一个捕获的图像(B)中检测到从对象(3)投射到周围区域(4)中的地面(12)上的阴影(11)和形成在地面(12)上并取决于阴影(11)的反差图案(13),并且基于形成的反差图案(13)与表征行人(5)的预定反差图案的对比来识别对象(3)。此外,本发明涉及一种驾驶员辅助系统(2)和一种机动车辆(1)。

Description

识别机动车辆的周围区域中的对象的方法,驾驶员辅助系统 和机动车辆
技术领域
本发明涉及一种将机动车辆的周围区域中的对象识别为行人的方法,其中借助于至少一个车辆侧相机在图像中捕获周围区域。此外,本发明涉及一种驾驶员辅助系统和一种机动车辆。
背景技术
现有技术已经公开了捕获机动车辆周围区域中的对象并提供关于对象的信息的实践,例如提供给机动车辆的驾驶员辅助系统。举例来说,这种驾驶员辅助系统可以是具有行人检测的电子制动助手。特别地,制动助手设计成当被捕获的行人的距离下降到预定值以下时降低机动车辆的速度。举例来说,这可以防止与行人碰撞或至少显着降低对行人造成伤害的风险。为此目的,特别需要将对象可靠地识别为行人。因此,例如,可以防止在机动车辆驶过树时机动车辆的速度不必要地降低。用于对象检测的方法,例如用于行人检测(PD)的方法,例如从DE 10 2013 112 163 A1已知。
然而,根据现有技术本身已知的方法通常是不利的,因为通常必须检测整个行人以便能够进行可靠的对象检测。
发明内容
本发明的目的是以特别简单和可靠的方式将对象识别为行人。
根据本发明,该目的通过根据独立权利要求所述的方法、驾驶员辅助系统和机动车辆来实现。
根据本发明的方法用于将机动车辆的周围区域中的对象识别为行人。在该方法中,借助于至少一个车辆侧相机在图像中捕获机动车辆的周围区域。此外,在至少一个被捕获图像中检测到阴影和反差图案,所述阴影被从对象投射到周围区域的地面上,所述反差图案形成在地面上且取决于阴影,并且,基于形成的反差图案与表征行人的预定反差图案的比较来识别对象。
因此,该方法用于对检测到的对象进行分类。通过该方法,可以区分检测到的对象是行人还是其他对象,例如树木或交通标志。在该方法中,借助于至少一个相机在图像中捕获机动车辆的周围区域。特别地,提供四个相机,其中一个相机可以布置在机动车辆的前部区域,用于捕获机动车辆前方的周围区域,一个相机可以布置在机动车辆的尾部区域,用于捕获机动车辆后面的周围区域,并且,在每一种情况下,可以在机动车辆的一个侧镜中分别设置一个相机,用于捕获机动车辆的驾驶员侧和前乘客侧的周围区域。因此,可以监控机动车辆的周围区域,特别是以完整且无间隙的方式。
这里,在该方法的范围内,至少一个图像中的对象不是基于检测到的对象本身来识别的,而是基于地面上的反差图案来识别,所述反差图案取决于对象投射在地面上的阴影。举例来说,地面可以是机动车辆的车行道或行人的人行道。反差图案是通过地面在一些区域由于阴影暗化,在一些区域被照亮而产生。这里,特别地,反差图案包括地面上由于阴影暗化的区域和邻接暗化区域的非暗化或照亮区域。例如,这些光/阴影过渡或亮/暗过渡由驾驶员侧图像处理装置检测,并与预定的反差图案进行比较,该预定反差图案包括对于行人而言特有的光/阴影过渡。因此,预定的反差图案对应于通过行人的阴影在地面上产生的反差图案。如果检测到的反差图案对应于特征反差图案,或者如果检测到的反差图案偏离特征反差图案不超过预定的公差值,则将检测到的对象识别为行人。这里,本发明基于以下发现:可以快速且容易地检测由反差图案形成的明/暗过渡或明/暗曲线。因此,可以快速且容易地将对象识别为行人。
特别优选地,如果由对象的阴影产生的反差图案中,两个基本上平行或彼此相邻地延伸的暗条纹和位于其间的较亮条纹被检测为预定反差图案,则该对象被识别为行人。换句话说,这意味着两条暗条纹或条形区域各自与亮条纹或条形区域相邻。因此,这导致暗/亮/暗轮廓,其可以由图像处理装置识别。
这里,特别地,平行延伸的两个暗条纹是行人的腿的阴影,通过该阴影,地面在一些区域中被暗化。位于其间的亮条纹借助于例如光线或阳光照射穿过行人的腿而形成。地面被这种在两腿之间闪耀的阳光照亮。从该实施例中显现的优点是,仅需要检测行人的腿或仅检测行人的腿的阴影以识别对象作为行人。因此,例如,可以使用附接到机动车辆侧镜的两个相机中的一个来检测对象。
根据一个实施例,如果所捕获的至少一个的条纹的取向偏离相机的检测轴线不超过预定角度,则将对象识别为行人。在这种情况下,相机的检测轴线或相机轴线对应于相机的捕获区域的主轴。在相机在机动车辆的前部区域中或在机动车辆的尾部区域中的情况下,该检测轴线特别地沿着机动车辆的车辆纵向轴线延伸。为了捕获条纹中的至少一个的取向,可以捕获至少一条条纹和相机轴线之间的角度,特别是相机轴线在地面上的投影。该角度可以与预定角度进行比较。通常,站在附接到机动车辆的相机前面的行人,其腿产生两条条纹形式的阴影,这两条条纹基本上平行地延伸,特别是在该过程中条纹沿着相机轴线取向。这意味着至少一条条纹和相机轴线之间的角度大约为0°,或者它偏离相机轴线不超过预定角度。因此,基于条纹的取向,反差图案可以可靠地识别为由行人产生的反差图案,并且例如,不与街道标记的反差图案混淆。由于相机轴线和至少一条条纹之间的角度改变,特别是当行人移动,例如穿过车行道时,或者当机动车辆正在移动时,还可以基于所捕获的角度和所捕获的机动车辆的速度来确定行人是移动还是静止站立。
还可以规定要捕获的条纹中至少一个的相应的长度和/或相应的宽度,且如果相应的长度和/或相应的宽度偏离指定反差图案所预定的长度和/或宽度不超过指定值,则该对象将被识别为行人。可以为宽度和/或长度指定对于人来说通常或特征的合理值,这取决于腿的尺寸。基于捕获的宽度和/或捕获的长度,因此可以检查关于条纹是否是腿的阴影的合理性。特别地,在捕获反差图案的暗条纹的宽度和/或长度的基础上,行人的反差图案可以与街道标记的反差图案区分开,,街道标记的反差图案例如由车行道上的白色条纹表示并且同样产生暗/亮/暗形式的反差图案。通过将预定长度和/或预定宽度与指定值进行比较,可以以特别简单的方式将反差图案分配给行人。因此,该方法以特别可靠的方式设计。
优选地,相对于机动车辆确定太阳光的当前光入射的方向,并且根据所确定的光入射的方向确定特征对比度图案。这里,本发明基于以下发现:检测到的反差图案取决于太阳光的光入射的方向,例如取决于太阳的当前太阳位置。特别地,反差图案的条纹的取向取决于光入射方向。这里,例如,可以保存特定于光入射的方向的反差图案,并且针对每个光入射的方向表征行人,并且根据当前的光入射的方向,使用相应的保存的反差图案与被捕获的反差图案进行比较。
举例来说,可以基于由至少一个相机捕获的图像的亮度或基本亮度来确定光入射的方向。该亮度可以由至少一个相机本身和/或由图像处理装置检测。还可以规定,借助于车辆侧的雨-光-隧道传感器和/或借助于车辆侧太阳位置传感器来检测光入射的方向。另外,例如,其中保存当前天气数据的基于因特网的天气数据库可以由驾驶员辅助系统的车辆侧控制装置调用。基于保存在天气数据库中的天气数据,可以确定当前时间存在于机动车辆当前位置的太阳位置,并因此当前的光入射的方向取决于机动车辆的取向。举例来说,机动车辆的位置和机动车辆的取向可以借助于车辆侧GPS设备来确定。因此,可以确定特征反差图案,基于该特征反差图案可以可靠地将对象分类。
在本发明的有利实施例中,在基于至少一个图像表示周围区域的周围地图中确定被识别为行人的对象的位置,并且基于对象的阴影和在至少一个进一步图像中形成的反差图案将对象识别为行人以便跟踪行人,并且基于至少一个进一步图像在周围地图中确定对象的进一步位置。这里,特别地,周围地图是虚拟地图,其中捕获对象的位置和几何尺寸,例如,特别是将捕获对象相对于机动车辆的距离绘制在周围区域中。机动车辆的驾驶员辅助系统可以基于周围地图提供辅助功能,例如自动紧急停止或自动停车过程。基于由相机记录的至少两个图像,跟踪行人随时间的位置并将其绘制在周围地图中。换句话说,这意味着确定行人的运动轮廓。因此,行人被跟踪。举例来说,可以基于随时间跟踪的位置来确定行人是静止站立还是移动。举例来说,如果行人被捕获为静止站立,则可以省去自动紧急停止。然而,如果捕获了行人朝向机动车辆的运动并且存在与机动车辆碰撞的风险,则驾驶员辅助系统可以执行自动紧急停止。
有利的是,如果在至少一个图像中另外检测到对象本身,并且当对象基于在至少一个图像中检测到的对象并且基于在至少一个图像中识别的反差图案被识别为行人时,该对象才被识别并确认为行人。换句话说,这意味着,除了在至少一个图像中检测到并且被识别为行人的对象本身之外,还基于检测到的反差图案来验证对象的识别。因此,对象识别方法包括两部分方法。在第二部分方法中,基于第一部分方法中的反差图案并且基于在至少一个图像中检测到的对象本身来识别对象。已知基于被捕获对象进行行人识别的方法是以模式检测算法的形式,例如,特别是以分类器的形式。举例来说,所谓的支持向量机(SVM)可以是这样的分类器。仅当基于两种部分方法将对象识别为行人时,才将行人识别评估为成功并将被检测对象确认为行人。
举例来说,如果仅基于第一部分方法将对象识别为行人,但是基于第二部分方法的对象的识别变为否定,则假设所识别的反差图案不是行人的反差图案,而是由例如地面上的街道标记产生的反差图案。如果仅基于第二部分方法将对象识别为行人,但是基于第一部分方法的对象的识别变为否定,则假设被捕获对象是不同的对象,例如树。因此,通过部分方法提供冗余,借助于该冗余可以可靠地识别对象。
优选地,在由至少一个相机捕获的相同图像中识别对象本身和反差图案,并且基于相同图像将对象识别为行人。换句话说,这意味着由车辆侧相机捕获的相同图像用于针对两种部分方法识别对象。因此,可以基于单个记录图像将对象可靠地识别为行人。
在本发明的另一实施例中,基于所识别的对象将对象识别为行人的过程和基于检测到的反差图案将对象识别为行人的过程至少在某些时间同时执行。换句话说,这意味着执行部分方法的过程至少部分地重叠。换句话说,两种部分方法,特别是基于反差图案并基于对象本身的对象识别,至少在某些时间并行或同时执行。因此,可以特别快速地将对象识别并确认为行人。
还可以规定,检测到的对象的位置和反差图案的位置在周围地图中确定,并且规定,检测到的对象和反差图案在周围地图中绘制。可以基于周围地图中的反差图案的位置并且基于检测到的对象的位置来确定对象相对于机动车辆的距离。举例来说,该距离可用于被配置为紧急停止助手的驾驶员辅助系统。此外,可以基于这两个位置确定反差图案是否由地面上的对象的阴影形成,即,反差图案是否可以分配给对象。
优选地,在周围地图中确定检测到的对象在地面上的投影,并且如果对象的投影和在周围地图中绘制的对象的反差图案至少在预定的重叠区域中重叠,则该对象被识别为行人。这意味着借助于周围地图中的投影,例如通过图像处理方向,人为地或虚拟地产生或确定地面上的对象的阴影。特别地,考虑到记录图像时的光入射的当前方向,可以确定投影。如果对象的投影和阴影,即取决于人工产生的阴影的反差图案和取决于对象阴影的反差图案,至少在预定的重叠区域中重叠,则可以假设,例如,地面上的反差图案实际上是由对象产生的,并且检测到的反差图案不是街道标记。借助于投影和反差图案,可以以有利的方式将由第一部分方法和第二部分方法检测到的行人与对象相关联,并因此将被捕获对象更可靠地识别为行人。
本发明还涉及一种驾驶员辅助系统,用于将机动车辆的周围地图中的对象识别为行人。驾驶员辅助系统包括至少一个车辆侧相机,用于在图像中捕获周围区域。此外,驾驶员辅助系统的图像处理装置被配置为在至少一个所捕获的图像中检测从对象投射到周围区域中的地面上的阴影和取决于的地面上的阴影的反差图案,并且基于取决于阴影的反差图案与表征行人的预定反差图案的比较来识别对象。举例来说,驾驶员辅助系统可以被配置为自动紧急制动助手并且可以在与被识别为行人的对象即将发生碰撞的情况下自动制动机动车辆。
根据本发明的机动车辆包括根据本发明的驾驶员辅助系统。特别地,机动车辆具体化为汽车。
参考根据本发明的方法所提出的优选实施例及其优点相应地适用于根据本发明的驾驶员辅助系统和根据本发明的机动车辆。
诸如“顶部”,“底部”,“前部”,“后部”,“侧面”,“前侧”,“后侧”等的规范指定了在机动车辆中的至少一个相机的预期用途和预期布置的情况下,且在观察者然后站在机动车辆的前方并且朝向机动车辆的方向看的情况下的位置和取向。
本发明的其他特征从权利要求、附图和附图的描述中显现。以上在说明书中指定的特征和特征组合以及在下面在附图说明中指定和/或仅在附图中示出的特征组合,在不脱离本发明的范围的情况下,不仅可以以各自指定的组合使用,还可以以任何其他组合或单独使用。因此,在图中未明确示出和解释,但是可以通过分离的特征组合从所解释的实施例中出现并产生的本发明的实施例也应该被认为是包含和公开的。因此,还应该认为公开了不具有原始措辞独立权利要求的所有特征的实施例和特征组合。
附图说明
图1示出了根据本发明的机动车辆的实施例的示意图;和
图2示出了由车辆侧相机所捕获的图像的示意图。
在附图中,相同和功能相同的元件具有相同的附图标记。
具体实施方式
图1示出了具有驾驶员辅助系统2的机动车辆1。驾驶员辅助系统2用于将机动车辆1的周围区域4中的对象3识别为行人5。举例来说,驾驶员辅助系统2可以被配置为自动紧急停止助手,其警告机动车辆的驾驶员关于与行人5的即将发生的碰撞和/或在与行人即将发生碰撞的情况下,其自动制动机动车辆1。为了将对象3识别为行人5,驾驶员辅助系统2包括至少一个车辆侧相机6。在这种情况下,机动车辆1包括四个车辆侧相机6,其中一个相机6布置在机动车辆1的前部区域7中。借助于相机6可以监控机动车辆1前方的周围区域4。另一个相机6布置在机动车辆1的尾部区域8处,以便监控机动车辆1后面的周围区域4。在此,另外两个的相机6分别集成到机动车辆1的侧镜9中,在每一种情况下,使得可以监控机动车辆1侧面的周围区域4。
相机6设计成将机动车辆1的周围区域4捕获在图像B中,其中由相机6在机动车辆1的前部区域7中捕获的图像B在图2中以示例性方式示出。由对象3投射到地面12上的阴影11由驾驶员辅助系统2的车辆侧图像捕获装置10在至少一个被捕获图像B中识别。举例来说,地面12可以是机动车辆1的车行道或人行道。投射到地面12上的阴影11产生反差图案13,其取决于地面12上的阴影11,所述反差图案由驾驶员辅助系统2的图像处理装置10在至少一个图像B中检测到。该检测到的反差图案13与表征行人的预定反差图案进行比较,并且基于该比较将被被捕获对象3识别为行人5。如果捕获的反差图案13偏离特征反差图案不超过预定值,即,如果捕获的反差图案13和特征反差图案至少在预定的重叠区域中重叠或交叉,则基于比较识别捕获对象3作为行人5。
这里,特别是当反差图案13具有两个暗条纹14或基本上彼此平行或相邻延伸的条形区域,和在暗条纹14之间延伸的亮条纹15或条形区域时,对象3被识别为行人5。这里,暗条纹14对应于地面12上的暗化区域,其由行人5的腿部16的阴影产生。这里,在暗条纹14之间延伸的亮条纹15对应于地面12上的非暗化区域。举例来说,这是由于来自太阳S照射在行人5的腿16之间并因此照亮两个暗条纹14之间的区域而产生的。在地面12上为交替地暗、亮,暗区域的反差图案13被定义为行人的特征。
此外,条纹14、15中至少一个的宽度17和/或条纹14、15中至少一个的长度18被捕获。如果被捕获宽度17和/或被捕获长度18偏离为特征反差图案所规定的长度和/或宽度不大于预定值,则对象3才被识别为行人5。这里,条纹14、15的宽度和长度取决于行人5的腿16的宽度和长度。对于人来说典型的合理值可以被规定为这样的宽度和长度,并且因此图像处理装置10可以确定反差图案13中的被捕获宽度17和/或被捕获长度18对于行人来说是否是现实的或合理的。举例来说,这允许同样在地面12上产生交替地暗区域、亮区域和暗区域的反差图案的地面上的街道标记19可靠地与取决于行人5的阴影11的反差图案13区分开,因为由街道标记19产生的反差图案中的暗条纹的宽度明显大于行人5的反差图案13中的暗条纹14的宽度。
此外,捕获至少一条条纹14、15与检测轴线23或相机6的相机轴线之间的角度22,以捕获条纹14、15中至少一个的取向。然后,如果至少一条条纹14的取向偏离检测轴线23不大于预定角度,即,如果捕获角度22没有超过预定角度,则将对象3识别为行人5。这里,检测轴线23对应于前侧相机6的捕获区域24的主轴,在这种情况下,其沿着机动车辆1的车辆纵向方向延伸。如果行人5横穿前侧相机6前方的车行道或者如果行人5站在机动车辆1的前方,并且因此在前侧相机6的前方,则特别地,反差图案13的条纹14、15沿着检测轴线23延伸。因此,特别地,当条纹14、15中至少有一个沿着相机轴线23延伸时,对象3被识别为行人5,即,如果角度22约为0°作为预定角度。至少一条条纹14、15与检测轴线23之间的角度22可以随时间改变,尤其是在行人5或机动车辆1正在移动时。基于角度的变化并且基于捕获到的机动车辆1的速度,因此可以捕获行人5是移动还是静止站立。
此外,可以确定来自太阳S的光的光入射20的方向。可以基于光入射20的方向确定特征反差图案。这里,本发明基于以下发现:投射到地面12上的对象3的阴影11取决于光入射20的方向。换句话说,条纹14、15的取向取决于光入射20的方向。光入射20的方向尤其取决于太阳S的太阳位置。举例来说,驾驶员辅助系统2可以具有雨-光-隧道传感器25和/或太阳位置传感器,其可以捕获太阳S的太阳位置,从而捕获光入射20的方向,以便确定太阳S的太阳位置。还可以基于由相机6捕获的图像B,借助于相机6本身和/或图像处理装置10,被捕获图像B的基本亮度或亮度来确定光入射20的方向。光入射20的方向可以由所捕获的亮度确定。此外,可以规定驾驶员辅助系统2被设计成呼叫基于因特网的天气数据库21,以便,例如在当前时间或一天中的时间获得机动车辆1的位置处的当前天气数据。可以基于这些天气数据并且基于机动车辆1的取向可靠地确定光入射20的方向。举例来说,机动车辆1的位置和取向可以借助于机动车辆1的GPS装置(这里未示出)来确定。
另外,可以在至少一个图像B中捕获行人5的位置P,并且可以在周围地图中绘制所述位置,该周围地图表示周围区域4。用于驾驶员辅助系统2的周围区域4可以映射在周围地图中;特别是,可以保存被捕获对象3与机动车辆1的距离。在此处未示出的至少一个进一步图像中,可以再次确定行人5的位置P,并且同样可以将所述位置绘制到周围地图中。因此,可以随时间捕获行人5的位置P,即行人5的运动轮廓。使用此,可以确定例如行人5是否正在移动,例如是否穿过机动车辆1的车行道,或者行人5是否静止站立。特别地,可以捕获行人5站立的位置P,因此可以确定行人5相对于机动车辆1的距离。因此,驾驶员辅助系统2可以决定例如是否必须执行由驾驶员辅助系统2提供的机动车辆1的紧急停止。举例来说,当行人5站在机动车辆1的车行道上或在车行道上移动,因此与在车行道上行驶的机动车辆1的碰撞变得迫近时,需要机动车辆1的紧急停止。如果行人5站在机动车辆1的车行道旁边的人行道上并且沿着车行道行驶的机动车辆1行驶经过行人5,则不需要紧急停止。
为了将行人识别设计得特别可靠,不仅可以捕获至少一个图像B中的反差图案13,还可以捕获对象3本身。例如,借助于分类器,基于被捕获对象3,被捕获对象3可以被识别为行人5。举例来说,基于与保存的模板的比较,可以将被捕获对象3识别为行人5。对象3本身也可以基于图像B的像素图案被识别为行人5。仅当基于反差图案13并且基于对象3本身将对象3识别为行人时,行人识别被评估为成功并且被捕获对象3被确认为行人5。如果被捕获对象3仅基于反差图案13被识别为行人5,而不是基于对象3本身,则可以认为捕获的反差图案13可能是由街道标记19产生的。如果仅基于对象3本身将捕获对象3识别为行人5,而不是基于反差图案13,则可以认为捕获对象3可能是另一对象,例如树。
特别地,这里可以规定,基于对象3本身的识别过程以及基于要反差图案13的识别过程在同一图像B中执行。因此,图像B可以由至少一个车辆侧相机6记录,所述图像被提供给图像处理装置10以便识别对象3。而且,这些过程可以至少在某些时间同时进行。因此,图像处理装置10可以借助于图像B,并行地执行基于对象3本身的识别过程和基于反差图案13的识别过程,因此,该方法被设计为特别快。
另外,可以在周围地图中确定对象3在地面12上的投影,其中绘制了对象3本身和阴影11或反差图案13。特别地,取决于光入射20的当前方向,对象3在地面12上的阴影可以由图像处理装置10通过对象3在地面12上的投影来人工或虚拟地产生或确定。如果对象3的投影和反差图案13,即,虚拟产生的阴影和被捕获对象3的阴影11至少在多个区域中重叠,则对象3被识别为行人5。

Claims (13)

1.一种将机动车辆(1)的周围区域(4)中的对象(3)识别为行人(5)的方法,其中借助于至少一个车辆侧相机(6)在图像(B)中捕获周围区域(4),
其特征在于,
在至少一个被捕获的图像(B)中检测到对象(3)投射到周围区域(4)中的地面(12)上的阴影(11)和形成在地面(12)上并取决于阴影(11)的反差图案(13),并且基于形成的反差图案(13)与表征行人(5)的预定反差图案的对比来识别对象(3)。
2.根据权利要求1所述的方法,
其特征在于,
在取决于对象(3)的阴影(11)的反差图案(13)中,如果两个基本上彼此平行延伸的暗条纹(14)和位于其间的较亮条纹(15)被检测为预定的反差图案,则将对象(3)识别为行人(5)。
3.根据权利要求2所述的方法,
其特征在于,
如果至少一条条纹(14、15)的取向被捕获为与相机(6)的检测轴线(23)的偏离不超过预定角度,则将对象(3)识别为行人(5)。
4.根据权利要求2或3所述的方法,
其特征在于,
捕获条纹(14、15)的相应长度(18)和/或相应宽度(17),并且如果相应长度(18)和/或其他相应宽度(17)偏离指定的反差图案所预先确定的长度和/或宽度不超过指定值,则将所述对象(3)识别为行人(5)。
5.根据前述权利要求中任一项所述的方法,
其特征在于,
确定与机动车辆(1)有关的阳光的光入射(20)的当前方向,并且根据所确定的光入射(20)方向确定预定的所述反差图案。
6.根据前述权利要求中任一项所述的方法,
其特征在于,
基于至少一个图像(B),在表示周围区域(4)的周围地图中确定被识别为行人(5)的对象(3)的位置(P),并且基于对象(3)的阴影(11)和在至少一个进一步的图像中形成的反差图案(13)将对象(3)识别为行人(5),以便跟踪行人(5),并且,对象(3)的进一步位置是基于至少一个进一步的图像在周围地图上确定的。
7.根据前述权利要求中任一项所述的方法,
其特征在于,
在至少一个图像(B)中另外检测到对象(3)本身,且当基于在至少一个图像(B)中所检测到的对象(3)以及在至少一个图像(B)中所识别的反差图案(13)而将对象(3)识别为行人(5)时,对象(3)才被识别并确认为行人(5)。
8.根据权利要求7所述的方法,
其特征在于,
在由至少一个相机(6)捕获的相同图像(B)中检测对象(3)本身和反差图案(13),并且基于相同图像(B)将对象(3)识别为行人(5)。
9.根据权利要求7或8所述的方法,
其特征在于,
基于被识别的对象(3)将对象(3)识别为行人(5)的过程和基于检测到的反差图案(13)将对象(3)识别为行人(5)的过程至少在某些时间同时执行。
10.根据权利要求7至9中任一项所述的方法,
其特征在于,
在周围地图中确定检测到的对象(3)的位置(P)和检测到的反差图案(13)的位置,并且在周围地图中绘制检测到的对象(3)和反差图案(13)。
11.根据权利要求10所述的方法,
其特征在于,
在周围地图中确定检测到的对象(3)在地面(12)上的投影,并且如果对象(3)的投影和在周围地图中绘制的对象(3)的反差图案(13)至少在预定的重叠区域中重叠,则将该对象(3)识别为行人(5)。
12.一种驾驶员辅助系统(2),用于将机动车辆(1)的周围区域(4)中的对象(3)识别为行人(5),其具有至少一个车辆侧相机(6),所述相机用于在图像(B)中捕获周围区域(4),
其特征在于,
驾驶员辅助系统(2)的图像处理装置(10)被配置为在至少一个被捕获的图像(B)中检测从对象(3)投射到周围区域(4)中的地面(12)上的阴影(11)和形成在地面(12)上并取决于阴影(11)的反差图案(13),并且基于形成的反差图案(13)与表征行人的预定反差图案的比较来识别对象(3)。
13.一种机动车辆(1),具有根据权利要求12所述的驾驶员辅助系统(2)。
CN201680079975.5A 2015-12-16 2016-12-16 识别机动车辆的周围区域中的对象的方法,驾驶员辅助系统和机动车辆 Active CN108496176B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015121952.2A DE102015121952A1 (de) 2015-12-16 2015-12-16 Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102015121952.2 2015-12-16
PCT/EP2016/081409 WO2017103096A1 (de) 2015-12-16 2016-12-16 Verfahren zum identifizieren eines objektes in einem umgebungsbereich eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug

Publications (2)

Publication Number Publication Date
CN108496176A true CN108496176A (zh) 2018-09-04
CN108496176B CN108496176B (zh) 2021-12-31

Family

ID=57590515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680079975.5A Active CN108496176B (zh) 2015-12-16 2016-12-16 识别机动车辆的周围区域中的对象的方法,驾驶员辅助系统和机动车辆

Country Status (6)

Country Link
US (1) US10635896B2 (zh)
EP (1) EP3391282A1 (zh)
JP (1) JP6698163B2 (zh)
CN (1) CN108496176B (zh)
DE (1) DE102015121952A1 (zh)
WO (1) WO2017103096A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017200574B4 (de) * 2017-01-16 2019-12-12 Robert Bosch Gmbh Verfahren zum Überwachen eines Umfelds eines Fahrzeugs
DE102017206974A1 (de) * 2017-04-26 2018-10-31 Conti Temic Microelectronic Gmbh Verfahren zur indirekten Detektion eines verdeckten Verkehrsteilnehmers
DE102017010731A1 (de) 2017-11-20 2018-05-30 Daimler Ag Verfahren zur Erfassung eines Objektes
US20190164309A1 (en) * 2017-11-29 2019-05-30 Electronics And Telecommunications Research Institute Method of detecting shooting direction and apparatuses performing the same
DE102018203242A1 (de) 2018-03-05 2019-09-05 Robert Bosch Gmbh Messung von Fahrzeugabmessungen aus einem Schattenwurf
KR20210136567A (ko) * 2020-05-08 2021-11-17 현대자동차주식회사 차량의 커뮤니케이션 조명 시스템
DE102020206829A1 (de) 2020-06-02 2021-12-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Bestimmung der Höhe von Pflanzen und Computerprogrammprodukt
US11900695B2 (en) 2021-03-04 2024-02-13 Nec Corporation Of America Marking and detecting road marks
US11881033B2 (en) * 2021-03-04 2024-01-23 Nec Corporation Of America Reliable visual markers based on multispectral characteristics
DE102021213881A1 (de) 2021-12-07 2023-06-07 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
GB2621822A (en) * 2022-08-17 2024-02-28 Skystrm Ltd Monitoring system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149794A (zh) * 2007-10-16 2008-03-26 王海燕 基于视频的车辆检测跟踪及系统
CN103108796A (zh) * 2010-08-12 2013-05-15 法雷奥开关和传感器有限责任公司 辅助车辆停车操作的方法、驾驶员辅助系统和机动车辆
CN103109312A (zh) * 2010-07-17 2013-05-15 法雷奥开关和传感器有限责任公司 一种用于警告机动车辆的驾驶员在靠近车辆的侧板的侧部区域中存在障碍物的方法以及具有驾驶员辅助系统的机动车辆
CN103325255A (zh) * 2013-06-29 2013-09-25 佘若凡 基于摄影测量技术进行区域交通状况检测的方法
WO2014192143A1 (ja) * 2013-05-31 2014-12-04 トヨタ自動車 株式会社 車両の運転支援装置及び車載コンピュータ

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2901112B2 (ja) * 1991-09-19 1999-06-07 矢崎総業株式会社 車両周辺監視装置
JP3574780B2 (ja) 2000-08-29 2004-10-06 株式会社日立製作所 車両の安全運転支援システム
DE10160719B4 (de) * 2001-12-11 2011-06-16 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Erkennung und Wiedererkennung von sich bewegenden Objekten
DE10324895A1 (de) * 2003-05-30 2004-12-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Objektortung für Kraftfahrzeuge
DE102006003538B3 (de) * 2006-01-24 2007-07-19 Daimlerchrysler Ag Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
DE102008062915B4 (de) * 2008-12-23 2019-10-24 Continental Safety Engineering International Gmbh Erkennung von Personen, insbesondere von Fußgängern
US10081308B2 (en) * 2011-07-08 2018-09-25 Bendix Commercial Vehicle Systems Llc Image-based vehicle detection and distance measuring method and apparatus
JP5906696B2 (ja) 2011-11-30 2016-04-20 アイシン精機株式会社 車両周辺撮影装置および車両周辺画像の処理方法
WO2013169601A2 (en) * 2012-05-07 2013-11-14 Honda Motor Co., Ltd. Method to generate virtual display surfaces from video imagery of road based scenery
US9460354B2 (en) 2012-11-09 2016-10-04 Analog Devices Global Object detection
JP6155963B2 (ja) * 2013-08-21 2017-07-05 株式会社デンソー 衝突緩和装置
JP6187817B2 (ja) 2013-10-09 2017-08-30 アイシン精機株式会社 顔検出装置、方法およびプログラム
US9158985B2 (en) * 2014-03-03 2015-10-13 Xerox Corporation Method and apparatus for processing image of scene of interest
JP6407626B2 (ja) * 2014-08-26 2018-10-17 日立オートモティブシステムズ株式会社 物体認識装置及び車両制御システム
US10055643B2 (en) * 2014-09-19 2018-08-21 Bendix Commercial Vehicle Systems Llc Advanced blending of stitched images for 3D object reproduction
US9990550B2 (en) * 2014-09-19 2018-06-05 Bendix Commercial Vehicle Systems Llc Wide baseline object detection stereo system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149794A (zh) * 2007-10-16 2008-03-26 王海燕 基于视频的车辆检测跟踪及系统
CN103109312A (zh) * 2010-07-17 2013-05-15 法雷奥开关和传感器有限责任公司 一种用于警告机动车辆的驾驶员在靠近车辆的侧板的侧部区域中存在障碍物的方法以及具有驾驶员辅助系统的机动车辆
CN103108796A (zh) * 2010-08-12 2013-05-15 法雷奥开关和传感器有限责任公司 辅助车辆停车操作的方法、驾驶员辅助系统和机动车辆
WO2014192143A1 (ja) * 2013-05-31 2014-12-04 トヨタ自動車 株式会社 車両の運転支援装置及び車載コンピュータ
CN103325255A (zh) * 2013-06-29 2013-09-25 佘若凡 基于摄影测量技术进行区域交通状况检测的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUNQIU WANG: "Shadow extraction and application in pedestrian detection", 《EURASIP JOURNAL ON IMAGE AND VIDEO PROCESSING》 *

Also Published As

Publication number Publication date
JP6698163B2 (ja) 2020-05-27
US10635896B2 (en) 2020-04-28
CN108496176B (zh) 2021-12-31
US20190012537A1 (en) 2019-01-10
JP2019500695A (ja) 2019-01-10
DE102015121952A1 (de) 2017-06-22
WO2017103096A1 (de) 2017-06-22
EP3391282A1 (de) 2018-10-24

Similar Documents

Publication Publication Date Title
CN108496176A (zh) 识别机动车辆的周围区域中的对象的方法,驾驶员辅助系统和机动车辆
US9280900B2 (en) Vehicle external environment recognition device
CN109478324B (zh) 图像处理装置、外界识别装置
CN102779430B (zh) 基于视觉的夜间后碰撞警告系统、控制器及其操作方法
CN108027971B (zh) 用于识别围绕机动车辆的区域中的对象的方法、驾驶员辅助系统和机动车辆
US7566851B2 (en) Headlight, taillight and streetlight detection
EP3480057B1 (en) Rear obstruction detection
US9349070B2 (en) Vehicle external environment recognition device
EP2546779B1 (en) Environment recognizing device for a vehicle and vehicle control system using the same
US20090303026A1 (en) Apparatus, method for detecting critical areas and pedestrian detection apparatus using the same
WO2005036371A2 (en) Moving object detection using low illumination depth capable computer vision
JP2018063708A (ja) 大型車両の移動オブジェクト衝突警告装置および方法
KR101667835B1 (ko) 수직 대칭을 이용한 대상물 위치 지정
JP2009076076A (ja) 障害物を認識する方法
Lin et al. Adaptive IPM-based lane filtering for night forward vehicle detection
CN113518995A (zh) 用于训练和使用神经网络以检测自部件位置的方法
WO2017154317A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
KR101840927B1 (ko) 차량 후진시 후측방 접근 객체와의 충돌 회피 장치 및 방법
Khalifa et al. Vision-based lane detection for autonomous artificial intelligent vehicles
JP4791086B2 (ja) 衝突回避システム
Chiu et al. An embedded real-time vision system for 24-hour indoor/outdoor car-counting applications
WO2020129517A1 (ja) 画像処理装置
KR102239734B1 (ko) 어라운드 뷰 모니터링 시스템을 이용한 자율 주행 차량을 위한 이동 경로 생성 장치 및 방법
KR20170093490A (ko) 차량용 모니터링 시스템
CN111914610B (zh) 立体物检测装置、以及立体物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant