CN111655540B - 用于识别与机动车辆邻近的至少一个对象的方法 - Google Patents

用于识别与机动车辆邻近的至少一个对象的方法 Download PDF

Info

Publication number
CN111655540B
CN111655540B CN201880077796.7A CN201880077796A CN111655540B CN 111655540 B CN111655540 B CN 111655540B CN 201880077796 A CN201880077796 A CN 201880077796A CN 111655540 B CN111655540 B CN 111655540B
Authority
CN
China
Prior art keywords
motor vehicle
camera
image
predetermined
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880077796.7A
Other languages
English (en)
Other versions
CN111655540A (zh
Inventor
Y.阿尔纳拉奥伊
S.施利克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of CN111655540A publication Critical patent/CN111655540A/zh
Application granted granted Critical
Publication of CN111655540B publication Critical patent/CN111655540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18027—Drive off, accelerating from standstill
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18025—Drive off, accelerating from standstill

Abstract

本发明涉及一种用于识别与机动车辆(10)邻近的至少一个对象(18)的方法(V)，其中通过控制装置(12)借助摄像机(11)采集至少一个摄像机图像(17)，其中摄像机(11)的采集区域(14)对准机动车辆(10)的外部区域(15)并且部分或完全地对准机动车辆(10)的外表面(16)。本发明提出，对于独立态检查，在至少一个摄像机图像(17)中通过控制装置(12)的图像分析装置(23)检查是否成像了机动车辆(10)的至少一个预定的固有结构(27)，并且对于通过图像分析装置(23)不能找到至少一个固有结构(27)的情况，产生禁止信号(20)，该禁止信号指示有对象(18)与所述机动车辆(10)邻近。

Description

用于识别与机动车辆邻近的至少一个对象的方法
技术领域
本发明涉及一种用于识别与机动车辆邻近的至少一个对象的方法。因此，借助该方法可识别对象是否倚靠在机动车辆上或者是否接触到机动车辆。本发明还包括控制装置，借助该控制装置可执行根据本发明的方法，本发明还包括具有该控制装置的机动车辆。
背景技术
机动车辆由机动的自动驾驶仪(Autopilot)自主或自动引导的自动驾驶功能必须能够独立地识别在停车时间之后是否可以开动或起动。为此，尤其要确保，没有物体和/或人员直接倚靠在机动车辆上。如果自动驾驶仪要开动，则可能会对这些对象造成损害。自动驾驶仪的这种自动驾驶功能的实例是所谓的停车场领航仪(Parkhauspilot)，其可以实现，在没有车辆乘员(乘客)、特别是没有驾驶员的情况下，基于呼叫信号或者启动信号从停车场驶出并且驶向用户。
从现有技术中已知，机动车辆可借助至少一个摄像机(照相机)来监视其周围环境或其外部区域。
例如，从US 2001/0019356 A1已知，机动车辆可借助摄像机来识别其他道路使用者以及停放的车辆和行人。然而，为此需要复杂的图像处理以便可靠地识别这些对象的各种形状。还要针对靠近机动车辆的对象的识别来实现该图像处理，这意味着不期望的高成本。
从EP 1 394 761 A2已知一种用于机动车辆的自动驾驶仪。该自动驾驶仪可以借助摄像机执行障碍物探测。但是，这需要使用两个摄像机和复杂的图像转换。其他的技术，例如超声波在近距离中也呈现出不足。
从DE 10 2016 218 425 A1中已知一种用于机动车辆的半自动起动的方法，其中执行对可能在起动时与机动车辆相撞的对象的识别。在此规定，通过处理装置执行对象识别，该处理装置产生用于起动的使能信号(启动信号，Freigabesignal)。在此，除了车辆自己的传感器之外还使用基础设施方面的传感器。由此还可以识别躺在或倚靠在机动车辆上的对象。
从DE 10 2016 118 949 A1已知一种用于智能地打开机动车辆入口位置的方法，其中规定，针对要打开的后备箱盖或尾部挡板通过传感器来检测对象是否倚靠或放置在后备箱盖或尾部挡板上。在此规定使用力传感器和超声传感器。所述对象例如为后备箱中或装货面上的对象，当打开盖子或挡板时要防止它们掉落。
从DE 10 2010 009 889 A1中已知一种用于防止车辆的挡板与位于摆动空间中的障碍物碰撞的方法，其中通过车辆的照明装置在摆动空间中产生光图案，并利用摄像机进行采集。在此，摄像机对准车辆周围环境，并且采集挡板的摆动范围，但不采集机动车辆的外表面。
发明内容
因此，本发明要解决的技术问题是，对于停放的或静止的机动车辆识别，至少一个对象是否倚靠在机动车辆上或者是否与机动车辆邻近(紧贴)。
该技术问题通过本发明来解决。本发明的有利的实施方式通过随后的描述和附图来描述。
通过本发明提供了一种用于识别与机动车辆邻近的至少一个对象的方法。这种对象例如分别可以是物体或人。在该方法中，通过控制装置借助摄像机采集至少一个摄像机图像。在此，摄像机的采集区域对准机动车辆的外部区域。换言之，对机动车辆的周围环境进行采集。然而，在此规定，采集区域部分或完全地对准机动车辆的外表面。换言之，借助相机对机动车辆本身的一部分进行成像。
为了在当前不必复杂地执行对象识别以识别至少一个邻近的对象，本发明规定，对于独立态检查(外廓检查，Freistandsprüfung)，即没有对象与机动车辆邻近(紧贴)的验证，在至少一个摄像机图像中通过控制装置的图像分析装置检查是否成像了机动车辆的至少一个预定的固有结构(本征结构)。因此，不检查对象是否可识别，而是检查机动车辆本身的至少一个固有结构是可识别的。尽管用于识别至少一个对象的图像分析装置不能假定对象的光学特性是已知的，因此对象的识别相应地是复杂的，但是在根据本发明的方法中，寻找的机动车辆的至少一个预定的固有结构的光学特性是已知的。甚至至少一个摄像机图像中寻找的至少一个特性结构的姿态或位置同样可以是已知的。对于通过图像分析装置的确不能找到，即不能识别至少一个固有结构的情况，产生禁止(闭锁、阻挡)信号，该禁止信号指示有对象与机动车辆邻近(紧贴)。换言之，对于找不到的固有结构的情况，假定该固有结构显然被至少一个对象覆盖或遮盖。换言之，于是至少一个对象位于摄像机与寻找的机动车辆的至少一个预定的固有结构之间的视线内。因此可以假定，对象与机动车辆邻近，或者以至少接近机动车辆的方式，使得可以将其归类为邻近。反之，如果在该方法中识别到至少一个固有结构，则可通过控制装置产生独立态信号(Freistandssignal)，该独立态信号指示机动车辆在摄像机的采集区域内处于无接触或者独立状态，即在邻近机动车辆的摄像机的采集区域内没有识别到对象。在此可以规定，该独立态信号然后通过另外的传感器数据检查合理性或进行验证。另外，可报告邻近的对象的方向。例如，可提供方向显示。
通过本发明带来以下优点：通过在至少一个摄像机图像中寻找至少一个预定的固有结构可以较低的成本可靠地识别是否有对象与机动车辆邻近(紧贴)。图像分析装置例如可被设计成用于控制装置的处理器装置的程序模块。优选地，仅在机动车辆的静止状态中，即当不受机动车辆控制的对象可导致独立状态的改变时，才执行根据本发明的方法。这对于计算资源是特别节省的。
本发明还包括如下的实施方式，通过这些实施方式产生附加的优点。
一种实施方式规定，通过图像分析装置在至少一个摄像机图像中寻找作为固有结构的机动车辆的预定的外部轮廓。换言之，在至少一个摄像机图像中寻找预定的边缘走向，或者检查该边缘走向是否存在。该寻找的外部轮廓是独立态轮廓(Freistandskontur)，即如当在摄像机的采集区域内没有对象与机动车辆邻近时，在至少一个摄像机图像中必须产生的至少一个边缘的走向。外部轮廓或边缘走向形式的固有结构具有特别的优点，即可以在摄像机图像中可靠地并且特别是以较小的计算工作量探测到该固有结构。尤其可以规定，仅在摄像机图像的预定的子区域中寻找固有结构，在该预定的子区域中已知，对于独立态的机动车辆，固有结构必须在那里。这是基于以下认识：固有结构相对于摄像机的相对位置是已知的。
一种实施方式规定，通过图像分析装置在至少一个摄像机图像中寻找作为固有结构的具有至少一个预定的光学特性的预定的机动车辆表面和/或机动车辆的至少一个预定的构件。例如，作为机动车辆表面可以对金属板的表面进行采集。对机动车辆表面进行采集的优点在于，可以识别到，对象与机动车辆邻近(紧贴)的位置。作为可能的固有结构的构件的优点在于，在摄像机图像中可再次可靠地识别其形状。为此，可提供与构件的样板(Template)的相关性。如果在摄像机图像中没有识别到构件，则摄像机与构件之间的视线被邻近的对象中断。这可被可靠地识别到。
关于机动车辆表面，根据一种实施方式可在至少一个摄像机图像的预定的子区域中寻找作为光学特性的至少一种预定的颜色和/或至少一个预定的对比度。因此，预定的光学特性涉及机动车辆表面的颜色和/或对比度。由此产生以下优点：即使在不能探测到边缘的识别情况下，例如大雾中，也可以将颜色和/或对比度用作识别机动车辆的固有结构的基础。
到目前为止已经描述了：仅针对单个摄像机的采集区域检查在该采集区域内是否有对象与车辆邻近。当然，该方法还可以针对多个摄像机执行，即，可以针对摄像机中的每一个执行所描述的独立态检查。相应的实施方式规定，通过控制装置从至少一个另外的摄像机分别接收至少一个摄像机图像，其中通过所有摄像机的采集区域在整体上(即针对所有的摄像机一起)给出机动车辆的全方位采集，并且针对每个摄像机执行独立态检查。换言之，设置如此多的采集区域，使得可在机动车辆周围关于邻近的对象进行检查(独立态检查)。由此产生如下优点：一旦在某处有对象与机动车辆邻近，就产生禁止信号。“周围”尤其是指机动车辆在水平面内的轮廓。同样地，还可以设置对机动车辆的车顶和/或车底的检查，但是术语“周围”仅是指侧向或横向的检查(右侧和左侧以及前侧和后侧)。
一种实施方式规定，通过机动车辆的自动驾驶仪接收用于开动的启动信号，并且仅在没有禁止信号的情况下，该自动驾驶仪才开动，即机动车辆于是才移动。为此，可通过用于自动行驶或者用于自动引导车辆的控制设备提供自动驾驶仪。可从机动车辆外部，例如从用户的远程控制或从因特网接收启动信号。换言之，在接收到启动信号之后或通过接收启动信号可以执行独立态检查，并由此识别机动车辆是否处于独立态。只有在这种情况下，自动驾驶仪才能起动机动车辆。否则，机动车辆保持不动。
作为识别机动车辆的至少一个固有结构的扩展，一种实施方式规定，通过图像分析装置在至少一个摄像机图像中还寻找机动车辆所在地基的地面结构，并且如果不能(在至少一个摄像机图像中)找到地面结构，则也会产生禁止信号。换言之，检查从摄像机到地面或地基的视线是否开阔(无遮挡的，frei)。如果可以识别到地基的地面结构，则就是这种情况。由此产生如下优点，即使对象从摄像机的视角来看位于机动车辆的自身轮廓的“后面”，也同样可识别到位于机动车辆下方并突出到摄像机的采集区域内的对象。
为了在识别固有结构和/或地面结构时不必执行利用形状识别的复杂的图像分析，一种实施方式以有利的方式规定，通过图像分析装置在独立态检查之前的至少一个时间点产生外部区域的至少一个参考图像。换言之，更确切地说，在独立态检查之前，借助至少一个摄像机影拍摄采集区域。这产生至少一个参考图像。对于参考图像假定，在独立状态下，即在没有对象与车辆邻近时采集了该参考图像。例如，在闭锁机动车辆之后，如果用户例如认为或已经检查了机动车辆处于独立态，则可要求用户触发记录至少一个参考图像。还可以在机动车辆停止时和/或在停止之后的预定时间段期间(例如在前10秒内)产生至少一个参考图像。即便如此还可以假定，没有对象倚靠在机动车辆上。在随后的独立态检查中，然后将至少一个摄像机图像与至少一个参考图像进行图像比较。换言之，至少一个摄像机图像必须具有与至少一个参考图像相同的图像内容，由此识别独立态的机动车辆。如果在图像比较中识别到至少一个摄像机图像与至少一个参考图像之间的差异，则产生禁止信号。可以将图像比较限定在至少一个摄像机图像的预定的子区域中。该子区域可以涉及如下图像区域，在该图像区域中，如果机动车辆处于独立状态(frei)，则必须在至少一个摄像机图像中能对机动车辆本身进行成像。作为补充或替代，可以将该比较限定在来自多个预定的图像特性的一个或多个图像特性中，例如边缘和/或图案(纹理)。因为，由于在停车时间期间改变的光线条件，并不是所有的图像特性例如颜色和/或亮度适合于图像比较。
为了执行根据本发明的方法，本发明还提供了一种用于机动车辆的控制装置。例如可以将控制装置设计成控制设备或多个控制设备的组合。该控制装置具有处理器装置，该处理器装置被设置成用于执行根据本发明的方法的实施方式。为此，处理器装置可以具有至少一个微控制器和/或至少一个微处理器。可以通过处理器装置的程序代码来实现方法步骤。程序代码可存储在处理器装置的数据存储器中。
最后，本发明还包括一种具有至少一个摄像机的机动车辆，该摄像机的采集区域对准机动车辆的外部区域，并且在此部分或全部地对准机动车辆的外表面。此外，根据本发明的控制装置的实施方式规定，控制装置可以与至少一个摄像机耦合。机动车辆可以具有自动驾驶仪，在该自动驾驶仪中可以通过控制装置的禁止信号来禁止或中断开动。可以将根据本发明的机动车辆设计为汽车，例如乘用车或货车。
本发明还包括所描述的实施方式的组合。
附图说明
下面描述了本发明的实施例。附图中：
图1示出了根据本发明的机动车辆的实施方式的示意图；
图2示出了根据本发明的方法的实施方式的流程图；和
图3示出了摄像机图像的示意图，在该摄像机图像中通过机动车辆的控制装置寻找固有结构。
具体实施方式
下面说明的实施例是本发明的优选的实施方式。在实施例中，所描述的实施方式的部件分别代表本发明的彼此独立地考虑的各个特征，这些特征还彼此独立地分别扩展本发明，并且因此还可以单独地或者以不同于作为本发明的组成部分示出的组合形式考虑这些特征。此外，所描述的实施方式还可以由本发明的已经描述的其它特征来补充。
在附图中，功能相同的元件分别具有相同的附图标记。
图1示出了机动车辆10，其可以是汽车，例如乘用车或货车。机动车辆10可以具有一个或多个摄像机11和控制装置12以及任选地具有自动驾驶仪13。摄像机11的采集区域14可以对准机动车辆10外部的周围环境或外部区域15。然而，采集区域14在此以这种方式对准，使得也总是在每个采集区域14中通过采集区域14采集到机动车辆10的外表面16的一部分，从而对于处于独立态的机动车辆10，在摄像机11的摄像机图像17中也总是成像机动车辆10的一部分。为此，例如，相应的摄像机11可以分别布置在机动车辆10的侧视镜S中。摄像机11可以是前置摄像机，其可例如布置在车顶模块中并且向机动车辆的前方对准。例如，摄像机11可以是倒车摄像机，其可布置在机动车辆10的尾部中。所描述的采集区域14的取向尤其是在相应摄像机11的运行中产生。在关闭状态下，摄像机11也可以缩回或下降。
摄像机11中的至少一个的摄像机图像17可以由控制装置12从相应的摄像机11接收。控制装置12可以根据摄像机图像17来判断机动车辆10是否处于独立态，或者相反，是否有至少一个对象18倚靠在机动车辆10上。如果机动车辆10处于独立态并且控制装置12识别到这点，则该控制装置可以产生独立态信号19并且例如将其输出给自动驾驶仪13。如果控制装置12根据摄像机图像17识别到对象18倚靠在机动车辆上或与机动车辆10邻近，则该控制装置12可以产生禁止信号20并且例如将其输出给自动驾驶仪13，并且任选地将至少一个另外的信号输出给至少一个另外的部件(例如传感器或算法)。对于自动驾驶仪13，通过禁止信号20可禁止或者防止该自动驾驶仪响应于启动信号21开动并且由此例如使对象18倒下。例如可以从用户的远程控制或从互联网接收启动信号21，并且可以要求机动车辆10离开其当前的停车位22。
为了识别至少一个对象18或者机动车辆10的独立态，控制装置12可以具有图像分析装置23。图像分析装置23可以基于控制装置12的处理器装置24的程序模块来实现。
图2示出了方法V，该方法V可以由控制装置12执行，以依据摄像机图像17要么产生独立态信号19要么禁止信号20。
在步骤S10中，可以通过控制装置采集或接收借助摄像机11产生的摄像机图像17。
下面结合图3来说明步骤S11。
图3示例性地示出了摄像机图像17，例如它可能已经由机动车辆10的尾部相机产生。在摄像机图像17中可以成像外部区域15的一部分。此外，例如可以成像后保险杠25和车顶边缘26的外表面16。
在步骤S11中，可以通过图像分析装置23检查机动车辆10的至少一个预定的固有结构27是否在摄像机图像17中成像。固有结构27例如可以是外部轮廓或边缘走向28，如当机动车辆10处于独立态时，从摄像机11的视角或角度必须在摄像机图像17中给出该外部轮廓或边缘走向。在图3中所示的实施例中，对象18倚靠在机动车辆10上，使得边缘走向28形式的固有结构27在对象18倚靠在机动车辆10上的位置处具有中断29。该中断会产生，是因为对象18将边缘走向28形式的固有结构27遮盖或掩盖。因此，边缘走向28形式的固有结构27不能被图像分析装置23在摄像机图像17中识别到。因此，固有结构27保持不能被图像分析装置23找到。
在步骤S12(参见图2)中，控制装置12可以检查通过图像分析装置23是否可在摄像机图像17中识别到固有结构27。如果是这种情况(在图2中用“+”号表示)，则可以在步骤S13中产生独立态信号19，该独立态信号19针对相应的摄像机11的相应的采集区域14发出信号，表示在那里没有对象与机动车辆10邻近。
与此相对，如果在步骤S12中确定了，找不到固有结构27，即在摄像机图像17中不能或者不能完整地识别到固有结构27(在图2中用“-”号表示)，则可在步骤S14中产生禁止信号20。该禁止信号20发出信号，表示在相应摄像机11的相应采集区域14中有对象18与机动车辆10邻近。
因此，在机动车辆10中规定，借助例如可布置在侧视镜S中的摄像机来观察包括车辆轮廓的可见区域或采集区域。
利用图像分析装置或图像处理来检查静态的车辆部分和车辆轮廓是否可见或没有被遮盖。由此，例如即使人或者物体严重变形或仅部分可见，也可在机动车辆10的直接环境(附近)中识别到人或物体(一般对象)。
该方法基于对自己车辆上的已知结构进行监视。为此，可以利用易于实现的图像处理操作，例如对边缘走向的分析来识别对机动车辆的固有结构的掩盖。一种示例性的实施方式规定，首先以正常状态或独立态(不存在障碍物)采集侧面摄像机的摄像机图像中的边缘走向。边缘轮廓定向于在摄像机图像中可见的车身或外表面。如果物体或人，即一般对象，遮盖了否则在其它情况下可见的外表面或车身，则破坏了自由的视觉轮廓或边缘走向。障碍物通过相应的禁止信号进行报告。
其他的实施方式可以规定，对地面结构和/或特定的机动车辆表面的可见性及其特性(对比度和/或颜色)进行分析。
然而，对固有结构的识别具有较小的对环境条件的依赖性，并且可以通过更简单的图像处理来进行对固有结构的识别。
通过该方法首先使得能够实现光学地感知与车辆邻近的障碍物。
总体而言，实施例示出了如何通过本发明可提供对与机动车辆邻近的障碍物的光学感知。
附图标记列表
10 机动车辆
11 摄像机
12 控制装置
13 自动驾驶仪
14 采集区域
15 外部区域
16 外表面
17 相机图像
18 对象
19 独立态信号
20 禁止信号
21 启动信号
22 停车位
23 图像分析装置
24 处理器装置
25 保险杠
26 车顶边缘
27 固有结构
28 边缘走向
29 遮盖
S 侧视镜
V 方法

Claims (9)

1.一种用于识别与机动车辆(10)邻近的至少一个对象(18)的方法(V)，其中通过控制装置(12)借助摄像机(11)采集至少一个摄像机图像(17)，其中所述摄像机(11)的采集区域(14)对准所述机动车辆(10)的外部区域(15)并且部分或完全地对准所述机动车辆(10)的外表面(16)，
其中对于独立态检查，在至少一个摄像机图像(17)中通过所述控制装置(12)的图像分析装置(23)检查是否成像了所述机动车辆(10)的至少一个预定的固有结构(27)，并且对于通过所述图像分析装置(23)不能找到至少一个固有结构(27)的情况，产生禁止信号(20)，所述禁止信号指示有对象(18)与所述机动车辆(10)邻近，
其中通过所述机动车辆(10)的自动驾驶仪(13)接收用于开动的启动信号(21)，并且仅在不存在禁止信号(20)的情况下，所述自动驾驶仪(13)才开动。
2.根据权利要求1所述的方法(V)，其中通过所述图像分析装置(23)在至少一个摄像机图像(17)中寻找作为固有结构(27)的所述机动车辆(10)的预定的外部轮廓(28)。
3.根据权利要求1或2所述的方法(V)，其中通过所述图像分析装置(23)寻找作为固有结构(27)的具有至少一个预定的光学特性的预定的机动车辆表面和/或所述机动车辆(10)的至少一个预定的构件。
4.根据权利要求3所述的方法(V)，其中作为所述光学特性，在至少一个摄像机图像(17)的预定的子区域中寻找至少一种预定的颜色和/或至少一个预定的对比度。
5.根据权利要求1或2所述的方法(V)，其中通过所述控制装置(12)从至少一个另外的摄像机(11)分别接收至少一个摄像机图像(17)，其中通过所有摄像机(11)的采集区域(14)在整体上给出所述机动车辆(10)的全方位采集，并且针对每个摄像机(11)执行所述独立态检查。
6.根据权利要求1或2所述的方法(V)，其中通过所述图像分析装置(23)在至少一个摄像机图像(17)中寻找所述机动车辆(10)所在地基的地面结构，并且如果不能找到所述地面结构，则也产生所述禁止信号(20)。
7.根据权利要求1或2所述的方法(V)，其中通过所述图像分析装置(23)在所述独立态检查之前的至少一个时间点产生所述外部区域(15)的至少一个参考图像，并且在所述独立态检查中执行所述至少一个摄像机图像(17)与所述至少一个参考图像的图像比较。
8.一种用于机动车辆(10)的控制装置(12)，其具有处理器装置(24)，所述处理器装置被设置成用于执行根据上述权利要求中任一项所述的方法。
9.一种具有至少一个摄像机(11)的机动车辆(10)，所述摄像机的采集区域(14)对准所述机动车辆(10)的外部区域(15)，并且部分或全部地对准所述机动车辆(10)的外表面(16)，并且所述车辆(10)具有根据权利要求8所述的控制装置(12)。
CN201880077796.7A 2017-12-19 2018-08-21 用于识别与机动车辆邻近的至少一个对象的方法 Active CN111655540B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017223160.2 2017-12-19
DE102017223160.2A DE102017223160B4 (de) 2017-12-19 2017-12-19 Verfahren zum Erkennen von zumindest einem an einem Kraftfahrzeug anliegenden Objekt sowie Steuervorrichtung und Kraftfahrzeug
PCT/EP2018/072537 WO2019120643A1 (de) 2017-12-19 2018-08-21 Verfahren zum erkennen von zumindest einem an einem kraftfahrzeug anliegenden objekt sowie steuervorrichtung und kraftfahrzeug

Publications (2)

Publication Number Publication Date
CN111655540A CN111655540A (zh) 2020-09-11
CN111655540B true CN111655540B (zh) 2023-08-08

Family

ID=63364057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880077796.7A Active CN111655540B (zh) 2017-12-19 2018-08-21 用于识别与机动车辆邻近的至少一个对象的方法

Country Status (7)

Country Link
US (1) US11535242B2 (zh)
EP (1) EP3727936B1 (zh)
KR (1) KR102420289B1 (zh)
CN (1) CN111655540B (zh)
DE (1) DE102017223160B4 (zh)
RU (1) RU2738034C1 (zh)
WO (1) WO2019120643A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017223160B4 (de) 2017-12-19 2019-10-24 Volkswagen Aktiengesellschaft Verfahren zum Erkennen von zumindest einem an einem Kraftfahrzeug anliegenden Objekt sowie Steuervorrichtung und Kraftfahrzeug
US11847833B2 (en) 2020-02-12 2023-12-19 Strattec Security Corporation Broad coverage non-contact obstacle detection
DE102020208312A1 (de) 2020-07-02 2022-01-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Absicherung einer Anfahrt eines teil- oder vollautomatisierten Fahrzeugs
DE102020208308A1 (de) 2020-07-02 2022-01-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Absicherung einer Anfahrt eines teil- oder vollautomatisierten Fahrzeugs
CN112092732A (zh) * 2020-09-22 2020-12-18 福建龙马环卫装备股份有限公司 基于图像识别的路面保洁环卫车作业装置控制系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101269635A (zh) * 2007-03-23 2008-09-24 株式会社电装 视场监视设备
CN104010163A (zh) * 2013-02-27 2014-08-27 通用汽车环球科技运作有限责任公司 驾驶员监视摄像机系统

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801244B2 (en) 2000-02-29 2004-10-05 Kabushiki Kaisha Toshiba Obstacle detection apparatus and method
DE10133511A1 (de) 2001-07-10 2003-01-30 Siemens Ag Verfahren und Vorrichtung zur optischen Erkennung des Öffnungszustands einer Fahrzeugtür
DE10201523A1 (de) 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verdeckungsdetektion bei Bildsensorsystemen
JP3895238B2 (ja) 2002-08-28 2007-03-22 株式会社東芝 障害物検出装置及びその方法
US7436136B2 (en) * 2006-09-26 2008-10-14 Arvinmeritor Light Vehicle Systems - France Camera based anti-pinch system
US8442755B2 (en) * 2008-09-29 2013-05-14 GM Global Technology Operations LLC Systems and methods for preventing motor vehicle side doors from coming into contact with obstacles
JP5360491B2 (ja) 2009-11-13 2013-12-04 アイシン精機株式会社 多機能カメラシステム
DE102010009889A1 (de) 2010-03-02 2011-09-08 GM Global Technology Operations LLC , (n. d. Ges. d. Staates Delaware) Vorrichtung zur Vermeidung einer Kollision einer schwenkbaren Fahrzeugklappe
DE102011112578A1 (de) 2011-09-08 2013-03-14 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung für ein Assistenzsystem in einem Fahrzeug zur Durchführung eines autonomen oder teilautonomen Fahrmanövers
US9068390B2 (en) 2013-01-21 2015-06-30 Magna Electronics Inc. Vehicle hatch control system
US9199576B2 (en) * 2013-08-23 2015-12-01 Ford Global Technologies, Llc Tailgate position detection
DE102013020435A1 (de) 2013-12-06 2014-06-18 Daimler Ag Verfahren zum Erkennen von Objekten in einer Fahrzeugumgebung
US9731713B2 (en) 2014-09-10 2017-08-15 Volkswagen Ag Modifying autonomous vehicle driving by recognizing vehicle characteristics
US10113351B2 (en) 2015-10-26 2018-10-30 Ford Global Technologies, Llc Intelligent vehicle access point opening system
DE102016000493B4 (de) * 2016-01-19 2017-10-19 Audi Ag Verfahren zum Betrieb eines Fahrzeugsystems und Kraftfahrzeug
JP6752024B2 (ja) * 2016-02-12 2020-09-09 日立オートモティブシステムズ株式会社 画像処理装置
DE102016218425A1 (de) 2016-09-26 2018-03-29 Audi Ag Verfahren zum zumindest teilautomatisierten Anfahren eines Kraftfahrzeugs aus dem Stand
FR3056490B1 (fr) * 2016-09-29 2018-10-12 Valeo Vision Procede de projection d'une image par un systeme de projection d'un vehicule automobile, et systeme de projection associe
DE102017100004A1 (de) * 2017-01-02 2018-07-05 Connaught Electronics Ltd. Verfahren zum Bereitstellen von zumindest einer Information aus einem Umgebungsbereich eines Kraftfahrzeugs, Anzeigesystem für ein Kraftfahrzeug, Fahrerassistenzsystem für ein Kraftfahrzeug sowie Kraftfahrzeug
US20180288848A1 (en) * 2017-03-28 2018-10-04 GM Global Technology Operations LLC Vehicle imaging systems and methods for lighting diagnosis
US11615566B2 (en) * 2017-05-10 2023-03-28 Fotonation Limited Multi-camera vehicle vision system and method
US10678260B2 (en) * 2017-07-06 2020-06-09 GM Global Technology Operations LLC Calibration methods for autonomous vehicle operations
US10613547B2 (en) * 2017-08-14 2020-04-07 GM Global Technology Operations LLC System and method for improved obstacle awareness in using a V2X communications system
US20190057264A1 (en) * 2017-08-16 2019-02-21 Ford Global Technologies, Llc Detecting objects in vehicles
DE102017223160B4 (de) 2017-12-19 2019-10-24 Volkswagen Aktiengesellschaft Verfahren zum Erkennen von zumindest einem an einem Kraftfahrzeug anliegenden Objekt sowie Steuervorrichtung und Kraftfahrzeug

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101269635A (zh) * 2007-03-23 2008-09-24 株式会社电装 视场监视设备
CN104010163A (zh) * 2013-02-27 2014-08-27 通用汽车环球科技运作有限责任公司 驾驶员监视摄像机系统

Also Published As

Publication number Publication date
RU2738034C1 (ru) 2020-12-07
WO2019120643A1 (de) 2019-06-27
DE102017223160B4 (de) 2019-10-24
US11535242B2 (en) 2022-12-27
KR20200071105A (ko) 2020-06-18
EP3727936B1 (de) 2022-05-25
KR102420289B1 (ko) 2022-07-14
US20210086760A1 (en) 2021-03-25
CN111655540A (zh) 2020-09-11
EP3727936A1 (de) 2020-10-28
DE102017223160A1 (de) 2019-06-19

Similar Documents

Publication Publication Date Title
CN111655540B (zh) 用于识别与机动车辆邻近的至少一个对象的方法
US10072453B2 (en) Vehicle door control system
JP4598653B2 (ja) 衝突予知装置
CN109478324B (zh) 图像处理装置、外界识别装置
US9511723B2 (en) Method and device for an assistance system in a vehicle for performing an autonomous or semi-autonomous driving maneuver
US8589033B2 (en) Contactless obstacle detection for power doors and the like
WO2012164729A1 (ja) 車両用視界支援装置
US20180297519A1 (en) Vehicle hatch clearance determining system
US9415736B2 (en) Method, computer program product and system for utilizing vehicle safety equipment
EP2070774B1 (en) Security system and a method to derive a security signal
CN106997454A (zh) 基于摄相机检测接近车辆的物体的系统和方法
US20200099865A1 (en) Deployable side shark fin with integrated side view camera and sensing device
CN110622504A (zh) 借助安装在车辆内的传感器空间分辨地探测车辆外部物体的方法和设备
US10196031B2 (en) Image processing device that switches from normal mode to area limitation mode having no appearance of pedestrian protection mechanism
EP1854666B1 (en) System for the detection of objects located in an external front-end zone of a vehicle, which is suitable for industrial vehicles
CN108151714B (zh) 具有运动检测能力的机动车系统
KR101663096B1 (ko) 차량의 도난 방지 장치
US20180290595A1 (en) Vehicle side mirror positioning method and assembly
EP2378465A1 (en) Driver assisting system and method for a motor vehicle
CN106864368B (zh) 应用于车辆的警示方法及系统
JP6500692B2 (ja) 車両用防犯システム、車両用防犯方法
CN112277807A (zh) 观察设备
US7408478B2 (en) Area of representation in an automotive night vision system
US20230219483A1 (en) Method and apparatus for providing user interface based on projection
EP3522068A1 (en) A vision system and method for autonomous driving and/or driver assistance in a motor vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant