CN114051585A - 用于基于摄像头确定机动车的周围环境中的运动的对象的间距的方法和设备 - Google Patents

用于基于摄像头确定机动车的周围环境中的运动的对象的间距的方法和设备 Download PDF

Info

Publication number
CN114051585A
CN114051585A CN202080050409.8A CN202080050409A CN114051585A CN 114051585 A CN114051585 A CN 114051585A CN 202080050409 A CN202080050409 A CN 202080050409A CN 114051585 A CN114051585 A CN 114051585A
Authority
CN
China
Prior art keywords
determined
image
moving object
size
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080050409.8A
Other languages
English (en)
Inventor
J·维金
R·德雷尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen Automotive Co ltd
Original Assignee
Volkswagen Automotive Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Automotive Co ltd filed Critical Volkswagen Automotive Co ltd
Publication of CN114051585A publication Critical patent/CN114051585A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种用于基于摄像头确定机动车(50)的周围环境(30)中的运动的对象(60)的间距(b_1,b_2)的方法，其中，借助于摄像头(2)在不同的时间点(t1，t2)探测周围环境(30)的周围环境图像(10,11)，其中，在探测到的周围环境图像(10,11)中识别运动的对象(60)以及至少一个不运动的对象(61)并在第一周围环境图像(10)中根据相对于所述运动的对象(60)的标出的几何关系选择一个不运动的对象(61)，其中，确定在运动的对象(60)与不运动的对象(61)之间的图像尺寸比(k)，其中，在第二周围环境图像(11)中确定不运动的对象(61)的图像尺寸(y'_2)，其中，基于所确定的不运动的对象(61)的图像尺寸(y'_1,y'_2)和车辆速度(v_Fzg)确定不运动的对象(61)的间距(a_1,a_2)和不运动的对象(61)的对象尺寸(y)，并且其中，基于所确定的图像尺寸比(k)，所确定的间距(a_1,a_2)以及所确定的不运动的对象(61)的对象尺寸(y)确定运动的对象(60)的间距(b_1,b_2)。此外，本发明涉及一种相关的设备(1)。

Description

用于基于摄像头确定机动车的周围环境中的运动的对象的间 距的方法和设备
技术领域
本发明涉及用于基于摄像头确定机动车的周围环境中的运动的对象的间距的方法和设备。此外，本发明涉及一种机动车。
背景技术
在现代的机动车中使用摄像头，以便探测机动车的周围环境。为了空间的探测在此需要多个摄像头，以便产生周围环境的立体图像。
由CN106197382B已知一种用于动态确定目标与车辆单个摄像头的间距的方法。从多个借助于车辆单个摄像头探测到的单个图像出发确定在单个图像中的对象的图像尺寸。经由所确定的图像尺寸以及经由车辆速度计算的路程确定与对象的间距。但所述方法只能应用于不运动的对象。
发明内容
本发明基于如下任务，提供用于基于摄像头确定机动车的周围环境中的运动的对象的间距的方法和设备。
所述任务根据本发明通过一种具有权利要求1的特征的方法和一种具有权利要求7的特征的设备解决。本发明的有利的设计方案由从属权利要求得出。
尤其是，提供一种用于基于摄像头确定机动车的周围环境中的运动的对象的间距的方法，其中，借助于摄像头在第一时间点探测周围环境的第一周围环境图像并且在后续的第二时间点探测周围环境的第二周围环境图像，其中，在探测到的周围环境图像中识别运动的对象，并且其中，在探测到的周围环境图像中识别至少一个不运动的对象并在第一周围环境图像中根据相对于所述运动的对象的标出的几何关系选择一个不运动的对象，其中，在第一周围环境图像中确定在运动的对象的图像尺寸与不运动的对象的图像尺寸之间的图像尺寸比，其中，在第二周围环境图像中确定不运动的对象的图像尺寸，其中，基于所确定的不运动的对象的图像尺寸和车辆速度确定在第一时间点以及在第二时间点不运动的对象的间距和不运动的对象的对象尺寸，并且其中，基于所确定的图像尺寸比，所确定的间距以及所确定的不运动的对象的对象尺寸确定并提供在第一时间点以及在第二时间点运动的对象的间距。
此外，提供一种用于基于摄像头确定机动车的周围环境中的运动的对象的间距的设备，所述设备包括：用于探测周围环境的摄像头，以及评估装置，其中，摄像头如此构造，使得在第一时间点探测周围环境的第一周围环境图像并且在后续的第二时间点探测周围环境的第二周围环境图像，并且其中，评估装置如此构造，使得在探测到的周围环境图像中识别运动的对象，并且此外在探测到的周围环境图像中识别至少一个不运动的对象并在第一周围环境图像中根据相对于所述运动的对象的标出的几何关系选择一个不运动的对象，在第一周围环境图像中确定在运动的对象的图像尺寸与不运动的对象的图像尺寸之间的图像尺寸比，并且此外在第二周围环境图像中确定不运动的对象的图像尺寸，基于所确定的不运动的对象的图像尺寸和车辆速度确定在第一时间点以及在第二时间点不运动的对象的间距和不运动的对象的对象尺寸，并且基于所确定的图像尺寸比，所确定的间距以及所确定的不运动的对象的对象尺寸确定并提供在第一时间点以及在第二时间点运动的对象的间距。
所述方法和所述设备实现，仅基于由单个摄像头探测到的两个周围环境图像确定运动的对象的间距，所述周围环境图像在彼此相继的时间点探测。在此从如下出发：摄像头尤其与机动车一起在第一时间点与第二时间点之间相对于周围环境运动。在探测到的周围环境图像中识别运动的对象，所述运动的对象例如是前面行驶的机动车。此外，在探测到的周围环境图像中识别至少一个不运动的对象并且在第一周围环境图像中根据相对于运动的对象的标出的几何关系选择一个不运动的对象。识别和选择在此尤其是包括识别机动车的周围环境中的多个不运动的对象。在识别周围环境中的多个不运动的对象之后，在第一周围环境图像中根据相对于运动的对象的标出的几何关系选择一个适合的不运动的对象。
利用所选择的不运动的对象执行后续的方法步骤。在第一周围环境图像中确定在运动的对象的图像尺寸，也就是说图像元素的数量，例如沿水平方向或沿竖直方向(也就是说在宽度或高度方面)的图像尺寸与不运动的对象的图像尺寸之间的图像尺寸比。在此，尤其是观察图像尺度(也就是说以图像元素测量的宽度或以图像元素测量的高度)本身。但也可以设置成，观察两个图像尺度并且例如求分别针对宽度和高度所确定的图像尺寸比的平均值。图像元素的数量在图像元素的尺寸已知的情况下也可以换算成相应的物理尺寸(在摄像头传感器上的图像的尺寸。接着以相同的方式在第二周围环境图像中确定不运动的对象的图像尺寸。
基于所确定的不运动的对象的图像尺寸和车辆速度(该车辆速度例如借助于评估装置从机动车的车辆里程计查询)，确定在第一时间点以及在第二时间点不运动的对象与机动车或与摄像头的间距以及不运动的对象的对象尺寸。在最后的步骤中，基于所确定的图像尺寸比、所确定的不运动的对象的间距以及所确定的不运动的对象的对象尺寸确定并提供在第一时间点以及在第二时间点运动的对象的间距。
换言之，将所选择的不运动的对象用作参考对象，针对该参考对象在两个时间点借助于摄像头的已知的成像条件和已知的经过的路程确定与摄像头或与机动车的间距。由于在第一周围环境图像中根据相对于运动的对象的标出的几何关系选择不运动的对象，因此可以由第一周围环境图像中的运动的对象和不运动的对象的所确定的图像尺寸比和所确定的不运动的对象的间距在考虑到标出的几何关系的情况下确定在第一时间点以及在第二时间点运动的对象的相应的间距。
本发明的优点是，可以借助于单个摄像头确定与运动的对象的间距。由于仅需要单个摄像头，可以节省成本和结构空间。
所述摄像头尤其是单摄像头或单个摄像头，也就是说一个摄像头，该摄像头从仅一个方向或利用唯一的物镜探测周围环境。摄像头在此尤其是布置在机动车处并且探测在机动车之前或之后的区域。摄像头在第一周围环境图像和第二周围环境图像的探测期间与机动车一起运动，从而改变在机动车或摄像头与不运动的对象之间的至少一个间距并且改变不运动的对象的至少一个图像尺寸。如果摄像头探测在机动车之后的区域，则由此例如可以监控倒车或在超车过程之前识别从后方接近的其他机动车。
在探测到的周围环境图像中对运动的对象和不运动的对象的识别借助于本身已知的图案识别方法实现。在此，可以例如使用机器学习的方法。可以设置成，在此预先规定：在探测到的周围环境图像中应识别或寻找哪种类型的对象。例如可以预先规定：运动的对象是前面行驶的机动车。
在第一周围环境图像中根据相对于运动的对象的标出的几何关系对不运动的对象的选择尤其应包括对相对于运动的对象适宜地布置的不运动的对象的选择。尤其标出的几何关系在此表示以下条件：不运动的对象由于靠近于运动的对象而直接邻近该运动的对象布置或至少部分地触碰运动的对象。在此之后存在以下考虑：在直接靠近时或在触碰时，至少在该直接的邻近处或在触碰点处的运动的对象和不运动的对象的尺寸是可比较的，从而由不运动的对象的尺度可以推断出运动的对象的尺度。在触碰或直接靠近时，尤其是运动的和不运动的对象的间距，即与摄像头的距离是相同的。对此特别适合的是机动车与车道的始终存在的触碰点。由于标出的几何关系，所确定的图像尺寸和对此还有对象的真实的尺寸因此可至少部分地直接彼此比较。
用于确定运动的对象的间距的方法步骤尤其是借助于评估装置执行。评估装置的部件可以单个地或联合地构造为硬件和软件的组合，例如构造为程序代码，该程序代码在微控制器或微处理器上实施。但也可以设置成，部件单个地或联合地构造为专用集成电路(ASIC)。
可以设置成，所述方法循环地重复。尤其是，所述方法可以针对分别在不同的、尤其是相邻的时间点探测到的周围环境图像对重复。以这种方式可以重复地确定针对运动的对象的间距。在重复执行时，尤其是可以经由改变的间距(以及可由此测定的相对速度)确认相对速度的变化并且因此根据机动车的速度或速度变化推断出运动的对象(例如前面行驶的车辆)的制动或加速，驾驶员辅助系统可以相应地对所述制动或加速作出反应。
可以设置成，所述方法针对多个运动的对象基于探测到的第一周围环境图像和探测到的第二周围环境图像实施。在此，方法步骤针对运动的对象中的每个运动的对象单独地执行。但可以的是，在此针对多个运动的对象使用相同的所选择的不运动的对象。
在一种实施形式中设置成，基于所确定的图像尺寸比以及所确定的不运动的对象的对象尺寸确定运动的对象的对象尺寸，其中，仅基于所确定的对象尺寸和在探测到的另外的周围环境图像中确定的运动的对象的图像尺寸确定在之后的另外的时间点该运动的对象的另外的间距。由此可以在确定运动的对象的对象尺寸一次之后在之后探测到的另外的图像中确定与运动的对象的间距。在确定对象尺寸一次之后可以由此节省资源，因为其余的方法步骤不再必须执行。
在一种实施形式中设置成，在假定定焦光学器件具有已知的图像间距的情况下基于摄像头的已知的光学特性确定不运动的对象的间距和/或对象尺寸。不运动的对象的间距和对象尺寸的确定由此能够以特别简单且计算耗费低的方式执行。
相同的原理也可以应用于带有可调整的聚焦的摄像头，其中，为此确定图像间距(有时也称为像距)或由探测到的摄像头数据测定图像间距。
在一种实施形式中设置成，标出的几何关系通过在第一周围环境图像中运动的对象的图像元素和不运动的对象的图像元素的至少一个触碰点确定或被确定。如果运动的对象例如是前面行驶的机动车，则可以在第一周围环境图像中辨识前面行驶的机动车与车道表面的触碰点，例如后车轮与车道表面的接触线，并且将其用于确定几何关系。换言之，在这些点处可以假定如下：在机动车与车道之间的触碰点处的真实的尺度是相同的，因为所述触碰点关于这一点具有相同的与摄像头的间距。作为不运动的对象可以例如使用车道的在这些触碰点处经由车道标线导出的或者说确定的或估算的车道宽度。
在一种实施形式中设置成，基于所确定的运动的对象的间距和在第一时间点与第二时间点之间的时间差确定并提供运动的对象与所述机动车的相对速度。由此可以附加地提供运动的对象的动态状态的状态信息。
在一种扩展方案中设置成，确定并提供运动的对象的绝对速度，其中，为此将所确定的相对速度和机动车的车辆速度相加。机动车的车辆速度可以例如借助于评估装置在车辆里程计中查询。由此绝对尺寸也可以附加地提供给运动的对象的动态状态使用。此外，可以从针对彼此相继的时间点所确定的多个绝对速度计算运动的对象的加速度或减速度。
针对设备的设计方案的特征由所述方法的设计方案的描述得出。所述设备的优点在此分别和在方法的设计方案中的优点相同。
此外，提供一种机动车，该机动车包括至少一个根据所描述的实施形式中的任意实施形式所述的设备。
附图说明
下面依据优选的实施例参考附图详细阐释本发明。在此：
图1示出用于基于摄像头确定机动车的周围环境中的运动的对象的间距的设备的一种实施形式的示意图；
图2示出用于阐明本发明的在第一时间点以及在第二时间点的示例性的周围环境的示意图。
具体实施方式
在图1中示出用于基于摄像头确定机动车50的周围环境中的运动的对象的间距的设备1的一种实施形式的示意图。设备1布置在机动车50中。设备1包括单个摄像头2和评估装置3。
评估装置3的部件可以单个地或联合地构造为硬件和软件的组合，例如构造为程序代码，该程序代码在微控制器或微处理器上实施。但也可以设置成，部件单个地或联合地构造为专用集成电路(ASIC)。评估装置3尤其是包括计算装置4(例如呈微处理器的形式)和存储器5，在该存储器中计算装置4可以执行计算操作。
摄像头2在第一时间点探测周围环境的第一周围环境图像10并且在后续的第二时间点探测周围环境的第二周围环境图像11并且将探测到的周围环境图像10,11供应给评估装置3。在两个时间点之间机动车50运动并且摄像头2与机动车一起运动。在此尤其可以设置成，摄像头2探测呈视频形式的周围环境图像流并且从视频流中提取作为单个图像的第一周围环境图像10和第二周围环境图像11。
评估装置3在探测到的周围环境图像10,11中识别要确定间距的运动的对象。运动的对象可以例如是前面行驶的机动车。此外，评估装置3在探测到的周围环境图像10,11中识别不运动的对象并且在第一周围环境图像10中根据相对于运动的对象的标出的几何关系选择这些不运动的对象中的一个不运动的对象。尤其是，标出的几何关系可以是第一周围环境图像11中的相同的图像平面，也就是说至少运动的对象和不运动的对象的部分与摄像头2的相同的间距或相同的距离。例如前面行驶的机动车的图像元素(例如后轮胎的图像元素)可与不运动的对象的图像元素(例如车道或车道标线)邻接。从上下文(前面行驶的机动车+道路+后轮胎)中那么可以推断出，运动的对象和不运动的对象在该图像平面中，也就是说在彼此邻接的图像元素的地点处与摄像头或与机动车50具有相同的间距。
评估装置3接着在第一周围环境图像10中确定运动的对象的图像尺寸与不运动的对象的图像尺寸之间的图像尺寸比。为此，例如针对对象的高度和/或宽度确定周围环境图像10中的图像元素(像素)的数量。由针对图像元素的数量的两个值可以在第一周围环境图像10中确定两个对象相对彼此的图像尺寸比。
在第二周围环境图像11中评估装置3同样地确定不运动的对象的图像尺寸。
评估装置3在第一时间点以及在第二时间点确定不运动的对象的间距并且基于分别在周围环境图像10,11中确定的不运动的对象的图像尺寸以及车辆速度v_Fzg来确定不运动的对象的对象尺寸。车辆速度v_Fzg例如由机动车50的车辆里程计51供应给评估装置3和/或从车辆里程计查询。
在最后的步骤中，评估装置3基于所确定的图像尺寸比，所确定的间距和所确定的不运动的对象的对象尺寸确定在第一时间点以及在第二时间点运动的对象的间距b_1,b_2。所确定的间距b_1,b_2接着提供用于进一步处理并且为此被输出，例如以数字的数据包形式输出。
可以设置成，由评估装置3基于所确定的图像尺寸比和所确定的不运动的对象的对象尺寸确定运动的对象的对象尺寸，其中，仅基于所确定的对象尺寸以及在探测到的另外的周围环境图像中确定的运动的对象的图像尺寸确定在之后的另外的时间点运动的对象的另外的间距b_3。
图2示出在第一时间点t1以及在后续的第二时间点t2的示例性的周围环境30的示意图以用于阐明本发明。在图2的左侧上在此分别示出周围环境30的俯视图，在图2的右侧上分别示出探测到的周围环境图像10,11的示意图。
机动车50的周围环境30分别包括运动的对象60和不运动的对象61。运动的对象60具有尺寸x，而不运动的对象61具有尺寸y，其中，尺寸x,y在所示出的示例中涉及关于从机动车50开始的观察方向的对象60，61的宽度。为了清楚起见在此在俯视图中分别仅示出一半宽度。附加地，作为不运动的对象还示出树木62，但该树木仅用于阐明图像尺寸的变化。但原则上，树木62也可以被选择作为不运动的对象。
下面详细阐释所述方法的各个步骤。在此假定如下 ：摄像头2布置在机动车50的中间并且摄像头2沿行驶方向52探测周围环境30。
下面描述的步骤在评估装置3中(图1)执行。
在一个步骤中在探测到的第一周围环境图像10中识别运动的对象60，当前为前面行驶的机动车。测定运动的对象60的图像尺寸x'_1，其中，为此确定运动的对象60在第一周围环境图像10中在宽度方面(备选地在高度方面)占据的图像元素的数量。
在后续的步骤中在第一周围环境图像10中识别不运动的对象，并且在第一周围环境图像10中基于与运动的对象60的适当的几何关系选择不运动的对象61。在所示出的示例中几何关系例如是前面行驶的机动车的后车轮63在车道31上的一个或多个触碰点。作为不运动的对象61在所示出的示例中选择在如下位置处车道31或其宽度的一部分，所述位置经由相关的车道标线32的间距限定。在触碰点处可以在第一周围环境图像10中直接彼此比较运动的对象60和不运动的对象61的尺度，因为与摄像头2的间距a_1,b_1相同。在该步骤中此外确定不运动的对象61的图像尺寸y'_1。图像尺寸经由不运动的对象61在第一周围环境图像10中在宽度(备选地高度)方面占据的一些数量的图像元素(像素)来确定。图像元素的数量在图像元素的尺寸已知的情况下那么也可以换算成相应的物理尺寸(在摄像头传感器上的图像的尺寸)。
接着在第一周围环境图像10中确定在运动的对象60与不运动的对象61之间的图像尺寸比k。这通过比较相应确定的数量的图像元素来实现：
k = x'_1 / y'_1
在已知的持续时间Δt(在第一时间点与第二时间点之间的差)以及沿行驶方向52的已知的经过的路程Δa=v_Fzg*Δt之后，借助于评估装置3(图1)执行以下步骤。
在探测到的第二周围环境图像11中确定不运动的对象61(也就是说在相应的位置处的车道或其宽度)的图像尺寸y'_2。
接着确定不运动的对象61的对象尺寸y和间距a_1,a_2。在此，从具有已知的特性的摄像头2的定焦光学器件出发。
根据几何光学器件在此适用的是：
y'_1 / y = a'_1 / a_1以及y'_2 / y = a'_2 / a_ 2
经由机动车50(或摄像头2)的车辆速度v_Fzg可以在已知Δt的情况下确定所经过的路程：
Δa = v_Fzg * Δt = a_1 – a_2
由此并且经由具有已知的图像间距的定焦光学器件的近似：
a' = a'_1 = b'_1 ≈ a'_2 ≈ b'_2
得出：
y'_1 * a_1 = y'_2 (a_1 - Δa)
由此在转换之后得到：
a_1 = y'_2 * Δa / (y'_2 – y'_1)
以及
a_2 = a_1 - Δa
y = (a_1 / a') * y'_1 = (a_2 / a') * y'_2
在后续的步骤中评估装置3(图1)经由已知的图像尺寸比k计算运动的对象60的尺寸x：
x = k * y
由此然后可以确定间距b_1和b_2：
b_1 = a_1
b_2 = (x / x'_2) * a'
可以设置成，基于所确定的运动的对象60的间距b_1,b_2和在第一时间点t1与第二时间点t2之间的时间差Δt确定并提供运动的对象60与机动车50的相对速度v_Obj_rel：
v_Obj_rel = (b_2 – b_1) / Δt
此外，扩展地可以设置成，确定并提供运动的对象60的绝对速度v_Obj_abs，其中，为此将所确定的相对速度v_Obj_rel和机动车50的车辆速度v_Fzg相加：
v_Obj_abs = v_Obj_rel + v_Fzg
所述方法和所述设备实现，以简单的方式利用单个摄像头确定与运动的对象的间距。在此可以设置成，所述方法循环地针对另外的时间点重复。此外可以设置成，所述方法针对在机动车50的周围环境中的另外的运动的对象执行。
附图标记列表：
1设备
2摄像头
3评估装置
4计算装置
5存储器
10第一周围环境图像
11第二周围环境图像
30周围环境
31车道
32车道标线
50机动车
51车辆里程计
52行驶方向
60运动的对象
61不运动的对象
62树木
63后车轮
t1第一时间点
t2第二时间点
x尺寸(运动的对象)
y尺寸(不运动的对象)
x'_1图像尺寸(运动的对象，第一时间点)
x'_2图像尺寸(运动的对象，第二时间点)
y'_1图像尺寸(不运动的对象，第一时间点)
y'_2图像尺寸(不运动的对象，第二时间点)
k图像尺寸比
a_1间距(不运动的对象，第一时间点)
a_2间距(不运动的对象，第二时间点)
b_1间距(运动的对象，第一时间点)
b_2间距(运动的对象，第二时间点)
b_3另外的间距(运动的对象，另外的时间点)
v_Fzg车辆速度
v_Obj_rel相对速度(运动的对象)
v_Obj_abs绝对速度(运动的对象)
Δt时间差
Δa经过的路程。

Claims (10)

1.一种用于基于摄像头确定机动车(50)的周围环境(30)中的运动的对象(60)的间距(b_1,b_2)的方法，其中，借助于摄像头(2)在第一时间点(t1)探测所述周围环境(30)的第一周围环境图像(10)并且在后续的第二时间点(t2)探测所述周围环境(30)的第二周围环境图像(11)，
其中，在探测到的周围环境图像(10,11)中识别所述运动的对象(60)，并且其中，在探测到的周围环境图像(10,11)中识别至少一个不运动的对象(61)并在所述第一周围环境图像(10)中根据相对于所述运动的对象(60)的标出的几何关系选择一个不运动的对象，
其中，在所述第一周围环境图像(10)中确定在所述运动的对象(60)的图像尺寸(x'_1)与所述不运动的对象(61)的图像尺寸(y'_1)之间的图像尺寸比(k)，
其中，在所述第二周围环境图像(11)中确定所述不运动的对象(61)的图像尺寸(y'_2)，
其中，基于所确定的所述不运动的对象(61)的图像尺寸(y'_1,y'_2)和车辆速度(v_Fzg)确定在所述第一时间点(t1)以及在所述第二时间点(t2)所述不运动的对象(61)的间距(a_1,a_2)和所述不运动的对象(61)的对象尺寸(y)，并且
其中，基于所确定的图像尺寸比(k)，所确定的间距(a_1,a_2)以及所确定的所述不运动的对象(61)的对象尺寸(y)确定并提供在所述第一时间点(t1)以及在所述第二时间点(t2)所述运动的对象(60)的间距(b_1,b_2)。
2.根据权利要求1所述的方法，其特征在于，基于所确定的图像尺寸比(k)以及所确定的所述不运动的对象(61)的对象尺寸(y)确定所述运动的对象(60)的对象尺寸(x)，其中，仅基于所确定的对象尺寸(x)和在探测到的另外的周围环境图像中确定的所述运动的对象的图像尺寸(60)确定在之后的另外的时间点所述运动的对象(60)的另外的间距(b_3)。
3.根据权利要求1或2所述的方法，其特征在于，在假定定焦光学器件具有已知的图像间距的情况下基于所述摄像头(2)的已知的光学特性确定所述不运动的对象(61)的对象尺寸(x)和/或间距(b_1,b_2)。
4.根据前述权利要求中任一项所述的方法，其特征在于，标出的几何关系通过在所述第一周围环境图像(10)中所述运动的对象(60)的图像元素和所述不运动的对象的图像元素的至少一个触碰点确定或被确定。
5.根据前述权利要求中任一项所述的方法，其特征在于，基于所确定的所述运动的对象(60)的间距(b_1,b_2)和在所述第一时间点(t1)与所述第二时间点(t2)之间的时间差(Δt)确定并提供所述运动的对象(60)与所述机动车(50)的相对速度(v_Obj_rel)。
6.根据权利要求5所述的方法，其特征在于，确定并提供所述运动的对象(60)的绝对速度(v_Obj_abs)，其中，为此将所确定的相对速度(v_Obj_rel)和所述机动车(50)的车辆速度(v_Fzg)相加。
7. 一种用于基于摄像头确定机动车(50)的周围环境(30)中的运动的对象(60)的间距(b_1,b_2)的设备(1)，所述设备包括：
用于探测所述周围环境(30)的摄像头(2)，以及
评估装置(3)，
其中，所述摄像头(2)如此构造，使得在第一时间点(t1)探测所述周围环境(30)的第一周围环境图像(10)并且在后续的第二时间点(t2)探测所述周围环境(30)的第二周围环境图像(11)，并且
其中，所述评估装置(3)如此构造，使得在探测到的周围环境图像(10,11)中识别所述运动的对象(60)，并且此外在探测到的周围环境图像(10,11)中识别至少一个不运动的对象(61)并在所述第一周围环境图像(10)中根据相对于所述运动的对象(60)的标出的几何关系选择一个不运动的对象，在所述第一周围环境图像(10)中确定在所述运动的对象(60)的图像尺寸(x'_1)与所述不运动的对象(61)的图像尺寸(y'_1)之间的图像尺寸比(k)，并且
此外在所述第二周围环境图像(11)中确定所述不运动的对象(61)的图像尺寸(y'_2)，基于所确定的所述不运动的对象(61)的图像尺寸(y'_1,y'_2)和车辆速度(v_Fzg)确定在第一时间点(t1)以及在第二时间点(t2)所述不运动的对象(61)的间距(a_1,a_2)和所述不运动的对象(61)的对象尺寸(y)，并且
基于所确定的图像尺寸比(k)，所确定的间距(a_1,a_2)以及所确定的所述不运动的对象(61)的对象尺寸(y)确定并提供在第一时间点(t1)以及在第二时间点(t2)所述运动的对象(60)的间距(b_1,b_2)。
8.根据权利要求7所述的设备(1)，其特征在于，所述评估装置(3)此外如此构造，使得基于所确定的图像尺寸比(k)以及所确定的所述不运动的对象(61)的对象尺寸(y)确定所述运动的对象(60)的对象尺寸(x)，并且仅基于所确定的对象尺寸(x)和在探测到的另外的周围环境图像中确定的所述运动的对象(60)的图像尺寸确定在之后的另外的时间点所述运动的对象(60)的另外的间距(b_3)。
9.根据权利要求7或8所述的设备(1)，其特征在于，所述评估装置(3)此外如此构造，使得基于所确定的所述运动的对象(60)的间距(b_1,b_2)和在所述第一时间点(t1)与所述第二时间点(t2)之间的时间差(Δt)确定所述运动的对象(60)与所述机动车(50)的相对速度(v_Obj_rel)。
10.一种机动车(50)，包括至少一个根据权利要求7至9中任一项所述的设备(1)。
CN202080050409.8A 2019-07-11 2020-06-25 用于基于摄像头确定机动车的周围环境中的运动的对象的间距的方法和设备 Pending CN114051585A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019210300.6A DE102019210300A1 (de) 2019-07-11 2019-07-11 Verfahren und Vorrichtung zum kamerabasierten Bestimmen eines Abstandes eines bewegten Objektes im Umfeld eines Kraftfahrzeugs
DE102019210300.6 2019-07-11
PCT/EP2020/067964 WO2021004810A1 (de) 2019-07-11 2020-06-25 Verfahren und vorrichtung zum kamerabasierten bestimmen eines abstandes eines bewegten objektes im umfeld eines kraftfahrzeugs

Publications (1)

Publication Number Publication Date
CN114051585A true CN114051585A (zh) 2022-02-15

Family

ID=71401745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080050409.8A Pending CN114051585A (zh) 2019-07-11 2020-06-25 用于基于摄像头确定机动车的周围环境中的运动的对象的间距的方法和设备

Country Status (5)

Country Link
US (1) US20220366587A1 (zh)
EP (1) EP3997614A1 (zh)
CN (1) CN114051585A (zh)
DE (1) DE102019210300A1 (zh)
WO (1) WO2021004810A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021126288A1 (de) * 2021-10-11 2023-04-13 Cariad Se Verfahren und Vorrichtung zum Bestimmen einer Eigenposition eines Fahrzeugs

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
DE102008064440A1 (de) * 2008-12-22 2010-07-01 Rheinmetall Landsysteme Gmbh Navigation für insbesondere unbemannte Fahrzeuge
DE102011076112A1 (de) * 2011-05-19 2012-11-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Erkennen eines möglichenKollisionsobjektes
DE102011112715A1 (de) * 2011-09-07 2013-03-07 Audi Ag Verfahren zum Erfassen eines Objekts in einem Umfeld eines Kraftfahrzeugs
DE102015112289A1 (de) * 2015-07-28 2017-02-02 Valeo Schalter Und Sensoren Gmbh Verfahren zum Identifizieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
CN106197382B (zh) * 2016-08-25 2018-06-05 北方电子研究院安徽有限公司 一种车载单摄像头目标动态测距方法
EP3451021A1 (de) * 2017-08-30 2019-03-06 Hexagon Technology Center GmbH Messgerät mit scanfunktionalität und einstellbaren empfangsbereichen des empfängers

Also Published As

Publication number Publication date
US20220366587A1 (en) 2022-11-17
WO2021004810A1 (de) 2021-01-14
DE102019210300A1 (de) 2021-01-14
EP3997614A1 (de) 2022-05-18

Similar Documents

Publication Publication Date Title
US10246030B2 (en) Object detection apparatus and driving assistance apparatus
JP4985142B2 (ja) 画像認識装置および画像認識装置の画像認識処理方法
JP4654163B2 (ja) 車両の周囲環境認識装置及びシステム
JP6722400B2 (ja) 車両の運転支援装置
EP3113150B1 (en) Local location computation device and local location computation method
CN102211523B (zh) 用于跟踪对象标记位置的方法和装置
JP6365385B2 (ja) 立体物検出装置及び立体物検出方法
JP2015505759A (ja) 車両の迫っている横転を検知するための方法
JP6337811B2 (ja) 画像処理装置及び画像処理方法
US20170357863A1 (en) Object detection apparatus and object detection method
JP2008033750A (ja) 物体傾き検出装置
JP2014106731A (ja) 車載画像処理装置
JP2018124768A (ja) 車両制御装置
JP6493000B2 (ja) 路面標示検出装置及び路面標示検出方法
US20080310678A1 (en) Pedestrian Detecting Apparatus
JP6496619B2 (ja) 車両用駐車支援装置
JP6768554B2 (ja) キャリブレーション装置
JP4256992B2 (ja) 障害物検出装置
JP2019053685A (ja) 画像処理装置
CN114051585A (zh) 用于基于摄像头确定机动车的周围环境中的运动的对象的间距的方法和设备
Scheunert et al. Free space determination for parking slots using a 3D PMD sensor
WO2010113253A1 (ja) ３次元情報表示装置および３次元情報表示方法
CN109308442B (zh) 车外环境识别装置
JP2005170290A (ja) 障害物検出装置
JP2012108665A (ja) レーンマーク認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination