CN109426807A - 用于估计车辆的自身运动的方法和设备 - Google Patents

用于估计车辆的自身运动的方法和设备 Download PDF

Info

Publication number
CN109426807A
CN109426807A CN201810952949.XA CN201810952949A CN109426807A CN 109426807 A CN109426807 A CN 109426807A CN 201810952949 A CN201810952949 A CN 201810952949A CN 109426807 A CN109426807 A CN 109426807A
Authority
CN
China
Prior art keywords
classified
vehicle
partial region
additional
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810952949.XA
Other languages
English (en)
Inventor
O·平克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN109426807A publication Critical patent/CN109426807A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/16—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger operated by remote control, i.e. initiating means not mounted on vehicle
    • B60T7/18—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger operated by remote control, i.e. initiating means not mounted on vehicle operated by wayside apparatus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T17/00—Component parts, details, or accessories of power brake systems not covered by groups B60T8/00, B60T13/00 or B60T15/00, or presenting other characteristic features
    • B60T17/18—Safety devices; Monitoring
    • B60T17/22—Devices for monitoring or checking brake systems; Signal devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17—Using electrical or electronic regulation means to control braking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08—Lane monitoring; Lane Keeping Systems
    • B60T2201/089—Lane monitoring; Lane Keeping Systems using optical detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00—Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30—Environment conditions or position therewithin
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00—Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30—Environment conditions or position therewithin
    • B60T2210/36—Global Positioning System [GPS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

在此提出的方案涉及一种用于估计车辆的自身运动的方法。所述方法包括归属的步骤、探测的步骤和求取的步骤。在所述归属的步骤中，将摄像机图像(105)的描绘被分类的对象的至少一个部分区域归属到代表静止的对象的对象类别(220)中。在所述探测的步骤中，在使用探测算法的情况下探测所述摄像机图像(105)中的被归属到所述对象类别(220)中的部分区域的至少一个探测点。在所述求取的步骤中，在使用所述探测点的情况下求取所述车辆的所估计的自身运动。

Description

用于估计车辆的自身运动的方法和设备
技术领域
本方案从根据本发明的用于估计车辆的自身运动的一种设备或者一种方法出发。一种计算机程序也是本方案的主题。
背景技术
现代的驾驶员辅助系统和自动化的行驶需要车辆运动的准确确定。在此，不仅应用惯性传感器、车轮信号而且应用周围环境传感器。如果在车辆中安装有视频摄像机，则可以非常准确地根据图像中的显著突出的点的移位来估计车辆自身运动。在此，在假设固定不变的、不运动的周围环境的情况下推断出车辆的运动。
已知的方法的特征在于，在例如由于其他的运动的车辆而违背固定不变的场景的假设的情况下，所述方法也是特别稳健的。其原因在于使用稳健的估计方法、例如所谓的随机抽样一致性(Random Sample Consensus，RANSAC)，借助所述估计方法确定用于运动的假说，所述假说由尽可能大数目的显著突出的图像点支持。在US 2009/0263009 A1中描述了一种另外的类似的方法，在该方法中，在运动估计时使用RANSAC用于异常值抑制(Ausreiβerunterdrückung)。
此外，近年来，用于语义学地分割图像信息的方法例如借助深度学习取得了显著进步。
发明内容
在此背景下，借助在此提出的方案提出根据本发明的一种用于估计车辆的自身运动的方法、一种使用该方法的设备以及一种相应的计算机程序。通过在以下构型中列举的措施能够实现根据本发明的用于估计车辆的自身运动的设备的有利的扩展方案和改进。
可借助所提出的方案实现的优点在于，在使用在此提出的方法的情况下显著提高车辆的所估计的自身运动的准确性，因为在估计车辆的自身运动时仅仅考虑在车辆的周围环境中的静止的或者不运动的被分类的对象。
提出一种用于估计车辆的自身运动的方法。该方法包括归属(Einordnen)的步骤、探测的步骤和求取的步骤。在归属的步骤中，将摄像机图像的描绘被分类的对象的至少一个部分区域归属到代表静止的对象的对象类别中。在探测的步骤中，在使用探测算法的情况下探测所述摄像机图像中的被归属到所述对象类别中的部分区域的至少一个探测点。在求取的步骤中，在使用所述探测点的情况下求取所述车辆的所估计的自身运动。
车辆可以是在行车道上的行驶运行中转向的机动车。但车辆也可以涉及在空气中可移动或者移动的运输工具如飞行器。已经配属于一个对象种类的被识别的对象可理解为被分类的对象。多个不同的对象种类的对象可以被归属到对象类别中。不能够运动的对象可理解为静止的对象，因为所述对象被绑定到固定的位置上，例如灯。因此，对象种类“灯”的所识别出的对象可能会配属于对象类别。
归属的步骤可以在使用语义学的分割方法的情况下进行。在探测的步骤中，如边缘这样的可快速和简单地求取并且容易地追踪的显著突出的点可以理解为探测点。在求取的步骤中，可以在使用探测点和视觉的测距方法的情况下求取车辆的所估计的自身运动。
所述方法可以例如按软件或硬件或按由软件和硬件组成的混合形式例如在控制设备中实施。
因为在在此提出的方法中在求取所估计的自身运动之前将被分类的对象归属到对象类别中，所以可以有利地实现，在求取车辆的所估计的自身运动时，仅仅考虑在被分类的对象上的这样的探测点：所述探测点固定地布置并且因此构成用于自身运动估计的特别可靠的参考值。
在此，有利的是，在归属的步骤中将所述摄像机图像的描绘另外的被分类的对象的至少一个另外的部分区域归属到代表运动的对象的另外的对象类别中，其中，独立于所述另外的对象类别地实施所述探测的和所述求取的步骤。这可以防止，运动的对象有助于自身运动的有错误的估计。
此外，例如可以使另外的部分区域从摄像机图像中消隐(ausgeblendet)。
有利地，在归属的步骤中，如果所述对象已经被分类为行车道表面和/或路灯和/或建筑物和/或路牌和/或植被，则可以将所述摄像机图像的描绘所述被分类的对象的部分区域归属到所述对象类别中。这类的对象种类或者对象明确地不可运动。在此，可以在行车道表面上探测到行车道标记作为探测点并且可以将其用于另外的方法。
在探测的步骤中，可以在使用探测算法的情况下探测所述至少一个探测点，所述探测算法构造用于将在所述摄像机图像中的所述部分区域的角部和/或边缘和/或亮度差作为所述探测点探测。
为了使可运动的或者未明确唯一地辨识的对象也可辨识，有利的是，根据方法的一种实施方式，在归属的步骤中，将摄像机图像的描绘附加的被分类的对象的至少一个附加的部分区域归属到代表可运动的对象的附加的对象类别中。例如以下另外的车辆可理解为可运动的对象：所述另外的车辆或者可以运动地、即在行驶运行期间地布置，或者，也可以不运动地、即停止地或者停车地布置。
为了能够辨识这样的可运动的对象的运动状态、即运动或者不运动，所述方法可以具有识别的步骤，在所述识别的步骤中，识别附加的对象的运动状态。
响应于识别的步骤地，如果在所述识别的步骤中将所述运动状态识别为不运动的，则可以将代表所述附加的被分类的对象的附加的部分区域归属到所述对象类别中，或者，如果在所述识别的步骤中将所述运动状态识别为运动的，则可以将代表所述附加的被分类的对象的附加的部分区域归属到所述另外的对象类别中。在使用识别的这样的步骤的情况下也可以防止，运动的对象有助于自身运动的有错误的估计。
此外，在此提出的方案的一种这样的实施方式是有利的：在所述实施方式中，设置在使用车辆的所估计的自身运动的情况下控制驾驶员辅助系统的步骤。以此方式，在驾驶员辅助系统中，可以假设或者使用非常精确的值用于车辆的自身运动。在此，驾驶员辅助系统可以被视为例如车辆系统，所述车辆系统在车辆的驾驶中提供驾驶员的支持，例如以车道保持辅助或者紧急制动辅助的形式提供。在这种情况下，可以使用所估计的自身运动作为车辆的以其他方式——例如通过在使用卫星导航系统和/或由雷达测量的情况下所获得的自身运动的可信度测试和/或检验，由此可以实现驾驶员辅助系统的更精确的和更好地保护的功能。
此外，在此提出的方案还实现一种设备，所述设备被构造用于在相应的装置中实施、控制或者实现在此提出的方法的变型方案的步骤。通过本发明的以设备形式的实施变型方案可以快速和高效地解决本发明所基于的任务。
为此，所述设备可以具有至少一个用于处理信号或者数据的计算单元、至少一个用于存储信号或者数据的存储器单元、至少一个用于从传感器读取传感器信号或者用于向执行器输出数据信号或控制信号的、到传感器或者执行器的接口和/或至少一个用于读取或者输出嵌入到通信协议中的数据的通信接口。计算单元可以是例如信号处理器、微控制器或者诸如此类的，其中，存储器单元可以是闪存、EPROM或者磁性的存储器单元。通信接口可以构造用于无线地和/或有线地读取或者输出数据，其中，可以有线地读取或者输出数据的通信接口可以例如电式地或者光学地从相应的数据传输线路读取这些数据或者将这些数据输出到相应的数据传输线路中。
设备在此可以理解为处理传感器信号并且据此输出控制信号和/或数据信号的电设备。所述设备可以具有按硬件方式和/或按软件方式构造的接口。在按硬件方式的构造中，接口例如可以是所谓的系统ASIC的包括所述设备的最不同功能的一部分。然而，也可能的是，接口是单独的集成电路或至少部分地由分立部件组成。在按软件方式的构造中，接口可以是软件模块，其例如与其他软件模块共存在微控制器上。
在一种有利的构型中，通过所述设备进行车辆的自身运动的估计的控制。为此，设备可以例如访问传感器信号。所述控制至少通过执行器如归属装置、探测装置和求取装置来实现。
具有程序代码的计算机程序产品或者计算机程序也是有利的，所述程序代码可以存储在机器可读的载体或者存储介质，如半导体存储器、硬盘存储器或光学存储器上并且尤其用于当在计算机或者设备上执行程序产品或者程序时实施、实现和/或控制根据先前描述的实施方式之一的方法的步骤。
附图说明
在附图中示出并且在接下来的描述中详细地阐述在此提出的方案的实施例。附图示出：
图1示出用于估计车辆的自身运动的设备；
图2示出根据一个实施例的、用于估计车辆的自身运动的设备；
图3示出根据一个实施例的、用于估计车辆的自身运动的方法的流程图。
在本发明的有利的实施例的后续描述中，对于在不同附图中示出并且起类似作用的元件使用相同的或类似的附图标记，其中，不重复描述这些元件。
具体实施方式
如果一个实施例包括第一特征与第二特征之间的“和/或”关系，则这可以解读如下：所述实施例根据一种实施方式不仅具有第一特征，而且具有第二特征；并且根据另一种实施方式或者仅仅具有第一特征，或者仅仅具有第二特征。
图1示出用于估计车辆的自身运动的设备100。
在在此示出的典型的视觉里程计中，设备100选择在摄像机图像105中的最显著突出的点，在此即例如角部、边缘、高的亮度差。在典型的道路场景中，如在此可见的那样，这些点通常位于运动的、另外的车辆上。在此示出的设备100利用一种方法，所述方法基于以下假设：固定不变的场景占据摄像机图像105的尽可能大的部分，而其他的运动的对象仅仅占据摄像机图像105的小的部分。
在设备100的在此执行的方法中，当摄像机图像105的大部分例如由于行驶在前面的载重汽车或者至少一个行驶在前面的其他的车辆而属于运动的对象时，在自身运动的估计中尤其也出现错误。
图2示出根据一个实施例的、用于估计车辆的自身运动的设备200。摄像机图像105可以涉及在图1中示出的摄像机图像105。
不同于在图1中示出的设备地，在此提出的设备200具有归属装置205、探测装置210和求取装置215。
归属装置205构造用于将摄像机图像105的描绘被分类的对象的至少一个部分区域归属到代表静止的对象的对象类别220中。
探测装置210构造用于在使用探测算法的情况下探测所述摄像机图像105中的被归属到所述对象类别220中的部分区域的至少一个探测点。求取装置215构造用于在使用所述探测点的情况下求取所述车辆的所估计的自身运动。
根据该实施例，归属装置205将摄像机图像105的描绘这些被分类的对象的部分区域归属到以下对象类别220中：在所述对象类别中，被分类的对象已经被分类为行车道表面225和/或路牌230和/或植被235。
此外，根据该实施例，归属装置205构造用于将摄像机图像105的描绘另外的被分类的对象的至少一个另外的部分区域归属到代表运动的对象的另外的对象类别240中，其中，探测装置210和求取装置215独立于另外的对象类别240地工作或者实施步骤。
此外，根据该实施例，归属装置205构造用于将摄像机图像105的描绘附加的被分类的对象的附加的部分区域归属到代表可运动的对象的附加的对象类别中。根据该实施例，归属装置205将摄像机图像105的描绘附加的被分类的对象的多个附加的部分区域归属到以下附加的对象类别中：在所述附加的对象类别中，附加的被分类的对象代表另外的车辆245。
根据该实施例，设备200具有识别装置，该识别装置构造用于识别附加的对象的、在此即另外的车辆245的运动状态。
根据该实施例，识别装置识别，另外的车辆245运动并且响应于此地将附加的部分区域归属到另外的对象类别240中。如果根据一个替代的实施例，另外的车辆245被识别装置识别为不运动的，则响应于此地，将附加的部分区域归属到对象类别220中。
此外，根据该实施例，设备200具有消隐装置250，该消隐装置构造用于使另外的部分区域以及已经被归属到另外的对象类别240中的那些附加的部分区域在摄像机图像105上消隐。
根据该实施例，探测装置210在使用探测算法探测到一些探测点，所述探测算法构造用于将在摄像机图像105中的部分区域的角部和/或边缘和/或亮度差作为至少一个探测点探测。
接下来，还一次更准确地描述设备200的细节：
对于自动化的或者高度自动化的行驶而言，在此提出的设备200能够实现在考虑语义学的信息的情况下基于摄像机的运动估计。
能实现车辆的自身运动的、根据车辆的车辆摄像机的摄像机图像105的准确估计。与已知的方法相比，当在摄像机图像105中示出的场景的大部分由运动的对象组成、例如在堵塞时或者在步行区中时，根据本发明的方法也能提供准确的估计。
在此提出的方案的核心在于语义学的分割法与视觉里程计的组合。在此，首先对摄像机图像105分类，例如分类到种类：行人、车辆、路灯、建筑物、行车道表面、植被中。接着，如在常规的视觉里程计中那样，探测摄像机图像105中的显著突出的点、在此为探测点。但不同于已知的设备地，由设备200搜索仅仅在属于确实不运动的对象种类的区域中的点，即根据该实施例仅仅在行车道表面225上、在路牌230或者植被235上的点，或者，根据一个替代的实施例，在路灯上和/或在建筑物上的点。以此方式可以可靠地排除自身运动的由于运动的对象——如在此另外的车辆245引起的错误估计。
根据该实施例，首先借助语义学的分割法使所有可能运动的或者可运动的对象分类消隐。在残留的图像中又搜索显著突出的点。在图1中的显著突出的点的总体数目和在图2中的探测点的总体数目相等，但在图2中，所有的探测点有利地位于静态的或静止的对象上。
图3示出根据一个实施例的、用于估计车辆的自身运动的方法300的流程图。在此，可以涉及方法300，所述方法由根据图2描述的设备可控制或可实施。
方法300包括归属的步骤305、探测的步骤310和求取的步骤315。在归属的步骤305中，将摄像机图像的描绘被分类的对象的至少一个部分区域归属到代表静止的对象的对象类别中。在探测的步骤310中，在使用探测算法的情况下探测摄像机图像中的被归属到对象类别中的部分区域的至少一个探测点。在求取的步骤315中，在使用所述探测点的情况下求取车辆的所估计的自身运动。
接下来描述的实施例和附加的识别的步骤320是可选的。
根据该实施例，在归属的步骤305中，将所述摄像机图像的描绘另外的被分类的对象的至少一个另外的部分区域归属到代表运动的对象的另外的对象类别中，其中，独立于所述另外的对象类别地实施所述探测的和所述求取的步骤310、315。
根据该实施例，在归属的步骤305中，如果所述对象已经被分类为行车道表面和/或路灯和/或建筑物和/或路牌和/或植被，则将所述摄像机图像的描绘所述被分类的对象的部分区域归属到所述对象类别中。
在探测的步骤310中，在使用探测算法的情况下探测所述至少一个探测点，所述探测算法构造用于将在所述摄像机图像中的所述部分区域的角部和/或边缘和/或亮度差作为所述探测点探测。
根据该实施例，在归属的步骤305中，将所述摄像机图像的描绘附加的被分类的对象的至少一个附加的部分区域归属到代表可运动的对象的附加的对象类别中。
在可选的识别的步骤320中，识别所述附加的被分类的对象的运动状态。响应于识别的步骤320地，如果在所述识别的步骤320中将所述运动状态识别为不运动的，则将代表所述附加的被分类的对象的附加的部分区域归属到所述对象类别中，或者，如果在所述识别的步骤320中将所述运动状态识别为运动的，则将代表所述附加的被分类的对象的附加的部分区域归属到所述另外的对象类别中。
可以重复以及以不同于所描述的顺序的顺序执行在此提出的方法步骤。

Claims (11)

1.一种用于估计车辆的自身运动的方法(300)，其中，所述方法(300)包括以下步骤：
将摄像机图像(105)的描绘被分类的对象的至少一个部分区域归属(305)到代表静止的对象的对象类别(220)中；
在使用探测算法的情况下探测(310)所述摄像机图像(105)中的被归属到所述对象类别(220)中的部分区域的至少一个探测点；以及
在使用所述探测点的情况下求取(315)所述车辆的所估计的自身运动。
2.根据权利要求1所述的方法(300)，其中，在所述归属的步骤(305)中将所述摄像机图像(105)的描绘另外的被分类的对象的至少一个另外的部分区域归属到代表运动的对象的另外的对象类别(240)中，其中，独立于所述另外的对象类别(240)地实施所述探测的和所述求取的步骤(310，315)。
3.根据以上权利要求中任一项所述的方法(300)，其中，在所述归属的步骤(305)中，如果所述对象已经被分类为行车道表面(225)和/或路灯和/或建筑物和/或路牌(230)和/或植被(235)，则将所述摄像机图像(105)的描绘所述被分类的对象的部分区域归属到所述对象类别(220)中。
4.根据以上权利要求中任一项所述的方法(300)，其中，在所述探测的步骤(310)中，在使用探测算法的情况下探测所述至少一个探测点，所述探测算法构造用于将在所述摄像机图像(105)中的所述部分区域的角部和/或边缘和/或亮度差作为所述探测点探测。
5.根据以上权利要求中任一项所述的方法(300)，其中，在所述归属的步骤(305)中，将所述摄像机图像(105)的描绘附加的被分类的对象的至少一个附加的部分区域归属到代表可运动的对象的附加的对象类别中。
6.根据权利要求5所述的方法(300)，其具有识别的步骤(320)，在所述识别的步骤中，识别所述附加的被分类的对象的运动状态。
7.根据权利要求5所述的方法(300)，其中，如果在所述识别的步骤(320)中将所述运动状态识别为不运动的，则将代表所述附加的被分类的对象的附加的部分区域归属到所述对象类别(220)中，或者，如果在所述识别的步骤(320)中将所述运动状态识别为运动的，则将代表所述附加的被分类的对象的附加的部分区域归属到所述另外的对象类别(240)中。
8.根据以上权利要求中任一项所述的方法(300)，所述方法具有在使用所述车辆的所估计的自身运动的情况下控制驾驶员辅助系统的步骤。
9.一种设备(200)，所述设备设置用于在相应的单元(205，210，215，250)中实施和/或控制根据以上权利要求中任一项所述的方法(300)的步骤。
10.一种计算机程序，所述计算机程序设置用于实施和/或控制根据权利要求1至8中任一项所述的方法(300)。
11.一种机器可读的存储介质，在所述存储介质上存储有根据权利要求10所述的计算机程序。
CN201810952949.XA 2017-08-22 2018-08-21 用于估计车辆的自身运动的方法和设备 Pending CN109426807A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017214666.4A DE102017214666A1 (de) 2017-08-22 2017-08-22 Verfahren und Vorrichtung zum Schätzen einer Eigenbewegung eines Fahrzeugs
DE102017214666.4 2017-08-22

Publications (1)

Publication Number Publication Date
CN109426807A true CN109426807A (zh) 2019-03-05

Family

ID=65320894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810952949.XA Pending CN109426807A (zh) 2017-08-22 2018-08-21 用于估计车辆的自身运动的方法和设备

Country Status (3)

Country Link
US (1) US10755113B2 (zh)
CN (1) CN109426807A (zh)
DE (1) DE102017214666A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102472767B1 (ko) * 2017-09-14 2022-12-01 삼성전자주식회사 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101160231A (zh) * 2005-04-15 2008-04-09 罗伯特·博世有限公司 具有用于识别静止目标的装置的驾驶员协助系统
US20090263009A1 (en) * 2008-04-22 2009-10-22 Honeywell International Inc. Method and system for real-time visual odometry
CN102791557A (zh) * 2010-03-11 2012-11-21 戴姆勒股份公司 用于确定车辆车身运动的方法
CN103366179A (zh) * 2012-04-09 2013-10-23 通用汽车环球科技运作有限责任公司 畅通路径检测中的俯视图分类
CN103534729A (zh) * 2010-12-15 2014-01-22 罗伯特·博世有限公司 用于确定车辆的自身运动的方法和系统
CN106030609A (zh) * 2013-12-04 2016-10-12 移动眼视力科技有限公司 用于模仿前车的系统和方法
CN106340031A (zh) * 2015-07-07 2017-01-18 香港生产力促进局 一种检测运动物体的方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60121131A (ja) * 1983-12-06 1985-06-28 Nissan Motor Co Ltd 車両走行制御装置
US7690737B2 (en) * 2004-03-18 2010-04-06 Ford Global Technologies Method of controlling an automotive vehicle having a trailer
JP2015155878A (ja) * 2014-02-21 2015-08-27 株式会社デンソー 車両用障害物検出装置
US9969337B2 (en) * 2014-09-03 2018-05-15 Sharp Laboratories Of America, Inc. Methods and systems for mobile-agent navigation
US9199643B1 (en) * 2014-09-25 2015-12-01 GM Global Technology Operations LLC Sensor odometry and application in crash avoidance vehicle
EP3254918B1 (en) * 2016-06-07 2023-05-24 Volvo Car Corporation Adaptive cruise control system and vehicle comprising an adaptive cruise control system
EP3478209A1 (en) * 2016-06-30 2019-05-08 Koninklijke Philips N.V. Intertial device tracking system and method of operation thereof
KR101851155B1 (ko) * 2016-10-12 2018-06-04 현대자동차주식회사 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
KR102646644B1 (ko) * 2017-03-01 2024-03-13 모빌아이 비젼 테크놀로지스 엘티디. 감지 불확실성이 있는 항법을 위한 시스템 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101160231A (zh) * 2005-04-15 2008-04-09 罗伯特·博世有限公司 具有用于识别静止目标的装置的驾驶员协助系统
US20090278672A1 (en) * 2005-04-15 2009-11-12 Michael Weilkes Driver assistance system having a device for recognizing stationary objects
US20090263009A1 (en) * 2008-04-22 2009-10-22 Honeywell International Inc. Method and system for real-time visual odometry
CN102791557A (zh) * 2010-03-11 2012-11-21 戴姆勒股份公司 用于确定车辆车身运动的方法
CN103534729A (zh) * 2010-12-15 2014-01-22 罗伯特·博世有限公司 用于确定车辆的自身运动的方法和系统
CN103366179A (zh) * 2012-04-09 2013-10-23 通用汽车环球科技运作有限责任公司 畅通路径检测中的俯视图分类
CN106030609A (zh) * 2013-12-04 2016-10-12 移动眼视力科技有限公司 用于模仿前车的系统和方法
CN106340031A (zh) * 2015-07-07 2017-01-18 香港生产力促进局 一种检测运动物体的方法和装置

Also Published As

Publication number Publication date
DE102017214666A1 (de) 2019-02-28
US10755113B2 (en) 2020-08-25
US20190065865A1 (en) 2019-02-28

Similar Documents

Publication Publication Date Title
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
JP6411917B2 (ja) 自己位置推定装置および移動体
JP6119097B2 (ja) 路面調査プログラム及び路面調査装置
KR101782057B1 (ko) 지도 생성 장치 및 방법
US10061324B2 (en) Autonomous moving device and self position estimation method
JP4978099B2 (ja) 自己位置推定装置
US10156847B2 (en) Autonomous moving device
JP2018124787A (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
JP5433525B2 (ja) 車両走行支援装置及び道路標示の作成方法
KR102006291B1 (ko) 전자 장치의 이동체 포즈 추정 방법
JP2012084149A (ja) モバイル機器のナビゲーション
JP7343054B2 (ja) 位置推定方法、位置推定装置、および位置推定プログラム
US11796324B2 (en) Vehicle control device
WO2008009966A2 (en) Determining the location of a vehicle on a map
JP7183085B2 (ja) 移動体行動登録装置、移動体行動登録システム、移動体行動登録方法、移動体行動登録プログラム、及び移動体行動決定装置
US11938945B2 (en) Information processing system, program, and information processing method
JP2018084960A (ja) 自己位置推定方法及び自己位置推定装置
CN109263641A (zh) 用于定位和自动化运行车辆的方法和装置
CN109426807A (zh) 用于估计车辆的自身运动的方法和设备
US20210048819A1 (en) Apparatus and method for determining junction
KR20200013156A (ko) 간판 검출 성능 향상을 위한 방법 및 시스템
US11372115B2 (en) Vehicle localization
JP2021015454A (ja) 車載制御システム及び車両制御方法
Chen et al. Integrated vehicle and lane detection with distance estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination