CN107408304A - 挂车追踪装置和方法 - Google Patents

挂车追踪装置和方法 Download PDF

Info

Publication number
CN107408304A
CN107408304A CN201680012238.3A CN201680012238A CN107408304A CN 107408304 A CN107408304 A CN 107408304A CN 201680012238 A CN201680012238 A CN 201680012238A CN 107408304 A CN107408304 A CN 107408304A
Authority
CN
China
Prior art keywords
trailer
electronic processors
vehicle
subset
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680012238.3A
Other languages
English (en)
Inventor
吉奥范尼·斯特拉诺
杰里米·格林伍德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jaguar Land Rover Ltd
Original Assignee
Land Rover UK Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Land Rover UK Ltd filed Critical Land Rover UK Ltd
Publication of CN107408304A publication Critical patent/CN107408304A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/245—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating push back or parking of trailers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/30—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for sway control, e.g. stabilising or anti-fishtail devices; Sway alarm means
    • B60D1/32—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for sway control, e.g. stabilising or anti-fishtail devices; Sway alarm means involving damping devices
    • B60D1/327—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for sway control, e.g. stabilising or anti-fishtail devices; Sway alarm means involving damping devices using cables
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • B62D13/06—Steering specially adapted for trailers for backing a normally drawn trailer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/30—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for sway control, e.g. stabilising or anti-fishtail devices; Sway alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/22—Articulation angle, e.g. between tractor and trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本公开内容涉及用于监测连接至车辆(1)的挂车(3)的运动的挂车追踪装置(2)。挂车追踪装置(2)具有控制器(5)，控制器(5)包括电子处理器(6)，电子处理器(6)具有用于从布置在车辆(1)上的成像传感器(10)接收图像数据(DAT)的电输入。存储有指令的电子存储器设备(7)电耦接至电子处理器(6)。电子处理器(6)被配置成访问存储器设备(7)并且执行存储在存储器设备(7)中的指令。电子处理器(6)能够操作成选择所述图像数据的子集(DATSUB1)。检测并监测所选择的所述图像数据(DAT)的子集(DATSUB1)中的一个或更多个元素(16)。电子处理器(6)根据所述一个或更多个检测到的元素(16)相对于时间的演变来确定挂车(3)相对于车辆(1)的运动。本公开内容还涉及追踪挂车(3)的方法；以及包含挂车追踪装置(2)的车辆(1)。

Description

挂车追踪装置和方法
技术领域
本公开内容涉及挂车追踪装置和方法。更特别地但不排他地，本公开内容涉及挂车追踪装置、包含挂车追踪装置的车辆以及追踪挂车的方法。
背景技术
已知使用成像传感器来追踪连接至车辆的挂车的运动。为了精确地追踪挂车，现有技术系统要求将目标安装至挂车的前部。例如，目标可以采取以三角形构型布置的三个圆的形式。安装至车辆的光学摄像装置识别目标并且追踪目标相对于车辆的运动。存在与这些现有技术系统相关联的某些缺点，尤其是要求将目标安装至车辆。挂车追踪系统的初始设置可能是耗时的。为了追踪挂车，目标必须安装在挂车上的指定位置，但是根据挂车的配置，这可能是不可能的。此外，现有技术系统的精确度会在低可见度条件下受到影响，意味着某些控制功能可能是不可用的。
在该背景下，进行了本发明。至少在某些实施方式中，本文描述的方法和装置寻求克服或改善至少一些与现有技术系统相关联的缺点。
发明内容
本发明的各方面涉及挂车追踪装置、包含挂车追踪装置的车辆以及追踪挂车的方法。
根据本发明的另一方面，提供了一种用于监测连接至车辆的挂车的运动的挂车追踪装置。挂车追踪装置可以包括控制器，该控制器包括电子处理器，电子处理器具有用于从布置在车辆上的成像传感器接收图像数据的电输入。挂车追踪装置可以包括电子存储器设备，该电子存储器设备电耦接至电子处理器并且存储有指令。电子处理器可以被配置成访问存储器设备并且执行存储在存储器设备中的指令，使得电子处理器能够操作成：选择所述图像数据的子集；和/或检测并监测所选择的所述图像数据的子集中的一个或更多个元素；和/或根据所检测到的所述一个或更多个元素相对于时间的演变(evolution)来确定挂车相对于车辆的运动。该装置可以至少基于概率评估来预测挂车的有效轮廓和特征的运动。
所述一个或更多个元素的演变提供挂车相对于车辆的运动的指示。所述一个或更多个元素的演变可能依赖于统计概率。至少在某些实施方式中，挂车追踪装置可以在不需要在挂车上设置目标的情况下追踪挂车。换言之，挂车追踪装置可以执行对挂车的无目标追踪。当挂车连接至车辆时，可以简化挂车的设置程序。图像数据与由成像传感器生成的图像相对应；并且所述图像数据的子集与所述图像中的限定区域相对应。
挂车追踪装置可以被配置成输出追踪信号。追踪信号可以被其他车辆系统使用，例如以方便钩栓(hitch)和牵引挂车。还可以使用追踪信号以方便在挂车连接至车辆时挂车的倒车。还可以使用追踪信号来监测挂车稳定性等。
为了能够追踪挂车，所选择的所述图像数据的子集可以包括挂车的包含在图像数据内的至少一部分。电子处理器可以被配置成将每个检测到的元素表征为持久性元素或瞬时性元素。
所述一个或更多个元素的演变可以包括下列中的一个或更多个：加速度、速度、角速度、角加速度、运动、尺寸、形状以及取向。电子处理器可以被配置成根据每个持久性元素的演变来确定挂车的运动。
电子处理器可以被配置成修改所选择的所述图像数据的子集，以包括表示一个或更多个持久性元素的图像数据。因此，如果电子处理器确定所选择的所述图像数据的子集不包括任何持久性元素，则可以选择所述图像数据的修改的或替选的子集。电子处理器可以被配置成忽视任何瞬时性元素，因为瞬时性元素通常与挂车之外的特征相对应，例如与背景中的与挂车的运动无关的特征或其他车辆相对应。
电子处理器可以被配置成忽视在所选择的所述图像数据的子集中识别到的任何瞬时性元素。电子处理器可以被配置成修改所选择的所述图像数据的子集，以排除每个瞬时性元素。例如，电子处理器可以确定包含瞬时性元素的局部区域与偏离挂车的区域对应。电子处理器可以将该局部区域排除在分析之外，以追踪挂车的运动。例如，电子处理器可以被配置成自动地重新限定所述图像数据的所选择的区域。
电子处理器可以被配置成接收用于选择所述图像数据的子集的用户输入。例如，用户可以在所述图像数据的图形显示器上限定窗口或框。图形显示器可以是便于所述窗口或框的限定的触摸屏。可替选地，可以使用单独的控制器来限定窗口或框的范围。
在变型中，电子处理器可以被配置成选择所述图像数据的子集。可以针对图像数据的预定区域来选择图像数据的子集。可替选地，例如可以通过识别局部区域中的持久性元素来动态地选择子集。电子处理器可被配置成在所选择的区域未包含足够的用于追踪挂车的运动的持久性元素的情况下，重新限定图像数据的区域。
根据本发明的又一方面，提供了一种用于监测连接至车辆的挂车的运动的挂车追踪装置。挂车追踪装置可以包括控制器，该控制器包括电子处理器，该电子处理器具有用于从布置在车辆上的成像传感器接收图像数据的电输入。挂车追踪装置可以包括电子存储器设备，该电子存储器设备电耦接至电子处理器并且存储有指令。电子处理器可以被配置成访问存储器设备并且执行存储在存储器设备中的指令，使得电子处理器能够操作成：检测所述图像数据中的一个或更多个元素和/或监测所述一个或更多个元素，并且将所述一个或更多个元素表征为持久性元素或瞬时性元素，和/或根据每个持久性元素相对于时间的演变来确定挂车相对于车辆的运动。
根据本发明的再一方面，提供了一种包括如本文所描述的挂车追踪装置的车辆。
根据本发明的另一方面，提供了一种监测连接至车辆的挂车的运动的方法。该方法可以包括从成像传感器接收图像数据。该方法可以包括选择所述图像数据的子集。该方法可以包括检测并监测所选择的所述图像数据的子集中的一个或更多个元素。该方法可以包括根据所检测到的所述一个或更多个元素相对于时间的演变来确定挂车相对于车辆的运动。
该方法可以包括将每个检测到的元素表征为持久性元素或瞬时性元素。可以根据每个持久性元素的演变来确定挂车的运动。
该方法可以包括修改所选择的所述图像数据的子集，以包括表示一个或更多个持久性元素的图像数据。该方法可以包括忽视每个瞬时性元素。
该方法可以包括修改所选择的所述图像数据的子集，以排除每个瞬时性元素。
所述一个或更多个元素的演变可以包括下列中的一个或更多个：加速度、速度、角速度、角加速度、运动、尺寸、形状和取向。
该方法可以包括根据用户输入来选择所述图像数据的子集。例如，用户可以使用人机接口来限定子集。可替选地，该方法可以包括自动选择所述图像数据的子集。
根据本发明的又一方面，提供了一种监测连接至车辆的挂车的运动的方法。该方法可以包括从成像传感器接收图像数据。该方法可以包括检测所述图像数据中的一个或更多个元素。该方法可以包括将所述一个或更多个元素表征为持久性元素或瞬时性元素。该方法可以包括根据每个持久性元素相对于时间的演变来确定挂车相对于车辆的运动。
在本申请的范围内，明确地旨在：可以独立地或以组合的形式采用前面段落、权利要求书和/或下面的描述和附图中陈述的各个方面、实施方式、示例以及替选方案、以及特别是其各个元素。就是说，所有的实施方式和/或任何实施方式的元素可以任何方式和/或组合进行组合，除非这些元素是不兼容的。申请人保留更改任何初始提交的权利要求或相应地提交任何新的权利要求的权利，包括修改任何初始提交的权利要求以从属于任何其他权利要求和/或包含任何其他权利要求的任何元素的权利，即使最初并非以该方式要求保护。
附图说明
现在将参照附图，仅通过示例的方式来描述本发明的一个或更多个实施方式，在附图中：
图1示出了具有根据本发明的实施方式的挂车追踪装置的车辆的示意图；
图2示出了图1所示的车辆和挂车追踪装置的示意图；以及
图3图示了根据本发明的实施方式的挂车追踪装置进行的图像数据处理。
具体实施方式
现在将通过示例的方式描述包含根据本发明的实施方式的挂车追踪装置2的车辆1。如图1所示，车辆1连接至挂车3。如本文中描述的，挂车追踪装置2布置在车辆1中以追踪挂车3的运动。
本实施方式中的车辆1是机动车，但是将理解的是，本发明不限于此。例如，挂车追踪装置2可以包含在牵引车单元中。此外，本实施方式中的挂车3被示出为大篷车，但是将理解的是，本发明不限于此。例如，挂车3可以是马挂车(horse trailer)或箱式挂车。
如图1所示，挂车3可枢转地连接至连接器4。连接器安装在车辆1的后部的中央，与车辆1的中心初始轴线X一致。本实施方式中的连接器4是使得挂车3能够绕竖向轴线Z1枢转的钩栓球形连接器(hitch ball connector)的形式。连接器4还允许挂车3绕纵向轴线X1和横向轴线Y1的有限的旋转运动。将理解的是，连接器4可以采取各种形式，例如牵引杆环、枢轴钩、球形枢轴钩、U形钩栓、球形牵引钩栓和销牵引钩栓。
图2示出了挂车追踪装置2的示意图。挂车追踪装置2包括：具有一个或更多个电子处理器6(为了简化说明而仅示出了一个)的控制器5，和存储有计算机代码8的系统存储器7。如本文描述的，电子处理器6能够操作成实现被配置成分析从成像传感器10接收到的图像数据DAT的图像处理模块9。成像传感器10是光学摄像装置的形式。成像传感器10面朝后并且被布置成使得其视场包括挂车3的前部部分11(当挂车3连接至车辆1时)。成像传感器10能够操作成提供视频图像，以能够如本文所描述的那样确定挂车3的相对位置的改变。将理解的是，成像传感器10可以提供额外的功能，例如，作为用于车辆1的停车辅助。
成像传感器10通过车辆通信网络、例如通信局域网(CAN)总线向电子处理器6发送图像数据DAT。图像处理模块9接收图像数据DAT，并且选择图像数据DAT的第一子集DATSUB1以用于分析。第一子集DATSUB1与由成像传感器10捕获的图像的一部分相对应，并且意在捕获挂车3的前部部分11的一部分。可以自动选择例如与图像的预定区域相对应的第一子集DATSUB1；或者可以由用户例如使用人机接口(HMI)12来选择第一子集DATSUB1。在本实施方式中，挂车追踪装置2被配置成通过HMI 12接收用户输入，以选择第一子集DATSUB1。HMI 12包括显示屏13(例如液晶显示器)，图像数据DAT以图像14的形式输出至该显示屏13。用户被提示以选择图像14的、包括挂车3的在所述图像14中可见的至少一部分的区域。用户可以例如使用触摸屏界面来在图像14中描绘窗口15。第一子集DATSUB1与用户所选择的区域相对应。
图像处理模块9实现追踪挂车3的运动的图像处理算法。特别地，图像处理模块9分析第一子集DATSUB1，以识别可以相对于时间进行追踪的至少一个元素16。第一子集DATSUB1的分析可以包括应用数学运算符来识别所述至少一个元素16。数学运算符可以是适合于追踪和预测实际图像中的有效轮廓和特征的运动的滤波器的形式，例如“粒子滤波器”。因此，数学运算符可以估算至少基本匹配当前观测的模型配置。在本实施方式中，图像处理模块9被配置成识别多个所述元素16，其中每个元素均与图像中的可视特征相对应。每个元素16均可以与由图像数据DAT限定的一个或更多个像素相对应。在分析图像数据DAT的语境中，由图像处理模块9识别的每个元素16可以称为粒子。通过相对于时间分析第一子集DATSUB1，图像处理模块9可以监测粒子演变。例如，可以通过识别在时间t的图像扫描中的粒子状态St和在时间t+1的随后扫描中的相关状态St+1，来追踪粒子演变。通过对状态St和St+1的性质进行比较，图像处理模块9可以监测粒子演变。粒子演变可以例如识别下列中的一个或更多个：位置、尺寸、轨迹以及取向。
图像处理模块9被配置成选择在长于预定时间阈值的时间段内(或者在大于预定扫描阈值的一系列扫描周期中)、可在第一子集DATSUB1中识别到的那些元素16；这些元素16在本文中被称为“持久性元素”。图像处理模块9还可以分析第一子集DATSUB1，以识别仅在小于预定时间阈值的时间段内(或者在小于预定扫描阈值的一系列扫描周期中)可识别到的那些元素16；这些元素16在本文中被称为“瞬时性元素”。图像处理模块9将元素16表征为持久性元素16P或瞬时性元素16T中的任何。持久性元素16P与挂车3的特征相对应的统计概率更高(因为持久性元素16P在较长的时间段内存在，并且更可能形成被牵引在车辆1的后面的挂车3的一部分)。瞬时性元素16T更可能表示仅可以短暂地或在短时间段内可见的远离挂车3的特征，例如风景或另外的车辆中的特征。因此，瞬时性元素16T与形成挂车3的一部分的元素相对应的统计概率较低(因为瞬时性元素16T在相对短的时间段内存在)。图像处理模块9可以被配置成忽视在第一子集DATSUB1中识别到的任何瞬时性元素16T。可以针对持久性元素16P来对第一子集DATSUB1进行进一步分析。
图像处理模块9识别并且监测持久性元素16P，以追踪持久性元素16P例如在多个扫描周期中相对于时间的演变(进展)。本实施方式中的持久性元素16P的演变包括其可用于追踪挂车3的运动的运动轨迹(方向和幅值)。例如，一个或更多个持久性元素16P的竖向运动或横向运动可以分别与挂车3的竖向运动或横向运动相对应。竖向运动和横向运动的组合可以指示挂车3绕竖向轴线Z的枢转运动。
图像处理模块9可以确定每个持久性元素16P的空间位置，并且这可以用来确定挂车3的相关联的运动。例如，可以将每个持久性元素16P的运动轨迹映射至参考数据(例如，连接器4的已知空间位置)，以识别挂车3的枢转运动。图像处理模块9可以可选地对在第一子集DATSUB1中识别到的若干个所述持久性元素16P的相对运动轨迹进行比较。
可替选地，或者此外，每个持久性元素16P的演变可以包括所述一个或更多个持久性元素16P的尺寸的变化。持久性元素16P的尺寸的变化还可以指示挂车3的枢转运动。例如，持久性元素16P的尺寸将根据挂车3进行枢转的方向而增加或减小。
可替选地，或者此外，每个持久性元素16P的演变可以包括持久性元素16P的形状和/或取向的变化。图像处理模块9可以例如识别具有明确限定的特征(例如，与挂车3的前部部分11中的窗户的边缘相对应)的持久性元素16P。可以使用持久性元素16P的形状和/或取向的变化来追踪挂车3的运动。图像处理模块9追踪挂车3并且输出追踪信号SIG。追踪信号SIG 1可以被其他车辆系统使用，例如以辅助牵引、稳定性、钩栓以及操纵。
如果图像处理模块9在用户所选择的图像14的区域中不能够识别到任何持久性元素16P，则可以向用户输出通知。例如，电子处理器6可以向用户输出提示，以通过在显示屏13上重新描绘窗口15来重新选择图像14的区域。可以根据图像14的重新选择的区域从图像数据DAT中选择第二数据子集DATSUB2。图像处理模块9针对所述第二数据子集DATSUB2重复进行分析。
现在将参照图3来描述图像处理模块9的操作。挂车3以常规方式连接至连接器4。成像传感器10生成输出至电子处理器6的图像数据DAT。与成像传感器10的视场FOV相对应的图像14还被输出至显示屏13。用户使用HMI 12来描绘窗口15，以选择图像14的区域。应当将窗口15描绘为覆盖挂车3的至少一部分，并且可以在屏幕上向用户显示提示。从图像数据DAT中提取与用户所选择的区域相对应的第一数据子集DATSUB1。图像处理模块9分析第一数据子集DATSUB1，以识别包括在第一数据子集DATSUB1中的多个元素16。图像处理模块9分析元素16，并且将元素16表征为持久性元素16P或瞬时性元素16T中的任何。图像处理模块9相对于时间对持久性元素16P进行追踪，以监测持久性元素16P的演变。持久性元素16P的演变可以例如包括形状和/或位置和/或运动的变化。使用持久性元素16P的演变来追踪挂车3相对于车辆1的运动。图像处理模块9输出追踪信号SIG，该追踪信号SIG可以被其他车辆系统使用以方便挂车3的牵引。如果图像处理模块9确定第一数据子集DATSUB1不包含用于进行可靠分析的足够的持久性元素16P，则可以输出提示，以请求用户在图像14中选择替选的区域。
将理解的是，可以对本文描述的挂车追踪装置2进行各种改变和修改。例如，电子处理器6可以被配置成自动地从由成像传感器10生成的图像数据DAT中选择第一数据子集DATSUB1。此外，电子处理器6可以被配置成从通信网络接收可以用于分析第一数据子集DATSUB1的动态操作参数。动态操作参数可以例如包括下列中的一个或更多个：车辆速度、加速度以及转向角。例如，电子处理器6可以被配置成根据转向角从图像数据DAT的区域中选择第一数据子集DATSUB1，以减少选择背景的一部分的可能性。可替选地，或者此外，图像处理模块9可以被配置成仅在车辆1正在运动时(即，车辆速度大于0)时分析第一数据子集DATSUB1以识别持久性元素16P。可替选地，或者此外，图像处理模块9可以被配置成将在图像数据DAT中识别到的每个持久性元素16P的运动与车辆1的转向角进行关联。另一可能性将是通过比较挂车3对车辆1的转向输入的响应来确定挂车3的一个或更多个特性，例如轴距和或长度。

Claims (22)

1.一种用于监测连接至车辆的挂车的运动的挂车追踪装置，所述挂车追踪装置包括：
控制器，其包括电子处理器，所述电子处理器具有用于从布置在所述车辆上的成像传感器接收图像数据的电输入；
电子存储器设备，其电耦接至所述电子处理器并且存储有指令；
其中，所述电子处理器被配置成访问所述存储器设备，并且执行存储在所述存储器设备中的指令，使得所述电子处理器能够操作成：
选择所述图像数据的子集；
检测并监测所选择的所述图像数据的子集中的一个或更多个元素；以及
根据所检测到的所述一个或更多个元素相对于时间的演变，确定所述挂车相对于所述车辆的运动。
2.根据权利要求1所述的挂车追踪装置，其中，所述电子处理器被配置成将每个检测到的元素表征为持久性元素或瞬时性元素。
3.根据权利要求2所述的挂车追踪装置，其中，所述电子处理器被配置成根据每个持久性元素的演变来确定所述挂车的运动。
4.根据权利要求2或3所述的挂车追踪装置，其中，所述电子处理器被配置成修改所选择的所述图像数据的子集，以包括表示一个或更多个持久性元素的图像数据。
5.根据权利要求2、3或4中任一项所述的挂车追踪装置，其中，所述电子处理器被配置成修改所选择的所述图像数据的子集，以排除每个瞬时性元素。
6.根据前述权利要求中任一项所述的挂车追踪装置，其中，所述一个或更多个元素的演变包括下列中的一个或更多个：加速度、速度、角速度、角加速度、运动、尺寸、形状以及取向。
7.根据前述权利要求中任一项所述的挂车追踪装置，其中，所述电子处理器被配置成接收用于选择所述图像数据的子集的用户输入。
8.根据权利要求1至6中任一项所述的挂车追踪装置，其中，所述电子处理器被配置成选择所述图像数据的子集。
9.一种用于监测连接至车辆的挂车的运动的挂车追踪装置，所述挂车追踪装置包括：
控制器，其包括电子处理器，所述电子处理器具有用于从布置在所述车辆上的成像传感器接收图像数据的电输入；
电子存储器设备，其电耦接至所述电子处理器并且存储有指令；
其中，所述电子处理器被配置成访问所述存储器设备，并且执行存储在所述存储器设备中的指令，使得所述电子处理器能够操作成：
检测所述图像数据中的一个或更多个元素；
监测所述一个或更多个元素，并且将所述一个或更多个元素表征为持久性元素或瞬时性元素；
根据每个持久性元素相对于时间的演变，确定所述挂车相对于所述车辆的运动。
10.一种包括根据前述权利要求中的任一项所述的挂车追踪装置的车辆。
11.一种监测连接至车辆的挂车的运动的方法，所述方法包括:
从成像传感器接收图像数据；
选择所述图像数据的子集；
检测并监测所选择的所述图像数据的子集中的一个或更多个元素；以及
根据所检测到的所述一个或更多个元素相对于时间的演变，确定所述挂车相对于所述车辆的运动。
12.根据权利要求11所述的方法，包括：将每个检测到的元素表征为持久性元素或瞬时性元素。
13.根据权利要求12所述的方法，包括：根据每个持久性元素的演变确定所述挂车的运动。
14.根据权利要求12或13所述的方法，包括：修改所选择的所述图像数据的子集，以包括表示一个或更多个持久性元素的图像数据。
15.根据权利要求12、13或14中任一项所述的方法，包括：修改所选择的所述图像数据的子集，以排除每个瞬时性元素。
16.根据权利要求11至15中任一项所述的方法，其中，所述一个或更多个元素的演变包括下列中的一个或更多个：加速度、速度、角速度、角加速度、运动、尺寸、形状以及取向。
17.根据权利要求11至16中任一项所述的方法，包括：根据用户输入选择所述图像数据的子集。
18.根据权利要求11至16中任一项所述的方法，包括：自动选择所述图像数据的子集。
19.一种监测连接至车辆的挂车的运动的方法，所述方法包括:
从成像传感器接收图像数据；
检测所述图像数据中的一个或更多个元素；
将所述一个或更多个元素表征为持久性元素或瞬时性元素；
根据每个持久性元素相对于时间的演变，确定所述挂车相对于所述车辆的运动。
20.一种基本如本文参照附图所描述的挂车追踪装置。
21.一种基本如本文参照附图所描述的车辆。
22.一种基本如本文参照附图所描述的追踪挂车的方法。
CN201680012238.3A 2015-02-27 2016-02-26 挂车追踪装置和方法 Pending CN107408304A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1503383.0A GB2535789B (en) 2015-02-27 2015-02-27 Trailer tracking apparatus and method
GB1503383.0 2015-02-27
PCT/EP2016/054131 WO2016135312A1 (en) 2015-02-27 2016-02-26 Trailer tracking apparatus and method

Publications (1)

Publication Number Publication Date
CN107408304A true CN107408304A (zh) 2017-11-28

Family

ID=52876271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680012238.3A Pending CN107408304A (zh) 2015-02-27 2016-02-26 挂车追踪装置和方法

Country Status (5)

Country Link
US (1) US10181196B2 (zh)
EP (1) EP3262609B1 (zh)
CN (1) CN107408304A (zh)
GB (1) GB2535789B (zh)
WO (1) WO2016135312A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10196088B2 (en) 2011-04-19 2019-02-05 Ford Global Technologies, Llc Target monitoring system and method
US10481255B2 (en) * 2016-08-09 2019-11-19 Aptiv Technologies Limited Trailer dimension estimation with two dimensional radar and camera
US10207643B2 (en) * 2016-09-06 2019-02-19 Aptiv Technologies Limited Camera based trailer detection and tracking
GB2554427B (en) * 2016-09-27 2019-10-23 Continental Automotive Gmbh Method and device for detecting a trailer
US10710585B2 (en) 2017-09-01 2020-07-14 Ford Global Technologies, Llc Trailer backup assist system with predictive hitch angle functionality
US10955540B2 (en) 2017-12-01 2021-03-23 Aptiv Technologies Limited Detection system
DE112018006022T5 (de) * 2017-12-27 2020-09-17 Robert Bosch Gesellschaft mit beschränkter Haftung Bestimmung eines winkels eines bewegungspfads eines anhängers
US10838054B2 (en) 2018-10-08 2020-11-17 Aptiv Technologies Limited Detection system and method
US11092668B2 (en) 2019-02-07 2021-08-17 Aptiv Technologies Limited Trailer detection system and method
US11408995B2 (en) 2020-02-24 2022-08-09 Aptiv Technologies Limited Lateral-bin monitoring for radar target detection
US20230061195A1 (en) * 2021-08-27 2023-03-02 Continental Automotive Systems, Inc. Enhanced transparent trailer

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102358287A (zh) * 2011-09-05 2012-02-22 北京航空航天大学 一种用于车辆自动驾驶机器人的轨迹跟踪控制方法
DE102011104256A1 (de) * 2011-06-15 2012-07-26 Audi Ag Knickwinkelgeber für ein Assistenzsystem eines Kraftfahrzeugs und Verfahren zum Bestimmen eines Knickwinkels
CN103101526A (zh) * 2011-11-10 2013-05-15 福特全球技术公司 挂车在停止状态下的辅助保持装置
CN103234542A (zh) * 2013-04-12 2013-08-07 东南大学 基于视觉的汽车列车弯道行驶轨迹测量方法
US20140267688A1 (en) * 2011-04-19 2014-09-18 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
GB2447672B (en) * 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
US9296422B2 (en) * 2011-04-19 2016-03-29 Ford Global Technologies, Llc Trailer angle detection target plausibility
US9555832B2 (en) * 2011-04-19 2017-01-31 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9500497B2 (en) * 2011-04-19 2016-11-22 Ford Global Technologies, Llc System and method of inputting an intended backing path
US9723274B2 (en) * 2011-04-19 2017-08-01 Ford Global Technologies, Llc System and method for adjusting an image capture setting
US9506774B2 (en) * 2011-04-19 2016-11-29 Ford Global Technologies, Llc Method of inputting a path for a vehicle and trailer
US9683848B2 (en) * 2011-04-19 2017-06-20 Ford Global Technologies, Llc System for determining hitch angle
DE102011101990B3 (de) * 2011-05-19 2012-10-18 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung eines relativen Deichselwinkels
DE102011113191B4 (de) * 2011-09-10 2022-10-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung eines Knickwinkels zwischen einem Fahrzeug und einem Anhänger
GB2522105B (en) * 2012-09-06 2016-09-14 Jaguar Land Rover Ltd Method and system for preventing instability in a vehicle-trailer combination
US9446713B2 (en) * 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
US9464887B2 (en) * 2013-11-21 2016-10-11 Ford Global Technologies, Llc Illuminated hitch angle detection component
US9464886B2 (en) * 2013-11-21 2016-10-11 Ford Global Technologies, Llc Luminescent hitch angle detection component
US9517668B2 (en) * 2014-07-28 2016-12-13 Ford Global Technologies, Llc Hitch angle warning system and method
US9963004B2 (en) * 2014-07-28 2018-05-08 Ford Global Technologies, Llc Trailer sway warning system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140267688A1 (en) * 2011-04-19 2014-09-18 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
DE102011104256A1 (de) * 2011-06-15 2012-07-26 Audi Ag Knickwinkelgeber für ein Assistenzsystem eines Kraftfahrzeugs und Verfahren zum Bestimmen eines Knickwinkels
CN102358287A (zh) * 2011-09-05 2012-02-22 北京航空航天大学 一种用于车辆自动驾驶机器人的轨迹跟踪控制方法
CN103101526A (zh) * 2011-11-10 2013-05-15 福特全球技术公司 挂车在停止状态下的辅助保持装置
CN103234542A (zh) * 2013-04-12 2013-08-07 东南大学 基于视觉的汽车列车弯道行驶轨迹测量方法

Also Published As

Publication number Publication date
GB2535789A (en) 2016-08-31
EP3262609B1 (en) 2021-04-28
EP3262609A1 (en) 2018-01-03
GB201503383D0 (en) 2015-04-15
US20180025499A1 (en) 2018-01-25
GB2535789B (en) 2019-05-29
US10181196B2 (en) 2019-01-15
WO2016135312A1 (en) 2016-09-01

Similar Documents

Publication Publication Date Title
CN107408304A (zh) 挂车追踪装置和方法
US11747809B1 (en) System and method for evaluating the perception system of an autonomous vehicle
CN109343061B (zh) 传感器标定方法、装置、计算机设备、介质和车辆
CN112965504B (zh) 基于自动驾驶的远程确认方法、装置、设备及存储介质
CN109557904B (zh) 一种测试方法、装置、设备和介质
US11216673B2 (en) Direct vehicle detection as 3D bounding boxes using neural network image processing
CN106774306B (zh) 应用于无人驾驶车辆的启动检测方法、装置和系统
WO2019173481A1 (en) Lane line reconstruction using future scenes and trajectory
US10332002B2 (en) Method and apparatus for providing trailer information
US11250279B2 (en) Generative adversarial network models for small roadway object detection
CN103727879A (zh) 计算和显示在显示器图像中检测的物体高度的装置和方法
CN112562406B (zh) 一种越线行驶的识别方法及装置
CN116547725A (zh) 一种车辆预警方法、装置、设备及存储介质
CN111989915B (zh) 用于图像中的环境的自动视觉推断的方法、介质、及系统
CN112172670B (zh) 基于图像识别的后视图像显示方法及装置
CN115339466A (zh) 一种安全控制方法、装置、电子设备和辅助驾驶系统
CN113053127B (zh) 智能化实时状态检测系统及方法
CN113255494A (zh) 一种用于实时监测非法侵入车辆的方法以及系统
CN114454889B (zh) 用于远程驾驶的行驶路面状况反馈方法、装置和无人车
US20230194290A1 (en) Systems and methods for determining trailer pose and coupler position for automated hitching
WO2024043024A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20220292887A1 (en) Trailer monitoring for detecting inattentive driving
US20230267749A1 (en) System and method of segmenting free space based on electromagnetic waves
CN109367483A (zh) 一种角度自适应的车载鸟瞰系统及其实现方法
EP4099277A1 (en) Information processing method, storage medium, and information processing apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171128