CN115298696A - 计算车辆拖车角度的方法和系统 - Google Patents
计算车辆拖车角度的方法和系统 Download PDFInfo
- Publication number
- CN115298696A CN115298696A CN202080098804.3A CN202080098804A CN115298696A CN 115298696 A CN115298696 A CN 115298696A CN 202080098804 A CN202080098804 A CN 202080098804A CN 115298696 A CN115298696 A CN 115298696A
- Authority
- CN
- China
- Prior art keywords
- angle
- feature
- trailer
- pfp
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007619 statistical method Methods 0.000 claims description 6
- 101001126435 Arabidopsis thaliana Pyrophosphate-fructose 6-phosphate 1-phosphotransferase subunit alpha 1 Proteins 0.000 claims 10
- 101000999896 Arabidopsis thaliana Pyrophosphate-fructose 6-phosphate 1-phosphotransferase subunit beta 1 Proteins 0.000 claims 10
- 101001126433 Arabidopsis thaliana Pyrophosphate-fructose 6-phosphate 1-phosphotransferase subunit alpha 2 Proteins 0.000 claims 5
- 101000999895 Arabidopsis thaliana Pyrophosphate-fructose 6-phosphate 1-phosphotransferase subunit beta 2 Proteins 0.000 claims 5
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 2
- 241001046947 Ectropis obliqua Species 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60D—VEHICLE CONNECTIONS
- B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
- B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
- B60D1/245—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating push back or parking of trailers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60D—VEHICLE CONNECTIONS
- B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
- B60D1/58—Auxiliary devices
- B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Geometry (AREA)
- Transportation (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及基于包括在多幅所拍摄图像中的特征通过设定垂直平分线(B1)确定拖车(2)相对于牵引车(1)的纵轴(LAV)的偏航角(YA)的方法。
Description
技术领域
本发明大体涉及车辆辅助系统领域。更具体地说,本发明涉及一种基于由车辆摄像装置提供的图像信息计算与牵引车相联的拖车的偏航角的方法和系统。
背景技术
基于车辆摄像装置所提供的图像信息计算拖车相对于牵引车角度的方法是已知的。
具体而言,已知方法具有较低的计算复杂性,但在图像质量较差情况下不能提供具有鲁棒性的角度信息。
此外,在已知方法中,为确定偏航角,必须知道牵引杆的准确位置。
发明内容
本发明的目标是提供一种不必已知牵引杆位置,具有较高鲁棒性和较高可靠性的拖车偏航角计算方法。该任务通过独立权利要求的特征解决。优选实施方式在从属权利要求中给出。只要没有其他明确给出,本发明的实施方式彼此之间可相互自由组合。
根据一观点,本发明涉及一种用于确定拖车相对于牵引车纵轴偏航角的方法。所述方法包括以下步骤:
首先,借助一摄像装置拍摄拖车的至少一第一和第二图像。第一和第二图像的拍摄方法是,使拖车相对于车辆的方向在至少两幅图像上是不同的。
拍摄图像后,至少确定拖车的第一特征。该第一特征必须在第一和第二图像上是可见的。第一特征例如可以是在拖车第一位置的明显的第一特征。
特征确定后,在摄像装置和第一图像上所确定的第一特征之间建立一射线,并将该射线投射到水平面上,从而获得第一投影特征位置。以同样方法,在摄像装置和第二图像所确定的第一特征之间建立一射线,并将该射线投影到所述水平面上,从而获得第二投影特征位置。所述特征或射线的投影可在垂直方向上进行,即倾斜的射线可在水平射线中传输而不改变方位角。
基于所述第一特征的投影,在第一投影特征位置和第二投影特征位置之间设定第一垂直平分线。更详细地说,第一垂直平分线可以是一垂直的直线,它通过第一射线与水平面交点(例如在z=1处)的连接线和第二射线与水平面交点的连接线的中心。第一射线是通过使用摄像装置校准信息将第一图像中的第一特征的图像坐标转换为光线确定的。第二射线是通过使用摄像装置校准信息将第二图像中第一特征的图像坐标转换为光线确定的。第一垂直平分线可在水平面上设定。
在设定第一垂直平分线后,确定第一垂直平分线与参考轴的第一交点。所述参考轴可以是摄像装置和牵引杆都处于其上的车辆中央纵轴。因此,该交叉点表示第一特征的旋转中心。
最后,基于第一角度估计计算拖车的偏航角,其中,所述第一角度估计是指在水平面上从第一投影特征位置到第一交点的第一条线与从第二投影特征位置到第一交点的第二条线之间的角度。
所述方法是有益的,因为由于使用两幅或多幅图像以及使用一个或多个拖车特征建立一个或多个垂直平分线,并基于所述一个或多个垂直平分线进行偏航角的计算,即使在拖车特征的检测受到高噪音影响或图像质量差的情况下,偏航角的确定结果也非常准确并具很高的鲁棒性。此外,通过使用确定偏航角的垂直平分线,牵引杆的确切位置可以是未知的。
根据一实施方式,在第一或第二图像上,拖车相对于车辆的偏航角为零。因此,该图像可作为“零姿态图像”,即作为车辆纵轴与拖车纵轴准确对齐的参考。然而,也可使用另一偏航角值作为参考值。如果另外的偏航角是未知的,系统可计算拖车角度的变化,而不是拖车的绝对角度。
根据一实施方式,所述方法还包括以下步骤:
-除第一特征外,确定拖车在第一和第二图像上可见的第二特征。该第二特征被设置在与第一特征不同的另一拖车位置。第二特征可以是拖车第二位置上一明显的第二特征。
-此外,摄像装置和第一图像上所确定的第二特征之间的射线被投射到水平面上,从而获得第三投影特征位置。同样,摄像装置和第二图像上所确定的第二特征之间的射线被投射到水平面上,从而获得第四投影特征位置。
-此外,在第三投影特征位置和第四投影特征位置之间建立第二垂直平分线。
-基于该第二垂直平分线,确定第二垂直平分线与参考轴的第二交点。
-基于第二垂直平分线,建立第二角度估计,其中,第二角度估计是指在水平面上从第三投影特征位置到第二交点的第一条线与从第四投影特征位置到第二交点的第二条线之间的角度。
-最后,基于所述第一和第二角度估计计算偏航角。
通过使用两个或多个拖车特征和多个垂直平分线,可降低确定垂直平分线和参考轴间摆角时的噪音和不匹配。
根据一实施方式,除了第一和第二特征外,至少还将另一拖车特征用于偏航角的计算。使用三个或更多特征进一步提高了偏航角确定的鲁棒性和可靠性。
根据一实施方式,通过建立基于至少两个角度估计的中值计算偏航角。由此,可获得非常稳定的偏航角确定。
根据其他实施方式,通过建立至少两个角度估计的平均值或使用应用于所述角度估计的统计方法计算偏航角。
根据一实施方式,所述方法还包括确定角度窗口的步骤。所述角度窗口可包括所述偏航角的上限和下限。此外,确定一组特征,其中,特征组中的特征导致位于角度窗口内的角度估计。所确定的特征组,优选只有包括在特征组中的特征被用于未来的偏航角计算。换句话说,以前确定偏航角的信息被用于确定拖车的两个或多个特征,这些特征导致角度估计相当接近所确定的偏航角(即处于角度窗口内),并不对导致角度估计显著偏离所确定偏航角(即超出角度窗口)的那些特征实施跟踪。角度估计的计算复杂性和准确性要求也因此大幅度降低。
根据一实施方式,摄像装置校准信息用于将所述第一和/或第二特征的位置从图像的局部域转换到车辆的局部域。如果例如在了解使用摄像装置校准信息的摄像装置位置后,图像上一特定特征的位置可根据包括或固定在车辆上的摄像装置位置传输到位置信息中,或与之相关联。
根据一实施方式,如果摄像装置和车辆牵引杆设置在垂直方向的、包括牵引车纵轴的平面内,那么参考轴就是牵引车的纵轴。换句话说,偏航角是基于角度估计确定的,其中,所述角度估计指的是牵引车纵轴和所设定垂直分界线之间的角度。
根据另一实施方式,如果摄像装置和/或牵引杆相对于牵引车的纵轴有一横向偏移,则参考轴是摄像装置和牵引杆之间的直线。由此,可对摄像装置和牵引杆之间的横向偏移加以补偿。
根据一实施方式,摄像装置是车辆的后视摄像装置。基于后视摄像装置,拍摄拖车图像所耗费的技术努力较少。
根据一实施方式,第一特征的位置不仅在第一和第二图像中确定,而且也在至少一第三图像中确定。第一特征在第三图像中的位置不同于第一图像和第二图像中第一特征的位置。在第一图像中的第一特征和第二图像中的第一特征之间可确定第一垂直平分线。在第一图像中的第一特征和第三图像中的第一特征之间可确定另一垂直平分线。然后可基于所述第一垂直平分线和其他垂直平分线的交点确定另一交点。
基于第一垂直平分线计算出第一角度估计。第一角度估计是第一射线和水平面的交点与第二射线和水平面的交点之间围绕所述另一交点的旋转角度。第一角度估计对应于第一图像和第二图像之间拖车的偏航角变化。换句话说,拖车的旋转点不是由第一垂直平分线与参考轴的交点确定,而是通过在三个或更多图像上对特征的跟踪而获得的至少两个垂直平分线的交点。
根据另一观点,公布了一种确定拖车相对于牵引车的纵轴的偏航角的系统。所述系统包括用于拍摄拖车图像的摄像装置和用于处理所拍摄图像的处理实体。此外,所述系统还配置用于执行以下步骤:
-使用摄像装置检测拖车至少一第一和第二图像,其中,拖车相对于车辆的方向在至少两幅图像上是不同的;
-确定拖车在第一和第二图像上可见的至少一第一特征;
-将摄像装置和第一图像上所确定的第一特征之间的射线投射到水平面上,从而获得第一投影特征位置,并将摄像装置和第二图像上所确定的第一特征之间的射线投射到水平面上,从而获得第二投影特征位置。
-在第一投影特征位置和第二投影特征位置之间设定第一垂直平分线。
-确定第一垂直平分线与参考轴的第一交点。
-基于第一角度估计计算偏航角,其中,所述第一角度估计是指在水平面上从第一投影特征位置到第一交点的第一条线与从第二投影特征位置到第一交点的第二条线之间的角度。
作为所述方法一实施方式描述的任何上述特征也可用作根据在此公布的本专利申请所述系统中的系统特征。
根据另一实施方式,公布了一种包括根据上述实施方式中任一实施方式所述系统的车辆。
在本发明中使用的术语“车辆”可指汽车、卡车、巴士、有轨车辆或任意其他交通工具。
在此公布的本专利申请中使用的术语“偏航角”可指车辆纵轴与拖车纵轴之间的摆角。
在此公布的本专利申请中使用的术语“中值”可指将数据样本或概率分布的较高一半与较低一半分开的数值。
本发明中使用的术语“基本上”或“大约”是指与精确值偏差+/-10%,优选+/-5%和/或变化形式对功能和/或对交通规则不重要的偏差。
附图说明
从以下详细描述和附图中更容易理解本发明的不同方面,包括其特定的特征和优点,其中:
图1示出了牵引拖车的车辆的示例性俯视图;
图2示意性地示出了基于摄像装置图像在拖车和牵引车之间的不同摆角检测到的单一特征的角度估计的示意图;
图3示意性地示出了基于摄像装置图像在拖车和牵引车之间的不同摆角检测到的第一和第二特征的角度估计示意图;
图4示意性示出了基于三个不同图像中所包含的单一拖车特征获取的第一和第二垂直平分线进行的旋转点几何确定;以及
图5示出了用于确定拖车相对于牵引车纵轴的偏航角的方法步骤示意框图。
具体实施方式
现参照展示示例性实施方式的附图对本发明进行更详细的描述。附图中的实施方式涉及优选实施方式,同时,已结合实施方式描述的所有要素和特征可尽可能与本文讨论的任何其他实施方式和特征结合使用,尤其是与上面进一步讨论的任何其他实施方式相关联。然而,本发明不应被解释为只限于这里所述的实施方式。在后面所有描述中,如果适用的话,相似的参考号用于表示相似的要素、部分、项目或特征。
在说明、权利要求、实施例和/或附图中公布的本发明特征既可单独,也可任意组合成各种形式,用于实现本发明。
图1展示的是牵引拖车2的车辆1的俯视图。车辆1包括穿越车辆1中心的纵轴LAV。同样,拖车2具有一条穿越拖车2中心的纵轴LAT。拖车2通过包括牵引杆4的拖车挂接装置与车辆1连接。
在特定行驶情形中,车辆1的纵轴LAV和拖车2的纵轴LAT可能不会平行对齐,或不会彼此重合,而是两纵轴可能限定了一偏航角YA。换句话说,偏航角YA定义了拖车2的纵轴LAT相对于车辆1的纵轴LAV的角度偏差。偏航角YA可在包括拖车2的纵轴LAT和车辆1的纵轴LAV的水平面上测量。
对偏航角YA的了解,例如在拖车辅助系统中也是有利的。
为确定偏航角YA,借助摄像装置3拍摄拖车2至少一部分的多幅图像。摄像装置3例如可以是车辆的后视摄像装置,它也可用于拍摄倒车时车辆周围环境的图像。所拍摄图像之一可指拖车2相对于牵引车1的已知角度设置。该图可用作计算偏航角YA的参考。在拖车2相对于牵引车1的已知角度设置中,偏航角YA可以是0度或任意其他角度值。
图2展示的是一示意图,它展示拖车2的第一特征F1在不同时间点的角度关系,在这些时间点,拖车2相对于牵引车1具有不同的偏航角YA。
摄像装置3可在不同时间点拍摄拖车2相对于车辆1具有不同角度位置的两幅或多幅图像。例如,可拍摄一图像系列。
在本示例中,第二图像可展示拖车相对于车辆在偏航角YA=0度时的方向。
由于随着时间的推移拖车2的角度运动,拖车处检测到的特定特征可能出现在第一和第二图像的不同位置。图2中第一特征用正方形表示。
在第一图像中识别第一特征的上部表示(与将特征与摄像装置3连接的实线光线R相关联),在另一时间点在第二图像中识别第一特征的下部表示(与将特征与摄像装置3连接的虚线光线R相关联)。为将第一特征在各相应图像中的位置与车辆1的位置——尤其是与车辆1的特定固定点——相关联,可使用摄像装置3的校准信息。具体而言,为了确定将第一特征与摄像装置3相连接的光线R,可使用摄像装置3的校准信息,以将图像坐标中所述第一特征位置转换为光线。换句话说,为了使摄像装置位置与特征位置相关联,基于摄像装置3的校准信息,将图像上的特征位置与车辆固定点的位置相关联。
拖车上的特征使用特征检测和匹配算法进行定位和匹配。例如,可使用哈里斯边角侦测(Harris Corner Detector)、尺度不变特征变换(SIFT)算法、加速稳健特征(SURF)算法、二进制鲁棒不变可扩展关键点(BRISK)算法、二进制鲁棒独立基本特征(BRIEF)、定向快速轮换简报(ORB)算法或另一种适用的特征检测和匹配算法。
所述特征检测和匹配算法可检测出拖车上或不在拖车上的图像特征。为了从非拖车特征中分离出拖车特征,可使用一些不同的方法。例如,在沿直线向前行驶时,可通过寻找随时间推移保持在同一位置的特征,将拖车特征与非拖车特征分开。或者,可使用车辆已知运动随着时间变化对背景特征的运动进行建模。这可从有关速度和转向的CAN(控制器区域网络)数据中提取。不符合基本矩阵极线约束的特征就可被视为是拖车特征。
在各相应图像中的特征识别之后,第一和第二图像的第一特征被投射到一共同的水平面上。更详细地说,摄像装置3和第一图像上所确定的第一特征之间的射线被投影到水平面上,从而获得第一投影特征位置PFP1a。此外,摄像装置3和第二图像上所确定的第一特征之间的射线被投影到同水平面上,从而获得第二投影特征位置PFP1b。值得一提的是,所述投影是在垂直方向上进行的,因此只改变了光线的仰角,而不改变方位角。
在确定第一和第二投影特征位置PFP1a、PFP1b之后,基于所述第一和第二投影特征位置PFP1a、PFP1b设定第一垂直平分线B1。如图2所示,第一垂直平分线B1是垂直于第一和第二投影特征位置PFP1a、PFP1b连接线的一条线。此外,第一垂直平分线B1穿过所述连接线中心。所述第一垂直平分线B1与参考轴相交,在本实施方式中,所述参考轴是车辆的纵轴LAV。第一垂直平分线B1和参考轴的所述交点提供了拖车围绕其转动的旋转点。更详细地说,所述交点提供了牵引杆4的位置。
基于第一垂直平分线B1,计算第一角度估计α1。第一角度估计α1是指连接第一投影特征位置PFP1a和第一垂直平分线B1与参考轴交点的第一条线L1与连接第二投影特征位置PFP1b和第一垂直平分线B1与参考轴交点的第二条线L2之间的角度。所述交点可指出牵引杆4的位置。更详细地说,第一角度估计α1表征拖车2在水平面中第一图像中的第一特征在水平面上的投影位置与第二图像中的第一特征在所述水平面上的投影位置之间围绕所述第一交点IP1(即牵引杆4的位置)的摆角。
第一角度估计α1表示拖车2围绕其实际旋转点的偏航角YA。
图3展示的是与图2类似,使用不同时间点(在该时间点,拖车2相对于牵引车1具有不同偏航角YA)拍摄的拖车2的第一和第二特征F1、F2确定偏航角YA的实施方式。
在摄像装置3拍摄的图像上,可识别多个不同特征。如图3所示,在相对于车辆1一固定点的不同角度位置对所述特征进行识别。第一特征用正方形表示,第二特征用三角形表示。所说固定点可以是摄像装置3的位置,也可以是牵引杆4的位置。
在图3中,上面的一对第一和第二特征(由PFP1a、PFP2a表示,并与连接特征与摄像装置3的实线光线相关联)在第一图像中被予以识别,下面的一对第一和第二特征F1、F2(由PFP1b、PFP2b表示,并与将连接特征与摄像装置3的虚线光线相关联)于不同时间点在第二图像中被予以识别。
偏航角YA的确定方式与图2所示实施方式相似。主要区别在于,设定两个角度估计α1、α2,并根据两个角度估计α1、α2开发拖车的偏航角。更详细地说,如上所述,设立第一垂直平分线B1和实施第一角度估计α1。
此外,通过设定第三投影特征位置PFP2a和第四投影特征位置PFP2b,设定第二垂直平分线B2,以获得第二交点IP2,并将第三投影特征位置PFP2a和第四投影特征位置PFP2b与第二交点IP2连接,从而获得第二角度估计α2。第三投影特征位置PFP2a是通过将第一图像中的第二特征投影到所述水平面上获取的,第四投影特征位置PFP2b是通过将第二图像中的第二特征投影到所述水平面上获取的。第二交点IP2可以是第二垂直平分线B2与本实施方式中为车辆纵轴LAV的参考轴的交点。第二角度估计α2是连接第三投影特征位置PFP2a和交点IP2的第一条线与连接第四投影特征位置PFP2b和交点IP2的第二条线之间的角度。
在本实施方式中,参考轴是牵引车1的纵轴LAV,因为摄像装置3以及牵引杆4处于车辆1的纵轴LAV上。在其他实施方式中,如果摄像装置3或牵引杆4相对于车辆1的纵轴LAV具有一横向偏移,或摄像装置3和牵引杆4相对于车辆1的纵轴LAV的横向偏移是不同的,则参考轴可由连接摄像装置3和牵引杆4的直线构成。
理想条件下,第一角度估计α1和第二角度估计α2应相等(α1=α2),并应表示偏航角YA。然而,由于噪声和不匹配,第一和第二角度估计α1、α2可能不同。
值得一提的是,拖车2的以上两个特征可在多幅图像上被确定和跟踪。此外,优选在不同时间点拍摄两幅以上的图像,以获得更好的偏航角估计结果。因此,可设定两个以上的角度估计α1、α2,以提高偏航角确定的质量。
为了基于具有不同值的第一和第二角度估计α1、α2确定偏航角YA,可使用统计学度量。根据第一实施方式,为确定偏航角YA,可使用两个或多个角度估计α1、α2的中值。根据其他实施方式,可使用统计方法确定基于两个或多个角度估计α1、α2的偏航角YA。所述统计方法可以是例如RANSAC算法(RANSAC:random sample consensus(随机抽样一致))或最小二乘法。
看起来并非所有在所拍摄图像上可见的特征也都适用于偏航角YA的计算。为降低计算复杂性和鲁棒性要求,选择所提供摆角与实际偏航角非常接近的那些特征并进一步用于偏航角YA的确定。为了选择特征,在未来图像中只有实际偏航角周围的特定窗口中提供摆角α1、α2的那些特征会被跟踪。所述窗口例如可由一上限和一下限定义,其中,上限和下限定义了实际偏航角周围的角度窗口。例如,所述窗口可覆盖2度到10度的范围,尤其可覆盖3度到5度的范围。在最后两个或多个确定偏航角的步骤中,在所述窗口内导致摆角的所有特征在接下来所拍摄图像中被进一步跟踪。
如果由于拖车2的运动要对多幅图像实施拖车一特定特征的跟踪,所述特征的样本可被设置在弓形区段上。弓形区段的中心表示牵引杆4的位置。由此,通过在多幅图像上跟踪特定的拖车特征,可得出牵引杆4的位置。
为了减小噪声,确定牵引杆4的位置可考虑于一段时间在多幅图像上对多个拖车特征进行跟踪。每个拖车特征可对应于一个具有特定中心估计的弓形部分。通过在所述多个中心估计上应用统计方法,可确定牵引杆4的实际位置。所述统计方法可以是例如RANSAC(随机抽样一致)算法或最小二乘法。
图4展示的是在不使用上面所述参考轴的情况下以几何学确定旋转点的另一实施方式。
所述旋转点是通过开发至少两个垂直平分线B1、B2、基于展示相对于牵引车1的不同角度位置的某一特定特征的三幅图像确定的。在图4中,第一投影特征位置PFP1a指的是被包括在第一图像中并且如前所述被投影在一共同的水平面上的特征。同样,第二投影特征位置PFP1b指的是被包括在第二图像中的特征,第三投影特征位置PFP1c指的是被包括在第三图像中的特征。
第一垂直平分线B1指的是连接第一和第二投影特征位置PFP1a、PFP1b的一条线。第二垂直平分线B2指的是连接第一和第三投影特征位置PFP1a、PFP1c的一条线。第一和第二垂直平分线B1、B2的交点定义一相交点IP,该相交点表示拖车2的旋转点,即表示牵引杆4的位置。
所述相交点IP可如图2和图3实施方式中所示,用于确定拖车的偏航角YA。
图5展示的是一种用于确定拖车2相对于牵引车1的纵轴LAV的偏航角YA方法的方法步骤的框图。
第一步,拍摄拖车的第一和第二图像(S10)。
在图像拍摄后,测定第一和第二图像上拖车的至少一个可见的特征(S11)。
在确定特征后,通过特征投影设定第一投影特征位置和第二投影特征位置(S12)。
在特征投影后,建立第一垂直平分线(S13)。
在设定第一垂直平分线后,开发第一垂直平分线与参考轴或另一垂直平分线的第一个交点(S14)。
最后,基于第一角度估计计算偏航角(S15)。
应注意的是,描述和附图仅说明所提出本发明的原理。本领域的技术人员能实施在此没有明确描述或展示,但体现本发明原理的各种设置。
附图标记列表
1 车辆
2 拖车
3 摄像装置
4 牵引杆
α1 第一角度估计
α2 第二角度估计
B1 第一垂直平分线
B2 第二垂直平分线
PFP1a 第一图像中的第一特征投影位置
PFP1b 第二图像中的第一特征投影位置
PFP1c 第三图像中的第一特征投影位置
PFP2a 第一图像中的第二特征投影位置
PFP2b 第二图像中的第二特征投影位置
IP 相交点
IP1 第一相交点
IP2 第二相交点
LAT 拖车纵轴
LAV 车辆纵轴
R 光线
YA 偏航角。
Claims (13)
1.用于确定拖车(2)相对于牵引车(1)的纵轴(LAV)的偏航角(YA)的方法,其中,所述方法包括以下步骤:
-使用摄像装置(3)检测拖车(2)的至少一第一和第二图像,其中,拖车(2)相对于车辆(1)的方向在至少两幅图像(S10)上是不同的;
-确定拖车(2)在第一和第二图像(S11)上可见的至少一第一特征;
-将摄像装置(3)和第一图像上所确定的第一特征之间的射线投射到水平面上,从而获得第一投影特征位置(PFP1a),并将摄像装置(3)和第二图像上所确定的第一特征之间的射线投射到所述水平面上,从而获得第二投影特征位置(PFP1b)(S12);
-在第一投影特征位置(PFP1a)和第二投影特征位置(PFP1b)之间设定第一垂直平分线(B1)(S13);
-确定第一垂直平分线(B1)与参考轴或另一垂直平分线的第一交点(IP1)(S14);
-基于第一角度估计(α1)计算偏航角(YA),其中,所述第一角度估计(α1)是指在水平面上从第一投影特征位置(PFP1a)到第一交点(IP1)的第一条线与从第二投影特征位置(PFP1b)到第一交点(IP1)的第二条线之间的角度(S15)。
2.根据权利要求1所述的方法,其中,在第一或第二图像上,拖车(2)相对于车辆(1)的偏航角(YA)为零或者是能够作为参考角度的任何已知偏航角(YA)。
3.根据权利要求1或2所述的方法,此外还包括下列步骤:
-确定拖车(2)在第一和第二图像上可见的第二特征,其中,所述第二特征被设置在拖车(2)的不同于第一特征的另一位置。
-将摄像装置(3)和第一图像上所确定的第二特征之间的射线投射到水平面上,从而获得第三投影特征位置(PFP2a),并将摄像装置(3)和第二图像上所确定的第二特征之间的射线投射到所述水平面上,从而获得第四投影特征位置(PFP2b)。
-此外,在第三投影特征位置(PFP2a)和第四投影特征位置(PFP2b)之间设定第二垂直平分线(B2);
-确定第二垂直平分线(B2)与所述参考轴的第二交点(IP2);
-计算第二角度估计(α2),其中,第二角度估计(α2)是指在水平面上从第三投影特征位置(PFP2a)到第二交点(IP2)的第一条线与从第四投影特征位置(PFP2b)到第二交点(IP2)的第二条线之间的角度。
-基于所述第一和第二角度估计(α1、α2)计算偏航角(YA)。
4.根据权利要求3所述的方法,其中,除了所述第一和第二特征外,拖车(2)的至少另一特征被用于偏航角(YA)的计算。
5.根据权利要求3或4所述的方法,其中,通过基于至少两个角度估计构建的中值计算偏航角(YA)。
6.根据上述权利要求3至5中任一权利要求所述的方法,其中,偏航角(YA)是通过建立至少两个角度估计的平均值或通过使用应用于所述角度估计的统计方法来计算的。
7.根据上述权利要求中任一权利要求所述的方法,此外还包括确定角度窗口的步骤,其中,所述角度窗口包括围绕偏航角(YA)的上限和下限,确定导致所述角度窗口内角度估计的一组特征,并将所确定的特征组用于未来的偏航角(YA)计算。
8.根据上述权利要求中任一权利要求所述的方法,其中,摄像装置校准信息用于将所述第一和/或第二特征的位置从图像的局部域转换为车辆(1)的局部域。
9.根据上述权利要求中任一权利要求所述的方法,其中,如果摄像装置(3)和车辆(1)的牵引杆(4)设置在包括牵引车(1)的纵轴(LAV)的垂直方向的平面内,则参考轴是牵引车(1)的纵轴(LAV)。
10.根据上述权利要求中任一权利要求所述的方法,其中,如果摄像装置(3)和/或牵引杆(4)相对于牵引车(1)的纵轴(LAV)具有横向偏移,则参考轴是摄像装置(3)和牵引杆(4)之间的一条直线。
11.根据上述权利要求中任一权利要求所述的方法,其中,摄像装置(3)是车辆(1)的后视摄像装置。
12.用于确定拖车(2)相对于牵引车(1)的纵轴(LAV)的偏航角(YA)的系统,其中,所述系统包括用于拍摄拖车(2)图像的摄像装置(3)和用于处理所拍摄图像的处理实体,此外,所述系统还配置用于执行以下步骤:
-使用摄像装置(3)检测拖车(2)的至少一第一和第二图像,其中,拖车(2)相对于车辆(1)的方向在至少两幅图像上是不同的(S10);
-确定拖车(2)在第一和第二图像上可见的至少一第一特征(S11);
-将摄像装置(3)和第一图像上所确定的第一特征之间的射线投射到水平面上,从而获得第一投影特征位置(PFP1a),并将摄像装置(3)和第二图像上所确定的第一特征之间的射线投射到所述水平面上,从而获得第二投影特征位置(PFP1b)(S12);
-在第一投影特征位置(PFP1a)和第二投影特征位置(PFP1b)之间设定第一垂直平分线(B1)(S13);
-确定第一垂直平分线(B1)与参考轴或另一垂直平分线的第一交点(IP1)(S14);
-基于第一角度估计(α1)计算偏航角(YA),其中,所述第一角度估计(α1)是指在水平面上从第一投影特征位置(PFP1a)到第一交点(IP1)的第一条线与从第二投影特征位置(PFP1b)到第一交点(IP1)的第二条线之间的角度(S15)。
13.包括根据权利要求12所述系统的车辆。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20167188.0 | 2020-03-31 | ||
EP20167188.0A EP3889905A1 (en) | 2020-03-31 | 2020-03-31 | Method and system for calculating vehicle trailer angle |
PCT/EP2020/084109 WO2021197650A1 (en) | 2020-03-31 | 2020-12-01 | Method and system for calculating vehicle trailer angle |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115298696A true CN115298696A (zh) | 2022-11-04 |
Family
ID=70110143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080098804.3A Pending CN115298696A (zh) | 2020-03-31 | 2020-12-01 | 计算车辆拖车角度的方法和系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230173998A1 (zh) |
EP (1) | EP3889905A1 (zh) |
JP (1) | JP2023514845A (zh) |
CN (1) | CN115298696A (zh) |
WO (1) | WO2021197650A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012103193A1 (en) * | 2011-01-26 | 2012-08-02 | Magna Electronics Inc. | Rear vision system with trailer angle detection |
DE102016117284A1 (de) * | 2016-09-14 | 2018-03-15 | Connaught Electronics Ltd. | Bestimmen einer Position einer Anhängerkupplung |
US10552976B2 (en) * | 2017-03-22 | 2020-02-04 | Magna Electronics Inc. | Trailer angle detection system for vehicle |
EP3537382A1 (en) * | 2018-03-09 | 2019-09-11 | Continental Automotive GmbH | Device and method for calculating a vehicle trailer pose using a camera |
-
2020
- 2020-03-31 EP EP20167188.0A patent/EP3889905A1/en active Pending
- 2020-12-01 US US17/995,141 patent/US20230173998A1/en active Pending
- 2020-12-01 JP JP2022549860A patent/JP2023514845A/ja active Pending
- 2020-12-01 WO PCT/EP2020/084109 patent/WO2021197650A1/en active Application Filing
- 2020-12-01 CN CN202080098804.3A patent/CN115298696A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230173998A1 (en) | 2023-06-08 |
JP2023514845A (ja) | 2023-04-11 |
WO2021197650A1 (en) | 2021-10-07 |
EP3889905A1 (en) | 2021-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200406967A1 (en) | Trailer assist system with enhanced beam length estimation | |
CN106054191B (zh) | 车轮检测和其在物体跟踪以及传感器配准中的应用 | |
CN106054174B (zh) | 使用雷达和摄像机用于横越交通应用的融合方法 | |
US11679635B2 (en) | Vehicular trailer hitching assist system with coupler height and location estimation | |
EP3678096B1 (en) | Method for calculating a tow hitch position | |
Zhou et al. | Reliable scale estimation and correction for monocular visual odometry | |
JP2002123818A (ja) | 車両用周辺障害物検出装置 | |
JP7437523B2 (ja) | 車両トレーラ角度計算方法及びシステム | |
CN115315723A (zh) | 计算车辆拖车角度的方法和系统 | |
CN111572633A (zh) | 转向角度检测方法、装置及系统 | |
CN106885523B (zh) | 一种车辆路径跟随误差视觉测量优化方法 | |
WO2021204867A1 (en) | A system and method to track a coupled vehicle | |
CN115298696A (zh) | 计算车辆拖车角度的方法和系统 | |
JP2728174B2 (ja) | 移動車の前方車認識装置 | |
JPWO2021197651A5 (zh) | ||
JP7493051B2 (ja) | 車両トレーラ角度計算方法及びシステム | |
JPWO2021197650A5 (zh) | ||
JPWO2021197652A5 (zh) | ||
US20240087329A1 (en) | Determining a trailer orientation | |
JPWO2021197649A5 (zh) | ||
JP2023031307A (ja) | 重なり合わないカメラ視野から取得された画像を調和させる方法 | |
CN116324506A (zh) | 信息处理系统、信息处理装置、程序和信息处理方法 | |
Gao et al. | Panoramic visual odometry for ground vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |