CN115210764A - 自动拖车摄像机校准 - Google Patents

自动拖车摄像机校准 Download PDF

Info

Publication number
CN115210764A
CN115210764A CN202080080148.4A CN202080080148A CN115210764A CN 115210764 A CN115210764 A CN 115210764A CN 202080080148 A CN202080080148 A CN 202080080148A CN 115210764 A CN115210764 A CN 115210764A
Authority
CN
China
Prior art keywords
trailer
vehicle
camera
data processing
processing hardware
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080080148.4A
Other languages
English (en)
Inventor
J·H·克里奇利
于鑫
E·拉诺斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Zhixing Usa LLC
Original Assignee
Continental Zhixing Usa LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Zhixing Usa LLC filed Critical Continental Zhixing Usa LLC
Publication of CN115210764A publication Critical patent/CN115210764A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

一种用于校准由附接到牵引车（102）的拖车（106）来支撑的拖车摄像机（132d，132e，132f）的非本征参数（182）的方法。所述方法包括根据从由牵引车支撑的摄像机（132a，132b，132c）接收的一个或多个车辆图像（133）确定三维特征地图（162），并识别三维特征地图内的参考点（163）。所述方法包括检测在车辆和拖车在向前方向上运动了预定的距离之后从拖车摄像机接收的一个或多个拖车图像内的参考点。所述方法还包括确定拖车摄像机（132d，132e，132f）相对于三维特征地图（162）的拖车摄像机位置（172）、以及基于拖车摄像机位置来确定拖车参考点（184）。所述方法还包括确定拖车摄像机相对于拖车参考点的非本征参数（182）。

Description

自动拖车摄像机校准
技术领域
本公开涉及用于车辆拖车应用的自动摄像机校准方法和系统。本公开涉及用于校准安装在附接到牵引车的拖车上的一个或多个摄像机的方法。
背景技术
拖车通常是由动力牵引车牵引的无动力车辆。拖车可以是通用拖车、弹出野营车、旅行拖车、牲畜拖车、平板拖车、封闭式调度车和船拖车等。牵引车可以是轿车、跨界车、卡车、货车、运动型多功能车（SUV）、休闲车（RV）或被配置成附接到拖车并牵引拖车的任何其他车辆。拖车可以使用拖车栓钩附接到动力车辆上。受方栓钩安装在牵引车上并且连接到拖车栓钩以形成连接。拖车栓钩可以是球窝式连接器、牵引座和鹅颈管、或拖车千斤顶。也可以使用其他附接机构。除了拖车和动力车辆之间的机械连接之外，在一些示例中，拖车还可以电连接到牵引车。这样，电连接可以使拖车从动力车辆的尾灯电路上获取馈电，使拖车具有与动力车辆的灯同步的尾灯、转向信号和制动灯。
一些拖车可以配备有由驾驶员安装的配件拖车摄像机。所安装的拖车摄像机可以是有线或无线摄像机，并且可以与牵引车通信。许多车辆拖车应用（例如但不限于拖车挂接辅助、拖车倒车辅助）依赖于由车辆和拖车支撑的摄像机的校准参数。因此，期望具有一种系统，其能够提供由拖车支撑的一个或多个配件摄像机的自动摄像机校准参数，以供车辆-拖车应用使用。
发明内容
本公开的一个方面提供了一种校准拖车摄像机的非本征参数的方法。拖车摄像机是由附接到牵引车的拖车支撑的。所述方法包括在数据处理硬件（例如，执行校准算法的控制器）处，根据从由牵引车支撑的摄像机上接收的一个或多个车辆图像，确定三维特征地图。在一些示例中，确定三维特征地图包括执行以下中的至少一个：视觉测距（VO）算法、同时定位和地图绘制（SLAM）算法、或运动结构（SfM）算法。摄像机可以定位在车辆的前部以捕获车辆的前方环境。在一些示例中，可以从被定位成捕获车辆的前方和侧面环境的多于一个摄像机上接收一个或多个车辆图像。所述方法包括在所述数据处理硬件处，识别所述三维特征地图内的参考点。所述方法还包括在数据处理硬件处，检测在车辆和拖车在向前方向上运动预定的距离之后从拖车摄像机上接收的一个或多个拖车图像内的参考点。所述方法包括在数据处理硬件处，确定拖车摄像机相对于三维特征地图的拖车摄像机位置。另外，所述方法包括在数据处理硬件处，基于拖车摄像机位置来确定拖车参考点。最后，所述方法包括在数据处理硬件处，确定拖车摄像机相对于拖车参考点的非本征参数。
本公开的这个方面的实施方式可以包括以下可选特征中的一个或多个。在一些实施方式中，所述方法包括将拖车摄像机的非本征参数发送到一个或多个车辆系统，使车辆系统使用非本征参数来执行行为。非本征参数可以定义拖车摄像机的中心位置和拖车摄像机的前进方向。在一些实施方式中，拖车参考点位于距拖车摄像机预定的距离处。拖车参考点可以与拖车摄像机位置重叠。
所述方法还可以包括将标识符与在一个或多个车辆图像中识别的参考点中的每一个相关联；其中，检测从拖车摄像机上接收的一个或多个拖车图像内的参考点包括确定与参考点中的每一个参考点相关联的标识符。
在一些实施方式中，所述方法还包括，在数据处理硬件处检测从拖车摄像机上接收的一个或多个拖车图像内的参考点之前：向用户接口发送指令并在车辆行驶了预定的距离之后从拖车摄像机上接收图像。所述指令使用户显示器向车辆驾驶员提示在向前方向上驾驶所述车辆。
本公开的另一方面提供了用于校准拖车摄像机的非本征参数的方法的操作的一个示例性布置。拖车摄像机由附接到牵引车上的拖车来支撑。所述方法包括在数据处理硬件（例如，执行校准算法的控制器）处，根据从由牵引车支撑的摄像机上接收的一个或多个车辆图像来确定三维特征地图。所述方法包括在所述数据处理硬件处识别所述三维特征地图内的参考点。所述方法包括在数据处理硬件处确定相对于三维特征地图内的第一原点的车辆姿势。所述方法还包括在数据处理硬件处检测从拖车摄像机上接收的一个或多个拖车图像内的参考点。所述方法包括在数据处理硬件处确定拖车摄像机相对于三维特征地图的拖车摄像机位置。另外，所述方法包括在数据处理硬件处确定拖车摄像机相对于三维特征地图内的车辆姿势的第一拖车摄像机姿势。所述方法包括在数据处理硬件处基于拖车摄像机位置来确定拖车参考点。所述方法包括在数据处理硬件处确定拖车参考点相对于拖车摄像机位置的拖车参考姿势。另外，所述方法包括在数据处理硬件处确定拖车摄像机相对于拖车参考姿势的第二拖车摄像机姿势。所述方法包括在数据处理硬件处确定拖车摄像机相对于拖车参考姿势的非本征参数。
本公开的这个方面的实施方式可以包括以下可选特征中的一个或多个。在一些实施方式中，拖车参考点位于距拖车摄像机预定的距离处。拖车参考点可以与拖车摄像机位置重叠。非本征参数可以定义拖车摄像机的中心位置和拖车摄像机的前进方向。
在一些示例中，所述方法还包括将标识符与在一个或多个车辆图像中识别的参考点中的每一个相关联，其中，检测从拖车摄像机上接收的一个或多个拖车图像内的参考点包括确定与参考点中的每一个相关联的标识符。
所述方法还可以包括将拖车摄像机的非本征参数发送到一个或多个车辆系统上，使车辆系统使用非本征参数来执行行为。
在一些实施方式中，根据从由牵引车支撑的摄像机上接收的一个或多个车辆图像确定三维特征地图包括执行以下中的至少一个：视觉测距（VO）算法、同时定位和地图绘制（SLAM）算法、或运动结构（SfM）算法。
在数据处理硬件处检测从拖车摄像机上接收的一个或多个拖车图像内的参考点之前，所述方法可以包括向用户接口发送指令，该指令使用户显示器向车辆驾驶员提示在向前方向上驾驶车辆，并且在车辆行驶了预定距离之后从拖车摄像机上接收图像。
本公开的另一方面提供了一种系统，所述系统包括数据处理硬件和与数据处理硬件通信的存储器硬件。存储器硬件存储指令，所述指令在数据处理硬件上执行时，使数据处理硬件执行操作。这些操作包括上述方法。
在附图和以下描述中阐述了本公开的一个或多个实施方式的细节。从说明书和附图以及从权利要求书中，其他方面、特征和优点应当是显而易见的。
附图说明
图1A是一个示例性车辆拖车系统的俯视图。
图1B是图1A的示例性车辆拖车系统的俯视图，其中，车辆和拖车相对于彼此成某一角度。
图2是图1A所示的示例性车辆拖车系统的示意图。
图3是具有从一个或多个车辆摄像机图像中提取的参考点的图1A的示例性车辆拖车系统的俯视图。
图4是具有从一个或多个拖车摄像机图像中提取的图3的参考点的图1A的示例性车辆拖车系统的俯视图。
图5是具有拖车参考点的图1A的示例性车辆拖车系统的俯视图。
图6和7是用于确定拖车摄像机的非本征参数的方法的操作的示例性布置的示意图。
在各个附图中相同的附图标记表示相同的要素。
具体实施方式
牵引车（例如但不限于汽车、跨界车、卡车、货车、运动型多用途车（SUV）和休闲车（RV））可以被配置成牵引拖车。牵引车通过拖车栓钩连接到拖车上。希望具有一种能够校准由拖车所支撑的配件摄像机的系统。
参考图1A、1B和2，在一些实施方式中，车辆拖车系统100包括具有由车辆挂接杆105支撑的牵引球104的牵引车102。车辆-拖车系统100还包括拖车106，其具有由拖车挂接杆109支撑的拖车挂接联接器108。车辆牵引球104被联接到拖车挂接联接器108上。牵引车102可以包括驱动系统110，其基于例如具有x、y和z分量的驱动命令来操纵牵引车102跨越路面。如图所示，驱动系统110包括右前轮112、112a、左前轮112、112b、右后轮112、112c和左后轮112、112d。驱动系统110还可以包括其他车轮配置。驱动系统110还可包括制动系统（未示出）和加速系统（未示出），制动系统包括与每个车轮112、112a-d相关联的制动器，加速系统配置成调节牵引车102的速度和方向。此外，驱动系统110可以包括悬架系统（未示出），该悬架系统包括与每个车轮112、112a-d相关联的轮胎、轮胎空气、弹簧、减震器、以及连杆，其将牵引车102连接到其车轮112、112a-d并且允许牵引车102与车轮112、112a-d之间的相对运动。
牵引车102可以通过相对于由牵引车102限定的三个相互垂直轴线的运动的各种组合而跨越路面运动：横向轴线XV、前后轴线YV和中心竖直轴线ZV。横向轴线XV在牵引车102的右侧和左侧之间延伸。沿着前后轴线YV的向前驱动方向被指定为FV，也称为向前运动。此外，沿前后方向YV的后向或向后驱动方向被指定为RV，也称为向后运动。在一些示例中，牵引车102包括悬架系统（未示出），当被调节时，该悬架系统使牵引车102绕XV轴线和/或YV轴线而倾斜，或者沿中心竖直轴线ZV运动。
此外，拖车106通过相对于由拖车106限定的三个相互垂直轴线的运动的各种组合来跟随牵引车102跨越路面：拖车横向轴线XT、拖车前后轴线YT和拖车中心竖直轴线ZT。拖车横向轴线XT沿着拖车转向轴107在拖车106的右侧和左侧之间延伸。在一些示例中，拖车106包括前轴（未示出）和后轴107。在这种情况下，拖车横向轴线XT沿着前轴和后轴（即，虚拟转向轴）的中点在拖车106的右侧和左侧之间延伸。沿着拖车前后轴线YT的向前驱动方向被指定为FT，也被称为向前运动。此外，沿前后方向YT的拖车后向或向后驱动方向被指定为RT，也被称为向后运动。因此，车辆-拖车系统100的运动包括牵引车102沿着其横向轴线XV、前后轴线YV和中心竖直轴线ZV的运动、以及拖车106沿着其拖车横向轴线XT、拖车前后轴线YT和拖车中心竖直轴线ZT的运动。因此，当牵引车102在向前方向FV运动时进行转向时，拖车106跟随之。在转向时，牵引车102和拖车106形成拖车角度α，该角度是车辆前后轴线YV和拖车前后轴线YT之间的角度。
牵引车102可以包括用户接口120。用户接口120可以包括显示器122、旋钮和按钮，它们被用作输入机构。在一些示例中，显示器122可以示出旋钮和按钮。而在其他示例中，旋钮和按钮是旋钮按钮组合。在一些示例中，用户接口120经由一个或多个输入机构或触摸屏显示器122从驾驶员处接收一个或多个驾驶员命令和/或向驾驶员显示一个或多个通知。在一些示例中，显示器122显示车辆拖车系统100的环境的图像133。
车辆拖车系统100包括传感器系统130，其提供车辆拖车系统100及其周围的传感器系统数据131，用于在驾驶时帮助驾驶员。传感器系统130可以包括不同类型的传感器，这些传感器可以单独使用或彼此一起使用，以产生对车辆拖车系统100的环境感知，该感知被用于使牵引车102驾驶和帮助驾驶员基于由传感器系统130检测到的物体和障碍物做出智能决策。传感器系统130可以包括由车辆拖车系统100支撑的一个或多个摄像机132、132a-f。在一些实施方式中，牵引车102包括前车辆摄像机132a（即，第一摄像机），其被安装为提供用于牵引车102的前驾驶路径的视图，或者换言之，前车辆摄像机132a捕获牵引车102的前方环境的图像133。在一些示例中，传感器系统130还包括侧车辆摄像机132c、132d（即，第三摄像机和第四摄像机），每个侧车辆摄像机被安装以提供牵引车102的侧环境的侧图像133。侧车辆摄像机132c、132d可以各自安装在牵引车102的侧视镜、侧门或侧框架上。传感器系统130还包括由拖车106支撑的一个或多个摄像机132d-f。例如，拖车后摄像机132d（即，第四摄像机）被安装以提供拖车106的后部环境的视图。另外，侧拖车摄像机132e、132f（即，第五摄像机和第六摄像机）被安装为各自提供拖车106的侧环境的侧图像133。拖车摄像机132d-e可以经由有线连接或以无线方式连接到车辆102（例如，车辆控制器140）。如图所示，车辆拖车系统100包括六个摄像机132、由牵引车102支撑的三个摄像机132a-c和由拖车106支撑的三个摄像机132d-e；然而，车辆102可以包括至少一个或多个摄像机132，并且拖车可以包括至少一个或多个摄像机132，其中，每个摄像机132被定位成捕获车辆拖车系统100的环境。每个摄像机132可以包括本征参数（例如，焦距、图像传感器格式和主点）和非本征参数（例如，非本征参数定义摄像机中心的位置和摄像机相对于参考点的前进方向）。
传感器系统130还可以包括检测车辆运动（即速度、角速度、位置等）的其他传感器134。其他传感器134可以包括惯性测量单元（IMU），其被配置为测量车辆的线性加速度（使用一个或多个加速度计）和转动速率（使用一个或多个陀螺仪）。在一些示例中，IMU还确定牵引车102的前进方向参考。因此，IMU确定牵引车102的俯仰、滚动和偏航。其他传感器134还可以包括但不限于雷达、声纳、LIDAR（光检测和测距，其可以需要测量散射光的属性以找到远距离目标的距离和/或其他信息的光学遥感）、LADAR（激光检测和测距）、超声波、HFL（高分辨率3D闪光LIDAR）等。
用户接口120和传感器系统130与车辆控制器140通信。车辆控制器140包括与非暂时性存储器或硬件存储器144（例如，硬盘、闪存、随机存取存储器）通信的计算设备（或数据处理硬件）142（例如，具有一个或多个计算处理器的中央处理单元），其能够存储在（一个或多个）计算处理器上可执行的指令。控制器可以由牵引车102、拖车106、或牵引车102和拖车106两者支撑。在一些示例中，控制器140执行校准算法150以校准一个或多个拖车摄像机132、132d-f。如图所示，车辆控制器140是由牵引车102支撑的；然而，车辆控制器140也可以与牵引车102分离并且经由网络（未示出）与牵引车102通信。
在一些实施方式中，校准算法150被配置为简化由驾驶员附接到拖车106的拖车摄像机132d-f或先前安装在拖车106上但未校准的拖车摄像机132d-f的校准过程。由于拖车摄像机132d-f可以经由有线或以无线方式连接到控制器，所以驾驶员可能难以校准拖车摄像机132d-f的非本征参数（例如，相对于参考点的位置和转动）。这样，校准算法150提供了校准摄像机132d-f的自动方法，其仅需要驾驶员在向前方向上驾驶。
控制器140从摄像机132接收车辆摄像机132a-c中的每一个和拖车摄像机132d-f中的每一个的本征参数（例如，焦距、图像传感器格式、主点和失真参数），因为每个摄像机132、132a-f知晓本征参数。至于车辆摄像机132a-c的非本征参数，由于这些摄像机132a-c已经安装在车辆102上，所以它们的位置和转动是已知的，因此，车辆摄像机132a-c的非本征参数是已知的。然而，拖车摄像机132d-f的非本征参数是未知的，因为这些摄像机132d-f是由驾驶员放置在拖车106上的。因此，校准算法150自动地校准拖车摄像机132d-f中的每一个相对于拖车参考点184的非本征参数182。
参考图2-5，校准算法150包括三个阶段160、170、180。在第一阶段160期间，校准算法150基于由车辆摄像机132a-c捕获的图像133构建三维特征地图162，并且基于三维特征地图162确定相对于车辆参考点166的车辆姿势164（例如，位置和取向）。车辆参考点166可以是车辆102内的预定点。在一些示例中，车辆参考点166在车辆横向轴线XV、车辆前后轴线YV和车辆中心竖直轴线ZV的交叉点处。校准算法150可使用视觉测距（VO）算法、同时定位和地图绘制（SLAM）算法和/或运动结构（SfM）算法来确定三维特征地图。VO、SLAM和SfM框架是完善建立的理论，并且允许校准算法150在基于接收的图像133所生成的自生成3D点云地图中实时地定位一个或多个参考点163。VO方法提取图像特征点163，并在图像序列中跟踪所提取的图像特征点163。特征点163的示例可以包括但不限于图像133内的物体的边缘、拐角或斑点。VO方法还可以直接使用图像序列中的像素强度作为视觉输入。SLAM方法构建或更新未知环境的地图，而同时跟踪一个或多个目标或图像特征点163（例如参考点）。换句话说，SLAM方法使用所接收的图像133作为外部信息的唯一源，以构建包括图像特征点163的环境的表示。SfM方法基于接收到的图像133（即，2D图像）来估计物体或图像特征点163的3D结构。
一旦校准算法150确定了三维特征地图162，则校准算法150确定相对于三维特征地图162内的原点的车辆姿势164。
在第二阶段170期间，校准算法150相对于三维特征地图162重新定位拖车摄像机132d-f。换句话说，校准算法150确定与每个拖车摄像机132d-f相关联的拖车摄像机位置172，其中，拖车摄像机位置172是相对于三维特征地图162。在一些示例中，校准算法150指示显示器122提示驾驶员在向前方向FV、FT上驾驶车辆拖车系统100。在车辆拖车系统100的向前运动期间，拖车摄像机132d-f捕获图像133，并且校准算法150分析所捕获的拖车图像133以识别在第一阶段160由车辆图像133识别的一个或多个图像特征162。一旦校准算法150识别出一个或多个图像特征162中的一个或多个，则校准算法150确定每个拖车摄像机132d-f相对于三维特征地图162的拖车摄像机姿势174。每个拖车摄像机姿势174包括关于在三维特征地图162内定义的原点的（x，y，z）位置和取向。
在第三阶段180期间，校准算法150基于在第二阶段170期间确定的摄像机姿势174来估计相对于拖车参考点184的拖车摄像机非本征参数182。拖车参考点184可以是拖车106内的任何点，例如摄像机位置、摄像机位置的中心或拖车106内的任何预定位置。
在一些实施方式中，校准算法150通过最小化所有再投影误差的总和来优化拖车参考点184的拖车摄影机非本征参数182和姿势，而同时保持三维地图162的所有特征点163的坐标固定。再投影误差提供了准确性的定性测量。再投影误差是投影点和测量点之间的像距。再投影误差被用于确定三维拖车参考点184的估计重建该点的实际投影的接近程度。
一旦完成第三阶段180，校准算法150就将拖车参考点184的拖车摄像机非本征参数182和姿势传送或发送到一个或多个车辆-拖车系统，其依赖于拖车参考点184的拖车摄像机非本征参数182和姿势来做出系统决策。例如，校准算法150将拖车参考点184的拖车摄像机非本征参数182和姿势传送或发送到路径规划系统、拖车倒车辅助系统、拖车挂接辅助系统、或依赖于拖车参考点184的拖车摄像机非本征参数182和姿势的任何其他系统。
校准算法150执行自动校准方法，该方法降低了驾驶员的操作的复杂性，并且利用车辆摄像机132a-c来校准拖车摄像机132d-f。校准算法150使得能够实现用于拖车106的新特征。
图6提供了使用图1A-5的系统来校准拖车摄像机132d、132e、132f的非本征参数182的方法600的操作的一个示例性布置。拖车摄像机132d、132e、132f由附接到牵引车102的拖车106来支撑。在框602处，方法600包括在数据处理硬件（例如，执行校准算法150的控制器140）处根据从由牵引车102支撑的摄像机132a、132b、132c上接收的一个或多个车辆图像133，确定三维特征地图162。在一些示例中，确定三维特征地图162包括执行以下中的至少一个：视觉测距（VO）算法、同时定位和地图绘制（SLAM）算法、或运动结构（SfM）算法。摄像机132a、132b、132c可以定位在车辆102的前部上，以捕获车辆102的前方环境。在一些示例中，可以从被定位为捕获车辆102的前方和侧面环境的多于一个摄像机132a、132b、132c上接收一个或多个车辆图像133。在框604处，方法600包括在数据处理硬件处识别三维特征地图162内的参考点163。在框606，方法600包括在数据处理硬件150处，检测在车辆102和拖车106沿向前方向FV、FT运动了预定的距离之后从拖车摄像机132d、132e、132f上接收的一个或多个拖车图像133内的参考点163。在框608处，方法600包括在数据处理硬件150处确定拖车摄像机132d、132e、132f相对于三维特征地图162的拖车摄像机位置172。另外，在框610，方法600包括在数据处理硬件处基于拖车摄像机位置172确定拖车参考点184。最后，在框612，方法600包括在数据处理硬件150处确定拖车摄像机132d、132e、132f相对于拖车参考点184的非本征参数182。
在一些实施方式中，方法600包括将拖车摄像机132d、132e、132f的非本征参数182发送到一个或多个车辆系统上，使车辆系统使用非本征参数182执行行为。非本征参数182可以定义拖车摄像机132d、132e、132f的中心位置和拖车摄像机132d、132e、132f的前进方向。在一些实施方式中，拖车参考点184位于距拖车摄像机132d、132e、132f的预定的距离处。拖车参考点184可以与拖车摄像机位置172重叠。
方法600还可以包括将标识符与在一个或多个车辆图像133中识别出的参考点163中的每一个相关联；其中，检测从拖车摄像机132d、132e、132f上接收的一个或多个拖车图像133内的参考点163包括确定与参考点163中的每一个相关联的标识符。
在一些实施方式中，方法600还包括，在数据处理硬件150处检测从拖车摄像机132d、132e、132f上接收的一个或多个拖车图像133内的参考点163之前：向用户接口120发送指令并在车辆102行驶了预定的距离之后从拖车摄像机132d、132e、132f上接收图像133。该预定的距离可以使车辆102与拖车106对齐，使得拖车角度为零。指令使用户显示器122向车辆102驾驶员提示在向前方向上驾驶车辆102。
图7提供了使用图1A-5的系统来校准拖车摄像机132d、132e、132f的非本征参数182的方法700的操作的一个示例性布置。拖车摄像机132d、132e、132f由附接到牵引车102上的拖车106来支撑。在框702处，方法700包括在数据处理硬件（例如，执行校准算法150的控制器140）处，根据从由牵引车102支撑的摄像机132a、132b、132c上接收的一个或多个车辆图像133来确定三维特征地图162。在框704处，方法700包括在数据处理硬件150处识别三维特征地图162内的参考点163。在框706处，方法700包括在数据处理硬件150处确定相对于三维特征地图162内的第一原点的车辆姿势164。在框708，方法700包括在数据处理硬件150处检测从拖车摄像机132d、132e、132f上接收的一个或多个拖车图像133内的参考点163。在框710处，方法700包括在数据处理硬件150处确定拖车摄像机132d、132e、132f相对于三维特征地图162的拖车摄像机位置172。另外，在框712处，方法700包括在数据处理硬件150处确定拖车摄像机132d、132e、132f相对于三维特征地图162内的车辆姿势164的第一拖车摄像机姿势174。在框714处，方法700包括在数据处理硬件150处基于拖车摄像机位置172确定拖车参考点184。在框716，方法700包括在数据处理硬件150处确定相对于拖车摄像机位置172的拖车参考点184的拖车参考姿势186。另外，在框718，方法700包括在数据处理硬件150处确定拖车摄像机132d、132e、132f相对于拖车参考姿势186的第二拖车摄像机姿势174。在框720处，方法700包括在数据处理硬件150处确定拖车摄像机132d、132e、132f相对于拖车参考姿势186的非本征参数182。
在一些实施方式中，拖车参考点184位于距拖车摄像机132d、132e、132f的预定的距离处。拖车参考点184可以与拖车摄像机位置172重叠。非本征参数182可以定义拖车摄像机132d、132e、132f的中心位置和拖车摄像机132d、132e、132f的前进方向。
在一些示例中，方法700还包括将标识符与在一个或多个车辆图像133中识别出的参考点163中的每一个相关联，其中，检测从拖车摄像机132d、132e、132f上接收的一个或多个拖车图像133内的参考点163包括确定与参考点163中的每一个相关联的标识符。
方法700还可以包括将拖车摄像机132d、132e、132f的非本征参数182发送到一个或多个车辆系统，使车辆系统使用非本征参数182来执行行为。
在一些实施方式中，根据从由牵引车102支撑的摄像机132a、132b、132c上接收的一个或多个车辆图像133确定三维特征地图162包括执行以下中的至少一个：视觉测距（VO）算法、同时定位和地图绘制（SLAM）算法、或运动结构（SfM）算法。
在数据处理硬件150处检测从拖车摄像机132d、132e、132f上接收的一个或多个拖车图像133内的参考点163之前，方法700可以包括向用户接口120发送指令，该指令使用户显示器向车辆102的驾驶员提示在向前方向FV、FT上驾驶车辆102，并且在车辆102行驶了预定的距离之后从拖车摄像机132d、132e、132f上接收图像133。
这里描述的系统和技术的各种实施方式可以在数字电子电路、集成电路、专门设计的ASIC（专用集成电路）、计算机硬件、固件、软件、和/或其组合中实现。这些各种实施方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，所述可编程系统包括至少一个可编程处理器、至少一个输入设备和至少一个输出设备，所述可编程处理器可以是专用或通用的，被耦合以从存储系统接收数据和指令以及向存储系统发送数据和指令。
这些计算机程序（也称为程序、软件、软件应用或代码）包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言和/或汇编/机器语言来实现。如本文所使用的，术语“机器可读介质”和“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备（例如，磁盘、光盘、存储器、可编程逻辑器件（PLD）），包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
本说明书中描述的主题和功能操作的实施方式可以以数字电子电路来实现，或者以计算机软件、固件或硬件来实现，包括本说明书中公开的结构及其结构等效物，或者在它们中的一个或多个的组合中实现。此外，本说明书中描述的主题可以被实现为一个或多个计算机程序产品，即，在计算机可读介质上编码以用于由数据处理装置执行或对数据处理装置的操作进行控制的计算机程序指令的一个或多个模块。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、实现机器可读传播信号的物质的组合、或者它们中的一个或多个的组合。术语“数据处理装置”、“计算设备”和“计算处理器”涵盖用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，装置可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编码信息以便传输到合适的接收器装置上。
类似地，虽然在附图中以特定次序描绘了操作，但是这不应当被理解为要求以所示的特定次序或以顺序次序执行这样的操作，或者要求执行所有示出的操作以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或封装到多个软件产品中。
已经描述了许多实施方式。然而，应当理解，在不脱离本公开的精神和范围的情况下，可以进行各种修改。因此，其他实施方式也在所附权利要求的范围内。

Claims (16)

1.一种用于校准拖车摄像机（132d，132e，132f）的非本征参数（182）的方法，所述拖车摄像机（132d，132e，132f）由附接到牵引车（102）的拖车（106）来支撑，所述方法包括：
在数据处理硬件（150）处根据从由所述牵引车（102）支撑的摄像机（132a、132b、132c）接收的一个或多个车辆图像（133）来确定三维特征地图（162）；
在所述数据处理硬件处识别所述三维特征地图（162）内的参考点（163）；
在所述数据处理硬件处检测在所述车辆（102）和所述拖车（106）在向前方向上运动了预定的距离之后从所述拖车摄像机（132d，132e，132f）接收的一个或多个拖车图像（133）内的所述参考点（163）；
在所述数据处理硬件处确定所述拖车摄像机（132d、132e、132f）相对于所述三维特征地图（162）的拖车摄像机位置（172）；
在所述数据处理硬件处基于所述拖车摄像机位置（172）来确定拖车参考点（184）；以及
在所述数据处理硬件处确定所述拖车摄像机（132d、132e、132f）相对于所述拖车参考点（184）的非本征参数（182）。
2.根据权利要求1所述的方法，其中，所述拖车参考点（184）位于距所述拖车摄像机（132d、132e、132f）预定的距离处。
3.根据权利要求1所述的方法，其中，所述拖车参考点（184）与所述拖车摄像机位置（172）重叠。
4.根据权利要求1所述的方法，其中，所述非本征参数（182）定义所述拖车摄像机（132d、132e、132f）的中心位置和所述拖车摄像机（132d、132e、132f）的前进方向。
5.根据权利要求1所述的方法，还包括：
将标识符与在所述一个或多个车辆图像（133）中识别的参考点（163）中的每一个相关联；
其中，检测从所述拖车摄像机（132d、132e、132f）接收的一个或多个拖车图像（133）内的参考点（163）包括确定与所述参考点（163）中的每一个参考点相关联的标识符。
6.根据权利要求1所述的方法，还包括：
将所述拖车摄像机（132d、132e、132f）的所述非本征参数（182）发送到一个或多个车辆系统，从而使所述车辆系统使用所述非本征参数（182）来执行行为。
7.根据权利要求1所述的方法，其中，根据从由所述牵引车（102）支撑的摄像机（132a、132b、132c）接收的一个或多个车辆图像（133）来确定三维特征地图（162）包括执行以下中的至少一个：视觉测距（VO）算法、同时定位和地图绘制（SLAM）算法、或运动结构（SfM）算法。
8.根据权利要求1所述的方法，还包括在所述数据处理硬件处检测从所述拖车摄像机（132d，132e，132f）接收的一个或多个拖车图像（133）内的所述参考点（163）之前：
向用户接口发送指令，所述指令使用户显示器向所述车辆（102）的驾驶员提示在向前方向上驾驶所述车辆（102）；
在所述车辆（102）行驶了预定的距离之后，从所述拖车摄像机（132d、132e、132f）接收图像（133）。
9.一种用于校准拖车摄像机（132d，132e，132f）的非本征参数（182）的方法，所述拖车摄像机（132d，132e，132f）由附接到牵引车（102）的拖车（106）来支撑，所述方法包括：
在数据处理硬件（150）处根据从由所述牵引车（102）支撑的摄像机（132a、132b、132c）接收的一个或多个车辆图像（133）来确定三维特征地图（162）；
在所述数据处理硬件处识别所述三维特征地图（162）内的参考点（163）；
在所述数据处理硬件处确定相对于所述三维特征地图（162）内的第一原点的车辆姿势（164）；
在所述数据处理硬件处检测从所述拖车摄像机（132d，132e，132f）接收的一个或多个拖车图像（133）内的所述参考点（163）；
在所述数据处理硬件处确定所述拖车摄像机（132d、132e、132f）相对于所述三维特征地图（162）的拖车摄像机位置（172）；
在所述数据处理硬件处确定所述拖车摄像机（132d、132e、132f）相对于所述三维特征地图（162）内的所述车辆姿势（164）的第一拖车摄像机姿势（174）；
在所述数据处理硬件处基于所述拖车摄像机位置（172）来确定拖车参考点（184）；
在所述数据处理硬件处确定所述拖车参考点（184）相对于所述拖车摄像机位置（172）的拖车参考姿势（186）；
在所述数据处理硬件处确定所述拖车摄像机（132d、132e、132f）相对于所述拖车参考姿势（184）的第二拖车摄像机姿势（174）；以及
在所述数据处理硬件处确定所述拖车摄像机（132d、132e、132f）相对于所述拖车参考姿势（186）的非本征参数（182）。
10.根据权利要求9所述的方法，其中，所述拖车参考点（184）位于距所述拖车摄像机（132d、132e、132f）预定的距离处。
11.根据权利要求9所述的方法，其中，所述拖车参考点（184）与所述拖车摄像机位置（172）重叠。
12.根据权利要求9所述的方法，其中，所述非本征参数（182）定义所述拖车摄像机（132d、132e、132f）的中心位置和所述拖车摄像机（132d、132e、132f）的前进方向。
13.根据权利要求9所述的方法，还包括：
将标识符与在所述一个或多个车辆图像（133）中识别的所述参考点（163）中的每一个相关联；
其中，检测从所述拖车摄像机（132d、132e、132f）接收的一个或多个拖车图像（133）内的所述参考点（163）包括确定与所述参考点（163）中的每一个参考点相关联的标识符。
14.根据权利要求9所述的方法，还包括：
将所述拖车摄像机（132d、132e、132f）的所述非本征参数（182）发送到一个或多个车辆系统，从而使所述车辆系统使用所述非本征参数（182）来执行行为。
15.根据权利要求9所述的方法，其中，根据从由所述牵引车（102）支撑的摄像机（132a、132b、132c）接收的一个或多个车辆图像（133）来确定三维特征地图（162）包括执行以下中的至少一个：视觉测距（VO）算法、同时定位和地图绘制（SLAM）算法、或运动结构（SfM）算法。
16.根据权利要求9所述的方法，还包括在所述数据处理硬件处检测从所述拖车摄像机（132d，132e，132f）接收的一个或多个拖车图像（133）内的所述参考点（163）之前：
向用户接口发送指令，所述指令使用户显示器向所述车辆（102）的驾驶员提示在向前方向上驾驶所述车辆（102）；
在所述车辆（102）行驶了预定的距离之后，从所述拖车摄像机（132d、132e、132f）接收图像（133）。
CN202080080148.4A 2019-09-19 2020-09-21 自动拖车摄像机校准 Pending CN115210764A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962902822P 2019-09-19 2019-09-19
US62/902822 2019-09-19
PCT/US2020/051848 WO2021055969A1 (en) 2019-09-19 2020-09-21 Automatic trailer camera calibration

Publications (1)

Publication Number Publication Date
CN115210764A true CN115210764A (zh) 2022-10-18

Family

ID=72744922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080080148.4A Pending CN115210764A (zh) 2019-09-19 2020-09-21 自动拖车摄像机校准

Country Status (4)

Country Link
US (1) US20220358677A1 (zh)
EP (1) EP4032066A1 (zh)
CN (1) CN115210764A (zh)
WO (1) WO2021055969A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11731471B2 (en) 2018-04-27 2023-08-22 Fontaine Fifth Wheel Company Methods and systems for monitoring coupling of fifth wheels to kingpins
US11524536B2 (en) 2019-02-14 2022-12-13 Fontaine Fifth Wheel Company Apparatuses, systems, and methods for determining and verifying operational states of fifth wheels
US20220343535A1 (en) * 2021-04-27 2022-10-27 Continental Automotive Systems, Inc. System and method for estimating relative trailer angle

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2981185B1 (fr) * 2011-10-10 2014-02-14 Univ Blaise Pascal Clermont Ii Procede d'etalonnage d'un systeme de vision par ordinateur embarque sur un mobile
US10086870B2 (en) * 2015-08-18 2018-10-02 Magna Electronics Inc. Trailer parking assist system for vehicle
US10259390B2 (en) * 2016-05-27 2019-04-16 GM Global Technology Operations LLC Systems and methods for towing vehicle and trailer with surround view imaging devices
DE102017109445A1 (de) * 2017-05-03 2018-11-08 Connaught Electronics Ltd. Kalibration einer Fahrzeug-Kameraeinrichtung in Fahrzeuglängsrichtung oder Fahrzeugquerrichtung
US11067993B2 (en) * 2017-08-25 2021-07-20 Magna Electronics Inc. Vehicle and trailer maneuver assist system

Also Published As

Publication number Publication date
US20220358677A1 (en) 2022-11-10
EP4032066A1 (en) 2022-07-27
WO2021055969A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
JP7124117B2 (ja) トレーラの検出および自律的なヒッチング
US11198340B2 (en) Coupler and tow-bar detection for automated trailer hitching via cloud points
JP7136997B2 (ja) ターゲット位置の選択による自動後退
US11633994B2 (en) Vehicle-trailer distance detection device and method
JP7167185B2 (ja) 視覚物体追跡装置
CN112512843A (zh) 实时拖车联接器定位和跟踪
JP7326334B2 (ja) 牽引車両とトレーラとを位置合わせする方法およびシステム
CN115210764A (zh) 自动拖车摄像机校准
WO2021007427A1 (en) Trailer body length detection system
CN112638668A (zh) 用于使用车辆相机校准运动估计算法的系统和方法
CN114929520A (zh) 透明的拖车铰接视图
US20210155238A1 (en) 3d position estimation system for trailer coupler
US20220314884A1 (en) Trailer underneath and side visualization
US20220343535A1 (en) System and method for estimating relative trailer angle
JP2023536469A (ja) 射影幾何学による車両トレーラ角度推定
JP2023536468A (ja) 車両－トレーラ角度推定のための長期視覚的トレーラ追跡器
CN116420094A (zh) 结合短程雷达和后挡板相机来实现拖车角度估计

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination