CN107433905B - 用于具有环视视野成像装置的牵引车辆和拖车的系统和方法 - Google Patents

用于具有环视视野成像装置的牵引车辆和拖车的系统和方法 Download PDF

Info

Publication number
CN107433905B
CN107433905B CN201710385230.8A CN201710385230A CN107433905B CN 107433905 B CN107433905 B CN 107433905B CN 201710385230 A CN201710385230 A CN 201710385230A CN 107433905 B CN107433905 B CN 107433905B
Authority
CN
China
Prior art keywords
towing vehicle
trailer
images
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710385230.8A
Other languages
English (en)
Other versions
CN107433905A (zh
Inventor
W.张
J.王
E.安德森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN107433905A publication Critical patent/CN107433905A/zh
Application granted granted Critical
Publication of CN107433905B publication Critical patent/CN107433905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供用于牵引具有至少一个成像装置的拖车的牵引车辆的系统和方法。方法包括：从联接到拖车的第一成像装置接收具有多个第一图像的第一图像流；从联接到牵引车辆的第二成像装置接收具有多个第二图像的第二图像流；确定在第一图像中的第一图像和第二图像中的第二图像之间的至少一个共同特征；确定从第一成像装置到所述至少一个共同特征的第一距离和从第二成像装置到所述至少一个共同特征的第二距离；以及基于第一距离、第二距离及第二成像装置的已知位置和姿态，确定第一成像装置相对于车辆的位置。

Description

用于具有环视视野成像装置的牵引车辆和拖车的系统和方法
相关申请的交叉引用
本申请要求于2016年5月27日提交的美国临时申请第62/342,671号的权益，其内容通过引用并入本文。
技术领域
本公开大体涉及车辆，并且更具体地涉及用于具有环视视野成像装置的牵引车辆和拖车的系统和方法，该成像装置用于确定牵引车辆和拖车动态、生成具有透明拖车的牵引车辆的后方视野、以及生成牵引车辆和/或拖车的鸟瞰360度环视视野。
背景技术
大体而言，诸如机动车辆的某些车辆可以用于牵引可安装在拖车上的不同类型的物体。例如，机动车辆可以牵引船、休闲车、装填有一个或多个物体的拖车等等。在具有拖车的牵引车辆的操作期间，可能难以观察车辆和/或拖车周围环境。而且，在操作牵引车辆时，可能难以确定拖车动态，例如，诸如拖车是否正相对于车辆枢转或者侧倾。
因此,希望提供用于具有环视视野成像装置的牵引车辆和拖车的系统和方法，该成像装置确定牵引车辆和拖车动态、生成具有透明拖车的牵引车辆的后方全视野、以及生成牵引车辆和拖车的鸟瞰360度环视视野。此外，结合附图以及前述技术领域和背景技术，从后续具体实施方式和所附权利要求中将显而易见到本公开的其他所需特征和特点。
发明内容
提供牵引具有至少一个成像装置的拖车的牵引车辆的系统和方法。在一种实施例中，方法包括：从联接到所述拖车的第一成像装置接收具有多个第一图像的第一图像流；从联接到所述牵引车辆的第二成像装置接收具有多个第二图像的第二图像流；由车载在所述牵引车辆上的处理器，确定在所述多个第一图像中的第一图像和所述多个第二图像中的第二图像之间的至少一个共同特征；由车载在所述牵引车辆上的所述处理器，确定第一距离和第二距离，所述第一距离为从联接到所述拖车的所述第一成像装置到所述至少一个共同特征的距离，所述第二距离为从联接到所述牵引车辆的所述第二成像装置到所述至少一个共同特征的距离；以及由车载在所述牵引车辆上的所述处理器，基于所述第一距离、所述第二距离以及所述牵引车辆上的所述第二成像装置的已知位置和姿态，确定所述第一成像装置相对于所述牵引车辆的位置。
此外，本公开包括以下技术方案：
技术方案1：一种用于牵引具有至少一个成像装置的拖车的牵引车辆的方法，包括：
从联接到所述拖车的第一成像装置接收具有多个第一图像的第一图像流；
从联接到所述牵引车辆的第二成像装置接收具有多个第二图像的第二图像流；
由车载在所述牵引车辆上的处理器，确定在所述多个第一图像中的第一图像和所述多个第二图像中的第二图像之间的至少一个共同特征；
由车载在所述牵引车辆上的所述处理器，确定第一距离和第二距离，所述第一距离为从联接到所述拖车的所述第一成像装置到所述至少一个共同特征的距离，所述第二距离为从联接到所述牵引车辆的所述第二成像装置到所述至少一个共同特征的距离；以及
由车载在所述牵引车辆上的所述处理器，基于所述第一距离、所述第二距离以及所述牵引车辆上的所述第二成像装置的已知位置和姿态，确定所述第一成像装置相对于所述牵引车辆的位置。
技术方案2：根据技术方案1所述的方法，还包括：
在确定所述至少一个共同特征之前，由车载在所述牵引车辆上的所述处理器，确定所述牵引车辆是否处于前进挡位，并且由车载在所述牵引车辆上的所述处理器，确定所述牵引车辆是否正沿基本笔直路径行进。
技术方案3：根据技术方案1所述的方法，还包括：
由车载在所述牵引车辆上的所述处理器，确定所述拖车是否联接到所述牵引车辆；以及
基于所述确定，由车载在所述牵引车辆上的所述处理器，将来自所述第二图像流的校准图像存储在数据存储部中。
技术方案4：根据技术方案3所述的方法，还包括：
由车载在所述牵引车辆上的所述处理器，确定所述拖车是否再次联接到所述牵引车辆；
基于所述拖车再次联接到所述牵引车辆这一确定：
从所述数据存储部检索所述校准图像；
从所述第二图像流中的所述多个第二图像获取第三图像；
由车载在所述牵引车辆上的所述处理器，对所述校准图像与所述第三图像进行比较，以确定在所述校准图像和所述第三图像中的一个或多个像素之间的水平位置变化；
由车载在所述牵引车辆上的所述处理器，从表格数据存储部检索与所述水平位置变化相关联的纵倾角；
由车载在所述牵引车辆上的所述处理器，确定所述纵倾角小于纵倾角阈值；以及
基于所述纵倾角，更新所述第二成像装置的所述已知位置。
技术方案5：根据技术方案1所述的方法，其中所述第二成像装置包括联接到所述牵引车辆的多个第二摄像机，每个所述第二摄像机均具有相应的第二图像流，所述方法还包括：
由车载在所述牵引车辆上的所述处理器，处理来自所述多个第二图像流的所述多个第二图像，以确定所述拖车在所述多个第二图像中的一个或多个内的方位；
由车载在所述牵引车辆上的所述处理器，确定在所述多个第二图像中的所述一个或多个内的所述拖车的拉杆或面板上的一个或多个特征点或图案；
由车载在所述牵引车辆上的所述处理器，确定第三距离和第四距离，所述第三距离为从所述第二摄像机中的一个到所述一个或多个特征点或图案的距离，所述第四距离为从所述第二摄像机中的另一个到所述一个或多个特征点或图案的距离；以及
由车载在所述牵引车辆上的所述处理器，基于所述第三距离、所述第四距离和所述牵引车辆上的所述多个第二摄像机的已知位置，确定所述拖车相对于所述牵引车辆的枢转角。
技术方案6：根据技术方案5所述的方法，还包括：
生成用于在与所述牵引车辆相关联的显示器上呈现的枢转角用户界面，该枢转角用户界面图形地表示所述拖车相对于所述牵引车辆的所述枢转角。
技术方案7：根据技术方案6所述的方法，还包括：
由车载在所述牵引车辆上的所述处理器，确定所述枢转角大于枢转角阈值；以及
基于所述枢转角大于所述枢转角阈值，生成用于在与所述牵引车辆相关联的所述显示器上呈现的警报用户界面。
技术方案8：根据技术方案7所述的方法，还包括：
由车载在所述牵引车辆上的所述处理器，基于所述枢转角，生成到与所述牵引车辆相关联的致动器系统的一个或多个控制信号，以控制所述牵引车辆的部件的一个或多个致动器。
技术方案9：根据技术方案1所述的方法，其中所述第二成像装置包括联接到所述牵引车辆的多个第二摄像机，每个所述第二摄像机均具有相应的第二图像流，所述方法还包括：
由车载在所述牵引车辆上的所述处理器，处理来自所述多个第二图像流的所述多个第二图像，以确定所述拖车在所述多个第二图像中的一个或多个内的方位；
由车载在所述牵引车辆上的所述处理器，确定在所述多个第二图像中的所述一个或多个内的所述拖车的拉杆或面板上的特征点或图案；
由车载在所述牵引车辆上的所述处理器，确定第五距离和第六距离，所述第五距离为从所述第二摄像机中的一个到所述特征点或图案的距离，所述第六距离为从所述第二摄像机中的另一个到所述特征点或图案的距离；以及
由车载在所述牵引车辆上的所述处理器，基于所述第五距离、所述第六距离和所述牵引车辆上的所述多个第二摄像机的已知位置，确定所述拖车相对于所述牵引车辆的侧倾角。
技术方案10：根据技术方案9所述的方法，还包括：
由车载在所述牵引车辆上的所述处理器，确定所述侧倾角大于侧倾角阈值；
基于所述侧倾角大于所述侧倾角阈值，生成用于在与所述牵引车辆相关联的显示器上呈现的警报用户界面；以及
由车载在所述牵引车辆上的所述处理器，基于所述侧倾角，生成到与所述牵引车辆相关联的致动器系统的一个或多个控制信号，以控制所述牵引车辆的部件的一个或多个致动器。
技术方案11：根据技术方案1所述的方法，还包括：
基于所述第一成像装置相对于所述牵引车辆的位置以及所述牵引车辆上的所述第二成像装置的所述已知位置和姿态，确定所述多个第一图像中的至少一个与所述多个第二图像中的至少一个的重合区域；
基于所述重合区域限定一个或多个边界线；
基于所述牵引车辆的速度，确定混合系数，所述混合系数限定所述一个或多个边界线周围的混合区；
由车载在所述牵引车辆上的所述处理器，沿所述一个或多个边界线拼接所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，并且在所述混合区中混合所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，以生成没有所述拖车的所述牵引车辆的后部的全视野的无缝图像；以及
由车载在所述牵引车辆上的所述处理器，生成用户界面，所述用户界面包括用于在与所述牵引车辆相关联的显示器上呈现的所述全视野。
技术方案12：根据技术方案1所述的方法，还包括：
基于所述第一成像装置相对于所述牵引车辆的位置以及所述牵引车辆上的所述第二成像装置的所述已知位置和姿态，确定所述多个第一图像中的至少一个与所述多个第二图像中的至少一个的重合区域；
基于所述重合区域限定一个或多个边界线；
基于所述牵引车辆的速度，确定混合系数，所述混合系数限定所述一个或多个边界线周围的混合区；
由车载在所述牵引车辆上的所述处理器，沿所述一个或多个边界线拼接所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，并且在所述混合区中混合所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，以生成所述牵引车辆和所述拖车周围的环境的环视视野的无缝图像；以及
由车载在所述牵引车辆上的所述处理器，生成用户界面，所述用户界面包括用于在与所述牵引车辆相关联的显示器上呈现的所述环视视野。
技术方案13：一种用于牵引具有至少一个成像装置的拖车的牵引车辆的系统，包括：
第一成像装置，其联接到所述拖车，提供具有多个第一图像的第一图像流；
第二成像装置，其联接到所述牵引车辆，提供具有多个第二图像的第二图像流；
控制器，其车载在所述牵引车辆上，与所述第一成像装置和所述第二成像装置通信，所述控制器具有处理器，该处理器被构造成：
基于所述第一成像装置相对于所述牵引车辆的校准位置以及所述牵引车辆上的所述第二成像装置的已知位置和姿态，确定所述多个第一图像中的至少一个与所述多个第二图像中的至少一个的重合区域；
基于所述重合区域限定一个或多个边界线；
基于所述牵引车辆的速度，确定混合系数，所述混合系数限定所述一个或多个边界线周围的混合区；
沿所述一个或多个边界线拼接所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，并且在所述混合区中混合所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，以生成所述牵引车辆和所述拖车周围的环境的环视视野的无缝图像；以及
生成用户界面，所述用户界面包括用于在与所述牵引车辆相关联的显示器上呈现的所述环视视野。
技术方案14：根据技术方案13所述的系统，其中所述控制器被构造成，沿所述一个或多个边界线拼接所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，并且在所述混合区中混合所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，以生成没有所述拖车的所述牵引车辆的后部的全视野的无缝图像，并且生成用户界面，所述用户界面包括用于在与所述牵引车辆相关联的所述显示器上呈现的所述全视野。
技术方案15：根据技术方案13所述的系统，其中所述控制器被构造成：确定在所述多个第一图像中的第一图像和所述多个第二图像中的第二图像之间的至少一个共同特征；确定第一距离和第二距离，所述第一距离为从联接到所述拖车的所述第一成像装置到所述至少一个共同特征的距离，所述第二距离为从联接到所述牵引车辆的所述第二成像装置到所述至少一个共同特征的距离；以及基于所述第一距离、所述第二距离和所述牵引车辆上的所述第二成像装置的已知位置，确定所述第一成像装置相对于所述牵引车辆的所述校准位置。
技术方案16：根据技术方案13所述的系统，其中所述第二成像装置包括联接到所述牵引车辆的多个第二摄像机，每个所述第二摄像机均具有相应的第二图像流，所述多个第二摄像机中的每个第二摄像机均具有已知位置和姿态，并且所述控制器被构造成：
处理来自所述多个第二图像流的所述多个第二图像，以确定所述拖车在所述多个第二图像中的一个或多个内的方位；
确定在所述多个第二图像中的所述一个或多个内的所述拖车的拉杆或面板上的一个或多个特征点或图案；
确定第三距离和第四距离，所述第三距离为从所述第二摄像机中的一个到所述一个或多个特征点或图案的距离，所述第四距离为从所述第二摄像机中的另一个到所述一个或多个特征点或图案的距离；以及
基于所述第三距离、所述第四距离以及所述牵引车辆上的所述多个第二摄像机的所述已知位置和姿态，确定所述拖车相对于所述牵引车辆的枢转角。
技术方案17：根据技术方案16所述的系统，其中所述控制器被构造成：
确定所述枢转角大于枢转角阈值；
基于所述枢转角大于所述枢转角阈值，生成用于在所述显示器上呈现的警报用户界面；以及
基于所述枢转角，生成到与所述牵引车辆相关联的致动器系统的一个或多个控制信号，以控制所述牵引车辆的部件的一个或多个致动器。
技术方案18：一种具有拖车成像系统的用于联接到拖车并牵引拖车的牵引车辆，所述牵引车辆包括：
具有多个第一图像的第一图像流的源，其来自联接到所述拖车的第一摄像机；
联接到所述牵引车辆的第二摄像机，其提供具有多个第二图像的第二图像流；
与所述第一摄像机和所述第二摄像机通信的控制器，所述控制器具有处理器，该处理器被构造成：
确定在所述多个第一图像中的第一图像和所述多个第二图像中的第二图像之间的至少一个共同特征；
确定第一距离和第二距离，所述第一距离为从联接到所述拖车的所述第一摄像机到所述至少一个共同特征的距离，所述第二距离为从联接到所述牵引车辆的所述第二摄像机到所述至少一个共同特征的距离；以及
基于所述第一距离、所述第二距离以及所述牵引车辆上的所述第二摄像机的已知位置和姿态，确定所述第一摄像机相对于所述牵引车辆的位置，
其中，基于所述第一摄像机的所述位置以及所述第二摄像机的所述已知位置和姿态，所述控制器被构造成以下情况的至少一者：生成所述牵引车辆和所述拖车周围环境的环视视野的无缝图像；和生成没有所述拖车的所述牵引车辆的后部的全视野的无缝图像。
技术方案19：根据技术方案18所述的牵引拖车，其中所述控制器被构造成：
确定所述多个第一图像中的至少一个与所述多个第二图像中的至少一个的重合区域；
基于所述重合区域限定一个或多个边界线；
基于所述牵引车辆的速度，确定混合系数，所述混合系数限定所述一个或多个边界线周围的混合区；
沿所述一个或多个边界线拼接所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，并且在所述混合区中混合所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，以生成所述牵引车辆和所述拖车周围的环境的所述环视视野的所述无缝图像；以及
生成用户界面，所述用户界面包括用于在与所述牵引车辆相关联的显示器上呈现的所述环视视野。
技术方案20：根据技术方案18所述的牵引车辆，其中所述控制器被构造成，沿所述一个或多个边界线拼接所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，并且在所述混合区中混合所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，以生成没有所述拖车的所述牵引车辆的所述后部的所述全视野的所述无缝图像，并且生成用户界面，所述用户界面包括用于在所述显示器上呈现的所述全视野。
附图说明
之后将结合以下附图来描述示例性实施例，其中相同附图标记表示相同元件，并且附图中：
图1是联接到且牵引拖车的牵引车辆的示意图，并且车辆包括根据各种实施例的拖车成像系统；
图2是示出根据各种实施例的具有拖车成像系统的图1的牵引车辆的功能块图；
图3是示出根据各种实施例的图1的车辆的拖车成像系统的数据流图表；
图4示出根据各种实施例的由拖车成像系统执行的用于校准联接到图1的拖车的摄像机的方位的示例性特征点探测和匹配方法；
图5A示出根据各种实施例的联接到图1的车辆和拖车的摄像机的示意性视场，其示出在视场之间的重合区域；
图5B示出根据各种实施例的基于图5A中的重合区域而由图1的车辆的拖车成像系统生成的示例性拼接图像；
图5C示出根据各种实施例的由图1的车辆的拖车成像系统生成的示例性拼接图像的示例性边界线和混合区；
图6A示出根据各种实施例的由图1的车辆的拖车成像系统呈现在驾驶员通信系统的显示器上的示例性透明拖车视野用户界面；
图6B示出根据各种实施例的由图1的车辆的拖车成像系统呈现在驾驶员通信系统的显示器上的示例性鸟瞰视野用户界面；
图7示出根据各种实施例的由图1的车辆的拖车成像系统呈现在驾驶员通信系统的显示器上的示例性鸟瞰视野用户界面的一部分，其包括呈现在显示器上的枢转角用户界面，其叠加在鸟瞰用户界面视野的所述部分上；
图8-图13是示出根据各种实施例的由图1的车辆的拖车成像系统执行的各种方法的流程图。
具体实施方式
以下具体实施方式实质上仅是示例性的，并且不试图限制应用和用途。此外，不试图通过前述技术领域、背景技术、发明内容或以下具体实施方式中存在的任何明确或暗含的理论来界定。如本文所用的，术语模块指的是单个或以任意组合的任意硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，其包括但不限于：专用集成电路（ASIC）、电子电路、执行一个或多个软件或固件程序的处理器（共享、专用或成组）和存储器、组合逻辑电路、和/或提供上述功能的其他适当部件。
本公开的实施例在本文中可以被描述为功能和/或逻辑块部件以及各种处理步骤。应当意识到，这些块部件可以被构造成执行特定功能的任何数量的硬件、软件和/或固件部件实现。例如，本公开的实施例可以使用各种集成电路部件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其他控制装置的控制下执行各种功能。此外，本领域的技术人员将意识到，本公开的实施例可以结合任何数量的系统来实践，并且本文描述的车辆系统仅是本公开的一个示例性实施例。
为了简明，本文不详细描述与系统（和系统的各操作部件）的信号处理、数据传输、发信号、控制和其他功能方面有关的常规技术。此外，本文包含的各图中所示的连接线试图表示各元件之间的示例性功能关系和/或物理联接。应该注意，在本公开的实施例中可以存在许多替代性或者附加的功能关系或物理连接。
参考图1，以100大体示出的拖车成像系统根据各种实施例关联于牵引车辆10和拖车8。大体而言，拖车成像系统100在拖车附接到牵引车辆时生成牵引车辆后方的环境的全视野；生成牵引车辆和/或拖车的周围环境的鸟瞰或360度视野；确定与拖车相关联的一个或多个动态，诸如拖车的纵倾、枢转和/或侧倾；以及基于这种确定输出一个或多个警报。拖车成像系统100还可以确定在牵引车辆和/或拖车的周围环境内的一个或多个障碍物，并且可以基于该确定生成一个或多个警报。拖车成像系统100还可以基于拖车的确定的动态中的一个或多个而将一个或多个控制信号输出到与牵引车辆相关联的一个或多个致动器。通过生成环境的全视野以及围绕牵引车辆和/或拖车的鸟瞰或360度视野，操作者能够看到拖车的一个或多个操作状态。例如，操作者能够观察拖车正在行进的车道、拖车是否将曲线行进、是否一个或多个障碍物在拖车附近和/或在拖车后方，并且当使附接有拖车的牵引车辆倒退时，提供清晰视场。而且，通过确定拖车的动态，诸如枢转、纵倾和侧倾，可以通知操作者拖车的不希望的特征，诸如过载、摇摆等。
如图1所描绘的，牵引车辆10联接到拖车8。牵引车辆10大体包括底盘12、主体14、前轮16和后轮18。主体14设置在底盘12上并且基本装入车辆10的部件。主体14和底盘12可以共同地形成车架。车轮16-18均在主体14的相应拐角附近旋转地联接到底盘12。
在各种实施例中，拖车成像系统100被结合到车辆10（以下被称为车辆10）中。在某些实施例中，车辆10可以是能够感测其环境并且在少有或没有用户输入的情况下导航的自主车辆。车辆10在所示实施例中被描绘为卡车，但应该意识到也能够使用任何其他的车辆，包括摩托车、客车、多功能越野车（SUV）、休闲车（RV）、海洋船舶、飞机等等。此外，本文的教导不限于仅用于汽车，而是也可以用于其他类型的交通工具。例如，本文的教导可以与以下交通工具兼容：其包括但不限于飞机、铁路客车、包括拖拉机的商用车辆、飞机拖车、飞机倒推拖车、叉车等。
如图所示，参考图1和图2，车辆10大体包括钩挂接收器20、钩挂球22、驾驶员通信系统24、推进系统26、传动系统28、转向系统30、制动系统32、传感器系统34、致动器系统36、至少一个控制器40、和通信系统42。如将要讨论的，牵引车辆10和拖车8还包括一个或多个摄像机44。参考图1，钩挂接收器20联接到车辆10的后部46，并且通常联接到车辆10的车架。钩挂接收器20限定空腔或槽，其接收钩挂球22。钩挂球22通常被锁定到钩挂接收器20中，使得钩挂球22被固定在槽内。钩挂球22接收拖车8的牵引杆48。应该注意，钩挂球22不需要包括球，而是可以包括扣钩、鹅颈钩挂、第五轮钩挂等等。牵引杆48通常限定适配在钩挂球22之上的凹座。在某些情形下，拖车8的牵引杆48经由一个或多个拉杆52而联接到拖车8的主体50。在该示例中，车辆10的重心是沿着轴X1、Y1、Z1限定的点，并且纵轴线从车辆10的重心延伸到将拖车8联接到车辆10的钩挂点（即钩挂球22和牵引杆48）。拖车8的重心是沿着轴X2、Y2、Z2限定的点，其中第二纵轴线延伸到钩挂点。轴X1、Y1、Z1在本文中被称为车辆坐标系。
推进系统26在各种实施例中可以包括内燃发动机、诸如牵引马达的电动机器和/或燃料电池推进系统。传动系统28被构造成根据可选速度比将动力从推进系统26传输到车轮16-18。根据各种实施例，传动系统28可以包括级比自动传动、无极传动或者其他适当的传动。制动系统32被构造成提供制动转矩至车轮16-18。制动系统32在各种实施例中可以包括摩擦制动器、线控制动器、诸如电动机器的再生制动系统和/或其他适当的制动系统。转向系统30影响车轮16-18的位置。虽然为了示意性目的被描绘为包括方向盘，但在本公开范围内想到的一些实施例中，转向系统30可以不包括方向盘。
驾驶员通信系统24为车辆10的驾驶员和乘客显示数据，并且还从车辆10的驾驶员和乘客接收输入。在一个示例中，驾驶员通信系统24包括娱乐资讯系统，并且包括显示器54和输入装置56。显示器54被实施为在车辆10的仪表板或者控制台中的平板显示器。在该示例中，显示器54是电子显示器，其能够在控制器40的控制下图形地显示一个或多个用户界面。本领域的技术人员将意识到实现车辆10中的显示器54的其他技术。显示器54包括用于显示信息的任何适当的技术，包括但不限于液晶显示器（LCD）、有机发光二极管（OLED）、等离子体、或者阴极射线管（CRT）。
输入装置56从车辆10的驾驶员和/或乘客接收输入。输入装置56可以被实施为键盘（没有被单独示出）、与语音识别系统相关联的麦克风（没有被单独示出）、与显示器54相关联的触摸屏层、开关或杆、一个或多个按钮、驾驶员监测系统（DMS）、或者从用户接收数据和/或命令的其他适当的装置。当然，也能够利用多个输入装置。例如，至少一个输入装置可以联接到手轮。显示器54和输入装置56通过有助于传输数据、命令、动力等的适当的通信架构或装置而与控制器40通信。
传感器系统34包括一个或多个感测装置58a-58n，其均感测车辆10的外部环境和/或内部环境的可观察状态。感测装置58a-58n包括但不限于雷达、激光雷达、光学摄像机、热成像摄像机、超声波传感器和/或其他传感器。此外，感测装置58a-58n中的一个或多个可以至少包括车辆速度传感器。所述一个或多个感测装置58a-58n通过有助于传输数据、命令、动力等的适当的通信架构或装置而与控制器40通信。车辆速度传感器测量并观察牵引车辆10的速度，并且在一个示例中，车辆速度传感器测量和观察牵引车辆10的轮轴的速度，并且基于此生成传感器信号。应该注意，虽然车辆速度传感器在本文中被描述为关联于测量和观察轮轴的速度，但是替代性地，牵引车辆10的速度能够从发动机的速度推出或者通过建模、诸如视觉里程计的计算机视觉方法等而确定。所述一个或多个感测装置58a-58n还包括一个或多个转向角传感器，其观察转向系统部件的角度，诸如转向节的角度、手轮角度等等，其表示车辆10是否在转弯。大体而言，所述一个或多个转向角传感器观察转向系统30的运动，其被控制器40处理以确定车辆10的转弯角度。感测装置58a-58n还可以包括挡位传感器，其观察传动系统28的当前挡位并且基于此生成传感器信号，该信号被传达给控制器40。
致动器系统36包括一个或多个致动器装置60a-60n，其控制一个或多个车辆特征，诸如但不限于推进系统26、传动系统28、转向系统30和制动系统32。在各种实施例中，车辆特征可以还包括内部和/或外部车辆特征，诸如但不限于车门、后备箱和诸如空气、音乐、照明等等的车舱特征（未标号）。
通信系统42被构造成无线传达信息至其他实体62和从其他实体62无线接收信息，其他实体62诸如但不限于其他车辆（“V2V”通信）、基础设施（“V2I”通信）、远程系统、联接到拖车8的一个或多个摄像机44、和/或个人装置（诸如一个或多个智能手机、平板电脑等等）。在示例性实施例中，通信系统42是无线通信系统，其被构造成经由无线局域网（WLAN）使用IEEE 802.11标准或者通过使用蜂窝数据通信来通信。然而，附加的或者替代性的通信方法，诸如专用短程通信（DSRC）信道，也被认为在本公开范围内。DSRC信道指的是专门被设计成用于汽车用途的单向或双向短程至中程无线通信信道以及对应的一组协议和标准。
控制器40包括至少一个处理器64和计算机可读存储装置或介质66。处理器64能够是任何定制或商业可获得的处理器、中央处理单元（CPU）、图形处理单元（GPU）、与控制器40相关联的多个处理器之间的辅助处理器、基于半导体的微处理器（微芯片或芯片组的形式）、宏处理器、其任何组合、或者通常用于执行指令的任何装置。计算机可读存储装置或介质66可以包括例如只读存储器（ROM）、随机存取存储器（RAM）和保活存储器（KAM）中的易失性和非易失性存储。KAM是可以用于在处理器64断电时存储各种操作变量的持久性或非易失性存储器。计算机可读存储装置或介质66可以通过使用一些公知存储器装置中的任何装置来实现，所述存储器装置诸如PROM（可编程只读存储器）、EPROM（电可编程只读存储器）、EEPROM（电可擦除可编程只读存储器）、闪存、或者任何其他能够存储数据的电、磁、光或组合存储器装置，所述数据中的一些表示可执行指令，其被控制器40用来控制车辆10。
指令可以包括一个或多个单独的程序，其中每个均包括可执行指令的有序列表以用于实现逻辑功能。当被处理器64执行时，指令接收并处理来自传感器系统34的信号、执行用于自动控制车辆10的部件的逻辑、计算、方法和/或算法，并且基于逻辑、计算、方法和/或算法生成至致动器系统36的控制信号来自动控制车辆10的部件。虽然仅一个控制器40被示于图1，但车辆10的实施例能够包括任何数量的控制器40，其通过任何适当的通信介质或者通信介质的组合而通信，并且配合地处理传感器信号、执行逻辑、计算、方法和/或算法，并且生成控制信号来自动控制车辆10的特征。
在各种实施例中，控制器40的一个或多个指令体现在拖车成像系统100中，并且当被处理器64执行时，导致处理器64接收并处理来自所述一个或多个摄像机44的信号，并且当拖车附接到牵引车辆时生成透明拖车或者牵引车辆后方环境的全视野以用于在显示器54上呈现。在各种实施例中，控制器40的所述一个或多个指令在被处理器64执行时，导致处理器64接收并处理来自所述一个或多个摄像机44的信号，并且生成用于在显示器54上呈现的牵引车辆和/或拖车周围环境的鸟瞰或360度视野。在各种实施例中，控制器40的所述一个或多个指令在被处理器64执行时，导致处理器64接收并处理来自所述一个或多个摄像机44的信号，并且确定与拖车相关联的一个或多个动态，诸如拖车8的枢转角和/或侧倾角，并且基于该确定而输出一个或多个警报。所述一个或多个指令在被处理器64执行时，还导致处理器64接收并处理来自所述一个或多个摄像机44的信号，并且确定纵倾角。控制器40的所述一个或多个指令在被处理器64执行时，导致处理器64接收并处理来自所述一个或多个摄像机44的信号，并且基于该确定而生成用于在显示器54上呈现的一个或多个警报。控制器40的所述一个或多个指令在被处理器64执行时，还导致处理器64接收并处理来自所述一个或多个摄像机44的信号，并且可选地将一个或多个控制信号输出到致动器系统36的所述一个或多个致动器装置60a-60n。
根据各种实施例，牵引车辆10和拖车8中的每个均包括一个或多个摄像机44。摄像机44配合地限定车辆10和拖车8的环视视野摄像机系统。在一个示例中，牵引车辆10包括大约四至大约六个摄像机44，并且拖车8包括至少一个成像装置或者摄像机44。在该示例中，车辆10包括联接到车辆10的前饰板的其中一个摄像机44、联接到与车辆10相关联的每个侧视镜的其中两个摄像机44、和联接到车辆10的后部46的其中一个摄像机44。在该示例中，其中一个摄像机44联接到车辆10的尾板；然而，摄像机44可以联接到沿着后部46的任何希望方位，以便面向拖车8的方向。可选地，其中一个摄像机44在车辆10的前部45联接到车辆10的挡风玻璃，以便面向向前方向，或者面向与车辆10的后部46相反的方向。其中一个摄像机44也可以在车辆10的前部45联接到前格栅，以便面向向前方向，或者面向与车辆10的后部46相反的方向。车辆10上的每个摄像机44均无线地、经由通信系统42或者通过至通信架构的有线连接而与控制器40通信，所述通信架构有助于数据、动力、命令等的传输。
在一个示例中，联接到车辆10的每个摄像机44在与车辆10相关联的车辆坐标系中已知的方位处被固定联接到车辆10。换言之，摄像机44的方位被固定到车辆10，使得它们的方位（位置和姿态）是已知的或被预校准的，并且因此控制器40已知摄像机的视场取向。换言之，摄像机44在车辆10上的方位（位置和姿态）和取向对于控制器40来说是已知的、或者在工厂中被预校准。大体而言，车辆10上的每个摄像机44具有一视场，并且车辆10上的摄像机44的坐标方位（X1、Y1、Z1）和相应摄像机44在车辆坐标系中的视场对于控制器40来说是已知的。
关于拖车8，在较小拖车8（诸如4-5英尺（ft.）的拖车）的示例中，拖车8通常包括单个摄像机44。在较大或较长拖车8（即大于5英尺（ft.））的示例中，拖车8通常包括在拖车8的前部68附近联接到拖车8的每一侧的其中一个摄像机44。拖车8还可以包括联接到拖车8的后部70的其中一个摄像机44，且拖车8的后部70基本上相反于拖车8的前部68。可选地，在封闭拖车8的示例中，拖车8包括安装在拖车8内的其中一个摄像机44。与拖车8相关联的每个摄像机44通过使用任何适当的技术而联接到拖车8。在一个示例中，摄像机44经由一个或多个机械紧固件、磁体、可移除粘结剂、钩和环闭合件、棘轮带等而联接到拖车8。与拖车8相关联的摄像机44通常是可移除的，使得摄像机44可以用于多个拖车。但是，应该注意到，如果需要，摄像机44可以被固定地联接到拖车8。拖车8上的每个摄像机44均无线地、或通过至通信架构的有线连接（诸如NTSC、LVDS或以太网线缆）而与控制器40通信，所述通信架构有助于数据、动力、命令等的传输。
摄像机44均包括能够采集图像数据或图像数据流的任何摄像机，如本领域技术人员公知的。在某些实施例中，摄像机44中的一个或多个可以包括能够采集彩色图像的彩色摄像机。在另一些实施例中，摄像机44中的一个或多个可以包括红外线摄像机以采集红外线图像。在某些实施例中，摄像机44中的一个或多个可以包括灰度摄像机以采集灰度图像。在某些实施例中，摄像机44中的一个或多个可以包括能够采集具有深度信息的立体图像的立体摄像机组件。例如，摄像机44中的一个或多个可以包括立体摄像机，其具有被设置成采集车辆10和/或拖车8周围的具有深度信息的立体图像的两个或多个透镜和图像传感器。摄像机44中的一个或多个可以是用于采集较长距离上的图像的长程摄像机，并且可以联接到车辆10的前部45和/或后部46和/或拖车8。图像可以根据各种定时或其他考虑被摄像机44采集。在某些实施例中，例如，相应摄像机44可以随着车辆10运动（基于来自所述一个或多个感测装置58a-58n的传感器信号）或基于传动的换挡挡位而连续采集图像。在某些实施例中，控制器40可以导致相应摄像机44随着车辆10运动以规律的时间间隔分别采集在车辆10的后部46和拖车8的后部70附近的区域的图像。例如，当车辆10停止或非常慢地运动时，控制器40可以处理由摄像机44采集的图像并确定车辆10周围的环境是否没有运动的物体。如果没有探测到运动的物体，并且车辆10停止或缓慢运动，则控制器可以减少摄像机44的帧频率或采样频率。在另一些情况下，当车辆10以高速率行进或者在来自一个或多个摄像机44的图像中控制器40探测到运动物体时，控制器44可以增加帧频率或采样频率以便确定车辆10的较高速率下的变化。
如下文进一步讨论的，处理器64接收并处理来自所述一个或多个摄像机44的图像数据或图像流，并且将来自所述一个或多个摄像机44的图像数据组合以生成用于显示在与驾驶员通信系统24相关联的显示器54上的车辆10的后部46的“透明拖车”视野，其不被拖车8阻挡或者其中拖车8在该视野中是透明的。如本文所用的，短语“不被拖车阻挡”指的是在看到的牵引车辆10的后部46的视野中看不到拖车8或者视野中没有拖车8。如本文所用的，“视野”指的是图像或图像数据流，其由控制器40生成并且显示在驾驶员通信系统24的显示器54上。应该注意，虽然在本文中被描述且图示为从视野移除，但如果需要的话，拖车8也可以在视野中具有变化的透明度水平。在某些情况下，来自所述一个或多个摄像机44的图像中的一个或多个在混合区中混合以过渡到边界，该边界是两个图像之间的边界，并且混合区可以由车辆10的速度（如所述一个或多个感测装置58a-58n观察的）限定。
此外，控制器40接收并处理图像数据以生成车辆10的“鸟瞰”视野（其包括车辆10和/或拖车8的环视视野）以用于显示在与驾驶员通信系统24相关联的显示器54上。控制器40还接收并处理图像流的图像数据以探测在图像数据中的一个或多个物体，并且生成用于在与驾驶员通信系统24相关联的显示器54上呈现的一个或多个警告或警报。控制器40还接收并处理图像数据以生成用于在显示器54上呈现的视野，其辅助将拖车8联接到车辆10。
如将要讨论的，处理器64还接收并处理图像数据以确定拖车8的一个或多个状态。例如，在各种实施例中，控制器40接收并处理图像流的图像数据以确定与拖车8相关联的下述状态：拖车8是否处于车道内（拖车8的车道保持）；拖车8是否需要辅助转过弯角；拖车8是否摇摆；拖车8是否侧倾；拖车8是否平衡；拖车是否超过车辆10的牵引能力；以及/或者拖车8相对于车辆10的连接或枢转角是否高于预定阈值。在一个示例中，乘客也可以基于由控制器40生成的一个或用户界面观察拖车8是否处于车道内。因此，控制器40确定拖车8的行进车道；拖车8相对于曲线的转弯半径；拖车8相对于车辆10在左右方向（横向）的运动；拖车8相对于竖直轴线的运动；拖车8的纵倾角；和/或拖车8的枢转角。在一个示例中，控制器40通过使用车辆模型（诸如自行车模型）基于（从转向系统30接收的）转向角和车辆与拖车动力传动系类型（前轮驱动（FWD）、全轮驱动（AWD）、四轮驱动（4WD）、轴距、至钩挂枢转点的拖车驱动轴距离等等）而确定转弯半径。在一个示例中，控制器40通过使用车辆模型并且基于车辆10的转弯半径、车辆10的速度和车辆10的加速度来确定行进线路。由控制器40做出的这些确定中的每个均被输出以用于在与驾驶员通信系统24相关联的显示器54上呈现，以便通知车辆10的驾驶员拖车8的状态。在一个示例中，确定的状态中的一个或多个被图形地示出并叠加在由控制器40生成的视野（诸如“鸟瞰”视野和/或“透明拖车”视野）上。
例如，如关于图3更详细示出的，且继续参考图1-图2，数据流图表示出了拖车成像系统100的各种实施例，其可以被嵌入到控制器40内。根据本公开的拖车成像系统100的各种实施例能够包括被嵌入在控制器40内的任意数量的子模块。如能够意识到的，图3中示出的子模块能够被组合和/或进一步划分以类似地生成“鸟瞰”视野、“透明拖车”视野并确定与拖车8相关联的所述一个或多个状态。至拖车成像系统100的输入可以接收自传感器34系统（图1）、接收自驾驶员通信系统24、接收自与车辆10相关联的其他控制模块（未示出）、接收自所述一个或多个摄像机44（图1和图2）、并且/或者由控制器40内的其他子模块（未示出）确定/建模。在各种实施例中，拖车成像系统100包括校准数据存储部300、表格数据存储部302、校准管理器模块304、阈值数据存储部306、状态确定模块308、系数数据存储部310、视野呈现模块312和用户界面（UI）控制模块314。
校准数据存储部300存储车辆摄像机方位316，其具有联接到车辆10的每个摄像机44在车辆坐标系中的已知位置和姿态，包括联接到车辆10的摄像机44的已知视场。因此，车辆摄像机方位316包括联接到车辆10的摄像机44在车辆坐标系中的已知坐标方位信息，诸如联接到车辆10的前部45的（多个）摄像机44的坐标方位、联接到车辆10的后部46的摄像机44的坐标方位、联接到侧视镜的每个摄像机44的坐标方位等等。在一个示例中，坐标方位可以被定义为在X1、Y1、Z1车辆坐标系中的（X1，Y1，Z1）值。大体而言，每个摄像机44的车辆坐标方位例如被工厂预定义或预校准。
校准数据存储部300还存储校准图像数据318和校准数据320，其均由校准管理器模块304填充。校准图像数据318包括基于还未联接到车辆10的拖车8、由所述一个或多个摄像机44采集的初始图像。因此，校准图像数据318是参考图像，其在拖车8被联接到车辆10之前被采集。校准数据320包括联接到拖车8的每个摄像机44在车辆坐标系中的位置或坐标方位、以及与每个摄像机44相关联的视场在车辆坐标系中的位置或坐标方位，如由校准管理器模块304所确定的。
表格数据存储部302存储相关性表格，其将图像中的一个或多个像素的水平位置变化与车辆10的纵倾角相关联。因此，表格数据存储部302存储一个或多个查找表，其提供对应于图像内的所述一个或多个像素的水平位置变化的纵倾角322，如由校准管理器模块304所确定的。纵倾角322是例如由于在钩挂球22上的拖车8的重量而导致的车辆10绕Y1轴线旋转的量的角度值。存储在表格数据存储部302中的纵倾角322均被预先定义并且工厂设定。
校准管理器模块304将拖车8上的摄像机44校准至车辆10。在此方面，与车辆10相关联的摄像机44相对于车辆10的车辆坐标系被预校准，使得相应摄像机44的位置和姿态以及该摄像机44的视场对于校准管理器模块304来说是已知的。但是大体而言，与拖车8相关联的摄像机44的位置和视场对于校准管理器模块304来说不是已知的。在各种实施例中，校准管理器模块304接收联接数据324作为输入。联接数据324可以接收自与车辆10相关联的其他模块。大体而言，联接数据324表示拖车8是否被联接到车辆10。在各种实施例中，联接数据324是由拖车8的线束至车辆10的线束的联接或连接生成的信号。
基于联接数据324表示拖车8被联接到车辆10，校准管理器模块304确定联接到拖车8的摄像机44的数量。在一个示例中，在摄像机44被有线连接到拖车8的线束的示例中，校准管理器模块304基于通过线束接收的输入而确定联接到拖车8的摄像机44的数量。在各种实施例中，校准管理器模块304基于具有图像数据流的无线信道的数量而确定联接到拖车8的摄像机44的数量，所述图像数据流经由通信系统42被控制器40接收。
在确定联接到拖车8的摄像机44的数量的情况下，校准管理器模块304接收挡位数据326作为输入。挡位数据326表示传动系统28的当前挡位，诸如停车挡位、空挡挡位、前进挡位、低速挡位等等。挡位数据326可以接收自与车辆10相关联的其他模块，诸如与传动系统28相关联的传动控制模块。校准管理器模块304处理挡位数据326以确定车辆10是否处于前进挡位中。如果是，则校准管理器模块304接收车辆路径数据328作为输入。车辆路径数据328表示车辆10是否沿着基本笔直的路径行进。在一个示例中，车辆路径数据328是从传感器系统34接收的一个或多个传感器信号，其表示转向系统30的部件的运动量。例如，车辆路径数据328可以包括观察到的转向节的运动量、手轮角度等等。
校准管理器模块304处理车辆路径数据328并且确定车辆10是否正在基本笔直的路径上行进。在转向系统30的观察到的手轮运动作为车辆路径数据328被接收的示例中，校准管理器模块304处理手轮角度并且确定手轮是否处于基本上零度的角度，基本上零度表示车辆10正沿着基本上笔直的路径行进。
基于确定了车辆10正沿着基本上笔直的路径行进，校准管理器模块304接收拖车摄像机图像数据330和车辆摄像机图像数据332作为输入。拖车摄像机图像数据330是从联接到拖车8的每个摄像机44接收的图像流，并且车辆摄像机图像数据332是从联接到车辆10的每个摄像机44接收的图像流。校准管理器模块304对拖车摄像机图像数据330中的图像流和车辆摄像机图像数据332中的图像流进行采样，并且从每个图像流获取图像。校准管理器模块304将从车辆摄像机图像数据332获取的图像与从拖车摄像机图像数据330获取的图像进行比较，以确定在车辆摄像机图像数据332和拖车摄像机图像数据330之间的重合区域。在一个示例中，校准管理器模块304基本上同时地或并行地将针对车辆10和拖车8的两侧从车辆摄像机图像数据332获取的图像与针对车辆10和拖车8的两侧从拖车摄像机图像数据330获取的图像进行比较，以确定在车辆10和拖车8二者周围在车辆摄像机图像数据332和拖车摄像机图像数据330之间的重合区域。
校准管理器模块304基于特征点或图案探测来处理识别为重合的图像，以确定每个获取图像中的特征，诸如拐角点、物体纹理或图案、颜色等。校准管理器模块304经由匹配和追踪来确定哪些特征是拖车摄像机图像数据330和车辆摄像机图像数据332之间的共同特征。对于每个共同特征，校准管理器模块304估计在与车辆摄像机图像数据332相关联的车辆10上的相应摄像机44和与拖车摄像机图像数据330相关联的拖车8上的相应摄像机44之间的单应矩阵。
基于估计的单应矩阵，校准管理器模块304确定从车辆10上的相应摄像机44到相应共同特征的距离、和从拖车8上的相应摄像机44到相应共同特征的距离。校准管理器模块304针对拖车8上的每个摄像机44重复这个过程直到确定的距离的数量大于阈值。在一个示例中，阈值针对拖车8上的每个摄像机44是三个距离。在针对拖车8上的每个摄像机44确定三个距离的情况下，对于拖车8上的每个摄像机44，校准管理器模块304使用三角定位法来估计拖车8上的相应摄像机44在车辆坐标系中的三维坐标方位和姿态。大体而言，校准管理器模块304使用三角定位法来估计每个摄像机44的六个外部参数，诸如方位（x,y,z）和姿态（纵倾,侧倾,偏航）。来自三角定位法的至少三个匹配特征点对生成在车辆10上的已知摄像机44和拖车8上的摄像机44中的匹配特征点的图像像素（u,v）对之间的六个等式。校准管理器模块304求解这六个等式以确定拖车8上的摄像机44的方位（x,y,z）和姿态（纵倾,侧倾,偏航）的未知外部参数。在一个示例中，当存在三个以上的匹配特征点对时，校准管理器模块304可以使用统计方法（例如RANSAC）来提供更稳健的估计。校准管理器模块304存储拖车8上的每个摄像机44的确定的坐标方位，作为校准数据存储部300中的校准数据320。校准管理器模块304还设定用于视野呈现模块312的校准数据320。
例如，参考图4，示出从车辆10上的其中一个摄像机44获取的示例性图像400，并且示出从拖车8上的其中一个摄像机44获取的示例性图像402。在该示例中，车辆10上的摄像机44安装在车辆10的后部46上，并且拖车8上的摄像机44安装在拖车8的后部70上。校准管理器模块304已经确定这两个图像400、402中的区域重合，并且已经处理这些图像400、402以识别在这两个图像400、402之间的共同特征404i-404v。如讨论的，针对这些共同特征404i-404v中的每个，校准管理器模块304估计单应矩阵以确定在每个摄像机44与共同特征404i-404v之间的距离。因为车辆10上的摄像机44的坐标方位已知，所以基于来自单应矩阵的确定的距离，校准管理器模块304使用三角定位法来确定拖车8上的摄像机44在车辆坐标系中的坐标方位。
参考图3，在一个示例中，基于表示拖车8没有联接到车辆10的联接数据324，校准管理器模块304接收车辆摄像机图像数据332作为输入。在该示例中，校准管理器模块304对来自车辆10的前部45上的至少一个摄像机44的图像流进行采样以获取图像。校准管理器模块304存储该获取的图像作为校准数据存储部300中的校准图像数据318。在各种实施例中，校准管理器模块304可以基于从输入装置56接收的输入来获取用于校准图像数据318的图像。在各种实施例中，校准管理器模块304可以基于挡位数据326，对来自车辆10的前部45上的所述至少一个摄像机44的图像流进行采样，以获取校准图像数据318，该挡位数据326表示车辆10处于倒车挡位。在各种实施例中，校准管理器模块304可以对来自车辆10的后部46上的摄像机44的图像数据流进行采样，以确定车辆10是否正接近拖车8，并且然后可以基于该确定对来自车辆10的前部45上的所述至少一个摄像机44的图像流进行采样，以获取校准图像数据318。
参考图3，在校准管理器模块304已经生成校准数据320并且从联接数据324接收到表示拖车8被联接到或再次联接到车辆10的后续信号的情况下，校准管理器模块304查询校准数据存储部300并且检索校准图像数据318。校准管理器模块304还接收车辆摄像机图像数据332作为输入，并且对来自车辆摄像机图像数据332的图像流进行采样以获取图像。应该注意，校准管理器模块304也可以基于从输入装置56接收的输入，对来自车辆摄像机图像数据332的图像流进行采样以获取图像以用于校准。在各种实施例中，校准管理器模块304可以基于从车辆10的传感器系统34接收的信号，对来自车辆摄像机图像数据332的图像流进行采样以获取图像以用于校准，该传感器系统34诸如是表示乘客已经离开车辆10以便将拖车8联接到车辆10的开门传感器。
大体而言，校准管理器模块304对车辆10的前部45上的至少一个摄像机44进行采样。校准管理器模块304将来自校准图像数据318的图像数据和从车辆摄像机图像数据332获取的图像进行比较，以确定一个或多个像素是否已经相对于两个图像之间的水平线偏移。换言之，校准管理器模块304处理校准图像数据318和图像数据以便确定一个或多个像素相对于水平线的位置。应该注意，校准管理器模块304也可以处理校准图像数据318和从车辆摄像机图像数据332获取的图像数据，以便确定在图像图案之间的偏移或者在一个或多个特征点之间的偏移。
基于位置，校准管理器模块304确定所述一个或多个像素是否已经相对于在校准图像数据318和图像数据之间的水平线偏移。基于确定的水平位置变化，校准管理器模块304查询表格数据存储部302并且检索与水平位置变化相关联的纵倾角322。
校准管理器模块304将检索的纵倾角322与纵倾角阈值进行比较。纵倾角阈值是牵引拖车8的车辆10的默认或工厂设定的最大纵倾角。在一个示例中，基于在拖车8被联接到车辆10之后车辆10的前轮轮拱的最大抬升来确定纵倾角阈值，其中前轮轮拱的最大抬升是大约1.0英寸（in.）。基于比较，校准管理器模块304确定检索到的纵倾角322是否超过纵倾角阈值。如果是，则校准管理器模块304设定UI控制模块314的纵倾警报334。纵倾警报334表示车辆10的纵倾角超过最大纵倾角。大体而言，由于拖车8的过载、拖车8不平衡和/或拖车8超过车辆10的牵引能力，导致车辆10的纵倾角超过最大纵倾角。因此，基于纵倾角322与纵倾角阈值的比较，校准管理器模块304确定拖车8是否过载、不平衡或者超过牵引能力。
如果纵倾角322不超过纵倾角阈值，则校准管理器模块304基于纵倾角322更新存储在校准数据存储部300中的校准数据320。在一个示例中，校准管理器模块304基于纵倾角322更新联接到车辆10的摄像机44的已知位置。在此方面，在车辆10因拖车8的重量而纵倾时，由于每个摄像机44被固定联接到车辆10，所以每个摄像机44绕Y轴线运动枢转角338。
在各种实施例中，校准管理器模块304可以基于美国公开号2015/0332098或者美国公开号2015/0332446（美国序列号14/710,322；代理人案号P028978-RD-SDJ）的教导来确定车辆10的纵倾角，这些申请中的每个的相关内容通过引用并入本文。这些申请中的每个均提供了基于环视视野摄像机图像分析来估计车辆动态（包括侧倾和重心）的技术，其可以适于确定拖车8的纵倾、侧倾和重心。
在另一些实施例中，通过基于特征点或图案探测来处理校准图像数据318和从车辆摄像机图像数据332获取的图像以确定每个图像中的诸如拐角点、物体纹理或图案、颜色等的特征，校准管理器模块304可以确定车辆10的纵倾角322。校准管理器模块304匹配共同特征并且估计在共同特征之间的单应矩阵以确定纵倾角322。大体而言，校准管理器模块304处理从联接到车辆10的前部45的所述至少一个摄像机44获取的图像来确定纵倾角322。在各种实施例中，校准管理器模块304还可以处理从多个摄像机44（例如从在前部45和后部46处的摄像机44，或者从联接到拖车8的所有环视视野摄像机44以及联接到车辆10的观察前方和观察后方的长程摄像机44）获取的图像来确定车辆10的纵倾角322。
阈值数据存储部306存储与拖车8的一个或多个状态相关联的一个或多个阈值。因此，阈值数据存储部306存储一个或多个查找表，其为拖车8的特定状态提供阈值336。例如，阈值数据存储部306至少针对拖车8的枢转或偏航角存储阈值336且至少针对拖车8的侧倾角存储阈值336。在各种实施例中，阈值数据存储部306还可以存储纵倾角阈值，其可以由校准管理器模块304检索。存储在阈值数据存储部306中的每个阈值336（枢转角阈值、侧倾角阈值且可选地纵倾角阈值）是被预先定义且工厂设定的值。大体而言，枢转角阈值基于车辆10的特征（诸如由制动系统32施加的最大制动力）被预先定义或工厂设定，以防止拖车8的折叠；并且侧倾角阈值基于车辆10的特征（诸如重心）被预先定义或工厂设定，以防止车辆10和/或拖车8的翻车。
状态确定模块308基于来自摄像机44的图像数据确定在车辆10和拖车8之间的动态。在一个示例中，动态包括拖车8相对于车辆10的连接或枢转角以及拖车8相对于车辆10的侧倾角。确定的动态还包括在车辆10和拖车8之间的纵倾角，如由校准管理器模块304所确定的。状态确定模块308从车辆10的摄像机44接收车辆摄像机图像数据332作为输入。在各种实施例中，状态确定模块308使用前景/背景分割来确定在来自车辆10上的摄像机44的图像流中的拖车8的方位。在该示例中，拖车8在背景中，并且随着车辆10运动而在车辆10周围的情景在前景中。分割以大约15秒至大约1分钟的采样频率被执行。
一旦探测到拖车区域（因为拖车8在图像数据中保持固定），则状态确定模块308确定特征点或图案，诸如在拖车8的拉杆52或前部68上的线或拐角（例如拖车8的前面板）、颜色等等，并且匹配特征点或图案以估计单应矩阵（例如使用RANSC方法）来确定从每个摄像机44到特征点或图案的距离。基于距离和每个摄像机44的已知的车辆坐标方位，状态确定模块308计算拖车8的枢转角338。枢转角338是拖车8相对于车辆10的车辆坐标系的连接角度。应该注意，状态确定模块308还可以使用前景/背景分割来探测拖车8是否被联接到车辆10。状态确定模块308设定UI控制模块314的枢转角338。应该注意，使用前景/背景分割仅是用于确定枢转角的一个示例性方法。其他的计算机视觉技术也可以用于确定枢转角。例如，可以使用基于深度学习的合成图像生成，诸如生成式对抗网络（GAN）图像生成或者基于DLNN的图像合成/增强技术。
基于确定的枢转角338，状态确定模块308查询阈值数据存储部306并且检索枢转角的阈值336。状态确定模块308将枢转角338和枢转角338的阈值336进行比较。如果枢转角338大于阈值336，则状态确定模块308设定UI控制模块314的枢转警报340。枢转警报340是拖车8的枢转角338大于拖车8相对于车辆10的连接角度的预定阈值的通知。可选地，在各种实施例中，基于枢转角338大于阈值336，状态确定模块308生成用于致动器系统36的一个或多个控制信号342。例如，所述一个或多个控制信号342是致动制动系统32以减慢车辆10的速度的命令等等。在各种实施例中，所述一个或多个控制信号342还可以包括致动与拖车8相关联的制动系统的命令、致动车辆10的转向系统38的命令等等。在各种实施例中，所述一个或多个控制信号342是到车辆10的制动系统32的命令和到与拖车8相关联的制动系统的命令。
应该注意，状态确定模块308在各种实施例中可以不同地确定枢转角338。例如，状态确定模块308可以接收和处理来自车辆10上的所述一个或多个摄像机44的车辆摄像机图像数据332以确定在图像流中的拉杆52的位置，由此确定枢转角338。例如，状态确定模块308接收和处理来自联接到车辆10的后部46的摄像机44的图像流。基于钩挂接收器20的已知位置（因为钩挂接收器20被固定地联接到车辆10）和车辆10上的摄像机44的已知位置，状态确定模块308对来自联接到车辆10的后部46的摄像机44的图像流进行采样以获取图像。状态确定模块308处理图像数据以确定钩挂52是否相对于延伸通过钩挂接收器20的已知位置的轴线运动。在一个示例中，该轴线基本上平行于X1-轴线延伸通过钩挂接收器20。状态确定模块308将枢转角338计算为在图像数据中的拉杆52的确定位置与基本上平行于X1-轴线延伸通过钩挂接收器20的已知位置的轴线之间的角度。
在各种实施例中，如在上文关于枢转角338的确定所讨论的，状态确定模块308基于从估计的单应矩阵确定的距离和每个摄像机44的已知车辆坐标方位，来确定拖车8相对于车辆10的侧倾角。侧倾角是拖车8绕X1-轴线的旋转量。基于侧倾角的确定，状态确定模块308查询阈值数据存储部306并且检索侧倾角的阈值336。状态确定模块308将侧倾角与侧倾角的阈值336进行比较。如果侧倾角大于阈值336，则状态确定模块308设定UI控制模块314的侧倾警报344。侧倾警报344是拖车8的侧倾角大于侧倾角的预定阈值的通知。可选地，在各种实施例中，基于侧倾角大于阈值336，状态确定模块308生成用于致动器系统36的所述一个或多个控制信号342。
在各种实施例中，美国公开号2015/0332098或者美国公开号2015/0332446（美国序列号14/710,322；代理人案号P028978-RD-SDJ）的教导被用于在车辆10正运动或行驶时确定车辆和/或拖车8的纵倾或侧倾。基于探测和追踪来自从联接到车辆10的摄像机44（车辆摄像机图像数据332）或从拖车8上的摄像机44（拖车摄像机图像数据330）采集的图像的图像图案或特征点，可以通过使用计算机视觉技术（包括但不限于三角定位法、单应估计、SLAM等等）来探测在摄像机44之间的（多个）相对运动。因为摄像机44被刚性安装在车辆10或拖车8上，换言之，车辆10上的摄像机44或拖车8上的摄像机44被处理为刚性主体，所以可以从摄像机44探测到的随车运动来估计车辆10的动态或者拖车8的动态。
系数数据存储部310存储一个或多个混合系数，其与基于车辆10的速度混合用于在显示器54上呈现的视野相关联。因此，系数数据存储部310存储一个或多个查找表，其基于车辆10的速度提供混合系数346以用于在图像流中的边界线周围的混合区或区域，以实现无缝视野。例如，车辆10的高速（如由所述一个或多个感测装置58a-58n测量的）要求较小的混合区或区域来生成平滑视野，而车辆10的低速要求较大的混合区域来生成平滑视野。大体而言，当车辆10和拖车8以高速行进时（例如在高速公路上），物体不太可能接近车辆10和/或拖车8，所以（重合视场的）混合区域较小以获得锐利视野而不会使得同一物体在视野中重复。当车辆10和拖车8以低速行进时（例如停车场机动），在全重合视场内更可能存在非常接近的障碍物/物体。在车辆10和拖车8以低速行进的情况下，混合区较大以提供较平滑图像并且确保在视野中采集到物体。在各种实施例中，混合系数346被预先定义并且是工厂设定值。
视野呈现模块312生成用于在显示器54上呈现的全视野348，其不被拖车8阻挡或者没有拖车8。如将讨论的，因为每个摄像机44均限定视场，所以基于校准数据320，视野呈现模块312生成用于在显示器上显示的全视野348，其不被拖车8阻挡或没有拖车8。换言之，视野呈现模块312生成一视野，其包括在拖车8后方的图像数据，如同拖车8没有联接到车辆10，以用于在驾驶员通信系统24的显示器54上呈现。大体而言，因为车辆10上的摄像机44的位置对于视野呈现模块312而言是已知的，并且拖车8上的摄像机44的位置如本文之前所讨论的那样被确定，所以视野呈现模块312确定在由相应摄像机44获取的图像流的图像中的重合。基于确定的重合，视野呈现模块312限定边界线或混合区，并且将来自相应的重合摄像机44的图像流的图像组合在一起以生成车辆10的后部46后方的区域的基本相同的视野，其中视野不被拖车8阻挡。
在各种实施例中，视野呈现模块312接收车辆摄像机图像数据332和拖车摄像机图像数据330作为输入。视野呈现模块312还接收拖车尺寸350作为输入。拖车尺寸350被接收作为至UI控制模块314的输入，例如，经由用户操纵输入装置56。拖车尺寸350包括但不限于联接到车辆10的拖车8的长度、宽度和高度。应该注意，这些值中的一个或多个也可以基于来自车辆摄像机图像数据332和/或拖车摄像机图像数据330的图像流的图像被估计。基于拖车尺寸350，视野呈现模块312确定容纳拖车8的视野大小。大体而言，拖车尺寸在呈现的视野中确定对应于被拖车8阻挡的视野的图像区域（其需要被来自拖车8上的摄像机44的图像填充/混合）的大小和方位。
视野呈现模块312接收校准数据320作为输入。视野呈现模块312基于校准数据320和车辆10上的摄像机44的已知方位来处理车辆摄像机图像数据332和拖车摄像机图像数据330，以确定图像流的图像中的重合区域。基于重合，视野呈现模块312限定拼接边界线。在一个示例中，沿着由重合的周边产生的一个或多个线来限定拼接边界线。
例如，参考图5A，车辆10上的至少一个摄像机44具有与拖车8上的其中一个摄像机44的视场452重合的视场450。在该示例中，车辆10上的摄像机44的视场450与拖车8上的其中一个摄像机44的视场452重合，并且与拖车8上的另一个摄像机44的视场454重合。拖车8的后部70上的摄像机44具有视场456，其与视场452、454重合。视野呈现模块312确定这些图像流的图像中的重合的区域458。
参考图5B，图5B示意性示出基于图5A确定的重合的区域458由视野呈现模块312限定的拼接边界线。如图所示，沿着重合的区域458的周边限定一个或多个拼接边界线460。
返回参考图3，视野呈现模块312接收速度数据352作为输入。速度数据352是例如由所述传感器系统34的所述一个或多个感测装置58a-58n观察到的或基于建模确定的车辆10的速度。基于车辆10的速度，视野呈现模块312查询系数数据存储部310并且检索对应的的混合系数346。视野呈现模块312将图像流在边界线处拼接在一起并且基于混合系数346而沿边界线将图像流的图像混合，以生成均匀无缝的图像。应该注意，视野呈现模块312还可以基于摄像机44的视场的重合来将图像流的图像混合。无缝图像是拖车8不存在于视野中的由摄像机44观察到的车辆10的后部46的全视野348。视野呈现模块312将无缝图像设定为UI控制模块314的全视野348。
视野呈现模块312还接收枢转角338作为输入。视野呈现模块312确定枢转角338是否大于零度，枢转角338大于零度表示拖车8相对于车辆10成角度。如果是，则视野呈现模块312调整拼接图像的边界线以便补偿枢转角338。视野呈现模块312在调整过的边界线处将图像流的图像拼接在一起并且基于混合系数346而沿着调整过的边界线将图像流的图像混合，以生成补偿枢转角338的均匀无缝图像。无缝图像是拖车不存在于视野中的由摄像机44观察到的车辆10的后部46的全视野348。视野呈现模块312将无缝图像设定为UI控制模块314的全视野348。因此，视野呈现模块312调整图像流的组合图像的边界以补偿车辆10或者拖车8的转弯。这确保即使在拖车8运动或枢转期间，全视野348也包括车辆10的后部46后方的区域。大体而言，当车辆10和拖车8笔直行进（枢转角基本上是零度）时，透明拖车区域（在视野中将拖车8呈现为透明的拼接图像）在全呈现视野的中央部分。当车辆10和拖车8转弯或者沿着道路上的曲线行进（枢转角基本上大于零度）时，透明拖车区域（在视野中将拖车8呈现为透明的拼接图像）基于枢转角向左或右移位。对应的区域边界线也相应移位。
在一个示例中，参考图5C，示出了示例性拼接图像500。在该示例中，第一图像流502接收自联接到车辆10的侧视镜的其中一个摄像机44，并且第二图像流504接收自联接到车辆10的侧视镜的另一个摄像机44。第三图像流506接收自联接到拖车8的后部70的摄像机44。视野呈现模块312基于车辆10上的摄像机44在车辆坐标系中的已知坐标方位和校准数据320来确定摄像机44之间的边界线508。从系数数据存储部310检索到的混合系数346限定在边界线508的任一侧上的混合区或区域510。图像流502、504、506被视野呈现模块312混合以产生均匀无缝图像，其是没有拖车8的车辆10的后部46的全视野。
参考图3，视野呈现模块312生成用于在显示器54上呈现的环视视野354，其是绕车辆10和拖车8中的至少一个或连接在一起的车辆10和拖车8的基本360度视野。通过生成基本360度视野，也可以由操作者和/或传感器融合系统74探测到在车辆10和/或拖车8附近的一个或多个障碍物。如将要讨论的，视野呈现模块312对来自车辆10上的摄像机44的车辆摄像机图像数据332和来自拖车8上的摄像机44的拖车摄像机图像数据330进行处理，以生成车辆10和拖车8中的至少一个的鸟瞰基本360度视野或上方俯视视野。视野呈现模块312对车辆摄像机图像数据332和拖车摄像机图像数据330进行处理以生成绕车辆10和拖车8中的至少一个的三维的基本360度视野。
在各种实施例中，视野呈现模块312接收车辆摄像机图像数据332和拖车摄像机图像数据330作为输入。视野呈现模块312接收校准数据320作为输入。视野呈现模块312基于校准数据320和车辆10上的摄像机44的已知方位来处理车辆摄像机图像数据332和拖车摄像机图像数据330，以确定图像流的图像中的重合区域。基于重合，视野呈现模块312限定拼接边界线。在一个示例中，沿着由重合的周边产生的所述一个或多个线来限定拼接边界线。
视野呈现模块312接收速度数据352作为输入。基于车辆10的速度，视野呈现模块312查询系数数据存储部310并且检索对应的混合系数346。视野呈现模块312在边界线处将图像流的图像拼接在一起并且基于混合系数346而沿着边界线将图像流的图像混合，以生成围绕车辆10和/或拖车8的均匀无缝图像。应该注意，视野呈现模块312还可以基于摄像机44的视场的重合来混合图像流的图像。无缝图像是环视视野354，其是由摄像机44采集的车辆10和/或拖车8周围的环境的视野。视野呈现模块312将无缝图像设定为UI控制模块314的环视视野354。
视野呈现模块312还接收枢转角338作为输入。视野呈现模块312确定枢转角338是否大于零度，枢转角338大于零度表示拖车8相对于车辆10成角度。如果是，则视野呈现模块312调整拼接图像的边界线以补偿枢转角338。视野呈现模块312在调整过的边界线处将图像流的图像拼接在一起并且基于混合系数346而沿着调整过的边界线混合图像流的图像，以生成补偿枢转角338的均匀无缝图像。视野呈现模块312将无缝图像设定为UI控制模块314的环视视野354。因此，视野呈现模块312调整图像流的组合图像的边界以补偿车辆10或者拖车8的转弯。这确保即使在拖车8的运动或枢转期间，环视视野354也包括车辆10和/或拖车8周围的环境。
UI控制模块314生成用于在显示器54上呈现的用户界面数据357。在各种实施例中，UI控制模块314接收全视野348作为输入。UI控制模块314还接收障碍物数据356作为输入。障碍物数据356是已经在拖车摄像机图像数据330和车辆摄像机图像数据332中的一个或多个中探测到一个或多个障碍物的通知，并且还可以包括障碍物的坐标方位。障碍物数据356例如基于从感测装置58a-58n中的一个或多个接收的数据而从与车辆10相关联的其他控制模块接收。UI控制模块314基于全视野348和障碍物数据356生成透明拖车视野用户界面数据358。在此方面，透明拖车视野用户界面数据358包括用于在显示器54上呈现的全视野348。如果在拖车摄像机图像数据330和/或车辆摄像机图像数据332内探测到障碍物，则透明拖车视野用户界面数据358包括被叠加在全视野348上的通知以便通知操作者探测到的障碍物。在一个示例中，通知包括警告符号的图形表示，并且例如还可以包括指向探测到的障碍物的方向的箭头的图形表示。
参考图6A，示例性透明拖车视野用户界面540被示为基于透明拖车视野用户界面数据358而呈现在显示器54上。如图所示，全视野348提供了视野中不存在拖车8的由摄像机44观察到的车辆10的后部46的全视野。
UI控制模块314接收环视视野354作为输入。UI控制模块314还接收障碍物数据356作为输入。UI控制模块314基于环视视野354和障碍物数据356生成鸟瞰视野用户界面数据360。在此方面，鸟瞰视野用户界面数据360包括用于在显示器54上呈现的环视视野354。如果在拖车摄像机图像数据330和/或车辆摄像机图像数据332内探测到障碍物，则鸟瞰视野用户界面数据360包括被叠加在环视视野354上的通知，其通知操作者探测到的障碍物。
参考图6B，示例性鸟瞰用户界面550被示为基于鸟瞰视野用户界面数据360而呈现在显示器54上。如图所示，环视视野354提供了车辆10和/或拖车8周围环境的视野。车辆10的图形表示552可以被叠加在环视视野354的一部分上以便为该视野提供场景。
返回参考图3，UI控制模块314接收侧倾警报344、枢转警报340和纵倾警报334作为输入。基于侧倾警报344、枢转警报340和纵倾警报334中的至少一个，UI控制模块314生成用于在显示器54上呈现的警报用户界面数据362。警报用户界面数据362是图形和/或文本通知，其用于通知操作者检查拖车8和/或通知拖车8的状态处于可接受限度之外。因此，警报用户界面数据362提供用于在显示器54上呈现的一个或多个图形和/或文本警告消息。所述一个或多个警告消息对于接收到的特定警报来说可以是专用的，诸如拖车8超过预定阈值地侧倾的警告消息、拖车8超过预定阈值地枢转（例如摇摆）的警告消息、和拖车8超过预定阈值地纵倾（例如不平衡或者超过车辆10的牵引能力）的警告消息。
UI控制模块314还接收枢转角338作为输入。在各种实施例中，UI控制模块314基于环视视野354和枢转角338生成枢转角用户界面数据364。在此方面，枢转角用户界面数据364包括用于在显示器54上呈现的环视视野354，且枢转角338的图形表示被叠加在环视视野354中所示的拖车8的至少一部分上。在一个示例中，枢转角338包括一个或多个虚线，其被叠加在环视视野354之上以图形地表示枢转角338。在一个示例中，枢转角338的图形表示可以开始于钩挂球的位置（通过使用图像处理技术在环视视野354中识别）并且指向由探测到的枢转角（由枢转角338）确定的取向，并叠加在环视视野354之上。此外，应该注意到，枢转角338的图形图示可以被叠加在由视野呈现模块312生成的其他视野之上，诸如全视野348之上，并且环视视野354仅仅是示例。而且，枢转角338可以根据需要而被叠加在来自车辆10的其中一个摄像机44（诸如联接到车辆10的后部46的摄像机44）的图像流的图像之上。
参考图7，示例性枢转角用户界面570被示为基于枢转角用户界面数据364而呈现在显示器54上。环视视野354的一部分被示出并且提供车辆10和拖车8周围环境的视野（整个环视视野354被示于图6B）。第一线572图形地表示基本上平行于车辆10的钩挂接收器20的轴线，其被叠加在环视视野354的一部分之上。第二线574由以枢转角338通过钩挂接收器20的轴线定义，以图形地表示拖车8的枢转角338。第二线574也被叠加在环视视野354的一部分之上。
参考图3，UI控制模块314接收输入数据366。输入数据366接收自操作者或乘客与输入装置56的交互。在一个示例中，输入数据366包括联接到车辆10的拖车8的尺寸。UI控制模块314解释输入数据366并且设定用于视野呈现模块312的拖车尺寸350。
现在参考图8，并且继续参考图1-图3，流程图示出了能够由根据本公开的图1-图3的拖车成像系统100执行的校准方法600。在各种实施例中，校准方法600由控制器40的处理器64执行。根据本公开能够意识到，方法的操作次序不限于图8中所示的顺序执行，而是可以以可应用的且根据本公开的一种或多种变化次序被执行。在各种实施例中，方法600能够被安排成基于一个或多个预定事件而运行，且/或能够基于拖车8到车辆10的联接而运行。
方法开始于602。在604，方法确定拖车8是否联接到车辆10。在一个示例中，方法处理联接数据324以确定是否已经接收到表示拖车8的线束被联接到车辆10的线束的信号。如果是，则方法前进到606。否则，在605，方法将至少一个图像（诸如来自联接到车辆10的前部45的摄像机44的图像）存储为校准数据存储部300中的校准图像数据318。方法循环到604。
在606，方法确定联接到拖车8的摄像机44的数量。在一个示例中，方法基于通过线束接收的图像流的数量来确定摄像机44的数量。在608，方法接收并处理挡位数据326以确定车辆10是否处于前进挡位。如果是，则方法前进到610。否则，方法在612处结束。
在610，方法基于车辆路径数据328确定车辆10是否在基本笔直路径上行进。如果是，则方法前进到614。否则，方法在612处结束。
在614，方法接收并处理来自拖车8上的摄像机（即拖车摄像机图像数据330）和车辆10上的摄像机44（即车辆摄像机图像数据332）的图像流，以确定在图像流之间的重合区域。在一个示例中，方法对拖车摄像机图像数据330和车辆摄像机图像数据332的图像流进行采样以获取图像。方法将来自车辆10的获取图像和来自拖车8的获取图像进行比较，并且确定这些图像之间的重合。
在618，方法处理重合的图像以确定图像流的图像中的共同特征。在一个示例中，方法通过使用特征点探测和追踪匹配来处理获取图像以确定共同特征。在620，对于每个共同特征，方法估计车辆10的相应摄像机44和拖车8的相应摄像机44之间的单应矩阵，以确定每个摄像机44和共同特征之间的距离。在622，方法确定所确定的距离的数量是否大于预定阈值。如果是，则方法前进到624。否则，方法循环回到618。
在624，基于确定的距离，方法使用三角定位法来确定联接到拖车8的每个摄像机44在车辆坐标系中的位置和姿态以及联接到拖车8的每个摄像机的视场在车辆坐标系中的位置。在626，方法将每个摄像机44在车辆坐标系中的位置存储在校准数据存储部300中。方法结束于612。
现在参考图9，并且继续参考图1-图3，流程图示出了能够由根据本公开的图1-图3的拖车成像系统100执行的再次校准方法700。在各种实施例中，再次校准方法700由控制器40的处理器64执行。根据本公开能够意识到，方法的操作次序不限于图9中所示的顺序执行，而是可以以可应用的且根据本公开的一种或多种变化次序被执行。在各种实施例中，方法700能够被安排成基于一个或多个预定事件而运行，且/或能够基于拖车8到车辆10的再次联接而运行。
方法开始于702。在704，方法确定拖车8是否再次联接到车辆10。例如，方法确定从线束被联接到车辆10的线束起是否已经经过了预定时间段。如果是，则方法前进到706。否则，方法循环。
在706，方法从校准数据存储部300检索校准图像数据318。在708，方法对车辆10的后部46上的摄像机44进行采样以从图像流获取新图像。在710，方法将校准图像数据318与获取图像进行比较，以确定一个或多个像素是否已经发生水平位置变化。如果是，则方法前进到712。否则，方法在714处结束。
在712，方法查询表格数据存储部302并且检索与水平位置变化对应的纵倾角322。在716，方法确定纵倾角322是否大于预定纵倾角阈值。如果是，则在718，方法生成警报用户界面数据362并且输出用于在显示器54上呈现的警报用户界面数据362。如讨论的，警报用户界面数据362可以包括用于在显示器54上呈现的一个或多个警告消息，诸如拖车8过载或由于纵倾角322大于纵倾角阈值导致的不平衡这样的警告。
否则，在716，如果纵倾角322小于纵倾角阈值，则在720，方法基于纵倾角322而更新校准数据存储部300中的校准数据320。在一个示例中，方法基于纵倾角322而更新联接到车辆10的摄像机44的已知坐标方位。方法结束于714。
现在参考图10，并且继续参考图1-图3，流程图示出了能够由根据本公开的图1-图3的拖车成像系统100执行的枢转角估计方法800。在各种实施例中，枢转角估计方法800由控制器40的处理器64执行。根据本公开能够意识到，方法的操作次序不限于图10中所示的顺序执行，而是可以以可应用的且根据本公开的一种或多种变化次序被执行。在各种实施例中，方法800能够被安排成基于一个或多个预定事件而运行，且/或可以在车辆10的操作期间连续运行。
方法开始于802。在804，方法从联接到车辆10的摄像机44获取车辆摄像机图像数据332。在806，方法处理来自车辆10上的摄像机44的图像流的图像，以确定拖车8在图像中的方位。在808，在拖车8在图像流的图像中的方位被确定的情况下，方法确定在拖车8的拉杆52和/或前面板上的特征点或图案。在810，对于每个特征点或图案，方法估计单应矩阵以确定从车辆10上的每个摄像机44到相应特征点或图案的距离。在812，基于确定的距离和车辆10上的摄像机44的已知车辆坐标方位，方法确定拖车8相对于车辆10的枢转角338。在814，方法生成枢转角用户界面数据364并且输出用于在显示器54上呈现的枢转角用户界面数据364，其重合到显示器54上的视野上，诸如重合到环视视野354的一部分上（如图8所示）。方法结束于816。
现在参考图11，并且继续参考图1-图3，流程图示出了能够由根据本公开的图1-图3的拖车成像系统100执行的（多个）状态估计方法900。在各种实施例中，（多个）状态估计方法900由控制器40的处理器64执行。根据本公开能够意识到，方法的操作次序不限于图11中所示的顺序执行，而是可以以可应用的且根据本公开的一种或多种变化次序被执行。在各种实施例中，方法900能够被安排成基于一个或多个预定事件运行，且/或可以在车辆10的操作期间连续运行。
方法开始于902。在904，方法从联接到车辆10的摄像机44获取车辆摄像机图像数据332。在906，方法处理来自车辆10上的摄像机44的图像流的图像，以确定拖车8在图像流中的方位。在908，在拖车8在图像流的图像中的方位被确定的情况下，方法确定在拖车8的拉杆52和/或前面板上的特征点或图案。在910，对于每个特征点或图案，方法估计单应矩阵以确定从车辆10上的每个摄像机44到相应特征点或图案的距离。在912，基于确定的距离和车辆10上的摄像机44的已知车辆坐标方位，方法确定拖车8相对于车辆10的侧倾角。
在914，方法从阈值数据存储部306检索侧倾角阈值并且确定侧倾角是否大于预定侧倾角阈值。如果是，则方法前进到916。在916，方法生成警报用户界面数据362并且输出用于在显示器54上呈现的警报用户界面数据362。如讨论的，警报用户界面数据362可以包括用于在显示器54上呈现的一个或多个警告消息，诸如拖车8的侧倾角大于侧倾角阈值这样的警告。可选地，在918，方法生成并输出控制信号342至致动器系统36。方法结束于920。
否则，在914，如果侧倾角小于侧倾角阈值，则方法前进到922。在922，方法接收基于图10的方法而确定的枢转角338。在924，方法从阈值数据存储部306检索枢转角阈值并且确定枢转角338是否大于拖车8的预定枢转角阈值。如果枢转角338小于预定枢转角阈值，则方法结束于920。否则，如果枢转角338大于预定枢转角阈值，则方法前进到916。在该示例中，警报用户界面数据362可以包括用于在显示器54上呈现的一个或多个警告消息，诸如拖车8的枢转角大于枢转角阈值这样的警告。
现在参考图12，并且继续参考图1-图3，流程图示出了能够由根据本公开的图1-图3的拖车成像系统100执行的透明拖车视野呈现方法1000。在各种实施例中，透明拖车视野呈现方法1000由控制器40的处理器64执行。根据本公开能够意识到，方法的操作次序不限于图12中所示的顺序执行，而是可以以可应用的且根据本公开的一种或多种变化次序被执行。在各种实施例中，方法1000能够被安排成基于一个或多个预定事件而运行，且/或可以在车辆10的操作期间连续运行。
方法开始于1002。在1004，方法从拖车8上的摄像机44获取拖车摄像机图像数据330并且从车辆10上的摄像机44获取车辆摄像机图像数据332。在1006，方法基于作为输入从输入装置56接收的拖车尺寸350，确定包含拖车8的视野的大小。大体而言，为了适应不同的拖车大小，方法需要确定来自车辆10上的摄像机44的图像数据中的包含拖车8的区域。在一个示例中，方法基于探测来自联接到车辆10的后部46的摄像机44的图像中的拖车区域而确定包含拖车8的图像的大小，这可以通过接收拖车尺寸350作为输入来辅助。此外，枢转角338也可以辅助确定包含拖车8的图像的大小。在1008，基于校准数据320和车辆10上的摄像机44的已知方位（位置和姿态），方法处理拖车摄像机图像数据330和车辆摄像机图像数据332，以确定图像流的图像中的重合区域。
在1010，基于重合区域，方法限定拼接边界线。在一个示例中，拼接边界线由重合区域的周边限定。在1012，方法接收速度数据352（其表示车辆10的速度）并且查询系数数据存储部310以检索对应于车辆速度的混合系数346。在1014，方法基于检索到的混合系数346而确定拼接边界线周围的混合区。在1016，方法确定枢转角338（如关于图10讨论所确定的）是否大于零度。如果是，则方法前进到1018。否则，方法前进到1020。
在1018，方法调整拼接图像的边界线以补偿枢转角338。在1020，方法沿边界线拼接拖车摄像机图像数据330和车辆摄像机图像数据332中的图像流的图像，并且在由检索出的混合系数346限定的混合区中将图像流的图像混合，以生成均匀无缝图像流。在1022，方法基于障碍物数据356而确定在拖车摄像机图像数据330和/或车辆摄像机图像数据332中是否探测到障碍物。如果是，则在1024，方法将障碍物的通知叠加在视野的无缝图像上。在1026，方法生成包括车辆10的后部46后方的视野的无缝图像的透明拖车视野用户界面数据358，并且输出用于在显示器54上呈现的透明拖车视野用户界面数据358。方法结束于1028。因此，在探测到车辆摄像机图像数据332中的拖车区域和被拖车8阻挡的视场之后，来自拖车8上的摄像机44的图像被采集并处理以从被拖车8阻挡的视场提取场景，并填充/混合到透明拖车视野用户界面数据358中。
现在参考图13，并且继续参考图1-图3，流程图示出了能够由根据本公开的图1-图3的拖车成像系统100执行的环视视野或360度视野呈现方法1100。在各种实施例中，环视视野呈现方法1100由控制器40的处理器64执行。根据本公开能够意识到，方法的操作次序不限于图13中所示的顺序执行，而是可以以可应用的且根据本公开的一种或多种变化次序被执行。在各种实施例中，方法1100能够被安排成基于一个或多个预定事件而运行，且/或可以在车辆10的操作期间连续运行。
方法开始于1102。在1104，方法从拖车8上的摄像机44获取拖车摄像机图像数据330并且从车辆10上的摄像机44获取车辆摄像机图像数据332。在1106，基于校准数据320和车辆10上的摄像机44的已知方位（位置和姿态），方法处理拖车摄像机图像数据330和车辆摄像机图像数据332，以确定图像流的图像中的重合区域。
在1108，基于重合区域，方法限定拼接边界线。在一个示例中，拼接边界线由重合区域的周边限定。在1110，方法接收速度数据352（其表示车辆10的速度）并且查询系数数据存储部310以检索对应于车辆速度的混合系数346。在1112，方法基于检索到的混合系数346而确定拼接边界线周围的混合区域或区。在1114，方法确定枢转角338（如关于图10讨论所确定的）是否大于零度。如果是，则方法前进到1116。否则，方法前进到1118。
在1116，方法调整拼接图像的边界线以补偿枢转角338。在1118，方法沿边界线拼接拖车摄像机图像数据330和车辆摄像机图像数据332中的图像流的图像，并且在由检索出的混合系数346限定的混合区中混合图像流的图像，以生成均匀无缝图像流。在1120，方法基于障碍物数据356而确定在拖车摄像机图像数据330和/或车辆摄像机图像数据332中是否探测到障碍物。如果是，则在1122，方法将障碍物的通知叠加在视野的无缝图像上。在1124，方法生成包括车辆10和/或拖车8周围的视野的无缝图像的鸟瞰视野用户界面数据360，并且输出用于在显示器54上呈现的鸟瞰视野用户界面数据360。方法结束于1126。
虽然在前述具体实施方式中已经提出了至少一个示例性实施例，但应该意识到存在大量变型。还应该意识到一个或多个示例性实施例仅是示例，并且不试图以任何方式限制本公开的范围、适用性或构造。实际上，前述具体实施方式为本领域技术人员提供了用于实现一个或多个示例性实施例的常规指南。应该理解的是，在不背离如所附权利要求及其法律等价物所阐明的本公开范围的情况下，能够对元件的功能和结构进行各种修改。

Claims (20)

1.一种用于牵引具有至少一个成像装置的拖车的牵引车辆的方法，包括：
从联接到所述拖车的第一成像装置接收具有多个第一图像的第一图像流；
从联接到所述牵引车辆的第二成像装置接收具有多个第二图像的第二图像流；
由车载在所述牵引车辆上的处理器，确定在所述多个第一图像中的第一图像和所述多个第二图像中的第二图像之间的至少一个共同特征；
由车载在所述牵引车辆上的所述处理器，确定第一距离和第二距离，所述第一距离为从联接到所述拖车的所述第一成像装置到所述至少一个共同特征的距离，所述第二距离为从联接到所述牵引车辆的所述第二成像装置到所述至少一个共同特征的距离；以及
由车载在所述牵引车辆上的所述处理器，基于所述第一距离、所述第二距离以及所述牵引车辆上的所述第二成像装置的已知位置和姿态，确定所述第一成像装置相对于所述牵引车辆的位置。
2.根据权利要求1所述的方法，还包括：
在确定所述至少一个共同特征之前，由车载在所述牵引车辆上的所述处理器，确定所述牵引车辆是否处于前进挡位，并且由车载在所述牵引车辆上的所述处理器，确定所述牵引车辆是否正沿笔直路径行进。
3.根据权利要求1所述的方法，还包括：
由车载在所述牵引车辆上的所述处理器，确定所述拖车是否联接到所述牵引车辆；以及
如果所述拖车未联接到所述牵引车辆，由车载在所述牵引车辆上的所述处理器，将来自所述第二图像流的校准图像存储在数据存储部中。
4.根据权利要求3所述的方法，还包括：
由车载在所述牵引车辆上的所述处理器，确定所述拖车是否再次联接到所述牵引车辆；
基于所述拖车再次联接到所述牵引车辆这一确定：
从所述数据存储部检索所述校准图像；
从所述第二图像流中的所述多个第二图像获取第三图像；
由车载在所述牵引车辆上的所述处理器，对所述校准图像与所述第三图像进行比较，以确定在所述校准图像和所述第三图像中的一个或多个像素之间的水平位置变化；
由车载在所述牵引车辆上的所述处理器，从表格数据存储部检索与所述水平位置变化相关联的纵倾角；
由车载在所述牵引车辆上的所述处理器，确定所述纵倾角小于纵倾角阈值；以及
基于所述纵倾角，更新所述第二成像装置的所述已知位置。
5.根据权利要求1所述的方法，其中所述第二成像装置包括联接到所述牵引车辆的多个第二摄像机，每个所述第二摄像机均具有相应的第二图像流，所述方法还包括：
由车载在所述牵引车辆上的所述处理器，处理来自所述多个第二图像流的所述多个第二图像，以确定所述拖车在所述多个第二图像中的一个或多个内的方位；
由车载在所述牵引车辆上的所述处理器，确定在所述多个第二图像中的所述一个或多个内的所述拖车的拉杆或面板上的一个或多个特征点或图案；
由车载在所述牵引车辆上的所述处理器，确定第三距离和第四距离，所述第三距离为从所述第二摄像机中的一个到所述一个或多个特征点或图案的距离，所述第四距离为从所述第二摄像机中的另一个到所述一个或多个特征点或图案的距离；以及
由车载在所述牵引车辆上的所述处理器，基于所述第三距离、所述第四距离和所述牵引车辆上的所述多个第二摄像机的已知位置，确定所述拖车相对于所述牵引车辆的枢转角。
6.根据权利要求5所述的方法，还包括：
生成用于在与所述牵引车辆相关联的显示器上呈现的枢转角用户界面，该枢转角用户界面图形地表示所述拖车相对于所述牵引车辆的所述枢转角。
7.根据权利要求6所述的方法，还包括：
由车载在所述牵引车辆上的所述处理器，确定所述枢转角大于枢转角阈值；以及
基于所述枢转角大于所述枢转角阈值，生成用于在与所述牵引车辆相关联的所述显示器上呈现的警报用户界面。
8.根据权利要求7所述的方法，还包括：
由车载在所述牵引车辆上的所述处理器，基于所述枢转角，生成到与所述牵引车辆相关联的致动器系统的一个或多个控制信号，以控制所述牵引车辆的部件的一个或多个致动器。
9.根据权利要求1所述的方法，其中所述第二成像装置包括联接到所述牵引车辆的多个第二摄像机，每个所述第二摄像机均具有相应的第二图像流，所述方法还包括：
由车载在所述牵引车辆上的所述处理器，处理来自所述多个第二图像流的所述多个第二图像，以确定所述拖车在所述多个第二图像中的一个或多个内的方位；
由车载在所述牵引车辆上的所述处理器，确定在所述多个第二图像中的所述一个或多个内的所述拖车的拉杆或面板上的特征点或图案；
由车载在所述牵引车辆上的所述处理器，确定第五距离和第六距离，所述第五距离为从所述第二摄像机中的一个到所述特征点或图案的距离，所述第六距离为从所述第二摄像机中的另一个到所述特征点或图案的距离；以及
由车载在所述牵引车辆上的所述处理器，基于所述第五距离、所述第六距离和所述牵引车辆上的所述多个第二摄像机的已知位置，确定所述拖车相对于所述牵引车辆的侧倾角。
10.根据权利要求9所述的方法，还包括：
由车载在所述牵引车辆上的所述处理器，确定所述侧倾角大于侧倾角阈值；
基于所述侧倾角大于所述侧倾角阈值，生成用于在与所述牵引车辆相关联的显示器上呈现的警报用户界面；以及
由车载在所述牵引车辆上的所述处理器，基于所述侧倾角，生成到与所述牵引车辆相关联的致动器系统的一个或多个控制信号，以控制所述牵引车辆的部件的一个或多个致动器。
11.根据权利要求1所述的方法，还包括：
基于所述第一成像装置相对于所述牵引车辆的位置以及所述牵引车辆上的所述第二成像装置的所述已知位置和姿态，确定所述多个第一图像中的至少一个与所述多个第二图像中的至少一个的重合区域；
基于所述重合区域限定一个或多个边界线；
基于所述牵引车辆的速度，确定混合系数，所述混合系数限定所述一个或多个边界线周围的混合区；
由车载在所述牵引车辆上的所述处理器，沿所述一个或多个边界线拼接所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，并且在所述混合区中混合所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，以生成没有所述拖车的所述牵引车辆的后部的全视野的无缝图像；以及
由车载在所述牵引车辆上的所述处理器，生成用户界面，所述用户界面包括用于在与所述牵引车辆相关联的显示器上呈现的所述全视野。
12.根据权利要求1所述的方法，还包括：
基于所述第一成像装置相对于所述牵引车辆的位置以及所述牵引车辆上的所述第二成像装置的所述已知位置和姿态，确定所述多个第一图像中的至少一个与所述多个第二图像中的至少一个的重合区域；
基于所述重合区域限定一个或多个边界线；
基于所述牵引车辆的速度，确定混合系数，所述混合系数限定所述一个或多个边界线周围的混合区；
由车载在所述牵引车辆上的所述处理器，沿所述一个或多个边界线拼接所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，并且在所述混合区中混合所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，以生成所述牵引车辆和所述拖车周围的环境的环视视野的无缝图像；以及
由车载在所述牵引车辆上的所述处理器，生成用户界面，所述用户界面包括用于在与所述牵引车辆相关联的显示器上呈现的所述环视视野。
13.一种用于牵引具有至少一个成像装置的拖车的牵引车辆的系统，包括：
第一成像装置，其联接到所述拖车，提供具有多个第一图像的第一图像流；
第二成像装置，其联接到所述牵引车辆，提供具有多个第二图像的第二图像流；
控制器，其车载在所述牵引车辆上，与所述第一成像装置和所述第二成像装置通信，所述控制器具有处理器，该处理器被构造成：
基于所述第一成像装置相对于所述牵引车辆的校准位置以及所述牵引车辆上的所述第二成像装置的已知位置和姿态，确定所述多个第一图像中的至少一个与所述多个第二图像中的至少一个的重合区域；
基于所述重合区域限定一个或多个边界线；
基于所述牵引车辆的速度，确定混合系数，所述混合系数限定所述一个或多个边界线周围的混合区；
沿所述一个或多个边界线拼接所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，并且在所述混合区中混合所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，以生成所述牵引车辆和所述拖车周围的环境的环视视野的无缝图像；以及
生成用户界面，所述用户界面包括用于在与所述牵引车辆相关联的显示器上呈现的所述环视视野。
14.根据权利要求13所述的系统，其中所述控制器被构造成，沿所述一个或多个边界线拼接所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，并且在所述混合区中混合所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，以生成没有所述拖车的所述牵引车辆的后部的全视野的无缝图像，并且生成用户界面，所述用户界面包括用于在与所述牵引车辆相关联的所述显示器上呈现的所述全视野。
15.根据权利要求13所述的系统，其中所述控制器被构造成：确定在所述多个第一图像中的第一图像和所述多个第二图像中的第二图像之间的至少一个共同特征；确定第一距离和第二距离，所述第一距离为从联接到所述拖车的所述第一成像装置到所述至少一个共同特征的距离，所述第二距离为从联接到所述牵引车辆的所述第二成像装置到所述至少一个共同特征的距离；以及基于所述第一距离、所述第二距离和所述牵引车辆上的所述第二成像装置的已知位置，确定所述第一成像装置相对于所述牵引车辆的所述校准位置。
16.根据权利要求13所述的系统，其中所述第二成像装置包括联接到所述牵引车辆的多个第二摄像机，每个所述第二摄像机均具有相应的第二图像流，所述多个第二摄像机中的每个第二摄像机均具有已知位置和姿态，并且所述控制器被构造成：
处理来自所述多个第二图像流的所述多个第二图像，以确定所述拖车在所述多个第二图像中的一个或多个内的方位；
确定在所述多个第二图像中的所述一个或多个内的所述拖车的拉杆或面板上的一个或多个特征点或图案；
确定第三距离和第四距离，所述第三距离为从所述第二摄像机中的一个到所述一个或多个特征点或图案的距离，所述第四距离为从所述第二摄像机中的另一个到所述一个或多个特征点或图案的距离；以及
基于所述第三距离、所述第四距离以及所述牵引车辆上的所述多个第二摄像机的所述已知位置和姿态，确定所述拖车相对于所述牵引车辆的枢转角。
17.根据权利要求16所述的系统，其中所述控制器被构造成：
确定所述枢转角大于枢转角阈值；
基于所述枢转角大于所述枢转角阈值，生成用于在所述显示器上呈现的警报用户界面；以及
基于所述枢转角，生成到与所述牵引车辆相关联的致动器系统的一个或多个控制信号，以控制所述牵引车辆的部件的一个或多个致动器。
18.一种具有拖车成像系统的用于联接到拖车并牵引拖车的牵引车辆，所述牵引车辆包括：
具有多个第一图像的第一图像流的源，其来自联接到所述拖车的第一摄像机；
联接到所述牵引车辆的第二摄像机，其提供具有多个第二图像的第二图像流；
与所述第一摄像机和所述第二摄像机通信的控制器，所述控制器具有处理器，该处理器被构造成：
确定在所述多个第一图像中的第一图像和所述多个第二图像中的第二图像之间的至少一个共同特征；
确定第一距离和第二距离，所述第一距离为从联接到所述拖车的所述第一摄像机到所述至少一个共同特征的距离，所述第二距离为从联接到所述牵引车辆的所述第二摄像机到所述至少一个共同特征的距离；以及
基于所述第一距离、所述第二距离以及所述牵引车辆上的所述第二摄像机的已知位置和姿态，确定所述第一摄像机相对于所述牵引车辆的位置，
其中，基于所述第一摄像机的所述位置以及所述第二摄像机的所述已知位置和姿态，所述控制器被构造成以下情况的至少一者：生成所述牵引车辆和所述拖车周围环境的环视视野的无缝图像；和生成没有所述拖车的所述牵引车辆的后部的全视野的无缝图像。
19.根据权利要求18所述的牵引车辆，其中所述控制器被构造成：
确定所述多个第一图像中的至少一个与所述多个第二图像中的至少一个的重合区域；
基于所述重合区域限定一个或多个边界线；
基于所述牵引车辆的速度，确定混合系数，所述混合系数限定所述一个或多个边界线周围的混合区；
沿所述一个或多个边界线拼接所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，并且在所述混合区中混合所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，以生成所述牵引车辆和所述拖车周围的环境的所述环视视野的所述无缝图像；以及
生成用户界面，所述用户界面包括用于在与所述牵引车辆相关联的显示器上呈现的所述环视视野。
20.根据权利要求19所述的牵引车辆，其中所述控制器被构造成，沿所述一个或多个边界线拼接所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，并且在所述混合区中混合所述多个第一图像中的所述至少一个和所述多个第二图像中的所述至少一个，以生成没有所述拖车的所述牵引车辆的所述后部的所述全视野的所述无缝图像，并且生成用户界面，所述用户界面包括用于在所述显示器上呈现的所述全视野。
CN201710385230.8A 2016-05-27 2017-05-26 用于具有环视视野成像装置的牵引车辆和拖车的系统和方法 Active CN107433905B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662342671P 2016-05-27 2016-05-27
US62/342671 2016-05-27
US15/592913 2017-05-11
US15/592,913 US10259390B2 (en) 2016-05-27 2017-05-11 Systems and methods for towing vehicle and trailer with surround view imaging devices

Publications (2)

Publication Number Publication Date
CN107433905A CN107433905A (zh) 2017-12-05
CN107433905B true CN107433905B (zh) 2020-05-19

Family

ID=60269429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710385230.8A Active CN107433905B (zh) 2016-05-27 2017-05-26 用于具有环视视野成像装置的牵引车辆和拖车的系统和方法

Country Status (3)

Country Link
US (1) US10259390B2 (zh)
CN (1) CN107433905B (zh)
DE (1) DE102017111530A1 (zh)

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2015306153B2 (en) * 2014-08-18 2018-11-08 Jaguar Land Rover Limited Display system and method
JP6623729B2 (ja) * 2015-12-04 2019-12-25 株式会社ソシオネクスト 測距システム、移動体及び部品
KR101789984B1 (ko) * 2016-07-13 2017-10-25 엠엠피씨 주식회사 차량용 사이드 미러 카메라 시스템
US10391939B2 (en) * 2016-09-01 2019-08-27 GM Global Technology Operations LLC Method and apparatus to determine trailer pose
KR101859045B1 (ko) * 2016-11-02 2018-05-17 엘지전자 주식회사 차량용 운전 보조 장치 및 차량
TWI599989B (zh) * 2016-11-29 2017-09-21 財團法人工業技術研究院 用於交通工具之影像處理方法及影像系統
US10638025B2 (en) * 2017-03-22 2020-04-28 Magna Electronics Inc. Vehicular trailering assist sytem
US10552976B2 (en) 2017-03-22 2020-02-04 Magna Electronics Inc. Trailer angle detection system for vehicle
WO2019037870A1 (en) * 2017-08-25 2019-02-28 Volvo Truck Corporation METHOD FOR DIRECTING AN ARTICULATED VEHICLE
US20190129429A1 (en) * 2017-10-26 2019-05-02 Uber Technologies, Inc. Systems and Methods for Determining Tractor-Trailer Angles and Distances
DE102017220459B4 (de) * 2017-11-16 2023-10-19 Volkswagen Aktiengesellschaft Verfahren und Anhängerankuppelassistent zum Unterstützen eines Ankuppelvorgangs eines rückwärts an einen Anhänger heranfahrenden Kraftfahrzeugs, sowie Kraftfahrzeug
JP6733647B2 (ja) * 2017-12-05 2020-08-05 トヨタ自動車株式会社 画像表示装置
DE102017130566B4 (de) * 2017-12-19 2021-07-22 Mekra Lang Gmbh & Co. Kg Sichtsystem zur Erfassung einer Fahrzeugumgebung und Spiegelersatzsystem für ein Fahrzeug mit einem Sichtsystem
US11135881B2 (en) * 2018-01-08 2021-10-05 Hall Labs Llc Trailer and a tow vehicle path optimization
DE102018201027B4 (de) * 2018-01-23 2021-09-30 Continental Automotive Gmbh Kamera-Monitor-System sowie Verfahren und Vorrichtung zum Betreiben eines Kamera-Monitor-Systems für ein Kraftfahrzeug
US10635933B2 (en) * 2018-01-23 2020-04-28 Ford Global Technologies, Llc Vision-based methods and systems for determining trailer presence
US10549694B2 (en) * 2018-02-06 2020-02-04 GM Global Technology Operations LLC Vehicle-trailer rearview vision system and method
EP3528210A1 (en) * 2018-02-14 2019-08-21 Koninklijke Philips N.V. An imaging system and method with stitching of multiple images
DE102018103537B4 (de) 2018-02-16 2022-11-10 Saf-Holland Gmbh Mobile Sensorvorrichtung für einen Anhänger, Anordnung von mobilen Sensorvorrichtungen an einem Sattelauflieger, Verfahren zum Erfassen von Informationen für einen Sattelzug, Zentraleinrichtung und Sattelzugmaschine
US11633994B2 (en) * 2018-04-04 2023-04-25 Continental Autonomous Mobility Us, Llc. Vehicle-trailer distance detection device and method
EP3552926A1 (en) * 2018-04-09 2019-10-16 Continental Automotive GmbH Apparatus for determining an angle of a trailer attached to a vehicle
US11050933B2 (en) 2018-04-27 2021-06-29 Continenal Automotive Systems, Inc. Device and method for determining a center of a trailer tow coupler
US11518204B2 (en) * 2018-05-01 2022-12-06 Continental Autonomous Mobility US, LLC Trailer detection and autonomous hitching
US10628690B2 (en) * 2018-05-09 2020-04-21 Ford Global Technologies, Llc Systems and methods for automated detection of trailer properties
US10926759B2 (en) * 2018-06-07 2021-02-23 GM Global Technology Operations LLC Controlling a vehicle based on trailer position
US10919572B2 (en) * 2018-06-07 2021-02-16 GM Global Technology Operations LLC Controlling a vehicle based on trailer sway
US10748295B2 (en) * 2018-06-08 2020-08-18 Ford Global Technologies, Llc Object tracking in blind-spot
US10884119B2 (en) * 2018-06-08 2021-01-05 Ford Global Technologies, Llc Object tracking in blind-spot
DE102018210877A1 (de) * 2018-07-03 2020-01-09 Robert Bosch Gmbh Verfahren zur Unterstützung bei einem Rangiermanöver eines Gespanns aus Zugfahrzeug und Anhänger, System und Gespann
US10946710B2 (en) * 2018-08-08 2021-03-16 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for alerting drivers of excessive tongue weight
JP6956051B2 (ja) * 2018-09-03 2021-10-27 株式会社東芝 画像処理装置、運転支援システム、画像処理方法及びプログラム
US10891949B2 (en) * 2018-09-10 2021-01-12 Ford Global Technologies, Llc Vehicle language processing
EP3627183B1 (en) * 2018-09-18 2022-05-11 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Control system for autonomous driving of a vehicle
CN109344801A (zh) * 2018-10-26 2019-02-15 京东方科技集团股份有限公司 一种物体检测方法及装置
CN110335305A (zh) * 2018-11-01 2019-10-15 驭势科技（北京）有限公司 一种拖车位姿的确定方法、装置、车载设备及存储介质
US11030476B2 (en) * 2018-11-29 2021-06-08 Element Ai Inc. System and method for detecting and tracking objects
DE102019200186A1 (de) * 2019-01-09 2020-07-09 Continental Automotive Gmbh Verfahren zur Lokalisierung von Kameras sowie ein Kamerasystem und ein Fahrzeug mit einem Kamerasystem
EP3707061A1 (en) * 2019-02-01 2020-09-16 Carit Automotive GmbH & Co. KG Vehicle park assist systems
US11064165B2 (en) * 2019-02-05 2021-07-13 Magna Electronics Inc. Wireless trailer camera system with tracking feature
JP7208812B2 (ja) * 2019-02-06 2023-01-19 日立Astemo株式会社 電子制御装置
US11351917B2 (en) * 2019-02-13 2022-06-07 Ford Global Technologies, Llc Vehicle-rendering generation for vehicle display based on short-range communication
EP3928283A1 (en) 2019-02-19 2021-12-29 Orlaco Products B.V. Mirror replacement system with dynamic stitching
US11062463B2 (en) * 2019-02-28 2021-07-13 Ford Global Technologies, Llc Method and apparatus for adaptive trailer content monitoring
GB2582262B (en) 2019-03-02 2022-09-28 Jaguar Land Rover Ltd Imaging system and method
GB2582541B (en) * 2019-03-12 2022-03-09 Jaguar Land Rover Ltd Driver assistance method and apparatus
GB2582323B (en) 2019-03-19 2022-02-09 Jaguar Land Rover Ltd Image processing system and method
US11417116B2 (en) 2019-04-19 2022-08-16 Magna Electronics Inc. Vehicular trailer angle detection system
JP2020183166A (ja) * 2019-05-07 2020-11-12 アルパイン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US11662196B2 (en) * 2019-05-08 2023-05-30 Magna Electronics Inc. Trailer angle detection system using rear camera of vehicle
DE102019209061B3 (de) * 2019-06-24 2020-09-03 Zf Friedrichshafen Ag Bildverarbeitungseinrichtung zur Verbesserung einer Nachtsicht, Verfahren und Computerprogramm
US11613210B2 (en) 2019-07-22 2023-03-28 Magna Electronics Inc. Trailering assist system with hitch ball position detection
US11613208B2 (en) 2019-07-30 2023-03-28 Magna Electronics Inc. Trailer hitching assist system with trailer coupler detection
US11787339B2 (en) 2019-07-30 2023-10-17 Magna Electronics Inc. Trailer hitching assist system with trailer coupler detection
DE102019122086A1 (de) 2019-08-16 2021-02-18 Connaught Electronics Ltd. Fahrerassistenz für eine Kombination
CN115210764A (zh) * 2019-09-19 2022-10-18 大陆智行美国有限责任公司 自动拖车摄像机校准
WO2021061651A1 (en) * 2019-09-24 2021-04-01 Seek Thermal, Inc. Thermal imaging system with multiple selectable viewing angles and fields of view for vehicle applications
US11891057B2 (en) * 2019-09-24 2024-02-06 Seek Thermal, Inc. Thermal imaging system with multiple selectable viewing angles and fields of view for vehicle applications
US11661006B2 (en) * 2019-09-27 2023-05-30 Magna Electronics Inc. Vehicular trailering assist system
US11679635B2 (en) 2019-12-09 2023-06-20 Magna Electronics Inc. Vehicular trailer hitching assist system with coupler height and location estimation
DE102019133948A1 (de) * 2019-12-11 2021-06-17 Connaught Electronics Ltd. Verfahren zur Fahrerassistenz für eine Kombination aus einem Kraftfahrzeug und einem Anhänger
CN110719411B (zh) * 2019-12-16 2020-04-03 长沙智能驾驶研究院有限公司 车辆的全景环视图像生成方法及相关设备
US11358637B2 (en) * 2019-12-16 2022-06-14 GM Global Technology Operations LLC Method and apparatus for determining a trailer hitch articulation angle in a motor vehicle
CN115087584A (zh) * 2019-12-16 2022-09-20 马格纳电子系统公司 车辆拖车导引系统
JP2021110631A (ja) * 2020-01-10 2021-08-02 株式会社デンソー 検出器の姿勢・位置検出システムおよび検出器の姿勢・位置検出方法
US11351907B2 (en) * 2020-01-24 2022-06-07 Toyota Motor Engineering & Manufacturing North America, Inc. Boat trailer water level detection system
US20210263513A1 (en) * 2020-02-26 2021-08-26 Polaris Industries Inc. Environment monitoring system and method for a towed recreational vehicle
DE102020106302A1 (de) * 2020-03-09 2021-09-09 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln einer Objekt-Information zu einem Objekt in einer Fahrzeugumgebung, Steuereinheit und Fahrzeug
DE102020107789A1 (de) * 2020-03-20 2021-09-23 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Fahrzeug und Verfahren zum Umschalten zwischen von dem Sichtsystem dargestellten Bildbereichen
CN111361502B (zh) * 2020-03-23 2021-04-13 长沙立中汽车设计开发股份有限公司 一种用于铰接工程车辆变角度全景环视系统的实现方法
CN111637852B (zh) * 2020-05-27 2023-03-21 中国汽车技术研究中心有限公司 全挂汽车列车铰接角的测量系统及测量方法
US11861878B2 (en) * 2020-07-24 2024-01-02 Magna Electronics Inc. Vehicular trailering assist system with trailer calibration feature
DE102020209744A1 (de) 2020-08-03 2022-02-03 Zf Friedrichshafen Ag Omniview über zwei Fahrzeuge
US11977165B2 (en) 2020-08-10 2024-05-07 Waymo Llc Self-reflection filtering
JP7276282B2 (ja) * 2020-08-24 2023-05-18 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
DE102021212050A1 (de) * 2020-11-06 2022-05-12 Robert Bosch Gesellschaft mit beschränkter Haftung Kamerasystem für ein Anhängerkupplungssystem
DE102021212088B4 (de) * 2020-11-06 2022-12-15 Robert Bosch Gesellschaft mit beschränkter Haftung Rückfahrkamerasystem für ein anhängerkupplungssystem und verfahren zum erzeugen einer darstellung in heckrichtung eines fahrzeuges
US11721108B2 (en) * 2020-11-10 2023-08-08 Ford Global Technologies, Llc System and method for training trailer detection systems
US11443413B2 (en) * 2020-12-09 2022-09-13 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle camera system for outside view and trailer aid
US11989902B2 (en) 2020-12-10 2024-05-21 Magna Electronics Inc. Vehicular trailering assist system with trailer beam length estimation
KR20220097656A (ko) * 2020-12-30 2022-07-08 현대자동차주식회사 운전자 보조 장치, 차량 및 그 제어 방법
US11983969B2 (en) 2021-01-27 2024-05-14 Ford Global Technologies, Llc Systems and methods for modeling electric vehicle towing
US20220242415A1 (en) * 2021-01-29 2022-08-04 Motional Ad Llc Dynamically-localized sensors for vehicles
WO2022171794A1 (de) 2021-02-12 2022-08-18 Zf Friedrichshafen Ag Omniview für fahrzeuge mit knickgelenk
US20220343535A1 (en) * 2021-04-27 2022-10-27 Continental Automotive Systems, Inc. System and method for estimating relative trailer angle
US20220396322A1 (en) * 2021-06-15 2022-12-15 Stoneridge, Inc. Image based trailer wheelbase determination
US11623637B2 (en) * 2021-06-28 2023-04-11 Ford Global Technologies, Llc Assisted parking maneuvers for vehicles coupled in a towed recharging arrangement
US11830489B2 (en) 2021-06-30 2023-11-28 Bank Of America Corporation System and method for speech processing based on response content
DE102021207558A1 (de) 2021-07-15 2023-01-19 Continental Autonomous Mobility Germany GmbH Kamerasystem sowie Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem
US20230061195A1 (en) * 2021-08-27 2023-03-02 Continental Automotive Systems, Inc. Enhanced transparent trailer
US11858420B2 (en) * 2021-11-29 2024-01-02 Texas Instruments Incorporated Below vehicle rendering for surround view systems
US11862904B2 (en) * 2021-11-30 2024-01-02 GM Global Technology Operations LLC Multimodal sensor-based state of connection monitoring for a 7-pin trailer cable or the like, and a trailer breakaway cable
CN114220291B (zh) * 2021-12-01 2023-08-01 阿维塔科技(重庆)有限公司 车库停车/取车定位方法、系统、汽车及计算机可读存储介质
WO2024057060A1 (en) * 2022-09-13 2024-03-21 Vinai Artificial Intelligence Application And Research Joint Stock Company Surround view monitoring system and method
WO2024078667A1 (de) * 2022-10-12 2024-04-18 Continental Autonomous Mobility Germany GmbH Verfahren zum erzeugen einer umgebungsansicht, verfahren zum trainieren eines neuronalen netzes, steuergerät, fahrzeug und computerprogramm

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2394855A1 (de) * 2010-06-12 2011-12-14 ConWys AG Rücksehhilfe für ein Fahrzeuggespann
WO2016026870A1 (en) * 2014-08-18 2016-02-25 Jaguar Land Rover Limited Display system and method
DE102014218995A1 (de) * 2014-09-22 2016-03-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bird-View-Darstellung eines Fahrzeuggespanns sowie nachrüstbare Kamera

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
US6720920B2 (en) * 1997-10-22 2004-04-13 Intelligent Technologies International Inc. Method and arrangement for communicating between vehicles
US5786772A (en) * 1996-03-22 1998-07-28 Donnelly Corporation Vehicle blind spot detection display system
US6392315B1 (en) * 1999-04-05 2002-05-21 Delphi Technologies, Inc. Compensation circuit for an automotive ignition sensing system
EP1263626A2 (en) * 2000-03-02 2002-12-11 Donnelly Corporation Video mirror systems incorporating an accessory module
DE20106977U1 (de) * 2001-04-23 2002-08-29 Mekra Lang Gmbh & Co Kg Warneinrichtung in Kraftfahrzeugen
US7338177B2 (en) * 2003-11-26 2008-03-04 Donnelly Corporation Mirror reflective element for a vehicle
US7460951B2 (en) * 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
US7544945B2 (en) * 2006-02-06 2009-06-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Vertical cavity surface emitting laser (VCSEL) array laser scanner
US9335162B2 (en) * 2011-04-19 2016-05-10 Ford Global Technologies, Llc Trailer length estimation in hitch angle applications
GB2515800B (en) * 2013-07-04 2017-06-07 Jaguar Land Rover Ltd Vehicle control system
US9981605B2 (en) 2014-05-16 2018-05-29 GM Global Technology Operations LLC Surround-view camera system (VPM) and vehicle dynamic
US9619894B2 (en) 2014-05-16 2017-04-11 GM Global Technology Operations LLC System and method for estimating vehicle dynamics using feature points in images from multiple cameras

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2394855A1 (de) * 2010-06-12 2011-12-14 ConWys AG Rücksehhilfe für ein Fahrzeuggespann
WO2016026870A1 (en) * 2014-08-18 2016-02-25 Jaguar Land Rover Limited Display system and method
DE102014218995A1 (de) * 2014-09-22 2016-03-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bird-View-Darstellung eines Fahrzeuggespanns sowie nachrüstbare Kamera

Also Published As

Publication number Publication date
US20170341583A1 (en) 2017-11-30
DE102017111530A1 (de) 2017-11-30
US10259390B2 (en) 2019-04-16
CN107433905A (zh) 2017-12-05

Similar Documents

Publication Publication Date Title
CN107433905B (zh) 用于具有环视视野成像装置的牵引车辆和拖车的系统和方法
US11285875B2 (en) Method for dynamically calibrating a vehicular trailer angle detection system
US10710504B2 (en) Surroundings-monitoring device and computer program product
US11661006B2 (en) Vehicular trailering assist system
CN108778784B (zh) 用于车辆和拖车组件的倒车系统和用于控制其的方法
CN111372795A (zh) 使用图像坐标的自动化拖车挂接
CN105270408B (zh) 用于测定商用车的行驶动态状态的方法和驾驶员辅助系统
US20190279512A1 (en) Vehicle cameras for monitoring off-road terrain
US10296008B2 (en) Vehicle and method of controlling the vehicle based on a height of cargo
CN110920607A (zh) 用于促进远程控制的车辆操纵和行人检测的方法和设备
US11420678B2 (en) Traction assist display for towing a vehicle
US11285768B2 (en) Vehicle system and method for detecting trailer connection
CN109910530A (zh) 以在最终位置处车辆航向与挂车航向之间的指定角度为特征的挂接辅助系统和方法
US11941847B2 (en) Controller for a vehicle
JP7416918B2 (ja) トレーラ連結透視図
CN103764485A (zh) 用于驾驶辅助系统的用于估算运输工具的未来路线并且与部件相关联的装置，所述未来路线包括根据相对于障碍物位置的不同外观
US20220314884A1 (en) Trailer underneath and side visualization
CN116420094A (zh) 结合短程雷达和后挡板相机来实现拖车角度估计
WO2022261671A1 (en) System and method for providing an image depicting a transparent rear vehicle portion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant