CN115995071A - 摄像头监测系统中的拖车端部跟踪 - Google Patents

摄像头监测系统中的拖车端部跟踪 Download PDF

Info

Publication number
CN115995071A
CN115995071A CN202211291581.XA CN202211291581A CN115995071A CN 115995071 A CN115995071 A CN 115995071A CN 202211291581 A CN202211291581 A CN 202211291581A CN 115995071 A CN115995071 A CN 115995071A
Authority
CN
China
Prior art keywords
trailer
trailer end
image
camera
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211291581.XA
Other languages
English (en)
Inventor
马亮
门一凡
特洛伊·奥提斯·库珀里德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shitong Regis Co ltd
Original Assignee
Shitong Regis Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shitong Regis Co ltd filed Critical Shitong Regis Co ltd
Publication of CN115995071A publication Critical patent/CN115995071A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种用于使用控制器跟踪图像中的拖车端部的方法,包括:从至少一个摄像头接收图像;识别该图像中的拖车端部;以及使用控制器在一定时间段内通过图像跟踪拖车端部的运动。使用控制器通过图像基于拖车端部的运动来生成运动模型。控制器响应于时间段的消逝和拖车端部使用控制器不可见,通过在延迟时间段内保持每个运动模型的拖车端部的运动并且建立由运动模型在延迟时间段结束时指示的估计的拖车端部位置,来对拖车端部离开图像做出响应。

Description

摄像头监测系统中的拖车端部跟踪
相关申请的交叉引用
本申请要求于2021年10月19日提交的美国临时专利申请第63/257165号的优先权。
技术领域
本发明涉及用于在商用卡车中使用的摄像头监测系统(CMS),并且具体地涉及用于在摄像头监测系统图像内定位拖车端部的系统。
背景技术
后视镜置换系统和用于补充后视镜视角的摄像头系统用于商用车辆以增强车辆操作者查看周围环境的能力。摄像头监测系统(CMS)利用一个或多个摄像头为车辆操作者提供增强的视场。在一些例子中,后视镜置换系统覆盖了比传统后视镜更大的视场,或者包括不能完全通过传统后视镜获得的视角。
在一些例子中,CMS显示器包括识别道路特征、检测到的对象或辅助车辆操作者执行车辆操作的其他类似的叠加的视觉增强。在一些情况下,视觉增强补偿摄像头的减小的功能性(例如,缺乏深度感知),在其他情况下,视觉增强提供优于传统后视镜的改进的功能性(例如,对象识别、距离线等)。将一些视觉增强置于图像中需要知道拖车的一个或多个部分的位置。
发明内容
一种用于使用控制器跟踪图像中的拖车端部的示例性方法包括:从至少一个摄像头接收图像;识别图像中的拖车端部,并且使用控制器在一定时间段内通过图像跟踪拖车端部的运动;使用控制器通过图像基于拖车端部的运动来生成运动模型;以及响应于时间段的消逝和拖车端部使用控制器不可见,通过在延迟时间段内保持每个运动模型的拖车端部的运动并且建立由运动模型在延迟时间段结束时指示的估计的拖车端部位置,来对拖车端部离开图像做出响应。
在上述用于使用控制器跟踪图像中的拖车端部的方法的另一个例子中,生成运动模型取决于以下中的至少一个:车辆速度、测量的拖车角度、拖车长度、转向角、转向架横摆率(truck yaw rate)、变速器档位以及内在和外在的摄像头传感器信息。
在上述任一个用于使用控制器跟踪图像中的拖车端部的方法的另一个例子中,延迟时间段取决于以下中的至少一个:车辆速度、测量的拖车角度、拖车长度、转向角和转向架横摆率、变速器档位以及内在和外在的摄像头传感器信息。
在上述任一个用于使用控制器跟踪图像中的拖车端部的方法的另一个例子中,延迟时间段是预定时间段。
在上述任一个用于使用控制器跟踪图像中的拖车端部的方法的另一个例子中,运动模型是通过图像的拖车端部的运动趋势的模型。
在上述任一个用于使用控制器跟踪图像中的拖车端部的方法的另一个例子中,运动模型是通过3D坐标系的拖车端部的运动趋势的模型,并且至少部分地基于拖车端部在图像中的位置来确定3D坐标系中的拖车端部位置。
上述任一个用于使用控制器跟踪图像中的拖车端部的方法的另一个例子还包括将拖车端部位置提供给控制器的人机界面(HMI)模块,并且使用HMI模块基于所估计的拖车端部位置显示视觉增强。
在上述任一个用于使用控制器跟踪图像中的拖车端部的方法的另一个例子中,视觉增强包括从拖车端部位置延伸的水平线,并且其中当拖车端部不可见时,保持视觉增强。
在上述任一个用于使用控制器跟踪图像中的拖车端部的方法的另一个例子中,还包括:将所估计的拖车端部位置转换为三维坐标位置,并且将该三维坐标位置提供给自动驾驶员辅助系统和半自动驾驶员辅助系统中的至少一个。
在上述任一个用于使用控制器跟踪图像中的拖车端部的方法的另一个例子中,生成运动模型包括通过图像确定拖车端部位置的恒定速度(CV)、恒定加速度(CA)和协调转弯恒定加速度(CTCA)中的每一个。
在一个示例性实施方式中,用于车辆的摄像头监测系统(CMS)包括:设置在车辆的第一侧处的至少一个第一摄像头,该至少一个第一摄像头限定第一视场,该第一视场被配置为当拖车连接至车辆时包括拖车;以及设置在车辆的第二侧处的至少一个第二摄像头,该至少一个第一摄像头限定第二视场,该第二视场被配置为当拖车连接至车辆时包括拖车;通信地耦合至所述至少一个第一摄像头和所述至少一个第二摄像头中的每一个的CMS控制器,该CMS控制器被配置为使用来自所述至少一个第一摄像头和所述至少一个第二摄像头的图像生成至少一个图像;多个显示器,每个显示器面向车辆操作者位置并且被配置为显示所述至少一个图像中的至少一个图像;以及控制器内的拖车端部跟踪模块,该跟踪模块被配置为使控制器识别来自所述至少一个第一摄像头和所述至少一个第二摄像头的图像中的拖车端部,基于所识别的拖车端部在图像中的运动生成运动模型,并且通过图像基于所识别的拖车端部的运动来生成运动模型,并且通过使用所确定的运动模型来估计连续的拖车端部位置而对拖车端部离开第一视场和第二视场中之一做出响应。
在上述用于车辆的摄像头监测系统(CMS)的另一个例子中,使用所确定的运动模型来估计连续的拖车端部位置包括:响应于拖车端部在延迟时间段内不进入第一视场和第二视场中之一,建立静止的估计的拖车端部位置。
在上述任一个用于车辆的摄像头监测系统(CMS)的另一个例子中,延迟时间段是存储在控制器内的预定时间段。
在上述任一个用于车辆的摄像头监测系统(CMS)的另一个例子中,运动模型包含至少一个测量的车辆参数,并且其中延迟时间段取决于该至少一个测量的车辆参数。
在上述任一个用于车辆的摄像头监测系统(CMS)的另一个例子中,至少一个测量的车辆参数包括以下中的至少一个:车辆速度、测量的拖车角度、拖车长度、转向角、转向架横摆率、变速器档位以及内在和外在的摄像头传感器信息。
在上述任一个用于车辆的摄像头监测系统(CMS)的另一个例子中,控制器包括人机界面(HMI)模块,该人机界面(HMI)模块被配置为将拖车端部视觉增强特征叠加在至少一个后视镜置换图像上。
在上述任一个用于车辆的摄像头监测系统(CMS)的另一个例子中,拖车端部视觉增强特征是水平线,当拖车端部处于第一视场和第二视场中之一中时,该水平线从拖车端部延伸,并且当拖车端部不在第一视场和第二视场中之一中时,该水平线从所估计的拖车端部位置延伸。
在上述任一个用于车辆的摄像头监测系统(CMS)的另一个例子中,第一视场和第二视场是IV级视场。
在上述任一个用于车辆的摄像头监测系统(CMS)的另一个例子中,控制器还被配置为将所估计的拖车位置输出到车辆的自动或半自动驾驶员辅助系统。
根据以下说明书和附图可以更好地理解本发明的这些和其他特征,附图的以下内容是简要说明。
附图说明
通过参考以下结合附图考虑时的详细描述,可以进一步理解本发明。
图1A是具有用于至少提供II级和IV级视角的摄像头监测系统(CMS)的商用卡车的示意性前视图。
图1B是具有提供II级、IV级、V级和VI级视角的摄像头监测系统的商用卡车的示意性俯视立面图。
图2是包括显示器和内部摄像头的车辆座舱的示意性俯视立体图。
图3A示意性示出了拖车角度大约为0度的商用车辆。
图3B示意性示出了拖车角度大约为45度的商用车辆。
图4示出了用于在拖车端部不可见时估计拖车端部位置的方法。
图5A示意性示出了具有使得拖车端部可见的拖车角度的拖车的II级视角。
图5B示意性示出了具有使得拖车端部不可见的拖车角度的拖车的II级视角。
前述段落、权利要求或以下描述和附图的实施方式、例子和替代方式,包括它们的各个方面或各自的单独特征中的任何一个,可以独立地或以任何组合来采用。结合一个实施方式描述的特征适用于所有实施方式,除非这些特征不兼容。
具体实施方式
在图1A和图1B中示出了商用车辆10的示意图。图2是包括显示器和内部摄像头的车辆10座舱的示意性俯视立体图。车辆10包括用于牵引拖车14的车辆驾驶室或牵引车12。应当理解,车辆驾驶室12和/或拖车14可以是任何构造。虽然在本公开中设想了商用卡车,但本发明也可以应用于其他类型的车辆。车辆10结合有摄像头监测系统(CMS)15(图2),其具有安装到车辆驾驶室12外部的驾驶员侧和乘客侧摄像头臂16a、16b。如果需要,摄像头臂16a、16b也可以包括与它们集成在一起的传统的后视镜,但是CMS 15可用于完全替代后视镜。在另外的例子中,每一侧可以包括多个摄像头臂,每个臂容纳一个或多个摄像头和/或后视镜。
每一个摄像头臂16a、16b包括固定到例如驾驶室12上的基座。枢转臂由基座支撑并且可以相对于其铰接。在摄像头臂内相应地设置至少一个朝后的摄像头20a、20b。外部摄像头20a、20b分别提供外部视场FOVEX1、FOVEX2,外部视场FOVEX1、FOVEX2各自包括II级视角和IV级视角中的至少一种视角(图1B),II级视角和IV级视角是商业货运行业中的法律规定的视角。如果需要,也可以在每个摄像头臂16a、16b中使用多个摄像头以提供这些视角。II级视角和IV级视角在例如欧洲R46法规中有定义,并且美国和其他国家对于商用卡车有类似的驾驶可见性要求。对某“级”视角的任何引用不旨在是限制性的,而旨在作为由特定摄像头提供给显示器的视角的类型的示例。每个臂16a、16b还可以提供封装电子设备的壳体,这些电子设备被配置为提供CMS 15的各种特征。
在车辆驾驶室12内的驾驶员侧和乘客侧中的每一侧,在A柱19a、19b上或附近设置有第一视频显示器18a和第二视频显示器18b,以在车辆10的相应侧上显示II级视角和IV级视角,这些视角提供了由外部摄像头20a、20b捕获的沿着车辆10的朝后的侧视角。
如果还需要V级视角和/或VI级视角的视频,则可以在车辆10的前部处或附近设置摄像头壳体16c和摄像头20c以提供这些视角(图1B)。在驾驶室12内靠近挡风玻璃的顶部中心设置的第三显示器18c可用于向驾驶员显示朝向车辆10前方的V级视角和VI级视角。显示器18a、18b、18c面向驾驶室22内的驾驶员区域24,其中操作者坐在驾驶员座椅26上。流式传输到任何特定显示器的位置、大小和视场可以因本公开中描述的构造而异,但仍包含所公开的发明。
如果需要VIII级视角的视频,可以在车辆10的侧面和后部设置摄像头壳体,以提供包括车辆10的一些或所有VIII级区域的视场。在这样的例子中,第三显示器18c可以包括显示VIII级视角的一个或多个框架。替代地,可以在第一显示器18a、第二显示器18b和第三显示器18c附近添加附加显示器,这些附加显示器提供专用于提供VIII级视角的显示器。
显示器18a、18b、18c面向座舱22内的驾驶员区域24,其中操作者坐在驾驶员座椅26上。每一个显示器18a、18b和18c提供对应的后视镜置换显示器。在一些例子中,驾驶员侧显示器18a可以包括II级视角的第一图像和IV级视角的第二图像,II级视角和IV级视角各自替换传统上由驾驶员侧后视镜提供的视角。类似地,乘客侧显示器18b可以提供车辆10的乘客侧的II级视角和IV级视角。在一些例子中,还利用第三显示器18c向车辆操作者提供任何补充视角。
在一些例子中,可以通过在视频传送的顶部提供人机界面(HMI)叠加来增强II级视角和IV级视角。HMI叠加向车辆操作者提供单独根据图像传送可能不是显而易见的附加信息。HMI叠加中可以使用的是叠加在图像上的拖车端部线。拖车端部线是沿着显示器中的拖车端部线的y坐标位置从拖车端部引出的水平线,以帮助车辆操作者识别从拖车端部到显示器上所示的对象的相对距离。
为了设置拖车端部线,现有的CMS系统依靠车辆操作者定位和识别拖车端部。这是通过操作者将标记放置在每个摄像头的视场内并手动调整刻度盘以在视场内移动水平线直到水平线与标记对准来实现的。对拖车端部位置的了解还可用于辅助自动驾驶员系统和/或部分自动驾驶员系统。举例来说,可以利用对后部端部位置的了解来改善驾驶员的态势感知(situational awareness)。在替代例子中,出于威胁评估目的,对后部端部位置的了解可以与基于图像的对象检测信息结合使用。然而,出于这些目的,手动设置的拖车端部线可能是不可靠的或者可能不够精确。
继续参照图1A、图1B和图2,图3A和图3B示出了包括自个部分的拖车110的车辆100。在图3A中,车辆100处于向前移动位置(图3A),其中拖车110相对于驾驶室120具有大约零度的角度,这意味着其与驾驶室120的取向对准。该角度142可替代地表示为相对于驾驶室120为180度。在图3B中,车辆100转弯并且拖车110相对于驾驶室120偏斜(图3B),产生拖车110的后部在IV级视角中可见的拖车角度142。出于说明的目的,相对于大多数预期角度夸大了图3B的特定偏斜。当车辆100正在执行倒车操纵时,也发生与图3B中所示的类似的偏斜。
在一些例子中,CMS包括HMI系统,该HMI系统从拖车的端部水平地延伸拖车端部线,如图像中所识别的。拖车端部线帮助车辆操作者识别视场中的对象相对于拖车110的端部130的位置。在另外的例子中,拖车110的端部130可以外推到三维空间位置,并且外推点可以与半自动或自动车辆功能或可能需要拖车端部130位置的任何其他车辆系统一起使用。
在车辆100的操作期间,在拖车110在给定图像中可见时(这是图3B的例子中的情况),摄像头监测系统(CMS)或其他车辆控制器利用图像分析技术识别拖车的端部130。然而,当拖车端部在图像内不可见时,如在图3A的例子中,单独的图像分析不能识别拖车端部130的位置。为了促进利用拖车端部位置的系统的继续操作,车辆100的CMS包括在CMS控制器内的拖车端部130估计模块,其在拖车端部130不可见时估计拖车端部130的位置。
为了估计拖车端部130位置,当拖车端部130使用图像分析可见时,CMS跟踪拖车端部130。在一个例子中,跟踪用于通过图像形成考虑拖车端部130的运动的运动模型。在替代例子中,拖车端部130的位置在由CMS定义的坐标系中从2D图像位置转换为3D坐标位置,并且通过3D坐标系跟踪拖车端部130。在替代例子中,采用3D坐标的估计位置被转换回2D位置以用于相对于拖车端部130在图像中设置人机界面(HMI)元件。当车辆100弄直或在另一个方向上转弯时,拖车角度142减小并且拖车端部130相对于牵引车120成弧线132移动。该弧线132使拖车端部130在CMS摄像头的视场外。在CMS可以访问附加传感器信息的一些例子中,运动模型还可以考虑诸如车辆速度、测量的拖车角度、拖车长度、转向角、转向架横摆率、变速器档位以及内在和外在的摄像头传感器信息的数据。拖车端部130的运动模型是运动趋势的模型,使得可以继续该趋势。
当拖车角度142下降到低于某个阈值角度(例如,15度)时,拖车端部130在II级或IV级视角中不再可见,并且CMS不能检测到拖车端部130的位置。因此,拖车端部线不能叠加在图像上。为了保持拖车端部线叠加,或者为了保持依赖于准确的最新拖车端部位置的任何其他系统,CMS使用拖车端部130处于II级和IV级视场中时形成的运动模型来估计拖车端部130不可见时的拖车端部130的位置。
继续参照图3A和图3B,图4示出了用于保持拖车端部130位置指示器(端部线)的方法300。最初,CMS在“确定端部位置”步骤310中使用任何已知的传统图像分析技术来识别II级视角和IV级视角中之一内的拖车端部130。一旦拖车端部130被识别,在“跟踪拖车的运动”步骤320中通过图像跟踪拖车端部130的运动。所跟踪的运动是拖车端部130在图像中的位置。在一些例子中,该运动被转换为通过三维空间的运动,并且跟踪三维运动以及通过图像跟踪拖车端部130的运动。
CMS在“基于移动制作运动模型”步骤330中基于通过图像的拖车端部130的移动以及基于CMS已知或可知的任何附加因素来形成拖车的运动模型。在一种情况下,运动模型是恒定速度(CV)、恒定加速度(CA)和协调转弯恒定加速度(coordinate turn constantacceleration,CTCA)。这三个因素结合以通过图像描述拐角的移动趋势。在替代例子中,可使用单一运动模型或替代运动模型来提供类似的功能性。举例来说,如果通过图像拖车端部以给定的速率或给定的加速度向下移动,则该运动的趋势(例如,以每秒3个像素的速率向下)被记录为运动模型。CMS假定拖车端部130的运动在拖车端部130离开视野之后继续在运动模型中定义的趋势。在更复杂的构造中,由运动模型定义的趋势可以包括依赖性,其中通过图像的运动取决于一个或多个附加因素,诸如车辆100的转向角、车辆速度、横摆率、变速器档位、拖车长度、拖车角速率及类似因素。
由于车辆拖车端部130通常在拖车110变直(即,接近零度的拖车角度)时离开视野,因此CMS假定在设定时间之后,拖车将到达平衡点并且拖车端部130将具有最小的移动,直到车辆100再次转弯。
当拖车端部130离开CMS的可见框架时,CMS在“等待时间段”中等待预定时间段。在等待时段期间,CMS基于运动模型执行卡尔曼滤波预测,以在拐角不可见的时段期间继续估计拐角的移动。该时间段足够长,使得CMS可以确信拖车端部130已经达到平衡并且不会立即回到视野。在一个例子中,时间段可以被设置为大约2秒。在一些例子中,时间段可以取决于车辆100的速度、横摆率、档位、拖车长度、转向角和/或任何类似特征,在其他例子中,时间段可以是存储在CMS内的静态预定时间段。在自适应时间段例子中,较大的横摆率和较快的速度指示拖车也正在操纵,因此等待时间将较少,因为应当理解拖车端部将更快地达到平衡。
在时间段已经消逝之后,如果拖车端部130没有重新出现在CMS视角内,则CMS在“锁定拖车端部位置”步骤350中锁定所估计的拖车端部位置。一旦被锁定,拖车端部130就由CMS基于所建立的运动模型保持在平衡时稳定的估计位置,并且显示器包括HMI叠加,诸如基于假定的拖车端部位置的端部线。在替代例子中,假定的拖车端部130位置也可以被转换为相对于驾驶室的三维位置并且被提供给驾驶员辅助系统或利用拖车端部130位置的任何其他车辆系统。
在一个例子中,在锁定拖车端部位置130之后,保持该位置,直到拖车端部位置130重新进入一个所述视场。在替代例子中,诸如在运动模型取决于车辆100的速度、转向角或任何类似参数的例子中,可以在“保持运动模型和更新”步骤360中在初始时间段之后保持该运动模型,并且每当时间段过去时可以更新所估计的拖车端部位置,直到拖车端部130重新进入框架。
继续参照图1A至图4,图5A和图5B示意性示出了拖车端部130可见(图5A)和拖车端部不可见(图5B)的拖车110的II级视角。在每个图中,示例性拖车端部线134人机界面被定位成从拖车110的端部130或假定端部水平地延伸。
尽管已经公开了示例实施方式,但是本领域普通技术人员将认识到某些修改将落入权利要求的范围内。因此,应研究所附的权利要求来确定其真实范围和内容。

Claims (19)

1.一种使用控制器跟踪图像中的拖车端部的方法,所述方法包括:
从至少一个摄像头接收图像;
识别所述图像中的拖车端部,并且使用控制器在一定时间段内通过所述图像跟踪所述拖车端部的运动;
使用所述控制器通过所述图像基于所述拖车端部的运动来生成运动模型;以及
响应于所述时间段的消逝和所述拖车端部使用所述控制器不可见,通过在延迟时间段内保持每个所述运动模型的拖车端部的运动并且建立由所述运动模型在所述延迟时间段结束时指示的估计的拖车端部位置,来对所述拖车端部离开所述图像做出响应。
2.根据权利要求1所述的方法,其中生成所述运动模型取决于以下中的至少一个:车辆速度、测量的拖车角度、拖车长度、转向角、转向架横摆率、变速器档位以及内在和外在的摄像头传感器信息。
3.根据权利要求2所述的方法,其中所述延迟时间段取决于以下中的至少一个:车辆速度、测量的拖车角度、拖车长度、转向角和转向架横摆率、变速器档位以及内在和外在的摄像头传感器信息。
4.根据权利要求1所述的方法,其中所述延迟时间段是预定时间段。
5.根据权利要求1所述的方法,其中所述运动模型是通过所述图像的所述拖车端部的运动趋势的模型。
6.根据权利要求1所述的方法,其中所述运动模型是通过3D坐标系的所述拖车端部的运动趋势的模型,并且至少部分地基于所述拖车端部在所述图像中的位置来确定所述3D坐标系中的所述拖车端部位置。
7.根据权利要求1所述的方法,其还包括将所述拖车端部位置提供给所述控制器的人机界面(HMI)模块,并且使用所述HMI模块基于所估计的拖车端部位置显示视觉增强。
8.根据权利要求7所述的方法,其中所述视觉增强包括从所述拖车端部位置延伸的水平线,并且其中当所述拖车端部不可见时,保持所述视觉增强。
9.根据权利要求1所述的方法,其还包括:将所估计的拖车端部位置转换为三维坐标位置,并且将所述三维坐标位置提供给自动驾驶员辅助系统和半自动驾驶员辅助系统中的至少一个。
10.根据权利要求1所述的方法,其中生成所述运动模型包括通过所述图像确定所述拖车端部位置的恒定速度(CV)、恒定加速度(CA)和协调转弯恒定加速度(CTCA)中的每一个。
11.一种用于车辆的摄像头监测系统(CMS),其包括:
设置在车辆的第一侧处的至少一个第一摄像头,所述至少一个第一摄像头限定第一视场,所述第一视场被配置为当拖车连接至所述车辆时包括拖车;以及设置在所述车辆的第二侧处的至少一个第二摄像头,所述至少一个第一摄像头限定第二视场,所述第二视场被配置为当所述拖车连接至所述车辆时包括所述拖车;
通信地耦合至所述至少一个第一摄像头和所述至少一个第二摄像头中的每一个的CMS控制器,所述CMS控制器被配置为使用来自所述至少一个第一摄像头和所述至少一个第二摄像头的图像来生成至少一个图像;
多个显示器,每个显示器面向车辆操作者位置并且被配置为显示所述至少一个图像中的至少一个图像;以及
所述控制器内的拖车端部跟踪模块,所述跟踪模块被配置为使所述控制器识别来自所述至少一个第一摄像头和所述至少一个第二摄像头的所述图像中的拖车端部,通过所述图像基于所识别的拖车端部的运动来生成运动模型,并且通过使用所确定的运动模型来估计连续的拖车端部位置而对所述拖车端部离开所述第一视场和所述第二视场中之一做出响应。
12.根据权利要求11所述的CMS,其中使用所确定的运动模型来估计所述连续的拖车端部位置包括:响应于所述拖车端部在延迟时间段内不进入所述第一视场和所述第二视场中之一,建立静止的估计的拖车端部位置。
13.根据权利要求12所述的CMS,其中所述延迟时间段是存储在所述控制器内的预定时间段。
14.根据权利要求12所述的CMS,其中所述运动模型包含至少一个测量的车辆参数,并且其中所述延迟时间段取决于所述至少一个测量的车辆参数。
15.根据权利要求14所述的CMS,其中所述至少一个测量的车辆参数包括以下中的至少一个:所述车辆速度、测量的拖车角度、拖车长度、转向角、转向架横摆率、变速器档位以及内在和外在的摄像头传感器信息。
16.根据权利要求12所述的CMS,其中所述控制器包括人机界面(HMI)模块,所述人机界面(HMI)模块被配置为将拖车端部视觉增强特征叠加在所述至少一个图像上。
17.根据权利要求16所述的CMS,其中所述拖车端部视觉增强特征是水平线,当所述拖车端部处于所述第一视场和所述第二视场中之一中时,所述水平线从所述拖车端部延伸,并且当所述拖车端部不在所述第一视场和所述第二视场中之一中时,所述水平线从所估计的拖车端部位置延伸。
18.根据权利要求16所述的CMS,其中所述第一视场和所述第二视场是IV级视场。
19.根据权利要求11所述的CMS,其中所述控制器还被配置为将所估计的拖车位置输出到所述车辆的自动或半自动驾驶员辅助系统。
CN202211291581.XA 2021-10-19 2022-10-19 摄像头监测系统中的拖车端部跟踪 Pending CN115995071A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163257165P 2021-10-19 2021-10-19
US63/257,165 2021-10-19

Publications (1)

Publication Number Publication Date
CN115995071A true CN115995071A (zh) 2023-04-21

Family

ID=83688666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211291581.XA Pending CN115995071A (zh) 2021-10-19 2022-10-19 摄像头监测系统中的拖车端部跟踪

Country Status (5)

Country Link
US (1) US20230125045A1 (zh)
EP (1) EP4170590A1 (zh)
JP (1) JP2023061377A (zh)
CN (1) CN115995071A (zh)
BR (1) BR102022020532A2 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8611591B2 (en) * 2007-12-21 2013-12-17 21 Ct, Inc. System and method for visually tracking with occlusions
US11565693B2 (en) * 2018-05-03 2023-01-31 Honda Motor Co., Ltd. Systems and methods for distracted driving detection
US20200346581A1 (en) * 2019-05-02 2020-11-05 Jared Lawson Trailer tracking commercial vehicle and automotive side view mirror system
US11628769B2 (en) * 2020-02-10 2023-04-18 Ford Global Technologies, Llc Vehicle mirror system having trailer towing adjustment
US11780429B2 (en) * 2021-02-08 2023-10-10 Aptiv Technologies Limited Target curvature estimation considering vehicle dynamics
US11858529B1 (en) * 2021-09-30 2024-01-02 Zoox, Inc. Predicting articulated object states

Also Published As

Publication number Publication date
EP4170590A1 (en) 2023-04-26
US20230125045A1 (en) 2023-04-20
BR102022020532A2 (pt) 2023-05-09
JP2023061377A (ja) 2023-05-01

Similar Documents

Publication Publication Date Title
EP2485203B1 (en) Vehicle-surroundings monitoring device
EP3790745B1 (en) Visual object tracker
US20210078634A1 (en) Vehicular trailering assist system
JP5022609B2 (ja) 撮像環境認識装置
JP5620472B2 (ja) 車両の駐車に使用するためのカメラシステム
US9734719B2 (en) Method and apparatus for guiding a vehicle in the surroundings of an object
US20150293534A1 (en) Vehicle control system and method
US20130096820A1 (en) Virtual display system for a vehicle
EP4070996B1 (en) Auto panning camera mirror system including image based trailer angle detection
US11325470B2 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle
US11833968B2 (en) Imaging system and method
KR102130059B1 (ko) 디지털 백미러 제어 유닛 및 방법
CN108422932B (zh) 驾驶辅助系统、方法和车辆
CN112129313A (zh) 基于惯性测量单元的ar导航补偿系统
EP4025461B1 (en) Transparent trailer articulation view
US11607999B2 (en) Method and apparatus for invisible vehicle underbody view
KR101849326B1 (ko) 차량용 카메라 시스템
CN115995071A (zh) 摄像头监测系统中的拖车端部跟踪
US20240087331A1 (en) Camera monitoring system including trailer presence detection using optical flow
CN112449625A (zh) 用于在由牵引车辆和拖车组成的挂车组合的调度操作情况下进行辅助的方法、系统和挂车组合
US20230202395A1 (en) Camera monitor system including integrated range sensor
WO2018037032A1 (en) A vehicle camera system
US20240087159A1 (en) Camera monitor system for commercial vehicles including wheel position estimation
CN117183894A (zh) 包括基于图像的拖车角度检测的自动摇摄相机监测系统
EP4361999A1 (en) Camera monitor system with angled awareness lines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication