CN109070801B - 使用后置相机的拖车角度检测 - Google Patents

使用后置相机的拖车角度检测 Download PDF

Info

Publication number
CN109070801B
CN109070801B CN201780024603.7A CN201780024603A CN109070801B CN 109070801 B CN109070801 B CN 109070801B CN 201780024603 A CN201780024603 A CN 201780024603A CN 109070801 B CN109070801 B CN 109070801B
Authority
CN
China
Prior art keywords
controller
values
vehicle
trailer
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780024603.7A
Other languages
English (en)
Other versions
CN109070801A (zh
Inventor
R.贾纳尔达纳
M.巴兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN109070801A publication Critical patent/CN109070801A/zh
Application granted granted Critical
Publication of CN109070801B publication Critical patent/CN109070801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D13/00Steering specially adapted for trailers
    • B62D13/005Steering specially adapted for trailers operated from tractor steering system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D13/00Steering specially adapted for trailers
    • B62D13/06Steering specially adapted for trailers for backing a normally drawn trailer
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/028Guided parking by providing commands to the driver, e.g. acoustically or optically
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

检测车辆(100)的拖车(102)的拖车角度检测系统和方法包括广角相机(115)和控制器(110)。控制器被配置为从广角相机接收代表车辆后方区域的信号。控制器将所述信号变换为自顶向下图像。控制器确定第一多个值。第一多个值中的每个值指示自顶向下图像的区中的对称量。控制器确定第二多个值。第二多个值中的每个值指示自顶向下图像中的形状与预定形状有多紧密地匹配。然后,控制器基于第一多个值和第二多个值来确定铰接角度的估计。然后,控制器基于铰接角度的估计来执行自动化车辆操控。

Description

使用后置相机的拖车角度检测
相关申请
本申请要求于2016年4月21日提交的美国非临时申请号15/134966的优先权,通过引用将其全部内容合并于本文。
技术领域
本发明的实施例涉及自动化车辆控制系统。
背景技术
自动化车辆控制系统为车辆提供各种类型的功能性。自动化车辆控制系统的一个功能是在拖车耦合到车辆时执行自动化操控。由于车辆的驾驶员归因于例如拖车而可能具有遮挡的视野,并且由于在拖车耦合到车辆(车辆-拖车组合)的情况下车辆的手动操控可能是困难的,因此自动化功能性可以为驾驶员提供益处。
发明内容
自动化车辆控制系统的一个示例通过基于各种输入自动控制车辆的速度和方向来辅助驾驶员停放车辆-拖车组合。一种类型的输入可以包括拖车的铰接角度(例如,拖车关于车辆的角度)。先前,自动化控制系统依靠专用角度传感器来检测铰接角度。本文呈现的实施例可以放弃专用角度传感器并提供基于广角相机来确定铰接角度的系统和方法。
一个实施例提供一种用于车辆的拖车角度检测系统。所述系统包括被配置为捕获车辆的后视场的广角相机。所述系统还包括具有电子处理器和存储器的控制器。控制器通信地耦合到广角相机并且被配置为从广角相机接收代表车辆后方区域的信号。控制器将所述信号变换为自顶向下图像。控制器确定第一多个值。第一多个值中的每个值指示自顶向下图像的区中的对称量。控制器确定第二多个值。第二多个值中的每个值指示自顶向下图像中的形状与预定形状有多紧密地匹配。然后,控制器基于第一多个值和第二多个值来确定铰接角度的估计。控制器基于铰接角度的估计来执行自动化车辆操控。
另一个实施例提供一种执行用于车辆的拖车角度检测的方法。所述方法包括在控制器处从广角相机接收代表车辆后方区域的信号。控制器将所述信号变换为自顶向下图像。然后,控制器确定第一多个值。第一多个值中的每个值指示自顶向下图像的区中的对称量。控制器确定第二多个值,第二多个值中的每个值指示自顶向下图像中的形状与预定形状有多紧密地匹配。所述方法包括由控制器基于第一多个值和第二多个值来确定铰接角度的估计,并基于铰接角度的估计来执行自动化车辆操控。
通过考虑详细描述和附图,本发明的其他方面和实施例将变得清楚。
附图说明
图1是根据一个实施例的装备有拖车角度检测系统的车辆的框图。
图2是根据一个实施例的图1的拖车角度检测系统的控制器的框图。
图3是根据一个实施例的利用图1的拖车角度检测系统来执行角度检测的方法的流程图。
图4是根据一个实施例的利用图1的拖车角度检测系统使用对称性来确定第一多个值的方法的流程图。
图5是根据一个实施例的利用图1的拖车角度检测系统使用对象的形状来确定第二多个值的方法的流程图。
图6A和6B是根据一个实施例的由图1的拖车角度检测系统捕获的拖车耦合器的自顶向下图像,所述自顶向下图像被分析以确定对称性。
图7是根据一个实施例的基于图6A和6B的拖车耦合器的自顶向下图像在多个角度上的对称分数的图表。
图8A和8B是根据一个实施例的由图1的拖车角度检测系统捕获的拖车耦合器的自顶向下图像,所述自顶向下图像针对形状和取向被分析。
图9是根据一个实施例的基于图8A和8B的拖车耦合器的自顶向下图像在多个角度上的形状分数的图表。
具体实施方式
在详细解释任何实施例之前,要理解的是本发明在其应用方面不限制于以下描述中阐述的或所附附图中图示的组件的构造细节和布置。本发明能够具有其他实施例并且能够以各种方式被实践或施行。
可以使用多个基于硬件和软件的设备以及多个不同结构组件来实现本文讨论的实施例。此外,实施例可以包括硬件、软件和电子组件或模块,出于讨论的目的可以如同多数组件被独自实现在硬件中那样说明和描述所述电子组件或模块。然而,本领域的普通技术人员,并基于对本详细描述的阅读将认识到,在至少一个实施例中,基于电子的方面可以被实现在由一个或多个处理器可执行的软件(例如,存储在非暂时性计算机可读介质上)中。这样,可以利用多个基于硬件和软件的设备以及多个不同结构组件来实现各种实施例。例如,说明书中描述的“控制单元”和“控制器”可以包括一个或多个处理器、一个或多个包括非暂时性计算机可读介质的存储器模块、一个或多个输入/输出接口以及连接组件的各种连接(例如,系统总线)。
图1图示了装备有拖车角度检测系统105并且耦合到拖车102的车辆100。在说明性实施例中,拖车角度检测系统105由包括控制器110(例如,可编程电子控制单元)、广角相机115(例如,全方位相机)、用户接口120和一组车辆控制部125的多个组件构成。控制器110经由各种有线或无线连接通信地耦合到广角相机115、用户接口120和一组车辆控制部125。例如,在一些实施例中,控制器110经由专用线直接耦合到广角相机115、用户接口120和一组车辆控制部125中的每个。在其他实施例中,控制器110经由诸如车辆通信总线(例如,控制器区域网络(CAN)总线)或车辆网络(例如,无线连接)之类的共享通信链路而通信地耦合到广角相机115、用户接口120和一组车辆控制部125。
拖车角度检测系统105的组件可以具有各种构造和类型。例如,广角相机115可以是广角全景相机(例如,具有鱼眼镜头的相机)或产生车辆100的周围的全方位图像或近全方位图像的全方位相机。在一些实施例中,广角相机115可以是外部或内部可安装的视频相机,其可以被配置为附接到车辆100的后部。广角相机115可以受内部控制并且可以根据内部定位的硬件来处理视频或图像,所述硬件包括电子处理器或专用集成电路(ASIC)。在其他实施例中,广角相机115可以捕获图像并将原始图像传输到控制器110,然后所述控制器110可以处理由广角相机115产生的原始图像。因而,广角相机115或控制器110可以执行如下面的方法中描述的用于图像变换、对称性检测和形状检测的所有或一些处理步骤。
用户接口120可以包括用于向车辆100的用户呈现信息和状态的显示器。在一些实施例中,用户接口120可以显示由广角相机115捕获的视频或图像。因而,用户接口120可以通过提供从车辆100来看的包括拖车102的后视图来辅助驾驶员。用户接口120还可以包括图形指示符,所述图形指示符包括由广角相机115或控制器110生成的指南、行进路径指示符、警告等。用户接口120还可以包括按钮、旋钮、触摸屏等以从车辆100的用户接收输入和选择。在这些实施例中,控制器110可以将车辆相关信息发送到显示器并从用户接口120接收与车辆100的控制相关的用户所选择指令。
在一些实施例中,用户接口120定位于车辆100外部,并且被配置为由用户提供对车辆100的远程监视和控制。例如,用户接口120可以是经由无线连接(例如,Wi-Fi、蓝牙等)通信地耦合到车辆100的移动设备(例如,移动电话、膝上型电脑、平板等)。在其他实施例中,用户接口120内部定位在车辆100内。例如,用户接口120可以与导航系统、音频系统或各种其他用户接口集成。在任何这些上文描述的实施例中,用户接口120可以将与车辆100的操作相关的控制信息传输到控制器110,所述控制信息包括手动选择的拖车停放角度、手动选择的倒车速度等。
一组车辆控制部125可以包括各种自动化控制部。例如,车辆控制部125可以包括自动化转向控制部、自动化刹车控制部、自动化节气门控制部等。车辆控制部125中的每个可以具有与控制器110分离的专用或共享控制单元。控制器110可以将控制信号发送到一组车辆控制部125以引发自动化驾驶操控的执行。例如,一组车辆控制部125可以实现对执行自动化停放、自动化拖车对准等必要的功能。
拖车角度检测系统105的每个上文列出的组件可以包括专用处理电路,所述专用处理电路包括用于接收数据、处理数据和传输数据的电子处理器和存储器。以这种方式,拖车角度检测系统105的每个组件可以与控制器110通信并执行本文呈现的方法中描述的功能性的部分。图1中图示的示例性实施例仅提供拖车角度检测系统105的组件和连接的一个示例。然而,这些组件和连接可以以除了所图示和描述的那些方式之外的其他方式来构造。
图2是根据一个实施例的拖车角度检测系统105的控制器110的框图。控制器110包括为控制器110内的组件和模块提供电力、操作控制和保护的多个电气和电子组件。除了其他事物外,控制器110还包括电子处理器205(诸如可编程电子微处理器、微控制器或相似设备)、存储器210(例如,非暂时性机器可读存储器)和输入/输出接口215。在其他实施例中,控制器110包括附加的、更少的或不同的组件。控制器110可以被实现在若干个独立控制器(例如,电子控制单元)中,每个独立控制器被配置为执行具体功能或子功能。此外,控制器110可以包含子模块,所述子模块包括用于处置输入/输出功能、信号的处理以及下面所列出方法的应用的附加电子处理器、存储器或专用集成电路(ASIC)。
除了其他事物外,控制器110和相关联的系统还被配置为实现本文描述的过程和方法。电子处理器205通信地耦合到存储器210并执行能够存储在存储器210上的指令。电子处理器205被配置为从存储器210检索并执行与拖车角度检测系统105的操作方法相关的指令。如下面进一步描述的,存储器210可以包括存储对象的预定(例如预分类)图像的数据库来为拖车角度检测系统105检测和分类对象的形状和取向。在一些实施例中,输入/输出接口215包括驱动器、继电器、开关等以基于来自电子处理器205的指令来操作一组车辆控制部125。在一些实施例中,输入/输出接口215借助于诸如J1939或CAN总线之类的协议来与车辆控制单元和控制系统通信。在其他实施例中,输入/输出接口215取决于具体应用的需要而在包括模拟或数字信号的其他合适的协议下通信。
图3图示了根据一个实施例的操作拖车角度检测系统105的方法300的流程图。在图3的说明性实施例中,控制器110从广角相机115接收代表车辆后方区域的信号(块305)。在一些实施例中,广角相机115捕获包括车辆100的后部、车辆100后方的区域和车辆100后方的对象(例如,拖车102)的图像。控制器110将来自广角相机115的信号变换为车辆100后方的区域的自顶向下图像。例如,控制器110可以被配置为通过将由广角相机115产生的全方位图像的每个像素转换为直线图像中的对应像素来执行变换。随着全方位图像的每个像素被映射到直线图像的每个像素,控制器110将视场从广角相机115上居中的视场转移到虚拟的自顶向下图像,所述虚拟的自顶向下图像代表车辆100的后部、车辆100后方的区域和车辆100后方的对象(例如,拖车102)的鸟瞰图。
一旦自顶向下图像被构造,控制器110就确定指示自顶向下图像的区中的对称量的第一多个值(块315)。在参考图4的方法400中更详细地描述了第一多个值的确定。控制器110还确定第二多个值,所述第二多个值指示自顶向下图像中的形状与预定形状有多紧密地匹配,以及在一些实施例中,与形状的预定取向有多紧密地匹配(块320)。在参考图5的方法500中更详细地描述了第二多个值的确定。
基于第一多个值和第二多个值,控制器110确定铰接角度的估计(即,拖车关于车辆100的角度)(块325)。在一些实施例中,铰接角度的估计被确定为拖车的中心线关于车辆100的中心线(即,垂直于车辆100的后轴的虚拟线)的角度。基于铰接角度的估计,控制器110执行车辆100的自动化操控(块330)。特别地,自动化操控可以包括车辆100和拖车102的自动化停放。在该示例中,控制器110向一组车辆控制部125发送指令来将车辆100和拖车102操控到用户所选择的停放位中。在其他实施例中,控制器110基于估计的铰接角度来发送指令以执行诸如拖车对准、稳定性控制、自动化驾驶等各种其他操控。
方法300的步骤的顺序对于方法300的性能而言不是关键的,并且可以以可替换顺序执行或者同时执行。在一个实施例中,方法300循环通过多次迭代,所述多次迭代在车辆100执行自动化驾驶操控时持续更新铰接角度的估计。
图4图示了根据一个实施例的确定指示自顶向下图像中的对称量的第一多个值(见块315)的方法400的流程图。在说明性实施例中,控制器110在关于车辆100的中心线的多个角度(即,测量角度)处扫描自顶向下图像(块405)。控制器110针对多个角度中的每个角度处的对称性分析自顶向下图像(块410)。
控制器110计算多个角度中的每个角度处的指示对称量的对称分数(块415)。例如,控制器110可以将在一条参考线的第一侧的自顶向下图像的第一部分与在所述一条参考线的第二侧的自顶向下图像的第二部分进行比较。如下面更详细描述的,控制器110可以将第一部分的每个像素与第二部分的每个像素进行比较以生成对称分数。
图5图示了根据一个实施例的确定第二多个值(见块320)的方法500的流程图,所述第二多个值指示自顶向下图像中的形状与预定形状有多紧密地匹配。在说明性实施例中,控制器110在关于车辆100的中心线的多个角度处扫描自顶向下图像。控制器110针对多个角度中的每个角度处的形状分析自顶向下图像(块510)。控制器110计算多个角度中的每个角度处的指示形状与预定形状有多紧密地匹配的形状分数(块515)。在一些实施例中,当执行自顶向下图像的扫描时,控制器110基于自顶向下图像中的形状与预定U形和取向有多紧密地匹配来计算形状分数。
在方法400和方法500的一个实施例中,当分析自顶向下图像时,控制器110在自顶向下图像的底部中心处设置原点。原点可以与广角相机115在自顶向下图像内的位置近似重合。在该实施例中,控制器110设置多条参考线,每条参考线跨自顶向下图像从原点径向延伸。多条参考线中的每条参考线由与中心线所成的多个角度中的每个角度限定。此外,在一些实施例中,在方法400和方法500的块405和块505中的自顶向下图像的扫描分别从-90°到90°以1°的角度间隔发生。因而,对于两种方法,控制器110可以在180个角度处以及在180条参考线处执行扫描。在其他实施例中,取决于对于特定应用所需要的分辨率或准确度而使用更大或更小的角度间隔。
图6A和6B图示了根据一个实施例的由拖车角度检测系统105捕获的自顶向下图像的示例的部分,所述自顶向下图像包括拖车102的拖车耦合器605。在图6A和6B中,拖车耦合器605的中心线与车辆100的中心线近似对准。特别地,图6A和6B图示了自顶向下图像的拖车102的中心线与车辆100的中心线成-1°角度的部分。这指示拖车的铰接角度也关于车辆100的中心线成-1°。基于在图6A的左侧捕获的自顶向下图像,控制器110如上文方法400中所描述的那样生成多个角度和多条参考线。
在图6A的说明性示例中,车辆100的中心线对应于多条参考线中的一条的第一示例,其在车辆100的中心线处被限定为0°参考线610。基于0°参考线610,控制器110分析在0°参考线610的第一侧620的第一图像615和在0°参考线610的第二侧630的第二图像625。第一图像615或第二图像625中的一个可以被反转(例如,形成镜像)以供控制器110比较对称性,在该说明性示例中被反转的是第二图像625。由于拖车的铰接角度(-1°)接近于0°参考线610,因此第一图像615和第二图像625紧密匹配。因而,控制器110为0°参考线610分配指示高对称水平的对称分数。
相似地,图6B图示了根据一个实施例的由拖车角度检测系统105捕获的自顶向下图像的示例的部分,所述自顶向下图像包括拖车102的拖车耦合器605。在图6B的说明性示例中,在自顶向下图像的部分中图示了多条参考线中的一条的第二示例。特别地,图示了-30°参考线650,其中拖车102仍然定位在-1°铰接角度处。基于-30°参考线650,控制器110分析在-30°参考线650的第一侧660的第一图像655和在-30°参考线650的第二侧670的第二图像665。如先前的示例中那样,第一图像655或第二图像665中的一个可以被反转(例如,形成镜像)以供控制器110比较对称性,在该说明性示例中被反转的是第二图像665。由于拖车的铰接角度(-1°)非常不同于-30°参考线650,因此第一图像655和第二图像665不相似,并且因此,控制器110为-30°参考线650分配指示低对称水平的对称分数。
如参考图4所描述的,控制器110针对对称性分析所有多个角度处的自顶向下图像的部分。在图7中针对如图6A和6B中所图示的拖车耦合器605绘制了示例性分析。在纵轴上绘制了对称分数,并且在横轴上绘制了多个角度。在该示例中,拖车关于车辆100的实际铰接角度是与车辆100的中心线成-1°。因而,在-1°参考线处,由广角相机115捕获的自顶向下图像几乎完全对称,并且因此,对称分数指示高水平对称性,在该实施例中对称分数被图示为低数值。然而,在其他实施例中,对称分数利用高数值来指示高对称水平。
图8A和8B图示了自顶向下图像的示例,所述自顶向下图像的示例包括以与图6A和6B中相同的配置定位的拖车耦合器605。特别地,图8A和8B图示了在-1°铰接角度处的拖车102。基于在图8A的左侧捕获的自顶向下图像,控制器110如上文方法500中所描述的那样针对在多个角度中的每个角度处的形状分析自顶向下图像。例如,控制器110检测自顶向下图像内的形状,并将形状与存储在控制器110的存储器210内的预定形状进行比较。在一些实施例中,预定形状是近似于典型拖车耦合器的形状的直立U形。当拖车耦合器605定位在显著不同于-0°铰接角度的铰接角度处时,拖车耦合器605在自顶向下图像中表现为向一侧或另一侧取向的U形。当控制器110针对形状分析自顶向下图像时,控制器110可以基于测量角度校正自顶向下图像中的检测到的形状的取向或预定形状的取向来对准形状以供比较。在一个示例性实施例中,当在-30°铰接角度处检测到拖车耦合器605的U形时,在与预定形状进行比较之前,控制器110可以将U形旋转30°。在另一示例性实施例中,当在相同的-30°铰接角度处检测到拖车耦合器605的U形时,在比较之前,控制器110可以将预定形状旋转30°。
在图8A的说明性示例中,示出了在多个角度中的0°测量角度(即,车辆100的中心线)处的形状检测。框810图示了U形对象(即,拖车耦合器605的周界)的形状检测。在图8A的右侧图示的特写视图示出了拖车耦合器605的U形。由于拖车耦合器605定位在-1°的铰接角度处,因此0°测量角度提供具有与预定U形紧密相关的形状的自顶向下图像。然而,因为U形轻微偏离取向并且由于在0°测量角度处未发生旋转校正,形状分数将不会指示最高匹配。在该示例中,-1°测量角度处的形状检测在旋转校正之后将导致精确匹配。
图8B图示了在30°测量角度处的形状检测。在该情况下,控制器110分析如在图8B的右侧图示的自顶向下图像。在该示例中,通过基于30°测量角度旋转-30°,已经针对取向校正了在图8B右侧的自顶向下图像。如所图示的,U形存在,但是取向与预定直立U形不匹配。因而,在30°测量角度处的形状分数指示匹配不佳。
在图9中针对如图8A和8B中所图示的拖车耦合器605绘制了示例性分析。在纵轴上绘制了形状分数,并且在横轴上绘制了多个角度。如先前的示例中那样,拖车关于车辆100的实际铰接角度是与车辆100的中心线成-1°。因而,在-1°测量角度处,由广角相机115捕获的自顶向下图像与预定U形和取向几乎精确匹配,并且因此,形状分数指示高匹配水平,在该实施例中,形状分数被图示为低数值。然而,在其他实施例中,形状分数的高数值可以指示高匹配水平。
一旦在多个角度处确定对称分数和形状分数两者,控制器110就比较对称分数和形状分数以确定在哪个测量角度处对称性和形状匹配是最大的。例如,控制器110可以组合图7和图9中绘制的结果,并确定在-1°测量角度处对称性和形状匹配是最大的(例如,组合可以是乘法、求和或其他组合)。在该示例中,一旦对称分数和形状分数被比较,控制器110就产生铰接角度的估计以等于-1°测量角度。
因此,除了其他事物外,本发明的实施例还提供拖车角度检测系统和用于操作装备有拖车角度检测系统的车辆的方法。所述拖车角度检测系统和相关联的方法通过各种图像处理技术来确定拖车的估计铰接角度,并基于铰接角度来执行自动化车辆操控。
在所附权利要求中阐述了本发明的各种特征和优势。

Claims (20)

1.一种用于车辆的拖车角度检测系统,所述系统包括:
被配置为捕获车辆的后视场的广角相机;以及
包括电子处理器和存储器的控制器,控制器通信地耦合到广角相机并被配置为
从广角相机接收代表车辆后方区域的信号;
将所述信号变换为自顶向下图像;
确定第一多个值,所述第一多个值中的每个值指示自顶向下图像的区中的对称量;
确定第二多个值,所述第二多个值中的每个值指示自顶向下图像中的形状与预定形状有多紧密地匹配;
基于所述第一多个值和所述第二多个值来确定铰接角度的估计;以及
基于铰接角度的估计来执行自动化车辆操控。
2.根据权利要求1所述的拖车角度检测系统,还包括:
通信地耦合到控制器的用户接口,用户接口被配置为从用户接收与自动化车辆操控相关的指令。
3.根据权利要求2所述的拖车角度检测系统,其中用户接口是定位于车辆外部的移动设备。
4.根据权利要求1所述的拖车角度检测系统,还包括被配置为向车辆的用户显示自顶向下图像的显示器。
5.根据权利要求1所述的拖车角度检测系统,其中控制器被配置为通过在多个角度处扫描自顶向下图像并针对所述多个角度中的每个角度确定对称分数,来确定所述第一多个值。
6.根据权利要求5所述的拖车角度检测系统,其中控制器被配置为通过将在参考线的第一侧的第一区与在所述参考线的第二侧的第二区进行比较来计算对称分数,所述参考线由所述多个角度中的一个角度限定。
7.根据权利要求1所述的拖车角度检测系统,其中控制器被配置为通过在多个角度处扫描自顶向下图像并确定在所述多个角度中的每个角度处的形状分数,来确定所述第二多个值,其中形状分数指示自顶向下视图内的对象的形状与预定形状有多紧密地匹配。
8.根据权利要求7所述的拖车角度检测系统,其中预定形状是代表拖车耦合器的U形。
9.根据权利要求1所述的拖车角度检测系统,其中控制器被配置为基于所述第一多个值和所述第二多个值,通过选择在其处对称分数和形状分数的组合是最大的角度来确定铰接角度的估计。
10.根据权利要求1所述的拖车角度检测系统,其中控制器被配置为基于铰接角度的估计,通过自动停放车辆来执行自动化车辆操控。
11.一种执行用于车辆的拖车检测的方法,所述方法包括:
在控制器处从广角相机接收代表车辆后方区域的信号;
将所述信号变换为自顶向下图像;
由控制器确定第一多个值,所述第一多个值中的每个值指示自顶向下图像的区中的对称量;
由控制器确定第二多个值,所述第二多个值中的每个值指示自顶向下图像中的形状与预定形状有多紧密地匹配;
由控制器基于所述第一多个值和所述第二多个值来确定铰接角度的估计;以及
基于铰接角度的估计来执行自动化车辆操控。
12.根据权利要求11所述的方法,还包括在控制器处从用户接口接收指令,所述指令与自动化车辆操控相关。
13.根据权利要求12所述的方法,其中接收指令包括从定位于车辆外部的移动设备接收指令。
14.根据权利要求11所述的方法,还包括在显示器上显示自顶向下图像以供车辆的用户查看。
15.根据权利要求11所述的方法,其中确定所述第一多个值包括在多个角度处扫描自顶向下图像,并针对所述多个角度中的每个角度确定对称分数。
16.根据权利要求15所述的方法,其中确定对称分数包括将在参考线的第一侧的第一区与在所述参考线的第二侧的第二区进行比较,所述参考线由所述多个角度中的一个角度限定。
17.根据权利要求11所述的方法,其中确定所述第二多个值包括
在多个角度处扫描自顶向下图像;以及
确定在所述多个角度中的每个角度处的形状分数,其中形状分数指示自顶向下视图内的对象的形状与预定形状有多紧密地匹配。
18.根据权利要求17所述的方法,其中预定形状是代表拖车耦合器的U形。
19.根据权利要求11所述的方法,其中基于所述第一多个值和所述第二多个值来确定铰接角度的估计包括选择在其处对称分数和形状分数的组合是最大的角度。
20.根据权利要求11所述的方法,其中基于铰接角度的估计来执行自动化车辆操控包括自动停放车辆。
CN201780024603.7A 2016-04-21 2017-03-09 使用后置相机的拖车角度检测 Active CN109070801B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/134966 2016-04-21
US15/134,966 US10011299B2 (en) 2016-04-21 2016-04-21 Trailer angle detection using rear camera
PCT/EP2017/055550 WO2017182193A1 (en) 2016-04-21 2017-03-09 Trailer angle detection using rear camera

Publications (2)

Publication Number Publication Date
CN109070801A CN109070801A (zh) 2018-12-21
CN109070801B true CN109070801B (zh) 2021-12-21

Family

ID=58266610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780024603.7A Active CN109070801B (zh) 2016-04-21 2017-03-09 使用后置相机的拖车角度检测

Country Status (4)

Country Link
US (1) US10011299B2 (zh)
EP (1) EP3445610B1 (zh)
CN (1) CN109070801B (zh)
WO (1) WO2017182193A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10532698B2 (en) * 2017-07-14 2020-01-14 Magna Electronics Inc. Trailer angle detection using rear backup camera
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
US10670725B2 (en) * 2017-07-25 2020-06-02 Waymo Llc Determining yaw error from map data, lasers, and cameras
US10351061B1 (en) * 2018-03-09 2019-07-16 Deere & Company Implement attachment guidance system
US11358637B2 (en) * 2019-12-16 2022-06-14 GM Global Technology Operations LLC Method and apparatus for determining a trailer hitch articulation angle in a motor vehicle
US11537120B2 (en) 2020-11-17 2022-12-27 Ford Global Technologies, Llc Systems and methods for providing enhanced feedback on a personal communication device used for vehicle maneuvering

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101132536A (zh) * 2006-08-21 2008-02-27 三洋电机株式会社 图像处理装置和车辆周边视场支援装置
CN101270983A (zh) * 2007-03-21 2008-09-24 福特环球技术公司 车辆操纵辅助装置
CN104590372A (zh) * 2013-10-31 2015-05-06 福特全球技术公司 用于监控标记在挂车上的放置的方法和系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034768A (ja) 1999-07-26 2001-02-09 Kao Corp 物品の向き認識方法
DE10035223A1 (de) 2000-07-20 2002-01-31 Daimler Chrysler Ag Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts
US7231065B2 (en) * 2004-03-15 2007-06-12 Embarcadero Systems Corporation Method and apparatus for controlling cameras and performing optical character recognition of container code and chassis code
DE102008045436A1 (de) 2008-09-02 2010-03-04 Volkswagen Ag Verfahren und Vorrichtung zum Bestimmen eines Knickwinkels zwischen einem Zugfahrzeug und einem Anhänger
US8138899B2 (en) 2009-07-01 2012-03-20 Ford Global Technologies, Llc Rear camera backup assistance with touchscreen display using two points of interest
JP5316337B2 (ja) 2009-09-17 2013-10-16 日本電気株式会社 画像認識システム、方法、及び、プログラム
WO2012103193A1 (en) * 2011-01-26 2012-08-02 Magna Electronics Inc. Rear vision system with trailer angle detection
US10196088B2 (en) 2011-04-19 2019-02-05 Ford Global Technologies, Llc Target monitoring system and method
US9290204B2 (en) 2011-04-19 2016-03-22 Ford Global Technologies, Llc Hitch angle monitoring system and method
US9283892B2 (en) * 2011-04-19 2016-03-15 Ford Global Technologies, Llc Method and system for monitoring placement of a target on a trailer
US20130038731A1 (en) 2011-08-09 2013-02-14 Continental Automotive Systems, Inc. Moveable backup camera
US9154746B2 (en) 2012-07-20 2015-10-06 Scott Kageta Rear camera system for a vehicle with a trailer
US20140151979A1 (en) 2012-12-03 2014-06-05 Fontaine Fifth Wheel Fifth Wheel Backup Camera System and Method
US20150286878A1 (en) 2014-04-08 2015-10-08 Bendix Commercial Vehicle Systems Llc Generating an Image of the Surroundings of an Articulated Vehicle
US9437055B2 (en) 2014-08-13 2016-09-06 Bendix Commercial Vehicle Systems Llc Cabin and trailer body movement determination with camera at the back of the cabin

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101132536A (zh) * 2006-08-21 2008-02-27 三洋电机株式会社 图像处理装置和车辆周边视场支援装置
CN101270983A (zh) * 2007-03-21 2008-09-24 福特环球技术公司 车辆操纵辅助装置
CN104590372A (zh) * 2013-10-31 2015-05-06 福特全球技术公司 用于监控标记在挂车上的放置的方法和系统

Also Published As

Publication number Publication date
EP3445610A1 (en) 2019-02-27
WO2017182193A1 (en) 2017-10-26
CN109070801A (zh) 2018-12-21
EP3445610B1 (en) 2020-02-26
US10011299B2 (en) 2018-07-03
US20170305462A1 (en) 2017-10-26

Similar Documents

Publication Publication Date Title
CN109070801B (zh) 使用后置相机的拖车角度检测
CN107567412B (zh) 利用汽车相机使用车辆运动数据的对象位置测量
US11270134B2 (en) Method for estimating distance to an object via a vehicular vision system
US10726576B2 (en) System and method for identifying a camera pose of a forward facing camera in a vehicle
US9889714B2 (en) Overhead view for hitch connection
EP3140725B1 (en) Dynamic camera view to aid with trailer attachment
EP3299191A1 (en) Trailer hitch ball detection and location measurement using a rear view camera
JP4636346B2 (ja) 車載カメラの校正装置、方法、及びプログラム
WO2018207303A1 (ja) 車載用監視カメラ装置
US20190164310A1 (en) Camera registration in a multi-camera system
US11148715B2 (en) Device, method, and system for assisting with trailer reversing
US10909693B2 (en) Image analysis method, device, system, and program, which use vehicle driving information, and storage medium
GB2549259B (en) Determining mounting positions and/or orientations of multiple cameras of a camera system of a vehicle
CN111169381A (zh) 一种车辆影像显示方法、装置、车辆和存储介质
US11200804B2 (en) Method, device, computer program and computer program product for operating a display unit in a vehicle
US20170253186A1 (en) Electronic mirror device
JP6855331B2 (ja) 画像転送装置、画像診断装置、および画像診断システム
CN114467299A (zh) 用于摄像头监测系统的3d显示系统
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法
US10618471B2 (en) Virtual camera panning and tilting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant