CN113661093A - 驾驶员辅助方法和设备 - Google Patents

驾驶员辅助方法和设备 Download PDF

Info

Publication number
CN113661093A
CN113661093A CN202080028155.XA CN202080028155A CN113661093A CN 113661093 A CN113661093 A CN 113661093A CN 202080028155 A CN202080028155 A CN 202080028155A CN 113661093 A CN113661093 A CN 113661093A
Authority
CN
China
Prior art keywords
image data
driver assistance
assistance system
towed vehicle
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080028155.XA
Other languages
English (en)
Inventor
阿伦·弗里曼-鲍威尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jaguar Land Rover Ltd
Original Assignee
Jaguar Land Rover Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jaguar Land Rover Ltd filed Critical Jaguar Land Rover Ltd
Publication of CN113661093A publication Critical patent/CN113661093A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明的各方面涉及一种用于联接至被牵引车辆(V1)的牵引车辆(V2)的驾驶员辅助系统(1)。驾驶员辅助系统包括控制器(10)。驾驶员辅助系统被配置成接收来自设置在被牵引车辆上的被牵引车辆成像装置的第一图像数据(DIMG1)。第一图像数据表示被牵引车辆后方的第一场景(FOV1)。对第一图像数据进行处理，以在第一场景中识别表示一个或更多个感兴趣对象(O‑n)的对象图像数据。确定从参考点(R1)到在第一场景中识别的感兴趣对象或每个感兴趣对象的对象距离(D‑n)。由驾驶员辅助系统输出指示对象距离的信号。本发明的各方面还涉及：包括驾驶员辅助系统的车辆；辅助驾驶员的方法；计算机软件；以及计算机可读介质。

Description

驾驶员辅助方法和设备
技术领域
本公开内容涉及驾驶员辅助方法和设备。本发明的各方面涉及驾驶员辅助系统、车辆、辅助车辆驾驶员的方法、计算机软件和计算机可读介质。
背景技术
已知在挂车或类似的被牵引车辆上设置成像装置，例如相机。由成像装置捕获的图像可以被输出至设置在牵引车辆(连接至挂车)中的显示器，以帮助驾驶员查看被挂车遮挡而看不到的对象。然而，对于驾驶员而言可能难以准确地判断任何这样的对象在所显示的图像中的位置。
本发明的目的是解决与现有技术相关联的缺点中的一个或更多个。
发明内容
本发明的各方面和实施方式提供如所附权利要求中要求保护的驾驶员辅助系统、车辆、辅助车辆驾驶员的方法、计算机软件和计算机可读介质。
根据本发明的一方面，提供了一种用于联接至被牵引车辆的牵引车辆的驾驶员辅助系统，该驾驶员辅助系统包括控制器，该驾驶员辅助系统被配置成：
接收来自设置在被牵引车辆上的被牵引车辆成像装置的第一图像数据，该第一图像数据包括被牵引车辆后方的第一场景；
对第一图像数据进行处理，以在第一场景中识别表示一个或更多个感兴趣对象的对象图像数据；
确定从参考点到在第一场景中识别的感兴趣对象或每个感兴趣对象的对象距离；以及
输出指示对象距离的信号。对象距离可以被输出用于显示，例如以提高驾驶员对一个或更多个感兴趣对象的存在和/或位置的意识。例如，感兴趣对象可以包括另一车辆或静止障碍物。
参考点是虚拟参考点并且可以相对于牵引车辆或被牵引车辆来定义。例如，参考点可以与驾驶员在牵引车辆中的纵向位置对应。替选地，参考点可以与用于显示第一图像数据的显示装置的位置对应。
可以通过分析第一图像数据来确定对象距离。
被牵引车辆成像装置可以被定向在面向后的方向上。被牵引车辆成像装置可以是立体相机。可以使用诸如视差映射的技术来确定对象距离。被牵引车辆成像装置可以是单目相机。可以使用诸如运动恢复结构分析的技术来确定对象距离。可以通过将分别在第一时间和第二时间处捕获的第一图像和第二图像进行比较来确定对象距离。可以参考在捕获第一图像与捕获第二图像之间的时间间隔中行驶的距离来计算感兴趣对象的大小。替选地或附加地，可以例如使用模式匹配技术将识别的感兴趣对象分类为特定车辆类型来确定图像场景中的已知感兴趣对象的感知大小。例如，该系统可以区分汽车、摩托车、货车(卡车)、搬运车等。
驾驶员辅助系统可以被配置成选择性地显示第一图像数据。可以选择性地将对象距离叠加在第一图像数据上。
驾驶员辅助系统可以被配置成将对象距离与阈值距离进行比较。当比较将对象距离识别为小于或等于阈值距离时，可以生成接近通知。例如，驾驶员辅助系统可以执行挂车盲点监测功能。通知可以包括：在显示屏幕上显示第一图像数据，其中对象距离被显示为叠加。可以与所显示的图像内的感兴趣对象重合或相邻地显示对象距离。
驾驶员辅助系统可以被配置成控制一个或更多个车辆系统，例如控制车辆的动态操作。例如，当牵引车辆在倒车时，可以根据接近通知而启动车辆制动系统。
驾驶员辅助系统可以被配置成接收来自设置在牵引车辆上的牵引车辆成像装置的第二图像数据。牵引车辆成像装置可以被定向在面向后的方向上。
驾驶员辅助系统可以被配置成选择性地显示第二图像数据。可以选择性地将对象距离叠加在第二图像数据上。可以在与感兴趣对象的确定的位置对应的位置处将对象距离叠加到第二图像数据上(即使感兴趣对象部分地或完全被牵引车辆遮挡)。
驾驶员辅助系统可以被配置成将第一图像数据的一部分和第二图像数据的一部分组合，以生成合成图像数据。合成图像数据表示组合了第一图像数据和第二图像数据的至少一部分的合成图像。合成图像数据可以选择性地被输出至显示器。驾驶员辅助系统可以被配置成选择性地将对象距离叠加在合成图像数据上。可以与合成图像内的感兴趣对象重合或相邻地显示对象距离。
根据本发明的另一方面，提供了一种包括如本文中所描述的驾驶员辅助系统的车辆。
根据本发明的又一方面，提供了一种辅助联接至被牵引车辆的牵引车辆的驾驶员的方法，该方法包括：
接收来自设置在所述被牵引车辆上的被牵引车辆成像装置的第一图像数据，所述第一图像数据包括所述被牵引车辆后方的第一场景；
在所述第一场景中识别一个或更多个感兴趣对象；
确定从参考点到在所述第一场景中识别的所述感兴趣对象或每个感兴趣对象的对象距离；以及
输出所确定的对象距离。
该方法可以包括：分析第一图像数据以确定对象距离。
被牵引车辆成像装置可以包括单目相机或立体相机。
该方法可以包括：选择性地显示第一图像数据。该方法可以包括：将对象距离叠加在第一图像数据上。
该方法可以包括：将对象距离与阈值距离进行比较。当比较将对象距离识别为小于或等于阈值距离时，可以生成接近通知。
该方法可以包括：当牵引车辆在倒车时，根据接近通知，启动制动系统。
该方法可以包括：接收来自设置在牵引车辆上的牵引车辆成像装置的第二图像数据。该方法可以包括：选择性地显示第二图像数据。可以将对象距离叠加在第二图像数据上。
该方法可以包括：将第一图像数据的一部分和第二图像数据的一部分组合，以生成合成图像数据。可以选择性地显示合成图像数据。该方法可以包括：选择性地将对象距离叠加在合成图像数据上。
根据本发明的另一方面，提供了一种计算机软件，该计算机软件在被执行时被布置成执行本文中描述的方法。
根据本发明的另一方面，提供了一种非暂态计算机可读存储介质，其上存储有指令，所述指令在由一个或更多个电子处理器执行时，使一个或更多个电子处理器执行本文中描述的方法。
在本申请的范围内，明确地旨在，在前面段落中、权利要求书中和/或下面的描述和附图中阐述的各个方面、实施方式、示例和替选方案以及特别是其各个特征可以被独立地采用或者以任意组合采用。也就是说，所有实施方式和/或任何实施方式的特征可以以任何方式和/或组合来进行组合，除非这些特征不可兼容。申请人保留修改任何原始提交的权利要求或相应提交任何新的权利要求的权利，包括将任何原始提交的权利要求修改成从属于任何其他权利要求和/或并入任何其他权利要求的任何特征的权利，尽管最初没有以该方式要求保护。
附图说明
现在将参照附图，仅通过示例的方式描述本发明的一个或更多个实施方式，在附图中：
图1示出了根据本发明的实施方式的设置在牵引车辆和被牵引车辆中的驾驶员辅助系统的示意性表示；
图2示出了并入用于实现图1所示的驾驶员辅助系统的控制器的牵引车辆的示意性表示；
图3A示出了由设置在被牵引车辆中的相机捕获的被牵引车辆图像；
图3B示出了由设置在牵引车辆中的相机捕获的牵引车辆图像；
图4示出了驾驶员辅助系统的控制器的示意性表示；
图5示出了利用对象距离增强的由被牵引车辆成像装置捕获的图像；
图6A示出了由设置在被牵引车辆的后部处的第一成像装置捕获的被牵引车辆图像的示例；
图6B示出了被增强以突出第一成像装置的视场内的感兴趣对象的、图6A中所示的被牵引车辆图像的第一修改版本；
图6C示出了被增强以突出第一成像装置的视场内的感兴趣对象的、图6A中所示的被牵引车辆图像的第二修改版本；以及
图7示出了表示驾驶员辅助系统的操作的流程图。
具体实施方式
现在将参照附图描述根据本发明的实施方式的驾驶员辅助系统1。驾驶员辅助系统1被配置成确定参考点R1与一个或更多个感兴趣对象O-n之间的对象距离(或范围)D-n。
驾驶员辅助系统1适于在联接至被牵引车辆V1的牵引车辆V2中使用。在本实施方式中，牵引车辆V2和被牵引车辆V1通过铰接式联接彼此连接。在图1中示出了牵引车辆V2和被牵引车辆V1中设置的驾驶员辅助系统1的示意性表示。本实施方式中的牵引车辆V2是汽车。可设想其他类型的牵引车辆V2，例如多功能车辆、运动型多功能车辆、拖拉机、卡车等。本实施方式中的被牵引车辆V1是挂车。被牵引车辆V1具有第一纵向轴线XV1，并且牵引车辆V2具有第二纵向轴线XV2。在图2中示出了牵引车辆V2的示意性表示。
参考点R1是在牵引车辆V2上的固定位置中定义的虚拟点(或原点)。在图1所示的布置中，参考点R1被定义在与牵引车辆V2的驾驶员的就座位置重合(例如与驾驶员的臀点对准)的纵向位置处。该布置中的对象距离D-n表示驾驶员与感兴趣对象O-n之间的距离。通过相对于驾驶员的位置定义参考点R1，驾驶员可以更容易地使感兴趣对象O-n或每个感兴趣对象O-n的相对位置可视化。在变型中，参考点R1可以被定义在被牵引车辆V1上的固定位置中，例如定义在被牵引车辆V1的中心线上的最后位置处。
第一成像装置C1被设置在被牵引车辆V1上并被定向在面向后的方向上。第一成像装置C1居中地安装在被牵引车辆V1的后部，例如安装在后部牌照(未示出)上方。可设想第一成像装置C1的其他安装位置。第一成像装置C1包括被牵引车辆相机C1。被牵引车辆相机C1具有与第一纵向轴线XV1基本上平行的光轴。被牵引车辆相机C1具有包含到被牵引车辆V1的后部的区域的第一视场FOV1。在使用中，被牵引车辆相机C1生成与被牵引车辆图像IMG1对应的第一图像数据DIMG1。被牵引车辆图像IMG1包括由被牵引车辆相机C1捕获的从被牵引车辆V1面向后的场景。例如，被牵引车辆图像IMG1可以包括被牵引车辆V1后方的路段的图像。被牵引车辆图像IMG1可以包括一个或更多个感兴趣对象O-n。感兴趣对象O-n例如可以包括在被牵引车辆V1后方行驶以及/或者从被牵引车辆V1横向偏移的一个或更多个其他车辆。被牵引车辆相机C1输出包括与被牵引车辆图像IMG1对应的所述第一图像数据DIMG1的第一信号SIN1。通过示例的方式，在图3A中示出了被牵引车辆图像IMG1。
第二成像装置C2被设置在牵引车辆V2上并被定向在面向后的方向上。第二成像装置C2居中地安装在牵引车辆V2的后部，例如安装在后部牌照(未示出)上方。可设想用于第二成像装置C2的其他安装位置。第二成像装置C2包括牵引车辆相机C2。牵引车辆相机C2具有与第二纵向轴线XV2基本上平行的光轴。牵引车辆相机C2具有包含到牵引车辆V2的后部的区域的第二视场FOV2。在使用中，牵引车辆相机C2生成与牵引车辆图像IMG2对应的第二图像数据DIMG2。牵引车辆图像IMG2包括由牵引车辆相机C2捕获的从牵引车辆V2面向后的场景。例如，牵引车辆图像IMG2可以包括被牵引车辆V1的前面的至少一部分以及被牵引车辆V1周围的环境中的一些(例如到被牵引车辆V1的侧面和/或上方和/或下方)。牵引车辆相机C2输出包括与牵引车辆图像IMG2对应的所述第二图像数据DIMG2的第二信号SIN2。通过示例的方式，在图3B中示出了牵引车辆图像IMG2。如图3B中所示，被牵引车辆V2在牵引车辆图像IMG2中可见并且部分地遮挡视野。
被牵引车辆相机C1和牵引车辆相机C2是数字视频相机。被牵引车辆相机C1可操作成每秒捕获多个第一图像帧IMG1-F(n)。牵引车辆相机C2可操作成每秒捕获多个第二图像帧IMG2-F(n)。被牵引车辆相机C1和牵引车辆相机C2每个均具有视角约为180°的广角镜头。被牵引车辆相机C1和牵引车辆相机C2的视角可以较窄。被牵引车辆相机C1和/或牵引车辆相机C2可以是单目相机或立体相机。当被牵引车辆V1联接至牵引车辆V2时，被牵引车辆相机C1可以用作倒车相机以提供停车辅助。当被牵引车辆V1未联接至牵引车辆V2时，牵引车辆相机C2可以选择性地用作倒车相机以提供停车辅助。被牵引车辆相机C1和牵引车辆相机C2以地平面以上大约相同的竖直高度布置。在替选布置中，牵引车辆相机C2和被牵引车辆相机C1可以在竖直方向和/或横向方向上彼此偏移。可以应用校正以允许被牵引车辆相机C1与牵引车辆相机C2之间的任何竖直偏移。替选地或附加地，可以应用校正来校正被牵引车辆相机C1与牵引车辆相机C2之间的角度偏移。
驾驶员辅助系统1包括一个或更多个控制器10。控制器10与被牵引车辆相机C1通信。驾驶员辅助系统1被配置成接收来自设置在被牵引车辆V1上的被牵引车辆相机C1的第一图像数据DIMG1。第一成像装置C1被定向在面向后的方向上，使得第一图像数据DIMG1表示被牵引车辆V1后方的场景。控制器10对第一图像数据DIMG1进行处理，以在第一场景中识别表示一个或更多个感兴趣对象O-n的对象图像数据DO-n。控制器10确定参考点R1与在第一场景中识别的感兴趣对象O-n或每个感兴趣对象之间的对象距离D-n。如本文中所描述的，由控制器10输出对象距离信号SOUT1以指示对象距离D-n。
在本实施方式中，控制器10被设置在牵引车辆V2中。在变型中，控制器10可以被设置在被牵引车辆V1中，或者可以由设置在被牵引车辆V1和牵引车辆V2上的分开的控制器10执行处理。应当理解，该控制器10或每个控制器可以包括具有一个或更多个电子处理器(例如，微处理器、微控制器、专用集成电路(ASIC)等)的控制单元或计算装置，并且可以包括单个控制单元或计算装置，或者替选地，该控制器10或每个控制器的不同功能可以体现在或托管在不同的控制单元或计算装置中。如本文中所使用的，术语“控制器”、“控制单元”或“计算装置”将被理解为包括单个控制器、控制单元或计算装置，以及共同操作以提供所需的控制功能的多个控制器、控制单元或计算装置。可以提供指令集，这些指令在被执行时使控制器10实现本文中描述的控制技术(包括本文中描述的方法所需的功能中的一些或全部)。该指令集可以嵌入在控制器10的所述一个或更多个电子处理器中；或者替选地，可以作为待在控制器10中执行的软件来提供指令集。第一控制器或控制单元可以在一个或更多个处理器上运行的软件中实现。一个或更多个其他控制器或控制单元可以在一个或更多个处理器(可选地与第一控制器或控制单元相同的一个或更多个处理器)上运行的软件中实现。其他布置也是有用的。
如图4中所示，该控制器10或每个控制器包括至少一个电子处理器12，所述至少一个电子处理器具有：用于接收来自被牵引车辆相机C1和牵引车辆相机C2的一个或更多个输入信号的一个或更多个电输入14；以及用于输出输出信号S1的一个或更多个电输出16。该控制器10或每个控制器还包括至少一个存储器装置18，所述至少一个存储器装置电耦接至至少一个电子处理器12并且其中存储有指令20。至少一个电子处理器12被配置成访问至少一个存储器装置18并且执行存储器装置上的指令20，以执行本文中描述的方法。
该电子处理器12或每个电子处理器可以包括被配置成执行电子指令的任何合适的电子处理器(例如，微处理器、微控制器、ASIC等)。该电子存储器装置18或每个电子存储器装置可以包括任何合适的存储器装置并且可以在其中或其上存储各种数据、信息、阈值、查找表或其他数据结构和/或指令。在实施方式中，存储器装置18其中或其上存储有用于软件、固件、程序、算法、脚本、应用等的可以管理本文中所描述的方法的全部或部分的信息和指令。处理器或每个电子处理器12可以访问存储器装置18并且执行和/或使用上述指令和信息以实施或执行本文描述的功能和方法中的一些或全部。
至少一个存储器装置18可以包括计算机可读存储介质(例如，非暂态或非暂时性存储介质)，计算机可读存储介质可以包括用于以由机器或电子处理器/计算装置可读的形式存储信息的任何机构，包括但不限于：磁存储介质(例如，软盘)；光存储介质(例如，CD-ROM)；磁光存储介质；只读存储器(ROM)；随机存取存储器(RAM)；可擦除可编程存储器(例如，EPROM和EEPROM)；闪速存储器；或用于存储这样的信息/指令的电介质或其他类型的介质。
包括第一图像数据DIMG1的第一信号SIN1经由一个或更多个输入14输入至控制器10。控制器10与被牵引车辆相机C1之间的连接可以是有线连接(例如，包括被牵引车辆V1与牵引车辆V2之间的电连接)。然而，在本实施方式中，在控制器10与被牵引车辆相机C1之间建立无线连接。被牵引车辆相机C1连接至发送器22，该发送器被配置成将第一图像数据DIMG1作为射频(RF)信号发送至设置在牵引车辆V2中的接收器24。接收器24连接至控制器10的一个或更多个输入14。包括第二图像数据DIMG2的第二信号SIN2经由一个或更多个输入14被输入至控制器10。控制器10与牵引车辆相机C2之间的连接是有线连接。例如，牵引车辆相机C2可以通过诸如CAN总线的车辆通信网络26连接至控制器10。在使用中，第一图像数据DIMG1和第二图像数据DIMG2被输入至控制器10。牵引车辆V2包括显示屏幕28，在该显示屏幕上可以选择性地显示被牵引车辆图像IMG1和牵引车辆图像IMG2(分别从被牵引车辆相机C1和牵引车辆相机C2接收到)。
控制器10被配置成对第一图像数据DIMG1和第二图像数据DIMG2进行处理。特别地，控制器10实现图像处理模块以分析第一图像数据DIMG1和第二图像数据DIMG2。控制器10对第一图像数据DIMG1进行处理，以识别由被牵引车辆相机C1捕获的图像中的一个或更多个感兴趣对象O-n。图像处理算法可以确定第一图像数据DIMG1中的图像元素的光流。可以为每个图像元素生成光流矢量以表示图像元素例如在多个时间偏移的图像帧之间的移动的方向和幅度。通过分析光流矢量，控制器10可以识别感兴趣对象O-n或每个感兴趣对象。例如，控制器10可以使用光流矢量来区分：与背景特征对应的图像元素(当被牵引车辆V1正在移动时，所述图像元素在第一图像数据DIMG1内趋于是暂时性的)；以及与一个或更多个其他车辆对应的图像元素(如果一个或更多个其他车辆在与被牵引车辆V1相同的方向上行驶，则所述图像元素在图像数据DIMG1内具有较大的持久性)。识别为与其他车辆对应的图像元素被分类为感兴趣对象O-n。其他图像处理算法包括边缘检测和模式匹配。可以使用这些图像处理算法中的一个或更多个在第一图像数据DIMG1中识别感兴趣对象O-n。可以有用地采用其他图像处理算法。
控制器10确定从参考点R1到在第一图像数据DIMG1中识别的感兴趣对象O-n或每个感兴趣对象的对象距离D-n。在被牵引车辆相机C1包括具有空间分离的第一相机和第二相机的立体相机的实施方式中，可以通过将由第一相机和第二相机捕获的图像进行比较，例如通过执行视差映射来确定对象距离D-n。在被牵引车辆相机C1包括单目相机的实施方式中，可以使用诸如运动恢复结构的分析技术来确定对象距离D-n。
控制器10可以被配置成将感兴趣对象O-n识别(或分类)为特定对象类型。例如，控制器10可以将感兴趣对象O-n识别为特定类型的车辆，例如骑自行车的人、摩托车、汽车、搬运车、公共汽车、电车或卡车。可以根据所确定的与一个或更多个预定义模型的相似性来识别感兴趣对象O-n。预定义模型可以表示多种不同类型的对象，例如前述的不同车辆类型。可以根据所确定的相似性来识别感兴趣对象O-n。可以根据所识别的对象类型的感知大小来确定对象距离D-n。控制器10可以将感兴趣对象O-n识别为特定对象或车辆类型，然后根据第一图像IMG1中的感兴趣对象O-n的大小确定对象距离D-n。
牵引车辆V1包括显示器30，在该显示器上可以选择性地显示被牵引车辆图像IMG1和牵引车辆图像IMG2。控制器10被配置成输出对象距离信号SOUT1。可选地，控制器10还可以被配置成输出感兴趣对象O-n的标识(或分类)。可以将对象类型叠加到显示器30上显示的图像上。
对象距离信号SOUT1可以用于以对象距离D-n增强被牵引车辆图像IMG1和/或牵引车辆图像IMG2。如图5所示，可以将对象距离D-n叠加到被牵引车辆图像IMG1和/或牵引车辆图像IMG2上。对象距离D-n可以在下述位置处被定位在被牵引车辆图像IMG1和/或牵引车辆图像IMG2上，该位置与该图像内的感兴趣对象O-n重合或相邻。控制器10可以被配置成生成包括对象距离信号SOUT1的增强的被牵引车辆数据AD-n和/或增强的牵引车辆数据AD2。
控制器10可以被配置成修改被牵引车辆图像IMG1和/或牵引车辆图像IMG2以突出感兴趣对象O-n。如图5所示，对象标识符号32可以显示在被牵引车辆图像IMG1和/或牵引车辆图像IMG2内的感兴趣对象O-n的至少一部分之上。例如，对象标识符号32可以包括感兴趣对象O-n的轮廓。例如，可以使用本文中描述的图像处理技术来确定感兴趣对象O-n的轮廓，以确定被牵引车辆V1的外部可见边界(或边缘)。在所示的布置中，对象标识符号32包括半透明叠加。对象标识符号32可以被着色。控制器10可以根据所确定的对象距离D-n来更改对象标识符号32的颜色。例如，可以修改对象标识符号32的颜色以提供感兴趣对象O-n在预定距离阈值内的视觉指示。对象标识符号32的颜色可以按如下修改：如果对象距离D-n大于第一距离阈值，则着色为绿色；如果对象距离D-n小于第一距离阈值且大于第二距离阈值，则着色为琥珀色(橙色)；以及如果对象距离D-n小于第二距离阈值，则着色为红色。至少在某些实施方式中，对象标识符号32可以向驾驶员提供警报，例如以指示感兴趣对象O-n非常靠近牵引车辆V1。替选地或附加地，可以根据对象距离D-n的变化率来修改对象标识符号32的颜色。可以根据所确定的对象距离D-n来生成其他警报，例如听觉警报或触觉警报。
现在将参照图6A、图6B和图6C描述驾驶员辅助系统1的用于增强被牵引车辆图像IMG1的操作的另外的示例。在该示例中，组合的被牵引车辆V1和牵引车辆V2正在倒车，并且在被牵引车辆图像IMG1中识别出多个感兴趣对象O-n。如图6A中所示，该示例中的感兴趣对象O-n呈交通锥的形式。控制器10对第一图像数据DIMG1进行处理并识别感兴趣对象O-n。控制器10还确定感兴趣对象O-n或每个感兴趣对象的对象距离D-n。可以相对于设置在被牵引车辆V1的后部处的参考点R1来确定对象距离D-n。参考点可以包括根据其可以确定对象距离D-n的坐标、轴线或平面。可以在单个方向上(例如沿纵向轴线)确定对象距离D-n；或在多个方向上(例如沿纵向轴线和横向轴线)确定对象距离D-n。
控制器10用包括矩形框架的至少一个对象标识符号32来增强被牵引车辆图像IMG1。在图6B中所示的示例中，第一对象标识符号32被显示在被牵引车辆图像IMG1的左手侧的多个感兴趣对象O-1之上；并且第二对象标识符号32被显示在被牵引车辆图像IMG1的右手侧的单个感兴趣对象O-2之上。可以根据所确定的距参考点R1的距离来修改每个对象标识符号32的颜色。例如，如果对象距离D-n小于预定义的第一距离阈值，则可以以第一颜色(例如橙色)显示对象标识符号；如果对象距离D-n小于预定义的第二距离阈值(其小于第一距离阈值)，则可以以第二颜色(例如红色)显示对象标识符号。控制器10可以被配置成区分左组和右组中的感兴趣对象O-n。可以针对每个感兴趣对象O-n计算单独的对象距离D-n。如图6C中所示，可以针对每个感兴趣对象O-n显示单独的对象标识符号32。可以根据所确定的相关联的感兴趣对象的对象距离D-n对对象标识符号32进行颜色编码。在图6C中所示的示例中，以第一颜色(原始图像IMG1中的橙色)显示与距参考点R1最远(即具有最大对象距离D-n)的感兴趣对象O-1相关联的对象标识符号32；并且以第二颜色(原始图像IMG1中的红色)显示其余的对象标识符号32。
替选地或附加地，控制器10可以被配置成识别每个感兴趣对象的边缘或外轮廓。控制器10可以根据边缘或外轮廓来生成对象标识符号32。例如，对象标识符号32可以与每个感兴趣对象O-n的所识别轮廓的至少一部分对应。可以根据所确定的对象距离D-n例如通过在感兴趣对象O-n之上显示叠加对对象标识符号32进行颜色编码。
现在将参照图7中所示的流程图100来描述驾驶员辅助系统1的操作。控制器10接收分别来自被牵引车辆相机C1和牵引车辆相机C2的被牵引车辆图像IMG1和牵引车辆图像IMG2(框110)。控制器10对被牵引车辆图像IMG1进行处理(以及可选地还对牵引车辆图像IMG2进行处理)以识别一个或更多个感兴趣对象O-n(框120)。控制器10确定从预定义参考点R1到感兴趣对象O-n或每个感兴趣对象的对象距离D-n(框130)。控制器10输出对象距离信号SOUT1(框140)。将对象距离D-n叠加到被牵引车辆图像IMG1或牵引车辆图像IMG2上，以生成增强的被牵引车辆数据AD-n和/或增强的牵引车辆数据AD2(框150)。将增强的被牵引车辆数据AD-n和/或增强的牵引车辆数据AD2输出至显示器30以用于显示(框160)。
对象距离D-n的显示利于其他车辆等相对于牵引车辆V2的相对位置的确定。当被牵引车辆V1和牵引车辆V2连接时，牵引车辆图像IMG2的至少一部分可能因被牵引车辆V1的存在而被遮挡。可以将对象距离D-n叠加到牵引车辆图像IMG1上，以提高驾驶员对其他车辆的存在和/或位置的意识。
驾驶员辅助系统1可以被配置成控制一个或更多个车辆系统VS-n，以控制牵引车辆V2的动态操作。例如，在倒车操纵期间，驾驶员辅助系统1可以被配置成：在所确定的对象距离D-n减小到小于预定义距离阈值的情况下，启动车辆制动系统VS-1。例如，可以根据被牵引车辆V1和牵引车辆V2的组合长度来定义预定义距离阈值。
已经描述了包括至少一个电子处理器12的示例控制器10，该至少一个电子处理器12被配置成执行存储在至少一个存储器装置18中的电子指令，该电子指令在被执行时使电子处理器12执行本文中描述的方法。然而，可设想，本发明不限于通过可编程处理装置来实现，并且本发明的功能和/或方法步骤中的至少一些和在一些实施方式中全部可以等同地通过非可编程硬件来实现，例如通过非可编程ASIC、布尔(Boolean)逻辑电路等来实现。
控制器10可以被配置成将第一图像数据DIMG1的至少一部分与第二图像数据DIMG2的至少一部分组合，以生成合成图像数据。例如，控制器10可以分析牵引车辆图像IMG2以从牵引车辆相机C2的视点识别表示被牵引车辆V1的外部可见边界(或边缘)的被牵引车辆V1的外周。例如，控制器10可以通过计算牵引车辆图像IMG2的两个或更多个帧之间的像素的光流矢量来识别外周。由外周包围的牵引车辆图像IMG2的区域表示牵引车辆图像IMG2内的被牵引车辆V1。被牵引车辆图像IMG1的至少一部分可以选择性地被插入到设置在所识别的外周P1内的牵引车辆图像IMG2的区域中。可以将所得到的合成图像数据DIMG3输出至显示器30。合成图像数据DIMG3可以表示合成图像IMG3，该合成图像包括被牵引车辆图像IMG1和牵引车辆图像IMG2中的每一个的至少一部分。可以在合成图像中显示对象距离D-n。例如，可以将对象距离D-n例如与合成图像中的对应感兴趣对象重合或相邻地叠加在合成图像上。
将理解的是，在不偏离本申请的范围的情况下，可以对本发明进行各种改变和修改。
已经特别参考例如当被牵引车辆V1和牵引车辆V2在移动时对其他车辆的识别描述了控制器10。也可设想除了车辆之外的感兴趣对象O-n。例如，感兴趣对象O-n可以包括以下中的一个或更多个：路缘、交通锥、停车护柱、坡道、墙壁和障碍物。感兴趣对象O-n可以是例如指示停车位或道路标记的边界的视觉标记或指示符。替选地或附加地，感兴趣对象可以是人。控制器10可以被配置成识别一个或更多个行人。控制器10可以被配置成通过识别身体界标来生成该人或每个人的骨骼模型。
可以使用其他技术来确定对象距离D-n。设置在被牵引车辆V1和/或牵引车辆V2上的一个或更多个接近传感器可以用于确定对象距离D-n。一个或更多个接近传感器可以包括以下中的一个或更多个：超声波传感器、激光雷达(LIDAR)传感器和雷达(RADAR)传感器。
控制器10可选地确定感兴趣对象O-n相对于被牵引车辆V1的航向(或方位)。航向可以可选地被输出以用于显示，例如作为在被牵引车辆图像IMG1和/或牵引车辆图像IMG2上的叠加。
在以下编号的条款中阐述了本发明的各方面。
1.一种用于联接至被牵引车辆的牵引车辆的驾驶员辅助系统，所述驾驶员辅助系统包括控制器，所述驾驶员辅助系统被配置成：
接收来自设置在所述被牵引车辆上的被牵引车辆成像装置的第一图像数据，所述第一图像数据包括所述被牵引车辆后方的第一场景；
对所述第一图像数据进行处理，以在所述第一场景中识别表示一个或更多个感兴趣对象的对象图像数据；
确定从参考点到在所述第一场景中识别的所述感兴趣对象或每个感兴趣对象的对象距离；以及
输出指示所述对象距离的信号。
2.根据条款1所述的驾驶员辅助系统，其中，通过分析所述第一图像数据来确定所述对象距离。
3.根据条款2所述的驾驶员辅助系统，其中，所述被牵引车辆成像装置包括单目相机或立体相机。
4.根据前述条款中任一项所述的驾驶员辅助系统，其中，所述驾驶员辅助系统被配置成：选择性地显示所述第一图像数据；并且选择性地将所述对象距离叠加在所述第一图像数据上。
5.根据前述条款中任一项所述的驾驶员辅助系统，其中，所述驾驶员辅助系统被配置成：
将所述对象距离与阈值距离进行比较；以及
当所述比较将所述对象距离识别为小于或等于所述阈值距离时，生成接近通知。
6.根据条款5所述的驾驶员辅助系统，其中，所述驾驶员辅助系统被配置成：当所述牵引车辆在倒车时，根据所述接近通知，启动制动系统。
7.根据前述条款中任一项所述的驾驶员辅助系统，其中，所述驾驶员辅助系统被配置成：
接收来自设置在所述牵引车辆上的牵引车辆成像装置的第二图像数据。
8.根据条款7所述的驾驶员辅助系统，其中，所述驾驶员辅助系统被配置成：选择性地显示所述第二图像数据；并且选择性地将所述对象距离叠加在所述第二图像数据上。
9.根据条款7或8所述的驾驶员辅助系统，其中，所述驾驶员辅助系统被配置成：
将所述第一图像数据的一部分与所述第二图像数据的一部分组合，以生成合成图像数据；以及
选择性地显示所述合成图像数据。
10.根据条款9所述的驾驶员辅助系统，其中，所述驾驶员辅助系统被配置成选择性地将所述对象距离叠加在所述合成图像数据上。
11.一种车辆，包括根据前述条款中任一项所述的驾驶员辅助系统。
12.一种辅助联接至被牵引车辆的牵引车辆的驾驶员的方法，所述方法包括：
接收来自设置在所述被牵引车辆上的被牵引车辆成像装置的第一图像数据，所述第一图像数据包括所述被牵引车辆后方的第一场景；
在所述第一场景中识别一个或更多个感兴趣对象；
确定从参考点到在所述第一场景中识别的所述感兴趣对象或每个感兴趣对象的对象距离；以及
输出所确定的对象距离。
13.根据条款12所述的方法，包括：分析所述第一图像数据以确定所述对象距离。
14.根据条款13所述的方法，其中，所述被牵引车辆成像装置包括单目相机或立体相机。
15.根据条款12、13或14中任一项所述的方法，包括：选择性地显示所述第一图像数据；以及选择性地将所述对象距离叠加在所述第一图像数据上。
16.根据条款12至16中任一项所述的方法，包括：
将所述对象距离与阈值距离进行比较；以及
当比较识别出所述对象距离小于或等于所述阈值距离时，生成接近通知。
17.根据条款16所述的方法，包括：当所述牵引车辆在倒车时，根据所述接近通知，启动制动系统。
18.根据条款12至17中任一项所述的方法，包括：
接收来自设置在所述牵引车辆上的牵引车辆成像装置的第二图像数据。
19.根据条款18所述的方法，包括：选择性地显示所述第二图像数据；以及选择性地将所述对象距离叠加在所述第二图像数据上。
20.根据条款12至19中任一项所述的方法，其中，所述方法包括：
将所述第一图像数据的一部分与所述第二图像数据的一部分组合，以生成合成图像数据；以及
选择性地显示所述合成图像数据。
21.根据条款20所述的方法，其中，所述方法包括：选择性地将所述对象距离叠加在所述合成图像数据上。
22.一种计算机软件，所述计算机软件被布置成在被执行时实施根据条款12至21中任一项所述的方法。
23.一种非暂态计算机可读存储介质，其上存储有指令，所述指令在由一个或更多个电子处理器执行时，使得所述一个或更多个电子处理器执行根据条款12至22中任一项所述的方法。

Claims (14)

1.一种用于联接至被牵引车辆的牵引车辆的驾驶员辅助系统，所述驾驶员辅助系统包括控制器，所述驾驶员辅助系统被配置成：
接收来自设置在所述被牵引车辆上的被牵引车辆成像装置的第一图像数据，所述第一图像数据包括所述被牵引车辆后方的第一场景；
对所述第一图像数据进行处理，以在所述第一场景中识别表示一个或更多个感兴趣对象的对象图像数据；
确定从参考点到在所述第一场景中识别的所述感兴趣对象或每个感兴趣对象的对象距离；以及
输出指示所述对象距离的信号。
2.根据权利要求1所述的驾驶员辅助系统，其中，通过分析所述第一图像数据来确定所述对象距离。
3.根据权利要求2所述的驾驶员辅助系统，其中，所述被牵引车辆成像装置包括单目相机或立体相机。
4.根据前述权利要求中任一项所述的驾驶员辅助系统，其中，所述驾驶员辅助系统被配置成：选择性地显示所述第一图像数据；并且选择性地将所述对象距离叠加在所述第一图像数据上。
5.根据前述权利要求中任一项所述的驾驶员辅助系统，其中，所述驾驶员辅助系统被配置成：
将所述对象距离与阈值距离进行比较；以及
当所述比较将所述对象距离识别为小于或等于所述阈值距离时，生成接近通知。
6.根据权利要求5所述的驾驶员辅助系统，其中，所述驾驶员辅助系统被配置成：当所述牵引车辆在倒车时，根据所述接近通知，启动制动系统。
7.根据前述权利要求中任一项所述的驾驶员辅助系统，其中，所述驾驶员辅助系统被配置成：
接收来自设置在所述牵引车辆上的牵引车辆成像装置的第二图像数据。
8.根据权利要求7所述的驾驶员辅助系统，其中，所述驾驶员辅助系统被配置成：选择性地显示所述第二图像数据；并且选择性地将所述对象距离叠加在所述第二图像数据上。
9.根据权利要求7或8所述的驾驶员辅助系统，其中，所述驾驶员辅助系统被配置成：
将所述第一图像数据的一部分与所述第二图像数据的一部分组合，以生成合成图像数据；以及
选择性地显示所述合成图像数据。
10.根据权利要求9所述的驾驶员辅助系统，其中，所述驾驶员辅助系统被配置成选择性地将所述对象距离叠加在所述合成图像数据上。
11.一种车辆，包括根据前述权利要求中任一项所述的驾驶员辅助系统。
12.一种辅助联接至被牵引车辆的牵引车辆的驾驶员的方法，所述方法包括：
接收来自设置在所述被牵引车辆上的被牵引车辆成像装置的第一图像数据，所述第一图像数据包括所述被牵引车辆后方的第一场景；
在所述第一场景中识别一个或更多个感兴趣对象；
确定从参考点到在所述第一场景中识别的所述感兴趣对象或每个感兴趣对象的对象距离；以及
输出所确定的对象距离。
13.一种计算机软件，所述计算机软件被布置成在被执行时实施根据权利要求12所述的方法。
14.一种非暂态计算机可读存储介质，其上存储有指令，所述指令在由一个或更多个电子处理器执行时，使所述一个或更多个电子处理器执行根据权利要求12所述的方法。
CN202080028155.XA 2019-03-12 2020-03-03 驾驶员辅助方法和设备 Pending CN113661093A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1903323.2A GB2582541B (en) 2019-03-12 2019-03-12 Driver assistance method and apparatus
GB1903323.2 2019-03-12
PCT/EP2020/055590 WO2020182549A1 (en) 2019-03-12 2020-03-03 Driver assistance method and apparatus

Publications (1)

Publication Number Publication Date
CN113661093A true CN113661093A (zh) 2021-11-16

Family

ID=66380495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080028155.XA Pending CN113661093A (zh) 2019-03-12 2020-03-03 驾驶员辅助方法和设备

Country Status (5)

Country Link
US (1) US20220219607A1 (zh)
EP (1) EP3938245B1 (zh)
CN (1) CN113661093A (zh)
GB (1) GB2582541B (zh)
WO (1) WO2020182549A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11864073B2 (en) * 2022-04-12 2024-01-02 GM Global Technology Operations LLC Wireless trailer connection

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1460375A (zh) * 2001-03-29 2003-12-03 松下电器产业株式会社 后视系统的图像显示方法和装置
US6693524B1 (en) * 1998-06-02 2004-02-17 George R. Payne Vehicle backup monitoring and alarm system
US6923080B1 (en) * 2000-07-20 2005-08-02 Daimlerchrysler Ag Device and method for monitoring the surroundings of an object
CN101795901A (zh) * 2007-09-03 2010-08-04 三洋电机株式会社 驾驶辅助系统及汽车列车
US20150294166A1 (en) * 2014-04-14 2015-10-15 Bendix Commercial Vehicle Systems Llc Vehicle Driver Assistance Apparatus for Assisting a Vehicle Driver in Maneuvering the Vehicle Relative to an Object
US20160129939A1 (en) * 2013-07-04 2016-05-12 Jaguar Land Rover Limited Vehicle control system
CN106240456A (zh) * 2015-06-09 2016-12-21 Lg电子株式会社 驾驶员辅助设备及其控制方法
US20170050567A1 (en) * 2014-05-06 2017-02-23 Robert Bosch Gmbh Dynamic camera view to aid with trailer attachment
WO2017037266A1 (en) * 2015-09-02 2017-03-09 Jaguar Land Rover Limited Display system and method
US20170280091A1 (en) * 2014-08-18 2017-09-28 Jaguar Land Rover Limited Display system and method
CN107433905A (zh) * 2016-05-27 2017-12-05 通用汽车环球科技运作有限责任公司 用于具有环视视野成像装置的牵引车辆和拖车的系统和方法
CN108621937A (zh) * 2017-03-17 2018-10-09 丰田自动车株式会社 车载显示设备、车载显示设备的控制方法以及存储车载显示设备的控制程序的存储介质
CN108725323A (zh) * 2017-04-21 2018-11-02 梅克朗有限两合公司 用于车辆的摄像系统、包括该摄像系统的视镜替代系统以及包括该系统的驾驶员辅助系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015214611A1 (de) * 2015-07-31 2017-02-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum Anzeigen einer Umgebungsszene eines Fahrzeuggespanns
US9878665B2 (en) * 2015-09-25 2018-01-30 Ford Global Technologies, Llc Active detection and enhanced visualization of upcoming vehicles
DE102016014817A1 (de) * 2016-12-13 2017-06-01 Daimler Ag Unterfahrschutzvorrichtung für ein Nutzfahrzeug
US10549694B2 (en) * 2018-02-06 2020-02-04 GM Global Technology Operations LLC Vehicle-trailer rearview vision system and method
EP3707061A1 (en) * 2019-02-01 2020-09-16 Carit Automotive GmbH & Co. KG Vehicle park assist systems

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6693524B1 (en) * 1998-06-02 2004-02-17 George R. Payne Vehicle backup monitoring and alarm system
US6923080B1 (en) * 2000-07-20 2005-08-02 Daimlerchrysler Ag Device and method for monitoring the surroundings of an object
CN1460375A (zh) * 2001-03-29 2003-12-03 松下电器产业株式会社 后视系统的图像显示方法和装置
CN101795901A (zh) * 2007-09-03 2010-08-04 三洋电机株式会社 驾驶辅助系统及汽车列车
US20160129939A1 (en) * 2013-07-04 2016-05-12 Jaguar Land Rover Limited Vehicle control system
US20150294166A1 (en) * 2014-04-14 2015-10-15 Bendix Commercial Vehicle Systems Llc Vehicle Driver Assistance Apparatus for Assisting a Vehicle Driver in Maneuvering the Vehicle Relative to an Object
US20170050567A1 (en) * 2014-05-06 2017-02-23 Robert Bosch Gmbh Dynamic camera view to aid with trailer attachment
US20170280091A1 (en) * 2014-08-18 2017-09-28 Jaguar Land Rover Limited Display system and method
CN106240456A (zh) * 2015-06-09 2016-12-21 Lg电子株式会社 驾驶员辅助设备及其控制方法
WO2017037266A1 (en) * 2015-09-02 2017-03-09 Jaguar Land Rover Limited Display system and method
CN107433905A (zh) * 2016-05-27 2017-12-05 通用汽车环球科技运作有限责任公司 用于具有环视视野成像装置的牵引车辆和拖车的系统和方法
CN108621937A (zh) * 2017-03-17 2018-10-09 丰田自动车株式会社 车载显示设备、车载显示设备的控制方法以及存储车载显示设备的控制程序的存储介质
CN108725323A (zh) * 2017-04-21 2018-11-02 梅克朗有限两合公司 用于车辆的摄像系统、包括该摄像系统的视镜替代系统以及包括该系统的驾驶员辅助系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张国良，姚二亮著: "移动机器人的SLAM与VSLAM方法", 30 September 2018, 西安交通大学出版社 , pages: 96 - 99 *

Also Published As

Publication number Publication date
EP3938245A1 (en) 2022-01-19
GB2582541A (en) 2020-09-30
GB2582541B (en) 2022-03-09
US20220219607A1 (en) 2022-07-14
EP3938245B1 (en) 2023-09-13
WO2020182549A1 (en) 2020-09-17
GB201903323D0 (en) 2019-04-24

Similar Documents

Publication Publication Date Title
US20240273917A1 (en) Vehicular control system
US10380439B2 (en) Vehicle sensing system for detecting turn signal indicators
KR101075615B1 (ko) 주행 차량의 운전자 보조 정보 생성 장치 및 방법
US8289189B2 (en) Camera system for use in vehicle parking
US10477102B2 (en) Method and device for determining concealed regions in the vehicle environment of a vehicle
US11034295B2 (en) Vehicle vision system using at least two cameras
US10410514B2 (en) Display device for vehicle and display method for vehicle
US20190135169A1 (en) Vehicle communication system using projected light
US11263758B2 (en) Image processing method and apparatus
US10866416B2 (en) Display control device and display control method
GB2554427B (en) Method and device for detecting a trailer
WO2019114030A1 (zh) 一种融合导航与智能视觉的驾驶辅助系统及方法
US20180081181A1 (en) Head up display with symbols positioned to augment reality
CN110378836B (zh) 获取对象的3d信息的方法、系统和设备
US20200342761A1 (en) Notification apparatus and in-vehicle device
DE102022126702A1 (de) Fahrzeug- und anhängerradweg-kollisionserkennung und -warnung
KR20120086577A (ko) 카메라를 이용한 측면차량 검출 장치 및 방법
US10864856B2 (en) Mobile body surroundings display method and mobile body surroundings display apparatus
EP3938245B1 (en) Driver assistance method and apparatus
CN113688662A (zh) 机动车过车警示方法、装置、电子装置和计算机设备
JP7145227B2 (ja) 標識認識装置
US20240321105A1 (en) Vehicle systems and collision detection methods with occlusion mitigation
WO2014090957A1 (en) Method for switching a camera system to a supporting mode, camera system and motor vehicle
US10867397B2 (en) Vehicle with a driving assistance system with a low power mode
CN114913507A (zh) 一种基于公交车尾屏的行人检测方法、装置及公交车尾屏

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination