CN114449214A - 用于挂车挂钩系统的摄像头系统 - Google Patents

用于挂车挂钩系统的摄像头系统 Download PDF

Info

Publication number
CN114449214A
CN114449214A CN202111306298.5A CN202111306298A CN114449214A CN 114449214 A CN114449214 A CN 114449214A CN 202111306298 A CN202111306298 A CN 202111306298A CN 114449214 A CN114449214 A CN 114449214A
Authority
CN
China
Prior art keywords
trailer
degree image
image view
vehicle
combined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111306298.5A
Other languages
English (en)
Inventor
C·施佩勒
P·巴米迪帕提
M·巴顿
A·J·艾丁
N·辛普森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN114449214A publication Critical patent/CN114449214A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18036—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/22—Articulation angle, e.g. between tractor and trailer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/203—Presence of trailer
    • B60W2530/205—Dimensions of trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于耦接到挂车的车辆的挂车摄像头系统。该系统包括被配置成对包括围绕挂车的感兴趣的区域的视频图像进行捕获的多个第一摄像头、被配置成对包括围绕车辆的感兴趣的区域的视频图像进行捕获的多个第二摄像头、以及电子处理器。处理器被配置成从第一和多个第二摄像头接收图像并确定挂车角度。该处理器被进一步配置成基于多个第一图像的图像拼接来生成围绕挂车的区域的第一360度图像视图，基于多个第二图像的图像拼接来生成围绕车辆的区域的第二360度图像视图，并且基于挂车角度由第一和第二视图来生成组合的360度图像视图。

Description

用于挂车挂钩系统的摄像头系统
技术领域
本申请要求在2020年11月6日提交的美国临时专利申请号63/110,755的优先权，在此通过引用来并入其全部内容。
实施例涉及汽车摄像头系统。
背景技术
车辆，诸如汽车、卡车、SUV、厢式货车、休闲车等，可能配备多摄像头系统，有时也称为近距离摄像头系统，该摄像头系统能够被用于提供汽车本身的360度视图（以2D或3D）（自上而下或者“鸟瞰图”）。当车辆被耦接到挂车时，来自近距离摄像头系统的一个或多个摄像头的视场可能会被遮挡，这可能会影响所生成的360度视图。此外，360度视图将不包括挂车，这限制了用户查看围绕挂车的对象的能力。
发明内容
本说明书大体上涉及用于车辆的后置摄像头系统的领域。车辆，诸如汽车、卡车、SUV、厢式货车、休闲车等，可能配备有后置摄像头系统，有时也称为倒车摄像头或倒退摄像头。后置摄像头被配置用于捕获车辆后方区域的图像，通常是朝向地面的区域。该区域可能包括隐藏在后视镜和侧视镜的视野之外的盲点。图像被传输到显示器，使驾驶员能够监控车辆后方的区域。
附图说明
附图——在该附图中相同的附图标记在整个单独的视图中指代相同或功能相似的元件——连同下面的详细的描述被并入并且形成说明书的一部分，并且用于进一步说明包括所要求保护的本发明的构思的实施例，并且解释这些实施例的各种原理和优点。
图1是根据一些实施例的挂车摄像头系统的框图。
图2A是根据一些实施例的图1的挂车摄像头系统的车辆的摄像头系统的框图。
图2B是根据一些实施例的图1的挂车摄像头系统的挂车的摄像头系统的框图。
图3是根据一些实施例的图1的挂车摄像头系统的电子控制器的框图。
图4是根据一些实施例的用于生成耦接到图1的系统的挂车的车辆的360度图像视图的方法的流程图。
图5是对从由图1的系统的摄像头捕获的视频图像所生成的视图进行图示的示意图。
图6是根据一些实施例的由图1的系统所生成的示例360度图像视图的示例。
图7是对根据一些实施例的由被图1的系统的摄像头捕获的视频图像所生成的多个视图进行图示的表格。
图8A是根据一些实施例的修改后的组合360度图像视图的示例。
图8B是根据一些实施例的修改后的组合360度图像视图的示例。
图8C是根据一些实施例的修改后的组合360度图像视图的示例。
图9是根据一些实施例的修改后的组合360度图像视图的示例。
熟练的技术人员将理解，附图中的元件是为了简单和清楚并且并不一定按比例绘制。例如，图中一些元件的尺寸可能相对于其他元件被夸大以帮助提高对本发明的实施例的理解。
装置和方法组件适当地由附图中的常规符号来表示，附图仅示出与理解本发明的实施例相关的那些特定细节，以免将本公开与对受益于本文描述的本领域普通技术人员而言将容易明白的细节混淆。
具体实施方式
在详细解释任何实施例之前，应当理解，在此所呈现的示例在其应用方面不限于在以下描述中所阐述的或在以下附图中所图示的组件的布置和结构的细节。可以以各种方式实践或执行实施例。
还应当注意，可以使用多个基于硬件和基于软件的设备以及多个不同结构的组件来实现在所呈现的实施例。此外，应当理解，实施例可以包括硬件、软件和电子组件或模块，为了讨论的目的，可以将其图示和描述为好像大多数组件仅在硬件中被实现一样。然而，本领域的普通技术人员之一基于对该详细描述的阅读将认识到，在至少一个实施例中，基于电子的方面可以在能由一个或多个处理器来执行的软件（例如，存储在非暂时性计算机可读的介质上）中实现。因此，应当注意，可以利用多个基于硬件和基于软件的设备以及多个不同结构的组件来实现所呈现的实施例。例如，在说明书中所描述的“控制单元”和“控制器”能够包括一个或多个电子处理器、一个或多个包含非暂时性计算机可读的介质的存储器模块、一个或多个输入/输出接口和对组件进行连接的各种连接件（用于例如，系统总线）。
为了便于描述，在此所呈现的每个示例系统都用其每个组成部分的单个示例来说明。某些示例可能不会描述或说明系统的所有组件。其他实施例可以包括更多或更少的所图示的组件，可以组合一些组件，或者可以包括附加的或替代的组件。
图1是挂车摄像头系统100的一个示例性的实施例的框图。挂车摄像头系统100被集成到车辆102和挂车104中。车辆102配备有位于车辆102的后部的挂车挂钩103。挂车104具有位于挂车104前部的挂车联接器（或联轴器）105。挂车挂钩103可以是多种挂钩中的一种（例如，具有球的球型挂车挂钩）、或者例如由挂车联接器105的凹部所接收以将挂车104连接（或钩住）到车辆102的挂钩。挂车104可以是多种类型的车辆挂车（例如，封闭式挂车、车辆牵引挂车、休闲车（RV）挂车等）中的一种。尽管下面将挂车104（特别是关于图3中的方法300）描述作为封闭的挂车，但这不应被认为是限制性的。在此所描述的系统和方法适用于其他类型的挂车。
挂车摄像头系统100包括电子控制器106、人机界面（HMI）108、显示器110、定位在挂车104上的多个第一摄像头112A、定位在车辆112B上的多个第二摄像头112B，以及其他车辆系统116。电子控制器106、HMI 108、显示器110、多个摄像头112A和112B以及其他车辆系统116以及车辆102的其他各个模块和组件经由有线连接、无线连接或它们的某种组合来彼此通信地耦接。使用在系统100中的所有或部分连接可以使用各种通信网络，例如蓝牙TM网络、控制区域网络（CAN）、无线局域网（例如Wi-Fi）、无线附件个人局域网（PAN）等来实现。通信网络用于各种模块与组件之间的互连和信息交换鉴于本文提供的描述对于本领域技术人员来说将是显而易见的。
在一些实施例中，电子控制器106包括向在电子控制器106内的组件和模块提供电力、操作控制和保护的多个电气和电子组件。如图3所示，除了其他组件之外，电子控制器106包括电子处理器202（例如，电子微处理器、微控制器或其他合适的可编程器件）、存储器206和输入/输出接口208。电子处理器202、存储器204和输入/输出接口206以及其他各种模块通过一个或多个控制或数据总线来连接。在一些实施例中，电子控制器106部分或完全以硬件（例如，使用现场可编程门阵列（“FPGA”）、专用集成电路（“ASIC”）或其他器件）来实现。
电子处理器202获取并且提供信息（例如，从存储器204和/或输入/输出接口206），并通过执行一个或多个软件指令或模块来处理该信息，该软件指令或模块能够被存储在例如存储器204的随机存取存储器（“RAM”）区域或者存储器204的只读存储器（“ROM”）或者另一非暂时性计算机可读的介质（未示出）中。该软件可以包括固件、一个或多个应用、程序数据、过滤器、规则、一个或多个程序模块和其他可执行的指令。
存储器204可以包括一个或多个非暂时性计算机可读介质并且包括程序存储区和数据存储区。如在本申请中使用的，“非暂时性计算机可读介质”包括所有计算机可读介质但不包括暂时性传播信号。程序存储区和数据存储区可以包括不同类型存储器的组合，例如只读存储器（“ROM”）、随机存取存储器（“RAM”）、电可擦可编程只读存储器（“EEPROM”）、闪存或其他合适的数字存储器件。电子处理器202连接到存储器204并执行软件，包括固件、一个或多个应用、程序数据、滤波器、规则、一个或多个程序模块和其他可执行指令。电子处理器202从存储器204中检索并执行与本文描述的控制过程和方法相关的指令等。
输入/输出接口206被配置成接收输入并向系统提供输出。输入/输出接口206从系统100的内部和外部的设备和/或组件获取信息和信号，并向其提供信息和信号（例如，通过一个或多个有线和/或无线连接）。
在一些实施例中，电子控制器106可以包括附加的、更少的或不同的组件。例如，在一些实施例中，控制器电子器件106可以包括收发器或单独的发射和接收组件，例如发射器和接收器。电子控制器106的一些或所有组件可以分散和/或集成到系统100的其他设备/组件中（例如，车辆102的未被示出的车辆控制模块或VCM）。
返回到图1，系统100的多个摄像头112A和112B中的每个摄像头都是视频摄像头，其定位成分别捕获围绕挂车104和车辆102的区域的视频图像。在一些实施例中，摄像头112A和112B中的一个或多个摄像头是可移动的（例如，使用平移、倾斜或缩放功能）以捕获挂车104和/或车辆102上的或周围的其他区域的视频图像。在一些实施例中，多个摄像头112A和112B中的一个或多个摄像头可以是车辆102的倒车摄像头系统的一部分。倒车摄像头是已知的并且将不再详细描述。
图2A是车辆102的多个摄像头112B的框图。如图2A所示，多个摄像头112B中的每个摄像头位于车辆102的相应的部分，以捕获相应的围绕车辆102的区域的视频图像。多个摄像头112B中的一个或多个摄像头的视场（图像捕获）可以与多个摄像头112B中的另一摄像头的视场重叠。多个摄像头112B中的每个摄像头的视场共同地捕获围绕车辆102的完整的区域的图像数据。如下文更详细地解释，电子控制器106被配置成将由多个摄像头112B所捕获的图像图像拼接在一起以生成车辆102和围绕车辆102的区域的360度（“鸟瞰”）视图。
挂车104的多个摄像头112A类似地定位在挂车104的相应的部分以捕获围绕挂车104的完整的区域。多个摄像头112A中的一个或多个摄像头的视场（图像捕获）可以与多个摄像头112A中的另一摄像头的视场重叠。图2B是对多个摄像头112A在挂车104上的示例性的定位进行图示的示图。如下文又更详细地解释，电子控制器106被配置成将由多个摄像头112A所捕获的图像图像拼接在一起以生成挂车104和围绕挂车104的区域的360度（“鸟瞰”）视图。
应当理解，虽然在图2B和2A中分别仅图示出了选定数量的摄像头112A和112B，但是多个摄像头112A和112B中的每个摄像头可以包括比图示出的更多或更少的摄像头。
HMI 108提供了在车辆102与驾驶员之间的接口。HMI 108可通信地耦接到电子控制器106并且接收来自驾驶员的输入、接收来自电子控制器106的信息并且基于所接收到的信息向驾驶员提供反馈（例如，音频、视觉、触觉或者其组合）。HMI 108提供合适的输入机制，例如按钮、带有菜单选项的触摸屏显示器、语音识别等，以用于提供来自驾驶员的输入，该输入可以被电子控制器106在其控制车辆102时使用。
HMI 108提供视觉输出，例如，带有图形元素或指示符（例如，固定的或动画式的图标）、灯光、颜色、文本、图像（例如，来自摄像头108）、前述的组合等的图形用户界面。HMI108包括合适的显示设备，例如用于显示视觉输出的显示器110，例如仪表组、反射镜、抬头显示器、中控台显示屏（例如，液晶显示器（LCD）触摸屏、或有机发光二极管（OLED）触摸屏），或者通过其他合适的设备。在一些实施例中，HMI 108包括图形用户界面（GUI）（例如，由电子控制器106根据存储在存储器中的指令和数据来生成，并且呈现在中控台显示屏上）以使用户能够与系统100交互。HMI 108还可以通过包括在HMI 108中或与HMI 108分开的扬声器来向驾驶员提供音频输出，例如铃声、蜂鸣声、语音输出或其他合适的声音。在一些实施例中，HMI 108包括被配置成向驾驶员提供触觉输出的组件，例如通过使用振动马达例如使一个或多个车辆组件（例如，车辆的方向盘和驾驶员的座椅）振动。在一些实施例中，HMI 108提供视觉、音频和触觉输出的组合。在一些实施例中，HMI 108促使视觉、音频和触觉输出由智能电话、智能平板电脑、智能手表或其他可通信地耦接到车辆102的便携式的或可穿戴的电子设备来产生。
其他车辆系统116包括控制器、传感器、致动器等，以用于控制车辆102的操作方面（例如，加速、制动、换档等）。其他车辆系统116被配置成向电子控制器106发送并且从电子控制器接收与车辆102的操作有关的数据。例如，在一些实施例中，系统100可以包括耦接到车辆102的转向系统（未被示出）的转向控制器118。转向控制器118可以被配置成响应于从电子控制器106等所接收到的命令而自动地对车辆102进行转向。转向控制器118还可以从车辆102的方向盘接收转向命令（例如，在“线控驱动”系统中）。在一些实施例中，电子处理器106被配置成执行泊车和/或倒车辅助功能以将车辆102（带有或不带有挂车104）引导（视觉上或者经由转向控制器118自动地）进入围绕车辆102的用户期望的区域以泊车。
图4图示出了用于对耦接到挂车104的车辆102的360度图像视图显示进行生成的示例性的方法300。作为示例，根据电子控制器106，特别是电子处理器202来解释方法300。然而，应当理解，方法400的部分可以分布在多个设备（例如，系统100的一个或多个附加的控制器/处理器）之间。
在框402处，电子处理器202从位于挂车104上的多个摄像头112A接收多个第一视频图像，并且在框404处，从位于车辆102上的多个摄像头112B接收多个第二视频图像。在框406处，电子处理器202确定挂车104相对于车辆102的挂车角度（例如，经由对来自摄像头112A和112B中的一个或多个摄像头的一个或多个图像或在挂车挂钩103内的未被示出的挂车角度传感器的一个或多个图像的图像进行分析）。
在框408处，电子处理器202基于来自多个第一摄像头112A的多个第一视频图像的图像拼接来生成围绕挂车104的区域的第一360度图像视图，并且在框410处，基于来自多个第二摄像头112B的多个第二视频图像的图像拼接来生成围绕车辆102的区域的第二360度图像视图。
在框412处，电子处理器202基于挂车角度由第一360度图像视图和第二360度图像视图来生成组合的360度图像视图，并且在框414处，在显示器（例如，显示器110）上显示组合的360度图像视图。组合的360度图像视图包括围绕挂车的区域和围绕车辆的区域这两者。在一些实施例中，组合的360度图像视图是第一和第二360度图像视图的混合/图像拼接。第一和第二360度图像视图经由混合/拼接算法组合，使得所得到的组合360度图像视图是耦接到挂车104的车辆102和围绕两者的区域的自上而下的视图。图5图示了包括车辆102和挂车104的示意图500。方格502A和502B指示了围绕车辆102和挂车104的区域的360度视图（分别为504A和504B）。方格504C指示了组合的360度图像视图的所得到的可视的分辨率。图6是所得到的组合360度图像视图600的示例。
在一些实施例中，电子处理器202被配置成基于附加因素来生成组合的360度图像视图。例如，在一些实施例中，电子处理器202基于多个第一摄像头112A中的一个或多个摄像头与多个第二摄像头112B中的一个或多个摄像头的位置相对的位置（x，y，z，俯仰、滚动、偏转）生成组合的360度图像视图，因此在拼接在一起时，挂车104和车辆102的360度图像视图这两者在视觉上看起来是从大致相同的视点被捕获的（例如，按比例缩放（scale）、缩放（zoom）、裁剪、平移、倾斜等）。
在一些实施例中，电子处理器202被配置成基于车辆102是否正在转弯（例如，在道路上转弯或在道路上改变车道）来修改组合的360度图像视图。电子处理器202可以基于方向盘的转向角来确定车辆正在转弯（例如，经由方向盘角度传感器（未被示出）来确定）。在一些实施例中，电子处理器202基于来自车辆102的驾驶员所使用的路线规划/导航辅助系统的信息来确定车辆102正在转弯或将要转弯。图7是对车辆102或挂车104的所得到的旋转（在转弯期间）（以及挂车104的长度）如何影响组合的360度图像视图的可视的分辨率区域进行图示的表格600。如图所示，当旋转车辆102或挂车104（以及它们各自的摄像头112B和112A）移出分辨率方格时，这两个因素都可能留下丢失图像信息的区域。电子处理器202可以被配置成填充（经由增强）缺失图像信息的区域以增加总的可视分辨率方格的大小。电子处理器202然后可以生成平移、缩放和/或按比例缩放可视分辨率区域的期望区域以显示在显示器110上，如图7中修改后的组合360度图像视图所示。
组合的360度图像视图的修改也可以基于挂车104的一个或多个尺寸（例如，宽度或高度）。电子处理器202可以确定挂车104的尺寸信息，例如，直接从用户输入（例如，经由HMI 108）或根据来自摄像头112A和112B中的一个或多个摄像头的图像经由视频分析而自动计算。电子处理器202还可基于用户输入（例如，经由HMI 108来接收）修改组合的360度图像视图。
在一些实施例中，组合的360度图像视图包括一个或多个增强的指示或项目。例如，在一些实施例中，电子处理器202被配置成将挂车104的一个或多个尺寸的指示增强到组合的360度图像视图中。在一些实施例中，电子处理器202被配置成基于挂车104的挂车角度来确定预测轨迹（或者，在车辆102包括挂车倒车辅助系统的实施例中，确定挂车104的期望轨迹）并且增强组合的360度图像视图以包括预测和/或期望轨迹的指示。示例组合视图800A-800C分别在图8A-8C中示出。在一些实施例中，组合的360度图像视图可以被电子处理器202用作挂车倒车辅助程序的一部分。例如，当显示在显示器上时，用户可以触摸并拖动期望轨迹的指示（例如，在图9的组合视图900中的轨迹线902）以修改期望轨迹并且处理器302可以相应地更新挂车的倒车辅助程序。在进一步的实施例中，电子处理器302被配置成识别在组合的360度图像视图内的一个或多个对象并且增强组合的360度图像视图以突出显示对象。对象可以是静止的或移动的对象（例如行人、自行车、车辆等）。在一些实施例中，电子处理器202被配置成检测可能与挂车104的预测/期望轨迹相交的对象（在组合的360度图像视图内的区域之内或之外），并且作为响应，提供在组合的360度图像视图内对象的增强视觉指示。如果对象在系统100的一个或多个摄像头112A和112B的视场内，则电子处理器202可以检测到不在组合的360度图像视图内的对象。在另外的实施例中，电子处理器202被配置成对在组合的360度图像视图内的区域之内或者之外的对象（例如，如果对象是移动对象）的轨迹进行预测，并确定是否可能发生与挂车104和移动对象的碰撞（例如，基于挂车104的预测轨迹和/或对象的预测轨迹到挂车104的距离）。电子处理器202然后可以将视觉指示增强到组合的360度图像视图中以警告驾驶员可能的碰撞。电子处理器202可以额外地向车辆102的用户提供一个或多个指示（例如，听觉或触觉警报）以通知用户所检测到的对象和/或可能的碰撞。在一些实施例中，电子处理器202可以被配置成在可能碰撞的初始指示之后自动控制车辆102以避免可能的碰撞（例如，自动制动车辆102）。
在前述说明书中已经描述了具体实施例。然而，本领域的普通技术人员之一将理解，在不脱离如下述权利要求中所阐述的本发明的范围的情况下，可以进行各种修改和改变。因此，说明书和附图被认为是说明性的而不是限制性的，并且所有这些修改都旨在包括在本教导的范围内。
此外，在本文中，诸如第一和第二、顶部和底部等关系术语可以被单独用于将一个实体或动作与另一个实体或动作区分开来，而不必要求或暗示在这些实体或动作之间存在任何实际的这种关系或顺序。术语“包含”、“具有”、“包括”、“含有”或其任何其他变体旨在涵盖非排他性的包含，使得包含、具有、包括、含有元素列表的过程、方法、物品或装置不仅包括那些元素，而且还可以包括未明确列出的或者这类过程、方法、物品或装置固有的其他元素。以“包含…一个”、“具有…一个”、“包括…一个”或“含有……一个”开始的元素在没有更多约束的情况下不排除其他相同元素存在在包含、具有、包括、含有该元素的过程、方法、物品或装置中。除非在此另有明确说明，否则术语“一”和“一个”被定义为一个或多个。术语“基本上”、“实质上”、“大约”、“约”或其任何其他版本被定义为接近本领域普通技术人员所理解的，并且在一个非限制性实施例中，该术语被定义为在10%以内，在另一个实施例中在5%以内，在另一个实施例中在1%以内，并且另一个实施例中在0.5%以内。在此所使用的术语“耦接”被定义为连接，尽管不一定是直接地且不一定是机械地。以某种方式“配置”的设备或结构至少以这种方式来配置，但也可以以未被列出的方式来配置。
因此，实施例此外提供了一种包括人机界面的挂车挂钩引导系统。在下述权利要求中阐述了本发明的各种特征和优点。

Claims (14)

1.一种用于耦接到挂车的车辆的挂车摄像头系统，所述系统包括：
多个第一摄像头，每个第一摄像头都位于所述挂车上并且被配置成捕获包括围绕所述挂车的感兴趣的区域的视频图像；
多个第二摄像头，每个第二摄像头都位于所述车辆上并被配置成捕获包括围绕所述车辆的感兴趣的区域的视频图像；
电子处理器，所述电子处理器被配置成：
从所述多个第一摄像头接收多个第一视频图像；
从所述多个第二摄像头接收多个第二视频图像；
确定所述挂车相对于所述车辆的挂车角度；
基于来自所述多个第一摄像头的所述多个第一视频图像的图像拼接来生成围绕所述挂车的区域的第一360度图像视图；
基于来自所述多个第二摄像头的所述多个第二视频图像的图像拼接来生成围绕所述车辆的区域的第二360度图像视图；
基于所述挂车角度由所述第一360度图像视图和所述第二360度图像视图来生成组合的360度图像视图，所述组合的360度图像视图包括围绕所述挂车的区域和围绕所述车辆的区域；并且
在显示器上显示所述组合的360度图像视图。
2.根据权利要求1所述的挂车摄像头系统，其中，所述电子处理器被配置成基于所述车辆是否处于倒档或正在转弯来修改所述组合的360度图像视图。
3.根据权利要求1所述的挂车摄像头系统，其中，所述电子处理器基于所述多个第一摄像头中的一个或多个摄像头与所述多个第二摄像头中的一个或多个摄像头的位置相对的位置来生成所述组合的360度图像视图。
4.根据权利要求1所述的挂车摄像头系统，其中，所述电子处理器基于所述挂车的尺寸来生成所述组合的360度图像视图。
5.根据权利要求1所述的挂车摄像头系统，其中，所述电子处理器被进一步配置成对在所述组合的360度图像视图内的对象进行识别并且增强所述组合的360度图像视图以突出显示所述对象。
6.根据权利要求1所述的挂车摄像头系统，其中，所述电子处理器被进一步配置成基于所述车辆的所述挂车角度来确定所述挂车的预测轨迹，并且增强所述组合的360度图像视图以包括预测的挂车轨迹的指示。
7.根据权利要求1所述的挂车摄像头系统，其中，所述电子处理器被进一步配置成对所述组合的360度图像视图进行增强以包括所述挂车的尺寸的指示。
8.一种用于生成耦接到挂车的车辆的360度图像视图的方法，所述方法包括：
从每个都位于所述挂车上的多个第一摄像头接收多个第一视频图像，所述多个第一视频图像中的每个第一视频图像包括围绕所述挂车的感兴趣的区域；
从每个都位于所述车辆上的多个第二摄像头接收多个第二视频图像，所述多个第二视频图像中的每个第二视频图像包括围绕所述车辆的感兴趣的区域；
确定所述挂车相对于所述车辆的挂车角度；
基于来自所述多个第一摄像头的所述多个第一视频图像的图像拼接来生成围绕所述挂车的区域的第一360度图像视图；
基于来自所述多个第二摄像头的所述多个第二视频图像的图像拼接来生成围绕所述车辆的区域的第二360度图像视图；
基于所述挂车角度由所述第一360度图像视图和所述第二360度图像视图来生成组合的360度图像视图，所述组合的360度图像视图包括围绕所述挂车的区域和围绕所述车辆的所述区域；并且
在显示器上显示所述组合的360度图像视图。
9.根据权利要求8所述的方法，所述方法进一步包括基于所述车辆是否处于倒档或正在转弯来修改所述组合的360度图像视图。
10.根据权利要求8所述的方法，其中，所述组合的360度图像视图基于所述多个第一摄像头中的一个或多个摄像头与所述多个第二摄像头中的一个或多个摄像头的位置相对的位置来生成。
11.根据权利要求8所述的方法，其中，所述组合的360度图像视图基于所述挂车的尺寸来生成。
12.根据权利要求8所述的方法，所述方法进一步包括对在所述组合的360度图像视图内的对象进行识别并且增强所述组合的360度图像视图以突出显示所述对象。
13.根据权利要求8所述的方法，所述方法进一步包括基于所述车辆的所述挂车角度来对所述挂车的预测轨迹进行确定并且增强所述组合的360度图像视图以包括预测的挂车轨迹的指示。
14.根据权利要求8所述的方法，所述方法进一步包括增强所述组合的360度图像视图以包括所述挂车的尺寸的指示。
CN202111306298.5A 2020-11-06 2021-11-05 用于挂车挂钩系统的摄像头系统 Pending CN114449214A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063110755P 2020-11-06 2020-11-06
US63/110755 2020-11-06

Publications (1)

Publication Number Publication Date
CN114449214A true CN114449214A (zh) 2022-05-06

Family

ID=81256123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111306298.5A Pending CN114449214A (zh) 2020-11-06 2021-11-05 用于挂车挂钩系统的摄像头系统

Country Status (3)

Country Link
US (1) US20220144187A1 (zh)
CN (1) CN114449214A (zh)
DE (1) DE102021212050A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9403482B2 (en) * 2013-11-22 2016-08-02 At&T Intellectual Property I, L.P. Enhanced view for connected cars
US20150286878A1 (en) 2014-04-08 2015-10-08 Bendix Commercial Vehicle Systems Llc Generating an Image of the Surroundings of an Articulated Vehicle
AU2015306153B2 (en) * 2014-08-18 2018-11-08 Jaguar Land Rover Limited Display system and method
US10259390B2 (en) * 2016-05-27 2019-04-16 GM Global Technology Operations LLC Systems and methods for towing vehicle and trailer with surround view imaging devices
DE102016109954A1 (de) 2016-05-31 2017-11-30 Connaught Electronics Ltd. Verfahren zum Unterstützen eines Fahrers eines Gespanns beim Rangieren des Gespanns, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016115313A1 (de) 2016-08-18 2018-02-22 Connaught Electronics Ltd. Verfahren zum Unterstützen eines Fahrers eines Gespanns, Fahrerassistenzsystem sowie Gespann
KR102366723B1 (ko) * 2016-10-11 2022-02-23 삼성전자주식회사 운송 수단으로 시야 확보 영상을 제공하는 방법, 이를 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
US10607416B2 (en) * 2018-08-30 2020-03-31 Valeo Comfort And Driving Assistance Conditional availability of vehicular mixed-reality
US10836313B2 (en) * 2018-11-28 2020-11-17 Valeo Comfort And Driving Assistance Mixed reality view for enhancing pedestrian safety

Also Published As

Publication number Publication date
DE102021212050A1 (de) 2022-05-12
US20220144187A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
EP3357793B1 (en) Parking assist apparatus
EP2487906B1 (en) Control device and vehicle surrounding monitoring device
US20220144169A1 (en) Rear-view camera system for a trailer hitch system
WO2002089485A1 (fr) Procede et dispositif pour la presentation d'une image de camera embarquee a bord d'un vehicule
US20100201508A1 (en) Cross traffic alert system for a vehicle, and related alert display method
WO2018150642A1 (ja) 周辺監視装置
US11620834B2 (en) Periphery monitoring device
US11420678B2 (en) Traction assist display for towing a vehicle
WO2019073938A1 (ja) 駐車支援装置
JP2017094922A (ja) 周辺監視装置
JP2010208359A (ja) 車両用表示装置
JP5195776B2 (ja) 車両周辺監視装置
JP2023184778A (ja) 車両表示システム及び車両表示方法
US9940908B2 (en) Display control device
JP5831331B2 (ja) 車両の後側方撮影装置
WO2019073885A1 (ja) 運転支援装置
US20220144187A1 (en) Camera system for a trailer hitch system
US20220303505A1 (en) Vehicle maneuver assist with environment-fixed overhead composite image
US20120086798A1 (en) System and method for automatic dynamic guidelines
JP2011182254A (ja) 車両用運転支援装置
JP7000787B2 (ja) 周辺監視装置
JP2024050334A (ja) 移動体及び撮像装置の設置方法
JP2024050331A (ja) 移動体及び撮像装置の設置方法
JP2022052416A (ja) 画像処理装置
CN117922438A (zh) 车辆周边监视系统、监视方法及计算机可读记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination