CN116071945A - 交通灯可见性检测和增强显示 - Google Patents

交通灯可见性检测和增强显示 Download PDF

Info

Publication number
CN116071945A
CN116071945A CN202111268575.8A CN202111268575A CN116071945A CN 116071945 A CN116071945 A CN 116071945A CN 202111268575 A CN202111268575 A CN 202111268575A CN 116071945 A CN116071945 A CN 116071945A
Authority
CN
China
Prior art keywords
traffic signal
distance
host vehicle
response
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111268575.8A
Other languages
English (en)
Inventor
M.纳塞里安
丛飞宇
朱杰
C.L.海
P.B.亚伯拉罕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Priority to CN202111268575.8A priority Critical patent/CN116071945A/zh
Priority to US17/456,723 priority patent/US11715373B2/en
Priority to DE102022119199.0A priority patent/DE102022119199A1/de
Publication of CN116071945A publication Critical patent/CN116071945A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/23—
    • B60K35/28—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096758—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • B60K2360/176—
    • B60K2360/177—
    • B60K2360/178—
    • B60K2360/179—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种方法，用于通过本车相机捕获头车的图像；响应于该图像估计头车尺寸以及本车和头车之间的第一距离；接收指示交通信号位置和交通信号周期状态的数据；确定本车和交通信号之间的第二距离；响应于头车尺寸、第一距离和第二距离来估计交通信号视野障碍；以及响应于交通信号视野障碍产生指示交通信号周期状态的图形用户界面。

Description

交通灯可见性检测和增强显示
技术领域
本公开总体涉及一种用于向机动车辆内的驾驶员提供交通信号信息的系统。更具体地，本公开的各方面涉及用于确定交通信号的操作者可见性、控制车辆以增强操作者可见性以及向车辆操作者提供交通信号状态信息的系统、方法和设备。
背景技术
通信系统比如车辆与万物(V2X)通信使现代车辆能够与数据网络、邻近基础设施和其他车辆通信。这些通信允许数据交换、众包和分析，为这些车辆提供比以往更多的信息。例如，使用信号相位和定时(SPaT)消息使交通信号控制器能够向附近车辆提供附加信息，比如十字路口每个车道的当前灯状态和灯状态改变的时间。该信息允许车辆向驾驶员提供关于可能不易于明显的状况的附加信息和警告。
当操作车辆时，经常会出现的问题在于，车辆操作者视野可能被其他邻近车辆阻挡。在车辆是较小车辆(比如轿车)而邻近车辆大得多(比如运输卡车等)的情况下，这个问题变得更加严重。当车辆操作者因交通信号的视野被较大车辆阻挡而不能看到交通信号时，会出现特殊问题。这个问题甚至可能存在于配备有高级驾驶员辅助系统(ADAS)的车辆中，因为车辆可能无法使用车辆相机和传感器来确定交通信号的状态。此外，如果车辆操作者不确定交通信号状态并且配备ADAS的车辆开始移动，操作者可能会不必要地断开ADAS系统。希望在克服上述问题的同时向车辆操作者提供交通灯通知系统。
在该背景部分中公开的上述信息仅仅是为了增强对本发明背景的理解，因此它可能包含不构成在该国已经为本领域普通技术人员所知的现有技术的信息。
发明内容
本文公开了用于供应车辆系统的车辆传感器方法和系统以及相关控制逻辑、制造和操作这种系统的方法以及装备有车载控制系统的机动车辆。作为示例而非限制，本文呈现了用于准确确定交通信号视野障碍和交通灯状态改变的适当驾驶员通知的系统以及用于在机动车辆中执行驾驶员视野分析和交通灯通知的方法的各种实施例。
根据本公开的一方面，一种装置包括：用于捕获图像的相机，其中该图像包括头车(leading vehicle)的表示；接收器，其配置为接收交通信号位置和交通信号周期状态；处理器，其配置为响应于所述图像估计头车尺寸、本车(host vehicle)和头车之间的第一距离，本车和交通信号之间的第二距离，响应于头车尺寸、第一距离和第二距离来估计交通信号视野障碍，并且响应于交通信号视野障碍产生图形用户界面；以及显示器，其配置为显示图形用户界面，其中图形用户界面指示交通信号周期状态。
根据本公开的一方面，还包括用于接收指示本车位置的数据的全球定位系统。
根据本公开的一方面，还包括用于存储指示交通信号位置的地图数据的存储器。
根据本公开的一方面，其中显示器是平视显示器。
根据本公开的一方面，其中响应于头车的一部分在本车和交通信号之间的视线内来估计交通信号视野障碍。
根据本公开的一方面，激光雷达配置成捕获指示头车尺寸和第一距离的深度图。
根据本公开的一方面，其中接收器是SPaT接收器，并且在SPaT消息中指示交通信号位置和交通信号周期状态。
根据本公开的一方面，还包括指示本车速度的车辆控制器，并且其中处理器还配置为响应于本车速度、头车尺寸、第一距离和第二距离来确定未来交通信号视野障碍，并且响应于未来交通信号障碍产生驾驶员警报。
根据本公开的一方面，其中图形用户界面是指示交通信号周期状态的交通信号的增强现实表示，并且其中显示器是增强现实平视显示器。
根据本公开的一方面，一种方法包括：由本车相机捕获头车的图像；响应于所述图像，估计头车尺寸和本车与头车之间的第一距离；接收指示交通信号位置和交通信号周期状态的数据；确定本车和交通信号之间的第二距离；响应于头车尺寸、第一距离和第二距离来估计交通信号视野障碍；以及响应于交通信号视野障碍产生指示交通信号周期状态的图形用户界面。
根据本公开的一方面，响应于经由全球定位系统接收的位置数据来确定本车位置。
根据本公开的一方面，经由平视显示器向车辆操作者显示图形用户界面。
根据本公开的一方面，其中指示交通信号位置的数据存储在本车的存储器中。
根据本公开的一方面，其中响应于头车的一部分在本车和交通信号之间的视线内，估计交通信号视野障碍。
根据本公开的一方面，其中响应于由本车激光雷达系统产生的深度图，确定头车尺寸和本车与头车之间的第一距离。
根据本公开的一方面，其中通过由SPaT数据接收器接收的SPaT数据消息来接收指示交通信号位置和交通信号周期状态的数据。
根据本公开的一方面，响应于本车速度、头车尺寸、第一距离和第二距离来确定未来交通信号视野障碍，并响应于未来交通信号障碍产生驾驶员警报。
根据本公开的一方面，其中图形用户界面是指示交通信号周期状态的交通信号的增强现实表示，并且在增强现实平视显示器上呈现给车辆操作者。
根据本公开的一方面，一种车辆控制系统包括：全球定位系统，其配置为接收指示本车位置的位置数据；本车传感器，用于检测本车尺寸以及本车和头车之间的第一距离；接收器，其配置为接收指示交通信号位置和交通信号周期状态的交通信号数据；处理器，其配置为响应于本车位置、第一距离、交通信号位置和头车尺寸来确定本车和交通信号之间的交通信号视野障碍；以及显示器，其配置为响应于交通信号视野障碍和交通信号周期状态的确定来显示交通信号的表示。
根据本公开的一方面，还包括用于检测本车速度的车辆控制器，并且其中处理器还配置为响应于本车速度、头车尺寸、第一距离和交通信号位置来确定未来交通信号视野障碍，并且用于响应于未来交通信号障碍产生驾驶员警报。
当结合附图时，从下面对优选实施例的详细描述中，本公开的上述优点及其他优点和特征将变得显而易见。
附图说明
下文将结合以下附图描述示例性实施例，其中相同的附图标记表示相同的元件，并且其中：
图1示出了根据本公开示例性实施例的使用交通灯可见性检测和增强显示系统的示例性使用环境；
图2示出了图示根据本公开示例性实施例的用于在机动车辆中实现交通灯可见性检测和增强显示系统的系统的框图；
图3示出了根据本公开实施例的呈现在AR HUD中的示例性图形用户界面的视图；
图4示出了图示根据本公开示例性实施例的用于执行交通灯可见性检测和增强显示的示例性方法的流程图；
图5示出了图示根据本公开示例性实施例的用于在机动车辆中实现交通灯可见性检测和增强显示系统的系统的另一框图；
图6示出了图示根据本公开示例性实施例的用于执行交通灯可见性检测和增强显示的示例性方法的另一流程图。
本文阐述的示例说明了本发明的优选实施例，并且这些示例不应被解释为以任何方式限制本发明的范围。
具体实施方式
以下详细描述本质上仅仅是示例性的，并不旨在限制应用和用途。此外，不打算受前面的技术领域、背景技术、发明内容或下面的详细描述中呈现的任何明示或暗示的理论的约束。如本文所用，术语模块是指专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或组)和存储器、组合逻辑电路和/或提供所述功能的其他合适部件。
现在转到图1，示出了根据本公开示例性实施例的使用交通灯可见性检测和增强显示系统的示例性环境100。示例性环境100描绘了通向具有停止线109的交通灯105、第一车辆110和本车120的道路表面107。
在该示例性实施例中，第一车辆110和本车120描绘为等待交通灯105的状态改变。来自本车120的交通信号105的车辆操作者的视野125被第一车辆110遮挡。配备ADAS的车辆的相机系统也可能检测不到光，因为视野125被阻挡。
提出了一种示例性系统来帮助车辆操作者和/或ADAS传感器确定交通信号状态。该系统首先配置成确定交通信号105的位置。可以响应于地图数据、经由车辆与基础设施(V2I)通信从交通信号传输到本车的数据和/或响应于由本车相机捕获的图像来确定位置。
系统接下来可以使用由本车相机捕获的图像或响应于激光雷达深度图等来估计本车120前方的第一车辆110的宽度和/或高度。第一车辆110的尺寸也可以响应于经由车辆与车辆(V2V)通信从第一车辆110传输到本车的数据来确定。例如，第一车辆110可以配置成响应于来自本车120的请求而传输第一车辆110的一组尺寸。
示例性系统接下来可以配置成确定第一车辆110的高度或宽度是否大于阈值，其中该阈值指示本车120视线受阻的高概率。示例性系统然后可以用车辆速度、车辆高度和到具有交通灯的十字路口的距离来调整第一车辆110和本车120之间的纵向距离，使得交通灯将落入本车的视野125场中。可替代地，如果第一车辆110和本车120之间的距离小于到第一车辆120的所需纵向距离，使得本车视野125对交通信号可能受到遮挡，则系统可以经由V2I通信从交通信号接收交通灯状态，并且在平视显示器(HUD)或其他驾驶员界面上将交通灯状态显示为图形。
现在转到图2，示出了图示根据本公开示例性实施例的用于在机动车辆中实现交通灯可见性检测和增强显示系统的系统200的框图。示例性系统200可以包括天线205、信号相位和定时(SPaT)接收器210、遥测模块215、处理器220、驾驶员信息中心230、增强现实(AR)平视设备(HUD)225、驾驶员警报系统235、物体检测系统245和相机255。
SPaT接收器210可以配置成经由天线205从车辆与基础设施(V2I)发射器接收SPaT消息。SPaT消息可以定义当前的十字路口信号灯相位和十字路口处的所有车道的当前状态。经由SPaT消息接收的数据然后可以耦合到遥测模块215，用于处理并耦合到处理器220。遥测模块215配置为提供本车、其他车辆、基础设施和数据网络之间的无线连接。遥测模块可以包括多个天线、调制器、解调器、信号处理器等，以处理、发送和接收承载供车辆使用的数据的射频信号，比如系统更新、更新的地图数据、信息娱乐系统数据等。遥测模块215还可以包括用于接收用于确定本车位置的GPS卫星信号的GPS接收器。
物体检测系统245可以是激光雷达系统，用于确定到邻近物体(比如头车)的距离。激光雷达系统可以在已知方向上发射光脉冲，并且响应于光脉冲的传播时间来确定在已知方向上到物体的距离。然后，激光雷达系统可以在多个已知方向上重复该操作，以产生表示视场内物体的深度图。深度图中的深度信息然后可以用于确定本车前方的头车的高度、宽度和距离。可替代地，物体检测系统245可以是用于执行类似功能的雷达系统、红外检测系统等。
相机255可以用于从本车捕获视场的图像。例如，相机255可以周期性时间间隔为本车前方的视场捕获一个或多个图像。图像可以描绘头车并用于确定头车的尺寸。
处理器220首先配置成确定本车的位置和即将到来的交通信号的位置。可以响应于从遥测模块215接收的GPS数据和/或地图数据或其他车辆控制数据来确定本车的位置。处理器220然后响应于存储在存储器中的地图数据、响应于由相机255捕获的图像数据和/或响应于诸如从交通信号或其他邻近基础设施接收的SPaT消息的数据来确定即将到来的交通信号的位置。SPaT消息可以指示交通信号位置、交叉路口中每个车道的交通信号的当前状态以及交通信号中每个灯的状态改变的时间。
处理器220接下来可以配置成响应于交通信号位置和本车位置来确定本车和交通信号之间的距离。处理器220接下来可以响应于图像数据和/或物体检测系统数据来确定头车的尺寸。可以使用图像处理技术等响应于一个或多个图像来确定头车的尺寸。如果头车的尺寸大于阈值(指示交通信号的视野受阻的概率)，则处理器220接下来计算到头车的最小距离，其中本车操作者仍可以看到交通信号。如果最小距离大于头车和本车之间的实际距离，则处理器可以配置成产生指示交通信号的当前状态(比如红灯)的图形用户界面，以及可选地指示交通信号的状态改变的时间。该图形用户界面然后可以显示在AR HUD或其他呈现显示器上给车辆操作者。
如果还没有达到到头车的最小距离，则处理器220可以确定本车的车速和/或头车的车速。本车速度可以响应于GPS数据或响应于来自车辆控制器232的数据来确定。处理器220接下来可以确定本车和头车之间的距离是否接近最小距离。如果正在接近最小距离，则处理器220可以产生驾驶员警报，以提供给驾驶员警报系统235、驾驶员信息中心230和/或AR HUD 225。驾驶员警报系统235可以配置为向车辆操作提供警报，即到第一车辆的阈值距离将很快达到，因此对交通信号的视野可能被遮挡。例如，驾驶员警报可以是闪烁的交通信号图形等。如果车辆是配备ADAS的车辆且车辆操作当前由ADAS系统控制，则处理器220可以产生控制信号，指示车辆控制器232或ADAS控制器降低本车速度，使得在本车和头车之间保持至少最小距离。
如果最小距离大于头车和本车之间的实际距离，则处理器可以配置成产生指示交通信号的当前状态(比如红灯)的图形用户界面，以及可选地指示交通信号的状态改变的时间。该图形用户界面然后可以显示在AR HUD上或者呈现给车辆操作者。图3示出了呈现在ARHUD中的示例性图形用户界面的视图300。示例性视图示出了交通信号的增强现实图形305，其中当前信号状态被正确显示。在一些实施例中，图形305可以向驾驶员显示在大概驾驶员可以看到交通信号的位置，如果没有被头车遮挡的话。此外，图形可以包括倒计时定时器310，其指示交通信号的下一次状态改变的即将到来的时间。
现在转到图4，示出了图示根据本公开示例性实施例的用于在机动车辆中实现交通灯可见性检测和增强显示系统的示例性方法400的流程图。示例性方法首先操作成检测410即将到来的交通信号。即将到来的交通信号可以响应于地图数据、响应于本车图像或传感器数据和/或响应于SPaT消息的接收等来检测。可以通过车辆与基础设施(V2I)通信或其他无线通信网络接收SPaT消息。SPaT消息可以周期性地传输，比如每100ms。SPaT消息可以指示交通信号的位置、交叉路口的每个交通车道的交通信号的当前相位和/或每个车道的相位剩余的时间。
方法接下来配置为计算415本车到交通信号的距离。可以响应于响应于GPS数据、地图数据、图像数据等确定的本车位置和检测到的交通信号位置来计算距离。方法接下来配置为确定420是否存在头车。可以响应于由本车相机捕获的图像数据、响应于本车和头车之间的V2V通信和/或响应于本车传感器数据比如激光雷达深度图等来确定头车的存在。如果不存在头车，方法可以返回到检测410交通信号位置。
如果存在头车，则方法接下来配置为确定425头车425的尺寸。可以响应于对由本车相机捕获的图像执行图像处理技术、响应于诸如激光雷达的本车传感器数据或者响应于与头车的V2V通信来确定头车的尺寸。例如，使用V2V通信，头车可以发送指示头车位置、速度和尺寸的数据。该数据可以响应于本车的请求和/或由头车周期性地发送。特别地，本车可以确定头车的高度和宽度。本车可以进一步确定头车在车道内的横向位置。
接下来将头车尺寸与阈值进行比较430。阈值可以指示头车可能潜在地阻挡到本车传感器或本车操作者的交通信号的视野。如果头车的尺寸没有超过阈值，则方法可以返回到检测410交通信号位置。如果头车尺寸超过阈值，则方法接下来配置为确定435到头车的距离。可以响应于本车传感器数据比如图像或激光雷达深度图数据和/或本车和头车的位置数据来确定到头车的距离。
然后将该距离与距离阈值进行比较440。距离阈值可以指示头车后面的本车操作者和/或传感器可能失去交通信号的可见性的距离。该距离阈值可以响应于从本车到交通信号的距离、头车的尺寸以及交通信号的高度和位置来计算。当本车接近头车时，本车操作者对交通信号的视野可能会被遮挡。距离阈值可以取决于本车速度和头车速度和位置。
如果到头车的距离小于距离阈值，指示交通信号的本车视图可能被头车遮挡，则方法可以配置为向车辆操作者显示445交通信号状态的指示。该指示可以是显示在HUD等上的增强现实交通信号。可替代地，指示可以显示在车辆用户界面上，比如中央堆栈显示器、组合仪表显示器等。
如果到头车的距离大于距离阈值，则方法接下来确定450该距离是否接近阈值距离。如果本车行驶得比头车快，则距离可能接近阈值距离。如果距离没有接近阈值距离，则方法可以返回到检测410交通信号位置。如果距离接近阈值距离，则方法接下来可以发出455驾驶员警报，指示车辆操作者交通信号可能很快对车辆操作者不可见，或者可能不可被本车传感器检测到。该驾驶员警报可以是闪光灯、报警音、蜂鸣器或其他听觉警报或者图形用户界面上呈现的其他图形。响应于驾驶员警报，车辆操作者或ADAS可以降低车速，以确保在头车和本车之间保持至少阈值距离，使得交通信号保持可见。
现在转到图5，示出了根据本公开示例性实施例的用于交通灯可见性检测和增强显示的系统500的框图。示例性系统500可以包括相机510、接收器520、处理器530、显示器540、GPS550、存储器560、激光雷达570和车辆控制器580。
相机510可以集成到本车中，并且可以配置用于捕获图像，其中该图像包括头车的表示。在一些示例性实施例中，相机510可以是用于从本车捕获前方视场的前向相机。相机510可以周期性时间间隔捕获一系列图像。图像然后可以耦合到图像处理器或所述处理器530，用于使用图像处理技术进行分析。图像可用于确定头车位置、头车和本车之间的距离、交通信号的距离和位置、头车的尺寸和与交通信号相关的尺寸，比如离地高度等。
接收器520可以是射频接收器或配置成接收指示交通信号位置和交通信号周期状态的数据的其他无线信息接收器。数据可以通过V2I通信信道或网络从交通信号控制器传输。在一些示例性实施例中，接收器520可以是SPaT接收器，并且在SPaT数据消息中指示交通信号位置和交通信号周期状态。
处理器530可以是车辆控制处理器、高级驾驶辅助处理器等，配置为产生包括交通信号周期状态的交通信号的增强现实表示，并且还可以包括指示交通信号状态周期中剩余的时间的倒计时定时器。处理器530可以配置成响应于由相机510捕获的图像来确定头车尺寸、本车和头车之间的第一距离。处理器530接下来可以响应于地图数据等来确定本车和交通信号之间的第二距离。处理器530然后可以响应于头车尺寸、第一距离和第二距离来估计交通信号视野障碍。交通信号视野障碍可以指示头车遮挡本车操作者或本车传感器和交通信号之间的视线。例如，可以响应于头车的高度在本车和交通信号之间的视线内来估计交通信号视野障碍。处理器530然后可以响应于交通信号视野障碍产生图形用户界面。
显示器540可以配置为从处理器530接收图形用户界面，并且在本车内的显示器上向车辆操作者显示图形用户界面。向车辆操作者显示的图形用户界面可以指示交通信号周期状态。图形用户界面还可以显示倒计时定时器，指示直到交通信号的即将到来的状态改变剩余的时间。在一些示例性实施例中，显示器540可以是平视显示器，其配置为向车辆操作者呈现交通信号和交通信号周期状态的增强现实表示。
示例性系统500还可以包括GPS550，用于从一个或多个卫星接收数据，并响应于接收的数据估计本车位置。GPS550然后可以将指示本车位置的GPS数据耦合到处理器530。存储器560可以通信地耦合到处理器530，用于存储地图数据。地图数据可以指示交通信号位置。系统还可以包括激光雷达570，其配置为捕获指示头车尺寸和第一距离的深度图。深度图可用于确定头车的尺寸和/或从本车到头车的距离和/或交通信号等。
系统500还可以包括车辆控制器580，用于控制本车的转向、节气门和/或制动中的一个或多个。车辆控制器580可以配置成执行ADAS算法。车辆控制器580还可以提供指示本车速度的数据，并且其中处理器还配置成响应于本车速度、头车尺寸、第一距离和第二距离来确定未来交通信号视野障碍，并且响应于未来交通信号障碍产生驾驶员警报。
在一些示例性实施例中，系统500可以是高级驾驶员辅助系统，包括配置用于接收指示本车位置的位置数据的GPS550。本车传感器可以包括用于捕获图像的相机和激光雷达。图像可用于检测头车尺寸以及本车和头车之间的第一距离。此外，系统可以包括接收器520，其配置为接收指示交通信号位置和交通信号周期状态的交通信号数据。处理器530可以配置成响应于本车位置、第一距离、交通信号位置和头车尺寸来确定本车和交通信号之间的交通信号视野障碍。系统500还可以包括显示器540，其配置为响应于交通信号视野障碍和交通信号周期状态的确定来向车辆操作者可视地呈现交通信号的表示。
示例性系统还可以包括用于检测本车速度的车辆控制器580。处理器530还可以配置成响应于本车速度、头车尺寸、第一距离和交通信号位置来确定未来交通信号视野障碍，并且响应于未来交通信号障碍产生驾驶员警报。
现在转到图6，示出了图示根据本公开示例性实施例的用于在机动车辆中实现交通灯倒计时通知和警报抑制系统的另一示例性方法800的流程图。该方法首先可操作用于由本车相机捕获610头车的图像。在一些示例性实施例中，图像可以是由激光雷达系统捕获的深度图。
方法接下来可操作用于响应于经由GPS或全球导航卫星系统(GNSS)接收的位置数据来确定620本车位置。本车位置可以由接收的数据指示，并且可以响应于存储在存储器内的地图数据以及与本车附近的地标或其他指示器的相关性而被确认，并且由其他本车传感器检测。
方法接下来响应于该图像估计630头车尺寸和本车与头车之间的第一距离。除了在不同时间间隔捕获的多个图像之外，图像处理技术可以用于确定头车尺寸，比如高度或宽度。此外，可以使用可能在时间和/或空间上变化的多个图像来估计从本车到头车的距离。可替代地，可以响应于由本车激光雷达系统产生的深度图来确定头车尺寸和本车与头车之间的第一距离。
系统然后可以接收640指示交通信号位置和交通信号周期状态的数据，指示交通信号位置的数据存储在本车的存储器中。可以通过V2I通信信道从交通信号控制器等接收数据。V2I通信信道可以是无线射频信道。指示交通信号位置和交通信号周期状态的数据可以通过由SPaT数据接收器接收的SPaT数据消息来接收。
方法接下来确定650本车和交通信号之间的第二距离。可以响应于GPS或GNSS数据来确定本车的位置。交通信号的位置可以响应于地图数据来确定，或者可以响应于诸如相机图像或激光雷达深度图的传感器数据来确定。
方法接下来配置为响应于头车尺寸、第一距离和第二距离来确定660交通信号视野障碍。可以响应于头车的一部分在本车和交通信号之间的视线内来估计交通信号视野障碍。可以使用几何技术来确定障碍，以确定在从车辆驾驶员到交通信号的视线中的头车的高度和/或宽度之间的交叉点。在一些示例性实施例中，方法还可以响应于本车速度、头车尺寸、第一距离和第二距离来确定未来交通信号视野障碍，并且用于响应于未来交通信号障碍产生驾驶员警报。如果确定交通信号视野障碍，则方法接下来响应于交通信号视野障碍产生670指示交通信号周期状态的图形用户界面。图形用户界面可以包括交通信号的图形表示，其包括当前交通信号周期状态，比如红色或绿色，以及指示当前交通信号周期状态中的剩余时间的倒计时定时器。
方法然后配置为通过平视显示器向车辆操作者显示680图形用户界面。图形用户界面可以是指示交通信号周期状态的交通信号的增强现实表示，并且在增强现实平视显示器上呈现给车辆操作者。可替代地，图形用户界面可以是车辆驾驶室内可由车辆操作者看到的显示屏，比如中央堆栈显示器、组合仪表显示器、仪表板显示器等。
虽然在前述详细描述中已经呈现了至少一个示例性实施例，但应当理解，存在大量的变化。还应当理解，一个或多个示例性实施例仅是示例，并不旨在以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实现一个或多个示例性实施例的便利路线图。应当理解，在不脱离所附权利要求及其法律等同物中阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (10)

1.一种装置，包括：
用于捕获图像的相机，其中该图像包括头车的表示；
接收器，其配置为接收交通信号位置和交通信号周期状态；
处理器，其配置为响应于所述图像估计头车尺寸、本车和头车之间的第一距离，响应于交通信号位置估计本车和交通信号之间的第二距离，响应于头车尺寸、第一距离和第二距离来估计交通信号视野障碍，并且响应于交通信号视野障碍产生图形用户界面；以及
显示器，其配置为显示图形用户界面，其中，所述图形用户界面指示所述交通信号周期状态。
2.根据权利要求1所述的装置，还包括用于接收指示本车位置的数据的全球定位系统。
3.根据权利要求1所述的装置，还包括用于存储指示交通信号位置的地图数据的存储器。
4.根据权利要求1所述的装置，其中，所述显示器是平视显示器。
5.根据权利要求1所述的装置，其中，响应于头车的一部分在本车和交通信号之间的视线内来估计所述交通信号视野障碍。
6.根据权利要求1所述的装置，还包括激光雷达，其配置为捕获指示所述头车尺寸和第一距离的深度图。
7.根据权利要求1所述的装置，其中，所述接收器是SPaT接收器，并且在SPaT消息中指示所述交通信号位置和交通信号周期状态。
8.根据权利要求1所述的装置，还包括指示本车速度的车辆控制器，并且其中，所述处理器还配置为响应于本车速度、头车尺寸、第一距离和第二距离来确定未来交通信号视野障碍，并且响应于未来交通信号障碍产生驾驶员警报。
9.根据权利要求1所述的装置，其中，所述图形用户界面是指示所述交通信号周期状态的交通信号的增强现实表示，并且其中，所述显示器是增强现实平视显示器。
10.一种方法，包括：
由本车相机捕获头车的图像；
响应于所述图像，估计头车尺寸和本车与头车之间的第一距离；
接收指示交通信号位置和交通信号周期状态的数据；
确定本车和交通信号之间的第二距离；
响应于头车尺寸、第一距离和第二距离来估计交通信号视野障碍；以及
响应于交通信号视野障碍产生指示交通信号周期状态的图形用户界面。
CN202111268575.8A 2021-10-29 2021-10-29 交通灯可见性检测和增强显示 Pending CN116071945A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111268575.8A CN116071945A (zh) 2021-10-29 2021-10-29 交通灯可见性检测和增强显示
US17/456,723 US11715373B2 (en) 2021-10-29 2021-11-29 Traffic light visibility detection and augmented display
DE102022119199.0A DE102022119199A1 (de) 2021-10-29 2022-08-01 Ampel-Sichtbarkeitserkennung und augmented display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111268575.8A CN116071945A (zh) 2021-10-29 2021-10-29 交通灯可见性检测和增强显示

Publications (1)

Publication Number Publication Date
CN116071945A true CN116071945A (zh) 2023-05-05

Family

ID=85983650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111268575.8A Pending CN116071945A (zh) 2021-10-29 2021-10-29 交通灯可见性检测和增强显示

Country Status (3)

Country Link
US (1) US11715373B2 (zh)
CN (1) CN116071945A (zh)
DE (1) DE102022119199A1 (zh)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7397390B2 (en) * 2004-06-16 2008-07-08 M/A-Com, Inc. Wireless traffic control system
US7925423B2 (en) * 2007-08-31 2011-04-12 Embarq Holdings Company, Llc System and method for traffic condition detection
US9415723B2 (en) * 2009-03-31 2016-08-16 Konica Minolta Holdings, Inc. Image integration unit and image integration method
KR102028720B1 (ko) * 2012-07-10 2019-11-08 삼성전자주식회사 위험 요소에 대한 정보를 디스플레이하는 투명 디스플레이 장치 및 그 방법
US20150321606A1 (en) * 2014-05-09 2015-11-12 HJ Laboratories, LLC Adaptive conveyance operating system
RU2634852C1 (ru) * 2014-07-08 2017-11-07 Ниссан Мотор Ко., Лтд. Устройство обнаружения светофора и способ обнаружения светофора
WO2017209313A1 (ko) * 2016-05-30 2017-12-07 엘지전자 주식회사 차량용 디스플레이 장치 및 차량
JP2018173755A (ja) * 2017-03-31 2018-11-08 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援方法及び運転支援プログラム
US10884424B2 (en) * 2018-09-07 2021-01-05 GM Global Technology Operations LLC Traffic light occlusion detection for autonomous vehicle
US11009366B2 (en) * 2018-11-19 2021-05-18 Here Global B.V. Navigation using dynamic intersection map data
US10969595B2 (en) * 2018-11-30 2021-04-06 International Business Machines Corporation In-vehicle content display apparatus
JP7206968B2 (ja) * 2019-02-01 2023-01-18 トヨタ自動車株式会社 サーバ及び交通管理システム
US11132565B2 (en) * 2019-09-27 2021-09-28 The Travelers Indemnity Company Systems and methods for artificial intelligence (AI) driving analysis and incentives
JP7201576B2 (ja) * 2019-12-10 2023-01-10 本田技研工業株式会社 自動運転車用情報提示装置
US11762094B2 (en) * 2020-03-05 2023-09-19 Uatc, Llc Systems and methods for object detection and motion prediction by fusing multiple sensor sweeps into a range view representation
US11410433B2 (en) * 2020-03-31 2022-08-09 Robert Bosch Gbmh Semantically-consistent augmented training data for traffic light detection

Also Published As

Publication number Publication date
US20230133131A1 (en) 2023-05-04
US11715373B2 (en) 2023-08-01
DE102022119199A1 (de) 2023-05-04

Similar Documents

Publication Publication Date Title
US10169997B2 (en) Vehicle alert apparatus
US9849832B2 (en) Information presentation system
EP3339124B1 (en) Autonomous driving system
JP5987791B2 (ja) ヘッドアップディスプレイ及びプログラム
CN101326511B (zh) 用于检测或预测车辆超车的方法
US9507345B2 (en) Vehicle control system and method
JP4434224B2 (ja) 走行支援用車載装置
US8886386B2 (en) Method for wireless communication between vehicles
JP6402684B2 (ja) 表示装置
JP2016212663A (ja) 他車位置検出装置
RU2760714C1 (ru) Способ содействия вождению и устройство содействия вождению
CN109927629B (zh) 用于控制投影设备的显示控制设备、显示控制方法及车辆
JP2021099793A (ja) インテリジェント交通管制システム及びその制御方法
JP6500724B2 (ja) 危険情報報知システム、サーバ及びコンピュータプログラム
EP3486133B1 (en) Travel control method and travel control device
JP2007257303A (ja) 信号機認識装置
CN111508276A (zh) 基于高精地图的v2x逆向超车预警方法、系统和介质
US20200294432A1 (en) Advertisement display device, vehicle, and advertisement display method
JP2017003395A (ja) 車両の測位システム
JP5104372B2 (ja) 車車間通信システム、車車間通信装置
CN113838307A (zh) 一种车辆交叉路口碰撞预警系统及方法
CN113646201A (zh) 车辆用显示控制装置、车辆用显示控制方法、车辆用显示控制程序
US11715373B2 (en) Traffic light visibility detection and augmented display
CN111344763B (zh) 车对外界信息交互(v2x)通信系统
US11670167B2 (en) Traffic light countdown notification and alert suppression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination