CN112339770A - 车载装置及其提供交通信号灯信息的方法 - Google Patents

车载装置及其提供交通信号灯信息的方法 Download PDF

Info

Publication number
CN112339770A
CN112339770A CN202010085080.0A CN202010085080A CN112339770A CN 112339770 A CN112339770 A CN 112339770A CN 202010085080 A CN202010085080 A CN 202010085080A CN 112339770 A CN112339770 A CN 112339770A
Authority
CN
China
Prior art keywords
traffic signal
signal
processor
traffic
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010085080.0A
Other languages
English (en)
Inventor
任翊淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Publication of CN112339770A publication Critical patent/CN112339770A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0129Traffic data processing for creating historical data or processing based on historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/095Traffic lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60Traffic rules, e.g. speed limits or right of way
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/20Data confidence level

Abstract

本发明提供一种车载装置及车载装置提供交通信号灯信息的方法。车载装置包括:摄像机,拍摄车辆的前方;以及处理器,通过识别由摄像机拍摄的影像中的交通信号灯来检测交通信号灯信息,累积存储检测到的交通信号灯信息,并基于累积的交通信号灯信息来提供交通信号灯的交通信号灯预测信息。

Description

车载装置及其提供交通信号灯信息的方法
相关申请的交叉引用
本申请要求于2019年8月6日提交的申请号为10-2019-0095373的韩国专利申请的优先权的权益,该韩国专利申请的全部内容通过引用并入本文。
技术领域
本公开涉及一种车载装置及其提供交通信号灯信息的方法。
背景技术
车辆到所有事物(V2X)系统是一种用于在车辆行驶期间在与道路基础设施或其它车辆始终保持通信的同时交换并共享诸如交通状况、交通信号灯状态等各种有用信息的技术。特别地,V2X是指诸如车辆到车辆(V2V)和/或车辆到基础设施(V2I)的使用有线/无线通信交换信息的车辆与事物之间的通信。
然而,V2X系统需要将附加终端应用于车辆,因此导致材料成本增加。此外,由于对基础设施的高度依赖性,当诸如交通信号灯的基础设施不具有V2X通信功能时,V2X系统不能交换并共享信息,因此难以提供准确的信息。
发明内容
本公开提供一种车载装置及车载装置提供交通信号灯信息的方法,车载装置使用安装在车辆内的摄像机来收集并累积存储关于行驶路线上的交通信号灯的信息并基于累积的信息来提供交通信号灯信息。
本公开要解决的技术问题不限于前述问题,并且本公开所属领域的技术人员从以下描述中将清楚地理解本文中未提及的任何其它技术问题。
根据本公开的一方面,一种车载装置可以包括:摄像机,被配置为拍摄车辆的前方;以及处理器,被配置为通过识别由摄像机拍摄的影像中的交通信号灯来检测交通信号灯信息,累积存储检测到的交通信号灯信息,并基于累积的交通信号灯信息来提供交通信号灯的交通信号灯预测信息。
交通信号灯信息可以包括交通信号灯的当前信号、信号类型和信号保持时间中的至少一个。处理器可以被配置为基于与交通信号灯匹配的累积数据的数量是否超过阈值来确定是否能够提供交通信号灯预测信息。处理器可以被配置为当与交通信号灯匹配的累积数据的数量小于阈值时,基于直到当前累积的数据来执行简化测试,并且处理器可以被配置为当简化测试结果表明预测信息连续预定次数以上准确时,确定能够提供交通信号灯预测信息。
另外,处理器可以被配置为基于与交通信号灯匹配的累积数据来估计交通信号灯的信号改变时间点。处理器可以被配置为根据统计分析方法基于累积数据来计算参数,计算累积数据的置信水平和置信区间,并将置信区间的下限确定为信号改变时间点。处理器可以被配置为当交通信号灯预测信息有误时,删除与交通信号灯匹配的所有累积数据。
根据本公开的另一方面,一种车载装置提供交通信号灯信息的方法可以包括:通过安装在车辆内的摄像机获得影像;通过检测影像中的交通信号灯来检测交通信号灯信息;以及累积存储交通信号灯信息,并基于累积的交通信号灯信息提供交通信号灯的交通信号灯预测信息。
检测交通信号灯信息可以包括:检测交通信号灯的当前信号、信号类型和信号保持时间中的至少一个。该方法可以进一步包括:在提供交通信号灯预测信息之前,基于与交通信号灯匹配的累积数据来确定是否能够提供交通信号灯预测信息。确定是否能够提供交通信号灯预测信息可以包括:基于与交通信号灯匹配的累积数据的数量是否超过阈值来确定是否能够提供交通信号灯预测信息。
该方法可以进一步包括:当与交通信号灯匹配的累积数据的数量不超过阈值时,基于直到当前累积的数据来执行简化测试;以及当简化测试结果表明预测信息连续预定次数以上准确时,确定能够提供交通信号灯预测信息。提供交通信号灯预测信息可以包括:响应于确定能够提供交通信号灯预测信息,输出交通信号灯的当前信号、信号改变时间点和下一信号中的至少一个。
提供交通信号灯预测信息可以进一步包括:通过根据统计分析方法基于累积数据计算参数,设置累积数据的置信水平和置信区间;以及将设置的置信区间的下限确定为信号改变时间点。确定是否能够提供交通信号灯预测信息可以进一步包括:响应于确定不能提供交通信号灯预测信息,将检测到的交通信号灯信息累积存储在与交通信号灯匹配的存储空间中。另外,该方法可以包括:当交通信号灯预测信息有误时,删除与交通信号灯匹配的所有累积数据。
附图说明
根据结合附图进行的以下详细描述,本公开的上述和其它目的、特征及优点将更加明显:
图1是根据本公开的示例性实施例的车载装置的框图;
图2和图3是示出根据本公开的示例性实施例的数据分类方法的视图;
图4是示出根据本公开的示例性实施例的车载装置提供交通信号灯信息的方法的流程图;以及
图5是示出根据本公开的示例性实施例的提供交通信号灯信息的示例的示例性视图。
具体实施方式
理解的是,如本文所使用的术语“车辆”或“车辆的”或其它类似术语通常包括机动车辆,例如包括运动型多用途车(SUV)、巴士、卡车、各种商用车的乘用车,包括各种轮船和船舰的水运工具,航空器等,并且包括混合动力车辆、电动车辆、内燃机车辆、插电式混合动力车辆、氢动力车辆以及其它替代燃料(例如,除石油以外的资源衍生的燃料)车辆。
尽管将示例性实施例描述为使用多个单元来执行示例性过程,但是理解的是,示例性过程也可以由一个或多个模块来执行。另外,理解的是,术语“控制器”/“控制单元”是指包括存储器和处理器的硬件装置。存储器被配置为存储模块,并且处理器被具体配置为执行所述模块以执行下面进一步描述的一个或多个过程。
此外,本公开的控制逻辑可以实施为包含由处理器、控制器/控制单元等执行的可执行程序指令的计算机可读介质上的非暂时性计算机可读介质。计算机可读介质的示例包括但不限于ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡和光学数据存储装置。计算机可读记录介质也可以分布在联接网络的计算机系统中,使得计算机可读介质以分布式方式,例如由远程信息处理服务器或控制器局域网(CAN)存储并执行。
本文使用的术语仅用于描述特定实施例,而不旨在限制本公开。除非上下文另有明确说明,否则如本文使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式。将进一步理解的是,术语“包括”和/或“包含”在本说明书中使用时,说明所述特征、整数、步骤、操作、元件和/或组件的存在,但不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其组的存在或添加。如本文使用的,术语“和/或”包括一个或多个相关所列项目的任何一个和所有组合。
除非特别说明或从上下文中显而易见,否则如本文使用的,术语“约”被理解为在本领域的正常公差范围内,例如在平均值的2个标准偏差内。“约”可以被理解为规定值的10%、9%、8%、7%、6%、5%、4%、3%、2%、1%、0.5%、0.1%、0.05%或0.01%内。除非上下文另有明确说明,否则本文提供的所有数值均由术语“约”修饰。
在下文中,将参照示例性附图详细描述本公开的一些示例性形式。在将附图标记添加到每个附图的组件时,应注意的是,即使相同或等同的组件显示在其它附图上,也由相同的附图标记表示。此外,在描述本公开的示例性实施例时,将排除对公知特征或功能的详细描述,以免不必要地使本公开的主旨不清楚。
在描述根据本公开的示例性实施例的组件时,可以使用诸如“第一”、“第二”、“A”、“B”、“(a)”、“(b)”等术语。这些术语仅旨在将一个组件与另一组件区分开,并且这些术语不限制组件的性质、顺序或次序。除非另有定义,否则本文中使用的包括技术术语或科学术语的所有术语具有与本公开所属领域的技术人员通常理解的含义相同的含义。诸如在通用词典中定义的那些术语的术语将被解释为具有与相关领域中的上下文含义相同的含义,并且除非在本申请中明确定义为具有理想或过于形式化的含义,否则将不被解释为具有这种理想或过于形式化的含义。
图1是根据本公开的示例性实施例的车载装置的框图,图2和图3是示出根据本公开的示例性实施例的数据分类方法的视图。参照图1,车载装置100可以包括摄像机110或其它成像装置、定位装置120、存储装置130、显示器140和处理器150。车载装置100可以是音频视频导航(AVN)或远程信息处理终端。处理器150可以是被编程为操作车载装置100的其它组件的控制器的一部分。
摄像机110可以安装在车辆内以拍摄或捕获车辆的前方。另外,摄像机110可以被配置为将拍摄的影像输出到处理器150。摄像机110可以利用诸如电荷耦合器件(CCD)影像传感器、互补金属氧化物半导体(CMOS)影像传感器、电荷引发器件(CPD)影像传感器和电荷注入器件(CID)影像传感器的影像传感器中的至少一个影像传感器来实现。摄像机110可以包括影像处理器,该影像处理器被配置为对使用影像传感器获得的影像执行影像处理,例如噪声去除、颜色再现、文件压缩、画质调节和颜色饱和度调节。定位装置120可以被配置为测量或检测车辆的当前位置,即车辆位置。定位装置120可以被具体配置为使用诸如全球定位系统(GPS)、航位推算(DR)、差分GPS(DGPS)和载波相位差分GPS(CDGPS)的定位技术中的至少一种来测量车辆位置。
存储装置130可以被配置为存储地图信息并存储用于操作处理器150的程序。存储装置130可以被配置为存储交通信号灯索引信息和每个交通信号灯的累积数据。存储装置130具有可以累积存储每个交通信号灯的数据的存储空间。另外,存储装置130可以利用诸如闪存、硬盘、安全数字(SD)卡、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、电可擦除可编程ROM(EEPROM)、可擦除可编程ROM(EPROM)、寄存器、可移除磁盘和网络存储装置的存储介质中的至少一种存储介质(记录介质)来实现。
此外,显示器140可以被配置为输出基于处理器150的操作的进度状态和/或结果。显示器140还可以被配置为输出交通信号灯预测信息,例如信号改变时间点和下一信号。显示器140可以包括液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器、透明显示器、平视显示器(HUD)、触摸屏和组合仪表中的至少一种。
显示器140可以包括输出音频数据的音频输出装置,例如扬声器。例如,显示器140可以被配置为显示位于车辆前方的交通信号灯的信号改变时间点和下一信号,并且可以被配置为通过扬声器输出声音信号。此外,显示器140可以利用与触摸传感器结合的触摸屏来实现,并且可以用作输入装置以及输出装置。触摸膜或触摸板可以用作触摸传感器。
处理器150可以被配置为控制车载装置100的整体操作。处理器150可以利用专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、中央处理单元(CPU)、微控制器和微处理器来实现。当设定目的地时,处理器150可以被配置为搜索从车辆的当前位置到目的地的路线(例如,行驶路线),并且沿着搜索到的路线执行路线引导。当没有设定目的地时,处理器150可以被配置为测量车辆的当前位置并且在显示器140上输出映射了所测量的车辆的当前位置的地图信息。
当车辆正在行驶时,处理器150可以被配置为通过使用摄像机110拍摄前方来获得影像。处理器150可以被配置为识别或检测由摄像机110拍摄的影像中的交通信号灯。特别地,处理器150可以被配置为使用公知的影像处理技术来检测拍摄的影像中的交通信号灯。处理器150可以被配置为通过定位装置120来识别车辆的位置,将所识别的车辆的位置映射到地图信息上,并且辨别(例如,检测或识别)检测到的交通信号灯。
处理器150可以被配置为从拍摄的影像中提取交通信号灯区域(例如,交通信号灯影像),并通过分析提取的交通信号灯影像来检测交通信号灯信息,例如信号类型和当前信号。其中,信号类型是指交通信号灯能够显示的信号,即构成交通信号灯的信号显示灯的类型。信号类型包括:绿灯亮时的“行进”信号,黄灯亮时的“警告”信号,绿箭头灯(例如,绿转向信号灯)亮时的“转向”信号,红灯亮时的“停止”信号等。
处理器150可以被配置为将检测到的交通信号灯信息累积存储在存储装置130中。此时,处理器150可以被配置为将检测到的交通信号灯信息累积存储在与识别出的交通信号灯匹配的存储空间中。处理器150可以被配置为在地图上索引交通信号灯并累积存储与每个索引的交通信号灯对应的交通信号灯信息。交通信号灯信息可以包括交通信号灯的位置、信号类型、每个信号的保持时间(例如,每个信号灯亮的持续时间)、信号周期改变的时间点(例如,信号周期改变时间点)、以及信号的顺序(循环、转变)等中的至少一个。
此外,处理器150可以被配置为基于每个交通信号灯的24小时的时间表累积存储每个信号的信息。处理器150可以被配置为基于信号的累积信息来计算交通信号灯的信号周期改变时间点。然后,处理器150可以被配置为使用公知的数据分类技术来估计交通信号灯的信号周期改变时间点。例如,当使用利用卷积(convolution)的二分分类技术时,处理器150可以被配置为利用预定的卷积掩码(convolution mask)大小计算整个时间上的值,并且将具有最高值的区域确定为一个簇(cluster),而将其余区域确定为另一簇。
参照图2,处理器150可以被配置为扫描(sweep)卷积矩阵(convolution matrix)并且识别具有输入到卷积矩阵的数据的平均值中的最大平均值的区域。另外,处理器150可以将具有最大平均值的区域假定为第一簇C1,而将其余区域假定为第二簇C2。因此,处理器150可以被配置为将第一簇C1和第二簇C2之间的时间点确定为信号周期改变时间点。
在另一示例中,当使用利用回归方程和频率分析的分类技术时,处理器150可以被配置为基于累积数据通过回归分析生成回归方程。当回归方程图S1如图3所示时,处理器150可以被配置为将回归方程图S1转换为频域图S2,通过分析转换后的频域图S2来检测高频的位置,即峰值点,并确定检测到的点为信号周期改变时间点T1和T2。
处理器150可以被配置为识别所识别的交通信号灯的累积数据的数量。另外,处理器150可以被配置为基于累积数据的数量是否超过预设阈值来确定是否能够提供交通信号灯预测信息。例如,当累积数据的数量为100或更小时,处理器150可以被配置为确定不能提供交通信号灯预测信息。同时,当累积数据的数量大于100时,处理器150可以被配置为确定能够提供交通信号灯预测信息。换言之,可以将针对交通信号灯累积的数据的数量与阈值进行比较,以确定是否能够提供交通信号灯预测信息。
在该示例性实施例中,例示了处理器150基于累积数据的数量来确定是否能够提供交通信号灯预测信息。然而,处理器150可以被配置为考虑是否识别出信号的顺序(循环或转变)来确定是否能够提供交通信号灯预测信息。例如,当基于累积数据识别出相对于前方交通信号灯上显示的当前信号的前一信号和下一信号时,处理器150可以被配置为确定能够提供交通信号灯预测信息。
此外,在该示例性实施例中,例示了当与交通信号灯匹配的累积数据的数量不超过(小于)阈值时,处理器150确定不能提供交通信号灯预测信息。然而,不限于此,当与交通信号灯匹配的累积数据的数量小于或等于阈值时,处理器150可以被配置为通过基于直到当前(例如,当前时间)累积的数据执行简化测试,来确定是否能够提供交通信号灯预测信息。例如,当与交通信号灯匹配的累积数据的数量小于阈值时,处理器150可以被配置为基于直到当前累积的数据执行简化测试,并且当简化测试结果表明预测信息连续预定次数以上正确或准确时,确定能够提供交通信号灯预测信息。
处理器150可以被配置为计算识别出的交通信号灯的累积数据的参数,并基于所计算的参数来更新置信水平和置信区间。处理器150还可以被配置为根据常规统计分析方法来设置置信水平和置信区间。处理器150可以被配置为基于置信水平和置信区间确定信号改变时间点。例如,处理器150可以被配置为将累积数据的置信水平设置为约99%,并且当确定99%的置信区间在白天为从约7.5秒到8.5秒的区间或在夜间为从约9.5秒到10.5秒的区间时,处理器150可以被配置为将置信区间的下限(最小值)确定为信号改变时间点(即,信号保持时间)。
当确定信号改变时间点时,处理器150可以被配置为基于所确定的信号改变时间点来输出交通信号灯预测信息。例如,当确定信号改变时间点为约8秒时,处理器150可以被配置为在绿灯亮后在显示器140上输出提供绿灯亮的通知的信息约7.5秒,并且处理器150可以被配置为从绿灯亮后约7.5秒到8秒在显示器140上输出诸如“信号将很快改变”的通知。
此外,当确定信号改变时间点时,处理器150可以被配置为引导下一信号以及信号改变时间点。例如,在当前信号是“行进”信号并且下一信号是“警告”信号时,处理器150可以被配置为在约8秒后引导从“行进”信号到“警告”信号的改变。当交通信号灯预测信息有误时,处理器150可以被配置为使用摄像机110识别交通信号灯信息,并且立即将交通信号灯信息提供给驾驶员。然后,处理器150可以被配置为删除交通信号灯预测信息有误的相应交通信号灯的所有累积数据,并再次累积数据。另外,处理器150可以被配置为不提供相应交通信号灯的交通信号灯预测信息。
图4是示出根据本公开的示例性实施例的车载装置提供交通信号灯信息的方法的流程图。处理器150可以被配置为使用摄像机110获得影像(S110)。在车辆行驶期间,摄像机110可以被配置为拍摄车辆的前方,并且将拍摄的影像传送到处理器150。
处理器150可以被配置为从拍摄的影像中检测交通信号灯信息(S120)。另外,处理器150可以被配置为基于车辆的当前位置来识别所拍摄的影像中的交通信号灯。处理器150可以被配置为使用公知的影像处理技术从拍摄的影像中检测交通信号灯的当前信号、信号类型以及信号保持时间等。处理器150还可以被配置为基于与识别出的交通信号灯对应的累积数据来确定是否可以提供(例如,能够提供)交通信号灯预测信息(S130)。处理器150可以被配置为识别累积数据的数量并且基于累积数据的数量是否超过预设阈值来确定是否能够提供交通信号灯预测信息。
响应于确定可以提供交通信号灯预测信息,处理器150可以被配置为向驾驶员提供交通信号灯预测信息(S140)。处理器150可以进一步被配置为基于与识别出的交通信号灯匹配的累积数据来确定识别出的交通信号灯的信号改变时间点,并确定改变的下一信号。然后,处理器150可以被配置为使用累积数据来计算参数,并且基于所计算的参数来设置置信水平(例如,可靠性)和置信区间。另外,处理器150可以被配置为将置信区间的下限确定为信号改变时间点并且基于信号改变时间点来引导预测信号。同时,响应于在S130中确定不能提供交通信号灯预测信息,处理器150可以被配置为累积存储检测到的交通信号灯信息(S150)。换言之,处理器150可以被配置为将检测到的交通信号灯信息累积存储在与识别出的交通信号灯匹配的存储空间中。
图5是示出根据本公开的示例性实施例的提供交通信号灯信息的示例的示例性视图。参照图5,当交通信号灯TL1和TL2存在于车辆的行驶路线上时,车载装置100的处理器150可以被配置为使用摄像机110(例如,使用成像装置拍摄的影像)来识别或检测位于车辆前方的交通信号灯TL1。当处理器150在点P1处识别出交通信号灯TL1的信号从“警告”信号改变为“停止”信号时,处理器150可以被配置为在显示器140上输出影像和消息,以通知驾驶员交通信号灯TL1的当前信号是“停止”信号。此后,当车辆到达点P2处时,处理器150可以被配置为输出交通信号灯TL1的信号将在N秒后从“停止”信号改变为“行进”信号的通知。此外,由于行驶信号的累积数据的置信水平为80%,因此处理器150可以被配置为计算行驶信号的80%置信区间,并且输出所计算的置信区间的下限作为行驶信号保持时间,如下表1所示。
表1
Figure BDA0002381752160000121
根据本公开,车载装置可以被配置为使用安装在车辆中的摄像机来收集并累积存储关于行驶路线上的交通信号灯的信息,并基于累积信息来提供交通信号灯信息,从而防止材料成本增加并消除对基础设施的依赖。因此,车载装置可以用于未应用V2X通信的车辆或应用V2X通信但通信中断或不能通信的车辆。
上文中,尽管参照示例性实施例和附图描述了本公开,但是本公开不限于此,本公开所属领域的技术人员可以在不脱离所附权利要求书要求保护的本公开的宗旨和范围的情况下,对本公开进行各种修改和改变。因此,提供本公开的示例性实施例是为了解释本公开的宗旨和范围,而不是限制本公开的宗旨和范围,从而本公开的宗旨和范围不受实施例的限制。本公开的范围应基于所附权利要求书来解释,并且在等同于权利要求书的范围内的所有技术思想都应包括在本公开的范围内。

Claims (16)

1.一种车载装置,包括:
摄像机,拍摄车辆的前方;以及
处理器,通过识别由所述摄像机拍摄的影像中的交通信号灯来检测交通信号灯信息,累积存储检测到的所述交通信号灯信息,并基于累积的所述交通信号灯信息来提供所述交通信号灯的交通信号灯预测信息。
2.根据权利要求1所述的车载装置,其中,
所述交通信号灯信息包括从包括所述交通信号灯的当前信号、信号类型和信号保持时间的组中选择的至少一个。
3.根据权利要求1所述的车载装置,其中,
所述处理器基于与所述交通信号灯匹配的累积数据的数量是否超过阈值来确定是否能够提供所述交通信号灯预测信息。
4.根据权利要求3所述的车载装置,其中,
当与所述交通信号灯匹配的累积数据的数量小于所述阈值时,所述处理器基于直到当前累积的数据来执行测试,并且当测试结果表明预测信息连续预定次数以上准确时,所述处理器确定能够提供所述交通信号灯预测信息。
5.根据权利要求1所述的车载装置,其中,
所述处理器基于与所述交通信号灯匹配的累积数据来估计所述交通信号灯的信号改变时间点。
6.根据权利要求5所述的车载装置,其中,
所述处理器根据统计分析方法基于所述累积数据来计算参数,计算所述累积数据的置信水平和置信区间,并将所述置信区间的下限确定为所述信号改变时间点。
7.根据权利要求1所述的车载装置,其中,
当所述交通信号灯预测信息有误时,所述处理器删除与所述交通信号灯匹配的所有累积数据。
8.一种提供交通信号灯信息的方法,包括:
处理器获得由安装在车辆内的摄像机拍摄的影像;
所述处理器通过识别所述影像中的交通信号灯来检测交通信号灯信息;以及
所述处理器累积存储所述交通信号灯信息,并基于累积的所述交通信号灯信息提供所述交通信号灯的交通信号灯预测信息。
9.根据权利要求8所述的方法,其中,
检测所述交通信号灯信息包括:
所述处理器检测从包括所述交通信号灯的当前信号、信号类型和信号保持时间的组中选择的至少一个。
10.根据权利要求8所述的方法,进一步包括:
在提供所述交通信号灯预测信息之前,所述处理器基于与所述交通信号灯匹配的累积数据来确定是否能够提供所述交通信号灯预测信息。
11.根据权利要求10所述的方法,其中,
确定是否能够提供所述交通信号灯预测信息包括:
所述处理器基于与所述交通信号灯匹配的累积数据的数量是否超过阈值来确定是否能够提供所述交通信号灯预测信息。
12.根据权利要求11所述的方法,进一步包括:
当与所述交通信号灯匹配的累积数据的数量小于所述阈值时,所述处理器基于直到当前累积的数据来执行测试;以及
当测试结果表明预测信息连续预定次数以上准确时,所述处理器确定能够提供所述交通信号灯预测信息。
13.根据权利要求11所述的方法,其中,
提供所述交通信号灯预测信息包括:
响应于确定能够提供所述交通信号灯预测信息,所述处理器输出从包括所述交通信号灯的当前信号、信号改变时间点和下一信号的组中选择的至少一个。
14.根据权利要求13所述的方法,其中,
提供所述交通信号灯预测信息进一步包括:
所述处理器通过根据统计分析方法基于所述累积数据计算参数,设置所述累积数据的置信水平和置信区间;以及
所述处理器将设置的所述置信区间的下限确定为所述信号改变时间点。
15.根据权利要求11所述的方法,其中,
确定是否能够提供所述交通信号灯预测信息进一步包括:
响应于确定不能提供所述交通信号灯预测信息,所述处理器将检测到的所述交通信号灯信息累积存储在与所述交通信号灯匹配的存储空间中。
16.根据权利要求8所述的方法,进一步包括:
当所述交通信号灯预测信息有误时,所述处理器删除与所述交通信号灯匹配的所有累积数据。
CN202010085080.0A 2019-08-06 2020-02-10 车载装置及其提供交通信号灯信息的方法 Pending CN112339770A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0095373 2019-08-06
KR1020190095373A KR20210016927A (ko) 2019-08-06 2019-08-06 차량 내 장치 및 그의 신호등 정보 제공 방법

Publications (1)

Publication Number Publication Date
CN112339770A true CN112339770A (zh) 2021-02-09

Family

ID=74188383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010085080.0A Pending CN112339770A (zh) 2019-08-06 2020-02-10 车载装置及其提供交通信号灯信息的方法

Country Status (4)

Country Link
US (1) US11069230B2 (zh)
KR (1) KR20210016927A (zh)
CN (1) CN112339770A (zh)
DE (1) DE102020201385A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114613171A (zh) * 2022-01-21 2022-06-10 北京佰才邦技术股份有限公司 信号灯状态信息确定方法、电子设备和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019212263A1 (de) * 2019-08-15 2021-02-18 Volkswagen Aktiengesellschaft Verfahren zur Erhöhung der Verkehrsflussdichte an einer Ampelkreuzung
CN113723229A (zh) * 2021-08-16 2021-11-30 浙江大华技术股份有限公司 信号灯的检测方法、装置及计算机可读存储介质
KR102472649B1 (ko) * 2021-12-28 2022-11-30 포티투닷 주식회사 객체를 트래킹하기 위한 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130253754A1 (en) * 2012-03-26 2013-09-26 Google Inc. Robust Method for Detecting Traffic Signals and their Associated States
JP2015170240A (ja) * 2014-03-10 2015-09-28 富士重工業株式会社 車外環境認識装置
US20160035223A1 (en) * 2014-07-31 2016-02-04 Google Inc. Traffic Signal Response for Autonomous Vehicles
US20170024622A1 (en) * 2015-07-24 2017-01-26 Honda Motor Co., Ltd. Surrounding environment recognition device
DE102017003346A1 (de) * 2017-04-06 2017-10-26 Daimler Ag Verfahren zur Bereitstellung von Daten zur Ampelphasenschaltung
CN109416877A (zh) * 2016-07-07 2019-03-01 松下知识产权经营株式会社 驾驶辅助方法以及利用该驾驶辅助方法的驾驶辅助装置、驾驶辅助系统、自动驾驶控制装置、车辆、程序

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019057840A (ja) * 2017-09-21 2019-04-11 トヨタ自動車株式会社 撮像装置
US20190215378A1 (en) * 2018-01-05 2019-07-11 Cisco Technology, Inc. Predicting vehicle dwell time to optimize v2i communication
US11056005B2 (en) * 2018-10-24 2021-07-06 Waymo Llc Traffic light detection and lane state recognition for autonomous vehicles
US10930145B2 (en) * 2019-03-06 2021-02-23 Avanti R&D, Inc. Traffic system for predicting and providing traffic signal switching timing
US11170238B2 (en) * 2019-06-26 2021-11-09 Woven Planet North America, Inc. Approaches for determining traffic light state

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130253754A1 (en) * 2012-03-26 2013-09-26 Google Inc. Robust Method for Detecting Traffic Signals and their Associated States
JP2015170240A (ja) * 2014-03-10 2015-09-28 富士重工業株式会社 車外環境認識装置
US20160035223A1 (en) * 2014-07-31 2016-02-04 Google Inc. Traffic Signal Response for Autonomous Vehicles
US20170024622A1 (en) * 2015-07-24 2017-01-26 Honda Motor Co., Ltd. Surrounding environment recognition device
CN109416877A (zh) * 2016-07-07 2019-03-01 松下知识产权经营株式会社 驾驶辅助方法以及利用该驾驶辅助方法的驾驶辅助装置、驾驶辅助系统、自动驾驶控制装置、车辆、程序
DE102017003346A1 (de) * 2017-04-06 2017-10-26 Daimler Ag Verfahren zur Bereitstellung von Daten zur Ampelphasenschaltung

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114613171A (zh) * 2022-01-21 2022-06-10 北京佰才邦技术股份有限公司 信号灯状态信息确定方法、电子设备和存储介质
CN114613171B (zh) * 2022-01-21 2023-08-18 北京佰才邦技术股份有限公司 信号灯状态信息确定方法、电子设备和存储介质

Also Published As

Publication number Publication date
US11069230B2 (en) 2021-07-20
US20210043073A1 (en) 2021-02-11
DE102020201385A1 (de) 2021-02-11
KR20210016927A (ko) 2021-02-17

Similar Documents

Publication Publication Date Title
CN112339770A (zh) 车载装置及其提供交通信号灯信息的方法
US10628690B2 (en) Systems and methods for automated detection of trailer properties
JP6398501B2 (ja) 車載カメラ診断装置
US10853936B2 (en) Failed vehicle estimation system, failed vehicle estimation method and computer-readable non-transitory storage medium
CN111262903B (zh) 服务器装置及车辆
JP6855968B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
CN110879845B (zh) 生成日志数据的方法、非暂时性计算机可读介质和数据结构
CN111319560B (zh) 信息处理系统、程序和信息处理方法
CN111325086A (zh) 信息处理系统、程序和信息处理方法
US11270136B2 (en) Driving support device, vehicle, information providing device, driving support system, and driving support method
CN111489584A (zh) 系统、系统的控制方法以及信息提供服务器
US10163345B2 (en) Method and device for providing an event message indicative of an imminent event for a vehicle
CN111583169A (zh) 一种车载相机镜头的污染处理方法及系统
CN111523368B (zh) 信息处理装置、服务器以及交通管理系统
US10132642B2 (en) Unit setting apparatus and unit setting method
US20230090338A1 (en) Method and system for evaluation and development of automated driving system features or functions
CN114093053B (zh) 信息处理方法、非临时性计算机可读取介质、车载装置、车辆、信息处理装置以及系统
US11676397B2 (en) System and method for detecting an object collision
CN115761668A (zh) 摄像头的污渍识别方法、装置、车辆及存储介质
US20210231459A1 (en) Apparatus and method for collecting data for map generation
JP2017054424A (ja) 映像基準点決定システム、映像基準点決定方法および映像基準点決定プログラム
US11889231B2 (en) Information processing apparatus, non-transitory computer readable medium, and information processing method for processing images captured from vehicle
US11370452B2 (en) Driving action determination device, driving action determination method and non-transitory storage medium storing a driving action determination program
US11590982B1 (en) Trip based characterization using micro prediction determinations
US20240105056A1 (en) Electronic device, vehicle, display control method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination