CN112349101B - 高精地图生成方法、以及识别交通灯的方法及系统 - Google Patents

高精地图生成方法、以及识别交通灯的方法及系统 Download PDF

Info

Publication number
CN112349101B
CN112349101B CN202110026373.6A CN202110026373A CN112349101B CN 112349101 B CN112349101 B CN 112349101B CN 202110026373 A CN202110026373 A CN 202110026373A CN 112349101 B CN112349101 B CN 112349101B
Authority
CN
China
Prior art keywords
traffic light
time
identifying
precision map
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110026373.6A
Other languages
English (en)
Other versions
CN112349101A (zh
Inventor
肖健雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen antuzhihang Technology Co.,Ltd.
Original Assignee
Shenzhen Baodong Zhijia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Baodong Zhijia Technology Co ltd filed Critical Shenzhen Baodong Zhijia Technology Co ltd
Priority to CN202110026373.6A priority Critical patent/CN112349101B/zh
Publication of CN112349101A publication Critical patent/CN112349101A/zh
Application granted granted Critical
Publication of CN112349101B publication Critical patent/CN112349101B/zh
Priority to US17/342,549 priority patent/US11875577B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/133—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种用于识别交通灯的高精地图生成方法。该高精地图生成方法包括：获取路测数据，其中，路测数据包括每一交通灯的视频数据；对视频数据进行标注得到交通灯的标注数据，其中，标注数据包括交通灯的状态、以及交通灯信息；利用视频数据和标注数据生成交通灯的识别模型；以及将识别模型和交通灯信息储存到高精地图中，生成用于识别交通灯的高精地图。此外，本发明还提供了一种应用高精地图识别交通灯的方法及系统。本发明技术方案将识别模型储存到高精地图中，能够有效结合高精地图对交通灯进行识别。

Description

高精地图生成方法、以及识别交通灯的方法及系统
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种用于识别交通灯的高精地图生成方法、以及应用高精地图识别交通灯的方法及系统。
背景技术
随着社会经济的飞速发展，越来越多的汽车进入人们的生活。汽车在给人们带来方便和快捷的同时也带来了日益突出的交通安全问题。由此，辅助驾驶、自动驾驶日渐兴起，成为如今大热的研究方向。而无论是辅助驾驶还是自动驾驶，交通灯信号的识别都是智能驾驶系统必不可少的重要组成部分。交通灯信号的正确识别，对智能驾驶系统在室外的安全导航起着关键作用。
高精地图是自动驾驶技术领域的核心技术之一，也是自动驾驶落地的关键技术节点。高精地图的发展直接影响自动驾驶的安全性和精准度。如何结合高精地图实现对交通灯信号的识别是本案需要解决的问题。
发明内容
本发明提供了一种用于识别交通灯的高精地图生成方法、以及应用高精地图识别交通灯的方法及系统，有效结合高精地图实现了对交通灯信号的识别。
第一方面，本发明实施例提供一种用于识别交通灯的高精地图生成方法，所述高精地图生成方法包括：
获取路测数据，其中，所述路测数据包括每一交通灯的视频数据；
对所述视频数据进行标注得到所述交通灯的标注数据，其中，所述标注数据包括所述交通灯的状态、以及交通灯信息；
利用所述视频数据和所述标注数据生成所述交通灯的识别模型；以及
将所述识别模型和所述交通灯信息储存到高精地图中，生成用于识别交通灯的高精地图。
第二方面，本发明实施例提供一种应用高精地图识别交通灯的方法，所述高精地图为利用如上所述的用于识别交通灯的高精地图生成方法生成的高精地图，所述应用高精地图识别交通灯的方法包括：
获取当前时刻车辆的定位信息；
根据所述定位信息与所述高精地图判断预设范围内是否存在交通灯；
当预设范围内存在交通灯时，从所述高精地图中提取所述交通灯的智能模型和状态机；
控制摄像装置拍摄所述交通灯的图像并获取所述图像；
获取当前时刻的时间；以及
利用所述图像、所述当前时刻的时间、所述智能模型、以及所述状态机识别所述交通灯的状态。
第三方面，本发明实施例提供一种应用高精地图识别交通灯的系统，所述应用高精地图识别交通灯的系统包括摄像装置、以及主控制设备，所述主控制设备包括处理器和存储器，所述存储器用于存储应用高精地图识别交通灯的程序指令，所述处理器用于执行所述应用高精地图识别交通灯的程序指令以实现如上所述的应用高精地图识别交通灯的方法。
上述用于识别交通灯的高精地图生成方法、以及应用高精地图识别交通灯的方法及系统，利用交通灯的路测数据生成关于该交通灯的识别模型，并将识别模型储存到高精地图中生成可用于识别交通灯的高精地图。本方案有效结合了高精地图实现对交通灯的识别，且对各种各样不同的交通灯都能进行识别，具有极高的应用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例提供的高精地图生成方法的流程图。
图2为本发明实施例提供的识别交通灯方法的流程图。
图3为本发明实施例提供的识别交通灯方法的子流程图。
图4为本发明实施例提供的识别交通灯方法应用场景的示意图。
图5为本发明实施例提供的车辆的示意图。
图6为本发明实施例提供的识别交通灯系统的内部结构示意图。
元件符号说明
标号 名称 标号 名称
100 系统 200 车辆
10 摄像装置 300 交通灯
20 主控制设备 301 红灯
21 处理器 302 黄灯
22 存储器 303 绿灯
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，换句话说，描述的实施例根据除了这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，还可以包含其他内容，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于只清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
请参看图1，其为本发明实施例提供的高精地图生成方法的流程图。应用高精地图生成方法生成的高精地图，可以用于识别交通灯。用于识别交通灯的高精地图生成方法具体包括如下步骤。
步骤S102，获取路测数据。其中，路测数据包括每一交通灯的视频数据。在本实施例中，路测数据可以由数据采集车辆进行路测采集得到。具体地，数据采集车辆安装有拍摄装置，数据采集车辆于每天不同的时间段不停地在路口行驶，行驶过程中通过拍摄装置拍摄关于交通灯的视频。通过地图和数据采集车辆的定位信息可以从拍摄的视频中提取出每一交通灯相对应的视频数据，或者将拍摄的视频输入至深度学习模型中可以形成每一交通灯相对应的视频数据。
步骤S104，对视频数据进行标注得到交通灯的标注数据。在本实施例中，选取多个不同时间段内的视频帧，对视频帧中交通灯的状态进行标注。多个不同时间段包括但不限于早高峰、晚高峰、以及平峰等车流量不同的交通时间段。在一些可行的实施例中，多个不同时间段也可以包括但不限于早晨、上午、中午、下午、傍晚、以及夜晚等现实时间段，在此不做限定。标注的方法可以采用人工标注或者半自动标注。在本实施例中，半自动标注为电脑自动标注后，再进行人工检查。其中，标注数据包括交通灯的状态、以及交通灯信息。具体地，交通灯的状态包括亮灯状态和不亮灯状态。亮灯状态包括亮红灯、黄灯、绿灯、或者左转灯、右转灯、直行灯等，其中，左转灯、右转灯、直行灯等包括不同的颜色。不亮灯状态为所有灯都不亮的状态，如仅包括红灯、黄灯、以及绿灯的交通灯，绿灯进行闪烁时红灯和黄灯均不亮，绿灯闪烁至不亮时即为不亮灯状态。交通灯信息包括但不限于交通灯是否安装有指示牌等。安装有指示牌的交通灯，其智能模型还包括指示牌的含义等。举例来说，若交通灯安装有指示牌，指示牌上写着“红灯禁止右转”，则该交通灯的标注数据包括“当该交通灯的状态为亮红灯时，禁止右转”的信息。
步骤S106，利用视频数据和标注数据生成交通灯的识别模型。其中，识别模型包括智能模型和状态机，智能模型用于识别交通灯的静态状态，状态机用于识别交通灯状态的改变。在本实施例中，利用标注数据生成智能模型。具体地，标注数据可以通过深度学习等生成智能模型。将标注数据输入至深度学习模型中，标注数据通过多层过滤可以到交通灯的特征。深度学习模型可以通过其中的滤波器学习并进行特征提取，输出相应的智能模型。标注数据也可以基于现有的通用模型生成智能模型，如将标注数据输入类似场景中已有的关于交通灯的模型中进行训练生成关于该交通灯的智能模型。根据视频数据和标注数据进行分析得到交通灯的状态机。具体地，状态机可以通过交通灯的视频数据和标注数据自动或者人工分析形成。
每一交通灯包括一个智能模型，智能模型根据相对应的交通灯的标注数据生成。每一交通灯包括一个状态机，状态机包括交通灯的所有状态、以及交通灯所有状态的变化过程。即是说，每一交通灯均具有一个智能模型和一个状态机。智能模型和状态机均根据交通灯的实际情况生成，由于不同的交通灯有不同的状态、以及不同的状态变化，则不同的交通灯所对应的智能模型和状态机不同。
在一些可行的实施例中，识别模型可以直接用于识别交通灯的静态状态、以及交通灯状态的改变，在此不做限定。
步骤S108，将识别模型和交通灯信息储存到高精地图中，生成用于识别交通灯的高精地图。具体地，将每一交通灯的识别模型，包括智能模型、以及状态机，和交通灯信息储存到高精地图相对应的交通灯数据中，生成新的可用于识别交通灯的高精地图。
上述实施例中，利用交通灯的路测数据生成关于该交通灯的识别模型，识别模型中包括用于识别交通灯静态状态的智能模型和用于识别交通灯状态改变的状态机。将智能模型和状态机均储存到高精地图中生成可用于识别交通灯的高精地图，有效结合了高精地图实现对交通灯的识别。由于每一交通灯均具有一个智能模型和一个状态机，本技术方案生成的高精地图对各种各样不同的交通灯都能进行识别，具有极高的应用性。
请结合参看图2和图4，其为本发明实施例提供的识别交通灯方法的流程图、以及本发明实施例提供的识别交通灯方法应用场景的示意图。识别交通灯的方法应用了利用如上述实施例所述的高精地图生成方法生成的高精地图。识别交通灯的方法包括但不限于应用于轿车、摩托车、卡车、运动型多用途车辆（SUV）、休闲车辆（RV）、船舶、飞行器等任何运输设备，用于辅助运输设备在行驶过程中对交通灯进行识别。
在本实施例中，识别交通灯的方法应用于车辆200。其中，车辆200具有所谓的四级或五级自动化系统。四级自动化系统指的是“高度自动化”，具有四级自动化系统的车辆原则上在其功能范围内不再需要人类驾驶员参加，即使人类驾驶员对干预请求没有做出适当响应，车辆也具备自动达到最小风险状态的能力。五级系统指的是“全自动化”，具有五级自动化系统的车辆可以在任何合法的、可行驶的道路环境下实现自动驾驶，人类驾驶员仅需要设置好目的地并开启系统，车辆就可以通过最优化的路线行驶至指定地点。
在当前应用场景中，路口处设有交通灯300，交通灯300包括红灯301、黄灯302、以及绿灯303。其中，绿灯303会闪烁。车辆200朝着靠近交通灯300的方向行驶并将要行驶至路口。下文将以此应用场景为例进行详细描述。应用高精地图识别交通灯的方法包括如下步骤。
步骤S202，获取当前时刻车辆的定位信息。具体地，本方法通过设置于车辆200的定位模块（图未示）获取车辆200当前时刻的定位信息。其中，定位模块包括但不限于全球定位系统、北斗卫星导航系统、惯性测量单元等，在此不做限定。
步骤S204，根据定位信息与高精地图判断预设范围内是否存在交通灯。具体地，本方法利用设置于车辆200的主控制设备20进行判断，通过定位信息和高精地图判断预设范围内是否存在交通灯300。当预设范围内不存在交通灯300时，执行步骤S202。当预设范围内存在交通灯300时，执行步骤S206。在本实施例中，预设范围为车辆200前方50米的范围。在一些可行的实施例中，预设范围可以是车辆200前方30米、80米、或者100米的范围，预设范围也可以根据实际情况进行设定，在此不做限定。在当前应用场景中，预设范围内存在交通灯300。
步骤S206，从高精地图中提取交通灯的智能模型和状态机。具体地，本方法利用主控制设备20从高精地图中提取交通灯300的智能模型和状态机。在当前应用场景中，交通灯300的智能模型包括状态：亮红灯、亮黄灯、亮绿灯、以及不亮灯。交通灯300的状态机包括所有状态的变化过程：亮红灯变为亮绿灯、亮绿灯变为不亮灯、不亮灯变为亮绿灯、亮绿灯变为亮黄灯、亮黄灯变为亮红灯。
步骤S208，控制摄像装置拍摄交通灯的图像并获取图像。具体地，车辆200安装有摄像装置10，本方法利用主控制设备20控制摄像装置10进行拍摄并获取拍摄的图像，图像中包括交通灯300。其中，摄像装置10可以安装于车辆200的车头，也可以安装于车辆200的车顶，摄像装置10还可以根据实际情况进行安装，在此不做限定。当摄像装置10安装于车辆200时，摄像装置10的拍摄方向与车辆200的行驶方向相同（如图5所示）。
步骤S210，获取当前时刻的时间。具体地，本方法利用主控制设备20获取当前时刻的时间。主控制设备20可以通过车辆200上设有的时钟（图未示）获取当前时刻的时间，也可以通过无线网络等获取当前时刻的时间，在此不做限定。
步骤S212，利用图像、当前时刻的时间、智能模型、以及状态机识别交通灯的状态。
具体地，本方法利用主控制设备20将图像、当前时刻的时间输入至智能模型中，并获取智能模型输出的第一输出结果。其中，第一输出结果包括交通灯300当前时刻的状态。在当前应用场景中，当交通灯300亮绿灯时，将拍摄的图像、以及当前时刻的时间输入至智能模型后，获取第一输出结果为交通灯300当前时刻的状态为亮绿灯。
具体地，本方法利用主控制设备20将图像、当前时刻的时间输入至状态机中，并获取状态机输出的第二输出结果。其中，第二输出结果包括交通灯300下一时刻的状态。在当前应用场景中，当交通灯300当前时刻的状态为亮绿灯时，根据状态机可知交通灯300下一时刻的状态可能为不亮灯的状态，也可能为亮黄灯的状态。
第二输出结果还包括时间标签。其中，时间标签为每一交通灯状态所对应的现实时间段。在本实施例中，数据采集车辆进行路测拍摄视频时，会同时将当时的时间节点记录下来。在对视频数据进行标注时，会对相应的时间节点进行标注。故，标注数据中包括交通灯状态所对应的时间节点。在形成状态机的过程中，根据交通灯状态和相对应的时间节点生成每一状态所对应的现实时间段，即时间标签。举例来说，一交通灯在每天的10时开始亮绿灯，10时2分结束亮绿灯，并变化为其它状态；在每天的10时5分开始亮绿灯，10时7分结束亮绿灯，并变化为其它状态。则该交通灯亮绿灯所对应的现实时间段就包括10时-10时2分、以及10时5分-10时7分。则，结合当前时刻的时间即可获取交通灯300下一时刻的状态。在当前应用场景中，若交通灯300状态为亮绿灯所对应的时间标签包括8时8分-8时9分、8时9分2秒、8时9分4秒等；交通灯300状态为不亮灯所对应的时间标签包括8时9分1秒、8时9分3秒等；交通灯300状态为亮黄灯所对应的时间标签包括8时9分5秒-8时9分10秒等；交通灯300状态为亮红灯所对应的时间标签包括8时9分11秒-8时11分等。即是说，8时8分至8时11分这段时间内，交通灯300状态变化过程为：亮绿灯-不亮灯-亮绿灯-不亮灯-亮绿灯-亮黄灯-亮红灯。若当前时刻的时间为8时8分10秒，与时间标签8时8分-8时9分相匹配，该时间标签所对应的下一个状态为不亮灯的状态。输出交通灯300下一时刻的状态为不亮灯。即是说，交通灯300的绿灯303即将进行闪烁。
上述实施例中，利用储存于高精地图中的智能模型和状态机来识别交通灯当前时刻的状态、以及交通灯下一时刻的状态。当车辆行驶至交通灯预设范围内时，车辆就可以从高精地图中调取该交通灯的智能模型和状态机。由于智能模型和状态机分别与交通灯一一对应，通过高精地图就能够快速且精准地识别出每一个交通灯当前时刻的状态、以及下一时刻的状态。同时，本技术方案提供的方法对各种各样的交通灯都能够进行识别，能够保证识别的准确性，且应用广泛。此外，本技术方案提供的识别交通灯的方法还能够辅助车辆合理地决策启动或是停止，帮助车辆更好地规划行驶路径。
在一些可行的实施例中，车辆200也可以为具有所谓的二级或三级自动化系统的车辆。二级自动化系统指的是“部分自动化”，具有二级自动化系统的车辆需要人类驾驶员时刻进行监管并需要根据环境随时对车辆进行控制。三级自动化系统指的是“条件自动化”，具有三级自动化系统的车辆需要人类驾驶员在适当的时间内及时对车辆进行接管。应用于二级或三级自动化车辆的识别交通灯的方法可以辅助人类驾驶员进行交通灯的识别，帮助驾驶员更好地判断交通灯当前时刻的状态和下一时刻的状态，从而更好地进行决策，使得驾驶更加轻松。
请参看图3，其为本发明实施例提供的识别交通灯方法的子流程图。第一输出结果还包括交通灯是否具有倒计时模块。其中，倒计时模块用于表示还有多长时间从当前时刻的状态变化为下一时刻的状态。当交通灯具有倒计时模块时，执行步骤S302。当交通灯没有倒计时模块时，执行步骤S304。
步骤S302，根据第一输出结果获取交通灯变为下一时刻的状态所需要的时间。具体地，本方法利用主控制设备20根据第一输出结果获取交通灯300变为下一时刻的状态所需要的时间。其中，第一输出结果还包括倒计时模块当前时刻显示的数字。举例来说，交通灯300具有倒计时模块，交通灯300当前时刻的状态为亮绿灯，倒计时模块显示的数字为30，则表示30秒后交通灯300会变为下一时刻的状态。
步骤S304，根据当前时刻的时间和时间标签计算交通灯变为下一时刻的状态所需要的时间。其中，第二输出结果包括时间标签，时间标签为不同的交通灯状态所对应的现实时间段。具体地，本方法利用主控制设备20根据当前时刻的时间和时间标签计算交通灯变为下一时刻的状态所需要的时间。
首先，选取时间标签中的最大时间节点。其中，时间标签包括最小时间节点和最大时间节点，最小时间节点表示交通灯某一状态开始时的现实时间，最大时间节点表示交通灯该状态结束时的现实时间。在当前应用场景中，相匹配的时间标签为8时8分-8时9分，则该时间标签中最小时间节点为8时8分，最大时间节点为8时9分。
其次，计算当前时刻的时间与最大时间节点之差。当前时刻的时间与最大时间节点的时间差即为交通灯300变为下一时刻的状态所需要的时间。在当前应用场景中，当前时刻的时间为8时8分10秒，最大时间节点为8时9分，则时间差为50秒。即是说，50秒后交通灯300变为下一时刻的状态。
上述实施例中，通过交通灯的倒计时模块可以快速获取交通灯变为下一时刻的状态所需要的时间。当交通灯没有倒计时模块时，可以通过当前时刻的时间、以及时间标签计算出交通灯变为下一时刻的状态所需要的时间，从而可以更好地帮助车辆合理地进行决策、以及行驶路径的规划。对于没有倒计时模块的交通灯，直接利用当前时刻的时间和时间标签计算时间差，从而得到交通灯变为下一时刻的状态所需要的时间，极大减少了计算量。
请参看图6，其为本发明实施例提供的识别交通灯系统的内部结构示意图。应用高精地图识别交通灯的系统100包括摄像装置10、以及主控制设备20。识别交通灯的系统100包括但不限于安装于轿车、摩托车、卡车、运动型多用途车辆（SUV）、休闲车辆（RV）、船舶、飞行器等任何运输设备。摄像装置10和主控制设备20可以为一体式，也可以分开设置，在此不做限定。
在本实施例中，主控制设备20包括处理器21和存储器22，存储器22用于存储应用高精地图识别交通灯的程序指令，处理器21用于执行应用高精地图识别交通灯的程序指令以实现应用高精地图识别交通灯的方法。
其中，处理器21在一些实施例中可以是一中央处理器（Central ProcessingUnit, CPU）、控制器、微控制器、微处理器或其它数据处理芯片，用于运行存储器22中存储的应用高精地图识别交通灯的程序指令。
存储器22至少包括一种类型的可读存储介质，该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器22在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘。存储器22在另一些实施例中也可以是外部计算机设备的存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（FlashCard）等。进一步地，存储器22还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器22不仅可以用于存储安装于计算机设备的应用软件及各类数据，例如实现应用高精地图识别交通灯的方法的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。该计算机设备可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、流动硬盘、只读存储介质(ROM，Read-Only Memory)、随机存取存储介质(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种用于识别交通灯的高精地图生成方法，其特征在于，所述高精地图生成方法包括：
获取路测数据，其中，所述路测数据包括每一交通灯的视频数据；
对所述视频数据进行标注得到所述交通灯的标注数据，其中，所述标注数据包括所述交通灯的状态、以及交通灯信息；
利用所述视频数据和所述标注数据生成所述交通灯的识别模型，其中，所述识别模型包括智能模型和状态机，所述智能模型用于识别所述交通灯的静态状态，所述状态机用于识别所述交通灯状态的改变；以及
将所述识别模型和所述交通灯信息储存到高精地图中，生成用于识别交通灯的高精地图。
2.如权利要求1所述的用于识别交通灯的高精地图生成方法，其特征在于，利用所述视频数据和所述标注数据生成所述交通灯的识别模型具体包括：
利用所述标注数据生成所述智能模型；
根据所述视频数据和所述标注数据进行分析得到所述交通灯的状态机。
3.如权利要求2所述的用于识别交通灯的高精地图生成方法，其特征在于，对所述视频数据进行标注得到所述交通灯的标注数据具体包括：
选取多个不同时间段内的视频帧，对所述视频帧中交通灯的状态进行标注。
4.如权利要求2所述的用于识别交通灯的高精地图生成方法，其特征在于，每一所述交通灯包括一个所述智能模型，所述智能模型根据相对应的交通灯的标注数据生成。
5.如权利要求2所述的用于识别交通灯的高精地图生成方法，其特征在于，每一所述交通灯包括一个所述状态机，所述状态机包括所述交通灯的所有状态、以及所述交通灯所有状态的变化过程。
6.一种应用高精地图识别交通灯的方法，其特征在于，所述高精地图为利用如权利要求1至5中任意一项所述的用于识别交通灯的高精地图生成方法生成的高精地图，所述应用高精地图识别交通灯的方法包括：
获取当前时刻车辆的定位信息；
根据所述定位信息与所述高精地图判断预设范围内是否存在交通灯；
当预设范围内存在交通灯时，从所述高精地图中提取所述交通灯的智能模型和状态机；
控制摄像装置拍摄所述交通灯的图像并获取所述图像；
获取当前时刻的时间；以及
利用所述图像、所述当前时刻的时间、所述智能模型、以及所述状态机识别所述交通灯的状态。
7.如权利要求6所述的应用高精地图识别交通灯的方法，其特征在于，利用所述图像、所述当前时刻的时间、所述智能模型、以及所述状态机识别所述交通灯的状态具体包括：
将所述图像、所述当前时刻的时间输入至所述智能模型中，并获取第一输出结果，其中，所述第一输出结果包括所述交通灯当前时刻的状态；以及
将所述图像、所述当前时刻的时间输入至所述状态机中，并获取第二输出结果，其中，所述第二输出结果包括所述交通灯下一时刻的状态。
8.如权利要求7所述的应用高精地图识别交通灯的方法，其特征在于，所述第一输出结果还包括所述交通灯是否具有倒计时模块，所述应用高精地图识别交通灯的方法还包括：
当所述交通灯具有倒计时模块时，根据所述第一输出结果获取所述交通灯变为下一时刻的状态所需要的时间，其中，所述第一输出结果还包括所述倒计时模块当前时刻显示的数字；以及
当所述交通灯没有倒计时模块时，根据所述当前时刻的时间和时间标签计算所述交通灯变为下一时刻的状态所需要的时间，其中，所述第二输出结果包括所述时间标签，所述时间标签为不同的交通灯状态所对应的现实时间段。
9.如权利要求8所述的应用高精地图识别交通灯的方法，其特征在于，根据所述当前时刻的时间和时间标签计算所述交通灯变为下一时刻的状态所需要的时间具体包括：
选取所述时间标签中的最大时间节点；以及
计算所述当前时刻的时间与所述最大时间节点之差。
10.一种应用高精地图识别交通灯的系统，其特征在于，所述应用高精地图识别交通灯的系统包括摄像装置、以及主控制设备，所述主控制设备包括处理器和存储器，所述存储器用于存储应用高精地图识别交通灯的程序指令，所述处理器用于执行所述应用高精地图识别交通灯的程序指令以实现如权利要求6-9任意一项所述的应用高精地图识别交通灯的方法。
CN202110026373.6A 2021-01-08 2021-01-08 高精地图生成方法、以及识别交通灯的方法及系统 Active CN112349101B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110026373.6A CN112349101B (zh) 2021-01-08 2021-01-08 高精地图生成方法、以及识别交通灯的方法及系统
US17/342,549 US11875577B2 (en) 2021-01-08 2021-06-09 Method and system for recognizing traffic lights using a high-precision map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110026373.6A CN112349101B (zh) 2021-01-08 2021-01-08 高精地图生成方法、以及识别交通灯的方法及系统

Publications (2)

Publication Number Publication Date
CN112349101A CN112349101A (zh) 2021-02-09
CN112349101B true CN112349101B (zh) 2021-04-27

Family

ID=74427437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110026373.6A Active CN112349101B (zh) 2021-01-08 2021-01-08 高精地图生成方法、以及识别交通灯的方法及系统

Country Status (2)

Country Link
US (1) US11875577B2 (zh)
CN (1) CN112349101B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112799412A (zh) * 2021-04-12 2021-05-14 北京三快在线科技有限公司 一种无人驾驶设备的控制方法及控制装置
CN113095220B (zh) * 2021-04-12 2023-04-18 浙江吉利控股集团有限公司 交通信号灯数字识别方法及数字识别系统
CN113129625B (zh) * 2021-04-16 2023-01-24 阿波罗智联(北京)科技有限公司 车辆控制方法、装置、电子设备和车辆
CN113505663A (zh) * 2021-08-16 2021-10-15 浙江浩腾电子科技股份有限公司 一种基于人工智能的电动自行车闯红灯视频分析识别方法
CN114332815B (zh) * 2021-12-24 2023-08-29 广州小鹏自动驾驶科技有限公司 交通灯状态检测方法、装置、车辆及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8260482B1 (en) * 2010-04-28 2012-09-04 Google Inc. User interface for displaying internal state of autonomous driving system
US9262918B2 (en) * 2011-05-13 2016-02-16 Toyota Jidosha Kabushiki Kaisha Vehicle-use signal information processing device and vehicle-use signal information processing method, as well as driving assistance device and driving assistance method
CN104508720B (zh) * 2012-08-01 2016-09-07 丰田自动车株式会社 驾驶辅助装置
CN104276082A (zh) * 2013-07-05 2015-01-14 鸿富锦精密工业（深圳）有限公司 车载辅助装置
CN104658290A (zh) * 2013-11-19 2015-05-27 博世汽车部件(苏州)有限公司 用于路口驾驶建议的处理单元、系统和方法
CN106023622B (zh) * 2016-07-22 2018-06-22 百度在线网络技术（北京）有限公司 一种确定红绿灯识别系统识别性能的方法和装置
CN108305475B (zh) * 2017-03-06 2020-10-09 腾讯科技（深圳）有限公司 一种交通灯识别方法及装置
CN109492507B (zh) * 2017-09-12 2022-09-23 阿波罗智能技术(北京)有限公司 红绿灯状态的识别方法及装置、计算机设备及可读介质
CN111212772B (zh) * 2017-10-23 2023-05-23 宝马股份公司 用于确定车辆的驾驶策略的方法和设备
US11069234B1 (en) * 2018-02-09 2021-07-20 Applied Information, Inc. Systems, methods, and devices for communication between traffic controller systems and mobile transmitters and receivers
CN110660254B (zh) * 2018-06-29 2022-04-08 北京市商汤科技开发有限公司 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备
CN109709593A (zh) * 2018-12-28 2019-05-03 国汽(北京)智能网联汽车研究院有限公司 基于“云-端”紧耦合的智能网联汽车车载终端平台
US10960886B2 (en) * 2019-01-29 2021-03-30 Motional Ad Llc Traffic light estimation
CN110888434A (zh) * 2019-11-14 2020-03-17 腾讯科技（深圳）有限公司 自动驾驶方法、装置、计算机设备和计算机可读存储介质
US11854212B2 (en) * 2020-02-26 2023-12-26 Motional Ad Llc Traffic light detection system for vehicle
CN112418031B (zh) * 2020-11-11 2022-03-11 腾讯科技（深圳）有限公司 图像识别方法和装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN112349101A (zh) 2021-02-09
US20220222476A1 (en) 2022-07-14
US11875577B2 (en) 2024-01-16

Similar Documents

Publication Publication Date Title
CN112349101B (zh) 高精地图生成方法、以及识别交通灯的方法及系统
CN112069643B (zh) 一种自动驾驶仿真场景生成方法及装置
CN110675656B (zh) 一种基于瞬时风险识别的智能车辆换道预警方法
CN110606093A (zh) 车辆性能评测方法、装置、设备和存储介质
CN110488825B (zh) 一种自动驾驶的匝道口识别方法及车辆
CN107220583B (zh) 用于识别交通标志的方法和装置
CN108737992A (zh) 通过车辆间通信的摄像机辅助的车辆车灯的诊断
CN111046709A (zh) 车辆车道级定位方法、系统、车辆及存储介质
US11727694B2 (en) System and method for automatic assessment of comparative negligence for one or more vehicles involved in an accident
CN112785850A (zh) 车辆变道未打灯的识别方法及装置
CN110765224A (zh) 电子地图的处理方法、车辆视觉重定位的方法和车载设备
CN113581196B (zh) 一种车辆行驶预警的方法、装置、计算机设备及存储介质
CN113386771A (zh) 道路模型的生成方法及设备
CN106023632A (zh) 一种基于汽车电子标识的停车场管理方法及装置
CN116416588A (zh) 车道线预测方法、装置、电子设备及存储介质
CN116503832A (zh) 一种基于深度学习的信号灯识别方法及装置
CN116092048A (zh) 适用于车载设备的图像识别方法及装置
CN111325054A (zh) 一种确定克隆车辆的方法、装置及计算设备
CN112124074B (zh) 基于车辆周边情况实现自动控制车速方法
CN115334477A (zh) 网联车辆大数据辅助交管系统
CN113212452A (zh) 无人驾驶车辆的控制方法及控制装置、无人驾驶车辆
CN112634624A (zh) 基于智能视频分析的公交车辆规范停靠检测方法及系统
CN114596538A (zh) 无牌车辆违章的证据整合方法、装置、介质及电子设备
CN113474827A (zh) 交通环境识别装置和车辆控制装置
CN112793587B (zh) 感知方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 518057 2301, yuemeite building, No. 1, Gaoxin South seventh Road, high tech Zone community, Yuehai street, Nanshan District, Shenzhen, Guangdong

Patentee after: Shenzhen antuzhihang Technology Co.,Ltd.

Address before: 2301, yuemeite building, No.1, Gaoxin South 7th Road, high tech Zone community, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Patentee before: Shenzhen Baodong Zhijia Technology Co.,Ltd.

CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 518057, Office Building 2807, Haofang Tianji Square, No. 11008 Beihuan Avenue, Nanlian Community, Nantou Street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen antuzhihang Technology Co.,Ltd.

Address before: 518057 2301, yuemeite building, No. 1, Gaoxin South seventh Road, high tech Zone community, Yuehai street, Nanshan District, Shenzhen, Guangdong

Patentee before: Shenzhen antuzhihang Technology Co.,Ltd.