CN109492507B - 红绿灯状态的识别方法及装置、计算机设备及可读介质 - Google Patents

红绿灯状态的识别方法及装置、计算机设备及可读介质 Download PDF

Info

Publication number
CN109492507B
CN109492507B CN201710822106.3A CN201710822106A CN109492507B CN 109492507 B CN109492507 B CN 109492507B CN 201710822106 A CN201710822106 A CN 201710822106A CN 109492507 B CN109492507 B CN 109492507B
Authority
CN
China
Prior art keywords
traffic light
position information
unmanned vehicle
target moment
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710822106.3A
Other languages
English (en)
Other versions
CN109492507A (zh
Inventor
翟玉强
夏添
高涵
李明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Apollo Intelligent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Technology Beijing Co Ltd filed Critical Apollo Intelligent Technology Beijing Co Ltd
Priority to CN201710822106.3A priority Critical patent/CN109492507B/zh
Priority to US16/116,591 priority patent/US11080539B2/en
Publication of CN109492507A publication Critical patent/CN109492507A/zh
Application granted granted Critical
Publication of CN109492507B publication Critical patent/CN109492507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明提供一种红绿灯状态的识别方法及装置、计算机设备及可读介质。其方法包括：获取目标时刻长焦摄像头采集的第一图像、短焦摄像头采集的第二图像以及定位传感器采集的无人车的定位信息和行驶方向；根据目标时刻无人车的定位信息和行驶方向，从高精地图服务器获取目标时刻无人车行驶前方、预设距离阈值范围内的红绿灯的位置信息；根据目标时刻红绿灯的位置信息、以及第一图像和第二图像中的一个图像，识别目标时刻红绿灯的状态。本发明可以使用长焦摄像头和短焦摄像头自适应切换，实现对无人车的红绿灯状态的识别，可以对无人车行驶前方预设距离范围内的任意位置、任意时刻的红绿灯状态进行识别，能够有效地提高无人车的红绿灯状态的识别效率。

Description

红绿灯状态的识别方法及装置、计算机设备及可读介质
【技术领域】
本发明涉及计算机应用技术领域，尤其涉及一种红绿灯状态的识别方法及装置、计算机设备及可读介质。
【背景技术】
在自动驾驶技术中，为保障无人车能够安全通过路口，需要无人车能够实时检测路口红绿灯状态，并识别红灯、绿灯和黄灯，得到这些灯的状态后，输出给后级的无人车中的控制系统，由控制系统根据灯的状态发出通过或者停止的命令。
现有技术中，无人车在识别红绿灯时主要是基于单个摄像头来做图像采集。由摄像头对前方道路中的信息进行采集，然后对采集的图像的全图做红绿灯的检测和识别，最后将识别的结果即灯的状态进行输出。现有方案中，基于单个摄像头的红绿灯识别无法兼具视场角和摄像头检测有效距离两个方面问题。若视场角越大对同一个目标成像越小，使图像检测难度增大；若视场角越小对同一个目标成像越大，图像检测难度变低，但是带来的问题是摄像头视野小，红绿灯很容易偏出视野，造成无人车无法感知前方红绿灯的状态。
基于以上所述，可以知道现有的无人车基于单个摄像头来识别红绿灯状态时，可能会存在摄像头焦距较短，视角较大，未及时采集到远处的红绿灯，或者摄像头焦距较长，视角较小，采集不到距离较近，偏出摄像头视野的红绿灯的情况，因此，现有的无人车对红绿灯状态的识别效率较低。
【发明内容】
本发明提供了一种红绿灯状态的识别方法及装置、计算机设备及可读介质，用于提高无人车对红绿灯状态的识别效率。
本发明提供一种红绿灯状态的识别方法，所述方法包括：
获取目标时刻长焦摄像头采集的第一图像、短焦摄像头采集的第二图像以及定位传感器采集的无人车的定位信息和行驶方向；所述长焦摄像头和所述短焦摄像头分别设置在所述无人车的车辆顶部；
根据所述目标时刻所述无人车的定位信息和所述行驶方向，从高精地图服务器获取所述目标时刻所述无人车行驶前方、所述预设距离阈值范围内的红绿灯的位置信息；
根据所述目标时刻所述红绿灯的位置信息、以及所述第一图像和所述第二图像中的一个图像，识别所述目标时刻红绿灯的状态。
进一步可选地，如上所述的方法中，获取目标时刻定位传感器采集的无人车的定位信息，具体包括：
若检测到所述定位传感器在所述目标时刻未采集所述无人车的定位信息，获取所述定位传感器分别在所述目标时刻的前一刻和后一刻采集的所述无人车的定位信息；
根据所述目标时刻的前一刻和后一刻的所述无人车的定位信息，通过插值的方式计算所述无人车在所述目标时刻的定位信息。
进一步可选地，如上所述的方法中，根据所述目标时刻所述无人车的定位信息和所述行驶方向，从高精地图服务器获取所述目标时刻所述无人车行驶前方、所述预设距离阈值范围内的红绿灯的位置信息，具体包括：
向所述高精地图服务器发送携带所述无人车在所述目标时刻的所述定位信息和所述行驶方向的红绿灯位置请求，以供所述高精地图服务器根据所述红绿灯位置请求中的所述无人车的定位信息和所述行驶方向，获取所述无人车行驶前方、距离所述无人车的距离在预设距离阈值范围内的红绿灯的位置信息；
接收所述高精地图服务器发送的所述无人车行驶前方所述预设距离阈值范围内的所述红绿灯的位置信息。
进一步可选地，如上所述的方法中，根据所述目标时刻所述红绿灯的位置信息、以及所述第一图像和所述第二图像中的一个图像，识别所述目标时刻红绿灯的状态，具体包括：
根据所述目标时刻所述红绿灯的位置信息，获取所述红绿灯所述目标时刻在所述第一图像中的第一位置信息；
判断所述第一位置信息是否有效；
若有效，根据所述第一位置信息，从所述第一图像中获取用于识别红绿灯状态的第一感兴趣区域；
对所述第一感兴趣区域进行检测，以识别所述目标时刻红绿灯的状态。
进一步可选地，如上所述的方法中，若所述第一位置信息无效，所述方法还包括：
根据所述目标时刻所述红绿灯的位置信息，获取所述红绿灯所述目标时刻在所述第二图像中的第二位置信息；
根据所述第二位置信息，从所述第二图像中获取用于识别红绿灯状态的第二感兴趣区域；
对所述第二感兴趣区域进行检测，以识别所述目标时刻红绿灯的状态。
进一步可选地，如上所述的方法中，根据所述目标时刻所述红绿灯的位置信息，获取所述红绿灯所述目标时刻在所述第一图像中的第一位置信息，具体包括：
根据所述目标时刻所述红绿灯的位置信息，结合所述长焦摄像头的内部参数和所述长焦摄像头相对于所述定位传感器的外部旋转变换表达，采用如下公式获取所述红绿灯在所述第一图像中的第一位置信息：Ilong＝Kl×[R|T]l×PW，其中所述Ilong为所述红绿灯在所述第一图像中的第一位置信息，所述Kl为所述长焦摄像头的内部参数，所述[R|T]l为所述长焦摄像头相对于所述定位传感器的外部旋转变换表达，所述PW为所述目标时刻所述红绿灯的位置信息；
根据所述目标时刻所述红绿灯的位置信息，获取所述红绿灯所述目标时刻在所述第二图像中的第二位置信息，具体包括：
根据所述目标时刻所述红绿灯的位置信息，结合所述短焦摄像头的内部参数和所述短焦摄像头相对于所述定位传感器的外部旋转变换表达，采用如下公式获取所述红绿灯在所述第二图像中的第二位置信息：Ishort＝Ks×[R|T]S×PW，其中所述Ishort为所述红绿灯在所述第二图像中的第二位置信息，所述Ks为所述短焦摄像头的内部参数，所述[R|T]S为所述短焦摄像头相对于所述定位传感器的外部旋转变换表达，所述PW为所述目标时刻所述红绿灯的位置信息。
本发明提供一种红绿灯状态的识别装置，所述装置包括：
基础信息获取模块，用于获取目标时刻长焦摄像头采集的第一图像、短焦摄像头采集的第二图像以及定位传感器采集的无人车的定位信息和行驶方向；所述长焦摄像头和所述短焦摄像头分别设置在所述无人车的车辆顶部；
位置信息获取模块，用于根据所述目标时刻所述无人车的定位信息和所述行驶方向，从高精地图服务器获取所述目标时刻所述无人车行驶前方、所述预设距离阈值范围内的红绿灯的位置信息；
识别模块，用于根据所述目标时刻所述红绿灯的位置信息、以及所述第一图像和所述第二图像中的一个图像，识别所述目标时刻红绿灯的状态。
进一步可选地，如上所述的装置中，所述基础信息获取模块，具体用于：
若检测到所述定位传感器在所述目标时刻未采集所述无人车的定位信息，获取所述定位传感器分别在所述目标时刻的前一刻和后一刻采集的所述无人车的定位信息；
根据所述目标时刻的前一刻和后一刻的所述无人车的定位信息，通过插值的方式计算所述无人车在所述目标时刻的定位信息。
进一步可选地，如上所述的装置中，所述位置信息获取模块，具体用于：
向所述高精地图服务器发送携带所述无人车在所述目标时刻的所述定位信息和所述行驶方向的红绿灯位置请求，以供所述高精地图服务器根据所述红绿灯位置请求中的所述无人车的定位信息和所述行驶方向，获取所述无人车行驶前方、距离所述无人车的距离在预设距离阈值范围内的红绿灯的位置信息；
接收所述高精地图服务器发送的所述无人车行驶前方所述预设距离阈值范围内的所述红绿灯的位置信息。
进一步可选地，如上所述的装置中，所述识别模块，包括：
位置获取单元，用于根据所述目标时刻所述红绿灯的位置信息，获取所述红绿灯所述目标时刻在所述第一图像中的第一位置信息；
判断单元，用于判断所述第一位置信息是否有效；
区域获取单元，用于若所述判断单元判断所述第一位置信息有效，根据所述第一位置信息，从所述第一图像中获取用于识别红绿灯状态的第一感兴趣区域；
识别单元，用于对所述第一感兴趣区域进行检测，以识别所述目标时刻红绿灯的状态。
进一步可选地，如上所述的装置中，所述位置获取单元，还用于若所述判断单元判断所述第一位置信息无效，根据所述目标时刻所述红绿灯的位置信息，获取所述红绿灯所述目标时刻在所述第二图像中的第二位置信息；
所述区域获取单元，还用于根据所述第二位置信息，从所述第二图像中获取用于识别红绿灯状态的第二感兴趣区域；
所述识别单元，还用于对所述第二感兴趣区域进行检测，以识别所述目标时刻红绿灯的状态。
进一步可选地，如上所述的装置中，所述位置获取单元，具体用于根据所述目标时刻所述红绿灯的位置信息，结合所述长焦摄像头的内部参数和所述长焦摄像头相对于所述定位传感器的外部旋转变换表达，采用如下公式获取所述红绿灯在所述第一图像中的第一位置信息：Ilong＝Kl×[R|T]l×PW，其中所述Ilong为所述红绿灯在所述第一图像中的第一位置信息，所述Kl为所述长焦摄像头的内部参数，所述[R|T]l为所述长焦摄像头相对于所述定位传感器的外部旋转变换表达，所述PW为所述目标时刻所述红绿灯的位置信息；
所述位置获取单元，具体还用于根据所述目标时刻所述红绿灯的位置信息，结合所述短焦摄像头的内部参数和所述短焦摄像头相对于所述定位传感器的外部旋转变换表达，采用如下公式获取所述红绿灯在所述第二图像中的第二位置信息：Ishort＝Ks×[R|T]S×PW，其中所述Ishort为所述红绿灯在所述第二图像中的第二位置信息，所述Ks为所述短焦摄像头的内部参数，所述[R|T]S为所述短焦摄像头相对于所述定位传感器的外部旋转变换表达，所述PW为所述目标时刻所述红绿灯的位置信息。
本发明还提供一种无人车中的计算机设备，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的红绿灯状态的识别方法。
本发明还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的红绿灯状态的识别方法。
本发明的红绿灯状态的识别方法及装置、计算机设备及可读介质，通过获取目标时刻长焦摄像头采集的第一图像、短焦摄像头采集的第二图像以及定位传感器采集的无人车的定位信息和行驶方向；根据目标时刻无人车的定位信息和行驶方向，从高精地图服务器获取目标时刻无人车行驶前方、预设距离阈值范围内的红绿灯的位置信息；根据目标时刻红绿灯的位置信息、以及第一图像和第二图像中的一个图像，识别目标时刻红绿灯的状态。本发明的技术方案，与现有技术相比，可以弥补现有技术中采用单个摄像头识别红绿灯状态识别效率较低的缺陷，通过长焦摄像头和短焦摄像头的自适应切换，实现对无人车的红绿灯状态的识别。因此本发明的技术方案，可以对无人车行驶前方预设距离范围内的任意位置、任意时刻的红绿灯状态进行识别，有效地提高了无人车的红绿灯状态的识别效率。
【附图说明】
图1为本发明的红绿灯状态的识别方法实施例的流程图。
图2为本发明的红绿灯状态的识别装置实施例一的结构图。
图3为本发明的红绿灯状态的识别装置实施例二的结构图。
图4为本发明的无人车的计算机设备实施例的结构图。
图5为本发明提供的一种无人车的计算机设备的示例图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
图1为本发明的红绿灯状态的识别方法实施例的流程图。如图1所示，本实施例的红绿灯状态的识别方法，具体可以包括如下步骤：
100、获取目标时刻长焦摄像头采集的第一图像、短焦摄像头采集的第二图像以及定位传感器采集的无人车的定位信息和行驶方向；
本实施例的红绿灯状态的识别方法的执行主体为红绿灯状态的识别装置，该红绿灯状态的识别装置可以设置在无人车中，用于帮助无人车对行驶的道路前方的红绿灯的状态进行识别。
本实施例的红绿灯状态的识别方法，在实施时，需要在无人车的车辆顶部设置长焦摄像头和短焦摄像头两个摄像头。例如具体可以设置在车辆顶部车头的方向上，以便于采集无人车行驶前方的路况信息，例如采集无人车行驶前方的红绿灯等。其中长焦摄像头视场角度小，但是探测离长，看的“远”；短焦摄像头视场角度大，但是探测距离短。例如当无人车距离红绿灯较近，但是长焦摄像头的光轴不是正对红绿灯，而和红绿灯与长焦摄像头的连线所在的直线具有较大的夹角，而且长焦摄像头的视角角度小，此时长焦摄像头就采集不到红绿灯；而短焦摄像头的视场角度大，可以采集到该红绿灯。本实施例利用长焦摄像头和短焦摄像头的上述特性，进行自适应切换。
本实施例的定位传感器可以采集到无人车任一时刻的定位信息即位置信息，同时还可以标识无人车任一时刻的行驶方向。
本实施例中，为了能够利用长焦摄像头采集的第一图像、短焦摄像头采集的第二图像以及定位传感器采集的无人车的定位信息和行驶方向，共同去对红绿灯状态进行识别。需要将长焦摄像头采集的第一图像、短焦摄像头采集的第二图像以及定位传感器采集的无人车的定位信息和行驶方向按照时间戳进行同步，这样，才可以根据同一时刻的长焦摄像头采集的第一图像、短焦摄像头采集的第二图像以及定位传感器采集的无人车的定位信息和行驶方向，共同去对红绿灯状态进行识别。在信息存储时，具体可以设置三个循环队列，例如第一循环队列中按照时间先后顺序存储长焦摄像头采集的第一图像和对应的时间戳；第二循环队列中按照时间先后顺序存储短焦摄像头采集的第二图像和对应的时间戳；第三循环队列中按照时间先后顺序存储定位传感器采集的无人车的定位信息、行驶方向和对应的时间戳。本实施例在采集三种信息时可以按照相同的频率进行采集，其采集频率可以为每秒采集5次，或者按照实际需求设置的每秒3次、每秒6次、或者其他等等。例如，本实施例的各循环队列的长度可以为100，或者根据实际需求设置的其他数值的长度。
信息同步时，可以先分别从第一循环队列、和第二循环队列中，获取时间戳相同第一图像和第二图像进行同步。但是若不存在时间戳完全相同的第一图像和第二图像，可以查找时间戳最相近的第一图像和第二图像，作为同一时间戳的第一图像和第二图像，此时的同一时间戳可以为第一图像对应的时间戳，也可以为第二图像对应的时间戳。
然后，从第三循环队列中，获取同一时间戳的无人车的定位信息和行驶方向。但是若检测到该第三循环队列中不存在该同一时间戳的无人车的定位信息和行驶方向。例如，以该同一时间戳为目标时刻为例，若检测到定位传感器在目标时刻未采集无人车的定位信息，此时可以获取定位传感器分别在目标时刻的前一刻和后一刻采集的无人车的定位信息；然后根据目标时刻的前一刻和后一刻的无人车的定位信息，通过插值的方式可以计算无人车在目标时刻的定位信息。这样，可以获取到同一时间戳对应的长焦摄像头采集的第一图像、短焦摄像头采集的第二图像、以及定位传感器采集的无人车的定位信息和行驶方向。按照上述方式，可以对任一目标时刻的三种信息进行同步，从而获取到同一时刻的长焦摄像头采集的第一图像、短焦摄像头采集的第二图像以及定位传感器采集的无人车的定位信息和行驶方向。
101、根据目标时刻无人车的定位信息和行驶方向，从高精地图服务器获取目标时刻无人车行驶前方、预设距离阈值范围内的红绿灯的位置信息；
高精地图为一种精度非常高的地图，在高精地图中可以精确标识任一红绿灯的位置。在高精地图中红绿灯的位置信息可以采用世界坐标系来标识，不仅可以标识出经纬度坐标，还可以标识出高度。例如在高精地图中可以采用通用横墨卡托(UniversalTransverse Mercator；UTM)格网(GRID)坐标系统来标识任一点的坐标。UTM坐标系也是一种平面直角坐标，详细可以参考相关现有技术，在此不再赘述。高精地图可以基于UTM坐标标识出任一红绿灯的位置信息。
由于本实施例中，识别红绿灯的状态主要用于对无人车进行控制。若红绿灯距离无人车当前的位置较远时，识别红绿灯的状态没有意义，此时不需要根据红绿灯的状态对无人车进行控制；而且位于无人车上的长焦摄像头和短焦摄像头也采集不到距离较远的红绿灯的状态。因此，本实施例可以设置一个预设距离阈值，仅从高精地图服务器中获取目标时刻无人车行驶前方、预设距离阈值范围内的红绿灯的位置信息。例如本实施例的预设距离阈值具体为根据长焦摄像头的焦距来设置，可以保证长焦摄像头能够采集到前方预设距离阈值位置处的红绿灯，该预设距离阈值具体可以为100米、150米或者可以为根据长焦摄像头的焦距来设置的其他数值。
例如，该步骤101，具体可以包括如下步骤：
(a1)向高精地图服务器发送携带无人车在目标时刻的定位信息和行驶方向的红绿灯位置请求，以供高精地图服务器根据红绿灯位置请求中的无人车的定位信息和行驶方向，获取无人车行驶前方、距离无人车的距离在预设距离阈值范围内的红绿灯的位置信息；
(b1)接收高精地图服务器发送的无人车行驶前方预设距离阈值范围内的红绿灯的位置信息。
需要说明的是，本实施例中定位传感器采集的无人车的目标时刻的定位信息可以为UTM坐标系标识的位置信息，这样，红绿灯状态的识别装置向高精地图服务器发送携带无人车的目标时刻的该定位信息和行驶方向的红绿灯位置请求之后，高精地图服务器根据无人车目标时刻的定位信息，可以确定无人车行驶的道路；然后参考无人车的行驶的道路和行驶的方向，根据预先存储的各条道路中的红绿灯的位置信息，获取无人车行驶道路上、行驶前方距离无人车预设距离阈值范围内的红绿灯的位置信息。该红绿灯的位置信息为UTM坐标系标识的位置信息。然后高精地图服务器将获取到的该无人车行驶前方预设距离阈值范围内的红绿灯的位置信息返回给红绿灯状态的识别装置。
需要说明的是，若高精地图服务器检测到无人车行驶前方预设距离范围内没有红绿灯存在，此时高精地图服务器不返回任何信息，若红绿灯状态的识别装置在发送红绿灯位置请求之后的预设时间段内未收到任何反馈，可以表示前方预设距离阈值范围内没有红绿灯。此时无人车的控制系统可以不做出任何减速或者停止的指令，继续控制无人车前行。或者若高精地图服务器检测到无人车行驶前方预设距离范围内没有红绿灯存在，也可以设置高精地图服务器返回一个空信息，以告知红绿灯状态的识别装置前方预设距离阈值范围内没有红绿灯。
102、根据目标时刻红绿灯的位置信息、以及第一图像和第二图像中的一个图像，识别目标时刻红绿灯的状态。
在获取到目标时刻红绿灯的位置信息之后，可以得知长焦摄像头采集的目标时刻的第一图像和短焦摄像头采集的目标时刻的第二图像中至少一个图像中能够采集到该红绿灯的图像，此时可以对长焦摄像头在当前时刻采集的第一图像或者短焦摄像头在当前时刻采集的第二图像进行分析，识别目标红绿灯的状态。例如，可以采用对第一图像或者第二图像的全图进行分析，识别采集到的目标时刻的红绿灯的状态。这里的全图分析，可以根据红绿灯的形状特征，在图像中寻找符合红绿灯形状特征的图形，并识别符合红绿灯形状特征的图形的颜色，从而识别红绿灯。由于长焦摄像头看的远，更先采集到前方道路中的红绿灯，因此，优先对第一图像进行全图分析，若根据第一图像能够识别目标时刻的红绿灯状态，便结束。否则若对第一图像进行全图分析之后，第一图像中没有类似红绿灯的标识，对第一图像进行全图分析后未识别出目标时刻的红绿灯状态，此时可以继续对第二图像进行全图分析，识别目标时刻的红绿灯状态。
但是，采用上述全图分析，识别红绿灯状态的效率较低，本实施例中，可以在第一图像或者第二图像中进行更加精准地分析红绿灯的状态。例如，该步骤102，具体可以包括如下步骤：
(a2)根据目标时刻红绿灯的位置信息，获取红绿灯目标时刻在第一图像中的第一位置信息；
例如，根据目标时刻红绿灯的位置信息，结合长焦摄像头的内部参数和长焦摄像头相对于定位传感器的外部旋转变换表达，可以采用如下公式获取红绿灯在第一图像中的第一位置信息：Ilong＝Kl×[R|T]l×PW，其中Ilong为红绿灯在第一图像中的第一位置信息，Kl为长焦摄像头的内部参数，[R|T]l为长焦摄像头相对于定位传感器的外部旋转变换表达，PW为目标时刻红绿灯的位置信息；例如目标时刻红绿灯的位置信息PW采用UTM坐标系标识的坐标(x，y，z)，可以为可以3*1维的矩阵；长焦摄像头的内部参数Kl也采用矩阵表示；长焦摄像头相对于定位传感器的外部旋转变换表达[R|T]l也采用矩阵表示；最终得到为红绿灯在第一图像中的第一位置信息Ilong为2维矩阵，分别表示红绿灯在第一图像中的像素点的横纵坐标。需要说明的是，本实施例的第一图像和第二图像的大小为预先已知的，例如可以为1920*1080。
(b2)判断第一位置信息是否有效；若有效，执行步骤(c2)；否则执行步骤(e2)；
本实施例中判断第一位置信息是否在第一图像的大小范围内，若在，则该第一位置信息有效，否则第一位置信息无效。例如，根据图像的大小1920*1080，可以设定图像的各顶点，如左上角的像素坐标为(0,0)，左下角像素坐标为(0,1080)，右上角像素坐标为(1920,0)，右下角像素坐标为(1920,1080)，而第一位置信息不在该四个顶点构成的四边形范围内，则确定该第一位置信息无效，否则该第一位置信息有效。
(c2)根据第一位置信息，从第一图像中获取用于识别红绿灯状态的第一感兴趣区域(Region Of Interest；ROI)；执行步骤(d2)；
(d2)对第一ROI进行检测，以识别目标时刻红绿灯的状态，结束。
当第一位置信息有效时，仅根据一个像素点来识别红绿灯状态的不够准确，此时可以在第一图像中，可以以第一位置信息为中心，向周边放大预设倍数的像素，例如，放大两倍、三倍或者其他倍数，得到第一ROI。第一ROI相对于第一位置信息，包括更多的像素点，会包括更全面的红绿灯的图像，从而能够更加准确地识别红绿灯的状态。最后对第一ROI进行检测，例如可以根据红色、绿色或者黄色的像素值，检测该第一感兴趣的区域的颜色是否是红色、绿色或者黄色，从而实现对目标时刻的红绿灯的状态进行识别。
(e2)根据目标时刻红绿灯的位置信息，获取红绿灯目标时刻在第二图像中的第二位置信息；执行步骤(f2)；
同理，根据目标时刻红绿灯的位置信息，结合短焦摄像头的内部参数和短焦摄像头相对于定位传感器的外部旋转变换表达，可以采用如下公式获取红绿灯在第二图像中的第二位置信息：Ishort＝Ks×[R|T]S×PW，其中Ishort为红绿灯在第二图像中的第二位置信息，Ks为短焦摄像头的内部参数，[R|T]S为短焦摄像头相对于定位传感器的外部旋转变换表达，PW为目标时刻红绿灯的位置信息。同理，目标时刻红绿灯的位置信息PW采用UTM坐标系标识的坐标(x，y，z)，可以为可以3*1维的矩阵；短焦摄像头的内部参数Ks也采用矩阵表示；短焦摄像头相对于定位传感器的外部旋转变换表达[R|T]S也采用矩阵表示；最终得到为红绿灯在第二图像中的第二位置信息Ishort为2维矩阵，分别表示红绿灯在第二图像中的像素点的横纵坐标。
(f2)根据第二位置信息，从第二图像中获取用于识别红绿灯状态的第二ROI；执行步骤(g2)；
(g2)对第二ROI进行检测，以识别目标时刻红绿灯的状态。
该步骤(f2)和(g2)的具体实施方式与上述步骤(c2)和(d2)的实施原理相同，详细可以参考上述相关步骤的记载，在此不再赘述。
采用上述方案，可以通过第一ROI或者第二ROI进行检测，便可以识别目标时刻的红绿灯状态，而不用对第一图像或者第二图像进行全图检测，极大地缩小了图像处理区域，识别更加精准，能够有效地减少识别耗时，从而进一步提高了红绿灯状态的识别效率。
本实施例中，由于长焦摄像头的探测距离长，可以看得更远；而短焦摄像头的探测距离短，当红绿灯距离无人车较远时，长焦摄像头可以采集到红绿灯的信息，而短焦摄像头采集不到红绿灯的信息，此时可以根据长焦摄像头采集的第一图像识别目标时刻的红绿灯的状态。而若随着无人车的行驶，距离红绿灯较近，此时可能长焦摄像头和短焦摄像头可能都能够采集到红绿灯的信息，但是，此时仍优选采用长焦摄像头采集的第一图像识别目标时刻的红绿灯的状态。直到无人车行驶至红绿灯足够近，长焦摄像头的光轴又不是正对红绿灯，而和红绿灯与长焦摄像头的连线所在的直线具有较大的夹角，由于长焦摄像头的视角角度小，此时长焦摄像头就采集不到红绿灯；而短焦摄像头的视场角度大，可以采集到该红绿灯，此时自适应切换至，根据短焦摄像头采集的第二图像识别目标时刻的红绿灯状态。这样可以保证在任何时刻都能够对红绿灯的状态进行识别，有效地提高了红绿灯状态的识别效率。
本实施例的红绿灯状态的识别方法，通过获取目标时刻长焦摄像头采集的第一图像、短焦摄像头采集的第二图像以及定位传感器采集的无人车的定位信息和行驶方向；根据目标时刻无人车的定位信息和行驶方向，从高精地图服务器获取目标时刻无人车行驶前方、预设距离阈值范围内的红绿灯的位置信息；根据目标时刻红绿灯的位置信息、以及第一图像和第二图像中的一个图像，识别目标时刻红绿灯的状态。与现有技术相比，可以弥补现有技术中采用单个摄像头识别红绿灯状态识别效率较低的缺陷，通过长焦摄像头和短焦摄像头的自适应切换，实现对无人车的红绿灯状态的识别。本实施例的技术方案，可以对无人车行驶前方预设距离范围内的任意位置、任意时刻的红绿灯状态进行识别，有效地提高了无人车的红绿灯状态的识别效率。
图2为本发明的红绿灯状态的识别装置实施例一的结构图。如图2所示，本实施例的红绿灯状态的识别装置，具体可以包括：基础信息获取模块10、位置信息获取模块11和识别模块12。
其中基础信息获取模块10用于获取目标时刻长焦摄像头采集的第一图像、短焦摄像头采集的第二图像以及定位传感器采集的无人车的定位信息和行驶方向；长焦摄像头和短焦摄像头分别设置在无人车的车辆顶部；
位置信息获取模块11用于根据基础信息获取模块10获取的目标时刻无人车的定位信息和行驶方向，从高精地图服务器获取目标时刻无人车行驶前方、预设距离阈值范围内的红绿灯的位置信息；
识别模块12用于根据位置信息获取模块11获取的目标时刻红绿灯的位置信息、以及基础信息获取模块10获取的第一图像和第二图像中的一个图像，识别目标时刻红绿灯的状态。
本实施例的红绿灯状态的识别装置，通过采用上述模块实现红绿灯状态的识别的实现原理以及技术效果与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。
图3为本发明的红绿灯状态的识别装置实施例二的结构图。本实施例的红绿灯状态的识别在上述图2所示实施例的技术方案的基础上，进一步更加详细地介绍本发明的技术方案。
本实施例的红绿灯状态的识别装置中，基础信息获取模块10具体用于：
若检测到定位传感器在目标时刻未采集无人车的定位信息，获取定位传感器分别在目标时刻的前一刻和后一刻采集的无人车的定位信息；
根据目标时刻的前一刻和后一刻的无人车的定位信息，通过插值的方式计算无人车在目标时刻的定位信息。
进一步可选地，本实施例的红绿灯状态的识别装置中，位置信息获取模块11具体用于：
向高精地图服务器发送携带基础信息获取模块10获取的无人车在目标时刻的定位信息和行驶方向的红绿灯位置请求，以供高精地图服务器根据红绿灯位置请求中的无人车的定位信息和行驶方向，获取无人车行驶前方、距离无人车的距离在预设距离阈值范围内的红绿灯的位置信息；
接收高精地图服务器发送的无人车行驶前方预设距离阈值范围内的红绿灯的位置信息。
进一步可选地，如图3所示，本实施例的红绿灯状态的识别装置中，识别模块12包括：
位置获取单元121用于根据位置信息获取模块11获取的目标时刻红绿灯的位置信息，获取红绿灯目标时刻在第一图像中的第一位置信息；
判断单元122用于判断位置获取单元121获取的第一位置信息是否有效；
区域获取单元123用于若判断单元122判断第一位置信息有效，根据位置获取单元121获取的第一位置信息，从基础信息获取模块10获取的第一图像中获取用于识别红绿灯状态的第一ROI；
识别单元124用于对区域获取单元123获取的第一ROI进行检测，以识别目标时刻红绿灯的状态。
进一步可选地，本实施例的红绿灯状态的识别装置中，位置获取单元121还用于若判断单元122判断第一位置信息无效，根据目标时刻红绿灯的位置信息，获取红绿灯目标时刻在第二图像中的第二位置信息；
区域获取单元123还用于根据位置获取单元121获取的第二位置信息，从基础信息获取模块10获取的第二图像中获取用于识别红绿灯状态的第二ROI；
识别单元124还用于对区域获取单元123获取的第二ROI进行检测，以识别目标时刻红绿灯的状态。
进一步可选地，本实施例的红绿灯状态的识别装置中，位置获取单元121具体用于根据目标时刻红绿灯的位置信息，结合长焦摄像头的内部参数和长焦摄像头相对于定位传感器的外部旋转变换表达，采用如下公式获取红绿灯在第一图像中的第一位置信息：Ilong＝Kl×[R|T]l×PW，其中Ilong为红绿灯在第一图像中的第一位置信息，Kl为长焦摄像头的内部参数，[R|T]l为长焦摄像头相对于定位传感器的外部旋转变换表达，PW为目标时刻红绿灯的位置信息；
位置获取单元121具体还用于根据目标时刻红绿灯的位置信息，结合短焦摄像头的内部参数和短焦摄像头相对于定位传感器的外部旋转变换表达，采用如下公式获取红绿灯在第二图像中的第二位置信息：Ishort＝Ks×[R|T]S×PW，其中Ishort为红绿灯在第二图像中的第二位置信息，Ks为短焦摄像头的内部参数，[R|T]S为短焦摄像头相对于定位传感器的外部旋转变换表达，PW为目标时刻红绿灯的位置信息。
本实施例的红绿灯状态的识别装置，通过采用上述模块实现红绿灯状态的识别的实现原理以及技术效果与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。
图4为本发明的无人车的计算机设备实施例的结构图。如图4所示，本实施例的无人车的计算机设备，包括：一个或多个处理器30，以及存储器40，存储器40用于存储一个或多个程序，当存储器40中存储的一个或多个程序被一个或多个处理器30执行，使得一个或多个处理器30实现如上图1所示实施例的红绿灯状态的识别。图4所示实施例中以包括多个处理器30为例。无人车中设置有多种功能的计算机设备以实现对环境的检测、命令的下发和执行，从而实现无人车的行驶。本实施例的无人车中的计算机设备主要涉及对无人车行驶前方的红绿灯状态的识别。
例如，图5为本发明提供的一种无人车的计算机设备的示例图。图5示出了适于用来实现本发明实施方式的示例性的无人车的计算机设备12a的框图。图5显示的无人车的计算机设备12a仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，无人车的计算机设备12a以通用计算设备的形式表现。无人车的计算机设备12a的组件可以包括但不限于：一个或者多个处理器16a，系统存储器28a，连接不同系统组件(包括系统存储器28a和处理器16a)的总线18a。
总线18a表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
无人车的计算机设备12a典型地包括多种计算机系统可读介质。这些介质可以是任何能够被无人车的计算机设备12a访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28a可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30a和/或高速缓存存储器32a。无人车的计算机设备12a可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34a可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18a相连。系统存储器28a可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明上述图1-图3各实施例的功能。
具有一组(至少一个)程序模块42a的程序/实用工具40a，可以存储在例如系统存储器28a中，这样的程序模块42a包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42a通常执行本发明所描述的上述图1-图3各实施例中的功能和/或方法。
无人车的计算机设备12a也可以与一个或多个外部设备14a(例如键盘、指向设备、显示器24a等)通信，还可与一个或者多个使得用户能与该计算机设备12a交互的设备通信，和/或与使得该无人车的计算机设备12a能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22a进行。并且，无人车的计算机设备12a还可以通过网络适配器20a与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20a通过总线18a与无人车的计算机设备12a的其它模块通信。应当明白，尽管图中未示出，可以结合无人车的计算机设备12a使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16a通过运行存储在系统存储器28a中的程序，从而执行各种功能应用以及数据处理，例如实现上述实施例所示的红绿灯状态的识别方法。
本发明还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例所示的红绿灯状态的识别方法。
本实施例的计算机可读介质可以包括上述图5所示实施例中的系统存储器28a中的RAM30a、和/或高速缓存存储器32a、和/或存储系统34a。
随着科技的发展，计算机程序的传播途径不再受限于有形介质，还可以直接从网络下载，或者采用其他方式获取。因此，本实施例中的计算机可读介质不仅可以包括有形的介质，还可以包括无形的介质。
本实施例的计算机可读介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种红绿灯状态的识别方法，其特征在于，所述方法包括：
获取目标时刻长焦摄像头采集的第一图像、短焦摄像头采集的第二图像以及定位传感器采集的无人车的定位信息和行驶方向；所述长焦摄像头和所述短焦摄像头分别设置在所述无人车的车辆顶部；
在向高精地图服务器发送携带所述无人车在所述目标时刻的所述定位信息和所述行驶方向的红绿灯位置请求的情况下，根据所述目标时刻所述无人车的定位信息和所述行驶方向，从高精地图服务器获取所述目标时刻所述无人车行驶前方、预设距离阈值范围内的红绿灯的位置信息；其中，所述预设距离阈值为根据所述长焦摄像头的焦距来设置；
根据所述目标时刻所述红绿灯的位置信息、以及所述第一图像和所述第二图像中的一个图像，识别所述目标时刻红绿灯的状态；
其中，在根据长焦摄像头采集的第一图像识别不到目标时刻红绿灯的状态的情况下，自适应切换至根据短焦摄像头采集的第二图像识别目标时刻红绿灯的状态。
2.根据权利要求1所述的方法，其特征在于，获取目标时刻定位传感器采集的无人车的定位信息，具体包括：
若检测到所述定位传感器在所述目标时刻未采集所述无人车的定位信息，获取所述定位传感器分别在所述目标时刻的前一刻和后一刻采集的所述无人车的定位信息；
根据所述目标时刻的前一刻和后一刻的所述无人车的定位信息，通过插值的方式计算所述无人车在所述目标时刻的定位信息。
3.根据权利要求1所述的方法，其特征在于，根据所述目标时刻所述无人车的定位信息和所述行驶方向，从高精地图服务器获取所述目标时刻所述无人车行驶前方、所述预设距离阈值范围内的红绿灯的位置信息，具体包括：
向所述高精地图服务器发送携带所述无人车在所述目标时刻的所述定位信息和所述行驶方向的红绿灯位置请求，以供所述高精地图服务器根据所述红绿灯位置请求中的所述无人车的定位信息和所述行驶方向，获取所述无人车行驶前方、距离所述无人车的距离在预设距离阈值范围内的红绿灯的位置信息；
接收所述高精地图服务器发送的所述无人车行驶前方所述预设距离阈值范围内的所述红绿灯的位置信息。
4.根据权利要求1所述的方法，其特征在于，根据所述目标时刻所述红绿灯的位置信息、以及所述第一图像和所述第二图像中的一个图像，识别所述目标时刻红绿灯的状态，具体包括：
根据所述目标时刻所述红绿灯的位置信息，获取所述红绿灯所述目标时刻在所述第一图像中的第一位置信息；
判断所述第一位置信息是否有效；
若有效，根据所述第一位置信息，从所述第一图像中获取用于识别红绿灯状态的第一感兴趣区域；
对所述第一感兴趣区域进行检测，以识别所述目标时刻红绿灯的状态。
5.根据权利要求4所述的方法，其特征在于，若所述第一位置信息无效，所述方法还包括：
根据所述目标时刻所述红绿灯的位置信息，获取所述红绿灯所述目标时刻在所述第二图像中的第二位置信息；
根据所述第二位置信息，从所述第二图像中获取用于识别红绿灯状态的第二感兴趣区域；
对所述第二感兴趣区域进行检测，以识别所述目标时刻红绿灯的状态。
6.根据权利要求5所述的方法，其特征在于，根据所述目标时刻所述红绿灯的位置信息，获取所述红绿灯所述目标时刻在所述第一图像中的第一位置信息，具体包括：
根据所述目标时刻所述红绿灯的位置信息，结合所述长焦摄像头的内部参数和所述长焦摄像头相对于所述定位传感器的外部旋转变换表达，采用如下公式获取所述红绿灯在所述第一图像中的第一位置信息：Ilong＝Kl×[R|T]l×PW，其中所述Ilong为所述红绿灯在所述第一图像中的第一位置信息，所述Kl为所述长焦摄像头的内部参数，所述[R|T]l为所述长焦摄像头相对于所述定位传感器的外部旋转变换表达，所述PW为所述目标时刻所述红绿灯的位置信息；
根据所述目标时刻所述红绿灯的位置信息，获取所述红绿灯所述目标时刻在所述第二图像中的第二位置信息，具体包括：
根据所述目标时刻所述红绿灯的位置信息，结合所述短焦摄像头的内部参数和所述短焦摄像头相对于所述定位传感器的外部旋转变换表达，采用如下公式获取所述红绿灯在所述第二图像中的第二位置信息：Isho＝Ks×[R|T]S×PW，其中所述Ishort为所述红绿灯在所述第二图像中的第二位置信息，所述Ks为所述短焦摄像头的内部参数，所述[R|T]S为所述短焦摄像头相对于所述定位传感器的外部旋转变换表达，所述PW为所述目标时刻所述红绿灯的位置信息。
7.一种红绿灯状态的识别装置，其特征在于，所述装置包括：
基础信息获取模块，用于获取目标时刻长焦摄像头采集的第一图像、短焦摄像头采集的第二图像以及定位传感器采集的无人车的定位信息和行驶方向；所述长焦摄像头和所述短焦摄像头分别设置在所述无人车的车辆顶部；
位置信息获取模块，用于在向高精地图服务器发送携带所述无人车在所述目标时刻的所述定位信息和所述行驶方向的红绿灯位置请求的情况下，根据所述目标时刻所述无人车的定位信息和所述行驶方向，从高精地图服务器获取所述目标时刻所述无人车行驶前方、预设距离阈值范围内的红绿灯的位置信息；其中，所述预设距离阈值为根据所述长焦摄像头的焦距来设置；
识别模块，用于根据所述目标时刻所述红绿灯的位置信息、以及所述第一图像和所述第二图像中的一个图像，识别所述目标时刻红绿灯的状态；
其中，在根据长焦摄像头采集的第一图像识别不到目标时刻红绿灯的状态的情况下，自适应切换至根据短焦摄像头采集的第二图像识别目标时刻红绿灯的状态。
8.根据权利要求7所述的装置，其特征在于，所述基础信息获取模块，具体用于：
若检测到所述定位传感器在所述目标时刻未采集所述无人车的定位信息，获取所述定位传感器分别在所述目标时刻的前一刻和后一刻采集的所述无人车的定位信息；
根据所述目标时刻的前一刻和后一刻的所述无人车的定位信息，通过插值的方式计算所述无人车在所述目标时刻的定位信息。
9.根据权利要求7所述的装置，其特征在于，所述位置信息获取模块，具体用于：
向所述高精地图服务器发送携带所述无人车在所述目标时刻的所述定位信息和所述行驶方向的红绿灯位置请求，以供所述高精地图服务器根据所述红绿灯位置请求中的所述无人车的定位信息和所述行驶方向，获取所述无人车行驶前方、距离所述无人车的距离在预设距离阈值范围内的红绿灯的位置信息；
接收所述高精地图服务器发送的所述无人车行驶前方所述预设距离阈值范围内的所述红绿灯的位置信息。
10.根据权利要求7所述的装置，其特征在于，所述识别模块，包括：
位置获取单元，用于根据所述目标时刻所述红绿灯的位置信息，获取所述红绿灯所述目标时刻在所述第一图像中的第一位置信息；
判断单元，用于判断所述第一位置信息是否有效；
区域获取单元，用于若所述判断单元判断所述第一位置信息有效，根据所述第一位置信息，从所述第一图像中获取用于识别红绿灯状态的第一感兴趣区域；
识别单元，用于对所述第一感兴趣区域进行检测，以识别所述目标时刻红绿灯的状态。
11.根据权利要求10所述的装置，其特征在于：
所述位置获取单元，还用于若所述判断单元判断所述第一位置信息无效，根据所述目标时刻所述红绿灯的位置信息，获取所述红绿灯所述目标时刻在所述第二图像中的第二位置信息；
所述区域获取单元，还用于根据所述第二位置信息，从所述第二图像中获取用于识别红绿灯状态的第二感兴趣区域；
所述识别单元，还用于对所述第二感兴趣区域进行检测，以识别所述目标时刻红绿灯的状态。
12.根据权利要求11所述的装置，其特征在于，所述位置获取单元，具体用于根据所述目标时刻所述红绿灯的位置信息，结合所述长焦摄像头的内部参数和所述长焦摄像头相对于所述定位传感器的外部旋转变换表达，采用如下公式获取所述红绿灯在所述第一图像中的第一位置信息：Ilong＝Kl×[R|T]l×PW，其中所述Ilong为所述红绿灯在所述第一图像中的第一位置信息，所述Kl为所述长焦摄像头的内部参数，所述[R|T]l为所述长焦摄像头相对于所述定位传感器的外部旋转变换表达，所述PW为所述目标时刻所述红绿灯的位置信息；
所述位置获取单元，具体还用于根据所述目标时刻所述红绿灯的位置信息，结合所述短焦摄像头的内部参数和所述短焦摄像头相对于所述定位传感器的外部旋转变换表达，采用如下公式获取所述红绿灯在所述第二图像中的第二位置信息：Ishort＝Ks×[R|T]S×PW，其中所述Ishort为所述红绿灯在所述第二图像中的第二位置信息，所述Ks为所述短焦摄像头的内部参数，所述[R|T]S为所述短焦摄像头相对于所述定位传感器的外部旋转变换表达，所述PW为所述目标时刻所述红绿灯的位置信息。
13.一种无人车中的计算机设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201710822106.3A 2017-09-12 2017-09-12 红绿灯状态的识别方法及装置、计算机设备及可读介质 Active CN109492507B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710822106.3A CN109492507B (zh) 2017-09-12 2017-09-12 红绿灯状态的识别方法及装置、计算机设备及可读介质
US16/116,591 US11080539B2 (en) 2017-09-12 2018-08-29 Traffic light state recognizing method and apparatus, computer device and readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710822106.3A CN109492507B (zh) 2017-09-12 2017-09-12 红绿灯状态的识别方法及装置、计算机设备及可读介质

Publications (2)

Publication Number Publication Date
CN109492507A CN109492507A (zh) 2019-03-19
CN109492507B true CN109492507B (zh) 2022-09-23

Family

ID=65631302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710822106.3A Active CN109492507B (zh) 2017-09-12 2017-09-12 红绿灯状态的识别方法及装置、计算机设备及可读介质

Country Status (2)

Country Link
US (1) US11080539B2 (zh)
CN (1) CN109492507B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11055991B1 (en) * 2018-02-09 2021-07-06 Applied Information, Inc. Systems, methods, and devices for communication between traffic controller systems and mobile transmitters and receivers
CN109949594B (zh) * 2019-04-29 2020-10-27 北京智行者科技有限公司 实时的交通灯识别方法
CN110795977B (zh) * 2019-04-29 2020-09-04 当家移动绿色互联网技术集团有限公司 交通信号识别方法、装置、存储介质及电子设备
DE112020002604T5 (de) * 2019-05-29 2022-03-03 Mobileye Vision Technologies Ltd. Systeme und verfahren für die fahrzeugnavigation
CN110309755B (zh) * 2019-06-25 2021-11-02 广州文远知行科技有限公司 一种交通信号灯的时间校正方法、装置、设备和存储介质
CN110543814B (zh) * 2019-07-22 2022-05-10 华为技术有限公司 一种交通灯的识别方法及装置
CN110543818B (zh) * 2019-07-25 2023-01-17 长沙行深智能科技有限公司 基于权图匹配的红绿灯跟踪方法、装置、介质及设备
CN110728170B (zh) * 2019-08-08 2023-08-18 北京联合大学 一种基于路口信息的混合模型交通信号检测方法及系统
CN110598563A (zh) * 2019-08-15 2019-12-20 北京致行慕远科技有限公司 可移动设备行进的处理方法、装置及存储介质
CN110493521B (zh) * 2019-08-22 2021-06-15 爱驰汽车有限公司 自动驾驶摄像头控制方法、装置、电子设备、存储介质
CN112630799B (zh) * 2019-09-24 2022-11-29 阿波罗智能技术(北京)有限公司 用于输出信息的方法和装置
CN112766026B (zh) * 2019-11-05 2024-02-02 大富科技(安徽)股份有限公司 交通灯的检测方法、计算机存储介质、车载终端和车辆
CN112880692B (zh) * 2019-11-29 2024-03-22 北京市商汤科技开发有限公司 地图数据标注方法及装置、存储介质
CN112991791B (zh) * 2019-12-13 2022-07-26 上海商汤临港智能科技有限公司 交通信息识别和智能行驶方法、装置、设备及存储介质
CN113140120B (zh) * 2020-01-16 2022-10-18 华为技术有限公司 确定交通指示信息的方法及装置
US11605290B2 (en) * 2020-01-28 2023-03-14 GM Cruise Holdings LLC. Updating maps based on traffic object detection
US11854212B2 (en) * 2020-02-26 2023-12-26 Motional Ad Llc Traffic light detection system for vehicle
CN111444810A (zh) * 2020-03-23 2020-07-24 东软睿驰汽车技术（沈阳）有限公司 一种红绿灯信息识别方法、装置、设备及存储介质
CN111582030B (zh) * 2020-04-02 2023-08-29 北京百度网讯科技有限公司 红绿灯的识别方法、装置、电子设备和计算机存储介质
JP7431108B2 (ja) * 2020-06-02 2024-02-14 株式会社Soken 画像認識装置
CN111695546B (zh) * 2020-06-28 2023-06-27 北京京东乾石科技有限公司 用于无人车的交通信号灯识别方法和装置
CN111818262B (zh) * 2020-07-08 2021-12-03 杭州萤石软件有限公司 图像重建方法及装置
CN111967370B (zh) * 2020-08-12 2021-12-07 广州小鹏自动驾驶科技有限公司 一种交通灯识别的方法和装置
CN112131414A (zh) * 2020-09-23 2020-12-25 北京百度网讯科技有限公司 信号灯的图像的标注方法、装置、电子设备以及路侧设备
WO2022110106A1 (zh) * 2020-11-30 2022-06-02 华为技术有限公司 一种扫码方法及装置
CN112349101B (zh) * 2021-01-08 2021-04-27 深圳裹动智驾科技有限公司 高精地图生成方法、以及识别交通灯的方法及系统
CN112991290B (zh) * 2021-03-10 2023-12-05 阿波罗智联(北京)科技有限公司 图像稳像方法、装置、路侧设备、云控平台
CN113452904B (zh) * 2021-06-18 2022-11-04 北京三快在线科技有限公司 一种交通信号灯检测方法及装置
CN113469109B (zh) * 2021-07-16 2022-09-13 阿波罗智联(北京)科技有限公司 交通灯识别结果处理方法、装置、路侧设备及云控平台
CN113852795B (zh) * 2021-11-29 2022-08-30 新石器慧通（北京）科技有限公司 视频画面调整方法、装置、电子设备及存储介质
CN115294766B (zh) * 2022-07-31 2023-06-23 东风汽车集团股份有限公司 虚拟红绿灯构建方法、装置、设备及存储介质
CN116363623B (zh) * 2023-01-28 2023-10-20 苏州飞搜科技有限公司 基于毫米波雷达与视觉融合的车辆检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9145140B2 (en) * 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
US9365214B2 (en) * 2014-01-30 2016-06-14 Mobileye Vision Technologies Ltd. Systems and methods for determining the status of a turn lane traffic light
KR101606476B1 (ko) * 2014-04-02 2016-03-25 한양대학교 산학협력단 카메라의 다중 노출 영상을 이용한 신호등 자동 인식 장치 및 방법
KR102384175B1 (ko) * 2015-07-29 2022-04-08 주식회사 만도모빌리티솔루션즈 차량의 카메라 장치
CN105185140B (zh) * 2015-09-30 2018-07-06 上海修源网络科技有限公司 一种辅助驾驶方法和系统
CN105930819B (zh) * 2016-05-06 2019-04-12 西安交通大学 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统
GB2559760B (en) * 2017-02-16 2019-08-28 Jaguar Land Rover Ltd Apparatus and method for displaying information
KR102012776B1 (ko) * 2017-08-29 2019-08-21 엘지전자 주식회사 차량용 어라운드 뷰 제공 장치 및 차량

Also Published As

Publication number Publication date
US11080539B2 (en) 2021-08-03
US20190080186A1 (en) 2019-03-14
CN109492507A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
CN109492507B (zh) 红绿灯状态的识别方法及装置、计算机设备及可读介质
US11002840B2 (en) Multi-sensor calibration method, multi-sensor calibration device, computer device, medium and vehicle
CN109343061B (zh) 传感器标定方法、装置、计算机设备、介质和车辆
US11393219B2 (en) Method and apparatus for detecting obstacle, electronic device, vehicle and storage medium
CN109961522B (zh) 图像投射方法、装置、设备和存储介质
US11227395B2 (en) Method and apparatus for determining motion vector field, device, storage medium and vehicle
CN111976601B (zh) 自动泊车方法、装置、设备和存储介质
CN111666876A (zh) 用于检测障碍物的方法、装置、电子设备和路侧设备
CN111353453A (zh) 用于车辆的障碍物检测方法和装置
CN109300322B (zh) 引导线绘制方法、装置、设备和介质
CN112525147A (zh) 自动驾驶设备测距方法及相关装置
CN110111018B (zh) 评估车辆感测能力的方法、装置、电子设备及存储介质
CN109345567B (zh) 物体运动轨迹识别方法、装置、设备和存储介质
CN115082857A (zh) 一种目标对象的检测方法、装置、设备以及存储介质
CN109903308B (zh) 用于获取信息的方法及装置
CN113378605B (zh) 多源信息融合方法及装置、电子设备和存储介质
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
CN112987707A (zh) 一种车辆的自动驾驶控制方法及装置
CN116681884B (zh) 一种对象检测方法和相关装置
EP4246455A1 (en) Method and device for detecting object and vehicle
WO2020073270A1 (en) Snapshot image of traffic scenario
WO2020073268A1 (en) Snapshot image to train roadmodel
CN115984820A (zh) 地图中红绿灯信息的构建方法、装置、设备及存储介质
WO2020073272A1 (en) Snapshot image to train an event detector
WO2020073271A1 (en) Snapshot image of traffic scenario

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211020

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Applicant after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Applicant before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant