CN110414399A - 信号灯的检测方法、装置及智能驾驶设备 - Google Patents

信号灯的检测方法、装置及智能驾驶设备 Download PDF

Info

Publication number
CN110414399A
CN110414399A CN201910660440.2A CN201910660440A CN110414399A CN 110414399 A CN110414399 A CN 110414399A CN 201910660440 A CN201910660440 A CN 201910660440A CN 110414399 A CN110414399 A CN 110414399A
Authority
CN
China
Prior art keywords
signal lamp
image frame
current image
result
undetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910660440.2A
Other languages
English (en)
Other versions
CN110414399B (zh
Inventor
刘朋浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201910660440.2A priority Critical patent/CN110414399B/zh
Publication of CN110414399A publication Critical patent/CN110414399A/zh
Application granted granted Critical
Publication of CN110414399B publication Critical patent/CN110414399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Abstract

本申请提供一种信号灯的检测方法、装置及智能驾驶设备,所述方法的一具体实施方式包括:确定当前图像帧的裁剪范围;按照所述当前图像帧的裁剪范围对所述当前图像帧进行裁剪,得到目标裁剪图像;基于所述目标裁剪图像及预先训练的信号灯检测模型,针对当前图像帧进行信号灯检测,得到信号灯检测的目标结果。该实施方式能够基于目标裁剪图像以及信号灯检测模型对信号灯进行检测,减少了当前图像帧中的干扰因素对信号灯检测的影响,因此,减少了信号灯检测的误检率。并且,无需对采集到的图像帧进行全图识别,提高了信号灯检测的检测效率。

Description

信号灯的检测方法、装置及智能驾驶设备
技术领域
本申请涉及智能驾驶技术领域,特别涉及一种信号灯的检测方法、装置及智能驾驶设备。
背景技术
目前来说,智能驾驶技术发展迅速,信号灯的检测变得尤为重要。在相关技术中,一般是对采集到的图像帧进行全图识别,根据待检测信号灯的颜色和/或形状进行信号灯的检测。在实际场景中,采集到的图像帧通常具有较为复杂的背景,且待检测信号灯的在图像帧中所占区域较小。因此,图像帧中的干扰因素较多,容易出现检测错误,增加了信号灯检测的误检率,并且,也降低了信号灯检测的检测效率。
发明内容
为了解决上述技术问题之一,本申请提供一种信号灯的检测方法、装置及智能驾驶设备。
根据本申请实施例的第一方面,提供一种信号灯的检测方法,包括:
确定当前图像帧的裁剪范围;
按照所述当前图像帧的裁剪范围对所述当前图像帧进行裁剪,得到目标裁剪图像;
基于所述目标裁剪图像及预先训练的信号灯检测模型,针对当前图像帧进行信号灯检测,得到信号灯检测的目标结果。
可选的,所述基于所述目标裁剪图像及预先训练的信号灯检测模型,针对当前图像帧进行信号灯检测,包括:
将所述目标裁剪图像输入至所述信号灯检测模型;
获取所述信号灯检测模型输出的第一结果,所述第一结果包括所述目标裁剪图像中的一个或多个待定区域及每个待定区域对应的置信度;
基于所述第一结果,执行信号灯检测的操作。
可选的,所述基于所述第一结果,执行信号灯检测的操作,包括:
若基于所述第一结果确定所述目标裁剪图像中存在置信度大于预设阈值的待定区域,将置信度大于预设阈值的待定区域中的物体确定为目标信号灯。
可选的,所述基于所述第一结果,执行信号灯检测的操作,还包括:
若基于所述第一结果确定所述目标裁剪图像中不存在置信度大于预设阈值的待定区域,将所述当前图像帧输入至所述信号灯检测模型;
获取所述信号灯检测模型输出的第二结果,所述第二结果包括所述当前图像帧中的一个或多个待定区域以及每个待定区域对应的置信度;
若基于所述第二结果确定所述当前图像帧中存在置信度大于预设阈值的待定区域,将置信度大于预设阈值的待定区域中的物体确定为目标信号灯;
若基于所述第二结果确定所述当前图像帧中不存在置信度大于预设阈值的待定区域,确定未检测到目标信号灯。
可选的,如果所述当前图像帧为非末帧图像帧,所述方法还包括:
基于所述目标结果,确定下一图像帧的裁剪范围。
可选的,所述基于所述目标结果,确定下一图像帧的裁剪范围,包括:
若所述目标结果指示检测到目标信号灯,将所述目标信号灯对应的待定区域作为目标区域,将覆盖所述目标区域的预设范围确定为下一图像帧的裁剪范围;
若所述目标结果指示未检测到目标信号灯,基于所述当前图像帧中的待定区域,确定下一图像帧的裁剪范围。
可选的,所述基于所述当前图像帧中的待定区域,确定下一图像帧的裁剪范围,包括:
对所述当前图像帧中的待定区域进行聚类,得到聚为一类的待定区域组;
取所述待定区域组对应的最小矩形区域;
将覆盖所述最小矩形区域的预设范围确定为下一图像帧的裁剪范围。
根据本申请实施例的第二方面,提供一种信号灯的检测装置,包括:
确定模块,用于确定当前图像帧的裁剪范围;
裁剪模块,用于按照所述当前图像帧的裁剪范围对所述当前图像帧进行裁剪,得到目标裁剪图像;
检测模块,用于基于所述目标裁剪图像及预先训练的信号灯检测模型,针对当前图像帧进行信号灯检测,得到信号灯检测的目标结果。
根据本申请实施例的第三方面,提供一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面中任一项所述的方法。
根据本申请实施例的第四方面,提供一种智能驾驶设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述第一方面中任一项所述的方法。
本申请的实施例提供的技术方案可以包括以下有益效果:
本申请的实施例提供的信号灯的检测方法和装置,通过确定当前图像帧的裁剪范围,按照当前图像帧的裁剪范围对当前图像帧进行裁剪,得到目标裁剪图像,并基于目标裁剪图像及预先训练的信号灯检测模型,针对当前图像帧进行信号灯检测,得到信号灯检测的目标结果。由于本实施例能够基于目标裁剪图像以及信号灯检测模型对信号灯进行检测,减少了当前图像帧中的干扰因素对信号灯检测的影响,因此,减少了信号灯检测的误检率。并且,无需对采集到的图像帧进行全图识别,提高了信号灯检测的检测效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本申请根据一示例性实施例示出的一种信号灯的检测方法的流程图;
图2是本申请根据一示例性实施例示出的另一种信号灯的检测方法的流程图;
图3是本申请根据一示例性实施例示出的另一种信号灯的检测方法的流程图;
图4是本申请根据一示例性实施例示出的一种信号灯的检测装置的框图;
图5是本申请根据一示例性实施例示出的另一种信号灯的检测装置的框图;
图6是本申请根据一示例性实施例示出的另一种信号灯的检测装置的框图;
图7是本申请根据一示例性实施例示出的另一种信号灯的检测装置的框图;
图8是本申请根据一示例性实施例示出的另一种信号灯的检测装置的框图;
图9是本申请根据一示例性实施例示出的另一种信号灯的检测装置的框图;
图10是本申请根据一示例性实施例示出的另一种信号灯的检测装置的框图;
图11是本申请根据一示例性实施例示出的一种智能驾驶设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
如图1所示,图1是根据一示例性实施例示出的一种信号灯的检测方法的流程图,该方法可以应用于智能驾驶设备。本领域技术人员可以理解,该智能驾驶设备可以是无人驾驶设备,也可以是具有智能辅助功能的有人驾驶设备等。其中,无人驾驶设备可以包括但不限于无人车、无人操作机器人、无人机、无人船等等。具有智能辅助功能的有人驾驶设备可以包括但不限于半自动驾驶车辆、半自动驾驶飞行器等等。该方法包括以下步骤:
在步骤101中,确定当前图像帧的裁剪范围。
在本实施例中,所涉及的信号灯可以是状态能够发生变化的信号指示灯。由于信号灯的状态能够不断发生变化,因此,智能驾驶设备需要不断的检测信号灯,从而及时得到信号灯的最新状态,并及时做出正确的驾驶决策。智能驾驶设备安装有用于采集图像帧的摄像装置,该摄像装置可以实时采集智能驾驶设备周围环境的图像帧,智能驾驶设备可以实时获取该摄像装置采集的图像帧。
在本实施例中,可以首先确定当前图像帧的裁剪范围,其中,裁剪范围可以表示图像帧中用于裁剪的区域的位置和尺寸。可选地,裁剪范围可以以像素为单位,可以理解,本申请对裁剪范围所采用的具体单位方面不限定。
具体来说,如果当前图像帧为首帧图像帧(即第一帧图像帧),则可以将当前图像帧的整个图像范围确定为当前图像帧的裁剪范围。如果当前图像帧为非首帧图像帧,则当前图像帧的裁剪范围可以基于针对上一图像帧进行信号灯检测的结果而确定。例如,可以基于针对第n帧图像帧进行信号灯检测的结果,确定第n+1帧图像帧的裁剪范围,其中,n为大于等于1的整数。
在步骤102中,按照当前图像帧的裁剪范围对当前图像帧进行裁剪,得到目标裁剪图像。
在本实施例中,可以按照当前图像帧的裁剪范围,对当前图像帧进行裁剪。即,将当前图像帧中裁剪范围外的区域裁掉,将当前图像帧中裁剪范围内的区域保留,从而得到目标裁剪图像。
在步骤103中,基于目标裁剪图像及预先训练的信号灯检测模型,针对当前图像帧进行信号灯检测,得到信号灯检测的目标结果。
在本实施例中,可以基于目标裁剪图像及预先训练的信号灯检测模型,针对当前图像帧进行信号灯检测,得到信号灯检测的目标结果。例如,可以将目标裁剪图像输入至预先训练的信号灯检测模型中,由信号灯检测模型对目标裁剪图像进行识别,从而输出信号灯检测的目标结果。
本申请的上述实施例提供的信号灯的检测方法,通过确定当前图像帧的裁剪范围,按照当前图像帧的裁剪范围对当前图像帧进行裁剪,得到目标裁剪图像,并基于目标裁剪图像及预先训练的信号灯检测模型,针对当前图像帧进行信号灯检测,得到信号灯检测的目标结果。由于本实施例能够基于目标裁剪图像以及信号灯检测模型对信号灯进行检测,减少了当前图像帧中的干扰因素对信号灯检测的影响,因此,减少了信号灯检测的误检率。并且,无需对采集到的图像帧进行全图识别,提高了信号灯检测的检测效率。
如图2所示,图2根据一示例性实施例示出的另一种信号灯的检测方法的流程图,该实施例描述了针对当前图像帧进行信号灯检测的过程,该方法可以应用于智能驾驶设备中,包括以下步骤:
在步骤201中,确定当前图像帧的裁剪范围。
在步骤202中,按照当前图像帧的裁剪范围对当前图像帧进行裁剪,得到目标裁剪图像。
在步骤203中,将目标裁剪图像输入至信号灯检测模型。
在步骤204中,获取信号灯检测模型输出的第一结果,该第一结果包括目标裁剪图像中的一个或多个待定区域及每个待定区域对应的置信度。
在本实施例中,信号灯检测模型可以是预先训练的模型,能够用于识别图像中的信号灯。信号灯检测模型可以是神经网络模型,还可以是其它任意合理类型的模型,本领域中已知的以及将来可能出现的任何能够用于识别图像中的信号灯的模型都可以应用于本申请。可以理解,本申请对信号灯检测模型的具体类型方面不限定。
在本实施例中,将目标裁剪图像输入至信号灯检测模型后,信号灯检测模型对目标裁剪图像进行识别,可以输出的第一结果。该第一结果可以包括目标裁剪图像中的一个或多个待定区域及每个待定区域对应的置信度。其中,待定区域可以是疑似包含信号灯的区域,该区域可以用一个矩形框表示。每个待定区域对应一个置信度,任意一个待定区域对应的置信度表示该待定区域包含信号灯的概率。待定区域所对应的置信度越大,该待定区域中包含信号灯的可能性越大。
在步骤205中,基于第一结果,执行信号灯检测的操作。
在本实施例中,可以基于信号灯检测模型输出的第一结果,执行信号灯检测的操作,从而从当前图像帧中检测信号灯。例如,可以根据第一结果确定当前图像帧中置信度最大的待定区域,将置信度最大的待定区域中的物体确定为目标信号灯。又例如,还可以根据第一结果确定当前图像帧中置信度大于预设阈值的待定区域,将置信度大于预设阈值的待定区域中的物体确定为目标信号灯。
需要说明的是,对于与图1实施例中相同的步骤,在上述图2实施例中不再进行赘述,相关内容可参见图1实施例。
本申请的上述实施例提供的信号灯的检测方法,通过确定当前图像帧的裁剪范围,按照当前图像帧的裁剪范围对当前图像帧进行裁剪,得到目标裁剪图像,将目标裁剪图像输入至信号灯检测模型,获取信号灯检测模型输出的第一结果,该第一结果包括目标裁剪图像中的一个或多个待定区域及每个待定区域对应的置信度,并基于第一结果,执行信号灯检测的操作。由于本实施例利用信号灯检测模型,识别目标裁剪图像中的一个或多个待定区域及每个待定区域对应的置信度,并进一步基于每个待定区域对应的置信度进行信号灯检测,从而有助于减少信号灯检测的误检率,进一步提高了信号灯检测的检测效率。
如图3所示,图3根据一示例性实施例示出的另一种信号灯的检测方法的流程图,该实施例详细描述了执行信号灯检测的操作的过程,该方法可以应用于智能驾驶设备中,包括以下步骤:
在步骤301中,确定当前图像帧的裁剪范围。
在步骤302中,按照当前图像帧的裁剪范围对当前图像帧进行裁剪,得到目标裁剪图像。
在步骤303中,将目标裁剪图像输入至预先训练的信号灯检测模型。
在步骤304中,获取信号灯检测模型输出的第一结果,该第一结果包括目标裁剪图像中的一个或多个待定区域及每个待定区域对应的置信度。
在步骤305中,若基于第一结果确定目标裁剪图像中存在置信度大于预设阈值的待定区域,将置信度大于预设阈值的待定区域中的物体确定为目标信号灯。
在步骤306中,若基于第一结果确定目标裁剪图像中不存在置信度大于预设阈值的待定区域,将当前图像帧输入至信号灯检测模型。
在步骤307中,获取信号灯检测模型输出的第二结果,该第二结果包括当前图像帧中的一个或多个待定区域以及每个待定区域对应的置信度。
在步骤308中,若基于第二结果确定当前图像帧中存在置信度大于预设阈值的待定区域,将置信度大于预设阈值的待定区域中的物体确定为目标信号灯。
在步骤309中,若基于第二结果确定当前图像帧中不存在置信度大于预设阈值的待定区域,确定未检测到目标信号灯。
需要说明的是,对于与图1和图2实施例中相同的步骤,在上述图3实施例中不再进行赘述,相关内容可参见图1和图2实施例。
本申请的上述实施例提供的信号灯的检测方法,通过确定当前图像帧的裁剪范围,按照当前图像帧的裁剪范围对当前图像帧进行裁剪,得到目标裁剪图像。将目标裁剪图像输入至预先训练的信号灯检测模型,获取信号灯检测模型输出的第一结果,该第一结果包括目标裁剪图像中的一个或多个待定区域及每个待定区域对应的置信度。若基于第一结果确定目标裁剪图像中存在置信度大于预设阈值的待定区域,将置信度大于预设阈值的待定区域中的物体确定为目标信号灯。若基于第一结果确定目标裁剪图像中不存在置信度大于预设阈值的待定区域,将当前图像帧输入至信号灯检测模型,获取信号灯检测模型输出的第二结果,该第二结果包括当前图像帧中的一个或多个待定区域以及每个待定区域对应的置信度。若基于第二结果确定当前图像帧中存在置信度大于预设阈值的待定区域,将置信度大于预设阈值的待定区域中的物体确定为目标信号灯。若基于第二结果确定当前图像帧中不存在置信度大于预设阈值的待定区域,确定未检测到目标信号灯。由于本实施例在目标裁剪图像中存在置信度大于预设阈值的待定区域时,可以将置信度大于预设阈值的待定区域中的物体确定为目标信号灯。在目标裁剪图像中不存在置信度大于预设阈值的待定区域时,可以将整个当前图像帧输入到信号灯检测模型,重新进行检测,避免了漏检的情况,使得信号灯检测的结果更为准确。
在一些可选实施方式中,如果当前图像帧为非末帧图像帧,上述方法还可以包括:基于信号灯检测的目标结果,确定下一图像帧的裁剪范围。
在本实施例中,如果当前图像帧为非末帧图像帧(即不是最后一帧图像帧),则可以进一步基于信号灯检测的目标结果,确定下一图像帧的裁剪范围,从而可以基于下一图像帧的裁剪范围,对下一图像帧进行信号灯检测。例如,可以基于针对第n帧图像帧进行信号灯检测的结果,确定第n+1帧图像帧的裁剪范围。然后,基于第n+1帧图像帧的裁剪范围,针对第n+1帧图像帧进行信号灯检测。并基于针对第n+1帧图像帧进行信号灯检测的结果,确定第n+2帧图像帧的裁剪范围,……以此类推。其中,n为大于等于1的整数。
在本实施例中,信号灯检测的目标结果可以指示检测到目标信号灯,或者可以指示未检测到目标信号灯。若目标结果指示检测到目标信号灯,可以将目标信号灯对应的待定区域作为目标区域,将覆盖目标区域的预设范围确定为下一图像帧的裁剪范围。其中,覆盖目标区域的预设范围可以是具有预设形状,大于目标区域N倍(N大于1),并覆盖目标区域的一个范围,本申请对覆盖目标区域的预设范围的具体设定方面不限定。若目标结果指示未检测到目标信号灯,可以基于当前图像帧中的待定区域,确定下一图像帧的裁剪范围。
由于本实施例将目标信号灯对应的待定区域作为目标区域,将覆盖目标区域的预设范围确定为下一图像帧的裁剪范围,因此,在针对下一图像帧进行信号灯检测时,缩小了检测范围,对检测目标更具针对性。
在另一些可选实施方式中,可以通过如下方式基于当前图像帧中的待定区域,确定下一图像帧的裁剪范围:
首先,对当前图像帧中的待定区域进行聚类,得到聚为一类的待定区域组。具体来说,可以采用预设的聚类算法对当前图像帧中的待定区域进行聚类,该预设的聚类算法能够将当前图像帧中的距离较近的待定区域聚为一组。本领域中已知的以及将来可能出现的任何能够将当前图像帧中的距离较近的待定区域聚为一组的聚类算法都可以应用于本申请。可以理解,本申请对聚类算法的具体选取方面不限定。
接着,取待定区域组对应的最小矩形区域,将覆盖该最小矩形区域的预设范围确定为下一图像帧的裁剪范围。其中,覆盖该最小矩形区域的预设范围,可以是具有预设形状,大于该最小矩形区域N倍(N大于1),并覆盖该最小矩形区域的一个范围,本申请对覆盖该最小矩形区域的预设范围的具体设定方面不限定。
当距离目标信号灯很远时,目标信号灯成的像很小,目标信号灯对应的待定区域置信度可能很低,检测结果可能是未检测到目标信号灯。由于本实施例在未检测到目标信号灯时,能够基于当前图像帧中的待定区域进行聚类,将覆盖待定区域聚类组对应的最小矩形区域的预设范围确定为下一图像帧的裁剪范围,从而使得物体检测的结果更为准确。
应当注意,尽管在上述实施例中,以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,流程图中描绘的步骤可以改变执行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
与前述信号灯的检测方法实施例相对应,本申请还提供了信号灯的检测装置的实施例。
如图4所示,图4是本申请根据一示例性实施例示出的一种信号灯的检测装置框图,该装置可以包括:确定模块401,裁剪模块402和检测模块403。
其中,确定模块401,用于确定当前图像帧的裁剪范围。
裁剪模块402,用于按照当前图像帧的裁剪范围对当前图像帧进行裁剪,得到目标裁剪图像。
检测模块403,用于基于目标裁剪图像及预先训练的信号灯检测模型,针对当前图像帧进行信号灯检测,得到信号灯检测的目标结果。
如图5所示,图5是本申请根据一示例性实施例示出的另一种信号灯的检测装置框图,该实施例在前述图4所示实施例的基础上,检测模块403可以包括:第一输入子模块501,第一获取子模块502和执行子模块503。
其中,第一输入子模块501,用于将目标裁剪图像输入至信号灯检测模型。
第一获取子模块502,用于获取信号灯检测模型输出的第一结果,该第一结果包括目标裁剪图像中的一个或多个待定区域及每个待定区域对应的置信度。
执行子模块503,用于基于该第一结果,执行信号灯检测的操作。
如图6所示,图6是本申请根据一示例性实施例示出的另一种信号灯的检测装置框图,该实施例在前述图5所示实施例的基础上,执行子模块503可以包括:第一确定子模块601。
其中,第一确定子模块601,用于若基于第一结果确定目标裁剪图像中存在置信度大于预设阈值的待定区域,将置信度大于预设阈值的待定区域中的物体确定为目标信号灯。
如图7所示,图7是本申请根据一示例性实施例示出的另一种信号灯的检测装置框图,该实施例在前述图6所示实施例的基础上,执行子模块503还可以包括:第二输入子模块602,第二获取子模块603,第二确定子模块604和第三确定子模块605。
其中,第二输入子模块602,用于若基于第一结果确定目标裁剪图像中不存在置信度大于预设阈值的待定区域,将当前图像帧输入至所述信号灯检测模型。
第二获取子模块603,用于获取信号灯检测模型输出的第二结果,该第二结果包括当前图像帧中的一个或多个待定区域以及每个待定区域对应的置信度。
第二确定子模块604,用于若基于第二结果确定当前图像帧中存在置信度大于预设阈值的待定区域,将置信度大于预设阈值的待定区域中的物体确定为目标信号灯。
第三确定子模块605,用于若基于第二结果确定所述当前图像帧中不存在置信度大于预设阈值的待定区域,确定未检测到目标信号灯。
如图8所示,图8是本申请根据一示例性实施例示出的另一种信号灯的检测装置框图,该实施例在前述图4所示实施例的基础上,该装置还可以进一步包括:指示模块404。
其中,指示模块404,用于在当前图像帧为非末帧图像帧时,指示确定模块401基于上述目标结果,确定下一图像帧的裁剪范围。
如图9所示,图9是本申请根据一示例性实施例示出的另一种信号灯的检测装置框图,该实施例在前述图8所示实施例的基础上,确定模块401可以包括:第一划分子模块901和第二划分子模块902。
其中,第一划分子模块901,用于若上述目标结果指示检测到目标信号灯,将目标信号灯对应的待定区域作为目标区域,将覆盖目标区域的预设范围确定为下一图像帧的裁剪范围。
第二划分子模块902,用于若上述目标结果指示未检测到目标信号灯,基于当前图像帧中的待定区域,确定下一图像帧的裁剪范围。
如图10所示,图10是本申请根据一示例性实施例示出的另一种信号灯的检测装置框图,该实施例在前述图9所示实施例的基础上,第二划分子模块902可以包括:聚类子模块1001,选取子模块1002和设定子模块1003。
其中,聚类子模块1001,用于对当前图像帧中的待定区域进行聚类,得到聚为一类的待定区域组。
选取子模块1002,用于取待定区域组对应的最小矩形区域。
设定子模块1003,用于将覆盖上述最小矩形区域的预设范围确定为下一图像帧的裁剪范围。
应当理解,上述装置可以预先设置在智能驾驶设备中,也可以通过下载等方式而加载到智能驾驶设备中。上述装置中的相应模块可以与智能驾驶设备中的模块相互配合以实现信号灯的检测方案。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本申请实施例还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图1至图3任一实施例提供的信号灯的检测方法。
对应于上述的信号灯的检测方法,本申请实施例还提出了图11所示的根据本申请的一示例性实施例的智能驾驶设备的示意结构图。请参考图11,在硬件层面,该智能驾驶设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成信号灯的检测装置。当然,除了软件实现方式之外,本申请并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种信号灯的检测方法,其特征在于,所述方法包括:
确定当前图像帧的裁剪范围;
按照所述当前图像帧的裁剪范围对所述当前图像帧进行裁剪,得到目标裁剪图像;
基于所述目标裁剪图像及预先训练的信号灯检测模型,针对当前图像帧进行信号灯检测,得到信号灯检测的目标结果。
2.根据权利要求1所述的方法,其特征在于,所述基于所述目标裁剪图像及预先训练的信号灯检测模型,针对当前图像帧进行信号灯检测,包括:
将所述目标裁剪图像输入至所述信号灯检测模型;
获取所述信号灯检测模型输出的第一结果,所述第一结果包括所述目标裁剪图像中的一个或多个待定区域及每个待定区域对应的置信度;
基于所述第一结果,执行信号灯检测的操作。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第一结果,执行信号灯检测的操作,包括:
若基于所述第一结果确定所述目标裁剪图像中存在置信度大于预设阈值的待定区域,将置信度大于预设阈值的待定区域中的物体确定为目标信号灯。
4.根据权利要求3所述的方法,其特征在于,所述基于所述第一结果,执行信号灯检测的操作,还包括:
若基于所述第一结果确定所述目标裁剪图像中不存在置信度大于预设阈值的待定区域,将所述当前图像帧输入至所述信号灯检测模型;
获取所述信号灯检测模型输出的第二结果,所述第二结果包括所述当前图像帧中的一个或多个待定区域以及每个待定区域对应的置信度;
若基于所述第二结果确定所述当前图像帧中存在置信度大于预设阈值的待定区域,将置信度大于预设阈值的待定区域中的物体确定为目标信号灯;
若基于所述第二结果确定所述当前图像帧中不存在置信度大于预设阈值的待定区域,确定未检测到目标信号灯。
5.根据权利要求4所述的方法,其特征在于,如果所述当前图像帧为非末帧图像帧,所述方法还包括:
基于所述目标结果,确定下一图像帧的裁剪范围。
6.根据权利要求5所述的方法,其特征在于,所述基于所述目标结果,确定下一图像帧的裁剪范围,包括:
若所述目标结果指示检测到目标信号灯,将所述目标信号灯对应的待定区域作为目标区域,将覆盖所述目标区域的预设范围确定为下一图像帧的裁剪范围;
若所述目标结果指示未检测到目标信号灯,基于所述当前图像帧中的待定区域,确定下一图像帧的裁剪范围。
7.根据权利要求6所述的方法,其特征在于,所述基于所述当前图像帧中的待定区域,确定下一图像帧的裁剪范围,包括:
对所述当前图像帧中的待定区域进行聚类,得到聚为一类的待定区域组;
取所述待定区域组对应的最小矩形区域;
将覆盖所述最小矩形区域的预设范围确定为下一图像帧的裁剪范围。
8.一种信号灯的检测装置,其特征在于,所述装置包括:
确定模块,用于确定当前图像帧的裁剪范围;
裁剪模块,用于按照所述当前图像帧的裁剪范围对所述当前图像帧进行裁剪,得到目标裁剪图像;
检测模块,用于基于所述目标裁剪图像及预先训练的信号灯检测模型,针对当前图像帧进行信号灯检测,得到信号灯检测的目标结果。
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1-7中任一项所述的方法。
10.一种智能驾驶设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1-7中任一项所述的方法。
CN201910660440.2A 2019-07-22 2019-07-22 信号灯的检测方法、装置及智能驾驶设备 Active CN110414399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910660440.2A CN110414399B (zh) 2019-07-22 2019-07-22 信号灯的检测方法、装置及智能驾驶设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910660440.2A CN110414399B (zh) 2019-07-22 2019-07-22 信号灯的检测方法、装置及智能驾驶设备

Publications (2)

Publication Number Publication Date
CN110414399A true CN110414399A (zh) 2019-11-05
CN110414399B CN110414399B (zh) 2020-09-04

Family

ID=68362283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910660440.2A Active CN110414399B (zh) 2019-07-22 2019-07-22 信号灯的检测方法、装置及智能驾驶设备

Country Status (1)

Country Link
CN (1) CN110414399B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111356016A (zh) * 2020-03-11 2020-06-30 北京松果电子有限公司 视频处理方法、视频处理装置及存储介质
CN111953962A (zh) * 2020-07-13 2020-11-17 西安万像电子科技有限公司 监控方法及系统
CN112131414A (zh) * 2020-09-23 2020-12-25 北京百度网讯科技有限公司 信号灯的图像的标注方法、装置、电子设备以及路侧设备
CN112580571A (zh) * 2020-12-25 2021-03-30 北京百度网讯科技有限公司 车辆行驶的控制方法、装置及电子设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301518A (ja) * 2004-04-08 2005-10-27 Toyota Motor Corp 信号機検出装置および信号機検出方法
CN103679733A (zh) * 2013-12-18 2014-03-26 浙江宇视科技有限公司 一种信号灯图像处理方法及其装置
CN103901895A (zh) * 2014-04-18 2014-07-02 江苏久祥汽车电器集团有限公司 一种基于无极FastSLAM算法和匹配优化目标定位方法及机器人
CN104766071A (zh) * 2015-04-28 2015-07-08 重庆邮电大学 一种应用于无人驾驶汽车的交通灯快速检测算法
CN104778833A (zh) * 2014-01-10 2015-07-15 北京信路威科技股份有限公司 识别交通信号灯的方法
US20150210276A1 (en) * 2014-01-30 2015-07-30 Mobileye Vision Technologies Ltd. Systems and methods for determining the status of a turn lane traffic light
US20170024622A1 (en) * 2015-07-24 2017-01-26 Honda Motor Co., Ltd. Surrounding environment recognition device
US20170206427A1 (en) * 2015-01-21 2017-07-20 Sportstech LLC Efficient, High-Resolution System and Method to Detect Traffic Lights
US20170243073A1 (en) * 2016-02-24 2017-08-24 VOLKSWAGEN AG et al. Method and system to identify traffic lights by an autonomous vehicle
CN108460395A (zh) * 2017-02-17 2018-08-28 北京三星通信技术研究有限公司 目标检测方法和装置以及模糊处理方法和装置
CN109583415A (zh) * 2018-12-11 2019-04-05 兰州大学 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
US20190122059A1 (en) * 2016-03-31 2019-04-25 Agency For Science, Technology And Research Signal light detection
WO2019079844A1 (en) * 2017-10-27 2019-05-02 The Crown in Right of the State of South Australia VEHICLE TRAFFIC MONITORING APPARATUS
CN109767637A (zh) * 2019-02-28 2019-05-17 杭州飞步科技有限公司 倒计时信号灯识别及处理的方法和装置
CN109830114A (zh) * 2019-02-20 2019-05-31 华为技术有限公司 交通信号灯提醒方法和装置
CN109902610A (zh) * 2019-02-22 2019-06-18 杭州飞步科技有限公司 交通标志识别方法和装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301518A (ja) * 2004-04-08 2005-10-27 Toyota Motor Corp 信号機検出装置および信号機検出方法
CN103679733A (zh) * 2013-12-18 2014-03-26 浙江宇视科技有限公司 一种信号灯图像处理方法及其装置
CN104778833A (zh) * 2014-01-10 2015-07-15 北京信路威科技股份有限公司 识别交通信号灯的方法
US20150210276A1 (en) * 2014-01-30 2015-07-30 Mobileye Vision Technologies Ltd. Systems and methods for determining the status of a turn lane traffic light
CN103901895A (zh) * 2014-04-18 2014-07-02 江苏久祥汽车电器集团有限公司 一种基于无极FastSLAM算法和匹配优化目标定位方法及机器人
US20170206427A1 (en) * 2015-01-21 2017-07-20 Sportstech LLC Efficient, High-Resolution System and Method to Detect Traffic Lights
CN104766071A (zh) * 2015-04-28 2015-07-08 重庆邮电大学 一种应用于无人驾驶汽车的交通灯快速检测算法
US20170024622A1 (en) * 2015-07-24 2017-01-26 Honda Motor Co., Ltd. Surrounding environment recognition device
US20170243073A1 (en) * 2016-02-24 2017-08-24 VOLKSWAGEN AG et al. Method and system to identify traffic lights by an autonomous vehicle
US20190122059A1 (en) * 2016-03-31 2019-04-25 Agency For Science, Technology And Research Signal light detection
CN108460395A (zh) * 2017-02-17 2018-08-28 北京三星通信技术研究有限公司 目标检测方法和装置以及模糊处理方法和装置
WO2019079844A1 (en) * 2017-10-27 2019-05-02 The Crown in Right of the State of South Australia VEHICLE TRAFFIC MONITORING APPARATUS
CN109583415A (zh) * 2018-12-11 2019-04-05 兰州大学 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
CN109830114A (zh) * 2019-02-20 2019-05-31 华为技术有限公司 交通信号灯提醒方法和装置
CN109902610A (zh) * 2019-02-22 2019-06-18 杭州飞步科技有限公司 交通标志识别方法和装置
CN109767637A (zh) * 2019-02-28 2019-05-17 杭州飞步科技有限公司 倒计时信号灯识别及处理的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PARK J H ET AL.: "《Real-Time Signal Light Detection》", 《INTERNATIONAL JOURNAL OF SIGNAL PROCESSING IMAGE PROCESSING & PATTERN RECOGNITION》 *
韩静: "《交通灯自动检测技术研究》", 《中国优秀硕士学位论文全文数据库(电子期刊)工程科技Ⅱ辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111356016A (zh) * 2020-03-11 2020-06-30 北京松果电子有限公司 视频处理方法、视频处理装置及存储介质
US11488383B2 (en) 2020-03-11 2022-11-01 Beijing Xiaomi Pinecone Electronics Co., Ltd. Video processing method, video processing device, and storage medium
CN111953962A (zh) * 2020-07-13 2020-11-17 西安万像电子科技有限公司 监控方法及系统
CN112131414A (zh) * 2020-09-23 2020-12-25 北京百度网讯科技有限公司 信号灯的图像的标注方法、装置、电子设备以及路侧设备
CN112580571A (zh) * 2020-12-25 2021-03-30 北京百度网讯科技有限公司 车辆行驶的控制方法、装置及电子设备

Also Published As

Publication number Publication date
CN110414399B (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN110414399A (zh) 信号灯的检测方法、装置及智能驾驶设备
EP3706068A1 (en) Land use determination system, land use determination method and program
CN110287828A (zh) 信号灯的检测方法、装置及电子设备
US20220366259A1 (en) Method, apparatus and system for training a neural network, and storage medium storing instructions
CN115457415A (zh) 基于yolo-x模型的目标检测方法、装置、电子设备和存储介质
KR102310612B1 (ko) 라이다 점군에서 특정된 객체 정보를 이용한 2d 이미지 객체 예측 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102313918B1 (ko) 3d 데이터와 2d 이미지의 동기화 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
US11847837B2 (en) Image-based lane detection and ego-lane recognition method and apparatus
CN109086737A (zh) 基于卷积神经网络的航运货物监控视频识别方法及系统
CN111611836A (zh) 基于背景消除法的船只检测模型训练及船只跟踪方法
US20230260259A1 (en) Method and device for training a neural network
CN110555344B (zh) 车道线识别方法、装置、电子设备、存储介质
CN111292331A (zh) 图像处理的方法与装置
CN116188789A (zh) 目标检测方法、检测装置及计算机可读存储介质
CN116595049A (zh) 船舶智能航行虚拟测试场景生成方法、系统及存储介质
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN115511870A (zh) 对象检测方法、装置、电子设备和存储介质
CN114926631A (zh) 目标框生成方法、装置、非易失性存储介质及计算机设备
CN111199179B (zh) 目标对象的跟踪方法、终端设备及介质
CN114663964A (zh) 船舶远程驾驶行为状态监测预警方法、系统及存储介质
CN114973173A (zh) 驾驶场景数据的分类方法、装置、电子设备及存储介质
CN111652907B (zh) 一种基于数据关联的多目标跟踪方法、装置及电子设备
CN112580750A (zh) 图像识别方法、装置、电子设备及存储介质
CN112215042A (zh) 一种车位限位器识别方法及其系统、计算机设备
KR102503118B1 (ko) 함정 전투체계 시스템 및 이의 표적 데이터 수집 및 식별 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant