CN111275011A - 移动红绿灯检测方法、装置、电子设备和存储介质 - Google Patents

移动红绿灯检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111275011A
CN111275011A CN202010116857.5A CN202010116857A CN111275011A CN 111275011 A CN111275011 A CN 111275011A CN 202010116857 A CN202010116857 A CN 202010116857A CN 111275011 A CN111275011 A CN 111275011A
Authority
CN
China
Prior art keywords
traffic light
mobile traffic
picture set
sample picture
light detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010116857.5A
Other languages
English (en)
Other versions
CN111275011B (zh
Inventor
秦欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010116857.5A priority Critical patent/CN111275011B/zh
Publication of CN111275011A publication Critical patent/CN111275011A/zh
Priority to JP2021026431A priority patent/JP7164644B2/ja
Priority to KR1020210023464A priority patent/KR102616470B1/ko
Priority to US17/183,104 priority patent/US11508162B2/en
Priority to EP21158904.9A priority patent/EP3872696A1/en
Application granted granted Critical
Publication of CN111275011B publication Critical patent/CN111275011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本申请公开了移动红绿灯检测方法、装置、电子设备和存储介质，涉及自动驾驶技术领域。方法为：获取包含移动红绿灯的正样本图片集及未包含移动红绿灯的负样本图片集；按照预设的采样比例，分别从正样本图片集和负样本图片集中抽取当前的训练数据；利用预设的检测模型，对当前的训练数据中的每张图片进行移动红绿灯检测，确定每张图片的检测结果；根据每张图片的检测结果与已标注数据的差异，确定当前的分类损失及检测框回归损失；若当前的分类损失及检测框回归损失均满足预设条件，确定生成用于检测移动红绿灯的移动红绿灯检测模型。通过移动红绿灯检测模型检测，识别过程简单、效率高，且按预设采样比例抽取训练数据，解决了正负样本不均衡问题。

Description

移动红绿灯检测方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机技术领域，具体涉及自动驾驶技术领域，尤其涉及一种移动红绿灯检测方法、装置、电子设备和存储介质。
背景技术
自动驾驶中，目前通常使用以下方法检测红绿灯：从地图中获取红绿灯的大概区域，在指定区域中检测识别红绿灯。然而，在路跑时经常会遇到，红绿灯故障或路口未安装红绿灯的情况，这时会在路口放置一个移动红绿灯，然后在地图中提前标注移动红绿灯，但是移动红绿灯的设置时常不固定，需要频繁更新地图，从而导致对移动红绿灯的识别方法繁琐、效率低。
发明内容
本申请提出一种移动红绿灯检测方法、装置、电子设备和存储介质，用于解决相关技术中，现有的移动红绿的识别方法繁琐、效率低的问题。
本申请一方面实施例提出了一种移动红绿灯检测方法，包括：
获取包含移动红绿灯的正样本图片集及未包含移动红绿灯的负样本图片集；
按照预设的采样比例，分别从所述正样本图片集和负样本图片集中抽取当前的训练数据；
利用预设的检测模型，对所述当前的训练数据中的每张图片进行移动红绿灯检测，以确定每张图片的检测结果；
根据每张图片的检测结果与已标注数据的差异，确定当前的分类损失及检测框回归损失；
若所述当前的分类损失及检测框回归损失均满足预设条件，则确定生成用于检测移动红绿灯的移动红绿灯检测模型。
本申请实施例的移动红绿灯检测方法，通过获取包含移动红绿灯的正样本图片集及未包含移动红绿灯的负样本图片集，然后按照预设的采样比例，分别从正样本图片集和负样本图片集中抽取当前的训练数据，之后利用预设的检测模型，对当前的训练数据中的每张图片进行移动红绿灯检测，以确定每张图片的检测结果，再根据每张图片的检测结果与已标注数据的差异，确定当前的分类损失及检测框回归损失，若当前的分类损失及检测框回归损失均满足预设条件，则确定生成用于检测移动红绿灯的移动红绿灯检测模型。由此，通过训练得到移动红绿灯检测模型，利用移动红绿灯检测模型对移动红绿灯进行检测，识别过程简单、效率高，并且，按照预设的采样比例抽取训练数据，解决了正负样本不均衡的问题，使模型正常收敛。
本申请另一方面实施例提出了一种移动红绿灯检测装置，包括：
第一获取模块，用于获取包含移动红绿灯的正样本图片集及未包含移动红绿灯的负样本图片集；
抽取模块，用于按照预设的采样比例，分别从所述正样本图片集和负样本图片集中抽取当前的训练数据；
检测模块，用于利用预设的检测模型，对所述当前的训练数据中的每张图片进行移动红绿灯检测，以确定每张图片的检测结果；
第一确定模块，用于根据每张图片的检测结果与已标注数据的差异，确定当前的分类损失及检测框回归损失；
第二确定模块，用于当所述当前的分类损失及检测框回归损失均满足预设条件时，确定生成用于检测移动红绿灯的移动红绿灯检测模型。
本申请实施例的移动红绿灯检测装置，通过获取包含移动红绿灯的正样本图片集及未包含移动红绿灯的负样本图片集，按照预设的采样比例，分别从正样本图片集和负样本图片集中抽取当前的训练数据，利用预设的检测模型，对当前的训练数据中的每张图片进行移动红绿灯检测，以确定每张图片的检测结果，根据每张图片的检测结果与已标注数据的差异，确定当前的分类损失及检测框回归损失，若当前的分类损失及检测框回归损失均满足预设条件，则确定生成用于检测移动红绿灯的移动红绿灯检测模型。由此，通过训练得到移动红绿灯检测模型，利用移动红绿灯检测模型对移动红绿灯进行检测，识别过程简单、效率高，并且，按照预设的采样比例抽取训练数据，解决了正负样本不均衡的问题，使模型正常收敛。
本申请另一方面实施例提出了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的移动红绿灯检测方法。
本申请另一方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，所述计算机指令用于使所述计算机执行上述一方面实施例所述的移动红绿灯检测方法。
上述申请中的实施例具有如下有益效果：上述通过按照预设的采样比例，分别从正样本图片集和负样本图片集中抽取当前的训练数据，利用预设的检测模型，对所述当前的训练数据中的每张图片进行移动红绿灯检测，根据每张图片的检测结果与已标注数据的差异，确定当前的分类损失及检测框回归损失，若当前的分类损失及检测框回归损失均满足预设条件，则确定生成用于检测移动红绿灯的移动红绿灯检测模型。因为采用训练得到的移动红绿灯检测模型检测移动红绿灯，以及按照预设的采样比例分别正样本图片集和负样本图片集中抽取训练数据技术手段，所以克服了相关技术中，现有的移动红绿的识别方法繁琐、效率低的问题，进而达到移动红绿灯识别过程简单，效率高以及解决了正负样本不均衡问题，保证了模型正常收敛的技术效果。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例提供的一种移动红绿灯检测方法的流程示意图；
图2为本申请实施例提供的另一种移动红绿灯检测方法的流程示意图；
图3为本申请实施例提供的另一种移动红绿灯检测方法的流程示意图；
图4为本申请实施例提供的另一种移动红绿灯检测方法的流程示意图；
图5为本申请实施例提供的一种移动红绿灯检测装置的结构示意图；
图6为根据本申请实施例的移动红绿灯检测方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的移动红绿灯检测方法、装置、电子设备和存储介质。
本申请实施例，针对相关技术中，现有的移动红绿的识别方法繁琐、效率低的问题，提出一种移动红绿灯检测方法。
本申请实施例的移动红绿灯检测方法，通过获取包含移动红绿灯的正样本图片集及未包含移动红绿灯的负样本图片集，按照预设的采样比例，分别从正样本图片集和负样本图片集中抽取当前的训练数据，利用预设的检测模型，对当前的训练数据中的每张图片进行移动红绿灯检测，以确定每张图片的检测结果，根据每张图片的检测结果与已标注数据的差异，确定当前的分类损失及检测框回归损失，若当前的分类损失及检测框回归损失均满足预设条件，则确定生成用于检测移动红绿灯的移动红绿灯检测模型。由此，通过训练得到移动红绿灯检测模型，利用移动红绿灯检测模型对移动红绿灯进行检测，识别过程简单、效率高，并且，按照预设的采样比例抽取训练数据，解决了正负样本不均衡的问题，使模型正常收敛。
图1为本申请实施例提供的一种移动红绿灯检测方法的流程示意图。
本申请实施例的移动红绿灯检测方法，可由本申请实施例提供的移动红绿灯检测装置执行，该装置可配置于电子设备中，以实现按照预设的采样比例抽取得到训练数据训练得到移动红绿灯检测模型，利用该检测模型对移动红绿灯进行检测。
如图1所示，该移动红绿灯检测方法包括：
步骤101，获取包含移动红绿灯的正样本图片集及未包含移动红绿灯的负样本图片集。
本实施例中，可通过采集获取正样本图片集和负样本图片集，可在具有移动红绿灯路口采集图片，以获取包含移动红绿灯的图片。
其中，正样本图片集中的每张图片均包含移动红绿灯；负样本图片集的每张图片中均未包含移动红绿灯。
对于负样本图片集中的图片，可以是包含普通红绿灯、指示牌等可能被误识别成移动红绿灯的图片，也可以是未设置红绿灯的路口的图片，或者一个建筑的图片等，只要未包含移动红绿灯的图片，都可以作为负样本图片集中的图片。
步骤102，按照预设的采样比例，分别从正样本图片集和负样本图片集中抽取当前的训练数据。
在实际应用中，含有移动红绿灯的场景较少，大部分场景不含有移动红绿灯，所以在训练时正负样本是不均衡的。
本实施例中，采用的损失函数包括分类损失和检测框回归损失。其中，检测框回归损失用于衡量模型预测的移动红绿灯位置与标注的移动红灯位置之间的差异。若每次取到的训练数据中大概率不含有移动红绿灯，则会导致损失函数中每次只计算了分类损失，而没有计算检测框回归损失，这会导致损失下降不稳定。
基于此，本申请中按照预设的采样比例，分别从正样本图片集和负样本图片集中抽取正样本图片和负样本图片，作为当前的训练数据。比如，采样比例为1:10、1:20等等。
需要说明的是，采样比例可以任意设定，只要保证训练数据中具有正样本图片即可。
步骤103，利用预设的检测模型，对当前的训练数据中的每张图片进行移动红绿灯检测，以确定每张图片的检测结果。
本实施例中，预设的检测模型可以认为是初始检测模型。
在按照预设的采样比例，分别从正样本图片集和负样本图片集中抽取当前的训练数据后，可分别将当前训练数据中的每张图片输入至预设的检测模型中，进行移动红绿灯检测，以确定每张图片的检测结果。
其中，检测结果可包括移动红绿灯检测框的位置和置信度，如果检测出没有移动红绿灯，可以输出移动红绿灯检测框的位置为空。
步骤104，根据每张图片的检测结果与已标注数据的差异，确定当前的分类损失及检测框回归损失。
本实施例中，可预先对抽取得到的当前训练数据进行标注。其中，正样本图片的已标注数据可以为移动红绿灯的位置。其中，移动红绿灯的位置可以用包含移动红绿灯的边框的位置表示，而边框的位置可以用边框的中点坐标和边框的长宽表示。
对于抽取到的负样本图片，其已标注数据可以是包含移动红绿灯的边框的位置为空。
在确定每张图片的检测结果后，可根据检测结果和已标注数据，计算得到每张图片对应的分类损失和检测框回归损失。然后，根据每张图片对应的分类损失和检测框回归损失，计算当前训练数据中所有图片的分类损失的平均值和检测框回归损失的平均值，分别作为当前的分类损失及检测框回归损失。
步骤105，若当前的分类损失及检测框回归损失均满足预设条件，则确定生成用于检测移动红绿灯的移动红绿灯检测模型。
本实施例中，将当前的分类损失与其预设条件进行对比，以及将检测框回归损失与其预设条件进行比对，若当前的分类损失及检测框回归损失均满足预设条，可以认为无需对模型当前的参数进行调整，即生成的移动红绿灯检测模型可以用于检测移动红绿灯。那么，可以用生成的移动红绿灯检测模型检测移动红绿灯。
具体地，可以将待检测图片输入至移动红绿灯检测模型中，对待检测图片进行检测，确定待检测图片中是否包含移动红绿灯。如果包含移动红绿灯，输出移动红绿灯检测框的位置和置信度。其中，置信度用于衡量检测出的移动红绿灯的位置的可信度。
本申请实施例的移动红绿灯检测方法，通过获取包含移动红绿灯的正样本图片集及未包含移动红绿灯的负样本图片集，按照预设的采样比例，分别从正样本图片集和负样本图片集中抽取当前的训练数据，利用预设的检测模型，对当前的训练数据中的每张图片进行移动红绿灯检测，以确定每张图片的检测结果，根据每张图片的检测结果与已标注数据的差异，确定当前的分类损失及检测框回归损失，若当前的分类损失及检测框回归损失均满足预设条件，则确定生成用于检测移动红绿灯的移动红绿灯检测模型。由此，通过训练得到移动红绿灯检测模型，利用移动红绿灯检测模型对移动红绿灯进行检测，识别过程简单、效率高，并且，按照预设的采样比例抽取训练数据，解决了正负样本不均衡的问题，使模型正常收敛。
在实际应用中，预设的检测模型可能不满足要求。为了解决此问题，可采用图2所示的方法，图2为本申请实施例提供的另一种移动红绿灯检测方法的流程示意图。
如图2所示，上述确定当前的分类损失及检测框回归损失之后，还包括：
步骤201，若当前的分类损失，和/或检测框回归损失未满足预设条件，则根据当前的分类损失及检测框回归损失，对预设的检测模型进行反向传播更新。
本实施例中，基于预设的检测模型对当前的训练数据的检测结果，得到的当前分类损失和检测框回归损失，若当前分类损失和检测框回归损失中的一个不满足预设条件，或者两者都不满足预设条件，说明预设的检测模型还不满足要求，则可根据当前的分类损失及检测框回归损失，对预设的检测模型进行反向传播更新，即对预设的检测模型的参数进行调整，得到更新后的检测模型。
步骤202，按照预设的采样比例，从正样本图片集和负样本图片集中抽取新的训练数据。
本实施例中，可按照预设的采样比例，继续从正样本图片集和负样本图片集中抽取正样本图片和负样本图片，作为新的训练数据。
需要说明的是，这里的采样比例可以与步骤102中的采样比例可以相同，也可以不同。
步骤203，利用新抽取的训练数据对更新后的检测模型进行训练，直至确定新的分类损失及检测框回归损失均满足预设条件。
具体地，可将新抽取的训练数据中的一张图片输入至更后的检测模型，根检测结果和已标注数据，确定新的分类损失和检测框回归损失。若任一不满足预设条件或者都不满足预设条件，则对模型参数进行调整。然后，利用新抽取的训练数据的其他图片继续对更新后的检测模型进行训练。
或者，也可以对新抽取的训练数据中的每张图片进行检测，根据检测结果确定当前的分类损失和检测框回归损失。
如果新抽取的训练数据训练完，分类损失和检测框回归损失仍没有达到均满足预设条件的要求，则继续抽取新的训练数据，对更新后的检测模型继续训练，直到分类损失和检测框回归损失均满足预设条件。
本申请实施例中，在当前的分类损失，和/或检测框回归损失未满足预设条件时，按照预设的采样比例，从正样本图片集和负样本图片集中抽取新的训练数据，对检测模型进行更新训练直到分类损失和检测框回归损失均满足预设条件，由此，在整个训练过程中按照预设的采样比例抽取训练数据，可以保证模型正常收敛，解决了正负样本不均衡的问题。
在实际应用中，在驾驶过程中，采集的一张图片中包含有红绿灯，可能是移动红绿灯，也可能是普通红绿灯。为了在图片包含红绿灯时，能够检测出红绿灯的类型，提高驾驶的安全性，可将移动红绿灯检测模型与普通红绿灯检测模型结合，检测采集的图像中是否包含移动红绿灯。下面结合图3进行说明，图3为本申请实施例提供的另一种移动红绿灯检测方法的流程示意图。
如图3所示，上述确定生成用于检测移动红绿灯的移动红绿灯检测模型之后，该移动红绿灯检测方法还包括：
步骤301，将驾驶过程中采集的图像，分别输入至移动红绿灯检测模型及预设的红绿灯检测模型，获取移动红绿灯检测模型输出的第一检测结果及预设的红绿灯检测模型输出的第二检测结果。
本实施例中，预设的红绿灯检测模型是用于检测普通红绿灯的模型。在车辆行驶过程中，可以采集行驶前方的图像。
具体地，将驾驶过程中采集的图像，分别输入至移动红绿灯检测模型和预设的红绿灯检测模型，移动红绿灯检测模型对图像进行检测，输出检测结果，为了便于区分，称为第一检测结果，预设的红绿灯检测模型也对同样的图像进行检测，输出第二检测结果。
步骤302，根据第一检测结果与第二检测结果的匹配度，确定当前采集的图像中是否包含移动红绿灯。
本实施例中，如果第一检测结果为不包含移动红绿灯，第二检测结果为不包含普通红绿灯，则可以认为当前采集的图片中不包含移动红绿灯。
如果第一检测结果为移动红绿灯检测框的位置和置信度，第二输出结果为不包含普通红绿灯，这时第一检测结果与第二检测结果的匹配度小于预设阈值，可以认为当前采集的图片中包含移动红绿灯。如果第一检测结果为不包含移动红绿灯，第二输出结果为普通红绿灯检测框的位置和置信度，这时第一检测结果与第二检测结果的匹配度小于预设阈值，确定当前采集的图片中包含普通红绿灯。
或者，若第一检测结果为移动红绿灯检测框的位置和置信度，第二检测结果为普通红绿灯检测框的位置和置信度，且移动红绿灯检测框的位置对应的置信度，大于普通红绿灯检测框的位置对应的置信度，那么可以认为当前采集的图片中包含移动红绿灯。如果第二输出结果中普通红绿灯检测框的位置对应的置信度，大于移动红绿灯检测框的位置对应的置信度，那么可以认为当前采集的图片中包含的是普通红绿灯。
本申请实施例中，在确定生成用于检测移动红绿灯的移动红绿灯检测模型后，可将驾驶过程中采集的图像，分别输入至移动红绿灯检测模型及预设的红绿灯检测模型，获取移动红绿灯检测模型输出的第一检测结果及预设的红绿灯检测模型输出的第二检测结果，根据第一检测结果与第二检测结果的匹配度，确定当前采集的图像中是否包含移动红绿灯。由此，在确定生成的移动红绿灯检测模型可以用于检测红绿灯后，将驾驶过程中采集的图片分别输入至移动红绿灯检测模型和预设的红绿灯检测模型，可以在图片包含普通红绿灯或者移动红绿灯时，识别出红绿灯，提高了驾驶安全性。
为了进一步提高移动红绿检测模型的检测准确性，可以对模型进行更新。下面结合图4进行说明，图4为本申请实施例提供的另一种移动红绿灯检测方法的流程示意图。
如图4所示，上述确定生成用于检测移动红绿灯的移动红绿灯检测模型之后，该移动红绿灯检测方法还包括：
步骤401，在驾驶过程中采集第一图片。
在车辆行驶过程中，可采集图片，比如采集行驶前方的图片，这里称为第一图片。
步骤402，利用移动红绿灯检测模型，对第一图片进行检测，以确定第一图片中是否包含移动红绿灯。
在获取第一图片后，将采集的第一图片输入至移动红绿灯检测模型，利用移动红绿灯检测模型，对第一图片进行特征提取，输出检测结果，以根据模型的检测结果，确定第一图片中是否包含移动红绿灯。
步骤403，若第一图片中包含移动红绿灯、且第一图片的采集位置与地图中的路口位置未匹配，则将第一图片加入负样本图片集。
如果第一图片中包含移动红绿灯，并且第一图片的采集位置与地图中的路口位置不匹配，说明移动红绿灯检测模型将第一图片中的内容误识别为移动红绿灯，可以将第一图片作为负样本图片，加入至负样本图片集。其中，这里的地图中的路口是指地图中的任一路口。
比如，图片的采集位置是距离前方红绿灯300米处，经检测图片中包含移动红绿灯，由于图片的采集位置不是路口位置，显然是误检测，可将该图片加入到负样本图片集中。
基于此，可以将驾驶过程中采集的经检测包含移动红绿灯、且采集位置与地图中的路口位置不匹配的图片，加入至负样本图片集。
步骤404，利用更新后的负样本图片集及正样本图片集，对移动红绿灯检测模型进行更新训练。
本实施例中，可以按照预设的采样比例，分别从正样本图片集和更新后的负样本图片集抽取训练数据，以利用抽取的训练数据对移动红绿灯检测模型进行训练，以对移动红绿灯检测模型进行更新优化。
或者，也可以利用包含移动红绿灯、且采集位置与地图中的路口位置未匹配的图片以及从正样本图片集中抽取的图片，对移动红绿灯检测模型进行更新训练。
本申请实施例中，上述确定生成用于检测移动红绿灯的移动红绿灯检测模型之后，通过利用移动红绿灯检测模型，对驾驶过程中采集的第一图片进行检测，以确定第一图片中是否包含移动红绿灯，若第一图片中包含移动红绿灯、且第一图片的采集位置与地图中的路口位置未匹配，则将第一图片加入负样本图片集，利用更新后的负样本图片集及正样本图片集，对移动红绿灯检测模型进行更新训练。由此，通过更新训练可以提高移动红绿灯检测模型的检测准确性。
如果负样本图片集中新增的图片数量较少，那么在抽取训练数据时，新增图片被抽到的几率较小，那么更新训练效果可能会不佳。基于此，为了进一步提高移动红绿灯检测模型的检测准确性，在本申请的一个实施例中，在利用更新后的负样本图片集及正样本图片集，对移动红绿灯检测模型进行更新训练之前，可先确定新增图片的数量达到一定数量。
具体地，在确定更新后的负样本图片集中包含的新增图片的数量，占更新后的负样本图片集中总图片数量的比例大于阈值之后，再根据更新后的负样本图片集和正样本图片集，对移动红绿灯检测模型进行更新训练。
比如，阈值为三分之一，也就是说，更新后的负样本图片集中新增图片的数量，占更新后的负样本图片集中总图片数量的比例大于三分之一时，再利用更新后的负样本图片集及正样本图片集，对移动红绿灯检测模型进行更新训练。
本申请实施例中，在利用更新后的负样本图片集及正样本图片集，对移动红绿灯检测模型进行更新训练之前，确定更新后的负样本图片集中包含的新增图片的数量，占更新后的负样本图片集中总图片数量的比例大于阈值。由此，可以提高更新训练的效果，提高移动红绿灯检测模型的准确性。
为了实现上述实施例，本申请实施例还提出一种移动红绿灯检测装置。图5为本申请实施例提供的一种移动红绿灯检测装置的结构示意图。
如图5所示，该移动红绿灯检测装置500包括：第一获取模块510、抽取模块520、检测模块530、第一确定模块540、第二确定模块550。
第一获取模块510，用于获取包含移动红绿灯的正样本图片集及未包含移动红绿灯的负样本图片集；
抽取模块520，用于按照预设的采样比例，分别从正样本图片集和负样本图片集中抽取当前的训练数据；
检测模块530，用于利用预设的检测模型，对当前的训练数据中的每张图片进行移动红绿灯检测，以确定每张图片的检测结果；
第一确定模块540，用于根据每张图片的检测结果与已标注数据的差异，确定当前的分类损失及检测框回归损失；
第二确定模块550，用于当当前的分类损失及检测框回归损失均满足预设条件时，确定生成用于检测移动红绿灯的移动红绿灯检测模型。
作为本申请实施例一种可能的实现方式，该装置还可包括：
第一更新模块，用于当当前的分类损失，和/或检测框回归损失未满足预设条件时，根据当前的分类损失及检测框回归损失，对预设的检测模型进行反向传播更新；
上述抽取模块，用于按照预设的采样比例，从正样本图片集和负样本图片集中抽取新的训练数据；
训练模块，用于利用新抽取的训练数据对更新后的检测模型进行训练，直至确定新的分类损失及检测框回归损失均满足预设条件。
作为本申请实施例一种可能的实现方式，上述装置还可包括：
第二获取模块，用于将驾驶过程中采集的图像，分别输入至移动红绿灯检测模型及预设的红绿灯检测模型，获取移动红绿灯检测模型输出的第一检测结果及预设的红绿灯检测模型输出的第二检测结果；
第三确定模块，用于根据第一检测结果与第二检测结果的匹配度，确定当前采集的图像中是否包含移动红绿灯。
作为本申请实施例一种可能的实现方式，该装置还可包括：
采集模块，用于在驾驶过程中采集第一图片；
第四确定模块，用于利用移动红绿灯检测模型，对第一图片进行检测，以确定第一图片中是否包含移动红绿灯；
第三获取模块，用于当第一图片中包含移动红绿灯、且第一图片的采集位置与地图中的路口位置未匹配时，将第一图片加入负样本图片集；
第二更新模块，用于利用更新后的负样本图片集及正样本图片集，对移动红绿灯检测模型进行更新训练。
作为本申请实施例一种可能的实现方式，该装置还可包括：
第五确定模块，用于确定更新后的负样本图片集中包含的新增图片的数量，占更新后的负样本图片集中总图片数量的比例大于阈值。
需要说明的是，前述移动红绿灯检测方法实施例的解释说明，也适用于该实施例的移动红绿灯检测装置，故在此不再赘述。
本申请实施例的移动红绿灯检测装置，通过获取包含移动红绿灯的正样本图片集及未包含移动红绿灯的负样本图片集，按照预设的采样比例，分别从正样本图片集和负样本图片集中抽取当前的训练数据，利用预设的检测模型，对当前的训练数据中的每张图片进行移动红绿灯检测，以确定每张图片的检测结果，根据每张图片的检测结果与已标注数据的差异，确定当前的分类损失及检测框回归损失，若当前的分类损失及检测框回归损失均满足预设条件，则确定生成用于检测移动红绿灯的移动红绿灯检测模型。由此，通过训练得到移动红绿灯检测模型，利用移动红绿灯检测模型对移动红绿灯进行检测，识别过程简单、效率高，并且，按照预设的采样比例抽取训练数据，解决了正负样本不均衡的问题，使模型正常收敛。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图6所示，是根据本申请实施例的移动红绿灯检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GU I的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的移动红绿灯检测方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的移动红绿灯检测方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的移动红绿灯检测方法对应的程序指令/模块(例如，附图5所示的第一获取模块510、抽取模块520、检测模块530、第一确定模块540、第二确定模块550)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的移动红绿灯检测方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据移动红绿灯检测电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至移动红绿灯检测方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
移动红绿灯检测方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与移动红绿灯检测方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用AS I C(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过训练得到移动红绿灯检测模型，利用移动红绿灯检测模型对移动红绿灯进行检测，识别过程简单、效率高，并且，按照预设的采样比例抽取训练数据，解决了正负样本不均衡的问题，使模型正常收敛。
在本说明书的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种移动红绿灯检测方法，其特征在于，包括：
获取包含移动红绿灯的正样本图片集及未包含移动红绿灯的负样本图片集；
按照预设的采样比例，分别从所述正样本图片集和负样本图片集中抽取当前的训练数据；
利用预设的检测模型，对所述当前的训练数据中的每张图片进行移动红绿灯检测，以确定每张图片的检测结果；
根据每张图片的检测结果与已标注数据的差异，确定当前的分类损失及检测框回归损失；
若所述当前的分类损失及检测框回归损失均满足预设条件，则确定生成用于检测移动红绿灯的移动红绿灯检测模型。
2.如权利要求1所述的方法，其特征在于，所述确定当前的分类损失及检测框回归损失之后，还包括：
若所述当前的分类损失，和/或检测框回归损失未满足预设条件，则根据所述当前的分类损失及检测框回归损失，对所述预设的检测模型进行反向传播更新；
按照所述预设的采样比例，从所述正样本图片集和负样本图片集中抽取新的训练数据；
利用新抽取的训练数据对更新后的检测模型进行训练，直至确定新的分类损失及检测框回归损失均满足所述预设条件。
3.如权利要求1所述的方法，其特征在于，所述确定生成用于检测移动红绿灯的移动红绿灯检测模型之后，还包括：
将驾驶过程中采集的图像，分别输入至所述移动红绿灯检测模型及预设的红绿灯检测模型，获取所述移动红绿灯检测模型输出的第一检测结果及所述预设的红绿灯检测模型输出的第二检测结果；
根据所述第一检测结果与所述第二检测结果的匹配度，确定所述当前采集的图像中是否包含移动红绿灯。
4.如权利要求1-3任一所述的方法，其特征在于，所述确定生成用于检测移动红绿灯的移动红绿灯检测模型之后，还包括：
在驾驶过程中采集第一图片；
利用所述移动红绿灯检测模型，对所述第一图片进行检测，以确定所述第一图片中是否包含移动红绿灯；
若所述第一图片中包含移动红绿灯、且所述第一图片的采集位置与地图中的路口位置未匹配，则将所述第一图片加入所述负样本图片集；
利用更新后的负样本图片集及所述正样本图片集，对所述移动红绿灯检测模型进行更新训练。
5.如权利要求4所述的方法，其特征在于，所述利用更新后的负样本图片集及所述正样本图片集，对所述移动红绿灯检测模型进行更新训练之前，还包括：
确定所述更新后的负样本图片集中包含的新增图片的数量，占所述更新后的负样本图片集中总图片数量的比例大于阈值。
6.一种移动红绿灯检测装置，其特征在于，包括：
第一获取模块，用于获取包含移动红绿灯的正样本图片集及未包含移动红绿灯的负样本图片集；
抽取模块，用于按照预设的采样比例，分别从所述正样本图片集和负样本图片集中抽取当前的训练数据；
检测模块，用于利用预设的检测模型，对所述当前的训练数据中的每张图片进行移动红绿灯检测，以确定每张图片的检测结果；
第一确定模块，用于根据每张图片的检测结果与已标注数据的差异，确定当前的分类损失及检测框回归损失；
第二确定模块，用于当所述当前的分类损失及检测框回归损失均满足预设条件时，确定生成用于检测移动红绿灯的移动红绿灯检测模型。
7.如权利要求6所述的装置，其特征在于，还包括：
第一更新模块，用于当所述当前的分类损失，和/或检测框回归损失未满足预设条件时，根据所述当前的分类损失及检测框回归损失，对所述预设的检测模型进行反向传播更新；
所述抽取模块，用于按照所述预设的采样比例，从所述正样本图片集和负样本图片集中抽取新的训练数据；
训练模块，用于利用新抽取的训练数据对更新后的检测模型进行训练，直至确定新的分类损失及检测框回归损失均满足所述预设条件。
8.如权利要求6所述的装置，其特征在于，还包括：
第二获取模块，用于将驾驶过程中采集的图像，分别输入至所述移动红绿灯检测模型及预设的红绿灯检测模型，获取所述移动红绿灯检测模型输出的第一检测结果及所述预设的红绿灯检测模型输出的第二检测结果；
第三确定模块，用于根据所述第一检测结果与所述第二检测结果的匹配度，确定所述当前采集的图像中是否包含移动红绿灯。
9.如权利要求6-8任一所述的装置，其特征在于，还包括：
采集模块，用于在驾驶过程中采集第一图片；
第四确定模块，用于利用所述移动红绿灯检测模型，对所述第一图片进行检测，以确定所述第一图片中是否包含移动红绿灯；
第三获取模块，用于当所述第一图片中包含移动红绿灯、且所述第一图片的采集位置与地图中的路口位置未匹配时，将所述第一图片加入所述负样本图片集；
第二更新模块，用于利用更新后的负样本图片集及所述正样本图片集，对所述移动红绿灯检测模型进行更新训练。
10.如权利要求9所述的装置，其特征在于，还包括：
第五确定模块，用于确定所述更新后的负样本图片集中包含的新增图片的数量，占所述更新后的负样本图片集中总图片数量的比例大于阈值。
11.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的移动红绿灯检测方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的移动红绿灯检测方法。
CN202010116857.5A 2020-02-25 2020-02-25 移动红绿灯检测方法、装置、电子设备和存储介质 Active CN111275011B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010116857.5A CN111275011B (zh) 2020-02-25 2020-02-25 移动红绿灯检测方法、装置、电子设备和存储介质
JP2021026431A JP7164644B2 (ja) 2020-02-25 2021-02-22 移動式信号機の検出方法、装置、電子機器及び記憶媒体
KR1020210023464A KR102616470B1 (ko) 2020-02-25 2021-02-22 이동식 신호등을 검출하는 방법, 장치, 전자 기기 및 저장 매체
US17/183,104 US11508162B2 (en) 2020-02-25 2021-02-23 Method and apparatus for detecting mobile traffic light
EP21158904.9A EP3872696A1 (en) 2020-02-25 2021-02-24 Method and apparatus for detecting mobile traffic light, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010116857.5A CN111275011B (zh) 2020-02-25 2020-02-25 移动红绿灯检测方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111275011A true CN111275011A (zh) 2020-06-12
CN111275011B CN111275011B (zh) 2023-12-19

Family

ID=71003685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010116857.5A Active CN111275011B (zh) 2020-02-25 2020-02-25 移动红绿灯检测方法、装置、电子设备和存储介质

Country Status (5)

Country Link
US (1) US11508162B2 (zh)
EP (1) EP3872696A1 (zh)
JP (1) JP7164644B2 (zh)
KR (1) KR102616470B1 (zh)
CN (1) CN111275011B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882899A (zh) * 2020-07-24 2020-11-03 北京小马慧行科技有限公司 确定交通信号灯的位置的方法及装置、系统
CN113657428A (zh) * 2021-06-30 2021-11-16 北京邮电大学 网络流量数据的抽取方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275011B (zh) * 2020-02-25 2023-12-19 阿波罗智能技术(北京)有限公司 移动红绿灯检测方法、装置、电子设备和存储介质
CN113963167B (zh) * 2021-10-29 2022-05-27 北京百度网讯科技有限公司 应用于目标检测的方法、装置及计算机程序产品

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008033851A (ja) * 2006-08-01 2008-02-14 Nec Corp 郵便自動区分機及び郵便自動区分方法
CN101216884A (zh) * 2007-12-29 2008-07-09 北京中星微电子有限公司 一种人脸认证的方法及系统
CN102176287A (zh) * 2011-02-28 2011-09-07 无锡中星微电子有限公司 一种交通信号灯识别系统和方法
CN104408424A (zh) * 2014-11-26 2015-03-11 浙江大学 一种基于图像处理的多信号灯识别方法
US20150154441A1 (en) * 2013-12-02 2015-06-04 Huawei Technologies Co., Ltd. Method and apparatus for generating strong classifier for face detection
KR20160070379A (ko) * 2014-12-10 2016-06-20 삼성에스디에스 주식회사 객체 분류 방법 및 그 장치
KR20160108979A (ko) * 2015-03-09 2016-09-21 한화테크윈 주식회사 표적 추적 방법 및 장치
CN106407901A (zh) * 2016-08-31 2017-02-15 重庆云库房物联科技有限公司 一种基于红外阵列的人流行为分析系统及人体识别方法
US20170124719A1 (en) * 2015-10-30 2017-05-04 Xiaomi Inc. Method, device and computer-readable medium for region recognition
CN106934346A (zh) * 2017-01-24 2017-07-07 北京大学 一种目标检测性能优化的方法
US9779314B1 (en) * 2014-08-21 2017-10-03 Waymo Llc Vision-based detection and classification of traffic lights
US20180114337A1 (en) * 2016-10-20 2018-04-26 Sun Yat-Sen University Method and system of detecting and recognizing a vehicle logo based on selective search
CN107968840A (zh) * 2017-12-15 2018-04-27 华北电力大学（保定） 一种大规模电力设备监测报警数据实时处理方法及系统
CN108229307A (zh) * 2017-11-22 2018-06-29 北京市商汤科技开发有限公司 用于物体检测的方法、装置和设备
CN108391446A (zh) * 2017-06-20 2018-08-10 埃森哲环球解决方案有限公司 基于机器学习算法对针对数据分类器的训练语料库的自动提取
CN108482378A (zh) * 2012-03-26 2018-09-04 伟摩有限责任公司 用于控制车辆的运动的方法和控制器
WO2019041519A1 (zh) * 2017-08-29 2019-03-07 平安科技（深圳）有限公司 目标跟踪装置、方法及计算机可读存储介质
CN109800778A (zh) * 2018-12-03 2019-05-24 浙江工业大学 一种基于难分样本挖掘的Faster RCNN目标检测方法
CN109823344A (zh) * 2017-11-22 2019-05-31 宏碁股份有限公司 驾驶提示方法与系统
CN110121088A (zh) * 2019-04-17 2019-08-13 北京奇艺世纪科技有限公司 一种用户属性信息确定方法、装置及电子设备
CN110569721A (zh) * 2019-08-01 2019-12-13 平安科技（深圳）有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN110659545A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 车辆识别模型的训练方法、车辆识别方法、装置和车辆
CN110689747A (zh) * 2019-10-12 2020-01-14 北京百度网讯科技有限公司 自动驾驶车辆的控制方法和装置、自动驾驶车辆

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6124807A (en) * 1992-04-02 2000-09-26 Albert E. Voehringer Process and apparatus for regulating traffic
US8576069B2 (en) * 2009-10-22 2013-11-05 Siemens Corporation Mobile sensing for road safety, traffic management, and road maintenance
US8620032B2 (en) 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
DE102012110219A1 (de) * 2012-10-25 2014-04-30 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung von gekennzeichneten Gefahr- und/oder Baustellen im Bereich von Fahrbahnen
US10380438B2 (en) * 2017-03-06 2019-08-13 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
KR102309296B1 (ko) * 2017-03-17 2021-10-06 엘지전자 주식회사 이동단말기 및 그 제어 방법
KR20180131789A (ko) * 2017-06-01 2018-12-11 현대자동차주식회사 정차 중 전방의 신호등 정보를 제공하는 시스템 및 방법
CN108985135A (zh) * 2017-06-02 2018-12-11 腾讯科技（深圳）有限公司 一种人脸检测器训练方法、装置及电子设备
CN109508580B (zh) * 2017-09-15 2022-02-25 阿波罗智能技术(北京)有限公司 交通信号灯识别方法和装置
WO2019083336A1 (ko) * 2017-10-27 2019-05-02 전북대학교산학협력단 신경회로망 학습에 의한 작물과 잡초 식별 방법 및 장치
EP3841516A1 (en) * 2018-08-22 2021-06-30 Starship Technologies OÜ Method and system for traffic light signal detection and usage
US10633003B1 (en) * 2018-12-05 2020-04-28 Here Global B.V. Method, apparatus, and computer readable medium for verifying a safe vehicle operation via a portable device
US20220063108A1 (en) * 2019-01-28 2022-03-03 Starship Technologies Oü Device, system and method for assisting mobile robot operations
CN111275011B (zh) * 2020-02-25 2023-12-19 阿波罗智能技术(北京)有限公司 移动红绿灯检测方法、装置、电子设备和存储介质
CN111368424B (zh) * 2020-03-03 2023-09-01 阿波罗智能技术(北京)有限公司 一种车辆仿真方法、装置、设备及介质

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008033851A (ja) * 2006-08-01 2008-02-14 Nec Corp 郵便自動区分機及び郵便自動区分方法
CN101216884A (zh) * 2007-12-29 2008-07-09 北京中星微电子有限公司 一种人脸认证的方法及系统
CN102176287A (zh) * 2011-02-28 2011-09-07 无锡中星微电子有限公司 一种交通信号灯识别系统和方法
CN108482378A (zh) * 2012-03-26 2018-09-04 伟摩有限责任公司 用于控制车辆的运动的方法和控制器
US20150154441A1 (en) * 2013-12-02 2015-06-04 Huawei Technologies Co., Ltd. Method and apparatus for generating strong classifier for face detection
US9779314B1 (en) * 2014-08-21 2017-10-03 Waymo Llc Vision-based detection and classification of traffic lights
CN104408424A (zh) * 2014-11-26 2015-03-11 浙江大学 一种基于图像处理的多信号灯识别方法
KR20160070379A (ko) * 2014-12-10 2016-06-20 삼성에스디에스 주식회사 객체 분류 방법 및 그 장치
KR20160108979A (ko) * 2015-03-09 2016-09-21 한화테크윈 주식회사 표적 추적 방법 및 장치
US20170124719A1 (en) * 2015-10-30 2017-05-04 Xiaomi Inc. Method, device and computer-readable medium for region recognition
CN106407901A (zh) * 2016-08-31 2017-02-15 重庆云库房物联科技有限公司 一种基于红外阵列的人流行为分析系统及人体识别方法
US20180114337A1 (en) * 2016-10-20 2018-04-26 Sun Yat-Sen University Method and system of detecting and recognizing a vehicle logo based on selective search
CN106934346A (zh) * 2017-01-24 2017-07-07 北京大学 一种目标检测性能优化的方法
CN108391446A (zh) * 2017-06-20 2018-08-10 埃森哲环球解决方案有限公司 基于机器学习算法对针对数据分类器的训练语料库的自动提取
WO2019041519A1 (zh) * 2017-08-29 2019-03-07 平安科技（深圳）有限公司 目标跟踪装置、方法及计算机可读存储介质
CN109823344A (zh) * 2017-11-22 2019-05-31 宏碁股份有限公司 驾驶提示方法与系统
CN108229307A (zh) * 2017-11-22 2018-06-29 北京市商汤科技开发有限公司 用于物体检测的方法、装置和设备
WO2019100946A1 (zh) * 2017-11-22 2019-05-31 北京市商汤科技开发有限公司 用于物体检测的方法、装置和设备
CN107968840A (zh) * 2017-12-15 2018-04-27 华北电力大学（保定） 一种大规模电力设备监测报警数据实时处理方法及系统
CN110659545A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 车辆识别模型的训练方法、车辆识别方法、装置和车辆
CN109800778A (zh) * 2018-12-03 2019-05-24 浙江工业大学 一种基于难分样本挖掘的Faster RCNN目标检测方法
CN110121088A (zh) * 2019-04-17 2019-08-13 北京奇艺世纪科技有限公司 一种用户属性信息确定方法、装置及电子设备
CN110569721A (zh) * 2019-08-01 2019-12-13 平安科技（深圳）有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN110689747A (zh) * 2019-10-12 2020-01-14 北京百度网讯科技有限公司 自动驾驶车辆的控制方法和装置、自动驾驶车辆

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DIIANA VITAS等: "Image Augmentation Techniques for Cascade Model Training", 《2018 ZOOMING INNOVATION IN CONSUMER TECHNOLOGIES CONFERENCE (ZINC)》 *
杨世强;弓逯琦;: "Log Gaussian Cox场手部指节的图像偏移特征学习与识别", 农业机械学报, no. 01 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882899A (zh) * 2020-07-24 2020-11-03 北京小马慧行科技有限公司 确定交通信号灯的位置的方法及装置、系统
CN111882899B (zh) * 2020-07-24 2021-10-22 北京小马慧行科技有限公司 确定交通信号灯的位置的方法及装置、系统
CN113657428A (zh) * 2021-06-30 2021-11-16 北京邮电大学 网络流量数据的抽取方法及装置

Also Published As

Publication number Publication date
EP3872696A1 (en) 2021-09-01
CN111275011B (zh) 2023-12-19
US20210264178A1 (en) 2021-08-26
KR102616470B1 (ko) 2023-12-21
KR20210108324A (ko) 2021-09-02
US11508162B2 (en) 2022-11-22
JP2021136032A (ja) 2021-09-13
JP7164644B2 (ja) 2022-11-01

Similar Documents

Publication Publication Date Title
CN111275011B (zh) 移动红绿灯检测方法、装置、电子设备和存储介质
EP3926526A2 (en) Optical character recognition method and apparatus, electronic device and storage medium
CN111292531B (zh) 交通信号灯的跟踪方法、装置、设备及存储介质
CN110968718B (zh) 目标检测模型负样本挖掘方法、装置及电子设备
CN110659600A (zh) 物体检测方法、装置及设备
CN112507949A (zh) 目标跟踪方法、装置、路侧设备以及云控平台
CN112270399A (zh) 基于深度学习的算子注册处理方法、装置及电子设备
US20220027575A1 (en) Method of predicting emotional style of dialogue, electronic device, and storage medium
CN111814633A (zh) 陈列场景检测方法、装置、设备以及存储介质
CN112561963A (zh) 目标跟踪的方法、装置、路侧设备以及存储介质
CN113673281A (zh) 限速信息确定方法、装置、设备以及存储介质
CN113963186A (zh) 目标检测模型的训练方法、目标检测方法及相关装置
CN110865421B (zh) 自动驾驶业务模型训练方法、检测方法、装置和电子设备
CN113011298A (zh) 截断物体样本生成、目标检测方法、路侧设备和云控平台
CN112784102A (zh) 视频检索方法、装置和电子设备
CN111967304A (zh) 基于边缘计算的获取物品信息方法、装置和结算台
EP3842753B1 (en) Method and apparatus for positioning a vehicle, vehicle, storage medium, and computer program product
CN110798681A (zh) 成像设备的监测方法、装置和计算机设备
CN113591580B (zh) 图像标注方法、装置、电子设备和存储介质
CN113361303B (zh) 临时交通标志牌识别方法、装置及设备
CN113936158A (zh) 一种标签匹配方法及装置
CN112182409A (zh) 数据处理方法、装置、设备及计算机存储介质
CN111336984A (zh) 障碍物测距方法、装置、设备和介质
CN111768007A (zh) 用于挖掘数据的方法和装置
CN112528864A (zh) 模型生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211014

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Applicant after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant