CN116923442B - 智能网联汽车的控制策略生成方法及系统 - Google Patents
智能网联汽车的控制策略生成方法及系统 Download PDFInfo
- Publication number
- CN116923442B CN116923442B CN202311176347.7A CN202311176347A CN116923442B CN 116923442 B CN116923442 B CN 116923442B CN 202311176347 A CN202311176347 A CN 202311176347A CN 116923442 B CN116923442 B CN 116923442B
- Authority
- CN
- China
- Prior art keywords
- signal lamp
- time sequence
- training
- vehicle
- lamp state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011217 control strategy Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000013598 vector Substances 0.000 claims abstract description 145
- 238000012544 monitoring process Methods 0.000 claims abstract description 109
- 230000003993 interaction Effects 0.000 claims abstract description 88
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims description 65
- 238000005070 sampling Methods 0.000 claims description 17
- 238000012300 Sequence Analysis Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18159—Traversing an intersection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/60—Traffic rules, e.g. speed limits or right of way
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Transportation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种智能网联汽车的控制策略生成方法及系统，其获取由部署于智能网联汽车的摄像头采集的前方交通信号灯的信号灯状态监控视频；对所述信号灯状态监控视频进行特征提取与特征交互以得到信号灯‑车辆时序交互特征向量；以及，基于所述信号灯‑车辆时序交互特征向量，确定是否产生降速通过提示信号。本申请通过结合信号灯的状态来智能地优化车辆的行驶状态，实现智能网联汽车的控制策略生成，提高车辆的行驶效率和安全性。
Description
技术领域
本申请涉及智能化控制技术领域，并且更具体地，涉及一种智能网联汽车的控制策略生成方法及系统。
背景技术
智能网联汽车是一种利用信息通信技术和车载传感器实现与道路、交通设施、其他车辆和行人的信息交互的汽车。随着智能网联汽车技术的发展，研究者们致力于提高汽车的自动化程度和安全性。其中，智能网联汽车的控制策略生成是关键的研究方向之一，也是影响智能网联汽车性能和用户体验的重要因素。
然而，目前的智能网联汽车控制策略生成方法主要依赖于传统的雷达或GPS等传感器来获取距离信息，这些方法会受到天气等因素的影响，难以保证信息的准确性。
因此，期待一种优化的智能网联汽车的控制策略生成方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种智能网联汽车的控制策略生成方法及系统，其获取由部署于智能网联汽车的摄像头采集的前方交通信号灯的信号灯状态监控视频；对所述信号灯状态监控视频进行特征提取与特征交互以得到信号灯-车辆时序交互特征向量；以及，基于所述信号灯-车辆时序交互特征向量，确定是否产生降速通过提示信号。这样，可以结合信号灯的状态来智能地优化车辆的行驶状态。
本申请第一方面提供了一种智能网联汽车的控制策略生成方法，其包括：
获取由部署于智能网联汽车的摄像头采集的前方交通信号灯的信号灯状态监控视频；
对所述信号灯状态监控视频进行特征提取与特征交互以得到信号灯-车辆时序交互特征向量；
以及，基于所述信号灯-车辆时序交互特征向量，确定是否产生降速通过提示信号；
对所述信号灯状态监控视频进行特征提取与特征交互以得到信号灯-车辆时序交互特征向量，包括：
对所述信号灯状态监控视频进行离散采样以得到多个信号灯状态监控关键帧；
从所述多个信号灯状态监控关键帧中提取车辆与信号灯的距离信息以得到距离时序特征向量；
对所述多个信号灯状态监控关键帧进行时序分析以得到信号灯状态时序特征向量；
以及，融合所述距离时序特征向量和所述信号灯状态时序特征向量以得到所述信号灯-车辆时序交互特征向量。
本申请第二方面提供了一种智能网联汽车的控制策略生成系统，其包括：
监控视频获取模块，用于获取由部署于智能网联汽车的摄像头采集的前方交通信号灯的信号灯状态监控视频；
特征提取与交互模块，用于对所述信号灯状态监控视频进行特征提取与特征交互以得到信号灯-车辆时序交互特征向量；
以及，提示信号生成模块，用于基于所述信号灯-车辆时序交互特征向量，确定是否产生降速通过提示信号；
所述特征提取与交互模块，包括：
离散采样单元，用于对所述信号灯状态监控视频进行离散采样以得到多个信号灯状态监控关键帧；
距离信息提取单元，用于从所述多个信号灯状态监控关键帧中提取车辆与信号灯的距离信息以得到距离时序特征向量；
时序分析单元，用于对所述多个信号灯状态监控关键帧进行时序分析以得到信号灯状态时序特征向量；
以及，融合单元，用于融合所述距离时序特征向量和所述信号灯状态时序特征向量以得到所述信号灯-车辆时序交互特征向量。
与现有技术相比，本申请的有益效果为：本申请通过结合信号灯的状态来智能地优化车辆的行驶状态，对信号灯状态监控视频进行离散采样、提取距离时序特征、进行时序分析，并融合距离时序特征和信号灯状态时序特征，得到信号灯-车辆时序交互特征向量，利于提取关键信息、理解信号灯与车辆的交互关系，为后续的控制策略生成提供准确和综合的特征表示，实现智能网联汽车的控制策略生成，提高车辆的行驶效率和安全性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本申请实施例的智能网联汽车的控制策略生成方法的流程图。
图2为根据本申请实施例的智能网联汽车的控制策略生成方法的架构示意图。
图3为根据本申请实施例的智能网联汽车的控制策略生成方法中步骤120的子步骤的流程图。
图4为根据本申请实施例的智能网联汽车的控制策略生成系统的框图。
图5为根据本申请实施例的智能网联汽车的控制策略生成方法的场景示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
在本申请中，提供一种优化的智能网联汽车的控制策略生成方案。
图1为根据本申请实施例的智能网联汽车的控制策略生成方法的流程图。图2为根据本申请实施例的智能网联汽车的控制策略生成方法的架构示意图。如图1和图2所示，所述智能网联汽车的控制策略生成方法，包括：步骤110，获取由部署于智能网联汽车的摄像头采集的前方交通信号灯的信号灯状态监控视频；步骤120，对所述信号灯状态监控视频进行特征提取与特征交互以得到信号灯-车辆时序交互特征向量；以及，步骤130，基于所述信号灯-车辆时序交互特征向量，确定是否产生降速通过提示信号。
在所述步骤110中，确保摄像头位置和角度能够准确捕捉到前方交通信号灯的图像，并保证图像质量和清晰度。同时，处理摄像头可能遇到的光线变化、天气条件和遮挡等问题，以获取可靠的信号灯状态监控视频。通过获取信号灯状态监控视频，智能网联汽车可以获得关于前方交通信号灯的实时信息，为后续的控制策略生成提供基础数据。
在所述步骤120中，在进行特征提取时，选择合适的特征表示方法，例如颜色特征、形状特征或纹理特征等，以捕捉信号灯状态的关键信息。同时，还考虑特征的稳定性和鲁棒性，以应对光照变化、噪声和其他干扰因素。在特征交互过程中，考虑信号灯与车辆之间的时序关系，以便更好地理解信号灯对车辆行为的影响。通过提取和交互信号灯-车辆时序交互特征，可以从视频数据中提取出与信号灯状态相关的关键信息，为后续的控制策略生成提供更准确和细致的输入。
在所述步骤130中，在确定是否产生降速通过提示信号时，基于信号灯-车辆时序交互特征向量设计合适的决策算法或模型。这可能涉及设置阈值、分类器或回归模型等方法。同时，还考虑交通规则、安全性和效率等因素，以确定何时产生降速通过提示信号。通过根据信号灯-车辆时序交互特征向量确定是否产生降速通过提示信号，智能网联汽车可以提前做出适当的决策和行动，以增加行驶安全性和减少交通事故的发生。
在上述步骤中，旨在通过摄像头获取信号灯状态监控视频，提取关键特征并进行交互，最终确定是否产生降速通过提示信号，以提高智能网联汽车的驾驶安全性和行驶效率。
具体地，在所述步骤110中，获取由部署于智能网联汽车的摄像头采集的前方交通信号灯的信号灯状态监控视频。针对上述技术问题，本申请的技术构思是利用摄像头采集的信号灯状态监控视频，并结合深度学习算法，以基于信号灯的尺寸和状态变换来判断车辆与信号灯之间的距离，同时结合信号灯的状态来智能地优化车辆的行驶状态。
基于此，在本申请的技术方案中，首先，获取由部署于智能网联汽车的摄像头采集的前方交通信号灯的信号灯状态监控视频，前方交通信号灯的信号灯状态监控视频对最后确定是否产生降速通过提示信号具有重要作用。
确保摄像头设置在适当的位置和角度，能够准确捕捉到前方交通信号灯的图像，考虑车辆的高度和摄像头的安装位置，以便获取到清晰的信号灯图像。确保信号灯状态监控视频的图像质量和清晰度，以便准确识别信号灯的状态，包括处理摄像头可能遇到的光线变化、天气条件和遮挡等问题，以获取可靠的信号灯状态监控视频。
通过获取信号灯状态监控视频，智能网联汽车可以获得前方交通信号灯的实时状态信息，这使得车辆能够及时感知信号灯的变化，从而做出相应的决策和行驶策略。基于信号灯状态监控视频提取的特征和时序交互特征，可以进行信号灯状态的分析和判断，通过分析信号灯的变化和与车辆的时序交互，可以确定是否需要产生降速通过提示信号。这有助于提醒驾驶员减速或停车，以确保安全通过交通信号灯。
获取由摄像头采集的信号灯状态监控视频对最后确定是否产生降速通过提示信号起到了关键作用，能够提供实时的信号灯状态信息，帮助车辆做出安全和合适的驾驶决策。
具体地，在所述步骤120中，对所述信号灯状态监控视频进行特征提取与特征交互以得到信号灯-车辆时序交互特征向量。图3为根据本申请实施例的智能网联汽车的控制策略生成方法中步骤120的子步骤的流程图。如图3所示，对所述信号灯状态监控视频进行特征提取与特征交互以得到信号灯-车辆时序交互特征向量，包括：步骤121，对所述信号灯状态监控视频进行离散采样以得到多个信号灯状态监控关键帧；步骤122，从所述多个信号灯状态监控关键帧中提取车辆与信号灯的距离信息以得到距离时序特征向量；步骤123，对所述多个信号灯状态监控关键帧进行时序分析以得到信号灯状态时序特征向量；以及，步骤124，融合所述距离时序特征向量和所述信号灯状态时序特征向量以得到所述信号灯-车辆时序交互特征向量。
首先，对所述信号灯状态监控视频进行离散采样以得到多个信号灯状态监控关键帧。离散采样可以将连续的信号灯状态监控视频分割成多个关键帧，每个关键帧代表一个特定时间点的信号灯状态，这样做可以减少数据量，并提供离散化的时间点，便于后续的特征提取和时序分析。
然后，从所述多个信号灯状态监控关键帧中提取车辆与信号灯的距离信息以得到距离时序特征向量。提取车辆与信号灯的距离信息可以帮助判断车辆与信号灯的相对位置和接近程度，这对于确定车辆行驶状态和与信号灯的交互关系非常重要。距离时序特征向量可以提供车辆与信号灯距离的时序变化情况，为后续的信号灯-车辆时序交互特征提供重要输入。
接着，对所述多个信号灯状态监控关键帧进行时序分析以得到信号灯状态时序特征向量。通过对多个信号灯状态监控关键帧进行时序分析，可以捕捉到信号灯状态的时序变化，这包括信号灯的颜色变化、亮灭状态等。信号灯状态时序特征向量提供了关于信号灯状态随时间变化的信息，有助于理解信号灯变化对车辆行为的影响。
最后，融合所述距离时序特征向量和所述信号灯状态时序特征向量以得到所述信号灯-车辆时序交互特征向量。将距离时序特征向量和信号灯状态时序特征向量进行融合，可以综合考虑车辆与信号灯的距离和信号灯状态的时序变化，有助于更准确地描述信号灯与车辆之间的交互关系，为后续的控制策略生成提供更全面和细致的特征表示。
对信号灯状态监控视频进行离散采样、提取距离时序特征、进行时序分析，并融合距离时序特征和信号灯状态时序特征，可以得到信号灯-车辆时序交互特征向量。这些步骤的执行有助于提取关键信息、理解信号灯与车辆的交互关系，并为后续的控制策略生成提供准确和综合的特征表示。
并对所述信号灯状态监控视频进行离散采样以得到多个信号灯状态监控关键帧。也就是，通过离散采样的方式，将视频数据中的大量冗余信息进行过滤，以减少重复帧、相似帧对后续模型带来的运算压力。
在本申请的一个实施例中，从所述多个信号灯状态监控关键帧中提取车辆与信号灯的距离信息以得到距离时序特征向量，包括：将所述多个信号灯状态监控关键帧分别通过信号灯目标检测网络以得到多个信号灯感兴趣区域；分别计算各个所述信号灯感兴趣区域在各个所述信号灯状态监控关键帧中的比例以得到由多个图像占比组成的距离时序输入向量；以及，将所述距离时序输入向量通过基于一维卷积层的时序特征提取器以得到所述距离时序特征向量。
接着，从所述多个信号灯状态监控关键帧中提取车辆与信号灯的距离信息以得到距离时序特征向量。应可以理解，当智能网联汽车行驶时，摄像头会连续采集交通信号灯的信号灯状态监控视频。由于信号灯通常位于路口或道路的一侧，因此在采集的视频中，信号灯会发生尺寸和位置的变化。这些变化可以用来推断车辆与信号灯之间的距离。具体来说，根据透视几何学原理，当物体离相机越远时，其在图像中的尺寸会变小。因此，在本申请的技术方案中，期待从所述多个信号灯状态监控关键帧中提取车辆与信号灯之间的距离。
在本申请的一个具体示例中，从所述多个信号灯状态监控关键帧中提取车辆与信号灯的距离信息以得到距离时序特征向量的编码过程，包括：先将所述多个信号灯状态监控关键帧分别通过信号灯目标检测网络以得到多个信号灯感兴趣区域；随后，分别计算各个所述信号灯感兴趣区域在各个所述信号灯状态监控关键帧中的比例以得到由多个图像占比组成的距离时序输入向量；再将所述距离时序输入向量通过基于一维卷积层的时序特征提取器以得到距离时序特征向量。也就是，通过计算信号灯感兴趣区域在各个关键帧中的比例来实现估计车辆与信号灯之间的距离的目的。
然后，对所述多个信号灯状态监控关键帧进行时序分析以得到信号灯状态时序特征向量。也就是，对所述多个信号灯状态监控关键帧进行时序分析以捕捉信号灯状态的动态变化信息，并预测信号灯接下来的变化趋势。
具体而言，通过时序分析可以捕获到关于信号灯的时序状态变化特征，其能够反映信号灯状态的演变过程。其中，时序状态变化特征包括信号灯颜色的变化、亮灯模式的切换等。这样，模型可以更好地理解信号灯状态的变化规律，进一步优化车辆的行驶策略。例如，当信号灯红灯进行闪烁时，模型可以预测绿灯即将亮起，并为后续对于智能网联汽车的控制提供重要支撑。
在本申请的一个具体示例中，对所述多个信号灯状态监控关键帧进行时序分析以得到信号灯状态时序特征向量的编码过程，包括：将所述多个信号灯状态监控关键帧通过基于三维卷积神经网络模型的信号灯状态时序特征提取器以得到信号灯状态时序特征向量。
进一步地，融合所述距离时序特征向量和所述信号灯状态时序特征向量以得到信号灯-车辆时序交互特征向量。
具体地，在所述步骤130中，基于所述信号灯-车辆时序交互特征向量，确定是否产生降速通过提示信号，包括：将所述信号灯-车辆时序交互特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生降速通过提示信号。
继而，将所述信号灯-车辆时序交互特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生降速通过提示信号。通过这样的方式来实现智能网联汽车的控制策略生成，提高车辆的行驶效率和安全性。
在本申请的一个实施例中，所述智能网联汽车的控制策略生成方法，还包括训练步骤：对所述信号灯目标检测网络、所述基于一维卷积层的时序特征提取器、所述基于三维卷积神经网络模型的信号灯状态时序特征提取器和所述分类器进行训练；其中，所述训练步骤，包括：获取训练数据，所述训练数据包括由部署于智能网联汽车的摄像头采集的前方交通信号灯的训练信号灯状态监控视频，以及，是否产生降速通过提示信号的真实值；对所述训练信号灯状态监控视频进行离散采样以得到多个训练信号灯状态监控关键帧；将所述多个训练信号灯状态监控关键帧分别通过所述信号灯目标检测网络以得到多个训练信号灯感兴趣区域；分别计算所述各个训练信号灯感兴趣区域在所述各个训练信号灯状态监控关键帧中的比例以得到由多个图像占比组成的训练距离时序输入向量；将所述训练距离时序输入向量通过所述基于一维卷积层的时序特征提取器以得到训练距离时序特征向量；将所述多个训练信号灯状态监控关键帧通过所述基于三维卷积神经网络模型的信号灯状态时序特征提取器以得到训练信号灯状态时序特征向量；融合所述训练距离时序特征向量和所述训练信号灯状态时序特征向量以得到训练信号灯-车辆时序交互特征向量；将所述训练信号灯-车辆时序交互特征向量通过分类器以得到分类损失函数值；以及，以所述分类损失函数值来对所述信号灯目标检测网络、所述基于一维卷积层的时序特征提取器、所述基于三维卷积神经网络模型的信号灯状态时序特征提取器和所述分类器进行训练，其中，在所述训练的每一轮迭代中，对所述训练信号灯-车辆时序交互特征向量进行细粒度密度预测搜索优化迭代。
在本申请的技术方案中，将所述距离时序输入向量通过基于一维卷积层的时序特征提取器时，所述时序特征提取器的一维卷积核会提取卷积核尺度下的局部时序关联特征，由此使得所述距离时序特征向量在其特征值粒度下具有遵循局部时序上下文关联特征分布的超分辨率表达特性。而将所述多个信号灯状态监控关键帧通过基于三维卷积神经网络模型的信号灯状态时序特征提取器时，所述信号灯状态时序特征提取器的三维卷积核也会提取卷积核尺度下的所述多个信号灯状态监控关键帧的局部时序关联的图像语义特征，由此所述信号灯状态时序特征向量也在其特征值粒度下具有遵循局部时序上下文关联特征分布的超分辨率表达特性。
这样，在进一步融合所述距离时序特征向量和所述信号灯状态时序特征向量得到所述信号灯-车辆时序交互特征向量时，所述信号灯-车辆时序交互特征向量除了所述距离时序特征向量和所述信号灯状态时序特征向量的特征值粒度的局部时序上下文关联特征表达维度之外，还具有所述距离时序特征向量和所述信号灯状态时序特征向量的向量间上下文融合语义表达维度，也就是，所述信号灯-车辆时序交互特征向量具有多维度上下文下的超分辨率表达特性，这会影响其通过分类器进行分类时的训练效率。
因此，在将所述训练信号灯-车辆时序交互特征向量通过分类器进行分类器的训练时，在每次迭代中，对所述训练信号灯-车辆时序交互特征向量，例如记为，进行权重空间的细粒度密度预测搜索优化，表示为：以如下优化公式对所述训练信号灯-车辆时序交互特征向量进行细粒度密度预测搜索优化迭代；其中，所述优化公式为：
，
，
，
其中，和/>分别是上次和本次迭代的权重矩阵，/>是所述训练信号灯-车辆时序交互特征向量，/>和/>分别表示特征向量/>和/>的全局均值，且/>是偏置向量，例如初始设置为单位向量，/>表示迭代后的所述训练信号灯-车辆时序交互特征向量，/>表示矩阵乘法，/>表示矩阵加法，/>表示按位置点乘。
这里，针对所述训练信号灯-车辆时序交互特征向量在多维度上下文下的超分辨率表达特性，所述权重空间的细粒度密度预测搜索优化可以通过所述训练信号灯-车辆时序交互特征向量的投影的向量空间的前馈序列化映射，在对于权重搜索空间内的密集预测任务提供相应的细粒度权重搜索策略的同时，降低权重搜索空间内的所述训练信号灯-车辆时序交互特征向量的表示的总序列复杂性（overall sequential complexity），从而提升分类器的训练效率。
综上，基于本申请实施例的智能网联汽车的控制策略生成方法100被阐明，利用摄像头采集的信号灯状态监控视频，并结合深度学习算法，以基于信号灯的尺寸和状态变换来判断车辆与信号灯之间的距离，同时结合信号灯的状态来智能地优化车辆的行驶状态。
在本申请的一个实施例中，图4为根据本申请实施例的智能网联汽车的控制策略生成系统的框图。如图4所示，根据本申请实施例的智能网联汽车的控制策略生成系统200，包括：监控视频获取模块210，用于获取由部署于智能网联汽车的摄像头采集的前方交通信号灯的信号灯状态监控视频；特征提取与交互模块220，用于对所述信号灯状态监控视频进行特征提取与特征交互以得到信号灯-车辆时序交互特征向量；以及，提示信号生成模块230，用于基于所述信号灯-车辆时序交互特征向量，确定是否产生降速通过提示信号。
在所述智能网联汽车的控制策略生成系统中，所述特征提取与交互模块，包括：离散采样单元，用于对所述信号灯状态监控视频进行离散采样以得到多个信号灯状态监控关键帧；距离信息提取单元，用于从所述多个信号灯状态监控关键帧中提取车辆与信号灯的距离信息以得到距离时序特征向量；时序分析单元，用于对所述多个信号灯状态监控关键帧进行时序分析以得到信号灯状态时序特征向量；以及，融合单元，用于融合所述距离时序特征向量和所述信号灯状态时序特征向量以得到所述信号灯-车辆时序交互特征向量。
在所述智能网联汽车的控制策略生成系统中，所述距离信息提取单元，用于：将所述多个信号灯状态监控关键帧分别通过信号灯目标检测网络以得到多个信号灯感兴趣区域；分别计算各个所述信号灯感兴趣区域在各个所述信号灯状态监控关键帧中的比例以得到由多个图像占比组成的距离时序输入向量；以及，将所述距离时序输入向量通过基于一维卷积层的时序特征提取器以得到所述距离时序特征向量。
这里，本领域技术人员可以理解，上述智能网联汽车的控制策略生成系统中的各个单元和模块的具体功能和操作已经在上面参考图1到图3的智能网联汽车的控制策略生成方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的智能网联汽车的控制策略生成系统200可以实现在各种终端设备中，例如用于智能网联汽车的控制策略生成的服务器等。在一个示例中，根据本申请实施例的智能网联汽车的控制策略生成系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该智能网联汽车的控制策略生成系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该智能网联汽车的控制策略生成系统200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该智能网联汽车的控制策略生成系统200与该终端设备也可以是分立的设备，并且智能网联汽车的控制策略生成系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图5为根据本申请实施例的智能网联汽车的控制策略生成方法的场景示意图。如图5所示，在该应用场景中，首先，获取由部署于智能网联汽车的摄像头采集的前方交通信号灯（例如，如图5中所示意的M）的信号灯状态监控视频（例如，如图5中所示意的C）；然后，将获取的信号灯状态监控视频输入至部署有智能网联汽车的控制策略生成算法的服务器（例如，如图5中所示意的S）中，其中所述服务器能够基于智能网联汽车的控制策略生成算法对所述信号灯状态监控视频进行处理，以确定是否产生降速通过提示信号。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (6)
1.一种智能网联汽车的控制策略生成方法，其特征在于，包括：
获取由部署于智能网联汽车的摄像头采集的前方交通信号灯的信号灯状态监控视频；
对所述信号灯状态监控视频进行特征提取与特征交互以得到信号灯-车辆时序交互特征向量；以及
基于所述信号灯-车辆时序交互特征向量，确定是否产生降速通过提示信号；
对所述信号灯状态监控视频进行特征提取与特征交互以得到信号灯-车辆时序交互特征向量，包括：
对所述信号灯状态监控视频进行离散采样以得到多个信号灯状态监控关键帧；
从所述多个信号灯状态监控关键帧中提取车辆与信号灯的距离信息以得到距离时序特征向量；
对所述多个信号灯状态监控关键帧进行时序分析以得到信号灯状态时序特征向量；以及
融合所述距离时序特征向量和所述信号灯状态时序特征向量以得到所述信号灯-车辆时序交互特征向量；
所述方法还包括训练步骤：对信号灯目标检测网络、基于一维卷积层的时序特征提取器、基于三维卷积神经网络模型的信号灯状态时序特征提取器和分类器进行训练；
其中，所述训练步骤，包括：
获取训练数据，所述训练数据包括由部署于智能网联汽车的摄像头采集的前方交通信号灯的训练信号灯状态监控视频，以及，是否产生降速通过提示信号的真实值；
对所述训练信号灯状态监控视频进行离散采样以得到多个训练信号灯状态监控关键帧；
将所述多个训练信号灯状态监控关键帧分别通过所述信号灯目标检测网络以得到多个训练信号灯感兴趣区域；
分别计算各个所述训练信号灯感兴趣区域在各个所述训练信号灯状态监控关键帧中的比例以得到由多个图像占比组成的训练距离时序输入向量；
将所述训练距离时序输入向量通过所述基于一维卷积层的时序特征提取器以得到训练距离时序特征向量；
将所述多个训练信号灯状态监控关键帧通过所述基于三维卷积神经网络模型的信号灯状态时序特征提取器以得到训练信号灯状态时序特征向量；
融合所述训练距离时序特征向量和所述训练信号灯状态时序特征向量以得到训练信号灯-车辆时序交互特征向量；
将所述训练信号灯-车辆时序交互特征向量通过分类器以得到分类损失函数值；以及
以所述分类损失函数值来对所述信号灯目标检测网络、所述基于一维卷积层的时序特征提取器、所述基于三维卷积神经网络模型的信号灯状态时序特征提取器和所述分类器进行训练，其中，在训练的每一轮迭代中，对所述训练信号灯-车辆时序交互特征向量进行细粒度密度预测搜索优化迭代；
在训练的每一轮迭代中，对所述训练信号灯-车辆时序交互特征向量进行细粒度密度预测搜索优化迭代，包括：以优化公式对所述训练信号灯-车辆时序交互特征向量进行细粒度密度预测搜索优化迭代；
其中，所述优化公式为：
，
，
，
其中，和/>分别是上次和本次迭代的权重矩阵，/>是所述训练信号灯-车辆时序交互特征向量，/>和/>分别表示特征向量/>和/>的全局均值，且/>是偏置向量，/>表示迭代后的所述训练信号灯-车辆时序交互特征向量，/>表示矩阵乘法，/>表示矩阵加法，/>表示按位置点乘。
2.根据权利要求1所述的智能网联汽车的控制策略生成方法，其特征在于，从所述多个信号灯状态监控关键帧中提取车辆与信号灯的距离信息以得到距离时序特征向量，包括：
将所述多个信号灯状态监控关键帧分别通过信号灯目标检测网络以得到多个信号灯感兴趣区域；
分别计算各个所述信号灯感兴趣区域在各个所述信号灯状态监控关键帧中的比例以得到由多个图像占比组成的距离时序输入向量；以及
将所述距离时序输入向量通过基于一维卷积层的时序特征提取器以得到所述距离时序特征向量。
3.根据权利要求1所述的智能网联汽车的控制策略生成方法，其特征在于，对所述多个信号灯状态监控关键帧进行时序分析以得到信号灯状态时序特征向量，包括：
将所述多个信号灯状态监控关键帧通过基于三维卷积神经网络模型的信号灯状态时序特征提取器以得到所述信号灯状态时序特征向量。
4.根据权利要求3所述的智能网联汽车的控制策略生成方法，其特征在于，基于所述信号灯-车辆时序交互特征向量，确定是否产生降速通过提示信号，包括：
将所述信号灯-车辆时序交互特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生降速通过提示信号。
5.一种智能网联汽车的控制策略生成系统，其特征在于，应用权利要求1至4任一项所述的智能网联汽车的控制策略生成方法，所述控制策略生成系统包括：
监控视频获取模块，用于获取由部署于智能网联汽车的摄像头采集的前方交通信号灯的信号灯状态监控视频；
特征提取与交互模块，用于对所述信号灯状态监控视频进行特征提取与特征交互以得到信号灯-车辆时序交互特征向量；以及
提示信号生成模块，用于基于所述信号灯-车辆时序交互特征向量，确定是否产生降速通过提示信号；
所述特征提取与交互模块，包括：
离散采样单元，用于对所述信号灯状态监控视频进行离散采样以得到多个信号灯状态监控关键帧；
距离信息提取单元，用于从所述多个信号灯状态监控关键帧中提取车辆与信号灯的距离信息以得到距离时序特征向量；
时序分析单元，用于对所述多个信号灯状态监控关键帧进行时序分析以得到信号灯状态时序特征向量；以及
融合单元，用于融合所述距离时序特征向量和所述信号灯状态时序特征向量以得到所述信号灯-车辆时序交互特征向量；
所述控制策略生成系统还用于：对信号灯目标检测网络、基于一维卷积层的时序特征提取器、基于三维卷积神经网络模型的信号灯状态时序特征提取器和分类器进行训练。
6.根据权利要求5所述的智能网联汽车的控制策略生成系统，其特征在于，所述距离信息提取单元，用于：
将所述多个信号灯状态监控关键帧分别通过信号灯目标检测网络以得到多个信号灯感兴趣区域；
分别计算各个所述信号灯感兴趣区域在各个所述信号灯状态监控关键帧中的比例以得到由多个图像占比组成的距离时序输入向量；以及
将所述距离时序输入向量通过基于一维卷积层的时序特征提取器以得到所述距离时序特征向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311176347.7A CN116923442B (zh) | 2023-09-13 | 2023-09-13 | 智能网联汽车的控制策略生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311176347.7A CN116923442B (zh) | 2023-09-13 | 2023-09-13 | 智能网联汽车的控制策略生成方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116923442A CN116923442A (zh) | 2023-10-24 |
| CN116923442B true CN116923442B (zh) | 2023-11-28 |
Family
ID=88394399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311176347.7A Active CN116923442B (zh) | 2023-09-13 | 2023-09-13 | 智能网联汽车的控制策略生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116923442B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218858A (zh) * | 2023-10-25 | 2023-12-12 | 河北高速公路集团有限公司承德分公司 | 用于高速公路的交通安全预警系统及方法 |
| CN117523869B (zh) * | 2023-12-22 | 2024-08-23 | 北京航天华腾科技有限公司 | 基于车流量的交通信号灯智能控制系统及方法 |
| CN118135508B (zh) * | 2024-05-08 | 2024-08-06 | 东揽(南京)智能科技有限公司 | 基于机器视觉的全息交通路口感知系统及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011091772A1 (zh) * | 2010-02-01 | 2011-08-04 | 北京汇海博科技发展有限公司 | 一种交通信号控制系统和设计方法及专用设备 |
| CN103186634A (zh) * | 2011-12-31 | 2013-07-03 | 无锡物联网产业研究院 | 一种智能交通监控视频的检索方法及装置 |
| CN109405824A (zh) * | 2018-09-05 | 2019-03-01 | 武汉契友科技股份有限公司 | 一种适用于智能网联汽车的多源感知定位系统 |
| CN111951575A (zh) * | 2020-08-13 | 2020-11-17 | 北京交通大学 | 基于提前强化学习的交通信号灯自适应控制方法 |
| CN112925309A (zh) * | 2021-01-22 | 2021-06-08 | 中国汽车技术研究中心有限公司 | 智能网联汽车数据交互方法及交互系统 |
| CN113112829A (zh) * | 2021-04-19 | 2021-07-13 | 重庆交通职业学院 | 一种自适应交通信号灯提高道路安全的方法和装置 |
| CN113327421A (zh) * | 2021-06-04 | 2021-08-31 | 河北省交通规划设计院 | 一种基于v2x路网控制方法及系统 |
| WO2022033179A1 (zh) * | 2020-08-12 | 2022-02-17 | 广州小鹏自动驾驶科技有限公司 | 一种交通灯识别的方法和装置 |
-
2023
- 2023-09-13 CN CN202311176347.7A patent/CN116923442B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011091772A1 (zh) * | 2010-02-01 | 2011-08-04 | 北京汇海博科技发展有限公司 | 一种交通信号控制系统和设计方法及专用设备 |
| CN103186634A (zh) * | 2011-12-31 | 2013-07-03 | 无锡物联网产业研究院 | 一种智能交通监控视频的检索方法及装置 |
| CN109405824A (zh) * | 2018-09-05 | 2019-03-01 | 武汉契友科技股份有限公司 | 一种适用于智能网联汽车的多源感知定位系统 |
| WO2022033179A1 (zh) * | 2020-08-12 | 2022-02-17 | 广州小鹏自动驾驶科技有限公司 | 一种交通灯识别的方法和装置 |
| CN111951575A (zh) * | 2020-08-13 | 2020-11-17 | 北京交通大学 | 基于提前强化学习的交通信号灯自适应控制方法 |
| CN112925309A (zh) * | 2021-01-22 | 2021-06-08 | 中国汽车技术研究中心有限公司 | 智能网联汽车数据交互方法及交互系统 |
| CN113112829A (zh) * | 2021-04-19 | 2021-07-13 | 重庆交通职业学院 | 一种自适应交通信号灯提高道路安全的方法和装置 |
| CN113327421A (zh) * | 2021-06-04 | 2021-08-31 | 河北省交通规划设计院 | 一种基于v2x路网控制方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 新一代智能交通全出行链集成系统设计;李洁;陈志华;邓芹;;上海公路(第03期);361-369 * |
| 考虑信号灯状态的经济车速规划;雷朝阳;高建平;屈俊凯;郗建国;;科学技术与工程(第18期);14-18+103 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116923442A (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116923442B (zh) | 智能网联汽车的控制策略生成方法及系统 | |
| CN111368687B (zh) | 一种基于目标检测和语义分割的人行道车辆违停检测方法 | |
| CN109816024B (zh) | 一种基于多尺度特征融合与dcnn的实时车标检测方法 | |
| CN103093249B (zh) | 一种基于高清视频的出租车识别方法及系统 | |
| CN110069986B (zh) | 一种基于混合模型的交通信号灯识别方法及系统 | |
| Li et al. | Traffic light recognition for complex scene with fusion detections | |
| CN111695448B (zh) | 一种基于视觉传感器的路侧车辆识别方法 | |
| CN109409242B (zh) | 一种基于循环卷积神经网络的黑烟车检测方法 | |
| CN116909317B (zh) | 基于终端车联网的无人机控制系统及方法 | |
| CN111915583A (zh) | 复杂场景中基于车载红外热像仪的车辆和行人检测方法 | |
| Appiah et al. | Object detection in adverse weather condition for autonomous vehicles | |
| CN116612427A (zh) | 一种基于改进的轻量型YOLOv7的密集行人检测系统 | |
| CN114898243A (zh) | 基于视频流的交通场景解析方法以及装置 | |
| CN115424217A (zh) | 基于ai视觉的车辆智能识别方法、装置和电子设备 | |
| Gautam et al. | Image-based automatic traffic lights detection system for autonomous cars: a review | |
| Li et al. | A low-cost and fast vehicle detection algorithm with a monocular camera for adaptive driving beam systems | |
| CN118015490A (zh) | 一种无人机航拍图像小目标检测方法、系统及电子设备 | |
| Matsuda et al. | A system for real-time on-street parking detection and visualization on an edge device | |
| Ali et al. | IRUVD: a new still-image based dataset for automatic vehicle detection | |
| CN110909656A (zh) | 一种雷达与摄像机融合的行人检测方法和系统 | |
| CN117274926A (zh) | 交通信号设备的控制方法及系统 | |
| Varma et al. | Vision Based Advanced Driver Assistance System Using Deep Learning | |
| Masalov et al. | Cydet: Improving camera-based cyclist recognition accuracy with known cycling jersey patterns | |
| Iftikhar et al. | Traffic Light Detection: A cost effective approach | |
| CN113065478A (zh) | 一种复杂天气道路车辆目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20231024 Assignee: Jiangxi Tongliao Technology Co.,Ltd. Assignor: East China Jiaotong University Contract record no.: X2024980001091 Denomination of invention: Method and System for Generating Control Strategies of Intelligent Connected Vehicles Granted publication date: 20231128 License type: Common License Record date: 20240118 |
|
| EE01 | Entry into force of recordation of patent licensing contract |