CN116630765B - 一种基于多元信息的单车融合感知系统 - Google Patents
一种基于多元信息的单车融合感知系统 Download PDFInfo
- Publication number
- CN116630765B CN116630765B CN202310904323.2A CN202310904323A CN116630765B CN 116630765 B CN116630765 B CN 116630765B CN 202310904323 A CN202310904323 A CN 202310904323A CN 116630765 B CN116630765 B CN 116630765B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- target
- sequence
- driving
- target vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 36
- 230000033001 locomotion Effects 0.000 claims abstract description 74
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000008447 perception Effects 0.000 claims abstract description 18
- 230000003287 optical effect Effects 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims description 49
- 238000012937 correction Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及行车环境感知技术领域，尤其是涉及一种基于多元信息的单车融合感知系统，所述系统包括：传感器模块，该模块用于采集行车过程中的行车环境信息，行车环境信息包括原始光学数据和原始雷达数据；目标信息融合识别模块，该模块利用行车环境信息识别目标车辆及其车辆特征；轨迹跟踪与预测模块，该模块利用车辆特征对目标车辆的运动轨迹进行跟踪和预测，进而生成局部交通态势图；风险测算与路径优化模块，该模块利用车辆特征和局部交通态势图计算行车风险并优化本车的行车路径。本发明能够利用不同类型的数据对行车环境进行准确的融合识别，并实时计算行车风险和优化行车路径，切实保证智能汽车在行驶过程中的稳定性和安全性。
Description
技术领域
本发明涉及行车环境感知技术领域，尤其是一种基于多元信息的单车融合感知系统。
背景技术
近几年，随着交通拥堵、道路安全、环境问题的日益严峻以及新一轮科技革命推动的产业变革的不断深化，智能汽车技术研究在世界范围内已得到广泛重视。从计算机技术层面，智能汽车应用的技术主要分为3类，分别为感知技术、决策技术和控制技术。其中，感知技术是实现智能汽车环境感知的关键，主要包括内部环境感知和外部环境感知，外部环境感知对象有车道线、行人以及目标车辆等，车内环境感知对象包括车辆所在位置、车辆当前状态以及驾驶人的状态等。车辆感知技术对智能车辆而言，起到基础性的作用。在确定感知范围和精度后，智能汽车环境感知在人工智能技术的支持下水平显著提升，也由原来的单车单一传感器感知附近车辆的位置、速度等，实现了向单车多传感器融合感知的转型。
现有的单车多传感融合感知技术，尽管关于智能汽车环境感知技术的研究与应用已经获得了一些显著成果，如机器视觉和毫米波雷达等技术得到工程化应用，但是在复杂行车环境下，感知范围和精度等仍有待提高，对行车中的风险感知和预测也急需弥补和提升。
发明内容
针对现有技术中的缺陷，本发明提供一种基于多元信息的单车融合感知系统。
为了实现上述目的，本发明提供的一种基于多元信息的单车融合感知系统，所述系统包括：传感器模块，所述传感器模块用于采集行车过程中的行车环境信息，所述行车环境信息包括原始光学数据和原始雷达数据；目标信息融合识别模块，所述目标信息融合识别模块利用所述行车环境信息识别目标车辆和所述目标车辆的车辆特征；轨迹跟踪与预测模块，所述轨迹跟踪与预测模块利用所述车辆特征对所述目标车辆的运动轨迹进行跟踪和预测，进而生成局部交通态势图；风险测算与路径优化模块，所述风险测算与路径优化模块利用所述局部交通态势图计算行车风险并优化本车的行车路径。本发明能够利用不同类型的数据对行车环境进行准确的融合识别，并实时计算行车风险和优化行车路径，切实保证智能汽车在行驶过程中的稳定性和安全性。
可选的，所述传感器模块包括：
高清摄像头，所述高清摄像头用于获取行车过程中的所述原始光学数据；
毫米波雷达，所述毫米波雷达用于获取行车过程中的所述原始雷达数据。
进一步的，高清摄像头和毫米波雷达在数据获取上可以优缺互补，为准确感知行车环境提供可靠的数据基础，进而准确的对行车环境进行融合感知。
可选的，所述目标信息融合识别模块包括：
目标序列生成子模块，所述目标序列生成子模块利用所述行车环境信息生成第一目标检测序列和第二目标检测序列；
目标识别子模块，所述目标识别子模块利用所述第一目标检测序列和所述第二目标检测序列识别出所述目标车辆以及所述目标车辆的车辆特征，所述车辆特征包括目标车辆速度、目标车辆位置、目标车辆大小以及目标车辆质量。
进一步的，目标车辆为行车环境中除本车之外的其他车辆。
可选的，所述轨迹跟踪与预测模块包括：
轨迹跟踪子模块，所述轨迹跟踪子模块用于根据所述车辆特征绘制所述目标车辆的运动轨迹；
轨迹预测子模块，所述轨迹预测子模块根据所述车辆特征、所述运动轨迹和高精度地图预测所述目标车辆接下来一段时间的预测运动轨迹，并根据所述预测运动轨迹生成所述局部交通态势图。
可选的，所述目标序列生成子模块执行如下步骤：
对所述原始光学数据进行视觉识别和分类得到所述第一目标检测序列，所述第一目标检测序列为包括第一车辆序列和所述第一车辆序列的第一特征序列；
对所述原始雷达数据进行预处理得到所述第二目标检测序列，所述第二目标检测序列包括第二车辆序列和所述第二车辆序列的第二特征序列。
进一步的，对原始雷达数据进行预处理的过程包括去除空信号、去除虚假目标、去除静止目标和去除无关目标，以筛选出目标车辆真实的回波信号。
可选的，所述第一特征序列包括车辆速度、车辆位置、车辆大小和车辆质量四类数据的序列，所述第二特征序列包括车辆速度、车辆位置以及车辆大小三类数据的序列；
所述目标识别子模块执行如下步骤：
利用所述第一特征序列和所述第二特征序列对所述第一车辆序列和所述第二车辆序列中的车辆进行特征匹配，进而得到所述目标车辆；
将所述目标车辆在所述第一特征序列和所述第二特征序列中对应的同类数据进行数据融合，得到所述车辆特征。
可选的，所述利用所述第一特征序列和所述第二特征序列对所述第一车辆序列和所述第二车辆序列中的车辆进行特征匹配，进而得到所述目标车辆包括如下步骤：
建立相似度匹配模型，所述相似度匹配模型满足如下关系：
其中，m为匹配值，为一个检测周期内所述第一特征序列中第i个车辆的车辆速度序列，/>为一个检测周期内所述第二特征序列中第j个车辆的车辆速度序列，T表示进行转置操作，/>为一个检测周期内所述第一特征序列中第i个车辆的车辆速度序列与所述第二特征序列中第j个车辆的车辆速度序列之间的协方差矩阵逆矩阵；
使用所述相似度匹配模型计算所述第一特征序列与所述第二特征序列之间同类数据之间的匹配值，并根据匹配值的大小确定所述高清摄像头和所述毫米波雷达识别的同一目标，即所述目标车辆。
进一步的，利用相似度匹配模型将高清摄像头和毫米波雷达识别到的车辆关联起来，以确定同一目标在不同传感器上得到的数据，进而利用不同传感器上得到的数据准确的对目标进行融合识别，得到目标车辆的车辆特征。
可选的，所述轨迹跟踪子模块执行如下步骤：
以本车为坐标原点建立直角坐标系，进而在一个检测周期内持续记录所述目标车辆速度和所述目标车辆位置，同时在每个所述目标车辆位置处标注相应的所述目标车辆速度；
根据所述目标车辆速度和所述目标车辆位置绘制所述目标车辆的运动轨迹。
可选的，所述轨迹预测子模块执行如下步骤：
在所述直角坐标系对所述运动轨迹进行拟合以获取所述运动轨迹的函数表达式；
利用所述函数表达式计算所述目标车辆的轨迹偏转率，所述轨迹偏转率满足如下关系：
其中，为所述轨迹偏转率，/>为所述函数表达式/>的二阶导数，/>为所述函数表达式的一阶导数，/>为自变量；
根据所述轨迹偏转率、所述目标车辆速度和高精度地图在所述直角坐标系上预测所述目标车辆在接下来一段时间的预测运动轨迹；
绘制所有所述目标车辆的预测运动轨迹进而生成所述局部交通态势图。
进一步的，局部交通态势图能够直观的反映所有目标车辆在接下来一段时间内的运动轨迹，能够实现对行车环境的整体感知，为行车风险的计算提供数据基础，并为优化行车路径进而规避行车风险提供参考，进而保证智能汽车在行驶过程中的稳定性和安全性。
可选的，所述风险测算与路径优化模块执行如下步骤：
确定本车的当前行车速度，并根据所述当前行车速度确定本车在接下来一段时间里在所述局部交通态势图中的行车路径；
计算所述行车路径与所述预测运动轨迹之间的最短距离；
利用所述目标车辆速度、所述目标车辆质量和所述最短距离计算所述行车风险，所述行车风险满足如下关系：
其中，h为所述行车风险，N为所述目标车辆的数量，为动量风险权重，/>为距离风险权重，/>为第i个所述目标车辆的预测运动轨迹与所述行车路径之间的最短距离，/>为i个所述目标车辆的目标车辆质量，/>为i个所述目标车辆的目标车辆速度，/>为所述目标车辆的最大动量，/>为本车的质量，/>为所述当前行车速度，c为修正项；
设定行车风险阈值，当所述行车风险超过所述行车风险阈值时，根据所述预测运动轨迹划分行车安全区，通过将所述行车路径完全设置在所述行车安全区中来实现对所述行车路径的优化。
进一步的，行车风险是对行车过程中遇到危险的量化评估，根据行车风险的大小及时对行车路径做出优化能够大大降低出现行车事故的概率，切实保证智能汽车在行驶过程中的稳定性和安全性。
综上所述，本发明提供的系统利用多种传感器获取行车时的行车环境信息，进而获取附近车辆的速度、位置、大小等多元信息来实现对附近车辆的融合感知，并在获取的数据的基础上对附近车辆在接下来一段时间的运动轨迹进行预测，进而得到局部交通态势图，实现对行车环境的整体感知。此外，本发明还进一步计算了接下来一段时间里的行车风险，并根据行车风险的大小及时对行车路径进行优化，进而大大降低了出现行车事故的概率，切实保证了智能汽车在行驶过程中的稳定性和安全性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1为本发明实施例的一种基于多元信息的单车融合感知系统的框架图；
图2为本发明实施例的风险测算与路径优化模块的运行流程图。
具体实施方式
下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。
需要提前说明的是，在一个可选地实施例当中，除了做出独立的说明之外，其它的在所有公式中出现的相同的符号或字母带表的含义和数值相同。
在一个可选地实施例当中，请参见图1，本发明提供了一种基于多元信息的单车融合感知系统，所述系统包括传感器模块A1、目标信息融合识别模块A2、轨迹跟踪与预测模块A3和风险测算与路径优化模块A4。
所述传感器模块A1用于采集行车过程中的行车环境信息，所述行车环境信息包括原始光学数据和原始雷达数据。
具体的，在本实施例中，传感器模块A1包括高清摄像头和毫米波雷达。在行车过程中，高清摄像头可以连续对周围环境进行拍摄得到原始光学数据，并在横向位置、横向探测范围以及目标分类识别能力方面具有良好的性能，但是在其他方面的效果较差；毫米波雷达可以连续对周围环境进行扫描得到原始雷达数据，并在纵向位置、纵向速度、纵向探测范围、雨雪天气、强光直射以及夜间性能等感知方面性能较好，但是在其他方面的效果较差。
进一步的，高清摄像头和毫米波雷达在数据获取上具有各自的优点和缺点，其中一个的优点可以弥补另一个的缺点，因此将二者获得的数据可以相互弥补，有利于提高感知范围和感知精度，同时实现对行车环境的融合感知。
更进一步的，使用GP-KD6Q01FC型单目摄像头获取原始光学数据，使用Delphi ESR毫米波雷达获取原始雷达数据，在其他可选的实施例中，还可以选择其他类型的高清摄像头和毫米波雷达。
所述目标信息融合识别模块A2利用所述行车环境信息识别目标车辆和所述目标车辆的车辆特征。
具体的，在本实施例中，目标信息融合识别模块A2与传感器模块A1相连接，目标信息融合识别模块A2包括目标序列生成子模块和目标识别子模块。
目标序列生成子模块利用所述行车环境信息生成第一目标检测序列和第二目标检测序列。目标序列生成子模块具体执行如下步骤：
H1、对所述原始光学数据进行视觉识别和分类得到所述第一目标检测序列，所述第一目标检测序列为包括第一车辆序列和所述第一车辆序列的第一特征序列。
具体的，在本实施例中，第一车辆序列中包括原始光学数据中所有被识别到的附近车辆，第一特征序列包括车辆速度、车辆位置、车辆大小和车辆质量四类数据的序列，第一车辆序列中附近车辆与第一特征序列中的数据是一一对应的关系，即第一车辆序列中每一个附近车辆都分别对应第一特征序列中的一组数据，包括车辆速度、车辆位置、车辆大小和车辆质量。
进一步的，在对高清摄像头进行标定之后，即可采用视觉感知算法对高清摄像头获取到的原始光学数据进行行人识别、车辆识别、交通标志和车道识别，主要是进行车辆识别并输出第一目标检测序列。在识别到附近车辆之后，还要对附近车辆进行分类以得到附近车辆的车辆质量，为接下来对行车风险的预测提供数据基础。本实施例利用大量不同类型车辆的图片及其一般质量训练卷积神经网络，再利用卷积神经网络对第一车辆序列中每一个附近车辆进行识别来获取车辆质量，此为现有技术，在此就不做详细说明。在其他可选的实施例中，还可以通过其他方法来获取附近车辆的车辆质量。
更进一步的，车辆位置具体通过目标相对于本车的纵向位置和横向位置来体现，纵向位置和横向位置即纵向距离和横向距离，车辆大小即附近车辆的尺寸。
H2、对所述原始雷达数据进行预处理得到所述第二目标检测序列，所述第二目标检测序列包括第二车辆序列和所述第二车辆序列的第二特征序列。
具体的，在本实施例中，第二车辆序列中包括原始雷达数据中所有被识别到的附近车辆，第二特征序列包括车辆速度、车辆位置以及车辆大小三类数据的序列。
进一步的，Delphi ESR毫米波雷达采用CAN总线进行数据传输，可在一个检测周期内同时最多检测64个目标并直接输出64个目标的目标检测序列，即检原始雷达数据，检测范围大，检测目标多，这有利于提高感知范围和感知精度。但是原始雷达数据中存在空信号、虚假目标、静止物体以及与行驶无关的目标，这导致原始雷达数据不能直接用于环境感知和数据融合。因此，需要对原始雷达数据进行预处理来去除目标检测序列中的空信号、虚假目标、静止目标、无关目标以及相关的特征数据，以筛选出附近车辆真实的回波信号，进而得到准确可靠的第二目标检测序列，有利于提高对行车环境融合感知的准确性。对原始雷达数据的预处理为现有技术，在此就不做详细说明。
目标识别子模块利用所述第一目标检测序列和所述第二目标检测序列识别出所述目标车辆以及所述目标车辆的车辆特征，所述车辆特征包括目标车辆速度、目标车辆位置、目标车辆大小以及目标车辆质量。目标识别子模块具体执行如下步骤：
K1、利用所述第一特征序列和所述第二特征序列对所述第一车辆序列和所述第二车辆序列中的车辆进行特征匹配，进而得到所述目标车辆。
其中，K1又包括如下步骤：
K11、建立相似度匹配模型，所述相似度匹配模型满足如下关系：
其中，m为匹配值，为一个检测周期内第一特征序列中第i个车辆的车辆速度序列，/>为一个检测周期内第二特征序列中第j个车辆的车辆速度序列，T表示进行转置操作，/>为一个检测周期内第一特征序列中第i个车辆的车辆速度序列与第二特征序列中第j个车辆的车辆速度序列之间的协方差矩阵逆矩阵。
具体的，在本实施例中，为了判断第一车辆序列和第二车辆序列中哪些车辆是同一个车辆，需要使用第一特征序列和第二特征序列中的数据来将第一车辆序列和第二车辆序列中的车辆关联起来，进而识别出目标车辆。
进一步的，采用第一特征序列和第二特征序列中的车辆速度序列来建立相似度匹配模型，进而利用车辆速度将第一车辆序列和第二车辆序列中的车辆关联起来。
更进一步的，还可以使用车辆位置序列代替车辆速度序列建立相似度匹配模型来进行特征匹配，也可以同时使用车辆位置序列和车辆速度序列建立的两个相似度匹配模型来进行特征匹配。使用车辆位置序列代替车辆速度序列建立相似度匹配模型进行特征匹配时，不会出现现有技术中使用欧氏距离进行特征匹配导致横向距离的差别得不到体现的问题，因此本模型相比于现有技术更加准确可靠，能够提升对行车环境融合感知的准确性和可靠性。本实施例为了便于说明选用了车辆速度序列建立相似度匹配模型。
K12、使用所述相似度匹配模型计算所述第一特征序列与所述第二特征序列之间同类数据之间的匹配值，并根据匹配值的大小确定所述高清摄像头和所述毫米波雷达识别的同一目标，即所述目标车辆。
具体的，在本实施例中，通过设置匹配值上限来判断分别来自第一特征序列和第二特征序列中的两个车辆速度序列所对应的车辆是否为同一个车辆。当匹配值小于等于匹配值上限时，则认定分别来自第一特征序列和第二特征序列中的两个车辆速度序列所对应的车辆是同一个车辆，并将这个车辆认定为目标车辆；反之则不是同一个车辆。
进一步的，将匹配值上限设置为3。
K2、将所述目标车辆在所述第一特征序列和所述第二特征序列中对应的同类数据进行数据融合，得到所述车辆特征。
具体的，在本实施例中，在识别到目标车辆之后，还需要将目标车辆在第一特征序列和第二特征序列的同类数据进行数据融合来得到车辆特征，例如将目标车辆在第一特征序列和第二特征序列中的车辆速度进行融合得到目标车辆速度。
进一步的，使用JPDA算法对目标车辆在在第一特征序列和第二特征序列中的同类数据进行数据融合，得到车辆特征。
所述轨迹跟踪与预测模块A3利用所述车辆特征对所述目标车辆的运动轨迹进行跟踪和预测，进而生成局部交通态势图。
具体的，在本实施例中，轨迹跟踪与预测模块A3与目标信息融合识别模块A2相连接，轨迹跟踪与预测模块A3包括轨迹跟踪子模块和轨迹预测子模块。
轨迹跟踪子模块用于根据所述车辆特征所述目标车辆的运动轨迹。轨迹跟踪子模块具体执行如下步骤：
P1、以本车为坐标原点建立直角坐标系，进而在一个检测周期内持续记录所述目标车辆速度和所述目标车辆位置，同时在每个所述目标车辆位置处标注相应的所述目标车辆速度。
具体的，在本实施例中，在一个检测周期开始时就需要将目标车辆的目标车辆位置标注在以本车为坐标原点的直角坐标系中，其中目标车辆的横向距离为横坐标，目标车辆的纵向距离为纵坐标，在标注每一个目标车辆位置时都要将目标车辆在该目标车辆位置的目标车辆速度。
P2、根据所述目标车辆速度和所述目标车辆位置绘制所述目标车辆的运动轨迹。
具体的，在本实施例中，使用平滑的曲线将步骤P1中标记的目标车辆位置连接起来，同时利用箭头标记每个目标车辆位置处目标车辆速度的方向，进而目标车辆的运动轨迹。根据目标车辆行进的方向，箭头的方向为运动轨迹上每个目标车辆位置的切线方向。
轨迹预测子模块根据所述车辆特征、所述运动轨迹和高精度地图预测所述目标车辆接下来一段时间的预测运动轨迹，并根据所述预测运动轨迹生成所述局部交通态势图。轨迹预测子模块具体执行如下步骤：
R1、在所述直角坐标系对所述运动轨迹进行拟合以获取所述运动轨迹的函数表达式。
具体的，在本实施例中，忽略目标车辆速度的方向，使用matlab对目标车辆的运动轨迹进行拟合即可得到运动轨迹的函数表达式。
R2、利用所述函数表达式计算所述目标车辆的轨迹偏转率，所述轨迹偏转率满足如下关系：
其中，为轨迹偏转率，/>为函数表达式/>的二阶导数，/>为函数表达式的一阶导数，/>为自变量。
具体的，在本实施例中，轨迹偏转率表示目标车辆在某一目标车辆位置处运动轨迹的弯曲程度。
R3、根据所述轨迹偏转率、所述目标车辆速度和高精度地图在所述直角坐标系上预测所述目标车辆在接下来一段时间的预测运动轨迹。
具体的，在本实施例中，在一个检测周期结束时，计算此时目标车辆的轨迹偏转率来预测目标车辆在接下来一段时间内运动轨迹的弯曲程度，同时利用此时的目标车辆速度计算接下来一段时间内目标车辆的运动路程，根据目标车辆在接下来一段时间内运动轨迹的弯曲程度以及目标车辆的运动路程可以初步预测目标车辆在接下来一段时间的运动轨迹。
进一步的，利用此步骤计算得到的轨迹偏转率和运动路程判断目标车辆是否有转弯或改道的可能。根据高精度地图上的道路分布，假设目标车辆在一个检测周期结束时的轨迹偏转率为r，其在接下来一段时间内的运动路程为L，按照目标车辆的速度方向，如果目标车辆在运动路程小于等于L时能够行驶至其他道路路口，则判断目标车辆会变道至其他道路，则目标车辆的预测运动轨迹应该是从当前位置行驶至其他道路路口，如果目标车辆在运动路程小于等于L时不能行驶至其他道路路口，则目标车辆的预测运动轨迹就是利用轨迹偏转率r和运动路程L绘制的曲线。其优点在于，利用轨迹偏转率、目标车辆速度和高精度地图来预测目标车辆在短时间内的运动轨迹是可靠的，能够为建立准确可靠的局部交通态势图提供数据基础。
更进一步的，利用轨迹偏转率r和运动路程L绘制预测运动轨迹时，可先使用轨迹偏转率绘制一个半径为1/r的圆，按照目标车辆的速度方向，在圆上取长度为L的一段曲线作为预测运动轨迹；本实施例根据轨迹偏转率、目标车辆速度和高精度地图在直角坐标系上预测目标车辆在接下来1分钟内的预测运动轨迹。
R4、绘制所有所述目标车辆的预测运动轨迹进而生成所述局部交通态势图。
具体的，在本实施例中，在步骤P1建立的直角坐标系中绘制目标车辆的预测运动轨迹，结合P2绘制的运动轨迹即可生成局部交通态势图。局部交通态势图能够直观的反映所有目标车辆之前的运动轨迹和在接下来一段时间内的运动轨迹，能够实现对行车环境的整体感知，为行车风险的计算提供数据基础，并为优化行车路径进而规避行车风险提供参考，而且驾驶人也可以根据自身经验和局部交通态势图在主观上判断是否会存在行车风险，进而保证智能汽车在行驶过程中的稳定性和安全性。
所述风险测算与路径优化模块A4利用所述车辆特征和所述局部交通态势图计算行车风险并优化本车的行车路径。
具体的，在本实施例中，风险测算与路径优化模块A4与目标信息融合识别模块A2和轨迹跟踪与预测模块A3相连接。请参见图2，风险测算与路径优化模块具体执行如下步骤：
S1、确定本车的当前行车速度，并根据所述当前行车速度确定本车在接下来一段时间里在所述局部交通态势图中的行车路径。
具体的，在本实施例中，根据前行车速度可以确定本车在接下来一段时间里的行车方向和行车距离，利用本车的行车方向和行车距离即可确定接下来一段时间里本车在局部交通态势图中的行车路径。
S2、计算所述行车路径与所述预测运动轨迹之间的最短距离。
S3、利用所述目标车辆速度、所述目标车辆质量和所述最短距离计算所述行车风险。
具体的，在本实施例中，行车风险满足如下关系：
其中，h为行车风险，N为目标车辆的数量，为动量风险权重，/>为距离风险权重，为第i个目标车辆的预测运动轨迹与行车路径之间的最短距离，/>为i个目标车辆的目标车辆质量，/>为i个目标车辆的目标车辆速度，/>为目标车辆的最大动量，/>为本车的质量，/>为当前行车速度，c为修正项。
进一步的，动量风险权重通过动量风险实验获得，动量风险实验为：在其他条件不变的情况下改变某一特定车辆的车辆动量并模拟车辆相撞事故，记录不同动量下车辆在事故中造成的损失大小，进而绘制出动量-损失曲线。可以得出车辆动量在[0，q]之间时，车辆动量与其造成的损失大小成正相关，在该范围内动量-损失曲线的斜率即为动量风险权重，q为动量风险实验中某一特定车辆的车辆动量；采用与获取动量风险权重相同的方法获取距离风险权重，在实验时，需要在其他条件相同的情况下改变车辆相撞事故发生之前两个车俩之间的距离。
更进一步的，修正项的取值范围为（-0.1，+0.1）之间，可以通过改变修正项来改变车辆在行车过程中对风险的敏感度，有利于尽可能的规避风险，同时也可以避免对对风险过于敏感而导致的风险误判，进而减少后续多余的行车路径优化操作。
S4、设定行车风险阈值，当所述行车风险超过所述行车风险阈值时，根据所述预测运动轨迹划分行车安全区，通过将所述行车路径完全设置在所述行车安全区中来实现对所述行车路径的优化。
具体的，在本实施例中，将行车时车辆之间的安全距离设置为50米，在局部交通态势图中对任意一条预测运动轨迹Y进行正向平移和反向平移，得到两条平移曲线和/>。预测运动轨迹Y上任意一点B，平移后其在曲线/>和/>上对应的点为/>和/>，则/>和/>之间的距离应该为100米。预测运动轨迹Y的两个端点u和w，在平移之后端点u在曲线/>和/>上对应的端点为/>和/>，端点w在曲线/>和/>上对应的端点为/>和/>。使用直线将/>和/>连接，同时使用直线将/>和/>连接，这样曲线/>和/>就围成了一个闭合区域，该闭合区域即为基于预测运动轨迹Y的非行车安全区。
进一步的，获取所有非行车安全区，在局部交通态势图排除所有非行车安全区即可划分出行车安全区，通过将行车路径完全设置在行车安全区中来实现对行车路径的优化。
需要说明的是，在一些情况下，在说明书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果，在本实施例当中，所给出的步骤顺序仅仅是为了使实施例看起来更加清晰明了，方便说明，而非对其限制。
综上所述，本发明提供的系统利用多种传感器获取行车时的行车环境信息，进而获取附近车辆的速度、位置、大小等多元信息来实现对附近车辆的融合感知，并在获取的数据的基础上对附近车辆在接下来一段时间的运动轨迹进行预测，进而得到局部交通态势图，实现对行车环境的整体感知。此外，本发明还进一步计算了接下来一段时间里的行车风险，并根据行车风险的大小及时对行车路径进行优化，进而大大降低了出现行车事故的概率，切实保证了智能汽车在行驶过程中的稳定性和安全性。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (4)
1.一种基于多元信息的单车融合感知系统，其特征在于，包括：
传感器模块，所述传感器模块用于采集行车过程中的行车环境信息，所述行车环境信息包括原始光学数据和原始雷达数据；
目标信息融合识别模块，所述目标信息融合识别模块利用所述行车环境信息识别目标车辆和所述目标车辆的车辆特征，所述目标信息融合识别模块包括目标序列生成子模块和目标识别子模块；
所述目标序列生成子模块利用所述行车环境信息生成第一目标检测序列和第二目标检测序列，所述目标序列生成子模块执行如下步骤：
对所述原始光学数据进行视觉识别和分类得到所述第一目标检测序列，所述第一目标检测序列为包括第一车辆序列和所述第一车辆序列的第一特征序列；
对所述原始雷达数据进行预处理得到所述第二目标检测序列，所述第二目标检测序列包括第二车辆序列和所述第二车辆序列的第二特征序列；
所述目标识别子模块利用所述第一目标检测序列和所述第二目标检测序列识别出所述目标车辆以及所述目标车辆的车辆特征，所述车辆特征包括目标车辆速度、目标车辆位置、目标车辆大小以及目标车辆质量；
所述第一特征序列包括车辆速度、车辆位置、车辆大小和车辆质量四类数据的序列，所述第二特征序列包括车辆速度、车辆位置以及车辆大小三类数据的序列；
所述目标识别子模块执行如下步骤：
利用所述第一特征序列和所述第二特征序列对所述第一车辆序列和所述第二车辆序列中的车辆进行特征匹配，进而得到所述目标车辆；
将所述目标车辆在所述第一特征序列和所述第二特征序列中对应的同类数据进行数据融合，得到所述车辆特征；
轨迹跟踪与预测模块，所述轨迹跟踪与预测模块利用所述车辆特征对所述目标车辆的运动轨迹进行跟踪和预测，进而生成局部交通态势图，所述轨迹跟踪与预测模块包括轨迹跟踪子模块和轨迹预测子模块；
所述轨迹跟踪子模块用于根据所述车辆特征绘制所述目标车辆的运动轨迹，所述轨迹跟踪子模块执行如下步骤：
以本车为坐标原点建立直角坐标系，进而在一个检测周期内持续记录所述目标车辆速度和所述目标车辆位置，同时在每个所述目标车辆位置处标注相应的所述目标车辆速度；
根据所述目标车辆速度和所述目标车辆位置绘制所述目标车辆的运动轨迹；
所述轨迹预测子模块根据所述车辆特征、所述运动轨迹和高精度地图预测所述目标车辆接下来一段时间的预测运动轨迹，并根据所述预测运动轨迹生成所述局部交通态势图，所述轨迹预测子模块执行如下步骤：
在所述直角坐标系对所述运动轨迹进行拟合以获取所述运动轨迹的函数表达式；
利用所述函数表达式计算所述目标车辆的轨迹偏转率，所述轨迹偏转率满足如下关系：
，
其中，为所述轨迹偏转率，/>为所述函数表达式/>的二阶导数，/>为所述函数表达式的一阶导数，/>为自变量；
根据所述轨迹偏转率、所述目标车辆速度和高精度地图在所述直角坐标系上预测所述目标车辆在接下来一段时间的预测运动轨迹；
绘制所有所述目标车辆的预测运动轨迹进而生成所述局部交通态势图；
风险测算与路径优化模块，所述风险测算与路径优化模块利用所述车辆特征和所述局部交通态势图计算行车风险并优化本车的行车路径。
2.根据权利要求1所述的一种基于多元信息的单车融合感知系统，其特征在于，所述传感器模块包括：
高清摄像头，所述高清摄像头用于获取行车过程中的所述原始光学数据；
毫米波雷达，所述毫米波雷达用于获取行车过程中的所述原始雷达数据。
3.根据权利要求2所述的一种基于多元信息的单车融合感知系统，其特征在于，所述利用所述第一特征序列和所述第二特征序列对所述第一车辆序列和所述第二车辆序列中的车辆进行特征匹配，进而得到所述目标车辆包括如下步骤：
建立相似度匹配模型，所述相似度匹配模型满足如下关系：
，
其中，m为匹配值，为一个检测周期内所述第一特征序列中第i个车辆的车辆速度序列，/>为一个检测周期内所述第二特征序列中第j个车辆的车辆速度序列，T表示进行转置操作，/>为一个检测周期内所述第一特征序列中第i个车辆的车辆速度序列与所述第二特征序列中第j个车辆的车辆速度序列之间的协方差矩阵逆矩阵；
使用所述相似度匹配模型计算所述第一特征序列与所述第二特征序列之间同类数据之间的匹配值，并根据匹配值的大小确定所述高清摄像头和所述毫米波雷达识别的同一目标，即所述目标车辆。
4.根据权利要求3所述的一种基于多元信息的单车融合感知系统，其特征在于，所述风险测算与路径优化模块执行如下步骤：
确定本车的当前行车速度，并根据所述当前行车速度确定本车在接下来一段时间里在所述局部交通态势图中的行车路径；
计算所述行车路径与所述预测运动轨迹之间的最短距离；
利用所述目标车辆速度、所述目标车辆质量和所述最短距离计算所述行车风险，所述行车风险满足如下关系：
，
其中，h为所述行车风险，N为所述目标车辆的数量，为动量风险权重，/>为距离风险权重，/>为第i个所述目标车辆的预测运动轨迹与所述行车路径之间的最短距离，/>为i个所述目标车辆的目标车辆质量，/>为i个所述目标车辆的目标车辆速度，/>为所述目标车辆的最大动量，/>为本车的质量，/>为所述当前行车速度，c为修正项；
设定行车风险阈值，当所述行车风险超过所述行车风险阈值时，根据所述预测运动轨迹划分行车安全区，通过将所述行车路径完全设置在所述行车安全区中来实现对所述行车路径的优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310904323.2A CN116630765B (zh) | 2023-07-24 | 2023-07-24 | 一种基于多元信息的单车融合感知系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310904323.2A CN116630765B (zh) | 2023-07-24 | 2023-07-24 | 一种基于多元信息的单车融合感知系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116630765A CN116630765A (zh) | 2023-08-22 |
| CN116630765B true CN116630765B (zh) | 2023-09-26 |
Family
ID=87636901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310904323.2A Active CN116630765B (zh) | 2023-07-24 | 2023-07-24 | 一种基于多元信息的单车融合感知系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630765B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| CN114693909A (zh) * | 2022-03-31 | 2022-07-01 | 苏州蓝图智慧城市科技有限公司 | 一种基于多传感器机器视觉融合的微观车辆轨迹感知设备 |
| CN115923833A (zh) * | 2022-09-26 | 2023-04-07 | 重庆长安汽车股份有限公司 | 车辆的拟人化决策控制方法、装置、车辆及存储介质 |
| WO2023066156A1 (zh) * | 2021-10-18 | 2023-04-27 | 长沙中车智驭新能源科技有限公司 | 一种视觉雷达感知融合方法及终端设备 |
| WO2023087181A1 (zh) * | 2021-11-17 | 2023-05-25 | 浙江吉利控股集团有限公司 | 车路协同多车路径规划和路权决策方法、系统和路基单元 |
| CN116215569A (zh) * | 2022-12-01 | 2023-06-06 | 东南大学 | 一种基于行车风险评估的自动驾驶汽车规划方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10565468B2 (en) * | 2016-01-19 | 2020-02-18 | Aptiv Technologies Limited | Object tracking system with radar/vision fusion for automated vehicles |
| US11155258B2 (en) * | 2019-03-25 | 2021-10-26 | GM Global Technology Operations LLC | System and method for radar cross traffic tracking and maneuver risk estimation |
-
2023
- 2023-07-24 CN CN202310904323.2A patent/CN116630765B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| WO2023066156A1 (zh) * | 2021-10-18 | 2023-04-27 | 长沙中车智驭新能源科技有限公司 | 一种视觉雷达感知融合方法及终端设备 |
| WO2023087181A1 (zh) * | 2021-11-17 | 2023-05-25 | 浙江吉利控股集团有限公司 | 车路协同多车路径规划和路权决策方法、系统和路基单元 |
| CN114693909A (zh) * | 2022-03-31 | 2022-07-01 | 苏州蓝图智慧城市科技有限公司 | 一种基于多传感器机器视觉融合的微观车辆轨迹感知设备 |
| CN115923833A (zh) * | 2022-09-26 | 2023-04-07 | 重庆长安汽车股份有限公司 | 车辆的拟人化决策控制方法、装置、车辆及存储介质 |
| CN116215569A (zh) * | 2022-12-01 | 2023-06-06 | 东南大学 | 一种基于行车风险评估的自动驾驶汽车规划方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 基于前车轨迹预测的高速智能车运动规划;张一鸣;周兵;吴晓建;崔庆佳;柴天;;汽车工程(05);全文 * |
| 结构化道路中动态车辆的轨迹预测;谢辉;高斌;熊硕;王悦;;汽车安全与节能学报(04);全文 * |
| 面向高级辅助驾驶雷达和视觉传感器信息融合算法的研究;杨鑫;刘威;林辉;;汽车实用技术(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116630765A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112700470B (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
| CN113313154A (zh) | 一体化融合多传感器自动驾驶智能感知装置 | |
| CN112562405A (zh) | 一种雷达视频智能融合与预警方法及系统 | |
| CN105620489A (zh) | 驾驶辅助系统及车辆实时预警提醒方法 | |
| CN105109484A (zh) | 目标障碍物体确定方法及装置 | |
| CN108230254A (zh) | 一种自适应场景切换的高速交通全车道线自动检测方法 | |
| KR102557620B1 (ko) | 객체를 분류하는 레이더 장치 및 방법 | |
| CN112116031A (zh) | 基于路侧设备的目标融合方法、系统、车辆及存储介质 | |
| CN111524365A (zh) | 一种利用多地磁传感器进行车型分类的方法 | |
| CN113682299A (zh) | 一种车辆前向碰撞预警方法及装置 | |
| CN111332288A (zh) | 一种基于视觉系统的车辆行人碰撞避免方法 | |
| CN112487905A (zh) | 一种车辆周边行人危险等级预测方法及系统 | |
| CN112764034A (zh) | 一种车载bsd毫米波雷达低速下障碍物识别方法 | |
| Shimomura et al. | An algorithm for distinguishing the types of objects on the road using laser radar and vision | |
| CN110422173B (zh) | 一种行车环境识别方法 | |
| CN113962301B (zh) | 一种多源输入信号融合的路面质量检测方法及系统 | |
| CN111325187A (zh) | 一种车道位置的识别方法及装置 | |
| CN106405539A (zh) | 车辆雷达系统以及用于去除一非感兴趣目标的方法 | |
| CN116630765B (zh) | 一种基于多元信息的单车融合感知系统 | |
| CN117130010A (zh) | 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车 | |
| CN110095776B (zh) | 用于确定对象的存在和/或特性的方法和周围环境识别设备 | |
| CN116486359A (zh) | 一种面向全天候的智能车环境感知网络自适应选择方法 | |
| Li et al. | Composition and application of current advanced driving assistance system: A review | |
| Lai et al. | Sensor fusion of camera and MMW radar based on machine learning for vehicles | |
| EP4116738A1 (en) | Radar device and method for classifying objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |