CN114419605B - 基于多网联车空间对齐特征融合的视觉增强方法及系统 - Google Patents

基于多网联车空间对齐特征融合的视觉增强方法及系统 Download PDF

Info

Publication number
CN114419605B
CN114419605B CN202210317048.XA CN202210317048A CN114419605B CN 114419605 B CN114419605 B CN 114419605B CN 202210317048 A CN202210317048 A CN 202210317048A CN 114419605 B CN114419605 B CN 114419605B
Authority
CN
China
Prior art keywords
vehicle
internet
feature
module
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210317048.XA
Other languages
English (en)
Other versions
CN114419605A (zh
Inventor
黄倩
张园
刘云涛
李道勋
时强
朱永东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202210317048.XA priority Critical patent/CN114419605B/zh
Publication of CN114419605A publication Critical patent/CN114419605A/zh
Application granted granted Critical
Publication of CN114419605B publication Critical patent/CN114419605B/zh
Priority to PCT/CN2023/082964 priority patent/WO2023185564A1/zh
Priority to US18/493,833 priority patent/US20240062533A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

本发明公开了一种基于多网联车空间对齐特征融合的视觉增强方法及系统，该方法利用网联车自身及其周围一定范围内的网联车视觉特征，空间对齐后基于多特征自学习机制进行特征融合，实现网联车的视觉扩展和增强。本发明设计了一个基于多特征自学习机制的网络单元，在收到周围一定范围内的网联车压缩中间特征图后，综合利用网联车的世界坐标和前进方向间的夹角大小，对解压缩后的中间特征图进行仿射变换，并将变换对齐后的特征图利用基于多特征自学习机制的网络单元进行特征融合，去除冗余特征的同时实现特征间的互补和增强。利用融合后的中间特征检测出网联车自身视角下以及被部分遮挡或全部遮挡的目标障碍物，从而提高网联车驾驶的安全性。

Description

基于多网联车空间对齐特征融合的视觉增强方法及系统
技术领域
本发明涉及智能网联车技术领域，尤其涉及一种基于多网联车空间对齐特征融合的视觉增强方法及系统。
背景技术
未来我国将推动智能网联汽车与智慧城市协同发展，V2X车路协同通过智能网联汽车之间的信息通讯，实现车辆之间的协同互通，可进一步实现L4及以上高级自动驾驶的安全性。目前单车智能大多利用智能车辆自身的感知设备感知周围环境，对视觉可视范围内的目标检测的准确率已经达到较高的水平，但是对交通环境内存在部分遮挡或完全遮挡的障碍物则无法检测，导致车辆驾驶的安全性受到威胁。因此，在V2X车辆协同下，V2V车间通信也受到了更多的关注。
目前车间的通信大多采用语义通信方式或原始数据传递的方式，语义通信即直接传递结果信息，但是这种语义通信方式由于传递的信息过于精简而导致原始信息受到一定程度的缺失，原始数据传递的方式则由于原始数据量过大而导致传输时间过长，造成信息实时性难以保证，导致行车安全依旧受限。
发明内容
本发明的目的在于针对现有的网联车视觉检测技术的不足，提出一种基于多网联车空间对齐特征融合的视觉增强方法及系统，解决现有的网联车目标检测方法由于不能准确检测出被部分遮挡或完全遮挡的障碍物，导致的网联车驾驶安全性低的问题。本发明方法引入了基于多网联车空间对齐特征融合的视觉增强方法，利用网联车及其周围一定范围内的网联车的视觉图像的中间特征图进行空间对齐，并将空间对齐后的中间特征图基于多特征自学习机制进行特征级融合，从而实现对网联车的视觉增强，提高了网联车基于视觉的对存在遮挡的障碍物检测的准确率和成功率。
本发明的目的是通过以下技术方案来实现的：一方面，本发明提供了一种基于多网联车空间对齐特征融合的视觉增强方法，该方法包括以下步骤：
（1）在每辆网联车车顶安装前视中央摄像头；
（2）基于目标检测网络，在目标检测网络中语义特征提取部分和检测头部分之间添加一个基于多特征自学习机制的网络单元，构建基于多特征自学习机制的网联车视觉融合的目标检测网络；其中基于多特征自学习机制的网络单元通过对多源特征自学习权重方式，去除冗余特征的同时实现特征间的互补和增强；
（3）选定一辆网联车作为执行感知任务的网联车，并记录执行感知任务的网联车及其周围的网联车同一时刻前视中央摄像头拍摄到的图像、各自网联车的世界坐标和前进方向，将图像输入到基于多特征自学习机制的网联车视觉融合的目标检测网络，通过语义特征提取部分得到所有图像的中间特征图，将周围网联车的中间特征图压缩后，与对应车辆的世界坐标和前进方向信息一起进行广播；
（4）执行感知任务的网联车收到广播信息，对收到的中间特征图进行解压缩，并利用周围网联车的世界坐标以及与执行感知任务的网联车之间前进方向的逆时针夹角大小，对解压缩后的中间特征图进行仿射变换；
（5）利用所有仿射变换后已与执行感知任务的网联车的中间特征图空间对齐的中间特征图，和执行感知任务的网联车的中间特征图依次按通道方向进行拼接，将拼接后的特征图输入基于多特征自学习机制的网络单元，完成多辆网联车视觉图像基于多特征自学习机制的特征级融合，并将融合后的特征图输入检测头网络，回归出执行感知任务的网联车图像视野范围内的可见障碍物目标以及被周围网联车遮挡的障碍目标。
进一步地，每辆网联车的前视中央摄像头技术参数相同，且摄像头安装高度、位置均一致。
进一步地，所述基于多特征自学习机制的网络单元的结构具体为：输入层大小为
Figure 101807DEST_PATH_IMAGE001
，第一层卷积核大小为
Figure 319162DEST_PATH_IMAGE002
，第一层隐藏层大小为
Figure 260573DEST_PATH_IMAGE003
，第二层卷积核大小为
Figure 967498DEST_PATH_IMAGE004
，第二层隐藏层大小为
Figure 361570DEST_PATH_IMAGE005
，输 出层卷积核大小为
Figure 677889DEST_PATH_IMAGE006
，输出层大小为
Figure 208227DEST_PATH_IMAGE007
，其中C为输入的中间特征层通 道数，N为融合特征的网联车数量，w为中间特征图的宽，h为中间特征图的长，C、N、w、h均为 正整数。
进一步地，所述仿射变换具体过程如下：
（4.1）将执行感知任务的网联车记为网联车
Figure 351633DEST_PATH_IMAGE008
，将网联车
Figure 233001DEST_PATH_IMAGE008
的特征图及解压 缩后的中间特征图集合表示为
Figure 854475DEST_PATH_IMAGE009
，
Figure 832796DEST_PATH_IMAGE010
为网联车
Figure 491310DEST_PATH_IMAGE011
自身的中间特征 图，
Figure 486073DEST_PATH_IMAGE012
为第i辆网联车的中间特征图；对任意
Figure 521025DEST_PATH_IMAGE013
，其尺 寸均为
Figure 416169DEST_PATH_IMAGE014
；N-1表示为执行感知任务的网联车周围的N-1辆网联车；
（4.2）对任意
Figure 511164DEST_PATH_IMAGE015
，根据网联车i和
Figure 491758DEST_PATH_IMAGE016
前进方向的逆时针夹角 大小和各自的世界坐标，列出仿射变换矩阵
Figure 64822DEST_PATH_IMAGE017
；
（4.3）利用仿射变换矩阵
Figure 814472DEST_PATH_IMAGE017
对网联车i的特征图
Figure 80368DEST_PATH_IMAGE018
进行仿射变换，变换后的特征图
Figure 787074DEST_PATH_IMAGE019
与
Figure 429408DEST_PATH_IMAGE020
空间对齐；
（4.4）按（4.2）-（4.3）的过程将所有的
Figure 33565DEST_PATH_IMAGE021
的中间特征图进行仿 射变换，变换后且空间对齐的特征图集合表示为
Figure 470362DEST_PATH_IMAGE022
。
进一步地，步骤（4.2）中，以网联车
Figure 363232DEST_PATH_IMAGE016
前进方向为y方向，与前进方向垂直的方向 为x方向，对任一网联车i，仿射变换矩阵
Figure 668311DEST_PATH_IMAGE023
为：
Figure 2341DEST_PATH_IMAGE024
其中，
Figure 236138DEST_PATH_IMAGE025
表示网联车i和
Figure 288408DEST_PATH_IMAGE026
水平x方向的距离，
Figure 131599DEST_PATH_IMAGE027
表示网联车i和
Figure 851293DEST_PATH_IMAGE026
垂直y方 向的距离，
Figure 754527DEST_PATH_IMAGE028
为网联车i前进方向和
Figure 294093DEST_PATH_IMAGE026
前进方向的逆时针夹角大小。
进一步地，步骤（4.3）中，假设特征图
Figure 144237DEST_PATH_IMAGE029
上的任一点值，其坐标为
Figure 76028DEST_PATH_IMAGE030
，则其仿射 变换后的坐标
Figure 25529DEST_PATH_IMAGE031
为：
Figure 100002_DEST_PATH_IMAGE032
即当
Figure 645866DEST_PATH_IMAGE033
，
Figure DEST_PATH_IMAGE034
时：
Figure 565281DEST_PATH_IMAGE035
；
Figure 853043DEST_PATH_IMAGE036
。
进一步地，对于变换后的特征图
Figure DEST_PATH_IMAGE037
，特征图
Figure 68386DEST_PATH_IMAGE037
上点值缺失的坐标，均用0值填充。
进一步地，周围的网联车车辆数根据周围的网联车与执行感知任务的网联车之间的半径阈值选择，以执行感知任务的网联车前视中央摄像头为原点，搜索原点半径阈值M米范围内的且垂直方向坐标大于0的离原点最近的N-1辆网联车，半径阈值M以及选择的网联车车辆数根据实际需求设定。
进一步地，若搜索到的网联车车辆数小于N-1，则缺失车辆数对应的中间特征图值全用0值填充。
另一方面，本发明还提供了一种基于多网联车空间对齐特征融合的视觉增强系统，每辆网联车上均安装有该系统，该系统包括坐标记录模块、图像采集模块、输入模块、多网联车空间对齐特征融合网络模块、特征压缩模块、信息广播模块、信息接收模块、特征解压缩模块、仿射变换模块和输出模块；
所述坐标记录模块用于记录自身网联车的世界坐标和前进方向，并发送到信息广播模块；
所述图像采集模块用于采集通过网联车车顶安装的前视中央摄像头拍摄的图像，并发送到输入模块；
所述多网联车空间对齐特征融合网络模块包括语义特征提取模块、基于多特征自学习机制的网络模块和检测头模块；所述基于多特征自学习机制的网络模块通过对多源特征自学习权重方式，去除冗余特征的同时实现特征间的互补和增强；
所述输入模块用于将图像输入到多网联车空间对齐特征融合网络模块中的语义特征提取模块；
所述语义特征提取模块用于得到图像的中间特征图，并传输到特征压缩模块；
所述特征压缩模块用于将中间特征图进行压缩，并发送到信息广播模块；
所述信息广播模块用于将压缩的中间特征图与世界坐标和前进方向信息一起进行广播；
所述信息接收模块用于接收周围其他网联车的信息广播模块的广播信息，并发送给特征解压缩模块；
所述特征解压缩模块用于对周围网联车的中间特征图进行解压缩，并将周围网联车的世界坐标以及前进方向和解压缩后的中间特征图一起传输到仿射变换模块；
所述仿射变换模块用于通过周围网联车的世界坐标以及与自身网联车之间前进方向的逆时针夹角大小，对解压缩后的周围网联车的中间特征图进行仿射变换，与自身网联车的中间特征图空间对齐；并将空间对齐后的中间特征图和自身网联车的中间特征图依次按通道方向进行拼接，将拼接后的特征图发送到多网联车空间对齐特征融合网络模块中的基于多特征自学习机制的网络模块；
所述基于多特征自学习机制的网络模块用于根据拼接后的特征图完成多辆网联车视觉图像基于多特征自学习机制的特征级融合，并将融合后的特征图输入多网联车空间对齐特征融合网络模块中的检测头模块；
所述检测头模块用于得到自身网联车图像视野范围内的障碍物感知结果，并输入到输出模块；
所述输出模块用于根据障碍物感知结果得到可见障碍物目标以及被周围网联车遮挡的障碍目标。
本发明的有益效果是，本发明提出了一种基于多网联车空间对齐特征融合的视觉增强方法及系统，本发明设计了一种基于多特征自学习机制的目标检测网络，在收到周围一定范围内的网联车的压缩中间特征图后，综合利用网联车的世界坐标和前进方向间的夹角大小，对解压缩后的中间特征图进行仿射变换，并将变换后的特征图利用基于多特征自学习机制的网络单元进行特征级融合，去除冗余特征的同时实现特征间的互补和增强，提高了网联车基于视觉的对存在遮挡的障碍物检测的准确率和成功率，进一步提升了车辆驾驶的安全性。
附图说明
图1是本发明提供的一种基于多网联车空间对齐特征融合的视觉增强方法流程图。
图2是基于多特征自学习机制的网联车视觉融合的目标检测网络架构图。
图3是V2Vsim模拟器中执行感知任务的网联车检测出盲区障碍物示意图。
图4是本发明提供的一种基于多网联车空间对齐特征融合的视觉增强系统结构图。
图5是本发明提供的一种基于多网联车空间对齐特征融合的视觉增强装置的结构图。
具体实施方式
下面根据附图详细说明本发明，本发明的目的和效果将变得更加明白。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明提出了一种基于多网联车空间对齐特征融合的视觉增强方法，用于消除网联车周边车辆遮挡盲区，解决视觉盲区障碍物无法检测识别造成的网联车驾驶安全问题。本发明设计的基于多特征自学习机制的网络单元，研究多特征图自主学习特征权重机制，将空间对齐的特征图进行特征融合，提取重要的中间特征，忽略不重要的中间特征，去除冗余特征的同时实现特征间的互补和增强。利用融合后的中间特征检测出网联车自身视角下以及被部分遮挡或全部遮挡的目标障碍物，提高了网联车基于视觉的对存在遮挡的障碍物检测的准确率和成功率。
本具体实施用例通过仿真实现，包括以下步骤：
（1）利用V2Vsim仿真模拟器模拟网联车驾驶和网联车间的通信，每辆网联车车顶均装配有一台技术参数相同的前视中央摄像头，且摄像头安装高度、位置均一致。V2Vsim仿真模拟器可以模拟网联车在复杂交通环境下的驾驶行为，和网联车的车车间通信（V2V），V2V利用无线网络传输通信信息（如长距离传输(LTE-V2X)），覆盖范围可达300米，可传输比如原始视频图像数据或图像的中间特征图数据、车辆的位置/速度/朝向角等信息，信息传输方式为广播的形式，即周围一定范围内的网联车均能收到信息。不同大小的数据传输时延有所差别，传输数据量越大，传输时延越长。为减少车车间传输时延，提升网联车检测的实时性能，此处采用压缩后的中间特征图进行传输，以减少传输时延。
（2）设计基于多特征自学习机制的网联车视觉融合的目标检测网络，如图2所示。在传统的目标检测网络的基础上，增添一个基于多特征自学习机制的网络单元。在收到周围一定范围内的网联车压缩后的中间特征图之后，综合利用网联车的世界坐标和前进方向间的逆时针夹角大小，对解压缩后的中间特征图进行仿射变换，将变换对齐后的特征图按通道方向拼接并输入基于多特征自学习机制的网络单元进行特征级融合，通过对多源特征自学习权重方式，去除冗余特征的同时实现特征间的互补和增强。将融合后的特征输入检测头网络，回归出该网联车图像视野范围内的可见障碍物目标以及被周围网联车遮挡的障碍目标。
该步骤是本发明的核心，分为以下子步骤。
（2.1）基于Yolov5s目标检测网络，将Yolov5s网络切分为语义特征骨干提取网络 和检测头网络两个部分，并在这两部分网络之间增添一个基于多特征自学习机制的网络单 元。基于多特征自学习机制的网络单元的结构具体为：输入层大小为
Figure 582544DEST_PATH_IMAGE038
，第一层 卷积核大小为
Figure 571228DEST_PATH_IMAGE039
，第一层隐藏层大小为
Figure 916759DEST_PATH_IMAGE040
，第二层卷积核大小 为
Figure 473642DEST_PATH_IMAGE041
，第二层隐藏层大小为
Figure 334151DEST_PATH_IMAGE042
，输出层卷积核大小为
Figure 1893DEST_PATH_IMAGE043
，输出层大小为
Figure 780360DEST_PATH_IMAGE007
，其中C为输入的中间特征层通道数，N为融合特征 的网联车数量，w为中间特征图的宽，h为中间特征图的长，C、N、w、h均为正整数。本实施用例 设定N为4，为一经验值，根据网联车视野范围内会发生遮挡的网联车的平均数量和特征传 输时延、以及特征融合效率共同决定。C、w、h分别为256、12、20，其中C为中间特征的通道数 量大小。本发明方法的特征自学习机制的网络单元的输入为多网联车的按通道方向拼接的 中间特征图，输出中间图大小认为一辆网络车的中间特征图大小，其目的在于既能学习多 源网联车的特征、进行特征间的互补和增强，又减少了特征数量，提升了网络的推理效率。
（2.2）对需要执行感知任务的网联车
Figure 242565DEST_PATH_IMAGE016
，以该网联车前视中央摄像头为原点，搜 索原点半径M米范围内的且垂直方向坐标大于0的离原点最近的N-1辆网联车，记录下这N辆 网联车和同一时刻前视中央摄像头拍摄到的图像、各自的世界坐标，以及此时这N辆车前进 方向的角度。将网联车
Figure 855949DEST_PATH_IMAGE016
自身及搜索到的N-1辆网联车的前视中央摄像头同一时刻拍摄 到的图像分别输入语义特征骨干提取网络，得到这N辆网联车前视中央摄像头图像的中间 特征图，若搜索到的车辆数小于N-1，则缺失车辆数对应的中间特征图值全用0值填充。将搜 索到的这N-1辆网联车的中间特征图进行压缩，并将压缩后的中间特征图及车辆的世界坐 标和前进方向的信息进行广播。
（2.3）网联车
Figure 61803DEST_PATH_IMAGE016
收到广播信息，并对收到的中间特征图进行解压缩，并综合利用 网联车的世界坐标和前进方向逆时针夹角大小，对解压缩后的中间特征图进行仿射变换， 其中仿射变换利用网联车不同坐标系之间的仿射变换矩阵，将不同车辆坐标系下产生的中 间特征图，转换到网联车
Figure 178663DEST_PATH_IMAGE026
的坐标系下，以实现特征图的空间对齐。具体如下：
1）将网联车
Figure 77349DEST_PATH_IMAGE026
的特征图及解压缩后的中间特征图集合表示为
Figure 850133DEST_PATH_IMAGE044
，
Figure 485776DEST_PATH_IMAGE020
为网联车
Figure 598088DEST_PATH_IMAGE026
自身的中间特征图，
Figure 526730DEST_PATH_IMAGE012
为第i辆 网联车的中间特征图。对任意
Figure 990073DEST_PATH_IMAGE045
，其尺寸均为
Figure 662362DEST_PATH_IMAGE046
。
2）对任意
Figure 629181DEST_PATH_IMAGE047
，根据网联车i和
Figure 728724DEST_PATH_IMAGE008
前进方向的逆时针夹角大小 和各自的世界坐标，列出仿射变换矩阵
Figure 413784DEST_PATH_IMAGE017
。
以网联车
Figure 388299DEST_PATH_IMAGE008
前进方向为y方向，与前进方向垂直的方向为x方向，对任一网联车 i，仿射变换矩阵
Figure 209625DEST_PATH_IMAGE017
为：
Figure 745649DEST_PATH_IMAGE048
其中，
Figure 652425DEST_PATH_IMAGE025
表示网联车i和
Figure 666517DEST_PATH_IMAGE026
水平x方向的距离，
Figure 935824DEST_PATH_IMAGE027
表示网联车i和
Figure 252536DEST_PATH_IMAGE026
垂直y方 向的距离，
Figure 272707DEST_PATH_IMAGE028
为网联车i前进方向和
Figure 965857DEST_PATH_IMAGE026
前进方向的逆时针夹角大小。
3）利用仿射变换矩阵
Figure 886408DEST_PATH_IMAGE017
对网联车i的特征图
Figure 639600DEST_PATH_IMAGE029
进行仿射变换，变换后的特征图
Figure 645603DEST_PATH_IMAGE029
与
Figure 876864DEST_PATH_IMAGE049
空间对齐；假设特征图
Figure 651922DEST_PATH_IMAGE029
上的任一点值，其坐标为
Figure 576015DEST_PATH_IMAGE030
，则其仿射变换后的坐标
Figure 573708DEST_PATH_IMAGE031
为：
Figure 608660DEST_PATH_IMAGE050
即当
Figure 503804DEST_PATH_IMAGE051
，
Figure 333220DEST_PATH_IMAGE052
时：
Figure 579393DEST_PATH_IMAGE053
；
Figure 152457DEST_PATH_IMAGE054
；
对变换后的特征图
Figure 902107DEST_PATH_IMAGE055
，对点值缺失的坐标，其上的点值全用0值填充。上述0值填充 方法为对缺失值的一种处理方法，表示缺失值无效，对后续特征融合无影响。
4）按2）-3）方法将所有的
Figure 168003DEST_PATH_IMAGE021
的中间特征图进行仿射变换，变换 后且空间对齐的特征图集合表示为
Figure 871780DEST_PATH_IMAGE022
。
（2.4）将集合
Figure 514113DEST_PATH_IMAGE056
中的所有中间特征图，依次按通道方向进行拼接，将拼接后的特征 图输入基于多特征自学习机制的网络单元，完成N辆网联车视觉图像基于多特征自学习机 制的特征级融合，并将融合后的特征图输入检测头网络，回归出该网联车图像视野范围内 的可见障碍物目标以及被周围网联车遮挡的障碍目标，如图3所示。
上述障碍物检测方法基于深度学习网络检测识别方法，本实例采用轻量型Yolov5s网络。Yolov5s网络模型是一种one-stage（一阶段）网络，能对输入图像一次推理回归出障碍物在图像中的位置。此处网络车多特征融合单元放置在Yolov5s语义特征骨干提取网络和检测头网络两部分之间，其目的是由于语义特征骨干提取网络提取的是高级语义特征图像的深层信息，是对图像数据颜色特征、纹理特征、形状特征、空间关系特征的高层次表达，更适合做特征融合。检测头网络部分则是利用高级语义特征，检测关注图像中特定的物体目标，能同时获得这一目标的类别信息和位置信息。
上述融合方法，在网联车自身特征的基础上，融合了周围网联车的前视图像特征，能将被周围网联车遮挡的障碍物目标通过周围网联车的视角下被检测出来，将周围网联车视角下的中间特征图做仿射变换，统一不同空间位置下的特征图坐标到同一坐标下，拓展了单一网联车的视野范围，弥补了视觉盲区。
上述中间特征压缩方法，采用无损压缩算法霍夫曼（Huffman）算法，能将中间特征图压缩至原来的四分之一，特征图的传输时延也降至原来的四分之一。
步骤三：在V2Vsim仿真模拟器中，生成大量的包含目标障碍物被部分遮挡、全部遮挡的交通环境下的网联车自身及其周围网联车同一时刻下的视觉图像、世界坐标、前进方向角度的数据。将数据切分为训练集、验证集、测试集，且训练集、验证集、测试集数量比例满足6:2:2，用训练集训练步骤二描述的基于多特征自学习机制的网联车视觉融合的目标检测网络，直至网络正常收敛且准确率大于一定阈值。其中阈值为经验值，实验表明阈值设置为0.9时，网络基本能检测出被遮挡的障碍物，检测效果符合预期。
上述网络准确率为衡量检测精度的指标mAP（mean average precision平均精度均值），综合表示检测网络的准确率和召回率，是一种常用于衡量检测网络性能的指标。
步骤四，采用步骤三训练好的网络，对存在目标障碍物遮挡的网联车进行基于视觉图像的障碍物检测，实现对遮挡目标障碍物检测的高准确率和成功率。上述训练好的目标检测网络的障碍物检测的准确率（mAP）相比于单一网联车视角的检测准确率提高了2.75个百分点，对盲区视角下的障碍物检测准确率提高了67%。
如图4所示，与上述基于多网联车空间对齐特征融合的视觉增强方法相对应，本发明还提供了一种基于多网联车空间对齐特征融合的视觉增强系统，每辆网联车上均安装有该系统，该系统包括坐标记录模块、图像采集模块、输入模块、多网联车空间对齐特征融合网络模块、特征压缩模块、信息广播模块、信息接收模块、特征解压缩模块、仿射变换模块和输出模块；
所述坐标记录模块用于记录自身网联车的世界坐标和前进方向，并发送到信息广播模块；
所述图像采集模块用于采集通过网联车车顶安装的前视中央摄像头拍摄的图像，并发送到输入模块；
所述多网联车空间对齐特征融合网络模块包括语义特征提取模块、基于多特征自学习机制的网络模块和检测头模块；所述基于多特征自学习机制的网络模块通过对多源特征自学习权重方式，去除冗余特征的同时实现特征间的互补和增强；
所述输入模块用于将图像输入到多网联车空间对齐特征融合网络模块中的语义特征提取模块；
所述语义特征提取模块用于得到图像的中间特征图，并传输到特征压缩模块；
所述特征压缩模块用于将中间特征图进行压缩，并发送到信息广播模块；
所述信息广播模块用于将压缩的中间特征图与世界坐标和前进方向信息一起进行广播；
所述信息接收模块用于接收周围其他网联车的信息广播模块的广播信息，并发送给特征解压缩模块；
所述特征解压缩模块用于对周围网联车的中间特征图进行解压缩，并将周围网联车的世界坐标以及前进方向和解压缩后的中间特征图一起传输到仿射变换模块；
所述仿射变换模块用于通过周围网联车的世界坐标以及与自身网联车之间前进方向的逆时针夹角大小，对解压缩后的周围网联车的中间特征图进行仿射变换，与自身网联车的中间特征图空间对齐；并将空间对齐后的中间特征图和自身网联车的中间特征图依次按通道方向进行拼接，将拼接后的特征图发送到多网联车空间对齐特征融合网络模块中的基于多特征自学习机制的网络模块；
所述基于多特征自学习机制的网络模块用于根据拼接后的特征图完成多辆网联车视觉图像基于多特征自学习机制的特征级融合，并将融合后的特征图输入多网联车空间对齐特征融合网络模块中的检测头模块；
所述检测头模块用于得到自身网联车图像视野范围内的障碍物感知结果，并输入到输出模块；
所述输出模块用于根据障碍物感知结果得到可见障碍物目标以及被周围网联车遮挡的障碍目标。
以上各模块功能执行具体过程，可以参考本发明提供的一种基于多网联车空间对齐特征融合的视觉增强方法的实施例。
与前述基于多网联车空间对齐特征融合的视觉增强方法的实施例相对应，本发明还提供了基于多网联车空间对齐特征融合的视觉增强装置的实施例。
参见图5，本发明实施例提供的一种基于多网联车空间对齐特征融合的视觉增强装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述实施例中的基于多网联车空间对齐特征融合的视觉增强方法。
本发明基于多网联车空间对齐特征融合的视觉增强装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本发明基于半训练和句子选择的远程监督命名实体识别装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于多网联车空间对齐特征融合的视觉增强方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (9)

1.一种基于多网联车空间对齐特征融合的视觉增强方法，其特征在于，该方法包括以下步骤：
（1）在每辆网联车车顶安装前视中央摄像头；
（2）基于目标检测网络，在目标检测网络中语义特征提取部分和检测头部分之间添加一个基于多特征自学习机制的网络单元，构建基于多特征自学习机制的网联车视觉融合的目标检测网络；其中基于多特征自学习机制的网络单元通过对多源特征自学习权重方式，去除冗余特征的同时实现特征间的互补和增强；所述基于多特征自学习机制的网络单元的结构具体为：输入层大小为
Figure DEST_PATH_IMAGE002
，第一层卷积核大小为
Figure DEST_PATH_IMAGE004
，第一层隐藏层大小为
Figure 71392DEST_PATH_IMAGE002
，第二层卷积核大小为
Figure DEST_PATH_IMAGE006
，第二层隐藏层大小为
Figure DEST_PATH_IMAGE008
，输出层卷积核大小为
Figure DEST_PATH_IMAGE010
，输出层大小为
Figure DEST_PATH_IMAGE012
，其中C为输入的中间特征层通道数，N为融合特征的网联车数量，w为中间特征图的宽，h为中间特征图的长，C、N、w、h均为正整数；
（3）选定一辆网联车作为执行感知任务的网联车，并记录执行感知任务的网联车及其周围的网联车同一时刻前视中央摄像头拍摄到的图像、各自网联车的世界坐标和前进方向，将图像输入到基于多特征自学习机制的网联车视觉融合的目标检测网络，通过语义特征提取部分得到所有图像的中间特征图，将周围网联车的中间特征图压缩后，与对应车辆的世界坐标和前进方向信息一起进行广播；
（4）执行感知任务的网联车收到广播信息，对收到的中间特征图进行解压缩，并利用周围网联车的世界坐标以及与执行感知任务的网联车之间前进方向的逆时针夹角大小，对解压缩后的中间特征图进行仿射变换；
（5）利用所有仿射变换后已与执行感知任务的网联车的中间特征图空间对齐的中间特征图，和执行感知任务的网联车的中间特征图依次按通道方向进行拼接，将拼接后的特征图输入基于多特征自学习机制的网络单元，完成多辆网联车视觉图像基于多特征自学习机制的特征级融合，并将融合后的特征图输入检测头网络，回归出执行感知任务的网联车图像视野范围内的可见障碍物目标以及被周围网联车遮挡的障碍目标。
2.根据权利要求1所述的一种基于多网联车空间对齐特征融合的视觉增强方法，其特征在于，每辆网联车的前视中央摄像头技术参数相同，且摄像头安装高度、位置均一致。
3.根据权利要求1所述的一种基于多网联车空间对齐特征融合的视觉增强方法，其特征在于，所述仿射变换具体过程如下：
（4.1）将执行感知任务的网联车记为网联车
Figure DEST_PATH_IMAGE014
，将网联车
Figure 50850DEST_PATH_IMAGE014
的特征图及解压缩后的中间特征图集合表示为
Figure DEST_PATH_IMAGE016
，
Figure DEST_PATH_IMAGE018
为网联车
Figure 361745DEST_PATH_IMAGE014
自身的中间特征图，
Figure DEST_PATH_IMAGE020
为第i辆网联车的中间特征图，
Figure DEST_PATH_IMAGE022
；对任意
Figure DEST_PATH_IMAGE024
，其尺寸均为
Figure DEST_PATH_IMAGE026
；N-1表示为执行感知任务的网联车周围的N-1辆网联车；
（4.2）对任意
Figure 835583DEST_PATH_IMAGE024
，根据网联车i和
Figure 384376DEST_PATH_IMAGE014
前进方向的逆时针夹角大小和各自的世界坐标，列出仿射变换矩阵
Figure DEST_PATH_IMAGE028
；
（4.3）利用仿射变换矩阵
Figure 737997DEST_PATH_IMAGE028
对网联车i的特征图
Figure DEST_PATH_IMAGE030
进行仿射变换，变换后的特征图
Figure DEST_PATH_IMAGE032
与
Figure DEST_PATH_IMAGE033
空间对齐；
（4.4）按（4.2）-（4.3）的过程将所有的
Figure 316615DEST_PATH_IMAGE024
的中间特征图进行仿射变换，变换后且空间对齐的特征图集合表示为
Figure DEST_PATH_IMAGE035
。
4.根据权利要求3所述的一种基于多网联车空间对齐特征融合的视觉增强方法，其特征在于，步骤（4.2）中，以网联车
Figure DEST_PATH_IMAGE036
前进方向为y方向，与前进方向垂直的方向为x方向，对任一网联车i，仿射变换矩阵
Figure DEST_PATH_IMAGE038
为：
Figure DEST_PATH_IMAGE040
其中，
Figure DEST_PATH_IMAGE042
表示网联车i和
Figure 577832DEST_PATH_IMAGE036
水平x方向的距离，
Figure DEST_PATH_IMAGE044
表示网联车i和
Figure 43448DEST_PATH_IMAGE036
垂直y方向的距离，
Figure DEST_PATH_IMAGE046
为网联车i前进方向和
Figure 318703DEST_PATH_IMAGE036
前进方向的逆时针夹角大小。
5.根据权利要求3所述的一种基于多网联车空间对齐特征融合的视觉增强方法，其特征在于，步骤（4.3）中，假设特征图
Figure DEST_PATH_IMAGE048
上的任一点值，其坐标为
Figure DEST_PATH_IMAGE050
，则其仿射变换后的坐标
Figure DEST_PATH_IMAGE052
为：
Figure DEST_PATH_IMAGE054
即当
Figure DEST_PATH_IMAGE056
，
Figure DEST_PATH_IMAGE058
时：
Figure DEST_PATH_IMAGE060
；
Figure DEST_PATH_IMAGE062
。
6.根据权利要求5所述的一种基于多网联车空间对齐特征融合的视觉增强方法，其特征在于，对于变换后的特征图
Figure DEST_PATH_IMAGE064
，特征图
Figure DEST_PATH_IMAGE065
上点值缺失的坐标，均用0值填充。
7.根据权利要求3所述的一种基于多网联车空间对齐特征融合的视觉增强方法，其特征在于，周围的网联车车辆数根据周围的网联车与执行感知任务的网联车之间的半径阈值选择，以执行感知任务的网联车前视中央摄像头为原点，搜索原点半径阈值M米范围内的且垂直方向坐标大于0的离原点最近的N-1辆网联车，半径阈值M以及选择的网联车车辆数根据实际需求设定。
8.根据权利要求7所述的一种基于多网联车空间对齐特征融合的视觉增强方法，其特征在于，若搜索到的网联车车辆数小于N-1，则缺失车辆数对应的中间特征图值全用0值填充。
9.一种基于多网联车空间对齐特征融合的视觉增强系统，其特征在于，每辆网联车上均安装有该系统，该系统包括坐标记录模块、图像采集模块、输入模块、多网联车空间对齐特征融合网络模块、特征压缩模块、信息广播模块、信息接收模块、特征解压缩模块、仿射变换模块和输出模块；
所述坐标记录模块用于记录自身网联车的世界坐标和前进方向，并发送到信息广播模块；
所述图像采集模块用于采集通过网联车车顶安装的前视中央摄像头拍摄的图像，并发送到输入模块；
所述多网联车空间对齐特征融合网络模块包括语义特征提取模块、基于多特征自学习机制的网络模块和检测头模块；所述基于多特征自学习机制的网络模块通过对多源特征自学习权重方式，去除冗余特征的同时实现特征间的互补和增强；所述基于多特征自学习机制的网络单元的结构具体为：输入层大小为
Figure DEST_PATH_IMAGE066
，第一层卷积核大小为
Figure DEST_PATH_IMAGE067
，第一层隐藏层大小为
Figure 184284DEST_PATH_IMAGE002
，第二层卷积核大小为
Figure DEST_PATH_IMAGE068
，第二层隐藏层大小为
Figure 249192DEST_PATH_IMAGE008
，输出层卷积核大小为
Figure DEST_PATH_IMAGE069
，输出层大小为
Figure 506998DEST_PATH_IMAGE012
，其中C为输入的中间特征层通道数，N为融合特征的网联车数量，w为中间特征图的宽，h为中间特征图的长，C、N、w、h均为正整数；
所述输入模块用于将图像输入到多网联车空间对齐特征融合网络模块中的语义特征提取模块；
所述语义特征提取模块用于得到图像的中间特征图，并传输到特征压缩模块；
所述特征压缩模块用于将中间特征图进行压缩，并发送到信息广播模块；
所述信息广播模块用于将压缩的中间特征图与世界坐标和前进方向信息一起进行广播；
所述信息接收模块用于接收周围其他网联车的信息广播模块的广播信息，并发送给特征解压缩模块；
所述特征解压缩模块用于对周围网联车的中间特征图进行解压缩，并将周围网联车的世界坐标以及前进方向和解压缩后的中间特征图一起传输到仿射变换模块；
所述仿射变换模块用于通过周围网联车的世界坐标以及与自身网联车之间前进方向的逆时针夹角大小，对解压缩后的周围网联车的中间特征图进行仿射变换，与自身网联车的中间特征图空间对齐；并将空间对齐后的中间特征图和自身网联车的中间特征图依次按通道方向进行拼接，将拼接后的特征图发送到多网联车空间对齐特征融合网络模块中的基于多特征自学习机制的网络模块；
所述基于多特征自学习机制的网络模块用于根据拼接后的特征图完成多辆网联车视觉图像基于多特征自学习机制的特征级融合，并将融合后的特征图输入多网联车空间对齐特征融合网络模块中的检测头模块；
所述检测头模块用于得到自身网联车图像视野范围内的障碍物感知结果，并输入到输出模块；
所述输出模块用于根据障碍物感知结果得到可见障碍物目标以及被周围网联车遮挡的障碍目标。
CN202210317048.XA 2022-03-29 2022-03-29 基于多网联车空间对齐特征融合的视觉增强方法及系统 Active CN114419605B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210317048.XA CN114419605B (zh) 2022-03-29 2022-03-29 基于多网联车空间对齐特征融合的视觉增强方法及系统
PCT/CN2023/082964 WO2023185564A1 (zh) 2022-03-29 2023-03-22 基于多网联车空间对齐特征融合的视觉增强方法及系统
US18/493,833 US20240062533A1 (en) 2022-03-29 2023-10-25 Visual enhancement method and system based on fusion of spatially aligned features of multiple networked vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210317048.XA CN114419605B (zh) 2022-03-29 2022-03-29 基于多网联车空间对齐特征融合的视觉增强方法及系统

Publications (2)

Publication Number Publication Date
CN114419605A CN114419605A (zh) 2022-04-29
CN114419605B true CN114419605B (zh) 2022-07-19

Family

ID=81263799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210317048.XA Active CN114419605B (zh) 2022-03-29 2022-03-29 基于多网联车空间对齐特征融合的视觉增强方法及系统

Country Status (3)

Country Link
US (1) US20240062533A1 (zh)
CN (1) CN114419605B (zh)
WO (1) WO2023185564A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419605B (zh) * 2022-03-29 2022-07-19 之江实验室 基于多网联车空间对齐特征融合的视觉增强方法及系统
CN115272404B (zh) * 2022-06-17 2023-07-18 江南大学 一种基于核空间和隐式空间特征对齐的多目标跟踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432017A (zh) * 2020-03-31 2020-07-17 河南工业大学 一种基于车联网和智能驾驶技术的智能粮食物流专用平台车
CN112113578A (zh) * 2020-09-23 2020-12-22 安徽工业大学 一种用于自动驾驶车辆的障碍物运动预测方法
CN113947766A (zh) * 2021-12-21 2022-01-18 之江实验室 一种基于卷积神经网络的实时车牌检测方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9177225B1 (en) * 2014-07-03 2015-11-03 Oim Squared Inc. Interactive content generation
CN107392092B (zh) * 2017-06-13 2019-10-18 中国地质大学（武汉） 一种基于v2v的智能车辆前方道路环境透视感知方法
US11796657B2 (en) * 2017-10-26 2023-10-24 Pioneer Corporation Control device, control method, program, and storage medium
CN108983248A (zh) * 2018-06-26 2018-12-11 长安大学 一种基于3d激光雷达及v2x的网联车定位方法
US11927668B2 (en) * 2018-11-30 2024-03-12 Qualcomm Incorporated Radar deep learning
CN109711352A (zh) * 2018-12-28 2019-05-03 中国地质大学（武汉） 基于几何卷积神经网络的车辆前方道路环境透视感知方法
EP3918514A1 (en) * 2019-01-30 2021-12-08 Sony Group Corporation Object detection apparatus, system and method
EP3702802A1 (en) * 2019-03-01 2020-09-02 Aptiv Technologies Limited Method of multi-sensor data fusion
CN111666960B (zh) * 2019-03-06 2024-01-19 南京地平线机器人技术有限公司 图像识别方法、装置、电子设备及可读存储介质
US20210125498A1 (en) * 2019-10-28 2021-04-29 Street Spot Me LLC System and method for management of parking spaces
JP7337741B2 (ja) * 2020-03-25 2023-09-04 日立Astemo株式会社 情報処理装置、車載制御装置
DE102020211596A1 (de) * 2020-05-27 2021-12-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Generieren eines trainierten neuronalen Faltungs-Netzwerks mit invarianter Integrationsschicht zum Klassifizieren von Objekten
US20230267720A1 (en) * 2020-06-12 2023-08-24 University Of Central Florida Research Foundation, Inc. Cooperative lidar object detection via feature sharing in deep networks
CN112509032A (zh) * 2020-11-24 2021-03-16 江苏大学 一种基于汽车分布式感知平台的前方感知模块的设计方法
US20210118146A1 (en) * 2020-12-23 2021-04-22 Intel Corporation Methods and apparatus for high-fidelity vision tasks using deep neural networks
CN113255659B (zh) * 2021-01-26 2022-07-29 南京邮电大学 一种基于MSAFF-Yolov3的车牌校正检测识别方法
CN113486726B (zh) * 2021-06-10 2023-08-01 广西大学 一种基于改进卷积神经网络的轨道交通障碍物检测方法
CN113740837B (zh) * 2021-09-01 2022-06-24 广州文远知行科技有限公司 一种障碍物跟踪方法、装置、设备及存储介质
CN114091598A (zh) * 2021-11-16 2022-02-25 北京大学 一种基于语义级信息融合的多车协同环境感知方法
CN114419605B (zh) * 2022-03-29 2022-07-19 之江实验室 基于多网联车空间对齐特征融合的视觉增强方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432017A (zh) * 2020-03-31 2020-07-17 河南工业大学 一种基于车联网和智能驾驶技术的智能粮食物流专用平台车
CN112113578A (zh) * 2020-09-23 2020-12-22 安徽工业大学 一种用于自动驾驶车辆的障碍物运动预测方法
CN113947766A (zh) * 2021-12-21 2022-01-18 之江实验室 一种基于卷积神经网络的实时车牌检测方法

Also Published As

Publication number Publication date
US20240062533A1 (en) 2024-02-22
WO2023185564A1 (zh) 2023-10-05
CN114419605A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN114419605B (zh) 基于多网联车空间对齐特征融合的视觉增强方法及系统
CN109271944B (zh) 障碍物检测方法、装置、电子设备、车辆及存储介质
CN109343061B (zh) 传感器标定方法、装置、计算机设备、介质和车辆
CN109086668B (zh) 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
US11940803B2 (en) Method, apparatus and computer storage medium for training trajectory planning model
CN113762252A (zh) 无人机智能跟随目标确定方法、无人机和遥控器
WO2022206414A1 (zh) 三维目标检测方法及装置
CN109522807B (zh) 基于自生成特征的卫星影像识别系统、方法及电子设备
CN112801158A (zh) 基于级联融合和注意力机制的深度学习小目标检测方法及装置
WO2023216654A1 (zh) 多视角语义分割方法、装置、电子设备和存储介质
US11062141B2 (en) Methods and apparatuses for future trajectory forecast
CN104463962A (zh) 基于gps信息视频的三维场景重建方法
CN116071557A (zh) 一种长尾目标检测方法、计算机可读存储介质及驾驶设备
CN113222968B (zh) 融合毫米波和图像的检测方法、系统、设备及存储介质
CN115049901A (zh) 一种基于特征图加权注意力融合的小目标检测方法及设备
CN114386481A (zh) 一种车辆感知信息融合方法、装置、设备及存储介质
CN113610143A (zh) 一种点云噪点的分类方法、装置、设备及存储介质
CN113837270B (zh) 一种目标识别方法、装置、设备及存储介质
CN115578709B (zh) 一种车路协同的特征级协同感知融合方法和系统
CN112654997B (zh) 一种车道线检测方法和装置
CN112668596B (zh) 三维物体识别方法及装置、识别模型训练方法及装置
US20230386062A1 (en) Method for training depth estimation model, method for estimating depth, and electronic device
WO2022217551A1 (zh) 目标检测方法和装置
CN113624223A (zh) 一种室内停车场地图构建方法及装置
CN116343158A (zh) 车道线检测模型的训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant