CN116758504A - 图像处理方法、装置、车辆与存储介质 - Google Patents
图像处理方法、装置、车辆与存储介质 Download PDFInfo
- Publication number
- CN116758504A CN116758504A CN202310764945.XA CN202310764945A CN116758504A CN 116758504 A CN116758504 A CN 116758504A CN 202310764945 A CN202310764945 A CN 202310764945A CN 116758504 A CN116758504 A CN 116758504A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- image
- vehicle
- transformation matrix
- body coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims abstract description 53
- 230000009466 transformation Effects 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 description 9
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种图像处理方法、装置、车辆与存储介质,涉及自动驾驶技术领域,包括:获取特征点在第一图像中的第一位置与该特征点在第二图像中的第二位置,该第一位置位于第一车体坐标系下,该第二位置位于第二车体坐标系下;利用第一变换矩阵,将该第一车体坐标系下的第一位置转换为世界坐标系下的第一位置;利用第二变换矩阵,将该世界坐标系下的第一位置转换为第二车体坐标系下的第一位置;对该第二车体坐标系下的第一位置与该第二位置进行融合,得到该特征点在该第二图像的目标位置。使用本公开提出的图像处理方法,可以在节约计算量的前提下,也能够得到目标位置。
Description
技术领域
本公开涉及自动驾驶技术领域,尤其涉及一种图像处理方法、装置、车辆与存储介质。
背景技术
目前,车辆可以通过拍摄周围环境来获得环境图像,并分析环境图像中物体的三维位置以及物体的运动信息,进而对车辆的行驶路线进行规划。
相关技术中,可以通过模型预测特征点在当前帧图像中的位置,再根据特征点在当前帧图像中的位置来得到物体的三维位置与物体的运动信息,然而模型预测需要引入大量额外的计算量。
发明内容
为克服相关技术中存在的问题,本公开提供一种图像处理方法、装置、车辆与存储介质。
根据本公开实施例的第一方面,提供一种图像处理方法,包括:
获取特征点在第一图像中的第一位置与所述特征点在第二图像中的第二位置,所述第一位置位于第一车体坐标系下,所述第二位置位于第二车体坐标系下;
利用第一变换矩阵,将所述第一车体坐标系下的第一位置转换为世界坐标系下的第一位置;
利用第二变换矩阵,将所述世界坐标系下的第一位置转换为第二车体坐标系下的第一位置;
对所述第二车体坐标系下的第一位置与所述第二位置进行融合,得到所述特征点在所述第二图像的目标位置。
可选地,所述利用第一变换矩阵,将所述第一车体坐标系下的第一位置转换为世界坐标系下的第一位置,包括:
将所述第一车体坐标系下的第一位置乘以所述第一变换矩阵,得到在所述世界坐标系下的第一位置。
可选地,所述利用第二变换矩阵,将所述世界坐标系下的第一位置转换为第二车体坐标系下的第一位置,包括:
将所述世界坐标系下的第一位置乘以所述第二变换矩阵的逆矩阵,得到在所述第二车体坐标系下的第一位置。
可选地,对所述第二车体坐标系下的第一位置与所述第二位置进行融合,得到所述特征点在所述第二图像的目标位置,包括:
对所述第二车体坐标系下的第一位置与所述第二位置进行拼接,得到拼接位置;
对所述拼接位置进行卷积,得到融合后的所述目标位置。
可选地,所述方法还包括:
将所述特征点在所述第一图像中的第一位置从第一图像坐标系转换至第一车体坐标系下,得到在所述第一车体坐标系下的第一位置;和/或,
将所述特征点在所述第二图像中的第二位置从第二图像坐标系转换至第二车体坐标系下,得到在所述第二车体坐标系下的第二位置。
可选地,所述第一图像与所述第二图像为相邻两帧图像,或所述第一图像与所述第二图像之间间隔多帧图像。
根据本公开实施例的第二方面,提供一种图像处理装置,包括:
获取模块,被配置为获取特征点在第一图像中的第一位置与所述特征点在第二图像中的第二位置,所述第一位置位于第一车体坐标系下,所述第二位置位于第二车体坐标系下;
第一转换模块,被配置为利用第一变换矩阵,将所述第一车体坐标系下的第一位置转换为世界坐标系下的第一位置;
第二转换模块,被配置为利用第二变换矩阵,将所述世界坐标系下的第一位置转换为第二车体坐标系下的第一位置;
融合模块,被配置为对所述第二车体坐标系下的第一位置与所述第二位置进行融合,得到所述特征点在所述第二图像的目标位置。
可选地,所述第一转换模块包括:
第一转换子模块,被配置为将所述第一车体坐标系下的第一位置乘以所述第一变换矩阵,得到在所述世界坐标系下的第一位置。
根据本公开实施例的第三方面,提供一种车辆,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
执行本公开实施例的第一方面提供的图像处理方法的步骤。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开第一方面所提供的图像处理方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:
通过上述技术方案,可以将第一车体坐标系下的第一位置转换为第二车体坐标系下的第一位置,再对第二车体坐标系下的第一位置与第二位置进行融合,得到融合后的目标位置。
在此过程中,本公开直接利用第一车体坐标系下的第一位置与第二车体坐标系下的第二位置,将第一车体坐标系下的第一位置转换为第二车体坐标系下的第一位置,就可以对第二车体坐标系下的第一位置与第二位置进行融合,得到特征点在第二图像中的目标位置,而无需借助模型或网络来预测特征点在第二图像中的目标位置,从而避免了使用模型或网络所增加的额外计算量。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像处理方法的步骤流程图;
图2是根据一示例性实施例示出的一种融合第一图像与第二图像的示意图;
图3是根据一示例性实施例示出的一种图像处理装置的结构框图;
图4是根据一示例性实施例示出的一种车辆的结构框图;
图5是根据一示例性实施例示出的一种图像处理装置的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
相关技术中,可以将上一帧图像与当前帧图像输入至模型中,通过模型来预测特征点在上一帧图像与当前帧图像之间的位置变化量,在特征点在上一帧图像中的位置的基础上叠加位置变化量,得到特征点在当前帧图像中的位置。然而采用模型预测特征点在当前帧图像中的位置的方式,需要额外引入训练样本来训练模型,模型中具有多层网络,也需要多层网络的计算,才能预测出特征点在当前帧图像中的位置,导致计算量增大;并且如果模型预测的特征点在当前帧图像中的位置不准确,会导致根据该位置得到的物体的三维位置与物体的运动信息也不准确。
也可以采用长短期记忆人工神经网络(Long-Short Term Memory,LSTM)来对多帧图像进行处理,来得到特征点在当前帧图像中的位置,然而LSTM也需要对输入的多帧图像通过多层网络进行多层训练,才能通过训练后的LSTM来得到特征点在当前帧图像中的位置,同样会存在计算量较大的问题。
基于此,本公开提出一种图像处理方法,该方法包括以下步骤:
在步骤S11中,获取特征点在第一图像中的第一位置与所述特征点在第二图像中的第二位置,所述第一位置位于第一车体坐标系下,所述第二位置位于第二车体坐标系下。
可选地,特征点指的是图像中图像灰度值发生剧烈变化的角点或物体边缘的边缘点;特征点在图像中的位置指的是特征点在图像中的像素坐标,那么特征点在第一图像中的第一位置则是特征点在第一图像中的像素坐标,特征点在第二图像中的第二位置则是特征点在第二图像中的像素坐标。
可选地,车体坐标系是以车辆当前所在位置为坐标系原点所构成的坐标系,由于车辆是在实时移动,车辆在不同时刻所处的位置不同的,因此以车辆当前所在位置所构成的车体坐标系,会随着车辆所在的位置的变化而变化。如此,第一车体坐标系与第二车体坐标系不同,第一车体坐标系是以车辆拍摄第一图像时所处的位置为原点所构成的车体坐标系,第二车体坐标系是以车辆拍摄第二图像时所处的位置为原点所构成的车体坐标系。
其中,车辆可以通过相机等图像采集装置来采集第一图像与第二图像。
其中,第一图像与第二图像可以为相邻两帧图像,第一图像与第二图像也可以为相邻两帧关键帧图像,第一图像与第二图像之间可以间隔多帧图像。第一图像的获取时刻位于第二图像的获取时刻之前,所以第一图像也可以视为历史图像,第二图像可以视为当前帧图像。
可以理解的是,第一车体坐标系下的第一位置是以第一车体坐标系的原点为参考物,其第一位置是相较于第一车体坐标系的原点而言的;第二车体坐标系下的第二位置是以第二车体坐标系的原点为参考物,其第二位置是相较于第二车体坐标系的原点而言的。因此,第一车体坐标系下的第一位置与第二车体坐标系下的第二位置属于不同的坐标系中,二者无法在同一维度上进行融合。
在一些实施例中,可以将特征点在第一图像中的第一位置从第一图像坐标系转换至第一车体坐标系下,得到位于第一车体坐标系下的第一位置。
可选地,第一图像坐标系是图像采集装置采集的图像中,以像素为单位,坐标原点在图像左上角的坐标系,可以利用过图像采集装置的外参,将特征点在第一图像坐标系中的第一位置转换为第一车体坐标系中的第一位置。
在一些实施例中,可以将特征点在第二图像中的第二位置从第二图像坐标系转换至第二车体坐标系下,得到位于第二车体坐标系下的第二位置。
可选地,也可以利用图像采集装置的外参,将特征点在第二图像坐标系中的第二位置转换为第二车体坐标系中的第二位置。
可以理解的是,第一图像坐标系下的第一位置与第一车体坐标系下的第一位置是不同的,第一图像坐标系下的第一位置指的是特征点的像素坐标,而第一车体坐标系下的第一位置是已经转换为三维坐标的像素坐标,同理第二图像坐标系下的第二位置与第二车体坐标下的第二位置也是不同的。
在步骤S12中,利用第一变换矩阵,将所述第一车体坐标系下的第一位置转换为世界坐标系下的第一位置。
在一些实施例中,可以将所述第一车体坐标系下的第一位置乘以所述第一变换矩阵,得到在所述世界坐标系下的第一位置。
可选地,可以采用以下公式来得到在世界坐标系下的第一位置:
(1)
其中,为t-1时刻世界坐标系下的第一位置;/>为t-1时刻的第一变换矩阵;/>为第一车体坐标系下的第一位置,第一车体坐标系是以车辆在t-1时刻的位置为原点所绘制而成的车体坐标系。
可选地,第一变换矩阵是根据车辆在拍摄第一图像时的旋转角度与加速度确定的,第一变换矩阵的公式如下:
(2)
其中,为第一变换矩阵,/>为t-1时刻的旋转矩阵,T(t-1)为t-1时刻的平移动矩阵。
可选地,第一车体坐标系下的第一位置的公式如下:
(3)
其中,P为第一车体坐标系下的第一位置,x、y、z为第一车体坐标系下第一位置的三维坐标。
在步骤S13中,利用第二变换矩阵,将所述世界坐标系下的第一位置转换为第二车体坐标系下的第一位置。
在一些实施例中,可以将所述世界坐标系下的第一位置乘以所述第二变换矩阵的逆矩阵,得到在所述第二车体坐标系下的第一位置。
可选地,可以通过以下公式得到第二车体坐标系下的第一位置:
(4)
其中,为第二车体坐标系下的第一位置,/>为世界坐标下的第一位置;/>为t时刻下第二变换矩阵的逆矩阵,第二车体坐标系是以车辆在t时刻的位置为原点绘制而成的车体坐标系。
可选地,第一变换矩阵与第二变换矩阵可以从车辆定位信息中获取,第一变换矩阵与第二变换矩阵体现了车体坐标系与世界坐标系之间的转换关系。第二变换矩阵与第一变换矩阵不同,第一变换矩阵是根据车辆获取第一图像时的车辆运动状态所得到的,第二变换矩阵是根据车辆获取第二图像时的车辆运动状态所得到的。
结合公式(1)可知,将第一车体坐标系下的第一位置乘以t-1时刻的第一变换矩阵,得到世界坐标系下的第一位置;结合公式(4)可知,也可以将世界坐标系下的第一位置乘以t时刻的第二变换矩阵的逆矩阵,来得到第二车体坐标系下的第一位置。t-1时刻为车辆获取第一图像的时刻,t时刻为车辆获取第二图像的时刻。
可以理解的是,通过上述公式(4),是为了将世界坐标系下的第一位置转换为第二车体坐标系下的第一位置,以便与第二车体坐标系下的第二位置处于同一对齐的车体坐标系下,当第一位置与第二位置位于同一车体坐标系下时,即可消除车辆运动所带来的车体坐标系的影响。
可选地,将公式(1)带入公式(4)得到如下转换公式:
(5)
其中,为第二车体坐标系下的第一位置,/>为第二变换矩阵的逆矩阵,/>为第一车体坐标系下的第一位置。
因此,从公式(5)可以看出,可以将第一车体坐标系下的第一位置乘以第一变换矩阵,再乘以第二变换矩阵的逆矩阵,即可得到第二车体坐标系下的第一位置。
在步骤S14中,对所述第二车体坐标系下的第一位置与所述第二位置进行融合,得到所述特征点在所述第二图像的目标位置。
在一些实施例中,将第一车体坐标系下的第一位置转换为第二车体坐标系下的第一位置之后,第一位置与第二位置均位于第二车体坐标系下,如此,可以对第二车体坐标系下的第一位置与第二位置进行拼接,得到拼接位置,再对拼接位置进行卷积,得到目标位置,在此过程中的拼接卷积操作,则是对第一位置与第二位置进行融合的操作。
示例地,以第一车体坐标系的第一位置为第一车体坐标系的原点,第二车体坐标系的第二位置为第二车体坐标系的原点为例,若第一车体坐标系的原点为(0,0,0),那么将第一车体坐标系的原点转换至第二车体坐标系中后,第一车体坐标系的原点(0,0,0)可能会转换为(1,1,1),而第二车体坐标系的原点为(0,0,0),此时则可以将第二车体坐标系下的(1,1,1)与(0,0,0)进行融合,得到融合后的目标位置。
可选地,在对第二车体坐标系中的第一位置与第二位置进行融合之后,得到目标位置;再将第二车体坐标系下的目标位置,通过图像采集装置的外参,将第二车体坐标系下的目标位置转换为第二图像坐标系下的目标位置,第二图像坐标系下的目标位置则是融合后的特征点在第二图像中的像素坐标。
示例地,请参阅图2所示,可以将第一图像A与第二图像B进行拼接,得到拼接图像C,再将拼接图像C输入至卷积层进行卷积,得到目标图像D,而目标图像中则包含融合后的目标位置。可以理解的是,由于第一图像与第二图像中包含若干特征点,所以在对第一图像与第二图像进行融合时,也是在对第一图像与第二图像中的特征点的位置进行融合,也是在对第二车体坐标系下的第一位置与第二位置进行融合。
可选地,在得到特征点在第二图像中的目标位置之后,可以进一步地得到第二图像中物体的位置,进而实现对物体进行目标检测、对第二图像进行图像分割以及对物体进行目标跟踪等任务。
示例地,若拍摄的第二图像中存在目标车辆,则可以得到目标车辆的位置,进而根据目标车辆的位置实现对目标车辆的跟踪与检测等任务。
通过上述技术方案,可以将第一车体坐标系下的第一位置转换为第二车体坐标系下的第一位置,再对第二车体坐标系下的第一位置与第二位置进行融合,得到融合后的目标位置。
在此过程中,第一方面,本公开直接利用第一车体坐标系下的第一位置与第二车体坐标系下的第二位置,就可以得到特征点在第二图像中的目标位置,而无需借助模型或网络来预测特征点在第二图像中的目标位置,从而避免了使用模型或网络所增加的额外计算量;第二方面,将第一车体坐标系下的第一位置转换为第二车体坐标下的第一位置之后,第一位置与第二位置均处于第二车体坐标下,消除了车辆运动所带来的坐标系不同的影响;第三方面,在第二图像是当前帧图像,第一图像是历史帧图像的情况下,融合得到的目标位置不仅包含当前帧图像中的特征点的信息,还包含历史帧图像中的特征点的信息,使得得到的目标位置更加准确;第四方面,在第一图像与第二图像之间间隔了若干帧图像的情况下,若间隔的若干帧图像中存在被遮挡的物体,则可以通过第一图像与第二图像的融合,来使得得到的目标位置不受被遮挡的物体的影响,使得得到的目标位置也是准确的,例如,第一图像与第二图像之间间隔了第三图像,第三图像中的车辆等物体被树叶所遮挡,导致无法对车辆进行跟踪检测,而本公开中,第一图像与第二图像中的车辆等物体未被树叶遮挡,因此对第一图像与第二图像进行融合后,得到的特征点在第二图像中的目标位置不会受到第三图像的影响,其融合后得到的车辆等物体不会被树叶遮挡。
图3是根据一示例性实施例示出的一种图像处理装置的框图。参照图3,该图像处理装置300包括:获取模块310、第一转换模块320、第二转换模块330与融合模块340。
获取模块310,被配置为获取特征点在第一图像中的第一位置与所述特征点在第二图像中的第二位置,所述第一位置位于第一车体坐标系下,所述第二位置位于第二车体坐标系下;
第一转换模块320,被配置为利用第一变换矩阵,将所述第一车体坐标系下的第一位置转换为世界坐标系下的第一位置;
第二转换模块330,被配置为利用第二变换矩阵,将所述世界坐标系下的第一位置转换为第二车体坐标系下的第一位置;
融合模块340,被配置为对所述第二车体坐标系下的第一位置与所述第二位置进行融合,得到所述特征点在所述第二图像的目标位置。
可选地,第一转换模块320包括:
第一转换子模块,被配置为将所述第一车体坐标系下的第一位置乘以所述第一变换矩阵,得到在所述世界坐标系下的第一位置。
可选地,第二转换模块330包括:
第二转换子模块,被配置为将所述世界坐标系下的第一位置乘以所述第二变换矩阵的逆矩阵,得到在所述第二车体坐标系下的第一位置。
可选地,融合模块340包括:
拼接子模块,被配置为对所述第二车体坐标系下的第一位置与所述第二位置进行拼接,得到拼接位置;
卷积子模块,被配置为对所述拼接位置进行卷积,得到融合后的所述目标位置。
可选地,图像处理装置300还包括:
第三转换模块,被配置为将所述特征点在所述第一图像中的第一位置从第一图像坐标系转换至第一车体坐标系下,得到在所述第一车体坐标系下的第一位置;和/或,
第四转换模块,被配置为将所述特征点在所述第二图像中的第二位置从第二图像坐标系转换至第二车体坐标系下,得到在所述第二车体坐标系下的第二位置。
可选地,所述第一图像与所述第二图像为相邻两帧图像,或所述第一图像与所述第二图像之间间隔多帧图像。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的图像处理方法的步骤。
图4是根据一示例性实施例示出的一种车辆600的框图。例如,车辆600可以是混合动力车辆,也可以是非混合动力车辆、电动车辆、燃料电池车辆或者其他类型的车辆。车辆600可以是自动驾驶车辆、半自动驾驶车辆或者非自动驾驶车辆。
参照图4,车辆600可包括各种子系统,例如,信息娱乐系统610、感知系统620、决策控制系统630、驱动系统640以及计算平台650。其中,车辆600还可以包括更多或更少的子系统,并且每个子系统都可包括多个部件。另外,车辆600的每个子系统之间和每个部件之间可以通过有线或者无线的方式实现互连。
在一些实施例中,信息娱乐系统610可以包括通信系统,娱乐系统以及导航系统等。
感知系统620可以包括若干种传感器,用于感测车辆600周边的环境的信息。例如,感知系统620可包括全球定位系统(全球定位系统可以是GPS系统,也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit,IMU)、激光雷达、毫米波雷达、超声雷达以及摄像装置。
决策控制系统630可以包括计算系统、整车控制器、转向系统、油门以及制动系统。
驱动系统640可以包括为车辆600提供动力运动的组件。在一个实施例中,驱动系统640可以包括引擎、能量源、传动系统和车轮。引擎可以是内燃机、电动机、空气压缩引擎中的一种或者多种的组合。引擎能够将能量源提供的能量转换成机械能量。
车辆600的部分或所有功能受计算平台650控制。计算平台650可包括至少一个处理器651和存储器652,处理器651可以执行存储在存储器652中的指令653。
处理器651可以是任何常规的处理器,诸如商业可获得的CPU。处理器还可以包括诸如图像处理器(Graphic Process Unit,GPU),现场可编程门阵列(Field ProgrammableGate Array,FPGA)、片上系统(System on Chip,SOC)、专用集成芯片(ApplicationSpecific Integrated Circuit,ASIC)或它们的组合。
存储器652可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
除了指令653以外,存储器652还可存储数据,例如道路地图,路线信息,车辆的位置、方向、速度等数据。存储器652存储的数据可以被计算平台650使用。
在本公开实施例中,处理器651可以执行指令653,以完成上述的图像处理方法的全部或部分步骤。
图5是根据一示例性实施例示出的一种用于图像处理的装置1900的框图。例如,装置1900可以被提供为一服务器。参照图5,装置1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述图像处理方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理,一个有线或无线网络接口1950被配置为将装置1900连接到网络,和一个输入/输出接口1958。装置1900可以操作基于存储在存储器1932的操作系统。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的图像处理方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
获取特征点在第一图像中的第一位置与所述特征点在第二图像中的第二位置,所述第一位置位于第一车体坐标系下,所述第二位置位于第二车体坐标系下;
利用第一变换矩阵,将所述第一车体坐标系下的第一位置转换为世界坐标系下的第一位置;
利用第二变换矩阵,将所述世界坐标系下的第一位置转换为第二车体坐标系下的第一位置;
对所述第二车体坐标系下的第一位置与所述第二位置进行融合,得到所述特征点在所述第二图像的目标位置。
2.根据权利要求1所述的方法,其特征在于,所述利用第一变换矩阵,将所述第一车体坐标系下的第一位置转换为世界坐标系下的第一位置,包括:
将所述第一车体坐标系下的第一位置乘以所述第一变换矩阵,得到在所述世界坐标系下的第一位置。
3.根据权利要求1所述的方法,其特征在于,所述利用第二变换矩阵,将所述世界坐标系下的第一位置转换为第二车体坐标系下的第一位置,包括:
将所述世界坐标系下的第一位置乘以所述第二变换矩阵的逆矩阵,得到在所述第二车体坐标系下的第一位置。
4.根据权利要求1所述的方法,其特征在于,对所述第二车体坐标系下的第一位置与所述第二位置进行融合,得到所述特征点在所述第二图像的目标位置,包括:
对所述第二车体坐标系下的第一位置与所述第二位置进行拼接,得到拼接位置;
对所述拼接位置进行卷积,得到融合后的所述目标位置。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述特征点在所述第一图像中的第一位置从第一图像坐标系转换至第一车体坐标系下,得到在所述第一车体坐标系下的第一位置;和/或,
将所述特征点在所述第二图像中的第二位置从第二图像坐标系转换至第二车体坐标系下,得到在所述第二车体坐标系下的第二位置。
6.根据权利要求1至5任一所述的方法,其特征在于,所述第一图像与所述第二图像为相邻两帧图像,或所述第一图像与所述第二图像之间间隔多帧图像。
7.一种图像处理装置,其特征在于,包括:
获取模块,被配置为获取特征点在第一图像中的第一位置与所述特征点在第二图像中的第二位置,所述第一位置位于第一车体坐标系下,所述第二位置位于第二车体坐标系下;
第一转换模块,被配置为利用第一变换矩阵,将所述第一车体坐标系下的第一位置转换为世界坐标系下的第一位置;
第二转换模块,被配置为利用第二变换矩阵,将所述世界坐标系下的第一位置转换为第二车体坐标系下的第一位置;
融合模块,被配置为对所述第二车体坐标系下的第一位置与所述第二位置进行融合,得到所述特征点在所述第二图像的目标位置。
8.根据权利要求7所述的装置,其特征在于,所述第一转换模块包括:
第一转换子模块,被配置为将所述第一车体坐标系下的第一位置乘以所述第一变换矩阵,得到在所述世界坐标系下的第一位置。
9.一种车辆,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
执行权利要求1至6任一所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该程序指令被处理器执行时实现权利要求1~6中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310764945.XA CN116758504A (zh) | 2023-06-26 | 2023-06-26 | 图像处理方法、装置、车辆与存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310764945.XA CN116758504A (zh) | 2023-06-26 | 2023-06-26 | 图像处理方法、装置、车辆与存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116758504A true CN116758504A (zh) | 2023-09-15 |
Family
ID=87951171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310764945.XA Pending CN116758504A (zh) | 2023-06-26 | 2023-06-26 | 图像处理方法、装置、车辆与存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116758504A (zh) |
-
2023
- 2023-06-26 CN CN202310764945.XA patent/CN116758504A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969655B (zh) | 用于检测车位的方法、装置、设备、存储介质以及车辆 | |
EP3822852B1 (en) | Method, apparatus, computer storage medium and program for training a trajectory planning model | |
US11704821B2 (en) | Camera agnostic depth network | |
US11875521B2 (en) | Self-occlusion masks to improve self-supervised monocular depth estimation in multi-camera settings | |
CN113240813B (zh) | 三维点云信息确定方法及装置 | |
US20240054895A1 (en) | Parking method and apparatus, storage medium, chip and vehicle | |
US20220105947A1 (en) | Methods and systems for generating training data for horizon and road plane detection | |
CN111382695A (zh) | 用于检测目标的边界点的方法和装置 | |
CN116626670B (zh) | 自动驾驶模型的生成方法、装置、车辆及存储介质 | |
CN116168362A (zh) | 车辆感知模型的预训练方法、装置、电子设备及车辆 | |
CN115223015B (zh) | 模型训练方法、图像处理方法、装置和车辆 | |
CN116343174A (zh) | 目标检测方法、装置、车辆和存储介质 | |
CN116758504A (zh) | 图像处理方法、装置、车辆与存储介质 | |
CN115718304A (zh) | 目标对象检测方法、装置、车辆及存储介质 | |
CN115891984A (zh) | 一种智能驾驶系统、方法、设备及介质 | |
CN115661798B (zh) | 确定目标区域的方法、装置、车辆及存储介质 | |
CN116863429B (zh) | 检测模型的训练方法、可行使区域的确定方法和装置 | |
CN116366780B (zh) | 用于帧同步的帧序号确定方法、装置及车辆 | |
CN114842458B (zh) | 障碍物检测方法、装置、车辆和存储介质 | |
CN116740681B (zh) | 目标检测方法、装置、车辆和存储介质 | |
CN116659529B (zh) | 数据检测方法、装置、车辆及存储介质 | |
CN115471513B (zh) | 点云分割方法及装置 | |
CN117128976B (zh) | 道路中心线的获取方法、装置、车辆和存储介质 | |
CN114821543B (zh) | 障碍物检测方法、装置、车辆和存储介质 | |
CN118050010B (zh) | 车辆的定位方法、装置、车辆、存储介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |