CN113902666A - 一种车载多波段立体视觉感知方法、装置、设备和介质 - Google Patents
一种车载多波段立体视觉感知方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN113902666A CN113902666A CN202111514355.9A CN202111514355A CN113902666A CN 113902666 A CN113902666 A CN 113902666A CN 202111514355 A CN202111514355 A CN 202111514355A CN 113902666 A CN113902666 A CN 113902666A
- Authority
- CN
- China
- Prior art keywords
- visible light
- image
- light image
- camera
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000004438 eyesight Effects 0.000 title claims abstract description 36
- 230000008447 perception Effects 0.000 claims abstract description 175
- 230000004927 fusion Effects 0.000 claims abstract description 88
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种车载多波段立体视觉感知方法、装置、设备和介质，方法包括：分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；将左可见光图像、右可见光图像和红外图像进行图像融合，得到重建图像；根据重建图像，得到感知目标的外形信息；检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对特征点所在的区域匹配权值，根据权值，计算与感知目标的目标距离；根据外形信息和目标距离，为车辆对感知目标做出决策。采用本方法能够进行目标的立体感知。
Description
技术领域
本申请涉及视觉识别技术领域，特别是涉及一种车载多波段立体视觉感知方法、装置、设备和介质。
背景技术
立体视觉是一个古老的研究课题，同时又是人类观察世界、认知世界的重要功能和手段。人类从外界获得的信息约有75%来自双目视觉系统，用机器模拟人类双眼的视觉功能是人们多年的梦想。立体视觉(Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，可以用于目标识别、目标感知、目标避障、场景SLAM构建、任务规划等，主要应用包括移动机器人的自主导航系统，航空及遥感测量，工业自动化系统等。
但是现有技术中，尚未有从复杂环境和实时性出发，开发适于无人车用的小型化的车载多波段立体视觉感知单元。
发明内容
基于此，有必要针对上述技术问题，提供一种车载多波段立体视觉感知方法，能够适用于无人车和复杂环境，并实时进行目标的立体感知。
一种车载多波段立体视觉感知方法，包括：
分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；所述双目可见光相机包括左相机与右相机；
将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息；
检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对所述特征点所在的区域匹配权值，根据所述权值，计算与感知目标的目标距离；
根据所述外形信息和所述目标距离，为车辆对所述感知目标做出决策。
在其中一个实施例中，将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像包括：
所述左可见光图像和所述右可见光图像均为高分辨率图像，所述红外图像为低分辨率图像；
将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到高分辨率的融合图像与高分辨率的可见光图像；所述融合图像是将所述左可见光图像或所述右可见光图像与所述红外图像融合得到的；所述可见光图像为未与所述红外图像融合的所述左可见光图像或所述右可见光图像；
对所述融合图像进行分区，得到高分辨率融合区与低分辨率融合区；分别对所述高分辨率融合区与所述低分辨率融合区进行多尺度处理，得到多尺度高分辨率融合区与多尺度低分辨率融合区；
对所述可见光图像进行多尺度处理，得到多尺度可见光图像；
对所述多尺度高分辨率融合区、所述多尺度低分辨率融合区与所述多尺度可见光图像进行整合，得到重建图像。
在其中一个实施例中，对所述多尺度高分辨率融合区、所述多尺度低分辨率融合区与所述多尺度可见光图像进行整合，得到重建图像包括：
对所述多尺度低分辨率融合区与所述多尺度可见光图像进行叠加，得到叠加图像；
对所述多尺度高分辨率融合区与所述叠加图像进行整合，得到整合图像；
对所述整合图像，采用模糊c均值聚类和字典学习的方式进行超分辨率重建，得到重建图像。
在其中一个实施例中，在分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像之前，还包括：
对所述双目可见光相机和所述单目红外相机进行参数标定；
所述参数包括：左相机的内参、右相机的内参、左相机与右相机之间的外参、单目红外相机的内参、双目可见光相机与单目红外相机之间的外参以及相机相对大地坐标的外参；所述相机是指所述左相机、所述右相机和所述单目红外相机中的任意一个。
在其中一个实施例中，所述参数标定包括：
在标定板上绘制棋盘格，并在所述棋盘格上安装定位装置；
使用所述标定板，依次标定所述左相机的内参、所述右相机的内参和所述单目红外相机的内参；
使用所述标定板，标定左相机与右相机之间的外参，并同时标定双目可见光相机与单目红外相机之间的外参；
移动所述标定板，利用定位装置标定所述相机相对大地坐标的外参。
在其中一个实施例中，在分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像之后，还包括：
分别对所述左可见光图像、所述右可见光图像和所述红外图像进行感知目标的目标识别，得到所述左可见光图像中的感知目标、所述右可见光图像中的感知目标和所述红外图像中的感知目标；
将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息包括：
将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，并将所述左可见光图像中的感知目标、所述右可见光图像中的感知目标和所述红外图像中的感知目标进行融合，得到重建图像和重建图像中的感知目标；根据所述重建图像中的感知目标，得到感知目标的外形信息。
在其中一个实施例中，所述目标识别均采用基于深度学习的识别方法进行。
一种车载多波段立体视觉感知装置，包括：
拍摄模块，用于分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；所述双目可见光相机包括左相机与右相机；
外形获得模块，用于将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息；
距离获得模块，用于检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对所述特征点所在的区域匹配权值，根据所述权值，计算与感知目标的目标距离；
感知模块，用于根据所述外形信息和所述目标距离，为车辆对所述感知目标做出决策。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；所述双目可见光相机包括左相机与右相机；
将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息；
检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对所述特征点所在的区域匹配权值，根据所述权值，计算与感知目标的目标距离；
根据所述外形信息和所述目标距离，为车辆对所述感知目标做出决策。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；所述双目可见光相机包括左相机与右相机；
将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息；
检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对所述特征点所在的区域匹配权值，根据所述权值，计算与感知目标的目标距离；
根据所述外形信息和所述目标距离，为车辆对所述感知目标做出决策。
上述车载多波段立体视觉感知方法，通过双目可见光相机和单目红外相机进行多波段的图像采集；对得到的左右可见光图像和红外图像进行目标识别，并将图像融合，得到感知目标的外形信息；对得到的左右可见光图像进行目标匹配，并采用窄基线的立体匹配方式，得到感知目标的距离信息；从而根据感知目标的外形信息和距离信息，先后完成立体识别和立体深度估计，以形成感知，为车辆的立体视觉识别和做出决策提供信息和依据，适合小型化、多波段无人车适应复杂环境下的立体视觉感知。
附图说明
图1为一个实施例中车载多波段立体视觉感知方法的流程图；
图2为一个实施例中车载多波段立体视觉感知方法的整体示意图；
图3为一个实施例中双目窄基线的目标定位的示意图；
图4为一个实施例中行人特征匹配的示意图；
图5为一个实施例中图像融合和超分辨率重建的示意图；
图6为一个实施例中参数标定的示意图；
图7为一个实施例中车载多波段立体视觉感知装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1至图6所示，本申请提供的一种车载多波段立体视觉感知方法，在一个实施例中，包括以下步骤：
步骤102，分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；所述双目可见光相机包括左相机与右相机。
多波段是指：双目可见光相机的工作波段是可见光，可见光分为RGB三种光谱，红外相机的工作波段是红外光。
双目可见光相机包括2个可见光相机，即左相机与右相机，分别模拟人的左右眼。左相机对感知目标进行拍摄，得到感知目标的左可见光图像；右相机对感知目标进行拍摄，得到感知目标的右可见光图像。双目可见光相机用于构建双目立体视觉、目标距离测量、障碍物感知等。
单目红外相机即1个红外相机。单目红外相机对感知目标进行拍摄，得到感知目标的红外图像。单目红外相机可与可见光相机的融合，使得操作员或者系统更好的感知目标、障碍物等。
步骤104，将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息。
在本步骤中，图像融合可以采用现有技术中的方法。
步骤106，检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对所述特征点所在的区域匹配权值，根据所述权值，计算与感知目标的目标距离。
双目可见光相机针对窄基线下的立体视觉探测的测距精度低的特点，采用基于目标匹配的窄基线立体视觉目标位置估计，对远距离的目标也有较高的识别精度，具体的：
（1）对左可见光图像中的感知目标进行检测，如行人检测、物体检测；
（2）采用模板匹配找到感知目标对应于右可见光图像的位置；
（3）对该感知目标区域中的左右相机进行特征点匹配；
（4）根据误差平方和算法（SSD），利用特征点在感知目标区域的位置设置区域匹配值，设定权重，得到权值，离区域中心越近的点的权值越大；
（5）采用立体视觉计算公式对目标进行定位，得到目标距离。
下面以行人特征匹配的行人定位进行具体说明：
（1）感知目标为行人，对左可见光图像进行行人检测；
（2）利用模板匹配，对左可见光图像中的行人，在右可见光图像中找到相应的行人，以提高实时性；
（3）对左可见光图像中的行人和右可见光图像中的行人，进行SIFT特征点匹配，利用RASAC拟合去掉误差较大的点，如图4所示为左右可见光图像中的行人特征点匹配。
（4）在特征点匹配后，由于存在目标与背景之间的特征点或者目标中的特征点的区别，因此需要构建目标区域的权值，以提高目标测距的精度，目标区域的权值：
其中，
是根据误差平方和算法（SSD）计算的以左可见光图像中第
特征点为中心点的3*3区域和以右可见光图像中第
特征点为中心点的3*3区域的区域匹配值，I是以左可见光图像中第
特征点为中心点的3*3区域和以右可见光图像中第
特征点为中心点的3*3区域的所有特征点的集合。
当特征点区域在同一平面时，SSD 匹配值
越小；当特征点区域不在同一平面时，SSD 匹配值
越大。
（5）采用立体视觉计算公式对目标进行定位，最后的目标距离为：
其中，
为双目相机匹配后，两个特征点测量的距离值，即基线长度。
当基线长度为2cm时，利用行人作为目标，测量的距离如下表1所示：
表1不同距离下窄基线计算的距离和计算时间
步骤108，根据所述外形信息和所述目标距离，为车辆对所述感知目标做出决策。
现有车辆感知主要是传感器多、复杂，其中特斯拉采用MobileEye，最多26 个相机，纯视觉L4方案；小鹏G3搭载了多达20个传感器，有12个超声波雷达、5个高清摄像头、3个毫米波雷达，L2级；华为阿尔法，3颗激光雷达、6颗毫米波雷达，9个视觉摄像机还有挡风玻璃处的双目+长焦+超广角相机，L3级。主要原因是短基线的立体视觉识别距离近，当远距离识别时精度误差大，需要加入其它各种辅助传感器。而本申请仅仅采用3个相机就达到了精确识别的效果，用低的配置达到高的需求。
上述车载多波段立体视觉感知方法，通过双目可见光相机和单目红外相机进行多波段的图像采集；对得到的左右可见光图像和红外图像进行目标识别，并将图像融合，得到感知目标的外形信息；对得到的左右可见光图像进行目标匹配，并采用窄基线的立体匹配方式，得到感知目标的距离信息；从而根据感知目标的外形信息和距离信息，先后完成立体识别和立体深度估计，以形成感知，为车辆的立体视觉识别和做出决策提供信息和依据，适合小型化、多波段无人车适应复杂环境下的立体视觉感知。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在其中一个实施例中，将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像包括：所述左可见光图像和所述右可见光图像均为高分辨率图像，所述红外图像为低分辨率图像；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到高分辨率的融合图像与高分辨率的可见光图像；所述融合图像是将所述左可见光图像或所述右可见光图像与所述红外图像融合得到的；所述可见光图像为未与所述红外图像融合的所述左可见光图像或所述右可见光图像；对所述融合图像进行分区，得到高分辨率融合区与低分辨率融合区；分别对所述高分辨率融合区与所述低分辨率融合区进行多尺度处理，得到多尺度高分辨率融合区与多尺度低分辨率融合区；对所述可见光图像进行多尺度处理，得到多尺度可见光图像；对所述多尺度高分辨率融合区、所述多尺度低分辨率融合区与所述多尺度可见光图像进行整合，得到重建图像。
在本实施例中，对左可见光图像、右可见光图像和红外图像进行图像融合。
根据相机的安装位置，分别有高分辨率可见光图像、低分辨率红外图像、高分辨率可见光图像。
多尺度处理是指先对图像进行多尺度的分块，得到多个不同的小块，然后用不同尺度的图像表示这些小块。
进一步地，对所述多尺度高分辨率融合区、所述多尺度低分辨率融合区与所述多尺度可见光图像进行整合，得到重建图像包括：对所述多尺度低分辨率融合区与所述多尺度可见光图像进行叠加，得到叠加图像；对所述多尺度高分辨率融合区与所述叠加图像进行整合，得到整合图像；对所述整合图像，采用模糊c均值聚类和字典学习的方式进行超分辨率重建，得到重建图像。
在本实施例中，对左可见光图像、右可见光图像和红外图像进行超分辨率重建。
可见光图像包括左可见光图像和右可见光图像；可见光图像与红外图像的融合，采用图像融合和超分辨率网络统一的图像融合方法，把两者统一为一个网络，可以有效的利用可见光图像的边缘信息和红外图像的热信息，提高目标遮挡和光照较弱环境下的感知能力，提高目标分辨率和目标的热成像效果。
在其中一个实施例中，在分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像之前，还包括：对所述双目可见光相机和所述单目红外相机进行参数标定；所述参数包括：左相机的内参、右相机的内参、左相机与右相机之间的外参、单目红外相机的内参、双目可见光相机与单目红外相机之间的外参以及相机相对大地坐标的外参；所述相机是指所述左相机、所述右相机和所述单目红外相机中的任意一个。
在其中一个实施例中，所述参数标定包括：在标定板上绘制棋盘格，并在所述棋盘格上安装定位装置；使用所述标定板，依次标定所述左相机的内参、所述右相机的内参和所述单目红外相机的内参；使用所述标定板，标定左相机与右相机之间的外参，并同时标定双目可见光相机与单目红外相机之间的外参；移动所述标定板，利用定位装置标定所述相机相对大地坐标的外参。
标定板采用圆形标定板，标定板的中心采用加热的方式就可以获得清晰的红外图像。
可见光相机和单目红外相机的内外参数标定采用相同的标定板，并采用统一的棋盘格，以减少不同相机采用不同的标定板或不同的棋盘格，标定结果可能不一致的问题。
定位装置可以选择全球导航卫星定位系统 (Global Navigation SatelliteSystem,GNSS)定位装置。
定位装置安装在棋盘格上，棋盘格绘制在标定板上，当GNSS移动装置放置在标定板上的时候，就可以一起移动并且测量标定结果。
移动标定板，利用定位装置标定所述相机相对大地坐标的外参是指：在跑道或者开阔地带依次放置多个GNSS点，首先移动棋盘格，然后检测棋盘格中心坐标，最后利用GNSS标定车载立体视觉系统相对于车载的GNSS坐标，及相机相对大地坐标的外参。
需要注意的是，只要一个相机标定与大地的外参数就可以，其它相机由于是已经标记了相机和相机之间的外参，因此可以通过矩阵相乘可以直接获得。相机是指左相机、右相机和单目红外相机中的任意一个。
在其中一个实施例中，在分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像之后，还包括：分别对所述左可见光图像、所述右可见光图像和所述红外图像进行感知目标的目标识别，得到所述左可见光图像中的感知目标、所述右可见光图像中的感知目标和所述红外图像中的感知目标；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息包括：将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，并将所述左可见光图像中的感知目标、所述右可见光图像中的感知目标和所述红外图像中的感知目标进行融合，得到重建图像和重建图像中的感知目标；根据所述重建图像中的感知目标，得到感知目标的外形信息。
在其中一个实施例中，所述目标识别均采用基于深度学习的识别方法进行。
左相机对左可见光图像进行感知目标的目标识别，得到左可见光图像中的感知目标；右相机对右可见光图像进行感知目标的目标识别，得到右可见光图像中的感知目标。
基于深度学习的目标识别方法，双目可见光相机采用单相机的目标识别与双目相机的立体匹配的配合方式，具体的：
（1）目标识别采用YOLO-V5的目标识别方式，主要识别行人、车辆、信号灯等。
（2）立体匹配采用窄基线的目标匹配方式，对远距离的目标也有较高的识别精度。
单目红外相机对红外图像进行感知目标的目标识别，得到红外图像中的感知目标。单目红外相机，采用基于深度学习的红外目标识别算法，提高部分遮挡下的目标感知能力。具体的，目标识别采用在原始图像中进行YOLO-V5的目标识别方式，获取识别的框和识别目标的类型。
如图7所示，本申请还提供一种车载多波段立体视觉感知装置，在一个实施例中，包括：拍摄模块702、外形获得模块704、距离获得模块706和感知模块708，具体的：
拍摄模块702，用于分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；所述双目可见光相机包括左相机与右相机；
外形获得模块704，用于将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息；
距离获得模块706，用于检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对所述特征点所在的区域匹配权值，根据所述权值，计算与感知目标的目标距离；
感知模块708，用于根据所述外形信息和所述目标距离，为车辆对所述感知目标做出决策。
在其中一个实施例中，所述外形获得模块704还用于：将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像包括：所述左可见光图像和所述右可见光图像均为高分辨率图像，所述红外图像为低分辨率图像；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到高分辨率的融合图像与高分辨率的可见光图像；所述融合图像是将所述左可见光图像或所述右可见光图像与所述红外图像融合得到的；所述可见光图像为未与所述红外图像融合的所述左可见光图像或所述右可见光图像；对所述融合图像进行分区，得到高分辨率融合区与低分辨率融合区；分别对所述高分辨率融合区与所述低分辨率融合区进行多尺度处理，得到多尺度高分辨率融合区与多尺度低分辨率融合区；对所述可见光图像进行多尺度处理，得到多尺度可见光图像；对所述多尺度高分辨率融合区、所述多尺度低分辨率融合区与所述多尺度可见光图像进行整合，得到重建图像。
在其中一个实施例中，所述外形获得模块704还用于：对所述多尺度高分辨率融合区、所述多尺度低分辨率融合区与所述多尺度可见光图像进行整合，得到重建图像包括：对所述多尺度低分辨率融合区与所述多尺度可见光图像进行叠加，得到叠加图像；对所述多尺度高分辨率融合区与所述叠加图像进行整合，得到整合图像；对所述整合图像，采用模糊c均值聚类和字典学习的方式进行超分辨率重建，得到重建图像。
在其中一个实施例中，所述拍摄模块702还用于：在分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像之前，还包括：对所述双目可见光相机和所述单目红外相机进行参数标定；所述参数包括：左相机的内参、右相机的内参、左相机与右相机之间的外参、单目红外相机的内参、双目可见光相机与单目红外相机之间的外参以及相机相对大地坐标的外参；所述相机是指所述左相机、所述右相机和所述单目红外相机中的任意一个。
在其中一个实施例中，所述拍摄模块702还用于：所述参数标定包括：在标定板上绘制棋盘格，并在所述棋盘格上安装定位装置；使用所述标定板，依次标定所述左相机的内参、所述右相机的内参和所述单目红外相机的内参；使用所述标定板，标定左相机与右相机之间的外参，并同时标定双目可见光相机与单目红外相机之间的外参；移动所述标定板，利用定位装置标定所述相机相对大地坐标的外参。
在其中一个实施例中，所述外形获得模块704还用于：在分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像之后，还包括：分别对所述左可见光图像、所述右可见光图像和所述红外图像进行感知目标的目标识别，得到所述左可见光图像中的感知目标、所述右可见光图像中的感知目标和所述红外图像中的感知目标；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息包括：将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，并将所述左可见光图像中的感知目标、所述右可见光图像中的感知目标和所述红外图像中的感知目标进行融合，得到重建图像和重建图像中的感知目标；根据所述重建图像中的感知目标，得到感知目标的外形信息。
在其中一个实施例中，所述外形获得模块704还用于：所述目标识别均采用基于深度学习的识别方法进行。
需要说明的是，上述车载多波段立体视觉感知装置主要是进行拍摄和图像处理的单元，外形获得模块和距离获得模块可以采用FPGA的硬件加速处理或基于GPU框架的处理器单元，主要用于加速图像融合和立体匹配，为后续的图像处理和操作员视觉感知提供依据。此外还包括：照射模块，照射模块采用可见光段的发光LED照射，使得在不同天气下，可见光相机都可以清楚的感知目标，尤其是清楚感知近距离的目标，当目标越近时，目标清晰度就越高，目标就越明显。双目可见光相机分别设置在两侧，单目红外相机和照射模块设置在中间。
关于一种车载多波段立体视觉感知装置的具体限定可以参见上文中对于一种车载多波段立体视觉感知方法的限定，在此不再赘述。上述一种车载多波段立体视觉感知装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车载多波段立体视觉感知方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。该计算机设备可以是仿真设备，输入装置将相关的信息输入给仿真设备，处理器执行存储器中的程序进行组合仿真，显示屏显示相关的仿真结果。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种车载多波段立体视觉感知方法，其特征在于，包括：
分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；所述双目可见光相机包括左相机与右相机；
将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息；
检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对所述特征点所在的区域匹配权值，根据所述权值，计算与感知目标的目标距离；
根据所述外形信息和所述目标距离，为车辆对所述感知目标做出决策。
2.根据权利要求1所述的方法，其特征在于，将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像包括：
所述左可见光图像和所述右可见光图像均为高分辨率图像，所述红外图像为低分辨率图像；
将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到高分辨率的融合图像与高分辨率的可见光图像；所述融合图像是将所述左可见光图像或所述右可见光图像与所述红外图像融合得到的；所述可见光图像为未与所述红外图像融合的所述左可见光图像或所述右可见光图像；
对所述融合图像进行分区，得到高分辨率融合区与低分辨率融合区；分别对所述高分辨率融合区与所述低分辨率融合区进行多尺度处理，得到多尺度高分辨率融合区与多尺度低分辨率融合区；
对所述可见光图像进行多尺度处理，得到多尺度可见光图像；
对所述多尺度高分辨率融合区、所述多尺度低分辨率融合区与所述多尺度可见光图像进行整合，得到重建图像。
3.根据权利要求2所述的方法，其特征在于，对所述多尺度高分辨率融合区、所述多尺度低分辨率融合区与所述多尺度可见光图像进行整合，得到重建图像包括：
对所述多尺度低分辨率融合区与所述多尺度可见光图像进行叠加，得到叠加图像；
对所述多尺度高分辨率融合区与所述叠加图像进行整合，得到整合图像；
对所述整合图像，采用模糊c均值聚类和字典学习的方式进行超分辨率重建，得到重建图像。
4.根据权利要求1所述的方法，其特征在于，在分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像之前，还包括：
对所述双目可见光相机和所述单目红外相机进行参数标定；
所述参数包括：左相机的内参、右相机的内参、左相机与右相机之间的外参、单目红外相机的内参、双目可见光相机与单目红外相机之间的外参以及相机相对大地坐标的外参；所述相机是指所述左相机、所述右相机和所述单目红外相机中的任意一个。
5.根据权利要求4所述的方法，其特征在于，所述参数标定包括：
在标定板上绘制棋盘格，并在所述棋盘格上安装定位装置；
使用所述标定板，依次标定所述左相机的内参、所述右相机的内参和所述单目红外相机的内参；
使用所述标定板，标定左相机与右相机之间的外参，并同时标定双目可见光相机与单目红外相机之间的外参；
移动所述标定板，利用定位装置标定所述相机相对大地坐标的外参。
6.根据权利要求1至5任一项所述的方法，其特征在于，在分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像之后，还包括：
分别对所述左可见光图像、所述右可见光图像和所述红外图像进行感知目标的目标识别，得到所述左可见光图像中的感知目标、所述右可见光图像中的感知目标和所述红外图像中的感知目标；
将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息包括：
将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，并将所述左可见光图像中的感知目标、所述右可见光图像中的感知目标和所述红外图像中的感知目标进行融合，得到重建图像和重建图像中的感知目标；根据所述重建图像中的感知目标，得到感知目标的外形信息。
7.根据权利要求6所述的方法，其特征在于，所述目标识别均采用基于深度学习的识别方法进行。
8.一种车载多波段立体视觉感知装置，其特征在于，包括：
拍摄模块，用于分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；所述双目可见光相机包括左相机与右相机；
外形获得模块，用于将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息；
距离获得模块，用于检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对所述特征点所在的区域匹配权值，根据所述权值，计算与感知目标的目标距离；
感知模块，用于根据所述外形信息和所述目标距离，为车辆对所述感知目标做出决策。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111514355.9A CN113902666B (zh) | 2021-12-13 | 2021-12-13 | 一种车载多波段立体视觉感知方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111514355.9A CN113902666B (zh) | 2021-12-13 | 2021-12-13 | 一种车载多波段立体视觉感知方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113902666A true CN113902666A (zh) | 2022-01-07 |
| CN113902666B CN113902666B (zh) | 2022-06-14 |
Family
ID=79026302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111514355.9A Active CN113902666B (zh) | 2021-12-13 | 2021-12-13 | 一种车载多波段立体视觉感知方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113902666B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934309A (zh) * | 2024-03-18 | 2024-04-26 | 昆明理工大学 | 基于模态字典和特征匹配的未配准红外可见图像融合方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050069194A1 (en) * | 2003-06-27 | 2005-03-31 | Kenji Kagitani | Image processing apparatus and method |
| CN104021548A (zh) * | 2014-05-16 | 2014-09-03 | 中国科学院西安光学精密机械研究所 | 一种获取场景4d信息的方法 |
| CN106570852A (zh) * | 2016-11-07 | 2017-04-19 | 中国航空无线电电子研究所 | 一种实时3d图像态势感知方法 |
| CN106570899A (zh) * | 2015-10-08 | 2017-04-19 | 腾讯科技（深圳）有限公司 | 一种目标物体检测方法及装置 |
| CN106650708A (zh) * | 2017-01-19 | 2017-05-10 | 南京航空航天大学 | 一种自动驾驶障碍物视觉检测方法与系统 |
| CN109310278A (zh) * | 2016-06-17 | 2019-02-05 | 索尼公司 | 图像处理装置、图像处理方法、程序和图像处理系统 |
| CN109472821A (zh) * | 2018-10-29 | 2019-03-15 | 南京怀萃智能科技有限公司 | 深度估计方法、装置、设备和存储介质 |
| CN111062378A (zh) * | 2019-12-23 | 2020-04-24 | 重庆紫光华山智安科技有限公司 | 图像处理方法、模型训练方法、目标检测方法及相关装置 |
| CN112465735A (zh) * | 2020-11-18 | 2021-03-09 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 行人检测方法、装置及计算机可读存储介质 |
-
2021
- 2021-12-13 CN CN202111514355.9A patent/CN113902666B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050069194A1 (en) * | 2003-06-27 | 2005-03-31 | Kenji Kagitani | Image processing apparatus and method |
| CN104021548A (zh) * | 2014-05-16 | 2014-09-03 | 中国科学院西安光学精密机械研究所 | 一种获取场景4d信息的方法 |
| CN106570899A (zh) * | 2015-10-08 | 2017-04-19 | 腾讯科技（深圳）有限公司 | 一种目标物体检测方法及装置 |
| CN109310278A (zh) * | 2016-06-17 | 2019-02-05 | 索尼公司 | 图像处理装置、图像处理方法、程序和图像处理系统 |
| CN106570852A (zh) * | 2016-11-07 | 2017-04-19 | 中国航空无线电电子研究所 | 一种实时3d图像态势感知方法 |
| CN106650708A (zh) * | 2017-01-19 | 2017-05-10 | 南京航空航天大学 | 一种自动驾驶障碍物视觉检测方法与系统 |
| CN109472821A (zh) * | 2018-10-29 | 2019-03-15 | 南京怀萃智能科技有限公司 | 深度估计方法、装置、设备和存储介质 |
| CN111062378A (zh) * | 2019-12-23 | 2020-04-24 | 重庆紫光华山智安科技有限公司 | 图像处理方法、模型训练方法、目标检测方法及相关装置 |
| CN112465735A (zh) * | 2020-11-18 | 2021-03-09 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 行人检测方法、装置及计算机可读存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934309A (zh) * | 2024-03-18 | 2024-04-26 | 昆明理工大学 | 基于模态字典和特征匹配的未配准红外可见图像融合方法 |
| CN117934309B (zh) * | 2024-03-18 | 2024-05-24 | 昆明理工大学 | 基于模态字典和特征匹配的未配准红外可见图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113902666B (zh) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110832275B (zh) | 基于双目图像更新高分辨率地图的系统和方法 | |
| Guan et al. | Automated pixel-level pavement distress detection based on stereo vision and deep learning | |
| US10659677B2 (en) | Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium | |
| WO2021004548A1 (zh) | 一种基于双目立体视觉系统的车辆智能测速方法 | |
| CA3028653C (en) | Methods and systems for color point cloud generation | |
| CN107636679B (zh) | 一种障碍物检测方法及装置 | |
| CN111353969B (zh) | 道路可行驶区域的确定方法、装置及计算机设备 | |
| US10757395B2 (en) | Camera parameter set calculation method, recording medium, and camera parameter set calculation apparatus | |
| CN110033489B (zh) | 一种车辆定位准确性的评估方法、装置及设备 | |
| US10484665B2 (en) | Camera parameter set calculation method, recording medium, and camera parameter set calculation apparatus | |
| US10909395B2 (en) | Object detection apparatus | |
| US10645365B2 (en) | Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium | |
| CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| CN115797454B (zh) | 一种鸟瞰图视角下多摄像机融合感知方法及装置 | |
| CN116778094B (zh) | 一种基于优选视角拍摄的建筑物变形监测方法及装置 | |
| CN107688174A (zh) | 一种图像测距方法、系统、存储介质和车载视觉感知设备 | |
| JP2024527156A (ja) | 最適輸送およびエピポーラ幾何学に基づく画像処理のためのシステムならびに方法 | |
| CN113902666B (zh) | 一种车载多波段立体视觉感知方法、装置、设备和介质 | |
| CN112255604A (zh) | 一种雷达数据准确性的判断方法、装置及计算机设备 | |
| CN117501311A (zh) | 利用一个或多个摄像机生成和/或使用三维信息的系统和方法 | |
| CN116777973A (zh) | 基于深度学习的异源图像双目立体视觉测距方法和系统 | |
| CN113874681B (zh) | 点云地图质量的评估方法和系统 | |
| Aliakbarpour et al. | Geometric exploration of virtual planes in a fusion-based 3D data registration framework | |
| Woods et al. | The application of iterative closest point (ICP) registration to improve 3D terrain mapping estimates using the flash 3D ladar system | |
| Miljković et al. | Vehicle Distance Estimation Based on Stereo Camera System with Implementation on a Real ADAS Board |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |