CN112712037A - 基于全景图像和目标检测的车载环境感知方法和系统 - Google Patents
基于全景图像和目标检测的车载环境感知方法和系统 Download PDFInfo
- Publication number
- CN112712037A CN112712037A CN202011635313.6A CN202011635313A CN112712037A CN 112712037 A CN112712037 A CN 112712037A CN 202011635313 A CN202011635313 A CN 202011635313A CN 112712037 A CN112712037 A CN 112712037A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- images
- vehicle
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 239000002131 composite material Substances 0.000 claims description 10
- 238000013136 deep learning model Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000005764 inhibitory process Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims 2
- 238000012360 testing method Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000004744 fabric Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于全景图像和目标检测的车载环境感知方法，包括：通过多个图像采集模块采集车辆四周的图像；采集多个图像采集模块的标定图片，计算并存储图像采集模块内参以及图像采集模块之间的偏移参数；对采集的车辆四周的图像进行矫正和重投影，对多个图像进行拼接融合，得到环视全景图像；采用构建的目标检测深度学习模型在得到的环视全景图像中检测目标，获取目标位置；根据检测到的目标位置，控制图像采集模块捕捉目标图像。本发明可以将环境图像拼接成环视全景图像，并且根据检测到的目标位置，捕捉目标详细图像，可以有效检测目标，可以高效直观地将环境图像信息和车辆周围目标信息展示给驾驶员。
Description
技术领域
本发明涉及自动驾驶的图像处理技术领域，具体地涉及一种基于全景图像和目标检测的车载环境感知方法和系统。
背景技术
特种车辆，例如军用车辆在行驶过程中需要对周围环境进行监视，就希望可以获得车辆周围环境的全景图像。图像拼接技术可以解决由于摄像机等成像仪器的视角和大小的限制。所谓图像拼接是通过对齐一系列空间重叠的图像，构造一个无缝的、高清晰的宽视角图像或者360度视角的全景技术。目前传统的图像拼接方式是图像配准和图像融合，但是其图像拼接的过程中会极易出现图像的光强度不连续或者运动物体的重复性，难以形成完整的无缝大视场图像。目前常用的车载全景图像技术有以下两种：
(1)俯瞰视角的全景图像技术，通常使用鱼眼镜头装于车身四周，获得以车辆为中心的俯瞰视角平面图，主要用于倒车辅助，无法检测远距离目标。
(2)碗型视角的全景图像技术，可以获得车身周围的三维环境图像，但是只是在车身附近的图像比较清晰，远景畸变较大无法有效检测目标。
中国专利文献CN 104732542 A公开了一种基于多摄像头自标定的全景车辆安全系统的图像处理方法，包括自动识别、自动矫正、自动转化视角和自动转化拼接图像。对采集的图像进行标定布识别，自动提取采集的图像的棋盘格标定布上的边缘角点的位置信息。建立畸变模型，迭代畸变参数，得到畸变矫正图。对畸变矫正图进行仿射变换，得到转换视角后的图像。对多个摄像头采集的图像并采用编码点标记，对多个摄像头采集的图像进行拼接整合。该方法实现图像的拼接，但是只是在车身附近的图像比较清晰，远景畸变较大则无法有效检测目标。
发明内容
为了解决上述存在的技术问题，本发明提出了一种基于全景图像和目标检测的车载环境感知方法和系统，可以将环境图像拼接成环视全景图像，并且根据检测到的目标位置，捕捉目标详细图像，可以有效检测目标。
本发明所采用的技术方案是：
一种基于全景图像和目标检测的车载环境感知方法，包括以下步骤：
S01：通过多个图像采集模块采集车辆四周的图像；
S02：采集多个图像采集模块的标定图片，计算并存储图像采集模块内参以及图像采集模块之间的偏移参数；
S03：对采集的车辆四周的图像进行矫正和重投影，对多个图像进行拼接融合，得到环视全景图像；
S04：采用构建的目标检测深度学习模型在得到的环视全景图像中检测目标，获取目标位置；
S05：根据检测到的目标位置，控制图像采集模块捕捉目标图像。
优选的技术方案中，所述步骤S02具体包括：
S21：使用棋盘格标定法，采集多张不同位置的黑白棋盘格图像，识别图像中的棋盘格角点；
S22：根据Kruppa方程获取对相机内参的约束方程，计算并存储摄像头的相机矩阵M与畸变系数k 1、k 2、p 1、p 2、k 3；
S23：在室外场景下采集同时刻的图像，使用ORB特征点检测算法提取特征点，寻找标定图像重合部分的特征点对应关系，计算并存储相邻摄像头图像之间的在x轴和y轴偏移的像素点个数。
优选的技术方案中，所述步骤S03中拼接融合方法包括：
S31：根据摄像头相机矩阵与畸变系数，计算用于畸变校正的重投影矩阵；
S32：根据柱面投影模型，得到柱面投影前后的像素点对应关系x’=f x *(a/2)+ f x *(arctan((x-W/2)/ f x ))，y’=H/2+ f y *(y-H/2)/k，基于畸变校正的重投影矩阵计算出柱面投影的重投影矩阵，其中k=sqrt(f x * f x +(W/2-x)*(W/2-x))，(x’,y’)是原图中位置为(x,y)的像素点在投影后的位置，f x 、f y 是摄像头在x轴、y轴上的焦距像素数，W为图像宽度像素数，H为图像高度像素数；
S33：根据标定获得的偏移参数与重投影矩阵的缩放系数，得到同一时刻多张圆柱曲面图像的相对位置与缩放系数，将四个重投影矩阵合并为一个合成矩阵，确认每张图像在合成矩阵中的最终位置，并进行缩放；
S34：利用得到的合成矩阵对获取的原始图像进行重投影，重叠部分使用渐入渐出融合算法进行融合，得到环视全景图像。
优选的技术方案中，所述步骤S04中的检测目标的方法包括：
S41：构建轻量级的卷积神经网络，使用端到端的单阶段训练方法；
S42：对输入到模型的图像进行预处理，对处理后的图像进行卷积池化神经网络处理，得到多层不同尺度大小的特征向量图；
S43：在不同尺度大小的特征向量图层上，分别在每一个点构造多个不同比例大小的目标候选框；
S44：对目标候选框进行分类和边界框回归处理，得到目标框位置；
S45：对得到的目标框位置进行非极大值抑制处理，得到筛选后的目标位置。
优选的技术方案中，所述步骤S05中控制图像采集模块捕捉目标图像的方法包括：
S51：对检测到的所有目标框进行筛选，选取其中的典型目标框作为当前焦点目标框，获取该目标框的位置信息；
S52：根据焦点目标框的位置信息计算得到图像采集模块的旋转角度，发送相应的旋转指令，控制图像采集模块指向焦点目标，采集图像。
本发明还公开了一种基于全景图像和目标检测的车载环境感知系统，包括：
多个图像采集模块，安装于车辆四周，用于采集车辆四周的图像；
标定模块，采集多个图像采集模块的标定图片，计算并存储图像采集模块内参以及图像采集模块之间的偏移参数；
全景拼接模块，对采集的车辆四周的图像进行矫正和重投影，对多个图像进行拼接融合，得到环视全景图像；
目标检测模块，采用构建的目标检测深度学习模型在得到的环视全景图像中检测目标，获取目标位置；
目标跟踪模块，根据检测到的目标位置，控制图像采集模块捕捉目标图像，所述图像采集模块为可转动长焦摄像头。
优选的技术方案中，所述标定模块的标定方法包括：
S21：使用棋盘格标定法，采集多张不同位置的黑白棋盘格图像，识别图像中的棋盘格角点；
S22：根据Kruppa方程获取对相机内参的约束方程，计算并存储摄像头的相机矩阵M与畸变系数k 1、k 2、p 1、p 2、k 3；
S23：在室外场景下采集同时刻的图像，使用ORB特征点检测算法提取特征点，寻找标定图像重合部分的特征点对应关系，计算并存储相邻摄像头图像之间的在x轴和y轴偏移的像素点个数。
优选的技术方案中，所述全景拼接模块中拼接融合方法包括：
S31：根据摄像头相机矩阵与畸变系数，计算用于畸变校正的重投影矩阵；
S32：根据柱面投影模型，得到柱面投影前后的像素点对应关系x’=f x *(a/2)+ f x *(arctan((x-W/2)/ f x ))，y’=H/2+ f y *(y-H/2)/k，基于畸变校正的重投影矩阵计算出柱面投影的重投影矩阵，其中k=sqrt(f x * f x +(W/2-x)*(W/2-x))，(x’,y’)是原图中位置为(x,y)的像素点在投影后的位置，f x 、f y 是摄像头在x轴、y轴上的焦距像素数，W为图像宽度像素数，H为图像高度像素数；
S33：根据标定获得的偏移参数与重投影矩阵的缩放系数，得到同一时刻多张圆柱曲面图像的相对位置与缩放系数，将四个重投影矩阵合并为一个合成矩阵，确认每张图像在合成矩阵中的最终位置，并进行缩放；
S34：利用得到的合成矩阵对获取的原始图像进行重投影，重叠部分使用渐入渐出融合算法进行融合，得到环视全景图像。
优选的技术方案中，所述目标检测模块的检测目标的方法包括：
S41：构建轻量级的卷积神经网络，使用端到端的单阶段训练方法；
S42：对输入到模型的图像进行预处理，对处理后的图像进行卷积池化神经网络处理，得到多层不同尺度大小的特征向量图；
S43：在不同尺度大小的特征向量图层上，分别在每一个点构造多个不同比例大小的目标候选框；
S44：对目标候选框进行分类和边界框回归处理，得到目标框位置；
S45：对得到的目标框位置进行非极大值抑制处理，得到筛选后的目标位置。
优选的技术方案中，所述目标跟踪模块的控制图像采集模块捕捉目标图像的方法包括：
S51：对检测到的所有目标框进行筛选，选取其中的典型目标框作为当前焦点目标框，获取该目标框的位置信息；
S52：根据焦点目标框的位置信息计算得到图像采集模块的旋转角度，发送相应的旋转指令，控制图像采集模块指向焦点目标，采集图像。
与现有技术相比，本发明的有益效果是：
1、本发明可以将环境图像拼接成环视全景图像，并且根据检测到的目标位置，捕捉目标详细图像，可以有效检测目标，方便驾驶员获得对周围环境完整且直观的认知，有效提高驾驶员观察环境的效率。
2、本发明可以自动跟踪环境中的目标，发出提示音与展示目标详细画面，可以最快速地将环境目标的详细信息展示给驾驶员，降低驾驶员遗漏周围目标的风险。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为基于全景图像和目标检测的车载环境感知系统的原理图；
图2为基于全景图像和目标检测的车载环境感知方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
实施例
如图1所示，本发明公开了一种基于全景图像和目标检测的车载环境感知系统，包括：
图像采集模块：采用四个广角摄像头安装在车顶，视场角不小于185度，两两之间以90度夹角安装固定，实时获取车辆周围彩色图像；具体的摄像头数量和安装位置不做限定，以能拍摄图车辆四周图像为准。
标定模块：采集四个摄像头的标定图片，计算并存储摄像头内参以及摄像头之间的偏移参数；
全景拼接模块：对环境图像进行矫正、重投影等处理后，使用图像拼接算法将环境图像拼接成环视全景图像，提供一个车辆周围环境的完整视图；
离线训练模块：采集目标样本数据，搭建目标检测深度学习模型，利用样本数据进行训练并测试；
目标检测模块：在环境图像上使用目标检测深度学习模型检测目标，获取目标位置；
目标跟踪模块：为一个可转动长焦摄像头，根据检测到的目标位置，捕捉目标详细图像；所述目标包括车辆与行人。
一较佳的实施例中，还可以包括以下模块：
图像显示模块：为车内显示器，用于显示实时全景图像与目标详细图像。
声音提示模块：为语音播放器，当检测到新的目标时发出声音警报提示驾驶员。
另一实施例中，本发明提出一种基于全景图像和目标检测的车载环境感知方法，通过合成外部环境的全景图像给驾驶员提供完整的环境信息，通过目标检测，可以捕捉目标详细图像，方便驾驶员得知周围的车辆与行人目标信息。
如图2所示，本发明的一种基于全景图像和目标检测的车载环境感知方法，包括以下步骤：
S01：使用四个广角摄像头实时获取车辆周围彩色图像；
S02：采集四个摄像头的标定图片，计算并存储摄像头内参以及摄像头之间的偏移参数；
S03：对环境图像进行矫正、重投影等处理后，使用图像拼接算法将环境图像拼接成环视全景图像，提供一个车辆周围环境的完整视图；
S04：采集目标样本数据，搭建目标检测深度学习模型，利用样本数据进行训练并测试；
S05：在环境图像上使用目标检测深度学习模型检测目标，获取目标方位信息；
S06：使用一个可转动长焦摄像头，根据检测到的目标位置，捕捉目标详细图像。
一较佳的实施例中，步骤S02中：运行标定软件，使用棋盘格标定法，采集二十张左右不同位置方向的黑白棋盘格图片，通过自动识别图像中的棋盘格角点，根据Kruppa方程获取对相机内参的约束方程，计算并存储摄像头的相机矩阵M与畸变系数k 1、k 2、p 1、p 2、k 3；在室外场景下采集同时刻的额摄像头画面，使用ORB特征点检测算法提取特征点，寻找标定图片重合部分的特征点对应关系，计算并存储相邻摄像头图像之间的在x轴和y轴偏移的像素点个数。
步骤S03中拼接的方法为：
(1)根据摄像头相机矩阵与畸变系数，计算出用于畸变校正的重投影矩阵；根据摄像头内参矫正畸变，将原始环境图像转换为无畸变平面图像；
(2) 根据柱面投影模型，得到柱面投影前后的像素点对应关系x’=f x *(a/2)+ f x *(arctan((x-W/2)/ f x ))，y’=H/2+ f y *(y-H/2)/k，基于畸变校正的重投影矩阵计算出柱面投影的重投影矩阵，其中k=sqrt(f x * f x +(W/2-x)*(W/2-x))，(x’,y’)是原图中位置为(x,y)的像素点在投影后的位置，f x 、f y 是摄像头在x轴、y轴上的焦距像素数，W为图像宽度像素数，H为图像高度像素数，将平面图像转换为圆柱曲面图像；
(3)根据标定获得的偏移参数与重投影矩阵的缩放系数，确认同一时刻四张圆柱曲面图像的相对位置Δx、Δy与缩放系数α x 、α y ，将四个重投影矩阵合并为一个合成矩阵，确认每张图像在合成矩阵中的最终位置，然后缩放到输出图像所要求的大小；
（4）利用最终的重投影矩阵对获取到的原始图像进行重投影，重叠部分使用渐入渐出融合算法进行融合，得到最终的环视全景图像。
S04中采集目标样本数据，将样本数据分为训练与测试两个部分，并转化为caffe所需要的LMDB格式，然后搭建检测车辆与行人的目标检测深度学习模型（可以采用已知的模型），利用训练样本数据进行训练，并用训练样本数据进行测试，若测试模型检出率低于要求，则继续训练模型，若达到目标，则保存学习到的模型参数，将此模型用于后续步骤的目标检测。
步骤S05中在环境图像上使用目标检测深度学习模型检测目标的方法为：
(1)针对车辆与行人目标大小特征差距较大的特点，构建轻量级的卷积神经网络，使用端到端的单阶段训练方法；
(2)对输入到模型的图像进行压缩、归一化等预处理，对于处理后的图像进行卷积池化神经网络处理，得到多层不同尺度大小的梯度、边缘等特征向量图；
(3)在不同尺度大小的特征图层上，分别在每一个点构造6个不同比例大小的目标候选框；
(4)对目标候选框进行分类（例如softmax分类）和边界框回归处理，得到目标框位置Rect(x 1 ，y 1 ，width，height)；
(5)对得到的目标框位置，进行非极大值抑制处理，得到筛选后的目标位置Rect(x 1 ，y 1 ，width，height)，其中x 1 ，y 1 为目标框中心点的坐标，width为目标框宽度，height为目标框高度。
步骤S06中使用一个可转动长焦摄像头，根据检测到的目标位置，捕捉目标详细图像，具体的方法为：
(1)对检测到的所有目标框进行筛选，筛选方法可以为非极大值抑制处理，也可以采用目标感兴趣区域检测算法进行筛选，选取其中的典型目标作为当前焦点目标，读取该目标框的位置参数Rect(x 1 ，y 1 ，width，height)；具体的选取典型目标的方法可以采用目标感兴趣区域检测算法可以选取，这里不做赘述。
(2)根据焦点目标框的位置参数Rect(x 1 ，y 1 ，width，height)，计算得到长焦摄像头需要旋转的水平角度θ和垂直角度γ，具体的方法为：将焦点目标框的位置参数进行坐标转换，转换成长焦摄像头坐标系下的位置参数；然后根据长焦摄像头的位置参数得到长焦摄像头需要旋转的水平角度θ和垂直角度γ，通过RS485串口向长焦摄像头发送相应的水平旋转指令和垂直旋转指令，使其旋转指向焦点目标；
(3)将长焦摄像头拍摄到的目标实时图像发送到图像显示模块。
本方法可以高效直观地将环境图像信息和车辆周围目标信息展示给驾驶员，以满足驾驶员对车辆周围环境监控的需要。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (10)
1.一种基于全景图像和目标检测的车载环境感知方法，其特征在于，包括以下步骤：
S01：通过多个图像采集模块采集车辆四周的图像；
S02：采集多个图像采集模块的标定图片，计算并存储图像采集模块内参以及图像采集模块之间的偏移参数；
S03：对采集的车辆四周的图像进行矫正和重投影，对多个图像进行拼接融合，得到环视全景图像；
S04：采用构建的目标检测深度学习模型在得到的环视全景图像中检测目标，获取目标位置；
S05：根据检测到的目标位置，控制图像采集模块捕捉目标图像。
2.根据权利要求1所述的基于全景图像和目标检测的车载环境感知方法，其特征在于，所述步骤S02具体包括：
S21：使用棋盘格标定法，采集多张不同位置的黑白棋盘格图像，识别图像中的棋盘格角点；
S22：根据Kruppa方程获取对相机内参的约束方程，计算并存储摄像头的相机矩阵M与畸变系数k 1、k 2、p 1、p 2、k 3；
S23：在室外场景下采集同时刻的图像，使用ORB特征点检测算法提取特征点，寻找标定图像重合部分的特征点对应关系，计算并存储相邻摄像头图像之间的在x轴和y轴偏移的像素点个数。
3.根据权利要求2所述的基于全景图像和目标检测的车载环境感知方法，其特征在于，所述步骤S03中拼接融合方法包括：
S31：根据摄像头相机矩阵与畸变系数，计算用于畸变校正的重投影矩阵；
S32：根据柱面投影模型，得到柱面投影前后的像素点对应关系x’=f x *(a/2)+ f x *(arctan((x-W/2)/ f x ))，y’=H/2+ f y *(y-H/2)/k，基于畸变校正的重投影矩阵计算出柱面投影的重投影矩阵，其中k=sqrt(f x * f x +(W/2-x)*(W/2-x))，(x’,y’)是原图中位置为(x,y)的像素点在投影后的位置，f x 、f y 是摄像头在x轴、y轴上的焦距像素数，W为图像宽度像素数，H为图像高度像素数；
S33：根据标定获得的偏移参数与重投影矩阵的缩放系数，得到同一时刻多张圆柱曲面图像的相对位置与缩放系数，将四个重投影矩阵合并为一个合成矩阵，确认每张图像在合成矩阵中的最终位置，并进行缩放；
S34：利用得到的合成矩阵对获取的原始图像进行重投影，重叠部分使用渐入渐出融合算法进行融合，得到环视全景图像。
4.根据权利要求1所述的基于全景图像和目标检测的车载环境感知方法，其特征在于，所述步骤S04中的检测目标的方法包括：
S41：构建轻量级的卷积神经网络，使用端到端的单阶段训练方法；
S42：对输入到模型的图像进行预处理，对处理后的图像进行卷积池化神经网络处理，得到多层不同尺度大小的特征向量图；
S43：在不同尺度大小的特征向量图层上，分别在每一个点构造多个不同比例大小的目标候选框；
S44：对目标候选框进行分类和边界框回归处理，得到目标框位置；
S45：对得到的目标框位置进行非极大值抑制处理，得到筛选后的目标位置。
5.根据权利要求1所述的基于全景图像和目标检测的车载环境感知方法，其特征在于，所述步骤S05中控制图像采集模块捕捉目标图像的方法包括：
S51：对检测到的所有目标框进行筛选，选取其中的典型目标框作为当前焦点目标框，获取该目标框的位置信息；
S52：根据焦点目标框的位置信息计算得到图像采集模块的旋转角度，发送相应的旋转指令，控制图像采集模块指向焦点目标，采集图像。
6.一种基于全景图像和目标检测的车载环境感知系统，其特征在于，包括：
多个图像采集模块，安装于车辆四周，用于采集车辆四周的图像；
标定模块，采集多个图像采集模块的标定图片，计算并存储图像采集模块内参以及图像采集模块之间的偏移参数；
全景拼接模块，对采集的车辆四周的图像进行矫正和重投影，对多个图像进行拼接融合，得到环视全景图像；
目标检测模块，采用构建的目标检测深度学习模型在得到的环视全景图像中检测目标，获取目标位置；
目标跟踪模块，根据检测到的目标位置，控制图像采集模块捕捉目标图像，所述图像采集模块为可转动长焦摄像头。
7.根据权利要求6所述的基于全景图像和目标检测的车载环境感知系统，其特征在于，所述标定模块的标定方法包括：
S21：使用棋盘格标定法，采集多张不同位置的黑白棋盘格图像，识别图像中的棋盘格角点；
S22：根据Kruppa方程获取对相机内参的约束方程，计算并存储摄像头的相机矩阵M与畸变系数k 1、k 2、p 1、p 2、k 3；
S23：在室外场景下采集同时刻的图像，使用ORB特征点检测算法提取特征点，寻找标定图像重合部分的特征点对应关系，计算并存储相邻摄像头图像之间的在x轴和y轴偏移的像素点个数。
8.根据权利要求7所述的基于全景图像和目标检测的车载环境感知系统，其特征在于，所述全景拼接模块中拼接融合方法包括：
S31：根据摄像头相机矩阵与畸变系数，计算用于畸变校正的重投影矩阵；
S32：根据柱面投影模型，得到柱面投影前后的像素点对应关系x’=f x *(a/2)+ f x *(arctan((x-W/2)/ f x ))，y’=H/2+ f y *(y-H/2)/k，基于畸变校正的重投影矩阵计算出柱面投影的重投影矩阵，其中k=sqrt(f x * f x +(W/2-x)*(W/2-x))，(x’,y’)是原图中位置为(x,y)的像素点在投影后的位置，f x 、f y 是摄像头在x轴、y轴上的焦距像素数，W为图像宽度像素数，H为图像高度像素数；
S33：根据标定获得的偏移参数与重投影矩阵的缩放系数，得到同一时刻多张圆柱曲面图像的相对位置与缩放系数，将四个重投影矩阵合并为一个合成矩阵，确认每张图像在合成矩阵中的最终位置，并进行缩放；
S34：利用得到的合成矩阵对获取的原始图像进行重投影，重叠部分使用渐入渐出融合算法进行融合，得到环视全景图像。
9.根据权利要求6所述的基于全景图像和目标检测的车载环境感知系统，其特征在于，所述目标检测模块的检测目标的方法包括：
S41：构建轻量级的卷积神经网络，使用端到端的单阶段训练方法；
S42：对输入到模型的图像进行预处理，对处理后的图像进行卷积池化神经网络处理，得到多层不同尺度大小的特征向量图；
S43：在不同尺度大小的特征向量图层上，分别在每一个点构造多个不同比例大小的目标候选框；
S44：对目标候选框进行分类和边界框回归处理，得到目标框位置；
S45：对得到的目标框位置进行非极大值抑制处理，得到筛选后的目标位置。
10.根据权利要求6所述的基于全景图像和目标检测的车载环境感知系统，其特征在于，所述目标跟踪模块的控制图像采集模块捕捉目标图像的方法包括：
S51：对检测到的所有目标框进行筛选，选取其中的典型目标框作为当前焦点目标框，获取该目标框的位置信息；
S52：根据焦点目标框的位置信息计算得到图像采集模块的旋转角度，发送相应的旋转指令，控制图像采集模块指向焦点目标，采集图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011635313.6A CN112712037A (zh) | 2020-12-31 | 2020-12-31 | 基于全景图像和目标检测的车载环境感知方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011635313.6A CN112712037A (zh) | 2020-12-31 | 2020-12-31 | 基于全景图像和目标检测的车载环境感知方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112712037A true CN112712037A (zh) | 2021-04-27 |
Family
ID=75547830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011635313.6A Pending CN112712037A (zh) | 2020-12-31 | 2020-12-31 | 基于全景图像和目标检测的车载环境感知方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112712037A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139986A (zh) * | 2021-04-30 | 2021-07-20 | 东风越野车有限公司 | 一种集成式环境感知与多目标跟踪系统 |
| CN113609945A (zh) * | 2021-07-27 | 2021-11-05 | 深圳市圆周率软件科技有限责任公司 | 一种图像检测方法和车辆 |
| CN113715826A (zh) * | 2021-08-31 | 2021-11-30 | 深圳市同进视讯技术有限公司 | 一种基于车载实时监控的车辆驾驶辅助方法及装置 |
| CN113890976A (zh) * | 2021-09-26 | 2022-01-04 | 温州大学大数据与信息技术研究院 | 一种全景道路目标检测的移动终端 |
| CN114049260A (zh) * | 2022-01-12 | 2022-02-15 | 河北工业大学 | 一种图像拼接方法和装置及设备 |
| CN114049698A (zh) * | 2021-09-30 | 2022-02-15 | 北京瞰瞰智能科技有限公司 | 事件还原方法、终端及存储介质 |
| CN114462622A (zh) * | 2022-02-07 | 2022-05-10 | 舵敏智能科技(苏州)有限公司 | 一种用于众包数据的深度学习模型部署与训练方法 |
| CN114882090A (zh) * | 2022-04-29 | 2022-08-09 | 中国第一汽车股份有限公司 | 一种汽车全景控制器标定方法、装置、设备及介质 |
| CN115379122A (zh) * | 2022-10-18 | 2022-11-22 | 鹰驾科技（深圳）有限公司 | 一种视频内容动态拼接方法、系统及存储介质 |
| TWI819641B (zh) * | 2022-06-02 | 2023-10-21 | 威盛電子股份有限公司 | 影像拼接校正裝置及其方法 |
| CN117421829A (zh) * | 2023-11-21 | 2024-01-19 | 深圳市蓝鲸智联科技股份有限公司 | 一种基于汽车360度全景标定设计方法 |
| CN117830170A (zh) * | 2023-12-20 | 2024-04-05 | 浙江华诺康科技有限公司 | 一种双目设备的校正方法、装置和计算机设备 |
| EP4350605A4 (en) * | 2022-08-17 | 2024-07-03 | Beijing Zitiao Network Technology Co Ltd | IMAGE PROCESSING METHOD AND APPARATUS, APPARATUS AND MEDIUM |
-
2020
- 2020-12-31 CN CN202011635313.6A patent/CN112712037A/zh active Pending
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139986A (zh) * | 2021-04-30 | 2021-07-20 | 东风越野车有限公司 | 一种集成式环境感知与多目标跟踪系统 |
| CN113609945B (zh) * | 2021-07-27 | 2023-06-13 | 圆周率科技(常州)有限公司 | 一种图像检测方法和车辆 |
| CN113609945A (zh) * | 2021-07-27 | 2021-11-05 | 深圳市圆周率软件科技有限责任公司 | 一种图像检测方法和车辆 |
| CN113715826A (zh) * | 2021-08-31 | 2021-11-30 | 深圳市同进视讯技术有限公司 | 一种基于车载实时监控的车辆驾驶辅助方法及装置 |
| CN113890976A (zh) * | 2021-09-26 | 2022-01-04 | 温州大学大数据与信息技术研究院 | 一种全景道路目标检测的移动终端 |
| CN114049698A (zh) * | 2021-09-30 | 2022-02-15 | 北京瞰瞰智能科技有限公司 | 事件还原方法、终端及存储介质 |
| CN114049260A (zh) * | 2022-01-12 | 2022-02-15 | 河北工业大学 | 一种图像拼接方法和装置及设备 |
| CN114049260B (zh) * | 2022-01-12 | 2022-03-22 | 河北工业大学 | 一种图像拼接方法和装置及设备 |
| CN114462622A (zh) * | 2022-02-07 | 2022-05-10 | 舵敏智能科技(苏州)有限公司 | 一种用于众包数据的深度学习模型部署与训练方法 |
| CN114882090A (zh) * | 2022-04-29 | 2022-08-09 | 中国第一汽车股份有限公司 | 一种汽车全景控制器标定方法、装置、设备及介质 |
| TWI819641B (zh) * | 2022-06-02 | 2023-10-21 | 威盛電子股份有限公司 | 影像拼接校正裝置及其方法 |
| EP4350605A4 (en) * | 2022-08-17 | 2024-07-03 | Beijing Zitiao Network Technology Co Ltd | IMAGE PROCESSING METHOD AND APPARATUS, APPARATUS AND MEDIUM |
| CN115379122B (zh) * | 2022-10-18 | 2023-01-31 | 鹰驾科技（深圳）有限公司 | 一种视频内容动态拼接方法、系统及存储介质 |
| CN115379122A (zh) * | 2022-10-18 | 2022-11-22 | 鹰驾科技（深圳）有限公司 | 一种视频内容动态拼接方法、系统及存储介质 |
| CN117421829A (zh) * | 2023-11-21 | 2024-01-19 | 深圳市蓝鲸智联科技股份有限公司 | 一种基于汽车360度全景标定设计方法 |
| CN117830170A (zh) * | 2023-12-20 | 2024-04-05 | 浙江华诺康科技有限公司 | 一种双目设备的校正方法、装置和计算机设备 |
| CN117830170B (zh) * | 2023-12-20 | 2024-06-11 | 浙江华诺康科技有限公司 | 一种双目设备的校正方法、装置和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112712037A (zh) | 基于全景图像和目标检测的车载环境感知方法和系统 | |
| US9602700B2 (en) | Method and system of simultaneously displaying multiple views for video surveillance | |
| US9398214B2 (en) | Multiple view and multiple object processing in wide-angle video camera | |
| US9225942B2 (en) | Imaging surface modeling for camera modeling and virtual view synthesis | |
| CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
| JP4243767B2 (ja) | 魚眼レンズカメラ装置及びその画像抽出方法 | |
| JP4268206B2 (ja) | 魚眼レンズカメラ装置及びその画像歪み補正方法 | |
| CN106157304A (zh) | 一种基于多个相机的全景图拼接方法及系统 | |
| CN103150715A (zh) | 图像拼接处理方法及装置 | |
| CN103517041A (zh) | 基于多相机旋转扫描的实时全景监控方法和装置 | |
| CN103971375A (zh) | 一种基于图像拼接的全景凝视相机空间标定方法 | |
| CN112069862A (zh) | 目标检测方法和装置 | |
| CN114973028B (zh) | 一种航拍视频图像实时变化检测方法及系统 | |
| CN112348775A (zh) | 基于车载环视的路面坑塘检测系统及方法 | |
| CN114905512B (zh) | 一种智能巡检机器人全景追踪及避障方法及系统 | |
| CN111768332A (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
| CN116245722A (zh) | 一种应用于重高型车辆的全景影像拼接系统及方法 | |
| CN115330594A (zh) | 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法 | |
| KR101916419B1 (ko) | 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법 | |
| JP3453960B2 (ja) | 車両周囲モニタ装置 | |
| CN104363421A (zh) | 实现多角度摄像头监控效果的方法和装置 | |
| CN113850905B (zh) | 一种用于周扫型光电预警系统的全景图像实时拼接方法 | |
| US20220172318A1 (en) | Method for capturing and processing a digital panoramic image | |
| CN114612574A (zh) | 一种基于无人机的车载环视相机全景鸟瞰图标定及转换拼接方法 | |
| KR101293263B1 (ko) | 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |