CN108460348A - 基于三维模型的道路目标检测方法 - Google Patents

基于三维模型的道路目标检测方法 Download PDF

Info

Publication number
CN108460348A
CN108460348A CN201810147619.3A CN201810147619A CN108460348A CN 108460348 A CN108460348 A CN 108460348A CN 201810147619 A CN201810147619 A CN 201810147619A CN 108460348 A CN108460348 A CN 108460348A
Authority
CN
China
Prior art keywords
anaglyph
depth
road
threedimensional model
candidate region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810147619.3A
Other languages
English (en)
Other versions
CN108460348B (zh
Inventor
陈婧
许文强
彭伟民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Electronic Science and Technology University
Original Assignee
Hangzhou Electronic Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Electronic Science and Technology University filed Critical Hangzhou Electronic Science and Technology University
Priority to CN201810147619.3A priority Critical patent/CN108460348B/zh
Publication of CN108460348A publication Critical patent/CN108460348A/zh
Application granted granted Critical
Publication of CN108460348B publication Critical patent/CN108460348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于三维模型的道路目标检测方法，包括如下步骤：同步获取两张道路采样图像，计算两张道路采样图像的视差图像，获得视差图像的深度特征；根据视差图像的深度特征生成候选区域，并将候选区域的3维边界框的坐标点映射到二维图像；利用多尺度池化网络层的卷积神经网络提取二维图像的外形特征，利用3维模型获得道路目标。本发明具有如下有益效果：本发明的算法解决了二维检测过程中出现的遮挡和阴影等问题，提高了鲁棒性，降低了成本。

Description

基于三维模型的道路目标检测方法
技术领域
本发明涉及机器视觉技术领域，尤其是涉及一种能够提高检测鲁棒性，能够解决二维检测过程中出现的遮挡和阴影问题的基于三维模型的道路目标检测方法。
背景技术
稳定可靠的车辆检测过程是交通分析的第一步。与此相关的车辆计数、车辆跟踪、车型分类、辅助驾驶、事故检测和道路行为判断都建立在准确的车辆检测基础上。交通检测过程中，传统检测器能够获取到的交通信息比较单一，通常需要结合多种传感器来辅助完成一项检测任务。而由于检测数据多源异质的特点，多种交通检测数据的集成与融合成为瓶颈。这使得监视范围广，能够获取多种交通参数的基于视觉的交通检测方法越来越受到青睐。
道路上的目标检测是从交通图像中定位出车辆、行人等物体的位置。对象检测对于物体跟踪和道路行为理解等更上层的处理任务至关重要。它是整个交通图像处理流程的基础。然而，在实际的交通场景检测中，存在许多挑战性的问题。比如，遮挡、阴影等。因此，需要设计鲁棒的算法来抑制这些因素的影响，以提高算法的适应性和准确性。
发明内容
本发明为了克服现有技术中存在的二维检测过程中会出现遮挡和阴影的问题、鲁棒性低的不足，提供了一种能够提高检测鲁棒性，能够解决二维检测过程中出现的遮挡和阴影问题的基于三维模型的道路目标检测方法。
为了实现上述目的，本发明采用了以下技术方案：
一种基于三维模型的道路目标检测方法，包括如下步骤：
(1-1)同步获取两张道路采样图像，计算两张道路采样图像的视差图像，获得视差图像的深度特征；
(1-2)根据视差图像的深度特征生成候选区域，并将候选区域的3维边界框的坐标点映射到二维图像；
(1-3)利用多尺度池化网络层的卷积神经网络提取二维图像的外形特征，利用3维模型获得道路目标。
本发明通过双目立体视觉算法获得视差图像，获得视差图像的深度特征，根据深度特征获得候选区域，利用多尺度池化网络层的卷积神经网络提取二维图像的外形特征，利用3维模型获得道路目标。
作为优选，步骤(1-1)的具体步骤如下：
(2-1)同步获取两张道路采样图像，以左侧相机光心为坐标原点建立坐标系，获得视觉图像点p与双目视觉测量系统的关系：
其中，A1，A2分别表示左侧相机内参和右侧相机内参，
R为旋转矩阵，
T为平移矩阵，(u1，v1)，(u2，v2)分别表示左侧相机和右侧相机所拍摄的二维图像像素点坐标，表示视觉图像点p的坐标；
(2-2)根据视觉图像点p与双目视觉测量系统的关系计算视觉图像点p的坐标，获得两张道路采样图像的视差图像，获得深度值
(2-3)根据二维图像的结构特征和视差图像的深度特征建立混合模型loss函数，loss函数定义为：
Lmulti-task＝λ1Lstruct+λ2Ldepth
其中，结构层的评估分类代价，Lstruct由图像分类U对应的概率pU决定：Lstruct＝-logpU，图像分类包括小汽车，行人，自行车等；深度特征从视差图像中获取，忽略了车辆的外形特征，只关注每种车型在深度方向的梯度变化，Ldepth由梯度分类G(x，y)对应的概率pG决定：Ldepth＝-logpG；λ1，λ2为平衡系数；
(2-4)利用一阶微分求公式Lmulti-task＝λ1Lstruct+λ2Ldepth的导数获得视差图像深度方向的梯度值，获得视差图像得深度特征。
作为优选，根据视觉图像点p与双目视觉测量系统的关系计算视觉图像点p的坐标的具体方法如下：
(3-1)根据公式和
计算和同时使
和
(3-2)根据公式计算得到点p的坐标为
作为优选，G(x，y)的计算方法如下：
其中：，Gx(x，y)和Gy(x，y)分别为图像在像素点(x，y)处的水平梯度和垂直梯度，Gx(x，y)＝I(x+1，y)-I(x-1，y)，Gy(x，y)＝I(x，y+1)-I(x，y-1)；I(x，y)为图像在像素点(x，y)处的视差图像的深度值。
作为优选，步骤(1-2)的具体步骤如下：
(5-1)设定轮廓内像素点数量的最小值为W；
(5-2)根据视差图像的深度特征提取视差图像中目标区域的轮廓，如果轮廓内的像素点数量少于W，转入(5-3)；如果轮廓内的像素点数量大于等于W，转入(5-4)；
(5-3)利用深度值对物体进行不同尺度的分割，转入(5-2)；
(5-4)如果轮廓内相邻像素点间的深度值差异小于设定值，检测视差图像的轮廓；
(5-5)根据检测到的视差图像的轮廓生成初始候选区域；
(5-6)对初始候选区域进行二阶微分的图像增强滤波，然后通过拉普拉斯算子突出渐变区域边缘的局部细节，生成最终的候选区域，并将候选区域的3维边界框的坐标点映射到二维图像。
作为优选，分割的尺度利用如下公式计算：
其中，a为规模系数。
作为优选，步骤(1-3)的具体步骤如下：
(7-1)对二维图像进行卷积和降采样处理，将处理后的图像输入到多尺度池化层；
(7-2)对不同大小的二维图像的候选区域提取一个固定维度的外形特征；
(7-3)通过正常的softmax层进行类型识别，将获得的不同类型利用三维模型获得道路目标。
因此，本发明具有如下有益效果：本发明的算法解决了二维检测过程中出现的遮挡和阴影等问题，提高了鲁棒性，降低了成本。
附图说明
图1是本发明的一种流程图。
具体实施方式
下面结合附图与具体实施方式对本发明做进一步描述：
如图1所示的实施例是一种基于三维模型的道路目标检测方法，包括如下步骤：
步骤100，同步获取两张道路采样图像，计算两张道路采样图像的视差图像，获得视差图像的深度特征
步骤101，同步获取两张道路采样图像，以左侧相机光心为坐标原点建立坐标系，获得视觉图像点p与双目视觉测量系统的关系：
其中，A1，A2分别表示左侧相机内参和右侧相机内参，
R为旋转矩阵，
T为平移矩阵，(u1，v1)，(u2，v2)分别表示左侧相机和右侧相机所拍摄的二维图像像素点坐标，表示视觉图像点p的坐标；
步骤102，根据公式和
计算和同时使
和
步骤103，根据公式计算得到
获得深度值
获得点p坐标，点p的坐标为
点p的所有坐标组成两张道路采样图像的视差图像；
步骤104，根据二维图像的结构特征和视差图像的深度特征建立混合模型loss函数，loss函数定义为：
Lmulti-task＝λ1Lstruct+λ2Ldepth
其中，结构层的评估分类代价，Lstruct由图像分类U对应的概率pU决定：Lstruct＝-logpU，图像分类包括小汽车，行人，自行车等；深度特征从视差图像中获取，忽略了车辆的外形特征，只关注每种车型在深度方向的梯度变化，Ldepth由梯度分类G(x，y)对应的概率pG决定：Ldepth＝-logpG；λ1，λ2为平衡系数；G(x，y)的计算方法如下：
其中：，Gx(x，y)和Gy(x，y)分别为图像在像素点(x，y)处的水平梯度和垂直梯度，Gx(x，y)＝I(x+1，y)-I(x-1，y)，Gy(x，y)＝I(x，y+1)-I(x，y-1)；I(x，y)为图像在像素点(x，y)处的视差图像的深度值；
步骤105，利用一阶微分求公式Lmulti-task＝λ1Lstruct+λ2Ldspth的导数获得视差图像深度方向的梯度值，获得视差图像得深度特征；
步骤200，根据视差图像的深度特征生成候选区域，并将候选区域的3维边界框的坐标点映射到二维图像
步骤201，设定轮廓内像素点数量的最小值为W；
步骤202，根据视差图像的深度特征提取视差图像中目标区域的轮廓，如果轮廓内的像素点数量少于W，转入步骤203；如果轮廓内的像素点数量大于等于W，转入步骤204；
步骤203，利用深度值对物体进行不同尺度的分割，分割的尺度利用公式计算，转入步骤202，其中，a为规模系数；
步骤204，如果轮廓内相邻像素点间的深度值差异小于设定值，检测视差图像的轮廓；
步骤205，根据检测到的视差图像的轮廓生成初始候选区域；
步骤206，对初始候选区域进行二阶微分的图像增强滤波，然后通过拉普拉斯算子突出渐变区域边缘的局部细节，生成最终的候选区域，并将候选区域的3维边界框的坐标点映射到二维图像。
步骤300，利用多尺度池化网络层的卷积神经网络提取二维图像的外形特征，利用3维模型获得道路目标
步骤301，对二维图像进行卷积和降采样处理，将处理后的图像输入到多尺度池化层；
步骤302，对不同大小的二维图像的候选区域提取一个固定维度的外形特征；
步骤303，通过正常的softmax层进行类型识别，将获得的不同类型利用三维模型获得道路目标。
应理解，本实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (7)

1.一种基于三维模型的道路目标检测方法，其特征在于，包括如下步骤：
(1-1)同步获取两张道路采样图像，计算两张道路采样图像的视差图像，获得视差图像的深度特征；
(1-2)根据视差图像的深度特征生成候选区域，并将候选区域的3维边界框的坐标点映射到二维图像；
(1-3)利用多尺度池化网络层的卷积神经网络提取二维图像的外形特征，利用3维模型获得道路目标。
2.根据权利要求1所述的基于三维模型的道路目标检测方法，其特征在于，步骤(1-1)的具体步骤如下：
(2-1)同步获取两张道路采样图像，以左侧相机光心为坐标原点建立坐标系，获得视觉图像点p与双目视觉测量系统的关系：
其中，A1，A2分别表示左侧相机内参和右侧相机内参，R为旋转矩阵，T为平移矩阵，(u1，v1)，(u2，v2)分别表示左侧相机和右侧相机所拍摄的二维图像像素点坐标，表示视觉图像点p的坐标；
(2-2)根据视觉图像点p与双目视觉测量系统的关系计算视觉图像点p的坐标，获得两张道路采样图像的视差图像，获得深度值
(2-3)根据二维图像的结构特征和视差图像的深度特征建立混合模型loss函数，loss函数定义为：
Lmulti-task＝λ1Lstruct+λ2Ldepth
其中，结构层的评估分类代价，Lstruct由图像分类U对应的概率pU决定：Lstruct＝-logpU，图像分类包括小汽车，行人，自行车等；深度特征从视差图像中获取，忽略了车辆的外形特征，只关注每种车型在深度方向的梯度变化，Ldepth由梯度分类G(x，y)对应的概率pG决定：Ldepth＝-logpG；λ1，λ2为平衡系数；
(2-4)利用一阶微分求公式Lmulti-task＝λ1Lstruct+λ2Ldepth的导数获得视差图像深度方向的梯度值，获得视差图像得深度特征。
3.根据权利要求2所述的基于三维模型的道路目标检测方法，其特征在于，根据视觉图像点p与双目视觉测量系统的关系计算视觉图像点p的坐标的具体方法如下：
(3-1)根据公式和计算和同时使 和
(3-2)根据公式计算得到点p的坐标为
4.根据权利要求2所述的基于三维模型的道路目标检测方法，其特征在于，G(x，y)的计算方法如下：
其中：，Gx(x，y)和Gy(x，y)分别为图像在像素点(x，y)处的水平梯度和垂直梯度，Gx(x，y)＝I(x+1，y)-I(x-1，y)，Gy(x，y)＝I(x，y+1)-I(x，y-1)；I(x，y)为图像在像素点(x，y)处的视差图像的深度值。
5.根据权利要求1所述的基于三维模型的道路目标检测方法，其特征在于，步骤(1-2)的具体步骤如下：
(5-1)设定轮廓内像素点数量的最小值为W；
(5-2)根据视差图像的深度特征提取视差图像中目标区域的轮廓，如果轮廓内的像素点数量少于W，转入(5-3)；如果轮廓内的像素点数量大于等于W，转入(5-4)；
(5-3)利用深度值对物体进行不同尺度的分割，转入(5-2)；
(5-4)如果轮廓内相邻像素点间的深度值差异小于设定值，检测视差图像的轮廓；
(5-5)根据检测到的视差图像的轮廓生成初始候选区域；
(5-6)对初始候选区域进行二阶微分的图像增强滤波，然后通过拉普拉斯算子突出渐变区域边缘的局部细节，生成最终的候选区域，并将候选区域的3维边界框的坐标点映射到二维图像。
6.根据权利要求5所述的基于三维模型的道路目标检测方法，其特征在于，分割的尺度利用如下公式计算：
其中，a为规模系数。
7.根据权利要求1或2或3或4或5或6所述的基于三维模型的道路目标检测方法，其特征在于，步骤(1-3)的具体步骤如下：
(7-1)对二维图像进行卷积和降采样处理，将处理后的图像输入到多尺度池化层；
(7-2)对不同大小的二维图像的候选区域提取一个固定维度的外形特征；
(7-3)通过正常的softmax层进行类型识别，将获得的不同类型利用三维模型获得道路目标。
CN201810147619.3A 2018-02-12 2018-02-12 基于三维模型的道路目标检测方法 Active CN108460348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810147619.3A CN108460348B (zh) 2018-02-12 2018-02-12 基于三维模型的道路目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810147619.3A CN108460348B (zh) 2018-02-12 2018-02-12 基于三维模型的道路目标检测方法

Publications (2)

Publication Number Publication Date
CN108460348A true CN108460348A (zh) 2018-08-28
CN108460348B CN108460348B (zh) 2022-04-22

Family

ID=63216987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810147619.3A Active CN108460348B (zh) 2018-02-12 2018-02-12 基于三维模型的道路目标检测方法

Country Status (1)

Country Link
CN (1) CN108460348B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991510A (zh) * 2019-12-13 2021-06-18 阿里巴巴集团控股有限公司 一种道路场景图像处理方法、装置以及电子设备
CN113989763A (zh) * 2021-12-30 2022-01-28 江西省云眼大视界科技有限公司 一种视频结构化分析方法和分析系统
US11288828B2 (en) 2019-11-21 2022-03-29 Industrial Technology Research Institute Object recognition system based on machine learning and method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975931A (zh) * 2016-05-04 2016-09-28 浙江大学 一种基于多尺度池化的卷积神经网络人脸识别方法
CN106463060A (zh) * 2014-05-19 2017-02-22 株式会社理光 处理装置、处理系统、处理程序和处理方法
CN106462771A (zh) * 2016-08-05 2017-02-22 深圳大学 一种3d图像的显著性检测方法
CN107564009A (zh) * 2017-08-30 2018-01-09 电子科技大学 基于深度卷积神经网络的室外场景多目标分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106463060A (zh) * 2014-05-19 2017-02-22 株式会社理光 处理装置、处理系统、处理程序和处理方法
CN105975931A (zh) * 2016-05-04 2016-09-28 浙江大学 一种基于多尺度池化的卷积神经网络人脸识别方法
CN106462771A (zh) * 2016-08-05 2017-02-22 深圳大学 一种3d图像的显著性检测方法
CN107564009A (zh) * 2017-08-30 2018-01-09 电子科技大学 基于深度卷积神经网络的室外场景多目标分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JING CHEN ET AL: "Fast Vehicle Detection Using a Disparity Projection Method", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288828B2 (en) 2019-11-21 2022-03-29 Industrial Technology Research Institute Object recognition system based on machine learning and method thereof
CN112991510A (zh) * 2019-12-13 2021-06-18 阿里巴巴集团控股有限公司 一种道路场景图像处理方法、装置以及电子设备
CN112991510B (zh) * 2019-12-13 2024-04-12 阿里巴巴集团控股有限公司 一种道路场景图像处理方法、装置以及电子设备
CN113989763A (zh) * 2021-12-30 2022-01-28 江西省云眼大视界科技有限公司 一种视频结构化分析方法和分析系统
CN113989763B (zh) * 2021-12-30 2022-04-15 江西省云眼大视界科技有限公司 一种视频结构化分析方法和分析系统

Also Published As

Publication number Publication date
CN108460348B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN107330376B (zh) 一种车道线识别方法及系统
CN108596975B (zh) 一种针对弱纹理区域的立体匹配算法
CN104574347B (zh) 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
CN108280450B (zh) 一种基于车道线的高速公路路面检测方法
CN110919653B (zh) 机器人的爬楼控制方法、装置、存储介质和机器人
CN102132323B (zh) 用于自动图像矫直的系统和方法
CN103053154B (zh) 立体相机的自动对焦
CN107248159A (zh) 一种基于双目视觉的金属工件缺陷检测方法
CN109784344A (zh) 一种用于地平面标识识别的图像非目标滤除方法
CN113673444B (zh) 一种基于角点池化的路口多视角目标检测方法及系统
JP6544257B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム
CN104933434A (zh) 一种结合LBP特征提取和surf特征提取方法的图像匹配方法
CN108171695A (zh) 一种基于图像处理的高速公路路面检测方法
CN110110608B (zh) 一种全景监控下基于视觉的叉车速度监测方法和系统
CN103116757B (zh) 一种三维信息复原提取的道路遗洒物识别方法
CN105139391B (zh) 一种雾霾天气交通图像边缘检测方法
CN109544635B (zh) 一种基于枚举试探的相机自动标定方法
JP3072730B2 (ja) 車両検出方法および装置
CN113516853B (zh) 一种针对复杂监控场景的多车道车流量检测方法
CN108256445A (zh) 车道线检测方法及系统
CN108460348A (zh) 基于三维模型的道路目标检测方法
CN117036641A (zh) 一种基于双目视觉的公路场景三维重建与缺陷检测方法
CN114719873B (zh) 一种低成本精细地图自动生成方法、装置及可读介质
CN115761563A (zh) 一种基于光流测算的河流表面流速的计算方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant