CN111027415A - 一种基于偏振图像的车辆检测方法 - Google Patents

一种基于偏振图像的车辆检测方法 Download PDF

Info

Publication number
CN111027415A
CN111027415A CN201911147948.9A CN201911147948A CN111027415A CN 111027415 A CN111027415 A CN 111027415A CN 201911147948 A CN201911147948 A CN 201911147948A CN 111027415 A CN111027415 A CN 111027415A
Authority
CN
China
Prior art keywords
image
polarization
vehicle detection
dolp
aolp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911147948.9A
Other languages
English (en)
Other versions
CN111027415B (zh
Inventor
黄志明
汪凯巍
李华兵
杨恺伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lingxiang Technology Co ltd
Original Assignee
Hangzhou Lingxiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lingxiang Technology Co ltd filed Critical Hangzhou Lingxiang Technology Co ltd
Priority to CN201911147948.9A priority Critical patent/CN111027415B/zh
Publication of CN111027415A publication Critical patent/CN111027415A/zh
Application granted granted Critical
Publication of CN111027415B publication Critical patent/CN111027415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于偏振图像的车辆检测方法。该方法包括：采集RGB‑P图像构建小型数据集、计算偏振图像的斯托克斯矢量、线性偏振度DoLP和线性偏振角值AoLP，然后据此构建HSL空间图像，最后将HSL图像送入SSD网络训练得到最终的车辆检测模型。该方法相比现有的车辆检测技术，实现了更好、更准确的车辆检测效果，解决了特殊场景下的车辆检测问题，可以更好地满足实际应用需求，一定程度上填补了这一块的技术空缺。

Description

一种基于偏振图像的车辆检测方法
技术领域
本发明属于深度学习技术、偏振成像技术、目标检测技术、图像处理技术、计算机视觉技术领域，具体地涉及一种基于偏振图像的车辆检测方法。
背景技术
随着计算机视觉技术的发展，目标检测技术已经有传统的图像算法转到深度学习领域，并已经实现了较好的检测效果，如Faster R-CNN、YOLO等。深度学习模型是通过大型的图像数据集(ImageNet，PASCAL VOC等)训练所得到，但是这些大型数据集都是RGB图像组成，对于现实世界中一些比较复杂的场景(如车辆上的高光、高反等)，仅仅依赖RGB信息是不够的，现有的仅通过RGB图像信息训练的车辆检测模型很难满足实际要求。因此，一个能够满足各种复杂场景下的车辆检测方法对于自动驾驶等技术领域是迫切需要的。要想实现较好的检测效果就必须融合更多维度的信息。
发明内容
本发明的目的在于针对现有车辆检测技术在复杂场景下的局限性，提出了一种基于偏振图像的车辆检测方法。
本发明的目的是通过如下技术方案实现的：一种基于偏振图像的车辆检测方法，具体包括以下步骤：
(1)采集RGB-P图像构建小型数据集：通过基于微偏振阵列成像技术的彩色偏振相机获取任意场景在0°、45°、90°和135°的偏振角下的图像，从而获得当前场景下的RGB-P图像；
(2)通过计算出斯托克斯参量中的I、Q、U后，算出每个像素的DOLP和AOLP的值：
(2.1)计算偏振图像的斯托克斯矢量S＝[I,Q,U,V]T中的I，Q，U三个参量：使用I(0)、I(45)、I(90)和I(135)分别表示步骤1中对应角度下的偏振图像，则有：
I＝I(0)+I(45)+I(90)+I(135)
Q＝I(0)-I(90)
U＝I(45)-I(135)， (1)
其中，I表示总光强度，Q表示水平方向直线偏振光分量，U表示45°方向直线偏振光分量，V表示右旋园偏振分量。
(2.2)计算出偏振斯托克斯矢量后，对应图像的每个像素的线性偏振度DoLP表示为：
Figure BDA0002282740380000021
(2.3)在DoLP值大于0.3的图像区域，计算每个像素的线性偏振角值AoLP：
Figure BDA0002282740380000022
(3)计算出当前场景的DoLP图像和AoLP图像后，再将步骤1获得的当前场景下的RGB-P图像转换到HSL空间的图像，其中，H表示色度，H＝2*AoLP；S表示饱和度，S＝DoLP；L表示亮度，L＝I/255。
(4)选取SSD目标检测网络对步骤3中的HSL空间的图像进行训练：采用在ImageNet数据集上预训练好的SSD目标检测网络模型，使用迁移学习的fine-tune方法让所述SSD目标检测网络模型的conv1层到conv5层的参数固定，重新训练学习conv5层以后的参数，在迭代多个epoch后直到SSD目标检测网络模型收敛，停止训练，得到基于RGB-P信息的车辆检测模型。
(5)将实际场景拍摄的RGB-P图像输入到步骤4中训练得到的车辆检测模型中，输出车辆在图像中的位置。
进一步地，DoLP的取值范围在0～1之间，1代表完全线偏振光，0代表完全非线偏振光。
进一步地，AoLP的取值范围在0°取180°之间。
与现有技术相比，本发明具有如下有益效果：
(1)场景适应性更好；相比于仅使用RGB信息的车辆检测网络模型，本发明的方法对真实世界中各种复杂的应用场景的适应性更好。因为本方法除了结合RGB信息外，还融入了偏振信息，因此在高光高反区域的场景下，本方法检测效果明显优于仅依靠RGB信息的车辆检测模型。
(2)平均准确率(mAP)更高；本发明在实际测试过程中，对于实际场景中的车辆的平均检测准确率要比仅用RGB信息训练的模型更高。因为大部分的车辆的表面都是金属材质，相较于其他物体具有很高的偏振特性，因此检测的平均准确率要高于仅仅使用RGB信息的网络模型。
(3)输出的环境感知信息更多。由于本方法采用基于微偏振阵列成像相机采集数据集，因此本发明除了能实时检测车辆之外，还能输出更多维度的场景信息，如偏振度、偏振角等。
附图说明
图1为偏振相机拍摄的四个不同偏振角度下的偏振图像；
图2为DoLP图像；
图3为AoLP图像；
图4为网络输入的HSL图像；
图5为SSD目标检测网络结构。
具体实施方式
本发明公开了一种基于偏振图像的车辆检测方法，具体包括以下步骤：
(1)采集RGB-P图像构建小型数据集：本方法拟使用场景的RGB-P信息进行训练，但是目前是没有适用的RGB-P图像的数据集的，因此需要手动采集制作。RGB-P图像的采集是通过一个基于微偏振阵列成像技术的彩色偏振相机完成，该偏振相机可以同时获取任意场景在0°、45°、90°和135°偏振角下的图像，如图1所示：左上对应的是90°，右上对应45°，左下对应135°以及右下对应的是0°，从而获得当前场景下的RGB-P图像；
(2)通过计算出斯托克斯参量中的I、Q、U后，算出每个像素的DOLP和AOLP的值：
(2.1)在获取到当前场景的四个不同偏振角度下的偏振图像后，需要计算图像的偏振斯托克斯矢量S＝[I,Q,U,V]T中的I,Q,U三个参量，以获得该场景图像的偏振度和偏振角信息。使用I(0)、I(45)、I(90)和I(135)分别表示步骤1中对应偏振角度下的图像，则有：
I＝I(0)+I(45)+I(90)+I(135)
Q＝I(0)-I(90)
U＝I(45)-I(135)， (1)
其中，I表示总光强度，Q表示水平方向直线偏振光分量，U表示45°方向直线偏振光分量，V表示右旋园偏振光分量。
(2.2)计算出偏振的斯托克斯矢量S中的I,Q,U后，则对应图像的每个像素的线性偏振
度DoLP可表示为：
Figure BDA0002282740380000031
其中，DoLP的取值范围在0～1之间，1代表完全线偏振光，0代表完全非线偏振光，如图2所示，表示了当前场景的偏振度信息，其中亮度较高的区域对应偏振度较强的区域。
(2.3)在DoLP值大于0.3的图像区域，计算每个像素的线性偏振角值AoLP：
Figure BDA0002282740380000032
其中，AoLP的取值范围在0°～180°之间，AoLP反映了高偏振区域表面的轮廓信息，如图3，表示了当前场景的偏振角信息，可以看出偏振度较高的连续区域上偏振角的大小基本一致。
(3)因为当前主流的目标检测网络(如Faster-RCNN，SSD等)都输入的是RGB图像来训练模型，如果想要融入偏振信息进行训练，则必须改变图像的输入格式。在计算出图像的DoLP和AoLP后，将步骤1获得当前场景下的RGB-P图像转换到HSL空间的图像，HSL空间仿照HSV空间，其中，H表示色度，H＝2*AoLP；S表示饱和度，S＝DoLP；L表示亮度，L＝I/255，如图4所示，将图像转换成HSL空间后，不仅保留了原有的亮度信息，还可以充分利用到场景的偏振度，偏振角信息，因此有利于提升检测效果。
(4)选取SSD目标检测网络对步骤3中的HSL空间的图像进行训练：采用在ImageNet数据集上预训练好的SSD目标检测网络模型，使用迁移学习的fine-tune方法让所述SSD目标检测网络模型的conv1层到conv5层的参数固定，重新学习网络后几层的参数，在多次迭代到模型收敛后，停止训练，得到基于RGB-P信息的车辆检测模型；所述SSD目标检测网络模型如图5所示。
(5)将实际场景拍摄的RGB-P图像输入到步骤4中训练得到的车辆检测模型中，输出车辆在图像中的位置。
该方法能够准确地检测出车辆在图像中的位置，并生成Bounding Box将车辆目标框出显示，实时帧率能达到40帧，检测速度满足实时性的要求。

Claims (3)

1.一种基于偏振图像的车辆检测方法，其特征在于，具体包括以下步骤：
(1)采集RGB-P图像构建小型数据集：通过基于微偏振阵列成像技术的彩色偏振相机获取任意场景在0°、45°、90°和135°的偏振角下的图像，从而获得当前场景下的RGB-P图像；
(2)通过计算出斯托克斯参量中的I、Q、U后，算出每个像素的DOLP和AOLP的值：
(2.1)计算偏振图像的斯托克斯矢量S＝[I,Q,U,V]T中的I，Q，U三个参量：使用I(0)、I(45)、I(90)和I(135)分别表示步骤1中对应角度下的偏振图像，则有：
I＝I(0)+I(45)+I(90)+I(135)
Q＝I(0)-I(90)
U＝I(45)-I(135)， (1)
其中，I表示总光强度，Q表示水平方向直线偏振光分量，U表示45°方向直线偏振光分量，V表示右旋园偏振分量。
(2.2)计算出偏振斯托克斯矢量后，对应图像的每个像素的线性偏振度DoLP表示为：
Figure FDA0002282740370000011
(2.3)在DoLP值大于0.3的图像区域，计算每个像素的线性偏振角值AoLP：
Figure FDA0002282740370000012
(3)计算出当前场景的DoLP图像和AoLP图像后，再将步骤1获得的当前场景下的RGB-P图像转换到HSL空间的图像，其中，H表示色度，H＝2*AoLP；S表示饱和度，S＝DoLP；L表示亮度，L＝I/255。
(4)选取SSD目标检测网络对步骤3中的HSL空间的图像进行训练：采用在ImageNet数据集上预训练好的SSD目标检测网络模型，使用迁移学习的fine-tune方法让所述SSD目标检测网络模型的conv1层到conv5层的参数固定，重新训练学习conv5层以后的参数，在迭代多个epoch后直到SSD目标检测网络模型收敛，停止训练，得到基于RGB-P信息的车辆检测模型。
(5)将实际场景拍摄的RGB-P图像输入到步骤4中训练得到的车辆检测模型中，输出车辆在图像中的位置。
2.如权利要求1所述车辆检测方法，其特征在于，DoLP的取值范围在0～1之间，1代表完全线偏振光，0代表完全非线偏振光。
3.如权利要求1所述车辆检测方法，其特征在于，AoLP的取值范围在0°取180°之间。
CN201911147948.9A 2019-11-21 2019-11-21 一种基于偏振图像的车辆检测方法 Active CN111027415B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911147948.9A CN111027415B (zh) 2019-11-21 2019-11-21 一种基于偏振图像的车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911147948.9A CN111027415B (zh) 2019-11-21 2019-11-21 一种基于偏振图像的车辆检测方法

Publications (2)

Publication Number Publication Date
CN111027415A true CN111027415A (zh) 2020-04-17
CN111027415B CN111027415B (zh) 2022-08-05

Family

ID=70201794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911147948.9A Active CN111027415B (zh) 2019-11-21 2019-11-21 一种基于偏振图像的车辆检测方法

Country Status (1)

Country Link
CN (1) CN111027415B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256576A (zh) * 2021-05-18 2021-08-13 福州大学 基于偏振成像和机器学习的光学元件自动检测系统及方法
CN113344006A (zh) * 2021-05-21 2021-09-03 中国人民解放军陆军炮兵防空兵学院 一种采用可学习参量融合网络的偏振图像解析方法
CN114024810A (zh) * 2021-11-03 2022-02-08 南京信息工程大学 一种多芯光纤信道调制格式识别方法及其装置
CN117351448A (zh) * 2023-12-04 2024-01-05 长春理工大学 一种基于YOLOv8改进的偏振图像道路目标检测方法
CN117689545A (zh) * 2024-02-02 2024-03-12 荣耀终端有限公司 图像处理方法、电子设备和计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102782720A (zh) * 2009-12-25 2012-11-14 株式会社理光 对象识别装置、移动主体控制装置及信息提供装置
CN106682631A (zh) * 2016-12-30 2017-05-17 广东华中科技大学工业技术研究院 一种基于偏振特性的水面目标检测方法
US20170178399A1 (en) * 2015-12-22 2017-06-22 Raytheon Company 3-d polarimetric imaging using a microfacet scattering model to compensate for structured scene reflections
CN107066953A (zh) * 2017-03-22 2017-08-18 北京邮电大学 一种面向监控视频的车型识别、跟踪及矫正方法和装置
WO2018165027A1 (en) * 2017-03-06 2018-09-13 Polaris Sensor Technologies, Inc. Polarization-based detection and mapping method and system
CN109829469A (zh) * 2018-11-08 2019-05-31 电子科技大学 一种基于深度学习的车辆检测方法
CN110472623A (zh) * 2019-06-29 2019-11-19 华为技术有限公司 图像检测方法、设备以及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102782720A (zh) * 2009-12-25 2012-11-14 株式会社理光 对象识别装置、移动主体控制装置及信息提供装置
US20170178399A1 (en) * 2015-12-22 2017-06-22 Raytheon Company 3-d polarimetric imaging using a microfacet scattering model to compensate for structured scene reflections
CN106682631A (zh) * 2016-12-30 2017-05-17 广东华中科技大学工业技术研究院 一种基于偏振特性的水面目标检测方法
WO2018165027A1 (en) * 2017-03-06 2018-09-13 Polaris Sensor Technologies, Inc. Polarization-based detection and mapping method and system
CN107066953A (zh) * 2017-03-22 2017-08-18 北京邮电大学 一种面向监控视频的车型识别、跟踪及矫正方法和装置
CN109829469A (zh) * 2018-11-08 2019-05-31 电子科技大学 一种基于深度学习的车辆检测方法
CN110472623A (zh) * 2019-06-29 2019-11-19 华为技术有限公司 图像检测方法、设备以及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
叶松 等: "一种采用ISH空间表征偏振遥感图像的方法", 《遥感信息》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256576A (zh) * 2021-05-18 2021-08-13 福州大学 基于偏振成像和机器学习的光学元件自动检测系统及方法
CN113344006A (zh) * 2021-05-21 2021-09-03 中国人民解放军陆军炮兵防空兵学院 一种采用可学习参量融合网络的偏振图像解析方法
CN114024810A (zh) * 2021-11-03 2022-02-08 南京信息工程大学 一种多芯光纤信道调制格式识别方法及其装置
CN114024810B (zh) * 2021-11-03 2023-05-23 南京信息工程大学 一种多芯光纤信道调制格式识别方法及其装置
CN117351448A (zh) * 2023-12-04 2024-01-05 长春理工大学 一种基于YOLOv8改进的偏振图像道路目标检测方法
CN117351448B (zh) * 2023-12-04 2024-03-08 长春理工大学 一种基于YOLOv8改进的偏振图像道路目标检测方法
CN117689545A (zh) * 2024-02-02 2024-03-12 荣耀终端有限公司 图像处理方法、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN111027415B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN110264416B (zh) 稀疏点云分割方法及装置
CN111027415B (zh) 一种基于偏振图像的车辆检测方法
CN108648161B (zh) 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN113052835B (zh) 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统
CN106875437B (zh) 一种面向rgbd三维重建的关键帧提取方法
CN108682026B (zh) 一种基于多匹配基元融合的双目视觉立体匹配方法
CN110689008A (zh) 一种面向单目图像的基于三维重建的三维物体检测方法
CN115082639B (zh) 图像生成方法、装置、电子设备和存储介质
CN109308719B (zh) 一种基于三维卷积的双目视差估计方法
CN110689562A (zh) 一种基于生成对抗网络的轨迹回环检测优化方法
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN110706269B (zh) 一种基于双目视觉slam的动态场景密集建模方法
CN106570899B (zh) 一种目标物体检测方法及装置
CN113538569B (zh) 一种弱纹理物体位姿估计方法和系统
CN104079800A (zh) 一种视频监控中视频图像的抗抖动方法
CN110942477A (zh) 一种利用双目相机和激光雷达深度图融合的方法
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
TW202225730A (zh) 基於深度學習之高效率光達物件偵測方法
CN112907573A (zh) 一种基于3d卷积的深度补全方法
CN116152439A (zh) 一种基于多视角人体图像的人体三维姿态重建方法及系统
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
Gao et al. Sparse dense fusion for 3d object detection
CN114298151A (zh) 一种基于点云数据与图像数据融合的3d目标检测方法
CN110120012A (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
CN111914790B (zh) 基于双摄像头的不同场景下实时人体转动角度识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant