CN108805937A - 一种单相机偏振信息预测方法 - Google Patents

一种单相机偏振信息预测方法 Download PDF

Info

Publication number
CN108805937A
CN108805937A CN201810534076.0A CN201810534076A CN108805937A CN 108805937 A CN108805937 A CN 108805937A CN 201810534076 A CN201810534076 A CN 201810534076A CN 108805937 A CN108805937 A CN 108805937A
Authority
CN
China
Prior art keywords
polarization
image
layer
coloured image
disparity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810534076.0A
Other languages
English (en)
Other versions
CN108805937B (zh
Inventor
杨恺伦
汪凯巍
程瑞琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810534076.0A priority Critical patent/CN108805937B/zh
Publication of CN108805937A publication Critical patent/CN108805937A/zh
Application granted granted Critical
Publication of CN108805937B publication Critical patent/CN108805937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种单相机偏振信息预测方法。该方法利用一个彩色相机采集图像，利用小型处理器对采集的图像进行处理，输出预测的偏振差分图像。该方法只需要一个彩色相机就能够获取偏振信息，具有实时性高，价格低廉，输出偏振信息分辨率高、稠密度高，不需要额外偏振元件，不需要提前标定的优点。

Description

一种单相机偏振信息预测方法
技术领域
本发明属于偏振成像技术、立体视觉技术、模式识别技术、图像处理技术、计算机视觉技术领域，涉及一种单相机偏振信息预测方法。
背景技术
偏振信息是光强信息的重要补充，能够提供很多基于光强成像技术无法获取的信息。偏振信息已经被广泛的运用在动物视觉，生物医学成像，遥感，三维重建和目标检测等领域。
可是偏振成像技术通常需要多个相机，偏振片等偏振元件，也需要精确的预先标定。大部分偏振成像系统中，偏振信息的采集不能实时运行，如需要旋转偏振片等操作。现有的实时偏振成像相机，则价格昂贵，不适合消费级的应用。
发明内容
本发明的目的在于针对现有技术的不足，提供一种单相机偏振信息预测方法。
本发明的目的是通过以下技术方案实现的：一种前端设置有偏振片的单相机偏振信息预测方法，该方法为，将单相机采集的彩色图像输入到预先训练的神经网络模型，输出与相机中每一个像素点对应的偏振差分值，得到偏振差分图像；所述神经网络模型，通过以下方法预先训练得到：
①在两个相同的彩色相机前分别安装一线偏振片，两个线偏振片的偏振方向相互垂直，分别平行与垂直于水平面。两个彩色相机采集m对彩色图像，这m对图像在不同场景中采集，m大于10000；所述两个彩色相机同高，且光轴相互平行。
②对m对彩色图像进行双目立体匹配，获取m张视差图像Disparity。利用视差图Disparity，在每一对彩色图像中，从其中一个彩色图像中找到对应于另一个彩色图像中的像素点(u,v)的对应点(u',v)，满足u-u'＝disparity，disparity为视差图像Disparity中像素点(u,v)的视差值；
③计算像素点(u,v)、(u',v)的亮度值，分别为VL(u,v)，VR(u',v)；从而获得偏振差分图像Polarization，偏振差分图像Polarization中，像素点(u,v)的值(偏振差分值polarization)为|VL(u,v)-VR(u',v)|；
④在神经网络模型训练时，输入为每一对彩色图像的其中一彩色图像，输出为偏振差分图像。所述神经网络模型中每一层网络如下表所示，其中最后第19层得到的输出特征图即为各个偏振差分值等级的概率图像，通过argmax函数得到偏振差分图像。
进一步地，所述一维分解瓶颈层通过使用3×1的卷积核和1×3的卷积核进行交替卷积，并采用线性整流函数ReLU作为激活函数，最后通过残差式联结，形成一个整体的一维分解瓶颈层。
进一步地，其中从9到16层的一维分解瓶颈层中的卷积均采用扩张卷积完成，扩展卷积率分别为2，4，8，16，2，4，8，2。
进一步地，所述下采样层通过使用3×3的卷积核输出的与经过最大池化的特征图，进行级联，输出下采样的特征图。
进一步地，所述上采样层采用双线性插值完成。
本发明相比以往的偏振信息获取方法优势主要在于：
1.实时性高。本发明的神经网络模型由于采用一维分解瓶颈层的堆叠来完成特征图像的提取，最大化的节省了达到相同精度需要的残差层数目，因此可以支持高实时性的偏振信息预测。
2.价格低廉。本发明在实时单相机偏振信息预测时，只需要一个彩色相机和一个小型处理器，相比以往偏振信息获取方法需要各种偏振片或者多个相机，节省了器件和成本。
3.输出偏振信息分辨率高、稠密度高。本发明由于采用神经网络预测偏振信息，可以获取和彩色图像同等分辨率的偏振信息，而且由于本发明的神经网络模型在结构上对原始特征图进行了级联处理，可以很好的进行全局的平滑，对深度信息、视差信息缺失的区域也能够预测出偏振信息，从而支持高稠密度的输出。
4.不需要额外偏振元件，不需要提前标定。本发明由于基于神经网络预测偏振信息，在实时预测只需要一个彩色相机即可获取偏振信息，不需要其他相机或偏振片等偏振元件，也不需要进行预先的复杂标定。
附图说明
图1为模块连接示意图；
图2为彩色图；
图3为通过偏振差分法采集的偏振差分图像；
图4为通过神经网络对彩色图像进行处理，预测得到的偏振差分图像；
图5为一维分解瓶颈层示意图；
图6为下采样层示意图。
具体实施方式
本发明涉及一种单相机偏振信息预测方法，该方法的核心在于一个神经网络模型，通过以下方法获得：①利用左右两个相同的彩色相机，和两个线偏振片采集m对彩色图像，偏正片安装于彩色相机前；这m对图像在不同场景中采集，并且在采集时，两个线偏振片的偏振方向相互垂直，分别平行与垂直于水平面。通常m需要大于10000；所述两个彩色相机同高，且光轴相互平行。
②对m对彩色图像进行双目立体匹配，获取m张视差图像Disparity。利用视差图Disparity，在每一对彩色图像中的右彩色图像中找到对应于左彩色图像中的任一点(u,v)的对应点(u',v)，满足u-u'＝disparity，disparity为视差图像Disparity中像素点(u,v)的视差值；
③m对彩色图像中，将左彩色图像中的任一点(u,v)的亮度值VL(u,v)与彩色图像中对应点(u',v)的亮度值VR(u',v)做差，获得m张偏振差分图像Polarization，类似于图3。偏振差分图像Polarization中，像素点(u,v)的值(偏振差分值polarization)为|VL(u,v)-VR(u',v)|；
④在神经网络模型训练时，输入为每一对彩色图像的左彩色图像，输出为偏振差分图像。所述神经网络模型中每一层网络如下表所示，其中最后第19层得到的输出特征图即为各个偏振差分值等级的概率图像，通过argmax函数得到偏振差分图像。
层号 类型 输出特征图的维数 输出特征图的分辨率
1 下采样层 16 320×240
2 下采样层 64 160×120
3-7 5层一维分解瓶颈层 64 160×120
8 下采样层 128 80×60
9 一维分解瓶颈层(扩张卷积率2) 128 80×60
10 一维分解瓶颈层(扩张卷积率4) 128 80×60
11 一维分解瓶颈层(扩张卷积率8) 128 80×60
12 一维分解瓶颈层(扩张卷积率16) 128 80×60
13 一维分解瓶颈层(扩张卷积率2) 128 80×60
14 一维分解瓶颈层(扩张卷积率4) 128 80×60
15 一维分解瓶颈层(扩张卷积率8) 128 80×60
16 一维分解瓶颈层(扩张卷积率2) 128 80×60
17a 16层输出的原始特征图 128 80×60
17b 16层输出的原始特征图的池化和卷积 32 80×60
17c 16层输出的原始特征图的池化和卷积 32 40×30
17d 16层输出的原始特征图的池化和卷积 32 20×15
17e 16层输出的原始特征图的池化和卷积 32 10×8
17 17a-17e层的上采样和级联 256 80×60
18 卷积层 偏振差分值等级数 80×60
19 上采样层 偏振差分值等级数 640×480
其中所述一维分解瓶颈层如图5所示，本发明通过使用3×1的卷积核和1×3的卷积核进行交替卷积，并采用线性整流函数ReLU作为激活函数，最后通过残差式联结，形成一个整体的一维分解瓶颈层。由于采用一维分解瓶颈层的堆叠来完成特征图像的提取，最大化的节省了达到相同精度需要的残差层数目，因此可以支持高实时性的偏振信息预测。
其中所述下采样层如图6所示，本发明通过使用3×3的卷积核输出的与经过最大池化的特征图，进行级联，输出下采样的特征图。
其中所述上采样层采用双线性插值完成。
利用上述方法得到的神经网络模型，将单相机采集的彩色图像(类似于图2)输入到预先训练的神经网络模型，输出与相机中每一个像素点对应的偏振差分值，即得到偏振差分图像，类似于图4。由于本发明的神经网络模型在结构上对原始特征图进行了级联处理，可以很好的进行全局的平滑，对深度信息、视差信息缺失的区域也能够预测出偏振信息，从而支持高稠密度的输出。另外由于基于神经网络预测偏振信息，在实时预测只需要一个彩色相机即可获取偏振信息，如图1所示，不需要其他相机或偏振片等偏振元件，也不需要进行预先的复杂标定。

Claims (5)

1.一种单相机偏振信息预测方法，其特征在于，该方法为，将前端设置有偏振片的单相机采集的彩色图像输入到预先训练的神经网络模型，输出与相机中每一个像素点对应的偏振差分值，得到偏振差分图像；所述神经网络模型，通过以下方法预先训练得到：
①在两个相同的彩色相机前分别安装一线偏振片，两个线偏振片的偏振方向相互垂直，分别平行与垂直于水平面。两个彩色相机采集m对彩色图像，这m对图像在不同场景中采集，m大于10000；所述两个彩色相机同高，且光轴相互平行。
②对m对彩色图像进行双目立体匹配，获取m张视差图像Disparity。利用视差图Disparity，在每一对彩色图像中，从其中一个彩色图像中找到对应于另一个彩色图像中的像素点(u,v)的对应点(u',v)，满足u-u'＝disparity，disparity为视差图像Disparity中像素点(u,v)的视差值；
③计算像素点(u,v)、(u',v)的亮度值，分别为VL(u,v)，VR(u',v)；从而获得偏振差分图像Polarization，偏振差分图像Polarization中，像素点(u,v)的值(偏振差分值polarization)为|VL(u,v)-VR(u',v)|；
④在神经网络模型训练时，输入为每一对彩色图像的其中一彩色图像，输出为偏振差分图像。所述神经网络模型中每一层网络如下表所示，其中最后第19层得到的输出特征图即为各个偏振差分值等级的概率图像，通过argmax函数得到偏振差分图像。
2.根据权利要求1所述的方法，其特征在于，所述一维分解瓶颈层通过使用3×1的卷积核和1×3的卷积核进行交替卷积，并采用线性整流函数ReLU作为激活函数，最后通过残差式联结，形成一个整体的一维分解瓶颈层。
3.根据权利要求1所述的方法，其特征在于，其中从9到16层的一维分解瓶颈层中的卷积均采用扩张卷积完成，扩展卷积率分别为2，4，8，16，2，4，8，2。
4.根据权利要求1所述的方法，其特征在于，所述下采样层通过使用3×3的卷积核输出的与经过最大池化的特征图，进行级联，输出下采样的特征图。
5.根据权利要求1所述的方法，其特征在于，所述上采样层采用双线性插值完成。
CN201810534076.0A 2018-05-29 2018-05-29 一种单相机偏振信息预测方法 Active CN108805937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810534076.0A CN108805937B (zh) 2018-05-29 2018-05-29 一种单相机偏振信息预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810534076.0A CN108805937B (zh) 2018-05-29 2018-05-29 一种单相机偏振信息预测方法

Publications (2)

Publication Number Publication Date
CN108805937A true CN108805937A (zh) 2018-11-13
CN108805937B CN108805937B (zh) 2021-12-17

Family

ID=64089248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810534076.0A Active CN108805937B (zh) 2018-05-29 2018-05-29 一种单相机偏振信息预测方法

Country Status (1)

Country Link
CN (1) CN108805937B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766732A (zh) * 2019-10-22 2020-02-07 杭州凌像科技有限公司 一种鲁棒的单相机深度图估计方法
CN114235352A (zh) * 2021-12-17 2022-03-25 北京空间机电研究所 一种四相机实时偏振成像系统的相对偏振角度测试方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6239762B1 (en) * 2000-02-02 2001-05-29 Lockheed Martin Corporation Interleaved crossed-slot and patch array antenna for dual-frequency and dual polarization, with multilayer transmission-line feed network
CN105686936A (zh) * 2016-01-12 2016-06-22 浙江大学 一种基于rgb-ir相机的声音编码交互系统
CN107192336A (zh) * 2017-05-26 2017-09-22 浙江大学 双波长超外差干涉大量程高精度实时位移测量系统与方法
CN108027412A (zh) * 2015-07-07 2018-05-11 Q生物公司 场不变定量磁共振特征标志

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6239762B1 (en) * 2000-02-02 2001-05-29 Lockheed Martin Corporation Interleaved crossed-slot and patch array antenna for dual-frequency and dual polarization, with multilayer transmission-line feed network
CN108027412A (zh) * 2015-07-07 2018-05-11 Q生物公司 场不变定量磁共振特征标志
CN105686936A (zh) * 2016-01-12 2016-06-22 浙江大学 一种基于rgb-ir相机的声音编码交互系统
CN107192336A (zh) * 2017-05-26 2017-09-22 浙江大学 双波长超外差干涉大量程高精度实时位移测量系统与方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUANG XIAO等: "Polarimetric target depth sensing in ambient illumination based on polarization-coded structured light", 《APPLIED OPTICS》 *
KAILUN YANG等: "Target enhanced 3D reconstruction based on polarization-coded structured light", 《OPTICS EXPRESS》 *
ZHAO TAOTAO等: "Research on rurality differentiation of county areas in Shaanxi Province based on BP neural network", 《JOURNAL OF ZHEJIANG UNIVERSITY (SCIENCE EDITION)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766732A (zh) * 2019-10-22 2020-02-07 杭州凌像科技有限公司 一种鲁棒的单相机深度图估计方法
CN114235352A (zh) * 2021-12-17 2022-03-25 北京空间机电研究所 一种四相机实时偏振成像系统的相对偏振角度测试方法
CN114235352B (zh) * 2021-12-17 2024-03-26 北京空间机电研究所 一种四相机实时偏振成像系统的相对偏振角度测试方法

Also Published As

Publication number Publication date
CN108805937B (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
US11830222B2 (en) Bi-level optimization-based infrared and visible light fusion method
CN109685842B (zh) 一种基于多尺度网络的稀疏深度稠密化方法
CN101356546B (zh) 图像高分辨率化装置、方法及系统
CN104197861B (zh) 基于结构光灰度向量的三维数字成像方法
CN105956597A (zh) 一种基于卷积神经网络的双目立体匹配方法
CN109544628B (zh) 一种指针式仪表的准确读数识别系统及方法
CN104504904B (zh) 一种交通设施移动采集方法
DE202014010922U1 (de) Erzeugung von Tiefenkarten
WO2013013563A1 (zh) 路面积水积冰检测方法及装置
US20230125649A1 (en) Image inpainting method and electronic device
DE112017003815T5 (de) Bildverarbeitungsvorrichtung und bildverarbeitungsverfahren
CN110276795A (zh) 一种基于分裂迭代算法的光场深度估计方法
CN108805937A (zh) 一种单相机偏振信息预测方法
CN102914295A (zh) 基于计算机视觉立方体标定的三维测量方法
CN105654493A (zh) 一种改进的光学仿射不变双目立体匹配代价与视差优化方法
CN110310269B (zh) 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法
CN103345765A (zh) 基于dsp+fpga的移动平台下运动目标检测装置及其方法
CN112489097B (zh) 基于混合2d卷积和伪3d卷积的立体匹配方法
CN112270701B (zh) 基于分组距离网络的视差预测方法、系统及存储介质
CN203397395U (zh) 基于dsp+fpga的移动平台下运动目标检测装置
CN111914790B (zh) 基于双摄像头的不同场景下实时人体转动角度识别方法
Zhou et al. Single-view view synthesis with self-rectified pseudo-stereo
CN108805882A (zh) 一种水面和水坑检测方法
CN115330935A (zh) 一种基于深度学习的三维重建方法及系统
Liu et al. A new stereo matching method for RAW image data based on improved SGBM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant