CN108805937A - 一种单相机偏振信息预测方法 - Google Patents
一种单相机偏振信息预测方法 Download PDFInfo
- Publication number
- CN108805937A CN108805937A CN201810534076.0A CN201810534076A CN108805937A CN 108805937 A CN108805937 A CN 108805937A CN 201810534076 A CN201810534076 A CN 201810534076A CN 108805937 A CN108805937 A CN 108805937A
- Authority
- CN
- China
- Prior art keywords
- polarization
- image
- layer
- coloured image
- disparity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种单相机偏振信息预测方法。该方法利用一个彩色相机采集图像,利用小型处理器对采集的图像进行处理,输出预测的偏振差分图像。该方法只需要一个彩色相机就能够获取偏振信息,具有实时性高,价格低廉,输出偏振信息分辨率高、稠密度高,不需要额外偏振元件,不需要提前标定的优点。
Description
技术领域
本发明属于偏振成像技术、立体视觉技术、模式识别技术、图像处理技术、计算机视觉技术领域,涉及一种单相机偏振信息预测方法。
背景技术
偏振信息是光强信息的重要补充,能够提供很多基于光强成像技术无法获取的信息。偏振信息已经被广泛的运用在动物视觉,生物医学成像,遥感,三维重建和目标检测等领域。
可是偏振成像技术通常需要多个相机,偏振片等偏振元件,也需要精确的预先标定。大部分偏振成像系统中,偏振信息的采集不能实时运行,如需要旋转偏振片等操作。现有的实时偏振成像相机,则价格昂贵,不适合消费级的应用。
发明内容
本发明的目的在于针对现有技术的不足,提供一种单相机偏振信息预测方法。
本发明的目的是通过以下技术方案实现的:一种前端设置有偏振片的单相机偏振信息预测方法,该方法为,将单相机采集的彩色图像输入到预先训练的神经网络模型,输出与相机中每一个像素点对应的偏振差分值,得到偏振差分图像;所述神经网络模型,通过以下方法预先训练得到:
①在两个相同的彩色相机前分别安装一线偏振片,两个线偏振片的偏振方向相互垂直,分别平行与垂直于水平面。两个彩色相机采集m对彩色图像,这m对图像在不同场景中采集,m大于10000;所述两个彩色相机同高,且光轴相互平行。
②对m对彩色图像进行双目立体匹配,获取m张视差图像Disparity。利用视差图Disparity,在每一对彩色图像中,从其中一个彩色图像中找到对应于另一个彩色图像中的像素点(u,v)的对应点(u',v),满足u-u'=disparity,disparity为视差图像Disparity中像素点(u,v)的视差值;
③计算像素点(u,v)、(u',v)的亮度值,分别为VL(u,v),VR(u',v);从而获得偏振差分图像Polarization,偏振差分图像Polarization中,像素点(u,v)的值(偏振差分值polarization)为|VL(u,v)-VR(u',v)|;
④在神经网络模型训练时,输入为每一对彩色图像的其中一彩色图像,输出为偏振差分图像。所述神经网络模型中每一层网络如下表所示,其中最后第19层得到的输出特征图即为各个偏振差分值等级的概率图像,通过argmax函数得到偏振差分图像。
进一步地,所述一维分解瓶颈层通过使用3×1的卷积核和1×3的卷积核进行交替卷积,并采用线性整流函数ReLU作为激活函数,最后通过残差式联结,形成一个整体的一维分解瓶颈层。
进一步地,其中从9到16层的一维分解瓶颈层中的卷积均采用扩张卷积完成,扩展卷积率分别为2,4,8,16,2,4,8,2。
进一步地,所述下采样层通过使用3×3的卷积核输出的与经过最大池化的特征图,进行级联,输出下采样的特征图。
进一步地,所述上采样层采用双线性插值完成。
本发明相比以往的偏振信息获取方法优势主要在于:
1.实时性高。本发明的神经网络模型由于采用一维分解瓶颈层的堆叠来完成特征图像的提取,最大化的节省了达到相同精度需要的残差层数目,因此可以支持高实时性的偏振信息预测。
2.价格低廉。本发明在实时单相机偏振信息预测时,只需要一个彩色相机和一个小型处理器,相比以往偏振信息获取方法需要各种偏振片或者多个相机,节省了器件和成本。
3.输出偏振信息分辨率高、稠密度高。本发明由于采用神经网络预测偏振信息,可以获取和彩色图像同等分辨率的偏振信息,而且由于本发明的神经网络模型在结构上对原始特征图进行了级联处理,可以很好的进行全局的平滑,对深度信息、视差信息缺失的区域也能够预测出偏振信息,从而支持高稠密度的输出。
4.不需要额外偏振元件,不需要提前标定。本发明由于基于神经网络预测偏振信息,在实时预测只需要一个彩色相机即可获取偏振信息,不需要其他相机或偏振片等偏振元件,也不需要进行预先的复杂标定。
附图说明
图1为模块连接示意图;
图2为彩色图;
图3为通过偏振差分法采集的偏振差分图像;
图4为通过神经网络对彩色图像进行处理,预测得到的偏振差分图像;
图5为一维分解瓶颈层示意图;
图6为下采样层示意图。
具体实施方式
本发明涉及一种单相机偏振信息预测方法,该方法的核心在于一个神经网络模型,通过以下方法获得:①利用左右两个相同的彩色相机,和两个线偏振片采集m对彩色图像,偏正片安装于彩色相机前;这m对图像在不同场景中采集,并且在采集时,两个线偏振片的偏振方向相互垂直,分别平行与垂直于水平面。通常m需要大于10000;所述两个彩色相机同高,且光轴相互平行。
②对m对彩色图像进行双目立体匹配,获取m张视差图像Disparity。利用视差图Disparity,在每一对彩色图像中的右彩色图像中找到对应于左彩色图像中的任一点(u,v)的对应点(u',v),满足u-u'=disparity,disparity为视差图像Disparity中像素点(u,v)的视差值;
③m对彩色图像中,将左彩色图像中的任一点(u,v)的亮度值VL(u,v)与彩色图像中对应点(u',v)的亮度值VR(u',v)做差,获得m张偏振差分图像Polarization,类似于图3。偏振差分图像Polarization中,像素点(u,v)的值(偏振差分值polarization)为|VL(u,v)-VR(u',v)|;
④在神经网络模型训练时,输入为每一对彩色图像的左彩色图像,输出为偏振差分图像。所述神经网络模型中每一层网络如下表所示,其中最后第19层得到的输出特征图即为各个偏振差分值等级的概率图像,通过argmax函数得到偏振差分图像。
层号 | 类型 | 输出特征图的维数 | 输出特征图的分辨率 |
1 | 下采样层 | 16 | 320×240 |
2 | 下采样层 | 64 | 160×120 |
3-7 | 5层一维分解瓶颈层 | 64 | 160×120 |
8 | 下采样层 | 128 | 80×60 |
9 | 一维分解瓶颈层(扩张卷积率2) | 128 | 80×60 |
10 | 一维分解瓶颈层(扩张卷积率4) | 128 | 80×60 |
11 | 一维分解瓶颈层(扩张卷积率8) | 128 | 80×60 |
12 | 一维分解瓶颈层(扩张卷积率16) | 128 | 80×60 |
13 | 一维分解瓶颈层(扩张卷积率2) | 128 | 80×60 |
14 | 一维分解瓶颈层(扩张卷积率4) | 128 | 80×60 |
15 | 一维分解瓶颈层(扩张卷积率8) | 128 | 80×60 |
16 | 一维分解瓶颈层(扩张卷积率2) | 128 | 80×60 |
17a | 16层输出的原始特征图 | 128 | 80×60 |
17b | 16层输出的原始特征图的池化和卷积 | 32 | 80×60 |
17c | 16层输出的原始特征图的池化和卷积 | 32 | 40×30 |
17d | 16层输出的原始特征图的池化和卷积 | 32 | 20×15 |
17e | 16层输出的原始特征图的池化和卷积 | 32 | 10×8 |
17 | 17a-17e层的上采样和级联 | 256 | 80×60 |
18 | 卷积层 | 偏振差分值等级数 | 80×60 |
19 | 上采样层 | 偏振差分值等级数 | 640×480 |
其中所述一维分解瓶颈层如图5所示,本发明通过使用3×1的卷积核和1×3的卷积核进行交替卷积,并采用线性整流函数ReLU作为激活函数,最后通过残差式联结,形成一个整体的一维分解瓶颈层。由于采用一维分解瓶颈层的堆叠来完成特征图像的提取,最大化的节省了达到相同精度需要的残差层数目,因此可以支持高实时性的偏振信息预测。
其中所述下采样层如图6所示,本发明通过使用3×3的卷积核输出的与经过最大池化的特征图,进行级联,输出下采样的特征图。
其中所述上采样层采用双线性插值完成。
利用上述方法得到的神经网络模型,将单相机采集的彩色图像(类似于图2)输入到预先训练的神经网络模型,输出与相机中每一个像素点对应的偏振差分值,即得到偏振差分图像,类似于图4。由于本发明的神经网络模型在结构上对原始特征图进行了级联处理,可以很好的进行全局的平滑,对深度信息、视差信息缺失的区域也能够预测出偏振信息,从而支持高稠密度的输出。另外由于基于神经网络预测偏振信息,在实时预测只需要一个彩色相机即可获取偏振信息,如图1所示,不需要其他相机或偏振片等偏振元件,也不需要进行预先的复杂标定。
Claims (5)
1.一种单相机偏振信息预测方法,其特征在于,该方法为,将前端设置有偏振片的单相机采集的彩色图像输入到预先训练的神经网络模型,输出与相机中每一个像素点对应的偏振差分值,得到偏振差分图像;所述神经网络模型,通过以下方法预先训练得到:
①在两个相同的彩色相机前分别安装一线偏振片,两个线偏振片的偏振方向相互垂直,分别平行与垂直于水平面。两个彩色相机采集m对彩色图像,这m对图像在不同场景中采集,m大于10000;所述两个彩色相机同高,且光轴相互平行。
②对m对彩色图像进行双目立体匹配,获取m张视差图像Disparity。利用视差图Disparity,在每一对彩色图像中,从其中一个彩色图像中找到对应于另一个彩色图像中的像素点(u,v)的对应点(u',v),满足u-u'=disparity,disparity为视差图像Disparity中像素点(u,v)的视差值;
③计算像素点(u,v)、(u',v)的亮度值,分别为VL(u,v),VR(u',v);从而获得偏振差分图像Polarization,偏振差分图像Polarization中,像素点(u,v)的值(偏振差分值polarization)为|VL(u,v)-VR(u',v)|;
④在神经网络模型训练时,输入为每一对彩色图像的其中一彩色图像,输出为偏振差分图像。所述神经网络模型中每一层网络如下表所示,其中最后第19层得到的输出特征图即为各个偏振差分值等级的概率图像,通过argmax函数得到偏振差分图像。
2.根据权利要求1所述的方法,其特征在于,所述一维分解瓶颈层通过使用3×1的卷积核和1×3的卷积核进行交替卷积,并采用线性整流函数ReLU作为激活函数,最后通过残差式联结,形成一个整体的一维分解瓶颈层。
3.根据权利要求1所述的方法,其特征在于,其中从9到16层的一维分解瓶颈层中的卷积均采用扩张卷积完成,扩展卷积率分别为2,4,8,16,2,4,8,2。
4.根据权利要求1所述的方法,其特征在于,所述下采样层通过使用3×3的卷积核输出的与经过最大池化的特征图,进行级联,输出下采样的特征图。
5.根据权利要求1所述的方法,其特征在于,所述上采样层采用双线性插值完成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810534076.0A CN108805937B (zh) | 2018-05-29 | 2018-05-29 | 一种单相机偏振信息预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810534076.0A CN108805937B (zh) | 2018-05-29 | 2018-05-29 | 一种单相机偏振信息预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108805937A true CN108805937A (zh) | 2018-11-13 |
CN108805937B CN108805937B (zh) | 2021-12-17 |
Family
ID=64089248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810534076.0A Active CN108805937B (zh) | 2018-05-29 | 2018-05-29 | 一种单相机偏振信息预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108805937B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110766732A (zh) * | 2019-10-22 | 2020-02-07 | 杭州凌像科技有限公司 | 一种鲁棒的单相机深度图估计方法 |
CN114235352A (zh) * | 2021-12-17 | 2022-03-25 | 北京空间机电研究所 | 一种四相机实时偏振成像系统的相对偏振角度测试方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6239762B1 (en) * | 2000-02-02 | 2001-05-29 | Lockheed Martin Corporation | Interleaved crossed-slot and patch array antenna for dual-frequency and dual polarization, with multilayer transmission-line feed network |
CN105686936A (zh) * | 2016-01-12 | 2016-06-22 | 浙江大学 | 一种基于rgb-ir相机的声音编码交互系统 |
CN107192336A (zh) * | 2017-05-26 | 2017-09-22 | 浙江大学 | 双波长超外差干涉大量程高精度实时位移测量系统与方法 |
CN108027412A (zh) * | 2015-07-07 | 2018-05-11 | Q生物公司 | 场不变定量磁共振特征标志 |
-
2018
- 2018-05-29 CN CN201810534076.0A patent/CN108805937B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6239762B1 (en) * | 2000-02-02 | 2001-05-29 | Lockheed Martin Corporation | Interleaved crossed-slot and patch array antenna for dual-frequency and dual polarization, with multilayer transmission-line feed network |
CN108027412A (zh) * | 2015-07-07 | 2018-05-11 | Q生物公司 | 场不变定量磁共振特征标志 |
CN105686936A (zh) * | 2016-01-12 | 2016-06-22 | 浙江大学 | 一种基于rgb-ir相机的声音编码交互系统 |
CN107192336A (zh) * | 2017-05-26 | 2017-09-22 | 浙江大学 | 双波长超外差干涉大量程高精度实时位移测量系统与方法 |
Non-Patent Citations (3)
Title |
---|
HUANG XIAO等: "Polarimetric target depth sensing in ambient illumination based on polarization-coded structured light", 《APPLIED OPTICS》 * |
KAILUN YANG等: "Target enhanced 3D reconstruction based on polarization-coded structured light", 《OPTICS EXPRESS》 * |
ZHAO TAOTAO等: "Research on rurality differentiation of county areas in Shaanxi Province based on BP neural network", 《JOURNAL OF ZHEJIANG UNIVERSITY (SCIENCE EDITION)》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110766732A (zh) * | 2019-10-22 | 2020-02-07 | 杭州凌像科技有限公司 | 一种鲁棒的单相机深度图估计方法 |
CN114235352A (zh) * | 2021-12-17 | 2022-03-25 | 北京空间机电研究所 | 一种四相机实时偏振成像系统的相对偏振角度测试方法 |
CN114235352B (zh) * | 2021-12-17 | 2024-03-26 | 北京空间机电研究所 | 一种四相机实时偏振成像系统的相对偏振角度测试方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108805937B (zh) | 2021-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220044442A1 (en) | Bi-level optimization-based infrared and visible light fusion method | |
CN109685842B (zh) | 一种基于多尺度网络的稀疏深度稠密化方法 | |
CN101356546B (zh) | 图像高分辨率化装置、方法及系统 | |
CN104197861B (zh) | 基于结构光灰度向量的三维数字成像方法 | |
CN105956597A (zh) | 一种基于卷积神经网络的双目立体匹配方法 | |
CN109544628B (zh) | 一种指针式仪表的准确读数识别系统及方法 | |
CN113362247A (zh) | 一种激光融合多目相机的语义实景三维重建方法及系统 | |
CN104504904B (zh) | 一种交通设施移动采集方法 | |
WO2013013563A1 (zh) | 路面积水积冰检测方法及装置 | |
US20230125649A1 (en) | Image inpainting method and electronic device | |
DE112017003815T5 (de) | Bildverarbeitungsvorrichtung und bildverarbeitungsverfahren | |
CN110276795A (zh) | 一种基于分裂迭代算法的光场深度估计方法 | |
CN108805937A (zh) | 一种单相机偏振信息预测方法 | |
CN102914295A (zh) | 基于计算机视觉立方体标定的三维测量方法 | |
EP3188123A1 (en) | A method and an apparatus for generating data representative of a pixel beam | |
CN114926669A (zh) | 一种基于深度学习的高效散斑匹配方法 | |
CN112489186A (zh) | 一种自动驾驶双目数据感知算法 | |
CN110310269B (zh) | 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法 | |
CN112489097B (zh) | 基于混合2d卷积和伪3d卷积的立体匹配方法 | |
CN112270701B (zh) | 基于分组距离网络的视差预测方法、系统及存储介质 | |
CN203397395U (zh) | 基于dsp+fpga的移动平台下运动目标检测装置 | |
Zhou et al. | Single-view view synthesis with self-rectified pseudo-stereo | |
CN110148216B (zh) | 一种双球幕相机的三维建模方法 | |
CN108805882A (zh) | 一种水面和水坑检测方法 | |
Feng et al. | Stereoscopic video quality assessment with multi-level binocular fusion network considering disparity and multi-scale information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |