CN108805937B - 一种单相机偏振信息预测方法 - Google Patents
一种单相机偏振信息预测方法 Download PDFInfo
- Publication number
- CN108805937B CN108805937B CN201810534076.0A CN201810534076A CN108805937B CN 108805937 B CN108805937 B CN 108805937B CN 201810534076 A CN201810534076 A CN 201810534076A CN 108805937 B CN108805937 B CN 108805937B
- Authority
- CN
- China
- Prior art keywords
- polarization
- color
- image
- layer
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010287 polarization Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000000354 decomposition reaction Methods 0.000 claims description 18
- 238000003062 neural network model Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000711 polarimetry Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种单相机偏振信息预测方法。该方法利用一个彩色相机采集图像,利用小型处理器对采集的图像进行处理,输出预测的偏振差分图像。该方法只需要一个彩色相机就能够获取偏振信息,具有实时性高,价格低廉,输出偏振信息分辨率高、稠密度高,不需要额外偏振元件,不需要提前标定的优点。
Description
技术领域
本发明属于偏振成像技术、立体视觉技术、模式识别技术、图像处理技术、计算机视觉技术领域,涉及一种单相机偏振信息预测方法。
背景技术
偏振信息是光强信息的重要补充,能够提供很多基于光强成像技术无法获取的信息。偏振信息已经被广泛的运用在动物视觉,生物医学成像,遥感,三维重建和目标检测等领域。
可是偏振成像技术通常需要多个相机,偏振片等偏振元件,也需要精确的预先标定。大部分偏振成像系统中,偏振信息的采集不能实时运行,如需要旋转偏振片等操作。现有的实时偏振成像相机,则价格昂贵,不适合消费级的应用。
发明内容
本发明的目的在于针对现有技术的不足,提供一种单相机偏振信息预测方法。
本发明的目的是通过以下技术方案实现的:一种前端设置有偏振片的单相机偏振信息预测方法,该方法为,将单相机采集的彩色图像输入到预先训练的神经网络模型,输出与相机中每一个像素点对应的偏振差分值,得到偏振差分图像;所述神经网络模型,通过以下方法预先训练得到:
①在两个相同的彩色相机前分别安装一线偏振片,两个线偏振片的偏振方向相互垂直,分别平行与垂直于水平面。两个彩色相机采集m对彩色图像,这m对图像在不同场景中采集,m大于10000;所述两个彩色相机同高,且光轴相互平行。
②对m对彩色图像进行双目立体匹配,获取m张视差图像Disparity。利用视差图Disparity,在每一对彩色图像中,从其中一个彩色图像中找到对应于另一个彩色图像中的像素点(u,v)的对应点(u',v),满足u-u'=disparity,disparity为视差图像Disparity中像素点(u,v)的视差值;
③计算像素点(u,v)、(u',v)的亮度值,分别为VL(u,v),VR(u',v);从而获得偏振差分图像Polarization,偏振差分图像Polarization中,像素点(u,v)的值(偏振差分值polarization)为|VL(u,v)-VR(u',v)|;
④在神经网络模型训练时,输入为每一对彩色图像的其中一彩色图像,输出为偏振差分图像。所述神经网络模型中每一层网络如下表所示,其中最后第19层得到的输出特征图即为各个偏振差分值等级的概率图像,通过argmax函数得到偏振差分图像。
进一步地,所述一维分解瓶颈层通过使用3×1的卷积核和1×3的卷积核进行交替卷积,并采用线性整流函数ReLU作为激活函数,最后通过残差式联结,形成一个整体的一维分解瓶颈层。
进一步地,其中从9到16层的一维分解瓶颈层中的卷积均采用扩张卷积完成,扩展卷积率分别为2,4,8,16,2,4,8,2。
进一步地,所述下采样层通过使用3×3的卷积核输出的与经过最大池化的特征图,进行级联,输出下采样的特征图。
进一步地,所述上采样层采用双线性插值完成。
本发明相比以往的偏振信息获取方法优势主要在于:
1.实时性高。本发明的神经网络模型由于采用一维分解瓶颈层的堆叠来完成特征图像的提取,最大化的节省了达到相同精度需要的残差层数目,因此可以支持高实时性的偏振信息预测。
2.价格低廉。本发明在实时单相机偏振信息预测时,只需要一个彩色相机和一个小型处理器,相比以往偏振信息获取方法需要各种偏振片或者多个相机,节省了器件和成本。
3.输出偏振信息分辨率高、稠密度高。本发明由于采用神经网络预测偏振信息,可以获取和彩色图像同等分辨率的偏振信息,而且由于本发明的神经网络模型在结构上对原始特征图进行了级联处理,可以很好的进行全局的平滑,对深度信息、视差信息缺失的区域也能够预测出偏振信息,从而支持高稠密度的输出。
4.不需要额外偏振元件,不需要提前标定。本发明由于基于神经网络预测偏振信息,在实时预测只需要一个彩色相机即可获取偏振信息,不需要其他相机或偏振片等偏振元件,也不需要进行预先的复杂标定。
附图说明
图1为模块连接示意图;
图2为彩色图;
图3为通过偏振差分法采集的偏振差分图像;
图4为通过神经网络对彩色图像进行处理,预测得到的偏振差分图像;
图5为一维分解瓶颈层示意图;
图6为下采样层示意图。
具体实施方式
本发明涉及一种单相机偏振信息预测方法,该方法的核心在于一个神经网络模型,通过以下方法获得:①利用左右两个相同的彩色相机,和两个线偏振片采集m对彩色图像,偏正片安装于彩色相机前;这m对图像在不同场景中采集,并且在采集时,两个线偏振片的偏振方向相互垂直,分别平行与垂直于水平面。通常m需要大于10000;所述两个彩色相机同高,且光轴相互平行。
②对m对彩色图像进行双目立体匹配,获取m张视差图像Disparity。利用视差图Disparity,在每一对彩色图像中的右彩色图像中找到对应于左彩色图像中的任一点(u,v)的对应点(u',v),满足u-u'=disparity,disparity为视差图像Disparity中像素点(u,v)的视差值;
③m对彩色图像中,将左彩色图像中的任一点(u,v)的亮度值VL(u,v)与彩色图像中对应点(u',v)的亮度值VR(u',v)做差,获得m张偏振差分图像Polarization,类似于图3。偏振差分图像Polarization中,像素点(u,v)的值(偏振差分值polarization)为|VL(u,v)-VR(u',v)|;
④在神经网络模型训练时,输入为每一对彩色图像的左彩色图像,输出为偏振差分图像。所述神经网络模型中每一层网络如下表所示,其中最后第19层得到的输出特征图即为各个偏振差分值等级的概率图像,通过argmax函数得到偏振差分图像。
层号 | 类型 | 输出特征图的维数 | 输出特征图的分辨率 |
1 | 下采样层 | 16 | 320×240 |
2 | 下采样层 | 64 | 160×120 |
3-7 | 5层一维分解瓶颈层 | 64 | 160×120 |
8 | 下采样层 | 128 | 80×60 |
9 | 一维分解瓶颈层(扩张卷积率2) | 128 | 80×60 |
10 | 一维分解瓶颈层(扩张卷积率4) | 128 | 80×60 |
11 | 一维分解瓶颈层(扩张卷积率8) | 128 | 80×60 |
12 | 一维分解瓶颈层(扩张卷积率16) | 128 | 80×60 |
13 | 一维分解瓶颈层(扩张卷积率2) | 128 | 80×60 |
14 | 一维分解瓶颈层(扩张卷积率4) | 128 | 80×60 |
15 | 一维分解瓶颈层(扩张卷积率8) | 128 | 80×60 |
16 | 一维分解瓶颈层(扩张卷积率2) | 128 | 80×60 |
17a | 16层输出的原始特征图 | 128 | 80×60 |
17b | 16层输出的原始特征图的池化和卷积 | 32 | 80×60 |
17c | 16层输出的原始特征图的池化和卷积 | 32 | 40×30 |
17d | 16层输出的原始特征图的池化和卷积 | 32 | 20×15 |
17e | 16层输出的原始特征图的池化和卷积 | 32 | 10×8 |
17 | 17a-17e层的上采样和级联 | 256 | 80×60 |
18 | 卷积层 | 偏振差分值等级数 | 80×60 |
19 | 上采样层 | 偏振差分值等级数 | 640×480 |
其中所述一维分解瓶颈层如图5所示,本发明通过使用3×1的卷积核和1×3的卷积核进行交替卷积,并采用线性整流函数ReLU作为激活函数,最后通过残差式联结,形成一个整体的一维分解瓶颈层。由于采用一维分解瓶颈层的堆叠来完成特征图像的提取,最大化的节省了达到相同精度需要的残差层数目,因此可以支持高实时性的偏振信息预测。
其中所述下采样层如图6所示,本发明通过使用3×3的卷积核输出的与经过最大池化的特征图,进行级联,输出下采样的特征图。
其中所述上采样层采用双线性插值完成。
利用上述方法得到的神经网络模型,将单相机采集的彩色图像(类似于图2)输入到预先训练的神经网络模型,输出与相机中每一个像素点对应的偏振差分值,即得到偏振差分图像,类似于图4。由于本发明的神经网络模型在结构上对原始特征图进行了级联处理,可以很好的进行全局的平滑,对深度信息、视差信息缺失的区域也能够预测出偏振信息,从而支持高稠密度的输出。另外由于基于神经网络预测偏振信息,在实时预测只需要一个彩色相机即可获取偏振信息,如图1所示,不需要其他相机或偏振片等偏振元件,也不需要进行预先的复杂标定。
Claims (4)
1.一种单相机偏振信息预测方法,其特征在于,该方法为,将前端设置有偏振片的单相机采集的彩色图像输入到预先训练的神经网络模型,输出与相机中每一个像素点对应的偏振差分值,得到偏振差分图像;所述神经网络模型,通过以下方法预先训练得到:
①在两个相同的彩色相机前分别安装一线偏振片,两个线偏振片的偏振方向相互垂直,分别平行与垂直于水平面;两个彩色相机采集m对彩色图像,这m对图像在不同场景中采集,m大于10000;所述两个彩色相机同高,且光轴相互平行;
②对m对彩色图像进行双目立体匹配,获取m张视差图像Disparity;利用视差图Disparity,在每一对彩色图像中,从其中一个彩色图像中找到对应于另一个彩色图像中的像素点(u,v)的对应点(u',v),满足u-u'=disparity,disparity为视差图像Disparity中像素点(u,v)的视差值;
③计算像素点(u,v)、(u',v)的亮度值,分别为VL(u,v),VR(u',v);从而获得偏振差分图像Polarization,偏振差分图像Polarization中,像素点(u,v)的值(偏振差分值polarization)为|VL(u,v)-VR(u',v)|;
④在神经网络模型训练时,输入为每一对彩色图像的其中一彩色图像,输出为偏振差分图像;所述神经网络模型中每一层网络如下表所示,其中最后第19层得到的输出特征图即为各个偏振差分值等级的概率图像,通过argmax函数得到偏振差分图像;
其中,所述一维分解瓶颈层通过使用3×1的卷积核和1×3的卷积核进行交替卷积,并采用线性整流函数ReLU作为激活函数,最后通过残差式联结,形成一个整体的一维分解瓶颈层。
2.根据权利要求1所述的方法,其特征在于,其中从9到16层的一维分解瓶颈层中的卷积均采用扩张卷积完成,扩展卷积率分别为2,4,8,16,2,4,8,2。
3.根据权利要求1所述的方法,其特征在于,所述下采样层通过使用3×3的卷积核输出的与经过最大池化的特征图,进行级联,输出下采样的特征图。
4.根据权利要求1所述的方法,其特征在于,所述上采样层采用双线性插值完成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810534076.0A CN108805937B (zh) | 2018-05-29 | 2018-05-29 | 一种单相机偏振信息预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810534076.0A CN108805937B (zh) | 2018-05-29 | 2018-05-29 | 一种单相机偏振信息预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108805937A CN108805937A (zh) | 2018-11-13 |
CN108805937B true CN108805937B (zh) | 2021-12-17 |
Family
ID=64089248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810534076.0A Active CN108805937B (zh) | 2018-05-29 | 2018-05-29 | 一种单相机偏振信息预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108805937B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110766732A (zh) * | 2019-10-22 | 2020-02-07 | 杭州凌像科技有限公司 | 一种鲁棒的单相机深度图估计方法 |
CN114235352B (zh) * | 2021-12-17 | 2024-03-26 | 北京空间机电研究所 | 一种四相机实时偏振成像系统的相对偏振角度测试方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6239762B1 (en) * | 2000-02-02 | 2001-05-29 | Lockheed Martin Corporation | Interleaved crossed-slot and patch array antenna for dual-frequency and dual polarization, with multilayer transmission-line feed network |
CN105686936A (zh) * | 2016-01-12 | 2016-06-22 | 浙江大学 | 一种基于rgb-ir相机的声音编码交互系统 |
CN107192336A (zh) * | 2017-05-26 | 2017-09-22 | 浙江大学 | 双波长超外差干涉大量程高精度实时位移测量系统与方法 |
CN108027412A (zh) * | 2015-07-07 | 2018-05-11 | Q生物公司 | 场不变定量磁共振特征标志 |
-
2018
- 2018-05-29 CN CN201810534076.0A patent/CN108805937B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6239762B1 (en) * | 2000-02-02 | 2001-05-29 | Lockheed Martin Corporation | Interleaved crossed-slot and patch array antenna for dual-frequency and dual polarization, with multilayer transmission-line feed network |
CN108027412A (zh) * | 2015-07-07 | 2018-05-11 | Q生物公司 | 场不变定量磁共振特征标志 |
CN105686936A (zh) * | 2016-01-12 | 2016-06-22 | 浙江大学 | 一种基于rgb-ir相机的声音编码交互系统 |
CN107192336A (zh) * | 2017-05-26 | 2017-09-22 | 浙江大学 | 双波长超外差干涉大量程高精度实时位移测量系统与方法 |
Non-Patent Citations (3)
Title |
---|
Polarimetric target depth sensing in ambient illumination based on polarization-coded structured light;Huang Xiao等;《Applied Optics》;20170930;第56卷(第27期);摘要 * |
Research on rurality differentiation of county areas in Shaanxi Province based on BP neural network;Zhao TaoTao等;《Journal of Zhejiang University (Science Edition)》;20160325;第43卷(第2期);摘要 * |
Target enhanced 3D reconstruction based on polarization-coded structured light;Kailun Yang等;《Optics Express》;20170123;第25卷(第2期);摘要 * |
Also Published As
Publication number | Publication date |
---|---|
CN108805937A (zh) | 2018-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11830222B2 (en) | Bi-level optimization-based infrared and visible light fusion method | |
US11398053B2 (en) | Multispectral camera external parameter self-calibration algorithm based on edge features | |
CN111080709B (zh) | 基于轨迹特征配准的多光谱立体相机自标定算法 | |
WO2021098083A1 (zh) | 基于显著特征的多光谱相机动态立体标定算法 | |
DE112020004810T5 (de) | Systeme und verfahren zur erfassung von oberflächennormalen mit polarisation | |
CN111028155B (zh) | 一种基于多对双目相机的视差图像拼接方法 | |
CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
CN105956597A (zh) | 一种基于卷积神经网络的双目立体匹配方法 | |
CN107767339B (zh) | 一种双目立体图像拼接方法 | |
CN110969669B (zh) | 基于互信息配准的可见光与红外相机联合标定方法 | |
CN103679672B (zh) | 基于边缘垂直距离匹配的全景图像拼接方法 | |
CN110910456B (zh) | 基于Harris角点互信息匹配的立体相机动态标定方法 | |
CN113838191A (zh) | 一种基于注意力机制和单目多视角的三维重建方法 | |
CN110517309A (zh) | 一种基于卷积神经网络的单目深度信息获取方法 | |
CN110580686B (zh) | 在散射环境中基于双目视觉的偏振图像复原装置及方法 | |
CN113223065B (zh) | Sar卫星图像与光学图像自动匹配方法 | |
CN108805937B (zh) | 一种单相机偏振信息预测方法 | |
CN110880191A (zh) | 基于直方图均衡化的红外立体相机动态外参计算方法 | |
CN105654493A (zh) | 一种改进的光学仿射不变双目立体匹配代价与视差优化方法 | |
CN107845145A (zh) | 一种电子显微场景下的三维重构系统及方法 | |
CN103700082B (zh) | 基于对偶四元数相对定向的图像拼接方法 | |
CN114926669A (zh) | 一种基于深度学习的高效散斑匹配方法 | |
CN108805921A (zh) | 图像获取系统及方法 | |
CN114972625A (zh) | 一种基于rgb光谱超分辨技术的高光谱点云生成方法 | |
Zhou et al. | Single-view view synthesis with self-rectified pseudo-stereo |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |