CN111914853A - 一种用于立体匹配的特征提取方法 - Google Patents
一种用于立体匹配的特征提取方法 Download PDFInfo
- Publication number
- CN111914853A CN111914853A CN202010693071.XA CN202010693071A CN111914853A CN 111914853 A CN111914853 A CN 111914853A CN 202010693071 A CN202010693071 A CN 202010693071A CN 111914853 A CN111914853 A CN 111914853A
- Authority
- CN
- China
- Prior art keywords
- feature
- scale
- pyramid
- stereo matching
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000011176 pooling Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000006835 compression Effects 0.000 claims abstract description 6
- 238000007906 compression Methods 0.000 claims abstract description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
一种用于立体匹配的特征提取方法，将经过校正的、尺寸为W*H*C的原始图像输入到特征提取网络中；通过预处理模块和Resnet提取多个特征图；通过最大值池化操作，对提取到的多个特征图进行不同大小的最大值池化，构建特征金字塔；利用堆叠结构进行特征融合并压缩金字塔尺度范围，得到下一个金字塔，经过多次压缩，直至输出单一的尺度特征。对输出的单一的尺度特征，进行3*3的卷积；通过跳跃连接，将Resnet最后一层特征输出与特征输出在通道维度上进行拼接，然后通过3*3卷积与1*1卷积，构造特征体。本发明能够被用来提取足够的丰富特征，适用于深度立体匹配网络的特征输入。
Description
技术领域
本发明涉及数字图像处理领域，具体涉及一种用于立体匹配的特征提取方法。
背景技术
立体匹配是根据双目视差原理获取三维空间深度信息的过程，立体匹配的方法可分为传统的立体匹配方法和基于深度学习的立体匹配方法，由于基于深度学习的方法具有更好的实时性和准确率。因此，目前对于立体匹配的主要注意力已经从对传统匹配方法的研究转移到深度立体匹配网络。目前的深度立体匹配网络研究将过多的注意力放在了匹配过程，而对特征提取部分产生了忽略，所沿用的均是先前工作所提出的，如Resnet，SPP，又或是通过简单的跳跃连接将多尺度特征、深层语义和浅层几何简单的连接起来。然而，深度学习的基础是从特征中学习输入与输出之间的内在关系，特征的丰富程度在一定程度上决定了网络模型整体的性能。
特征提取一直是立体匹配网络中重要的研究问题，传统的立体匹配方法由于手工设计的度量函数不能完整反映像素之间的相似性，使得匹配上存在缺陷。而卷积神经网络的出现很好的解决了这一问题，通过一个深度特征提取网络提取特征，基于这些特征对像素点之间进行相似性度量，弥补手工设计的度量函数其本身固有的缺陷问题，使得立体匹配的准确率大大提升。
发明内容
本发明提供一种用于立体匹配的特征提取方法，该方法提供了一种新的用于立体匹配的特征提取网络，具有自下而上的特征提取结构、多条自上而下的路线、以及一个横向传播的金字塔融合结构，这些结构能够被用来提取足够的丰富特征，适用于深度立体匹配网络的特征输入。
本发明采取的技术方案为：
一种用于立体匹配的特征提取方法，包括以下步骤：
步骤1：将经过畸变校正和极线校正的、尺寸为W*H*C的原始图像输入到特征提取网络中，其中W为图像的宽维度，H为图像的高维度，C为图像的通道维度。
步骤2：通过预处理模块和Resnet提取多个特征图。
步骤3：通过最大值池化操作，对步骤2中提取到的多个特征图进行不同大小的最大值池化，构建特征金字塔。
步骤4：利用堆叠结构进行特征融合并压缩金字塔尺度范围，得到下一个金字塔，经过多次压缩，直至输出单一的尺度特征。
步骤5：对步骤4中输出的单一的尺度特征，进行3*3的卷积。
步骤6：通过跳跃连接，将Resnet最后一层特征输出与步骤5的特征输出在通道维度上进行拼接，然后通过3*3卷积与1*1卷积，构造特征体。
所述步骤2中，预处理模块由3个级联的3×3卷积核构成，3×3卷积核相对于更小的卷积核而言，可以提取到更多的特征；相对于更大的卷积核而言，可以提取到更多的细节特征。此外，用多个3×3的卷积核可以在参数数量和特征提取效果之间做到最优选择。
所述步骤2中，Resnet含有4个残差块组，四个组所包含的残差块数量分别是{3,16,3,3}。
所述步骤4包括以下步骤：
S4.1：将来自高尺度的特征进行反卷积或上采样操作，提升分辨率；
S4.2：将来自其他方向同尺度的特征或低尺度的特征进行卷积操作，使其通道维度与S4.1中操作后的特征通道维度数和尺度相同；
S4.3：将S4.1与S4.2操作后的特征结果进行元素相加，得到融合特征；
S4.4：重复S4.1至S4.3操作，得到不同尺度的融合特征，构造尺度范围压缩后的特征金字塔。
S4.5：重复S4.1至S4.4操作，得到具有不同尺度范围的特征金字塔，直至最后输出单一尺度特征。
本发明一种用于立体匹配的特征提取方法，技术效果如下：
1）自下而上的特征提取结构，能够提取深层高级语义信息。
2）多线路的自上而下的结构，能够将深层高级语义信息补充到浅层，使得语义信息与浅层细节得到充分融合。
3）横向连接的融合结构，将多尺度特征、最深层的高级语义特征以及最浅层的细节特征通过该金字塔结构逐层融合。无论是金字塔塔间还是塔内，均使得特征之间的信息交互达到最大化。
附图说明
图1为本发明方法的特征提取网络结构图。
图2为拼接操作示意图。
具体实施方式
实施例：
一种用于立体匹配的特征提取方法，包括以下步骤：
步骤1：将经过校正的、尺寸为W*H*C的原始图像输入到特征提取网络中，其中W为图像的宽维度，H为图像的高维度，C为图像的通道维度。
步骤2：通过预处理模块和Resnet提取多个特征图。
预处理模块由3个级联的3×3卷积核构成，得到特征图A1，其分辨率为输入图像的1/2。Resnet含有4个残差块组，四个组所包含的残差块数量分别是{3,16,3,3}，残差块组得到的特征图分别是{A2,A3,A4,A5}，分辨率分别是输入图像的{1/2,1/4,1/4,1/4}。
步骤3：通过最大值池化操作，对步骤2中提取到的多个特征图，进行不同大小的最大值池化，构建特征金字塔。
池化因子的大小分别是{2,2,4,8}，得到的特征图分别是{B2,B3,B4,B5}，其分辨率分别是输入图像的{1/4,1/8,1/16,1/32}。A1通过3*3的卷积核得到分辨率为1/2的特征图B1，与{B2,B3,B4,B5}构成特征金字塔B。
步骤4：利用堆叠结构进行特征融合并压缩金字塔尺度范围，得到下一个金字塔，经过多次压缩，直至输出单一的尺度特征，具体分为以下五步：
S4.1：将来自高尺度的特征进行反卷积或上采样操作，提升分辨率；
B5通过反卷积操作将分辨率从1/32提升到1/16；
S4.2：将来自其他方向同尺度的特征或低尺度的特征进行卷积操作，使其通道维度与S4.1中操作后的特征通道维度数和尺度相同；
B4的分辨率为1/16，通过1*1的卷积操作改变通道维度数，但不改变尺度的大小；
S4.3：将S4.1与S4.2操作后的特征结果进行元素相加，得到融合特征；
将B4与B5进行元素相加，得到融合特征C3；
S4.4：重复上述操作，得到不同尺度的融合特征，构造尺度范围压缩后的特征金字塔；
融合特征C3通过2倍上采样将分辨率提升到1/8，与经过卷积的B3进行元素相加，得到C2。
B1通过1*1卷积将分辨率从1/2降低到1/4，B2经过卷积尺度不变，
将以上两种操作得到的特征与C2经过2倍上采样得到的特征图进行元素相加得到C1，{C1,C2,C3}构成特征金字塔C，金字塔C的范围相对于金字塔B的尺度范围得到减小。
S4.5：重复上述操作，得到具有不同尺度范围的特征金字塔，直至最后输出单一尺度特征；
利用相同的方法，得到特征金字塔D，最后输出单一尺度特征E。
步骤5：对步骤4中输出的单一尺度特征，进行3*3的卷积。
步骤6：通过跳跃连接，将Resnet最后一层特征输出A5与步骤5的特征输出，在通道维度上进行拼接，得到特征量F，再通过3*3卷积与1*1卷积构造特征体。
在通道维度上进行拼接展示如图2所示。
立体匹配可以应用于无人驾驶之中，通过立体匹配获取三维真实世界的深度信息来感知真实世界景物所在的方向，深度立体匹配网络具有高精确度和实时性的特点，本发明所提出的用于立体匹配的特征提取方法,可以使得深度立体匹配网络的性能得到进一步提升，加立体匹配技术在无人驾驶领域中的应用。
Claims (4)
1.一种用于立体匹配的特征提取方法，其特征在于包括以下步骤：
步骤1：将尺寸为W*H*C的原始图像输入到特征提取网络中，其中W为图像的宽维度，H为图像的高维度，C为图像的通道维度；
步骤2：通过预处理模块和Resnet提取多个特征图；
步骤3：通过最大值池化操作，对步骤2中提取到的多个特征图进行不同大小的最大值池化，构建特征金字塔；
步骤4：利用堆叠结构进行特征融合并压缩金字塔尺度范围，得到下一个金字塔，经过多次压缩，直至输出单一的尺度特征；
步骤5：对步骤4中输出的单一的尺度特征，进行3*3的卷积；
步骤6：通过跳跃连接，将Resnet最后一层特征输出与步骤5的特征输出在通道维度上进行拼接，然后通过3*3卷积与1*1卷积，构造特征体。
2.根据权利要求1所述一种用于立体匹配的特征提取方法，其特征在于：所述步骤2中，预处理模块由3个级联的3×3卷积核构成。
3.根据权利要求1所述一种用于立体匹配的特征提取方法，其特征在于：所述步骤2中，Resnet含有4个残差块组，四个组所包含的残差块数量分别是{3,16,3,3}。
4.根据权利要求1所述一种用于立体匹配的特征提取方法，其特征在于：所述步骤4包括以下步骤：
S4.1：将来自高尺度的特征进行反卷积或上采样操作，提升分辨率；
S4.2：将来自其他方向同尺度的特征或低尺度的特征进行卷积操作，使其通道维度与S4.1中操作后的特征通道维度数和尺度相同；
S4.3：将S4.1与S4.2操作后的特征结果进行元素相加，得到融合特征；
S4.4：重复S4.1至S4.3操作，得到不同尺度的融合特征，构造尺度范围压缩后的特征金字塔；
S4.5：重复S4.1至S4.4操作，得到具有不同尺度范围的特征金字塔，直至最后输出单一尺度特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010693071.XA CN111914853B (zh) | 2020-07-17 | 2020-07-17 | 一种用于立体匹配的特征提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010693071.XA CN111914853B (zh) | 2020-07-17 | 2020-07-17 | 一种用于立体匹配的特征提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111914853A true CN111914853A (zh) | 2020-11-10 |
| CN111914853B CN111914853B (zh) | 2023-10-31 |
Family
ID=73281667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010693071.XA Active CN111914853B (zh) | 2020-07-17 | 2020-07-17 | 一种用于立体匹配的特征提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111914853B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991422A (zh) * | 2021-04-27 | 2021-06-18 | 杭州云智声智能科技有限公司 | 一种基于空洞空间金字塔池化的立体匹配方法及系统 |
| CN113628125A (zh) * | 2021-07-06 | 2021-11-09 | 武汉大学 | 基于空间视差先验网络的多幅红外图像增强方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325534A (zh) * | 2018-09-22 | 2019-02-12 | 天津大学 | 一种基于双向多尺度金字塔的语义分割方法 |
| CN109598269A (zh) * | 2018-11-14 | 2019-04-09 | 天津大学 | 一种基于多分辨率输入与金字塔膨胀卷积的语义分割方法 |
| CN110009691A (zh) * | 2019-03-28 | 2019-07-12 | 北京清微智能科技有限公司 | 基于双目立体视觉匹配的视差图像生成方法及系统 |
| CN110033483A (zh) * | 2019-04-03 | 2019-07-19 | 北京清微智能科技有限公司 | 基于dcnn深度图生成方法及系统 |
| CN110766623A (zh) * | 2019-10-12 | 2020-02-07 | 北京工业大学 | 一种基于深度学习的立体图像修复方法 |
| CN111369563A (zh) * | 2020-02-21 | 2020-07-03 | 华南理工大学 | 一种基于金字塔空洞卷积网络的语义分割方法 |
| CN111402129A (zh) * | 2020-02-21 | 2020-07-10 | 西安交通大学 | 一种基于联合上采样卷积神经网络的双目立体匹配方法 |
-
2020
- 2020-07-17 CN CN202010693071.XA patent/CN111914853B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325534A (zh) * | 2018-09-22 | 2019-02-12 | 天津大学 | 一种基于双向多尺度金字塔的语义分割方法 |
| CN109598269A (zh) * | 2018-11-14 | 2019-04-09 | 天津大学 | 一种基于多分辨率输入与金字塔膨胀卷积的语义分割方法 |
| CN110009691A (zh) * | 2019-03-28 | 2019-07-12 | 北京清微智能科技有限公司 | 基于双目立体视觉匹配的视差图像生成方法及系统 |
| CN110033483A (zh) * | 2019-04-03 | 2019-07-19 | 北京清微智能科技有限公司 | 基于dcnn深度图生成方法及系统 |
| CN110766623A (zh) * | 2019-10-12 | 2020-02-07 | 北京工业大学 | 一种基于深度学习的立体图像修复方法 |
| CN111369563A (zh) * | 2020-02-21 | 2020-07-03 | 华南理工大学 | 一种基于金字塔空洞卷积网络的语义分割方法 |
| CN111402129A (zh) * | 2020-02-21 | 2020-07-10 | 西安交通大学 | 一种基于联合上采样卷积神经网络的双目立体匹配方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991422A (zh) * | 2021-04-27 | 2021-06-18 | 杭州云智声智能科技有限公司 | 一种基于空洞空间金字塔池化的立体匹配方法及系统 |
| CN113628125A (zh) * | 2021-07-06 | 2021-11-09 | 武汉大学 | 基于空间视差先验网络的多幅红外图像增强方法 |
| CN113628125B (zh) * | 2021-07-06 | 2023-08-15 | 武汉大学 | 基于空间视差先验网络的多幅红外图像增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111914853B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325751B (zh) | 基于注意力卷积神经网络的ct图像分割系统 | |
| CN117078943B (zh) | 融合多尺度特征和双注意力机制的遥感影像道路分割方法 | |
| CN110175986B (zh) | 一种基于卷积神经网络的立体图像视觉显著性检测方法 | |
| CN111368825B (zh) | 一种基于语义分割的指针定位方法 | |
| CN110059728B (zh) | 基于注意力模型的rgb-d图像视觉显著性检测方法 | |
| CN114359130A (zh) | 一种基于无人机影像的道路裂缝检测方法 | |
| CN114724155A (zh) | 基于深度卷积神经网络的场景文本检测方法、系统及设备 | |
| CN115082675B (zh) | 一种透明物体图像分割方法及系统 | |
| CN111242181B (zh) | 基于图像语义和细节的rgb-d显著性物体检测器 | |
| CN113449691A (zh) | 一种基于非局部注意力机制的人形识别系统及方法 | |
| CN111914853A (zh) | 一种用于立体匹配的特征提取方法 | |
| CN115984494A (zh) | 一种基于深度学习的月面导航影像三维地形重建方法 | |
| CN116486074A (zh) | 一种基于局部和全局上下文信息编码的医学图像分割方法 | |
| CN113344110B (zh) | 一种基于超分辨率重建的模糊图像分类方法 | |
| CN114926734B (zh) | 基于特征聚合和注意融合的固体废弃物检测装置及方法 | |
| CN112926533A (zh) | 基于双向特征融合的光学遥感图像地物分类方法及系统 | |
| CN117058367A (zh) | 高分辨率遥感影像建筑物语义分割方法及装置 | |
| CN116523740A (zh) | 一种基于光场的红外图像超分辨率方法 | |
| CN115631513A (zh) | 基于Transformer的多尺度行人重识别方法 | |
| CN110633706B (zh) | 一种基于金字塔网络的语义分割方法 | |
| CN116309429A (zh) | 一种基于深度学习的芯片缺陷检测方法 | |
| CN115482529A (zh) | 近景色水果图像识别方法、设备、存储介质及装置 | |
| CN110472732B (zh) | 基于优化特征提取装置的图像特征提取系统 | |
| CN110766609A (zh) | 一种针对ToF相机的景深图超分辨率重建方法 | |
| CN115527082A (zh) | 一种基于图像多重预处理的深度学习小目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201110 Assignee: Hubei Benben Technology Co.,Ltd. Assignor: CHINA THREE GORGES University Contract record no.: X2023980047911 Denomination of invention: A Feature Extraction Method for Stereo Matching Granted publication date: 20231031 License type: Common License Record date: 20231123 |
|
| EC01 | Cancellation of recordation of patent licensing contract | ||
| EC01 | Cancellation of recordation of patent licensing contract |
Assignee: Hubei Benben Technology Co.,Ltd. Assignor: CHINA THREE GORGES University Contract record no.: X2023980047911 Date of cancellation: 20240819 |