CN113362462B - 一种基于自监督学习的双目立体视觉视差滤波方法和装置 - Google Patents
一种基于自监督学习的双目立体视觉视差滤波方法和装置 Download PDFInfo
- Publication number
- CN113362462B CN113362462B CN202110137271.1A CN202110137271A CN113362462B CN 113362462 B CN113362462 B CN 113362462B CN 202110137271 A CN202110137271 A CN 202110137271A CN 113362462 B CN113362462 B CN 113362462B
- Authority
- CN
- China
- Prior art keywords
- taking
- image
- neural network
- convolutional neural
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000001914 filtration Methods 0.000 title claims abstract description 32
- 230000006870 function Effects 0.000 claims abstract description 53
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于自监督学习的双目立体视觉视差滤波方法和装置，包括：步骤1：在待处理图像上取一个像素点P，以所述像素点P为中心取一块矩形区域，将所述像素点P的坐标加上偏移量d，得到像素点M，以所述像素点M为中心在同一幅图像上取同样大小的一块矩形区域；步骤2：重复步骤1，得到两个矩形区域作为一对训练样本，取d1作为该样本对的标签；步骤3：重复步骤1和步骤2，得到一定数量的训练样本对和对应标签；步骤4：将步骤3所述训练样本对和对应标签输入卷积神经网络模型，计算损失函数，得到所述卷积神经网络模型；步骤5：判断两个样本对是否为匹配，如果不匹配，将所述像素认定为噪点进行滤除。
Description
技术领域
本申请涉及计算机视觉领域，特别是涉及一种基于自监督学习的双目立体视觉视差滤波方法和装置。
背景技术
计算机视觉是一项关于如何运用照相机和计算机来获取生产经营所需的数据与信息的技术。随着计算机视觉技术的发展，计算机视觉在各种场景中都得到了广泛应用。双目立体视觉模拟人类的视觉系统，是计算机视觉领域重要分支。双目立体视觉技术是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息。目前双目立体视觉中的匹配过程容易产生误匹配，造成三维点云中出现噪点，这对三维几何信息的获取十分不利。其中有两种典型的情况容易发生误匹配：(1)当相机拍摄到近处的区域时，正确匹配点超过设定的最大视差，产生难以消除的误匹配。(2)极线校正不准，使得对应点不在一条水平线上，也极易造成误匹配。对于这种情况，现有技术通过设定更大的最大视差等方法进行解决，但是会对计算效率产生影响，使计算速度变慢，并且对计算机的内存需求较大。同时，一般传统的视差滤波方法对这些误匹配的处理存在一定的局限性。因此需要对图像进行滤波来滤除噪点。
目前针对相关技术中双目立体视觉中的匹配过程容易产生误匹配而造成三维点云中出现噪点的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于自监督学习的双目立体视觉视差滤波方法、装置、电子装置和存储介质，以至少解决相关技术中双目立体视觉中的匹配过程容易产生误匹配而造成三维点云中出现噪点的问题。
第一方面，本申请实施例提供了一种基于自监督学习的双目立体视觉视差滤波方法，包括：
步骤1：在待处理图像上取一个像素点P，以所述像素点P为中心取一块矩形区域，将所述像素点P的坐标加上偏移量d，得到像素点M，以所述像素点M为中心在同一幅图像上取同样大小的一块矩形区域，其中，所述待处理图像为通过双目相机采集到的左图和右图，所述坐标偏移差值d为二维向量，包含水平偏移量d1和垂直偏移量d2；
步骤2：重复步骤1，得到两个矩形区域作为一对训练样本，取d1作为该样本对的标签；
步骤3：重复步骤1和步骤2，得到一定数量的训练样本对和对应标签；
步骤4：将步骤3所述训练样本对和对应标签输入卷积神经网络模型，计算损失函数，得到所述卷积神经网络模型，所述损失函数：
其中，d0为水平偏移量阈值，λ为权重，Lmatch为交叉熵损失函数，Ld为欧几里得损失函数；
步骤5：通过立体匹配算法得到所述待处理图像左图每个像素点在右图中的匹配点，以两个所述匹配点为中心，分别在左图和右图各取一矩形区域形成样本对，将所述样本对输入卷积神经网络模型，得到该样本对是否匹配，如果不匹配，将所述像素认定为噪点进行滤除。
在其中一个实施例中，所述交叉熵损失函数的计算方法为：
Lmatch＝-(ydlog(p)+(1-yd)(1-log(p)))，
其中，p为所述卷积神经网络模型计算出的匹配概率，yd为匹配标志：
在其中一个实施例中，所述欧几里得损失函数的计算方法为：
其中，为所述卷积神经网络模型输出的水平方向偏移量。
在其中一个实施例中，所述损失函数包含匹配结果的损失函数和偏移量结果的损失函数，其中，匹配结果为所述卷积神经网络模型输出的样本对与立体匹配算法得到的样本对匹配的结果。
在其中一个实施例中，所述步骤5中立体匹配算法包括代价计算、代价聚合、视差计算、视差优化。
第二方面，本申请实施例提供了一种基于自监督学习的双目立体视觉视差滤波装置，包括：
采样模块，用于在待处理图像上取一个像素点P，以所述像素点P为中心取一块矩形区域，将所述像素点P的坐标加上偏移量d，得到像素点M，以所述像素点M为中心在同一幅图像上取同样大小的一块矩形区域；
训练模块，用于将训练样本对和对应标签输入卷积神经网络模型，计算损失函数，得到卷积神经网络模型；
匹配模块，用于通过立体匹配算法得到待处理图像左图每个像素在右图中的匹配点，以两个匹配点为中心，分别在左图和右图各取一矩形区域形成样本对，将样本对输入卷积神经网络模型，得到样本对是否为匹配；判断模块，用于判断立体匹配算法获得的样本对与卷积神经网络模型得到样本对是否为匹配，如果不匹配，将像素认定为噪点进行滤除。
相比于相关技术，本申请能够对输入的双目视觉图像进行噪点滤波，解决了相关技术中双目立体视觉中的匹配过程容易产生误匹配而造成三维点云中出现噪点的问题，实现了对计算机双目视觉图像的优化。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于自监督学习的双目立体视觉视差滤波流程图；
图2是根据本申请实施例的基于自监督学习的双目立体视觉视差滤波装置结构图；
图3为根据本申请实施例的基于自监督学习的双目立体视觉视差滤波神经网络输入输出示意图；
图4为根据本申请实施例的基于自监督学习的双目立体视觉视差滤波卷积神经网络模型示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供了一种基于自监督学习的双目立体视觉视差滤波方法。图1是根据本申请实施例的一种基于自监督学习的双目立体视觉视差滤波方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101：在待处理图像上取一个像素点P，以所述像素点P为中心取一块矩形区域，将所述像素点P的坐标加上偏移量d，得到像素点M，以所述像素点M为中心在同一幅图像上取同样大小的一块矩形区域，其中，所述待处理图像为通过双目相机采集到的左图和右图。
在本实施例中，所述坐标偏移差值d为二维向量，包含水平偏移量d1和垂直偏移量d2。
步骤S102：重复步骤1，得到两个矩形区域作为一对训练样本，取d1作为该样本对的标签。
步骤S103：重复步骤1和步骤2，得到一定数量的训练样本对和对应标签。
步骤S104：将步骤3所述训练样本对和对应标签输入卷积神经网络模型，计算损失函数，得到所述卷积神经网络模型，所述损失函数：
其中，d0为水平偏移量阈值，λ为权重，Lmatch为交叉熵损失函数，Ld为欧几里得损失函数。
步骤S105：通过立体匹配算法得到所述待处理图像左图每个像素点在右图中的匹配点，以两个所述匹配点为中心，分别在左图和右图各取一矩形区域形成样本对，将所述样本对输入卷积神经网络模型，得到该样本对是否匹配，如果不匹配，将所述像素认定为噪点进行滤除。
步骤S106：判断两个样本对是否为匹配，如果不匹配，将所述像素认定为噪点进行滤除。
在本实施例中，所述总损失函数的计算中，单个样本对的总损失函数L为匹配结果的交叉熵损失函数Lmatch和偏移量结果的欧几里得损失函数Ld的加权和。这样可以综合考虑到模型所得到的匹配结果和偏移量结果的准确率，及两者对最后结果不同程度的影响。
在本实施例中，所述的总损失函数的计算中，其特征在于，偏移量结果的欧几里得损失函数Ld仅在d1<d0时，即该对样品为匹配图像时才起作用；当d1≥d0时，匹配结果的交叉熵损失函数Lmatch即为总损失函数。因为仅当该对样品为匹配图像时，偏移量才可以经过模型得到较好的计算；否则，计算偏移量将没有意义。
在本实施例中，所述的总损失函数的计算中，匹配结果的损失函数运用了提供无偏估计的代理损失，即交叉熵损失函数。
在本实施例中，所述的总损失函数的计算中，偏移量结果的损失函数运用了欧几里得损失函数。因为该损失函数通过平方计算放大了估计值和真实值的距离，对偏离观测值的输出给予很大的惩罚。此外，欧几里得损失函数作为平滑函数，在求解其优化问题时有利于误差梯度的计算。
在本实施例中，在步骤S103选取训练样本时，会随机选取一较小值的垂直偏移量，是为了在极线校正不准的情况下也能较为准确地预测视差。
在其中一个实施例中，所述交叉熵损失函数的计算方法为：
Lmatch＝-(ydlog(p)+(1-yd)(1-log(p)))，
其中，p为所述卷积神经网络模型计算出的匹配概率，yd为匹配标志：
在其中一个实施例中，所述欧几里得损失函数的计算方法为：
其中，为所述卷积神经网络模型输出的水平方向偏移量。
在其中一个实施例中，所述损失函数包含匹配结果的损失函数和偏移量结果的损失函数，其中，匹配结果为立体匹配算法得到的样本对是否匹配。
通过本实施例，上述的技术方案主要是先利用大量图像样本信息训练神经网络，之后利用训练完成的神经网络对待处理的图像进行处理，解决了相关技术中双目立体视觉中的匹配过程容易产生误匹配而造成三维点云中出现噪点的问题，实现了对计算机双目视觉图像的优化。
本实施例还提供了一种基于自监督学习的双目立体视觉视差滤波装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本申请实施例的基于自监督学习的双目立体视觉视差滤波装置的结构框图，如图2所示，该装置包括：采样模块21，用于在待处理图像上取一个像素点P，以所述像素点P为中心取一块矩形区域，将所述像素点P的坐标加上偏移量d，得到像素点M，以所述像素点M为中心在同一幅图像上取同样大小的一块矩形区域；训练模块22，用于将训练样本对和对应标签输入卷积神经网络模型，计算损失函数，得到卷积神经网络模型；匹配模块23，用于通过立体匹配算法得到待处理图像左图每个像素在右图中的匹配点，以两个匹配点为中心，分别在左图和右图各取一矩形区域形成样本对，将样本对输入卷积神经网络模型，得到样本对是否为匹配；判断模块24，用于判断立体匹配算法获得的样本对与卷积神经网络模型得到样本对是否为匹配，如果不匹配，将像素认定为噪点进行滤除。
图3为根据本申请实施例的基于自监督学习的双目立体视觉视差滤波神经网络输入输出示意图。如图3所示，以一对偏差为d的矩形区域为图像样本输入CNN卷积神经网络，得到两个输出结果：输出一为立体匹配算法和卷积神经网络算法得到的匹配结果，判断匹配结果则可以得到样本的噪点信息；输出二为图像的水平偏差值，能够通过水平偏差值计算损失函数，得到各项构建卷积神经网络模型的参数。
图4为根据本申请实施例的基于自监督学习的双目立体视觉视差滤波卷积神经网络模型示意图。如图4所示，首先，将所取的两个三通道图像块串联成6通道图像，作为神经网络模型的输入，经过卷积、ReLU和池化层，形成一组更深深度的特征映射图序列。再经过卷积和池化操作，最后进行全连接，输出训练样本对是否为匹配块，以及两个样本的相对水平偏移量。将得到的大量的训练样本对和标签输入模型进行训练，比较所得的损失函数，得到最优的模型参数。其中，卷积网络模型中的激活函数选用了ReLU函数，因为ReLU函数不会饱和，较其他函数收敛更快，可以提高计算效率。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
相比于现有技术，本申请具有以下优点：
1.本申请训练卷积神经网络完成对图像的处理，卷积神经网络模型的可靠性将会随着训练样本的增加而增加。
2.本申请通过封装系统的方式面向用户，用户只需要输入训练样本集和待处理图像即可实现功能，具有简单易操作的特点，学习成本较低。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种基于自监督学习的双目立体视觉视差滤波方法，其特征在于，包括：
步骤1：在待处理图像上取一个像素点P，以所述像素点P为中心取一块矩形区域，将所述像素点P的坐标加上偏移量d，得到像素点M，以所述像素点M为中心在同一幅图像上取同样大小的一块矩形区域，其中，所述待处理图像为通过双目相机采集到的左图和右图，所述的坐标偏移量d为二维向量，包含水平偏移量d1和垂直偏移量d2；
步骤2：重复步骤1，得到两个矩形区域作为训练样本对，取步骤1所述的水平偏移量d1作为该样本对的标签；
步骤3：将步骤1和步骤2重复多次，得到一定数量的训练样本对和对应的标签；
步骤4：利用步骤3所述训练样本对和对应的标签训练卷积神经网络模型，计算损失函数，得到所述卷积神经网络模型，所述损失函数为
其中，d0为水平偏移量阈值，λ为权重，Lmatch为交叉熵损失函数，Ld为欧几里得损失函数；
步骤5：通过立体匹配算法得到所述待处理图像左图每个像素点在右图中的匹配点，以两个所述匹配点为中心，分别在左图和右图各取一矩形区域形成样本对，将所述样本对输入卷积神经网络模型，得到该样本对是否匹配，如果不匹配，将所述像素认定为噪点进行滤除。
2.根据权利要求1所述的一种基于自监督学习的双目立体视觉视差滤波方法，其特征在于，所述交叉熵损失函数的计算方法为：
Lmatch＝-(ydlog(p)+(1-yd)(1-log(p)))，
其中，p为所述卷积神经网络模型计算出的匹配概率，0＜p＜1，yd为匹配标志：
3.根据权利要求1所述的一种基于自监督学习的双目立体视觉视差滤波方法，其特征在于，所述欧几里得损失函数的计算方法为：
其中，为所述卷积神经网络模型输出的水平方向偏移量。
4.根据权利要求1所述的一种基于自监督学习的双目立体视觉视差滤波方法，其特征在于，所述步骤4～5分为两个阶段，第一阶段为卷积神经网络修正阶段，通过所述步骤4～5的操作优化卷积神经网络模型，第二阶段为待处理图像处理阶段，对所述待处理图像所有像素点通过卷积神经网络进行处理。
5.根据权利要求1所述的一种基于自监督学习的双目立体视觉视差滤波方法，其特征在于，所述步骤5中立体匹配算法包括代价计算、代价聚合、视差计算、视差优化。
6.一种采用权利要求1-5之一的基于自监督学习的双目立体视觉视差滤波方法的双目立体视觉视差滤波装置，其特征在于，包括：
采样模块，用于在待处理图像上取一个像素点P，以所述像素点P为中心取一块矩形区域，将所述像素点P的坐标加上偏移量d，得到像素点M，以所述像素点M为中心在同一幅图像上取同样大小的一块矩形区域；
训练模块，用于将训练样本对和对应标签输入卷积神经网络模型，计算损失函数，得到卷积神经网络模型；
匹配模块，用于通过立体匹配算法得到待处理图像左图每个像素在右图中的匹配点，以两个匹配点为中心，分别在左图和右图各取一矩形区域形成样本对，将样本对输入卷积神经网络模型，得到样本对是否为匹配；
判断模块，用于判断立体匹配算法获得的样本对与卷积神经网络模型得到样本对是否为匹配，如果不匹配，将像素认定为噪点进行滤除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110137271.1A CN113362462B (zh) | 2021-02-01 | 2021-02-01 | 一种基于自监督学习的双目立体视觉视差滤波方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110137271.1A CN113362462B (zh) | 2021-02-01 | 2021-02-01 | 一种基于自监督学习的双目立体视觉视差滤波方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113362462A CN113362462A (zh) | 2021-09-07 |
| CN113362462B true CN113362462B (zh) | 2024-04-05 |
Family
ID=77524632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110137271.1A Active CN113362462B (zh) | 2021-02-01 | 2021-02-01 | 一种基于自监督学习的双目立体视觉视差滤波方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113362462B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018086348A1 (zh) * | 2016-11-09 | 2018-05-17 | 人加智能机器人技术（北京）有限公司 | 双目立体视觉系统及深度测量方法 |
| WO2018188535A1 (zh) * | 2017-04-14 | 2018-10-18 | 深圳市商汤科技有限公司 | 人脸图像处理方法、装置和电子设备 |
| CN109857886A (zh) * | 2018-12-28 | 2019-06-07 | 浙江工业大学 | 一种基于极小极大值博弈理论视图逼近的三维模型检索方法 |
| CN111709977A (zh) * | 2020-03-17 | 2020-09-25 | 北京航空航天大学青岛研究院 | 一种基于自适应单峰立体匹配成本滤波的双目深度学习方法 |
| CN112150521A (zh) * | 2020-08-24 | 2020-12-29 | 江苏大学 | 一种基于PSMNet优化的图像立体匹配方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019037752A (ja) * | 2017-08-23 | 2019-03-14 | 株式会社リコー | 測定装置、及び測定方法 |
-
2021
- 2021-02-01 CN CN202110137271.1A patent/CN113362462B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018086348A1 (zh) * | 2016-11-09 | 2018-05-17 | 人加智能机器人技术（北京）有限公司 | 双目立体视觉系统及深度测量方法 |
| WO2018188535A1 (zh) * | 2017-04-14 | 2018-10-18 | 深圳市商汤科技有限公司 | 人脸图像处理方法、装置和电子设备 |
| CN109857886A (zh) * | 2018-12-28 | 2019-06-07 | 浙江工业大学 | 一种基于极小极大值博弈理论视图逼近的三维模型检索方法 |
| CN111709977A (zh) * | 2020-03-17 | 2020-09-25 | 北京航空航天大学青岛研究院 | 一种基于自适应单峰立体匹配成本滤波的双目深度学习方法 |
| CN112150521A (zh) * | 2020-08-24 | 2020-12-29 | 江苏大学 | 一种基于PSMNet优化的图像立体匹配方法 |
Non-Patent Citations (2)
| Title |
|---|
| DGD卷积神经网络行人重识别;杨忠桃;章东平;杨力;井长兴;;中国计量大学学报;20171215(第04期);全文 * |
| 基于多尺度卷积神经网络的立体匹配算法研究;段中兴;齐嘉麟;;计算机测量与控制;20200925(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113362462A (zh) | 2021-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163953B (zh) | 三维人脸重建方法、装置、存储介质和电子装置 | |
| CN109697728B (zh) | 数据处理方法、装置、系统和存储介质 | |
| KR20180087994A (ko) | 스테레오 매칭 방법 및 영상 처리 장치 | |
| Melo et al. | Unsupervised intrinsic calibration from a single frame using a" plumb-line" approach | |
| CN110443874B (zh) | 基于卷积神经网络的视点数据生成方法和装置 | |
| CN110349215B (zh) | 一种相机位姿估计方法及装置 | |
| CN110070610B (zh) | 特征点匹配方法、三维重构过程的特征点匹配方法及装置 | |
| CN113822284B (zh) | 一种基于边界注意力的rgbd图像语义分割方法 | |
| CN112784874B (zh) | 双目视觉立体匹配方法、装置、电子设备及存储介质 | |
| CN111489394A (zh) | 物体姿态估计模型训练方法、系统、装置及介质 | |
| CN116402876A (zh) | 双目深度估计方法、装置、嵌入式设备和可读存储介质 | |
| CN114663686A (zh) | 物体特征点匹配方法及装置、训练方法及装置 | |
| CN113592015B (zh) | 定位以及训练特征匹配网络的方法和装置 | |
| CN113538535A (zh) | 一种基于双分支特征交互的3d点云配准网络模型及配准方法 | |
| CN113538402A (zh) | 一种基于密度估计的人群计数方法及系统 | |
| CN113362462B (zh) | 一种基于自监督学习的双目立体视觉视差滤波方法和装置 | |
| CN114820755B (zh) | 一种深度图估计方法及系统 | |
| CN117274072A (zh) | 一种基于二维多模态范围图像的点云去噪方法及装置 | |
| CN113048985B (zh) | 已知相对旋转角度条件下的像机相对运动估计方法 | |
| CN115546515A (zh) | 一种深度信息获取方法和装置 | |
| CN117237431A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 | |
| CN114617527A (zh) | 一种腹腔镜立体成像方法及系统 | |
| CN114608558A (zh) | 基于特征匹配网络的slam方法、系统、设备及存储介质 | |
| CN110910438B (zh) | 一种超高分辨率双目图像的高速立体匹配算法 | |
| CN112802079A (zh) | 一种视差图获取方法、装置、终端和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |