CN111340077B - 基于注意力机制的视差图获取方法和装置 - Google Patents
基于注意力机制的视差图获取方法和装置 Download PDFInfo
- Publication number
- CN111340077B CN111340077B CN202010097878.7A CN202010097878A CN111340077B CN 111340077 B CN111340077 B CN 111340077B CN 202010097878 A CN202010097878 A CN 202010097878A CN 111340077 B CN111340077 B CN 111340077B
- Authority
- CN
- China
- Prior art keywords
- original image
- feature matrix
- matrix
- layer
- left original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims abstract description 383
- 238000000605 extraction Methods 0.000 claims abstract description 41
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于注意力机制的视差图获取方法、装置、计算机设备及存储介质,涉及人工智能技术领域。该基于注意力机制的视差图获取方法包括:获取左原图和右原图;采用预先训练的特征提取模型从所述左原图提取得到左原图特征矩阵,以及从所述右原图提取得到右原图特征矩阵;采用预设的注意力机制模块过滤所述左原图特征矩阵和所述右原图特征矩阵;根据过滤后的所述左原图特征矩阵和过滤后的所述右原图特征矩阵,得到匹配代价矩阵;将所述匹配代价矩阵输入到预先训练的卷积神经网络中,得到目标匹配代价矩阵;根据所述目标匹配代价矩阵得到视差图。采用该基于注意力机制的视差图获取方法能够得到准确度较高的视差图。
Description
【技术领域】
本发明涉及人工智能技术领域,尤其涉及一种基于注意力机制的视差图获取方法和装置。
【背景技术】
视差是指从有一定距离的两个点上观察同一个目标所产生的方向差异。目前,当具有视差关系的图像对上存在仿射畸变、辐射畸变的情况,或者受遮挡、弱纹理、重复纹理、反射表面等病态区域时,计算视差值时的精确度较低,无法得到准确度较高的视差图。
【发明内容】
有鉴于此,本发明实施例提供了一种基于注意力机制的视差图获取方法、装置、计算机设备及存储介质,用以解决目前在具有视差关系的图像对上存在仿射畸变、辐射畸变或病态区域时,无法得到准确度较高的视差图的问题。
第一方面,本发明实施例提供了一种基于注意力机制的视差图获取方法,包括:
获取左原图和右原图,其中,所述左原图和所述右原图为具有视差关系的图像对;
采用预先训练的特征提取模型从所述左原图提取得到左原图特征矩阵,以及从所述右原图提取得到右原图特征矩阵,其中,所述左原图特征包括左原图低层特征矩阵和左原图高层特征矩阵,所述右原图特征包括右原图低层特征矩阵和右原图高层特征矩阵;
采用预设的注意力机制模块过滤所述左原图特征矩阵和所述右原图特征矩阵,其中,所述预设的注意力机制模块用于实现对所述左原图低层特征矩阵和所述左原图高层特征矩阵进行特征选择,以及对所述右原图低层特征矩阵和所述右原图高层特征矩阵进行特征选择;
根据过滤后的所述左原图特征矩阵和过滤后的所述右原图特征矩阵,得到匹配代价矩阵;
将所述匹配代价矩阵输入到预先训练的卷积神经网络中,得到目标匹配代价矩阵;
根据所述目标匹配代价矩阵得到视差图。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述左原图高层特征矩阵是指在所述特征提取模型中第n层卷积层的输出,所述左原图低层特征矩阵是指在所述特征提取模型中第m层卷积层的输出,其中,0<m<n,所述右原图高层特征矩阵是指在所述特征提取模型中第q层卷积层的输出,所述右原图低层特征矩阵是指在所述特征提取模型中第p层卷积层的输出,其中,0<p<q。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述注意力机制模块包括第一分支和第二分支,所述采用预设的注意力机制模块过滤所述左原图特征矩阵和所述右原图特征矩阵中,包括对所述左原图特征矩阵进行过滤的步骤如下:
将所述左原图高层特征矩阵输入到所述注意力机制模块的第一分支上,得到左原图第一输出特征矩阵,其中,所述第一分支上包括采用1×1卷积核的卷积层、批规范层、非线性层和变换层;
将所述左原图低层特征矩阵输入到所述注意力机制模块的第二分支上,得到左原图第二输出特征矩阵,其中,所述第二分支上包括采用1×1卷积核的卷积层;
将所述左原图第一输出特征矩阵和所述左原图第二输出特征矩阵在对应元素上进行相乘,得到左原图综合输出特征矩阵;
将所述左原图综合输出特征矩阵和所述左原图低层特征矩阵相加,得到所述过滤后的左原图特征矩阵。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述根据过滤后的所述左原图特征矩阵和过滤后的所述右原图特征矩阵,得到匹配代价矩阵,包括:
采用预设的立体匹配算法确定最大视差范围;
在所述最大视差范围内,级联过滤后的所述左原图特征矩阵和过滤后的所述右原图特征矩阵,得到所述匹配代价矩阵。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述根据所述目标匹配代价矩阵得到视差图,包括:
上采样所述目标匹配代价矩阵;
基于上采样后的所述目标匹配代价矩阵进行回归计算,得到视差值的回归值,其中,所述视差值的回归值表示为其中,Dmax表示最大视差值,d表示视差值,σ()表示softmax函数,cd表示视差值的损失值,该损失值采用预设的损失函数得到;
根据所述视差值的回归值得到视差图。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述回归计算在训练阶段产生回归损失值,所述回归损失值采用smoothL1构建的匹配代价损失函数得到,其中,所述匹配代价损失函数表示为 N表示像素总数,di表示第i个视差值,/>表示第i个视差值的回归值,其中,/>应用到计算匹配代价损失函数中时所述x表示/>
根据所述回归损失值对训练阶段的网络参数进行更新。
第二方面,本发明实施例提供了一种基于注意力机制的视差图获取装置,包括:
原图获取模块,用于获取左原图和右原图,其中,所述左原图和所述右原图为具有视差关系的图像对;
特征提取模块,用于采用预先训练的特征提取模型从所述左原图提取得到左原图特征矩阵,以及从所述右原图提取得到右原图特征矩阵,其中,所述左原图特征包括左原图低层特征矩阵和左原图高层特征矩阵,所述右原图特征包括右原图低层特征矩阵和右原图高层特征矩阵;
过滤模块,用于采用预设的注意力机制模块过滤所述左原图特征矩阵和所述右原图特征矩阵,其中,所述预设的注意力机制模块用于实现对所述左原图低层特征矩阵和所述左原图高层特征矩阵进行特征选择,以及对所述右原图低层特征矩阵和所述右原图高层特征矩阵进行特征选择;
匹配代价矩阵获取模块,用于根据过滤后的所述左原图特征矩阵和过滤后的所述右原图特征矩阵,得到匹配代价矩阵;
目标匹配代价矩阵获取模块,用于将所述匹配代价矩阵输入到预先训练的卷积神经网络中,得到目标匹配代价矩阵;
视差图获取模块,用于根据所述目标匹配代价矩阵得到视差图。
第三方面,一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于注意力机制的视差图获取方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,包括:计算机程序,所述计算机程序被处理器执行时实现上述基于注意力机制的视差图获取方法的步骤。
在本发明实施例中,首先获取具有视差关系的左原图和右原图;然后采用预先训练的特征提取模型对左原图和右原图进行特征提取,并在特征提取后采用注意力机制模块过滤左原图特征矩阵和右原图特征矩阵,采用该注意力机制能够过滤掉左原图特征矩阵和右原图特征矩阵中包含的无用信息以及负面信息,从而帮助提高视差图的准确度;接着根据过滤后的左原图特征矩阵和过滤后的右原图特征矩阵,得到匹配代价矩阵,该匹配代价矩阵能够代表左原图和右原图之间每两个像素点之间的相似性,两个点越相似,可能为左原图和右原图之间的对应点的概率越大,在采用注意力机制进行特征选择时,能够帮助得到更准确的匹配代价矩阵,从而帮助提高视差图的准确度;最后将匹配代价矩阵输入到预先训练的卷积神经网络中,得到目标匹配代价矩阵,并根据目标匹配代价矩阵得到视差图。本实施例中,通过采用注意力机制对左原图特征矩阵和右原图特征矩阵进行特征选择,过滤掉特征矩阵中包含的无用信息以及负面信息,从而提高视差图的准确度。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1是本发明一实施例中基于注意力机制的视差图获取方法的一流程图;
图2是本发明一实施例中基于注意力机制的视差图获取装置的原理框图;
图3是本发明一实施例中计算机设备的一示意图。
【具体实施方式】
为了更好的理解本发明的技术方案,下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的相同的字段,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等,但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一预设范围也可以被称为第二预设范围,类似地,第二预设范围也可以被称为第一预设范围。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
图1示出本实施例中基于注意力机制的视差图获取方法的一流程图。该基于注意力机制的视差图获取方法可应用在视差图获取系统上,在对具有视差关系的图像对获取视差图时可采用该视差图获取方法实现。该视差图获取系统具体可应用在计算机设备上,其中,该计算机设备是可与用户进行人机交互的设备,包括但不限于电脑、智能手机和平板等设备。如图1所示,该基于注意力机制的视差图获取方法包括:
S10:获取左原图和右原图,其中,左原图和右原图为具有视差关系的图像对。
视差是指从有一定距离的两个点上观察同一个目标所产生的方向差异。可以理解地,例如人在观察同一个目标时,人的左眼和右眼所观察的目标是有差别的,而这种差别称为视差。
在一实施例中,具体可以采用双目摄像头等设备获取左原图和右原图,由于双目摄像头不是从同一个点出发去拍摄图像,因此双目摄像头得到的图像,左原图和右原图存在视差关系。
S20:采用预先训练的特征提取模型从左原图提取得到左原图特征矩阵,以及从右原图提取得到右原图特征矩阵,其中,左原图特征包括左原图低层特征矩阵和左原图高层特征矩阵,右原图特征包括右原图低层特征矩阵和右原图高层特征矩阵。
进一步地,左原图高层特征矩阵是指在特征提取模型中第n层卷积层的输出,左原图低层特征矩阵是指在特征提取模型中第m层卷积层的输出,其中,0<m<n,右原图高层特征矩阵是指在特征提取模型中第q层卷积层的输出,右原图低层特征矩阵是指在特征提取模型中第p层卷积层的输出,其中,0<p<q。
其中,预先训练的特征提取模型包括卷积层,用于对输入的左原图和右原图进行特征矩阵的提取。可以理解地,在采用卷积神经网络进行特征提取时,神经网络包含的卷积层层数越多时,其提取的特征矩阵表示更深的图像特征。需要说明的是,本实施例中提及的低层特征矩阵和高层特征矩阵是一个相对的概念,低层特征矩阵表示采用较少的卷积层提取图像特征,高层特征矩阵表示采用较多的卷积层来提取图像特征,如左原图高层特征矩阵为在特征提取模型中第n层卷积层的输出,左原图低层特征矩阵为在特征提取模型中第m层卷积层的输出,其中,0<m<n。图像的低层特征矩阵和高层特征矩阵所表达的图像特征不同,一般来说,高层特征矩阵表达的图像特征更精简,低层特征矩阵虽然表达的图像特征中有部分无用的信息,但是仍保留着高层特征矩阵中所缺少的图像特征。低层特征矩阵中实际上仍然包括有价值的图像特征。
在一实施例中,m具体可以是5层,n具体可以是16层。p、q表示的层数可以分别与m、n相同,也可以不同,在此不作限定。
可以理解地,本实施例中对左原图和右原图进行的特征提取实际上分别进行了两次,提取了图像的低层特征矩阵和高层特征矩阵,为后续进行特征选择,提高特征矩阵表达能力提高了重要的基础。
S30:采用预设的注意力机制模块过滤左原图特征矩阵和右原图特征矩阵,其中,预设的注意力机制模块用于实现对左原图低层特征矩阵和左原图高层特征矩阵进行特征选择,以及对右原图低层特征矩阵和右原图高层特征矩阵进行特征选择。
其中,该注意力机制模块可看作是一个特征选择器或者特征过滤器,其将低层特征矩阵和高层特征矩阵进行结合处理,互相提高特征选择的注意力,低层特征矩阵和高层特征矩阵将一起进行比较并从中选出有效特征。
可以理解地,注意力机制模块可以采用多种方式实现,该注意力机制的重点是要将低层特征矩阵和高层特征矩阵进行结合处理,互相提高特征选择的注意力,因此注意力机制模块可采用不同的预设模型结构实现对左原图、右原图的低层特征矩阵和高层特征矩阵进行处理。
进一步地,可以采用以下的模型结构实现特征实现过滤左原图特征矩阵和右原图特征矩阵:
首先,注意力机制模块包括第一分支和第二分支。
在步骤S30中,采用预设的注意力机制模块过滤左原图特征矩阵和右原图特征矩阵中,具体包括对左原图特征矩阵进行过滤的步骤如下:
S31:将左原图高层特征矩阵输入到注意力机制模块的第一分支上,得到左原图第一输出特征矩阵,其中,第一分支上包括采用1×1卷积核的卷积层、批规范层、非线性层和变换层。
其中,1×1卷积核的卷积层可用来调整左原图高层特征矩阵的尺寸,批规范层能够有效提高第一分支提取的准确性,非线性层具体可以采用Relu(RectifiedLinear Unit,线性整流函数)实现,变换层可以采用sigmoid函数实现。通过该第一分支的提取,得到的左原图第一输出特征矩阵的矩阵元素的区间在(0,1)之间(由sigmoid函数实现),此时实际上左原图第一输出特征矩阵是采用权重的方式表达图像特征,并且,采用该权重的方式表达图像特征的左原图第一输出特征矩阵(权重矩阵)还能够后续用于与左原图低层特征矩阵进行结合处理,从而提高特征选择的注意力。
S32:将左原图低层特征矩阵输入到注意力机制模块的第二分支上,得到左原图第二输出特征矩阵,其中,第二分支上包括采用1×1卷积核的卷积层。
其中,1×1卷积核的卷积层可用来调整左原图低层特征矩阵的尺寸,使其能够与左原图第一输出特征矩阵的尺寸相同,以便于进行后续的计算。
S33:将左原图第一输出特征矩阵和左原图第二输出特征矩阵在对应元素上进行相乘,得到左原图综合输出特征矩阵。
可以理解地,左原图低层特征矩阵的尺寸和左原图综合输出特征矩阵的尺寸相同,则两者进行相乘时是按对应位置的元素进行相乘,从而得到左原图综合输出特征矩阵。
可以理解地,实际上该过程可以理解为给左原图低层特征矩阵作了矩阵中元素权重变化的处理,通过与左原图第一输出特征矩阵相乘,从而体现左原图高层特征矩阵的图像特征,将左原图高层特征矩阵与左原图低层特征矩阵作了初次结合,得到左原图综合输出特征矩阵。
S34:将左原图综合输出特征矩阵和左原图低层特征矩阵相加,得到过滤后的左原图特征矩阵。
可以理解地,左原图综合输出特征矩阵是在左原图低层特征矩阵的基础上乘以代表左原图高层的图像特征的权重矩阵得到的,主要体现的是左原图高层特征矩阵,在本实施例中将左原图综合输出特征矩阵和左原图低层特征矩阵相加,能够将左原图高层特征矩阵与左原图低层特征矩阵再进行一次结合,进一步提高特征选择的注意力。
需要说明的是,左原图综合输出特征矩阵是在左原图低层特征矩阵的基础上乘以代表左原图高层的图像特征的权重矩阵得到的,虽然主要体现的是左原图高层特征矩阵,但也是建立在左原图低层特征矩阵的基础上,因此能够使得在S34中与左原图低层特征矩阵的相加得到的结果更加准确。
在步骤S31-S34中,提供了一种采用预设的注意力机制模块过滤左原图特征矩阵的具体实施例,通过将左原图高层特征矩阵和左原图低层特征矩阵进行两次结合,充分运用注意力机制,从而实现效果较好的过滤效果。
进一步地,注意力机制模块还可以采用其他的模型结构,例如,保留步骤S31-S34中的模型结构,增加另外一条与S31-S34中的模型结构并行且相同的结构,区别在于输入的数据正好与S31-S34的相反,最后将S34中输出的值和新增的结构中输出的值再进行一次相加,可以充分运用注意力机制,进一步提高过滤效果。
S40:根据过滤后的左原图特征矩阵和过滤后的右原图特征矩阵,得到匹配代价矩阵。
可以理解地,过滤后的左原图特征矩阵和过滤后的右原图特征矩阵代表的是左原图和右原图有效的图像特征,通过过滤后的左原图特征矩阵和过滤后的右原图特征矩阵得到的匹配代价矩阵具有较高的准确性。
在本实施例中,匹配代价矩阵是计算视差图所需的条件,代表了左原图和右原图之间每两个像素点之间的相似性。
进一步地,在步骤S40中,根据过滤后的左原图特征矩阵和过滤后的右原图特征矩阵,得到匹配代价矩阵,具体包括:
S41:采用预设的立体匹配算法确定最大视差范围。
其中,立体匹配算法是计算视差值的方法,采用匹配代价(最常见的三种匹配代价为绝对差值和(Sum of Absolute Differences,SAD)、截断绝对差值和(Sum of TruncatedAbsolute Differences,STAD)、差值平方和(Sum of squared Differences,SSD))计算视差值,从而确定最大视差范围。
S42:在最大视差范围内,级联过滤后的左原图特征矩阵和过滤后的右原图特征矩阵,得到匹配代价矩阵。
其中,级联是指矩阵进行拼接的操作,此时得到的匹配代价矩阵代表了左原图和右原图之间每两个像素点之间的相似性,当两个像素点越相似时,可能为对应像素点的概率越大。
具体地,在最大视差范围内,通过级联过滤后的左原图特征矩阵和过滤后的右原图特征矩阵,可得到一个4维的匹配代价矩阵。若设左原图和右原图大小是W×H,左原图和右原图之间的最大视差为D,经过特征过滤后的维度为(H,W,c),则经过级联操作后的尺寸为(H,W,2c),最终获得的匹配代价矩阵的尺寸为(D+1,H,W,2c)。
在步骤S41-S42中,提供了一种得到匹配代价矩阵的具体实施例,通过级联操作得到的匹配代价矩阵保留了过滤后的左原图特征矩阵和过滤后的右原图特征矩阵的图像特征,能够保证匹配代价矩阵的准确性。
S50:将匹配代价矩阵输入到预先训练的卷积神经网络中,得到目标匹配代价矩阵。
具体地,匹配代价矩阵还可以再进行一次特征提取,具体可以是采用预先训练的卷积神经网络实现,能够进一步提高匹配代价矩阵的特征表达能力,得到目标匹配代价矩阵。
S60:根据目标匹配代价矩阵得到视差图。
进一步地,在步骤S60中,将匹配代价矩阵输入到预先训练的卷积神经网络中,得到目标匹配代价矩阵,具体包括:
S61:上采样目标匹配代价矩阵。
可以理解地,目标匹配代价矩阵的尺寸大小可能与左原图和右原图不相同,因此可采用上采样的方法使目标匹配代价矩阵的尺寸大小与左原图和右原图相同。
S62:基于上采样后的目标匹配代价矩阵进行回归计算,得到视差值的回归值,其中,视差值的回归值表示为其中,Dmax表示最大视差值,d表示视差值,σ()表示softmax函数,cd表示视差值的损失值,该损失值采用预设的损失函数得到。
具体地,可根据目标匹配代价矩阵,采用预设的立体匹配算法得到视差值,再对视差值进行回归计算,得到视差值的回归值。可以理解地,引入回归运算能够减少计算过程中的误差,进一步提高视差图获取的精确度。
S63:根据视差值的回归值得到视差图。
可以理解地,视差图可以是以左原图为基础得到的视差图,也可以是以右原图为基础得到的视差图,当左原图和右原图对应像素上的视差值的回归值确定时,即可确定并得到视差图。
进一步地,回归计算在训练阶段产生回归损失值,回归损失值采用smoothL1构建的匹配代价损失函数得到,其中,匹配代价损失函数表示为 N表示像素总数,di表示第i个视差值,/>表示第i个视差值的回归值,其中,应用到计算匹配代价损失函数中时x表示
其中,可以将整个获取视差图的系统看作一个模型,该模型中包括若干的神经网络,因此该模型也需要一个训练的过程,以使采用S10-S60步骤得到的视差图更加准确,具体地,回归计算在训练阶段产生回归损失值,因此可利用以上计算回归损失值的过程,根据回归损失值对训练阶段的网络参数进行更新。
在本发明实施例中,首先获取具有视差关系的左原图和右原图;然后采用预先训练的特征提取模型对左原图和右原图进行特征提取,并在特征提取后采用注意力机制模块过滤左原图特征矩阵和右原图特征矩阵,采用该注意力机制能够过滤掉左原图特征矩阵和右原图特征矩阵中包含的无用信息以及负面信息,从而帮助提高视差图的准确度;接着根据过滤后的左原图特征矩阵和过滤后的右原图特征矩阵,得到匹配代价矩阵,该匹配代价矩阵能够代表左原图和右原图之间每两个像素点之间的相似性,两个点越相似,可能为左原图和右原图之间的对应点的概率越大,在采用注意力机制进行特征选择时,能够帮助得到更准确的匹配代价矩阵,从而帮助提高视差图的准确度;最后将匹配代价矩阵输入到预先训练的卷积神经网络中,得到目标匹配代价矩阵,并根据目标匹配代价矩阵得到视差图。本实施例中,通过采用注意力机制对左原图特征矩阵和右原图特征矩阵进行特征选择,过滤掉特征矩阵中包含的无用信息以及负面信息,从而提高视差图的准确度。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
基于实施例中所提供的基于注意力机制的视差图获取方法,本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。
图2示出与实施例中基于注意力机制的视差图获取方法一一对应的基于注意力机制的视差图获取装置的原理框图。如图2所示,该基于注意力机制的视差图获取装置包括原图获取模块10、特征提取模块20、过滤模块30、匹配代价矩阵获取模块40、目标匹配代价矩阵获取模块50和视差图获取模块60。其中,原图获取模块10、特征提取模块20、过滤模块30、匹配代价矩阵获取模块40、目标匹配代价矩阵获取模块50和视差图获取模块60的实现功能与实施例中基于注意力机制的视差图获取方法对应的步骤一一对应,为避免赘述,本实施例不一一详述。
原图获取模块10,用于获取左原图和右原图,其中,左原图和右原图为具有视差关系的图像对。
特征提取模块20,用于采用预先训练的特征提取模型从左原图提取得到左原图特征矩阵,以及从右原图提取得到右原图特征矩阵,其中,左原图特征包括左原图低层特征矩阵和左原图高层特征矩阵,右原图特征包括右原图低层特征矩阵和右原图高层特征矩阵。
过滤模块30,用于采用预设的注意力机制模块过滤左原图特征矩阵和右原图特征矩阵,其中,预设的注意力机制模块用于实现对左原图低层特征矩阵和左原图高层特征矩阵进行特征选择,以及对右原图低层特征矩阵和右原图高层特征矩阵进行特征选择。
匹配代价矩阵获取模块40,用于根据过滤后的左原图特征矩阵和过滤后的右原图特征矩阵,得到匹配代价矩阵。
目标匹配代价矩阵获取模块50,用于将匹配代价矩阵输入到预先训练的卷积神经网络中,得到目标匹配代价矩阵。
视差图获取模块60,用于根据目标匹配代价矩阵得到视差图。
可选地,注意力机制模块包括第一分支和第二分支。
可选地,过滤模块包括:
第一获取单元,用于将左原图高层特征矩阵输入到注意力机制模块的第一分支上,得到左原图第一输出特征矩阵,其中,第一分支上包括采用1×1卷积核的卷积层、批规范层、非线性层和变换层。
其中,1×1卷积核的卷积层可用来调整左原图高层特征矩阵的尺寸,批规范层能够有效提高第一分支提取的准确性,非线性层具体可以采用Relu(Rectified LinearUnit,线性整流函数)实现,变换层可以采用sigmoid函数实现。通过该第一分支的提取,得到的左原图第一输出特征矩阵的矩阵元素的区间在(0,1)之间(由sigmoid函数实现),此时实际上左原图第一输出特征矩阵是采用权重的方式表达图像特征,并且,采用该权重的方式表达图像特征的左原图第一输出特征矩阵(权重矩阵)还能够后续用于与左原图低层特征矩阵进行结合处理,从而提高特征选择的注意力。
第二获取单元,用于将左原图低层特征矩阵输入到注意力机制模块的第二分支上,得到左原图第二输出特征矩阵,其中,第二分支上包括采用1×1卷积核的卷积层。
其中,1×1卷积核的卷积层可用来调整左原图低层特征矩阵的尺寸,使其能够与左原图第一输出特征矩阵的尺寸相同,以便于进行后续的计算。
第三获取单元,用于将左原图第一输出特征矩阵和左原图第二输出特征矩阵在对应元素上进行相乘,得到左原图综合输出特征矩阵。
可以理解地,左原图低层特征矩阵的尺寸和左原图综合输出特征矩阵的尺寸相同,则两者进行相乘时是按对应位置的元素进行相乘,从而得到左原图综合输出特征矩阵。
可以理解地,实际上该过程可以理解为给左原图低层特征矩阵作了一次元素权重变化的处理,通过与左原图第一输出特征矩阵相乘,体现了左原图高层特征矩阵的图像特征,将左原图高层特征矩阵与左原图低层特征矩阵作了初次结合,得到左原图综合输出特征矩阵。
第四获取单元,用于将左原图综合输出特征矩阵和左原图低层特征矩阵相加,得到过滤后的左原图特征矩阵。
可以理解地,左原图综合输出特征矩阵是在左原图低层特征矩阵的基础上乘以代表左原图高层的图像特征的权重矩阵得到的,主要体现的是左原图高层特征矩阵,在本实施例中将左原图综合输出特征矩阵和左原图低层特征矩阵相加,能够将左原图高层特征矩阵与左原图低层特征矩阵再进行一次结合,进一步提高特征选择的注意力。
可选地,左原图高层特征矩阵是指在特征提取模型中第n层卷积层的输出,左原图低层特征矩阵是指在特征提取模型中第m层卷积层的输出,其中,0<m<n,右原图高层特征矩阵是指在特征提取模型中第q层卷积层的输出,右原图低层特征矩阵是指在特征提取模型中第p层卷积层的输出,其中,0<p<q。
可选地,匹配代价矩阵获取模块具体用于:
采用预设的立体匹配算法确定最大视差范围。
在最大视差范围内,级联过滤后的左原图特征矩阵和过滤后的右原图特征矩阵,得到匹配代价矩阵。
可选地,视差图获取模块具体用于:
上采样目标匹配代价矩阵;
基于上采样后的目标匹配代价矩阵进行回归计算,得到视差值的回归值,其中,视差值的回归值表示为其中,Dmax表示最大视差值,d表示视差值,σ()表示softmax函数,cd表示视差值的损失值,该损失值采用预设的损失函数得到;
根据视差值的回归值得到视差图。
可选地,回归计算在训练阶段产生回归损失值,回归损失值采用smoothL1构建的匹配代价损失函数得到,其中,匹配代价损失函数表示为 N表示像素总数,di表示第i个视差值,/>表示第i个视差值的回归值,其中,应用到计算匹配代价损失函数中时x表示/>
根据回归损失值对训练阶段的网络参数进行更新。
在本发明实施例中,首先获取具有视差关系的左原图和右原图;然后采用预先训练的特征提取模型对左原图和右原图进行特征提取,并在特征提取后采用注意力机制模块过滤左原图特征矩阵和右原图特征矩阵,采用该注意力机制能够过滤掉左原图特征矩阵和右原图特征矩阵中包含的无用信息以及负面信息,从而帮助提高视差图的准确度;接着根据过滤后的左原图特征矩阵和过滤后的右原图特征矩阵,得到匹配代价矩阵,该匹配代价矩阵能够代表左原图和右原图之间每两个像素点之间的相似性,两个点越相似,可能为左原图和右原图之间的对应点的概率越大,在采用注意力机制进行特征选择时,能够帮助得到更准确的匹配代价矩阵,从而帮助提高视差图的准确度;最后将匹配代价矩阵输入到预先训练的卷积神经网络中,得到目标匹配代价矩阵,并根据目标匹配代价矩阵得到视差图。本实施例中,通过采用注意力机制对左原图特征矩阵和右原图特征矩阵进行特征选择,过滤掉特征矩阵中包含的无用信息以及负面信息,从而提高视差图的准确度。
本实施例提供一计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现实施例中基于注意力机制的视差图获取方法,为避免重复,此处不一一赘述。或者,该计算机程序被处理器执行时实现实施例中基于注意力机制的视差图获取装置中各模块/单元的功能,为避免重复,此处不一一赘述。
图3是本发明一实施例提供的计算机设备的示意图。如图3所示,该实施例的计算机设备70包括:处理器71、存储器72以及存储在存储器72中并可在处理器71上运行的计算机程序73,该计算机程序73被处理器71执行时实现实施例中基于注意力机制的视差图获取方法。或者,该计算机程序73被处理器71执行时实现实施例中与基于注意力机制的视差图获取方法一一对应的基于注意力机制的视差图获取装置中各模型/单元的功能。
计算机设备70可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备70可包括,但不仅限于,处理器71、存储器72。本领域技术人员可以理解,图3仅仅是计算机设备70的示例,并不构成对计算机设备70的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器71可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器72可以是计算机设备70的内部存储单元,例如计算机设备70的硬盘或内存。存储器72也可以是计算机设备70的外部存储设备,例如计算机设备70上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器72还可以既包括计算机设备70的内部存储单元也包括外部存储设备。存储器72用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器72还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于注意力机制的视差图获取方法,其特征在于,包括:
获取左原图和右原图,其中,所述左原图和所述右原图为具有视差关系的图像对;
采用预先训练的特征提取模型从所述左原图提取得到左原图特征矩阵,以及从所述右原图提取得到右原图特征矩阵,其中,所述左原图特征包括左原图低层特征矩阵和左原图高层特征矩阵,所述右原图特征包括右原图低层特征矩阵和右原图高层特征矩阵;
采用预设的注意力机制模块过滤所述左原图特征矩阵和所述右原图特征矩阵,其中,所述预设的注意力机制模块用于实现对所述左原图低层特征矩阵和所述左原图高层特征矩阵进行特征选择,以及对所述右原图低层特征矩阵和所述右原图高层特征矩阵进行特征选择;
根据过滤后的所述左原图特征矩阵和过滤后的所述右原图特征矩阵,得到匹配代价矩阵;
将所述匹配代价矩阵输入到预先训练的卷积神经网络中,得到目标匹配代价矩阵;
根据所述目标匹配代价矩阵得到视差图;
其中,所述注意力机制模块包括第一分支和第二分支,所述采用预设的注意力机制模块过滤所述左原图特征矩阵和所述右原图特征矩阵中,包括对所述左原图特征矩阵进行过滤的步骤如下:
将所述左原图高层特征矩阵输入到所述注意力机制模块的第一分支上,得到左原图第一输出特征矩阵,其中,所述第一分支上包括采用1×1卷积核的卷积层、批规范层、非线性层和变换层;
将所述左原图低层特征矩阵输入到所述注意力机制模块的第二分支上,得到左原图第二输出特征矩阵,其中,所述第二分支上包括采用1×1卷积核的卷积层;
将所述左原图第一输出特征矩阵和所述左原图第二输出特征矩阵在对应元素上进行相乘,得到左原图综合输出特征矩阵;
将所述左原图综合输出特征矩阵和所述左原图低层特征矩阵相加,得到所述过滤后的左原图特征矩阵。
2.根据权利要求1所述的方法,其特征在于,所述左原图高层特征矩阵是指在所述特征提取模型中第n层卷积层的输出,所述左原图低层特征矩阵是指在所述特征提取模型中第m层卷积层的输出,其中,0<m<n,所述右原图高层特征矩阵是指在所述特征提取模型中第q层卷积层的输出,所述右原图低层特征矩阵是指在所述特征提取模型中第p层卷积层的输出,其中,0<p<q。
3.根据权利要求1所述的方法,其特征在于,所述根据过滤后的所述左原图特征矩阵和过滤后的所述右原图特征矩阵,得到匹配代价矩阵,包括:
采用预设的立体匹配算法确定最大视差范围;
在所述最大视差范围内,级联过滤后的所述左原图特征矩阵和过滤后的所述右原图特征矩阵,得到所述匹配代价矩阵。
4.根据权利要求1-3任意一项所述的方法,其特征在于,所述根据所述目标匹配代价矩阵得到视差图,包括:
上采样所述目标匹配代价矩阵;
基于上采样后的所述目标匹配代价矩阵进行回归计算,得到视差值的回归值,其中,所述视差值的回归值表示为,其中,/>表示最大视差值,d表示视差值,/>表示softmax函数,/>表示视差值的损失值,该损失值采用预设的损失函数得到;
根据所述视差值的回归值得到视差图。
5.根据权利要求4所述的方法,其特征在于,所述回归计算在训练阶段产生回归损失值,所述回归损失值采用smoothL1构建的匹配代价损失函数得到,其中,所述匹配代价损失函数表示为,N表示像素总数,/>表示第i个视差值,/>表示第i个视差值的回归值,其中,/>,应用到计算匹配代价损失函数中时所述x表示/>;
根据所述回归损失值对训练阶段的网络参数进行更新。
6.一种基于注意力机制的视差图获取装置,其特征在于,所述装置包括:
原图获取模块,用于获取左原图和右原图,其中,所述左原图和所述右原图为具有视差关系的图像对;
特征提取模块,用于采用预先训练的特征提取模型从所述左原图提取得到左原图特征矩阵,以及从所述右原图提取得到右原图特征矩阵,其中,所述左原图特征包括左原图低层特征矩阵和左原图高层特征矩阵,所述右原图特征包括右原图低层特征矩阵和右原图高层特征矩阵;
过滤模块,用于采用预设的注意力机制模块过滤所述左原图特征矩阵和所述右原图特征矩阵,其中,所述预设的注意力机制模块用于实现对所述左原图低层特征矩阵和所述左原图高层特征矩阵进行特征选择,以及对所述右原图低层特征矩阵和所述右原图高层特征矩阵进行特征选择;
匹配代价矩阵获取模块,用于根据过滤后的所述左原图特征矩阵和过滤后的所述右原图特征矩阵,得到匹配代价矩阵;
目标匹配代价矩阵获取模块,用于将所述匹配代价矩阵输入到预先训练的卷积神经网络中,得到目标匹配代价矩阵;
视差图获取模块,用于根据所述目标匹配代价矩阵得到视差图;
其中,所述注意力机制模块包括第一分支和第二分支,所述过滤模块包括:
第一获取单元,用于将所述左原图高层特征矩阵输入到所述注意力机制模块的第一分支上,得到左原图第一输出特征矩阵,其中,所述第一分支上包括采用1×1卷积核的卷积层、批规范层、非线性层和变换层;
第二获取单元,用于将所述左原图低层特征矩阵输入到所述注意力机制模块的第二分支上,得到左原图第二输出特征矩阵,其中,所述第二分支上包括采用1×1卷积核的卷积层;
第三获取单元,用于将所述左原图第一输出特征矩阵和所述左原图第二输出特征矩阵在对应元素上进行相乘,得到左原图综合输出特征矩阵;
第四获取单元,用于将所述左原图综合输出特征矩阵和所述左原图低层特征矩阵相加,得到所述过滤后的左原图特征矩阵。
7.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述基于注意力机制的视差图获取方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于注意力机制的视差图获取方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010097878.7A CN111340077B (zh) | 2020-02-18 | 2020-02-18 | 基于注意力机制的视差图获取方法和装置 |
PCT/CN2020/119379 WO2021164269A1 (zh) | 2020-02-18 | 2020-09-30 | 基于注意力机制的视差图获取方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010097878.7A CN111340077B (zh) | 2020-02-18 | 2020-02-18 | 基于注意力机制的视差图获取方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111340077A CN111340077A (zh) | 2020-06-26 |
CN111340077B true CN111340077B (zh) | 2024-04-12 |
Family
ID=71183509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010097878.7A Active CN111340077B (zh) | 2020-02-18 | 2020-02-18 | 基于注意力机制的视差图获取方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111340077B (zh) |
WO (1) | WO2021164269A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111340077B (zh) * | 2020-02-18 | 2024-04-12 | 平安科技(深圳)有限公司 | 基于注意力机制的视差图获取方法和装置 |
CN111985551B (zh) * | 2020-08-14 | 2023-10-27 | 湖南理工学院 | 一种基于多重注意力网络的立体匹配算法 |
CN112581517B (zh) * | 2020-12-16 | 2022-02-18 | 电子科技大学中山学院 | 双目立体匹配装置及方法 |
CN113470099B (zh) * | 2021-07-09 | 2022-03-25 | 北京的卢深视科技有限公司 | 深度成像的方法、电子设备及存储介质 |
CN114519710B (zh) * | 2022-02-22 | 2024-07-12 | 平安科技(深圳)有限公司 | 视差图生成方法和装置、电子设备及存储介质 |
WO2023231173A1 (zh) * | 2022-06-01 | 2023-12-07 | 五邑大学 | 双目立体匹配方法、设备及存储介质 |
CN117422750B (zh) * | 2023-10-30 | 2024-08-02 | 河南送变电建设有限公司 | 一种场景距离实时感知方法、装置、电子设备及存储介质 |
CN118447065A (zh) * | 2024-07-08 | 2024-08-06 | 海纳云物联科技有限公司 | 双目立体匹配模型训练、预测方法及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750731A (zh) * | 2012-07-05 | 2012-10-24 | 北京大学 | 基于左右单眼感受野和双目融合的立体视觉显著计算方法 |
CN110070489A (zh) * | 2019-04-30 | 2019-07-30 | 中国人民解放军国防科技大学 | 一种基于视差注意力机制的双目图像超分辨方法 |
CN110084742A (zh) * | 2019-05-08 | 2019-08-02 | 北京奇艺世纪科技有限公司 | 一种视差图预测方法、装置及电子设备 |
KR102013649B1 (ko) * | 2018-12-20 | 2019-08-23 | 아주대학교산학협력단 | 스테레오 정합을 위한 영상처리 방법 및 이를 이용하는 프로그램 |
WO2019232854A1 (zh) * | 2018-06-04 | 2019-12-12 | 平安科技(深圳)有限公司 | 手写模型训练方法、手写字识别方法、装置、设备及介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106197417B (zh) * | 2016-06-22 | 2017-11-10 | 平安科技(深圳)有限公司 | 手持终端的室内导航方法及手持终端 |
US10313584B2 (en) * | 2017-01-04 | 2019-06-04 | Texas Instruments Incorporated | Rear-stitched view panorama for rear-view visualization |
CN110188685B (zh) * | 2019-05-30 | 2021-01-05 | 燕山大学 | 一种基于双注意力多尺度级联网络的目标计数方法及系统 |
CN111340077B (zh) * | 2020-02-18 | 2024-04-12 | 平安科技(深圳)有限公司 | 基于注意力机制的视差图获取方法和装置 |
-
2020
- 2020-02-18 CN CN202010097878.7A patent/CN111340077B/zh active Active
- 2020-09-30 WO PCT/CN2020/119379 patent/WO2021164269A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750731A (zh) * | 2012-07-05 | 2012-10-24 | 北京大学 | 基于左右单眼感受野和双目融合的立体视觉显著计算方法 |
WO2019232854A1 (zh) * | 2018-06-04 | 2019-12-12 | 平安科技(深圳)有限公司 | 手写模型训练方法、手写字识别方法、装置、设备及介质 |
KR102013649B1 (ko) * | 2018-12-20 | 2019-08-23 | 아주대학교산학협력단 | 스테레오 정합을 위한 영상처리 방법 및 이를 이용하는 프로그램 |
CN110070489A (zh) * | 2019-04-30 | 2019-07-30 | 中国人民解放军国防科技大学 | 一种基于视差注意力机制的双目图像超分辨方法 |
CN110084742A (zh) * | 2019-05-08 | 2019-08-02 | 北京奇艺世纪科技有限公司 | 一种视差图预测方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111340077A (zh) | 2020-06-26 |
WO2021164269A1 (zh) | 2021-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111340077B (zh) | 基于注意力机制的视差图获取方法和装置 | |
CN110378381B (zh) | 物体检测方法、装置和计算机存储介质 | |
CN110188795B (zh) | 图像分类方法、数据处理方法和装置 | |
CN110033003B (zh) | 图像分割方法和图像处理装置 | |
CN112446270B (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
CN112308200B (zh) | 神经网络的搜索方法及装置 | |
CN111860398B (zh) | 遥感图像目标检测方法、系统及终端设备 | |
CN111402130B (zh) | 数据处理方法和数据处理装置 | |
CN110598714B (zh) | 一种软骨图像分割方法、装置、可读存储介质及终端设备 | |
CN112446380A (zh) | 图像处理方法和装置 | |
CN110148157B (zh) | 画面目标跟踪方法、装置、存储介质及电子设备 | |
CN109766925B (zh) | 特征融合方法、装置、电子设备及存储介质 | |
CN111914997B (zh) | 训练神经网络的方法、图像处理方法及装置 | |
CN112639828A (zh) | 数据处理的方法、训练神经网络模型的方法及设备 | |
CN111079764B (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
CN109671020A (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
CN110838125A (zh) | 医学图像的目标检测方法、装置、设备、存储介质 | |
CN114549913B (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
CN109359542B (zh) | 基于神经网络的车辆损伤级别的确定方法及终端设备 | |
CN113516697B (zh) | 图像配准的方法、装置、电子设备及计算机可读存储介质 | |
CN114049491A (zh) | 指纹分割模型训练、指纹分割方法、装置、设备及介质 | |
CN112528978B (zh) | 人脸关键点的检测方法、装置、电子设备及存储介质 | |
CN116071625B (zh) | 深度学习模型的训练方法、目标检测方法及装置 | |
CN116229143A (zh) | 一种图像处理方法、装置及计算设备 | |
WO2023122896A1 (zh) | 一种数据处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |