CN113838102B - 一种基于各向异性稠密卷积的光流确定方法和系统 - Google Patents
一种基于各向异性稠密卷积的光流确定方法和系统 Download PDFInfo
- Publication number
- CN113838102B CN113838102B CN202111127330.3A CN202111127330A CN113838102B CN 113838102 B CN113838102 B CN 113838102B CN 202111127330 A CN202111127330 A CN 202111127330A CN 113838102 B CN113838102 B CN 113838102B
- Authority
- CN
- China
- Prior art keywords
- image
- representing
- feature
- frame image
- optical flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000010276 construction Methods 0.000 claims description 7
- 241000282326 Felis catus Species 0.000 claims description 6
- 238000000605 extraction Methods 0.000 abstract description 8
- 238000006073 displacement reaction Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001334134 Rugopharynx epsilon Species 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种基于各向异性稠密卷积的光流确定方法和系统。所述基于各向异性稠密卷积的光流确定方法通过输入连续两帧图像;对输入的连续两帧图像运用各项异性稠密卷积方式进行特征提取;构建特征金字塔编码网络;对提取到的连续帧图像特征进行特征解码;构建特征金字塔解码网络,计算连续帧间图像的运动光流。本发明采用各项异性稠密卷积的方式提取更加准确的图像边缘特征,优化图像中包含大位移和遮挡的边缘处信息,提高图像序列中运动边缘处光流估计精度和鲁棒性。
Description
技术领域
本发明涉及图像序列光流计算技术领域,特别是涉及一种基于各向异性稠密卷积的光流确定方法和系统。
背景技术
光流是指图像序列中运动目标或场景表面像素点的二维运动矢量,其不仅提供了图像中运动目标和场景的运动参数,还携带了丰富的三维结构信息。因此,光流计算是图像处理、计算机视觉等领域的热点问题。近年来,随着深度学习理论与技术的快速发展,卷积神经网络被广泛应用于光流计算技术研究,由于该类方法具有计算速度快、稳定性高等显著优点,因此逐渐成为光流计算研究领域的热点,研究成果被广泛应用于动作识别、人体姿态识别、光流估计、人脸识别、目标跟踪和三维重建等更高级视觉任务。
目前,基于标准卷积的特征提取方式是深度学习光流计算技术中最常采用的一类特征提取方法,但是标准卷积方式提取得到图像特征较为粗糙,在图像的运动边缘部分存在模糊问题,对于包含大位移和遮挡运动边缘图像序列光流计算的精度和鲁棒性较差,这些缺点限制了标准卷积的特征提取方式在深度学习光流计算领域的应用。
发明内容
为解决现有技术存在的上述问题,本发明提供了一种基于各向异性稠密卷积的光流确定方法和系统。
为实现上述目的,本发明提供了如下方案:
一种基于各向异性稠密卷积的光流确定方法,包括:
获取待确定图像序列中的第一帧图像和第二帧图像;第一帧图像和第二帧图像为连续帧图像;
采用各向异性稠密卷积提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征;
将所述第一图像特征输入特征金字塔编码网络得到第二图像特征;
将所述第二图像特征输入特征金字塔解码网络得到光流;所述光流为第一帧图像和第二帧图像间的光流。
优选地,所述采用各向异性稠密卷积提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征,还包括:
构建所述各向异性稠密卷积;构建得到的所述各向异性稠密卷积为:
式中,X表示输入图像,Y表示输出的图像特征,P0表示输入帧图像中的一个像素点,r表示卷积核尺寸,Q表示以P0为中心、边长为r的正方形区域,R表示卷积核的尺寸集合,W表示卷积核的权重系数,Pn表示Q区域内所有像素点的索引集合,其中n∈{1,2,3,...,|Q|},|Q|表示图像中Q区域内像素点的数量,ΔPn表示偏置因数,Cat表示将不同尺寸卷积核计算的特征在特征通道上进行级联。
优选地,所述将所述第一图像特征输入特征金字塔编码网络得到第二图像特征,之前还包括:
构建所述特征金字塔编码网络;构建得到的所述特征金字塔编码网络为:
式中,F1表示第一帧图像的第一图像特征,F2表示第二帧图像的第一图像特征,i表示网络层数,Conv1表示特征金字塔编码网络第1层的3*3标准卷积,Convi-1表示特征金字塔编码网络第i-1层的3*3标准卷积,Convi表示特征金字塔编码网络第i层的3*3标准卷积,F1 i表示特征金字塔编码网络第i层提取到的第一帧图像的第二图像特征,表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征。
优选地,所述将所述第二图像特征输入特征金字塔解码网络得到光流,具体包括:
式中,i表示网络层数,F1 i表示特征金字塔编码网络第i层提取到的第一帧图像的第二特征,表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征,corr表示匹配代价计算函数,costi表示特征金字塔解码网络第i层计算的匹配代价,estimator表示光流计算函数,flowi+1表示特征金字塔解码网络第i+1层计算的光流,其中特征金字塔解码网络的初始光流为0,flowi表示特征金字塔解码网络第i层计算的光流。
优选地,所述采用各向异性稠密卷积提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征,具体包括:
式中,it表示第一帧图像,it+1表示第二帧图像,Aconv表示定义的各向异性稠密卷积,F1表示第一帧图像的第一图像特征,F2表示第二帧图像的第一图像特征。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明提供的基于各向异性稠密卷积的光流确定方法,采用各项异性稠密卷积的方式提取更加准确的图像特征,优化图像中包含大位移和遮挡的边缘处信息,提高图像序列中运动边缘处光流估计精度和鲁棒性。
对应于上述提供的基于各向异性稠密卷积的光流确定方法,本发明还提供了一种基于各向异性稠密卷积的光流确定系统,该系统包括:
图像获取模块,用于获取待确定图像序列中的第一帧图像和第二帧图像;第一帧图像和第二帧图像为连续帧图像;
第一图像特征确定模块,用于采用各向异性稠密卷积提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征;
第二图像特征确定模块,用于将所述第一图像特征输入特征金字塔编码网络得到第二图像特征;
光流确定模块,用于将所述第二图像特征输入特征金字塔解码网络得到光流;所述光流为第一帧图像和第二帧图像间的光流。
优选地,还包括:
各向异性稠密卷积构建模块,用于构建所述各向异性稠密卷积;构建得到的所述各向异性稠密卷积为:
式中,X表示输入图像,Y表示输出的图像特征,P0表示输入帧图像中的一个像素点,r表示卷积核尺寸,Q表示以P0为中心、边长为r的正方形区域,R表示卷积核的尺寸集合,W表示卷积核的权重系数,Pn表示Q区域内所有像素点的索引集合,其中n∈{1,2,3,...,|Q|},|Q|表示图像中Q区域内像素点的数量,ΔPn表示偏置因数,Cat表示将不同尺寸卷积核计算的特征在特征通道上进行级联。
优选地,还包括:
特征金字塔编码网络构建模块,用于构建所述特征金字塔编码网络;构建得到的所述特征金字塔编码网络为:
式中,F1表示第一帧图像的第一图像特征,F2表示第二帧图像的第一图像特征,i表示网络层数,Conv1表示特征金字塔编码网络第1层的3*3标准卷积,Convi-1表示特征金字塔编码网络第i-1层的3*3标准卷积,Convi表示特征金字塔编码网络第i层的3*3标准卷积,F1 i表示特征金字塔编码网络第i层提取到的第一帧图像的第二图像特征,表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征。
优选地,所述光流确定模块包括:
式中,i表示网络层数,F1 i表示特征金字塔编码网络第i层提取到的第一帧图像的第二特征,表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征,corr表示匹配代价计算函数,costi表示特征金字塔解码网络第i层计算的匹配代价,estimator表示光流计算函数,flowi+1表示特征金字塔解码网络第i+1层计算的光流,其中特征金字塔解码网络的初始光流为0,flowi表示特征金字塔解码网络第i层计算的光流。
优选地,所述第一图像特征确定模块包括:
式中,it表示第一帧图像,it+1表示第二帧图像,Aconv表示定义的各向异性稠密卷积,F1表示第一帧图像的第一图像特征,F2表示第二帧图像的第一图像特征。
因本发明提供的基于各向异性稠密卷积的光流确定系统达到的技术效果与上述提供的基于各向异性稠密卷积的光流确定方法达到的技术效果相同,故在此不再进行赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的基于各向异性稠密卷积的光流确定方法的流程图;
图2为本发明实施例提供的Temple_3图像序列第四帧图像图;
图3为本发明实施例提供的Temple_3图像序列第五帧图像图;
图4为本发明实施例提供的各项异性稠密卷积的结构示意图;
图5为本发明实施例提供的各向异性稠密卷积提取连续帧图像特征的网络结构示意图;
图6为本发明实施例提供的特征金字塔编码网络与特征金字塔解码网络的网络结构示意图;
图7为本发明实施例提供的计算所得的Temple_3图像序列光流可视化结果图;
图8为本发明提供的基于各向异性稠密卷积的光流确定系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的在于针对现有技术的缺陷和不足,提供一种基于各向异性稠密卷积的光流确定方法和系统,利用各项异性稠密卷积的方式提取更加准确的图像边缘特征,优化图像中包含大位移和遮挡的边缘处信息,提高图像序列中运动边缘处光流估计精度和鲁棒性。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本发明提供的基于各向异性稠密卷积的光流确定方法,包括:
步骤100:获取待确定图像序列中的第一帧图像和第二帧图像。第一帧图像和第二帧图像可以是图像序列中任意连续的两帧图像。
步骤101:采用各向异性稠密卷积提取第一帧图像的图像特征和第二帧图像的图像特征得到第一图像特征。本发明采用的各向异性稠密卷积是将标准卷积与变形卷积相结合定义的一种新的卷积方式。定义的这一各项异性稠密卷积的卷积核可以根据图像序列中运动目标的大小和形状进行改变,提取到更加准确的运动边缘信息,提高光流计算网络模型在运动边缘处光流估计精度和鲁棒性。各项异性稠密卷积公式如式(1)所示:
式中,X表示输入图像,Y表示输出的图像特征,P0表示输入帧图像中的一个像素点,r表示卷积核尺寸,Q表示以P0为中心、边长为r的正方形区域,R表示卷积核的尺寸集合,W表示卷积核的权重系数,Pn表示Q区域内所有像素点的索引集合,其中n∈{1,2,3,...,|Q|},|Q|表示图像中Q区域内像素点的数量,ΔPn表示偏置因数,Cat表示将不同尺寸卷积核计算的特征在特征通道上进行级联。
其中,对选择的任意连续两帧图像以各项异性稠密卷积的方式进行特征提取,计算公式如式(2)所示:
式中,it表示第一帧图像,it+1表示第二帧图像,Aconv表示定义的各向异性稠密卷积,F1表示第一帧图像的第一图像特征,F2表示第二帧图像的第一图像特征。
步骤102:将第一图像特征输入特征金字塔编码网络得到第二图像特征。
步骤103:将第二图像特征输入特征金字塔解码网络得到光流。光流为第一帧图像和第二帧图像间的光流。
在步骤102和步骤103之前还需要构建特征金字塔编码网络与特征金字塔解码网络,以便将各向异性稠密卷积提取的图像特征输入特征金字塔编码网络,获取不同特征金字塔编码层的图像特征。其中,特征金字塔编码网络计算公式如式(3)所示:
式中,F1表示第一帧图像的第一图像特征,F2表示第二帧图像的第一图像特征,i表示网络层数,Conv1表示特征金字塔编码网络第1层的3*3标准卷积,Convi-1表示特征金字塔编码网络第i-1层的3*3标准卷积,Convi表示特征金字塔编码网络第i层的3*3标准卷积,F1 i表示特征金字塔编码网络第i层提取到的第一帧图像的第二图像特征,表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征。
将特征金字塔编码网络提取的图像特征输入到特征金字塔解码网络,计算第一帧图像和第二帧图像间的光流,计算公式如式(4)所示:
式中,i表示网络层数,F1 i表示特征金字塔编码网络第i层提取到的第一帧图像的第二特征,表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征,corr表示匹配代价计算函数,costi表示特征金字塔解码网络第i层计算的匹配代价,estimator表示光流计算函数,flowi+1表示特征金字塔解码网络第i+1层计算的光流,其中特征金字塔解码网络的初始光流为0,flowi表示特征金字塔解码网络第i层计算的光流。
经过上述步骤100-步骤103得到待确定图像序列的光流后,输出光流计算结果。
参看图2至图7所示,以下列举本发明的一个的实施例,基于各向异性稠密卷积的图像序列光流计算方法,使用Temple_3图像序列的光流计算实验进行说明。
步骤一、输入Temple_3图像序列第四帧图像和Temple_3图像序列第五帧图像(如图2和图3所示)。
步骤二、定义各项异性稠密卷积特征提取方式:
本发明将标准卷积与变形卷积相结合定义一种新的卷积方式:各项异性稠密卷积(各向异性稠密卷积网络结构如图4所示)。各项异性稠密卷积的卷积核可以根据图像序列中运动目标的大小和形状进行改变,提取到更加准确的运动边缘信息,提高光流计算网络模型在运动边缘处光流估计精度和鲁棒性。各项异性稠密卷积公式如式(1)所示,在本实例中卷积核的尺寸集合R∈{3,5,7}。
步骤三、对选择的Temple_3图像序列第四帧图像和Temple_3图像序列第五帧图像以各项异性稠密卷积的方式进行特征提取(如图5所示),计算公式如式(2)所示。
步骤四、构建五层特征金字塔编码网络与五层特征金字塔解码网络(如图6所示)。将各向异性稠密卷积提取的图像特征输入特征金字塔编码网络,获取五层不同分辨率的图像特征,特征金字塔编码网络计算公式如式(3)所示。
将特征金字塔编码网络提取的图像特征输入到特征金字塔解码网络,计算Temple_3图像序列第四帧图像和Temple_3图像序列第五帧图像间的光流,计算公式(4)所示。
步骤五、输出光流估计结果(如图7所示)。
对应于上述提供的基于各向异性稠密卷积的光流确定方法,本发明还提供了一种基于各向异性稠密卷积的光流确定系统,如图8所示,该系统包括:图像获取模块1、第一图像特征确定模块2、第二图像特征确定模块3和光流确定模块4。
图像获取模块1用于获取待确定图像序列中的第一帧图像和第二帧图像。第一帧图像和第二帧图像为连续帧图像。
第一图像特征确定模块2用于采用各向异性稠密卷积提取第一帧图像的图像特征和第二帧图像的图像特征得到第一图像特征。
第二图像特征确定模块3用于将第一图像特征输入特征金字塔编码网络得到第二图像特征。
光流确定模块4用于将第二图像特征输入特征金字塔解码网络得到光流。光流为第一帧图像和第二帧图像间的光流。
其中,上述提供的光流确定模块还优选包括:光流确定单元。
式中,i表示网络层数,F1 i表示特征金字塔编码网络第i层提取到的第一帧图像的第二特征,表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征,corr表示匹配代价计算函数,costi表示特征金字塔解码网络第i层计算的匹配代价,estimator表示光流计算函数,flowi+1表示特征金字塔解码网络第i+1层计算的光流,其中特征金字塔解码网络的初始光流为0,flowi表示特征金字塔解码网络第i层计算的光流。
上述提供的第一图像特征确定模块还优选包括:第一图像特征确定单元。
式中,it表示第一帧图像,it+1表示第二帧图像,Aconv表示定义的各向异性稠密卷积,F1表示第一帧图像的第一图像特征,F2表示第二帧图像的第一图像特征。
进一步,为了提高光流计算网络模型在运动边缘处光流估计精度和鲁棒性,本发明上述提供的基于各向异性稠密卷积的光流确定系统还包括:各向异性稠密卷积构建模块。
各向异性稠密卷积构建模块用于构建各向异性稠密卷积。构建得到的各向异性稠密卷积为:
式中,X表示输入图像,Y表示输出的图像特征,P0表示输入帧图像中的一个像素点,r表示卷积核尺寸,Q表示以P0为中心、边长为r的正方形区域,R表示卷积核的尺寸集合,W表示卷积核的权重系数,Pn表示Q区域内所有像素点的索引集合,其中n∈{1,2,3,...,|Q|},|Q|表示图像中Q区域内像素点的数量,ΔPn表示偏置因数,Cat表示将不同尺寸卷积核计算的特征在特征通道上进行级联。
进一步,为了增加图像特征提取的精确性和多样性,本发明上述提供的基于各向异性稠密卷积的光流确定系统还包括:特征金字塔编码网络构建模块。
特征金字塔编码网络构建模块用于构建特征金字塔编码网络。构建得到的特征金字塔编码网络为:
式中,F1表示第一帧图像的第一图像特征,F2表示第二帧图像的第一图像特征,i表示网络层数,Conv1表示特征金字塔编码网络第1层的3*3标准卷积,Convi-1表示特征金字塔编码网络第i-1层的3*3标准卷积,Convi表示特征金字塔编码网络第i层的3*3标准卷积,F1 i表示特征金字塔编码网络第i层提取到的第一帧图像的第二图像特征,表示特征金字塔编码网络第i层提取到的第二帧图像的第二图像特征。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种基于各向异性稠密卷积的光流确定方法,其特征在于,包括:
获取待确定图像序列中的第一帧图像和第二帧图像;第一帧图像和第二帧图像为连续帧图像;
采用各向异性稠密卷积提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征;
将所述第一图像特征输入特征金字塔编码网络得到第二图像特征;
将所述第二图像特征输入特征金字塔解码网络得到光流;所述光流为第一帧图像和第二帧图像间的光流;
所述采用各向异性稠密卷积提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征,还包括:
构建所述各向异性稠密卷积;构建得到的所述各向异性稠密卷积为:
式中,X表示输入图像,Y表示输出的图像特征,P0表示输入帧图像中的一个像素点,r表示卷积核尺寸,Q表示以P0为中心、边长为r的正方形区域,R表示卷积核的尺寸集合,W表示卷积核的权重系数,Pn表示Q区域内所有像素点的索引集合,其中n∈{1,2,3,...,|Q|},|Q|表示图像中Q区域内像素点的数量,ΔPn表示偏置因数,Cat表示将不同尺寸卷积核计算的特征在特征通道上进行级联;
所述采用各向异性稠密卷积提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征,具体包括:
式中,it表示第一帧图像,it+1表示第二帧图像,Aconv表示定义的各向异性稠密卷积,F1表示第一帧图像的第一图像特征,F2表示第二帧图像的第一图像特征。
2.根据权利要求1所述的基于各向异性稠密卷积的光流确定方法,其特征在于,所述将所述第一图像特征输入特征金字塔编码网络得到第二图像特征,之前还包括:
构建所述特征金字塔编码网络;构建得到的所述特征金字塔编码网络为:
3.根据权利要求1所述的基于各向异性稠密卷积的光流确定方法,其特征在于,所述将所述第二图像特征输入特征金字塔解码网络得到光流,具体包括:
4.一种基于各向异性稠密卷积的光流确定系统,其特征在于,包括:
图像获取模块,用于获取待确定图像序列中的第一帧图像和第二帧图像;第一帧图像和第二帧图像为连续帧图像;
第一图像特征确定模块,用于采用各向异性稠密卷积提取所述第一帧图像的图像特征和所述第二帧图像的图像特征得到第一图像特征;
第二图像特征确定模块,用于将所述第一图像特征输入特征金字塔编码网络得到第二图像特征;
光流确定模块,用于将所述第二图像特征输入特征金字塔解码网络得到光流;所述光流为第一帧图像和第二帧图像间的光流;
还包括:
各向异性稠密卷积构建模块,用于构建所述各向异性稠密卷积;构建得到的所述各向异性稠密卷积为:
式中,X表示输入图像,Y表示输出的图像特征,P0表示输入帧图像中的一个像素点,r表示卷积核尺寸,Q表示以P0为中心、边长为r的正方形区域,R表示卷积核的尺寸集合,W表示卷积核的权重系数,Pn表示Q区域内所有像素点的索引集合,其中n∈{1,2,3,...,|Q|},|Q|表示图像中Q区域内像素点的数量,ΔPn表示偏置因数,Cat表示将不同尺寸卷积核计算的特征在特征通道上进行级联;
所述第一图像特征确定模块包括:
式中,it表示第一帧图像,it+1表示第二帧图像,Aconv表示定义的各向异性稠密卷积,F1表示第一帧图像的第一图像特征,F2表示第二帧图像的第一图像特征。
6.根据权利要求4所述的基于各向异性稠密卷积的光流确定系统,其特征在于,所述光流确定模块包括:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111127330.3A CN113838102B (zh) | 2021-09-26 | 2021-09-26 | 一种基于各向异性稠密卷积的光流确定方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111127330.3A CN113838102B (zh) | 2021-09-26 | 2021-09-26 | 一种基于各向异性稠密卷积的光流确定方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113838102A CN113838102A (zh) | 2021-12-24 |
CN113838102B true CN113838102B (zh) | 2023-06-06 |
Family
ID=78970299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111127330.3A Active CN113838102B (zh) | 2021-09-26 | 2021-09-26 | 一种基于各向异性稠密卷积的光流确定方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113838102B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114723787A (zh) * | 2022-03-01 | 2022-07-08 | 南昌航空大学 | 一种光流计算方法及系统 |
CN114581493A (zh) * | 2022-03-04 | 2022-06-03 | 三星电子(中国)研发中心 | 双向光流估计方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108986150A (zh) * | 2018-07-17 | 2018-12-11 | 南昌航空大学 | 一种基于非刚性稠密匹配的图像光流估计方法及系统 |
CN110363794A (zh) * | 2019-07-17 | 2019-10-22 | 青岛科技大学 | 视频连续帧之间的光流预测方法 |
WO2020037965A1 (zh) * | 2018-08-21 | 2020-02-27 | 北京大学深圳研究生院 | 一种用于视频预测的多运动流深度卷积网络模型方法 |
CN111612825A (zh) * | 2020-06-28 | 2020-09-01 | 南昌航空大学 | 基于光流与多尺度上下文的图像序列运动遮挡检测方法 |
-
2021
- 2021-09-26 CN CN202111127330.3A patent/CN113838102B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108986150A (zh) * | 2018-07-17 | 2018-12-11 | 南昌航空大学 | 一种基于非刚性稠密匹配的图像光流估计方法及系统 |
WO2020037965A1 (zh) * | 2018-08-21 | 2020-02-27 | 北京大学深圳研究生院 | 一种用于视频预测的多运动流深度卷积网络模型方法 |
CN110363794A (zh) * | 2019-07-17 | 2019-10-22 | 青岛科技大学 | 视频连续帧之间的光流预测方法 |
CN111612825A (zh) * | 2020-06-28 | 2020-09-01 | 南昌航空大学 | 基于光流与多尺度上下文的图像序列运动遮挡检测方法 |
Non-Patent Citations (1)
Title |
---|
基于三维卷积稠密网络的视频行为识别算法;李刚;刘新;顾广华;;中国科技论文(第14期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113838102A (zh) | 2021-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110111366B (zh) | 一种基于多级损失量的端到端光流估计方法 | |
CN109377530B (zh) | 一种基于深度神经网络的双目深度估计方法 | |
CN110533712B (zh) | 一种基于卷积神经网络的双目立体匹配方法 | |
CN110969124B (zh) | 基于轻量级多分支网络的二维人体姿态估计方法及系统 | |
CN113240691B (zh) | 一种基于u型网络的医学图像分割方法 | |
CN110009674B (zh) | 基于无监督深度学习的单目图像景深实时计算方法 | |
CN113838102B (zh) | 一种基于各向异性稠密卷积的光流确定方法和系统 | |
CN110443883B (zh) | 一种基于dropblock的单张彩色图片平面三维重建方法 | |
CN110060286B (zh) | 一种单目深度估计方法 | |
CN110910437B (zh) | 一种复杂室内场景的深度预测方法 | |
CN115018888B (zh) | 一种基于Transformer的光流无监督估计方法 | |
CN113066089B (zh) | 一种基于注意力引导机制的实时图像语义分割方法 | |
CN111950477A (zh) | 一种基于视频监督的单图像三维人脸重建方法 | |
CN113034563A (zh) | 基于特征共享的自监督式单目深度估计方法 | |
CN112767441B (zh) | 一种基于残差场和位移场的图像光流优化方法及系统 | |
CN111612825A (zh) | 基于光流与多尺度上下文的图像序列运动遮挡检测方法 | |
CN114119635B (zh) | 一种基于空洞卷积的脂肪肝ct图像分割方法 | |
CN116188550A (zh) | 一种基于几何约束的自监督深度视觉里程计 | |
CN114049652A (zh) | 一种基于动作驱动的人体姿态迁移方法及系统 | |
CN110120009B (zh) | 基于显著物体检测和深度估计算法的背景虚化实现方法 | |
CN117095277A (zh) | 一种边缘引导的多注意力rgbd水下显著目标检测方法 | |
CN108492308B (zh) | 一种基于相互结构引导滤波的变分光流的确定方法及系统 | |
CN116109679A (zh) | 一种基于pwc原则的深度学习光流估计方法 | |
CN115496859A (zh) | 基于散乱点云交叉注意学习的三维场景运动趋势估计方法 | |
CN116188555A (zh) | 一种基于深度网络与运动信息的单目室内深度估计算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |