CN111192312A - 基于深度学习的深度图像获取方法、装置、设备及介质 - Google Patents

基于深度学习的深度图像获取方法、装置、设备及介质 Download PDF

Info

Publication number
CN111192312A
CN111192312A CN201911225113.0A CN201911225113A CN111192312A CN 111192312 A CN111192312 A CN 111192312A CN 201911225113 A CN201911225113 A CN 201911225113A CN 111192312 A CN111192312 A CN 111192312A
Authority
CN
China
Prior art keywords
depth
optical flow
frame image
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911225113.0A
Other languages
English (en)
Other versions
CN111192312B (zh
Inventor
栾语
宋呈群
程俊
程波
周毅超
吴一谦
张学刚
刘至垚
于正龙
栾振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
China Nuclear Power Engineering Co Ltd
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
China Nuclear Power Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS, China Nuclear Power Engineering Co Ltd filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201911225113.0A priority Critical patent/CN111192312B/zh
Publication of CN111192312A publication Critical patent/CN111192312A/zh
Application granted granted Critical
Publication of CN111192312B publication Critical patent/CN111192312B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理领域，涉及一种基于深度学习的深度图像获取方法、装置、计算机设备及存储介质，所述方法包括：获取前后帧图像对，通过第一神经网络模型，对前后帧图像对进行光流特征提取，得到光流特征，再将光流特征和前后帧图像对输入到第二神经网络模型，进而采用第二神经网络模型，基于光流特征，从前后帧图像对中进行深度特征提取，并根据得到的深度特征，生成深度图像。本发明基于深度学习的深度图像获取方法实现了结合双帧图像的运动视差进行深度学习，来准确获取深度特征，提高了生成深度图像的精准度。

Description

基于深度学习的深度图像获取方法、装置、设备及介质
技术领域
本申请涉及图像处理领域，尤其涉及一种基于深度学习的深度图像获取方法、装置、设备及介质。
背景技术
在计算机视觉中是一项很重要的任务是从运动中恢复结构(structure frommotion)，该任务是通过两幅图像计算场景结构和相机运动，也即获取通过相机连续拍照得到的帧图像对应的深度图像。通常需要提取图像中的特征点，通过特征点匹配来获取深度图像，其中，深度图像(depth image)也被称为距离影像(range image)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。
现有从运动中恢复结构方案存在固有的局限性。例如，通常需要预先估计摄像机运动，再通过块匹配搜索获取场景结构。因此，摄像机运动的错误估计会导致错误的深度预测。此外，摄像机的运动是根据通过关键点检测和描述符匹配计算出的稀疏对应来估计的。这种方法容易出现异常，在非纹理区域不起作用。最后，现有的方法在相机平移幅度很小时会失败，因为难以获取合理的推断线索。因而，寻求一种提高获取深度图像精准度的方法成了一个亟待解决的难题。
发明内容
本申请实施例的目的在于：提出一种基于深度学习的深度图像获取方法、装置、计算机设备及存储介质，以提高获取到的深度图像的精准度。
为了解决上述技术问题，本申请实施例提供一种基于深度学习的深度图像获取方法，包括：
获取前后帧图像对，所述前后帧图像对包括两个连续的帧图像；
通过第一神经网络模型，对所述前后帧图像对进行光流特征提取，得到光流特征；
将所述光流特征和所述前后帧图像对输入到第二神经网络模型；
采用所述第二神经网络模型，基于所述光流特征，从所述前后帧图像对中进行深度特征提取，并根据得到的深度特征，生成深度图像。
进一步地，所述通过第一神经网络模型，对所述前后帧图像对进行光流特征提取，得到光流特征包括：
对所述前后帧图像对的光流值进行计算，得到真实光流值，并根据所述真实光流值确定所述第一神经网络的光流损失函数；
基于所述第一神经网络模型，采用所述光流损失函数进行特征提取拟合，得到所述光流特征。
进一步地，所述根据所述真实光流值确定所述第一神经网络的光流损失函数包括：
根据预设条件，对所述前后帧图像对的光流值进行预测，得到预测光流值；
采用如下公式得到所述光流损失函数：
Figure BDA0002301976260000021
其中，F(i,j)为所述预测光流值，
Figure BDA0002301976260000022
为所述真实光流值，i和j为帧图像的像素点坐标，且i和j为整数。
进一步地，所述采用所述第二神经网络模型，基于所述光流特征，从所述前后帧图像对中进行深度特征提取包括：
对所述前后帧图像对的深度值进行计算，得到真实深度值，并根据所述真实深度值确定所述第二神经网络的深度值损失函数；
基于所述第二神经网络模型，采用所述深度值损失函数进行特征提取拟合，得到所述深度特征。
进一步地，所述根据所述真实深度值确定所述第二神经网络的深度值损失函数包括：
根据预设方式，对所述前后帧图像对的深度值进行预测，得到预测深度值；
采用如下公式得到所述深度值损失函数：
Figure BDA0002301976260000031
其中，D(i,j)为预测深度值，ε为预设深度图尺度参量，
Figure BDA0002301976260000032
为真实深度值。
为了解决上述技术问题，本申请实施例还提供一种基于深度学习的深度图像获取装置，包括：
图像获取模块，用于获取前后帧图像对，所述前后帧图像对包括两个连续的帧图像；
特征提取模块，用于通过第一神经网络模型，对所述前后帧图像对进行光流特征提取，得到光流特征；
数据输入模块，用于将所述光流特征和所述前后帧图像对输入到第二神经网络模型；
图像生成模块，用于采用所述第二神经网络模型，基于所述光流特征，从所述前后帧图像对中进行深度特征提取，并根据得到的深度特征，生成深度图像。
进一步地，所述特征提取模块包括：
光流损失函数确定单元，用于对所述前后帧图像对的光流值进行计算，得到真实光流值，并根据所述真实光流值确定所述第一神经网络的光流损失函数；
光流特征确定单元，用于基于所述第一神经网络模型，采用所述光流损失函数进行特征提取拟合，得到所述光流特征。
进一步地，所述光流损失函数确定单元包括：
光流值预测子单元，用于根据预设条件，对所述前后帧图像对的光流值进行预测，得到预测光流值；
第一计算子单元，用于采用如下公式得到所述光流损失函数：
Figure BDA0002301976260000041
其中，F(i,j)为所述预测光流值，
Figure BDA0002301976260000042
为所述真实光流值，i和j为帧图像的像素点坐标，且i和j为整数。
进一步地，所述图像生成模块包括：
深度值损失函数确定单元，用于对所述前后帧图像对的深度值进行计算，得到真实深度值，并根据所述真实深度值确定所述第二神经网络的深度值损失函数；
深度特征确定单元，用于基于所述第二神经网络模型，采用所述深度值损失函数进行特征提取拟合，得到所述深度特征。
进一步地，所述深度值损失函数确定单元包括：
深度值预测子单元，用于根据预设方式，对所述前后帧图像对的深度值进行预测，得到预测深度值；
第二计算子单元，用于采用如下公式得到所述深度值损失函数：
Figure BDA0002301976260000043
其中，D(i,j)为预测深度值，ε为预设深度图尺度参量，
Figure BDA0002301976260000044
为真实深度值。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于深度学习的深度图像获取方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的界面显示的方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
获取前后帧图像对，通过第一神经网络模型，对前后帧图像对进行光流特征提取，得到光流特征，再将光流特征和前后帧图像对输入到第二神经网络模型，进而采用第二神经网络模型，基于光流特征，从前后帧图像对中进行深度特征提取，并根据得到的深度特征，生成深度图像，实现了结合双帧图像的运动视差进行深度学习，来准确获取深度特征，提高了生成深度图像的精准。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2是本申请的基于深度学习的深度图像获取方法的一个实施例的流程图；
图3是根据本申请的基于深度学习的深度图像获取装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture E界面显示perts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureE界面显示perts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的基于深度学习的深度图像获取方法由服务器执行，相应地，基于深度学习的深度图像获取装置设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本申请实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。
请继续参考图2，示出了根据本申请的界面显示的方法的一个实施例的流程图。该基于深度学习的深度图像获取方法，包括以下步骤：
S201：获取前后帧图像对，前后帧图像对包括两个连续的帧图像。
具体地，获取相机连续拍摄的一组相邻帧图像，作为前后帧图像对。
S202：通过第一神经网络模型，对前后帧图像对进行光流特征提取，得到光流特征。
其中，光流特征是能体现视域内的物体运动轨迹的数据特征，视域是指图像中出现的场景的范围，即可见范围。
其中，第一神经网络模型为卷积神经网络(Convolutional Neural Network，CNN)，是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，可以快速高效进行图像处理，第一神经网络模型具体包括但不限于：AlexNet模型、VGG模型、GoogLeNet模型和ResNet模型等。
其中，卷积层(Convolutional layer)由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积处理的目的是得到表示不同特征的卷积数据，即方便后续提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，越深层级的网路能从低级特征中迭代提取更复杂的特征。
需要说明的是，在本实施例中，第一神经网络模型包括第一输入层、第一卷积层和第一全连接层，第一卷积层由成对的卷积单元组成，每个卷积单元后连接一个ReLU层，使得前一帧图像和后一帧图像进行光流特征提取可以同步进行，提高了光流特征提取效率。
可选地，在提取特征之前，对前一帧图像和后一帧图像进行数据预处理，在本发明实施例中，优选的数据预处理方法为先进行去均值处理，再进行归一化处理，归一化处理后加快了梯度下降求最优解的速度，即提升了处理的效率，同时，有利于提高识别精度，有利于后续特征的提取。
其中，归一化处理包含但不限于：简单缩放；逐样本均值消减，也称为移除直流分量；特征标准化，使数据集合中的所有特征都具有零均值和单位方差等。
优选地，本发明实施例采用的归一化方法为通过特征标准化来进行归一化。
其中，去均值处理是指每一维度的数据减去自身均值，这样能使数据在每个维度上具有相似的宽度，可以起到一定的增大数据分布范围。
S203：将光流特征和前后帧图像对输入到第二神经网络模型。
具体地，将光流特征和前后帧图像对输入到第二神经网络模型。
其中，第二神经网络模型为卷积神经网络。
需要说明的是，在本实施例中，第二神经网络模型包括第二输入层、第二卷积层和第二全连接层，第二卷积层由成对的卷积单元组成，每个卷积单元后连接一个ReLU层，使得前一帧图像和后一帧图像进行深度特征提取可以同步进行，提高了特征特征提取效率，第二全连接层包括三个子全连接层，用于输出深度特征和相机运动矩阵。
S204：采用第二神经网络模型，基于光流特征，从前后帧图像对中进行深度特征提取，并根据得到的深度特征，生成深度图像。
具体地，光流特征是帧图像运动状态的体现，采用第二神经网络模型，结合前一帧图像和后一帧图像的运动状态，从前后帧图像对中提取深度特征，使得得到的深度特征更为准确，进而根据得到的深度特征，生成深度图像。
其中，深度图像(depth image)也被称为距离影像(range image)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图像经过坐标转换可以计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图像数据。
深度数据流所提供的图像帧中，每一个像素点代表的是在深度感应器的视野中，该特定的(i,j)坐标处物体到离摄像头平面最近的物体到该平面的距离(以毫米为单位)。
需要说的是，在步骤S203中，作为一种优选方式，本实施例的第二神经网络模型的全连接层包括三个子全连接层，除了得到深度特征外，还可以后一帧图像相对于前一帧图像的相机运动矩阵。
在本实施例中，获取前后帧图像对，通过第一神经网络模型，对前后帧图像对进行光流特征提取，得到光流特征，再将光流特征和前后帧图像对输入到第二神经网络模型，进而采用第二神经网络模型，基于光流特征，从前后帧图像对中进行深度特征提取，并根据得到的深度特征，生成深度图像，实现了结合双帧图像的运动视差进行深度学习，来准确获取深度特征，提高了生成深度图像的精准度。
在本实施例的一些可选的实现方式中，步骤S202中，通过第一神经网络模型，对前后帧图像对进行光流特征提取，得到光流特征包括：
对前后帧图像对的光流值进行计算，得到真实光流值，并根据真实光流值确定第一神经网络的光流损失函数；
基于第一神经网络模型，采用光流损失函数进行特征提取拟合，得到光流特征。
具体地，通过对前后真图像对中的前一帧图像和后一帧图像中相应坐标的像素值，确定前后帧图像的运动变化幅度，也即，确定前后帧图像的光流值，得到真实光流值，再根据该真实光流值与预测光流值，来确定第一神经网络的光流损失函数，进而采用该光流损失函数来进行第一神经网络中特征的拟合提取，得到光流特征。
在本实施例中，通过确定真实光流值来确定光流损失函数，使得第一神经网络模型在进行光流特征提取时拟合更为合理，有利于提高光流特征提取的准确度。
在本实施例的一些可选的实现方式中，根据真实光流值确定第一神经网络的光流损失函数包括：
根据预设条件，对前后帧图像对的光流值进行预测，得到预测光流值；
采用如下公式得到光流损失函数：
Figure BDA0002301976260000091
其中，F(i,j)为预测光流值，
Figure BDA0002301976260000092
为真实光流值，i和j为帧图像的像素点坐标，且i和j为整数。
具体地，通过预设条件，对前后帧图像对的光流值进行预测，得到预测光流值，进而根据预测光流值和真实光流值，得到适合该前后帧图像对的光流损失函数，使得光流损失函数可根据每次拍摄到的前后帧图像对的不同而动态进行调整，有利于提高后续通过该光流损失函数进行光流特征提取的准确率。
其中，预设条件具体可根据前一帧图像和后一帧图像的多视图、轮廓、纹理、阴影、散焦、薄雾等特征的数值进行设定，也可以根据实际需求，采用其他参数，此处不做具体限定。
在本实施例中，通过预测光流值和真实光流值来动态生成光流损失函数，使得得到的光流损失函数与当前的前后帧图像契合度更高，有利于提高后续光流特征获取的准确度。
在本实施例的一些可选的实现方式中，步骤S204中，采用第二神经网络模型，基于光流特征，从前后帧图像对中进行深度特征提取包括：
对前后帧图像对的深度值进行计算，得到真实深度值，并根据真实深度值确定第二神经网络的深度值损失函数；
基于第二神经网络模型，采用深度值损失函数进行特征提取拟合，得到深度特征。
具体地，通过对前后真图像对进行计算，得到前后帧图像对应的真实深度值，再根据该真实深度值与预测深度值，来确定第二神经网络的深度值损失函数，进而采用该深度值损失函数来进行第二神经网络中特征的拟合提取，得到深度特征。
在本实施例中，在本实施例中，通过计算真实深度值来确定深度值损失函数，使得第二神经网络模型在进行深度特征提取时拟合更为合理，有利于提高深度特征提取的准确度。
在本实施例的一些可选的实现方式中，根据真实深度值确定第二神经网络的深度值损失函数包括：
根据预设方式，对前后帧图像对的深度值进行预测，得到预测深度值；
采用如下公式得到深度值损失函数：
Figure BDA0002301976260000111
其中，D(i,j)为预测深度值，ε为预设深度图尺度参量，
Figure BDA0002301976260000112
为真实深度值。
具体地，通过预设条件，对前后帧图像对的深度值进行预测，得到预测深度值，进而根据预测深度值和真实深度值，得到适合该前后帧图像对的深度损失函数，使得深度损失函数可根据每次拍摄到的前后帧图像对的不同而动态进行调整，有利于提高后续通过该深度损失函数进行深度特征提取拟合的准确率。
其中，预设方式可采用前一帧图像和后一帧图像的多视图、轮廓、纹理、阴影、散焦、薄雾等特征的数值的范围进行设定，使得在相机平移很小的退化情况下，也可以从数据中有效地学习到预测对象的先验知识，并精确的获取到深度图像。也可以根据实际需求，采用其他参数，此处不做具体限定。
在本实施例中，通过预测深度值和真实深度值来动态生成深度值损失函数，使得得到的深度值损失函数与当前的前后帧图像契合度更高，有利于提高后续深度特征获取的准确度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种基于深度学习的深度图像获取装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的基于深度学习的深度图像获取装置包括：图像获取模块31、特征提取模块32、数据输入模块33和图像生成模块34。其中：
图像获取模块31，用于获取前后帧图像对，前后帧图像对包括两个连续的帧图像；
特征提取模块32，用于通过第一神经网络模型，对前后帧图像对进行光流特征提取，得到光流特征；
数据输入模块33，用于将光流特征和前后帧图像对输入到第二神经网络模型；
图像生成模块34，用于采用第二神经网络模型，基于光流特征，从前后帧图像对中进行深度特征提取，并根据得到的深度特征，生成深度图像。
进一步地，特征提取模块32包括：
光流损失函数确定单元，用于对前后帧图像对的光流值进行计算，得到真实光流值，并根据真实光流值确定第一神经网络的光流损失函数；
光流特征确定单元，用于基于第一神经网络模型，采用光流损失函数进行特征提取拟合，得到光流特征。
进一步地，光流损失函数确定单元包括：
光流值预测子单元，用于根据预设条件，对前后帧图像对的光流值进行预测，得到预测光流值；
第一计算子单元，用于采用如下公式得到光流损失函数：
Figure BDA0002301976260000131
其中，F(i,j)为预测光流值，
Figure BDA0002301976260000132
为真实光流值，i和j为帧图像的像素点坐标，且i和j为整数。
进一步地，图像生成模块34包括：
深度值损失函数确定单元，用于对前后帧图像对的深度值进行计算，得到真实深度值，并根据真实深度值确定第二神经网络的深度值损失函数；
深度特征确定单元，用于基于第二神经网络模型，采用深度值损失函数进行特征提取拟合，得到深度特征。
进一步地，深度值损失函数确定单元包括：
深度值预测子单元，用于根据预设方式，对前后帧图像对的深度值进行预测，得到预测深度值；
第二计算子单元，用于采用如下公式得到深度值损失函数：
Figure BDA0002301976260000133
其中，D(i,j)为预测深度值，ε为预设深度图尺度参量，
Figure BDA0002301976260000134
为真实深度值。
关于上述实施例中基于深度学习的深度图像获取装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如基于深度学习的深度图像获取方法的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行所述基于深度学习的深度图像获取方法的程序代码。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于深度学习的深度图像获取方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于深度学习的深度图像获取方法，其特征在于，包括：
获取前后帧图像对，所述前后帧图像对包括两个连续的帧图像；
通过第一神经网络模型，对所述前后帧图像对进行光流特征提取，得到光流特征；
将所述光流特征和所述前后帧图像对输入到第二神经网络模型；
采用所述第二神经网络模型，基于所述光流特征，从所述前后帧图像对中进行深度特征提取，并根据得到的深度特征，生成深度图像。
2.根据权利要求1所述的基于深度学习的深度图像获取方法，所述第一神经网络模型包括第一输入层、第一卷积层和第一全连接层，所述第二神经网络模型包括第二输入层、第二卷积层和第二全连接层，其特征在于，所述第一卷积层和所述第二卷积层均由成对的卷积单元组成，每个所述卷积单元后连接一个ReLU层，所述第二全连接层包括三个子全连接层。
3.根据权利要求1所述的基于深度学习的深度图像获取方法，所述通过第一神经网络模型，对所述前后帧图像对进行光流特征提取，得到光流特征包括：
对所述前后帧图像对的光流值进行计算，得到真实光流值，并根据所述真实光流值确定所述第一神经网络的光流损失函数；
基于所述第一神经网络模型，采用所述光流损失函数进行特征提取拟合，得到所述光流特征。
4.根据权利要求3所述的基于深度学习的深度图像获取方法，所述根据所述真实光流值确定所述第一神经网络的光流损失函数包括：
根据预设条件，对所述前后帧图像对的光流值进行预测，得到预测光流值；
采用如下公式得到所述光流损失函数：
Figure FDA0002301976250000011
其中，F(i,j)为所述预测光流值，
Figure FDA0002301976250000021
为所述真实光流值，i和j为帧图像的像素点坐标，且i和j为整数。
5.根据权利要求1所述的基于深度学习的深度图像获取方法，所述采用所述第二神经网络模型，基于所述光流特征，从所述前后帧图像对中进行深度特征提取包括：
对所述前后帧图像对的深度值进行计算，得到真实深度值，并根据所述真实深度值确定所述第二神经网络的深度值损失函数；
基于所述第二神经网络模型，采用所述深度值损失函数进行特征提取拟合，得到所述深度特征。
6.根据权利要求5所述的基于深度学习的深度图像获取方法，所述根据所述真实深度值确定所述第二神经网络的深度值损失函数包括：
根据预设方式，对所述前后帧图像对的深度值进行预测，得到预测深度值；
采用如下公式得到所述深度值损失函数：
Figure FDA0002301976250000022
其中，D(i,j)为预测深度值，ε为预设深度图尺度参量，
Figure FDA0002301976250000023
为真实深度值。
7.一种基于深度学习的深度图像获取装置，其特征在于，包括：
图像获取模块，用于获取前后帧图像对，所述前后帧图像对包括两个连续的帧图像；
特征提取模块，用于通过第一神经网络模型，对所述前后帧图像对进行光流特征提取，得到光流特征；
数据输入模块，用于将所述光流特征和所述前后帧图像对输入到第二神经网络模型；
图像生成模块，用于采用所述第二神经网络模型，基于所述光流特征，从所述前后帧图像对中进行深度特征提取，并根据得到的深度特征，生成深度图像。
8.根据权利要求7所述的基于深度学习的深度图像获取装置，其特征在于，所述特征提取模块包括：
光流损失函数确定单元，用于对所述前后帧图像对的光流值进行计算，得到真实光流值，并根据所述真实光流值确定所述第一神经网络的光流损失函数；
光流特征确定单元，用于基于所述第一神经网络模型，采用所述光流损失函数进行特征提取拟合，得到所述光流特征。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的基于深度学习的深度图像获取方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于深度学习的深度图像获取方法的步骤。
CN201911225113.0A 2019-12-04 2019-12-04 基于深度学习的深度图像获取方法、装置、设备及介质 Active CN111192312B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911225113.0A CN111192312B (zh) 2019-12-04 2019-12-04 基于深度学习的深度图像获取方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911225113.0A CN111192312B (zh) 2019-12-04 2019-12-04 基于深度学习的深度图像获取方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111192312A true CN111192312A (zh) 2020-05-22
CN111192312B CN111192312B (zh) 2023-12-26

Family

ID=70707682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911225113.0A Active CN111192312B (zh) 2019-12-04 2019-12-04 基于深度学习的深度图像获取方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111192312B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592709A (zh) * 2021-02-19 2021-11-02 腾讯科技（深圳）有限公司 图像超分处理方法、装置、设备及存储介质
CN114347064A (zh) * 2022-01-31 2022-04-15 深圳市云鼠科技开发有限公司 基于光流的机器人碰撞检测方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100771A (zh) * 2015-07-14 2015-11-25 山东大学 一种基于场景分类和几何标注的单视点视频深度获取方法
CN106658023A (zh) * 2016-12-21 2017-05-10 山东大学 一种基于深度学习的端到端视觉里程计及方法
CN109146872A (zh) * 2018-09-03 2019-01-04 北京邮电大学 基于深度学习和光流法的心脏冠状动脉影像分割识别方法
CN109961395A (zh) * 2017-12-22 2019-07-02 展讯通信（上海）有限公司 深度图像的生成及显示方法、装置、系统、可读介质
CN110111366A (zh) * 2019-05-06 2019-08-09 北京理工大学 一种基于多级损失量的端到端光流估计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100771A (zh) * 2015-07-14 2015-11-25 山东大学 一种基于场景分类和几何标注的单视点视频深度获取方法
CN106658023A (zh) * 2016-12-21 2017-05-10 山东大学 一种基于深度学习的端到端视觉里程计及方法
CN109961395A (zh) * 2017-12-22 2019-07-02 展讯通信（上海）有限公司 深度图像的生成及显示方法、装置、系统、可读介质
CN109146872A (zh) * 2018-09-03 2019-01-04 北京邮电大学 基于深度学习和光流法的心脏冠状动脉影像分割识别方法
CN110111366A (zh) * 2019-05-06 2019-08-09 北京理工大学 一种基于多级损失量的端到端光流估计方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592709A (zh) * 2021-02-19 2021-11-02 腾讯科技（深圳）有限公司 图像超分处理方法、装置、设备及存储介质
CN113592709B (zh) * 2021-02-19 2023-07-25 腾讯科技（深圳）有限公司 图像超分处理方法、装置、设备及存储介质
CN114347064A (zh) * 2022-01-31 2022-04-15 深圳市云鼠科技开发有限公司 基于光流的机器人碰撞检测方法、装置、计算机设备及存储介质
CN114347064B (zh) * 2022-01-31 2022-09-20 深圳市云鼠科技开发有限公司 基于光流的机器人碰撞检测方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111192312B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN109858333B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN111311485B (zh) 图像处理方法及相关装置
CN110866497B (zh) 基于点线特征融合的机器人定位与建图方法和装置
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
CN109325996B (zh) 用于生成信息的方法和装置
CN111639147B (zh) 一种地图压缩方法、系统及计算机可读存储介质
CN114255337A (zh) 文档图像的矫正方法、装置、电子设备及存储介质
CN113378712B (zh) 物体检测模型的训练方法、图像检测方法及其装置
US20220172376A1 (en) Target Tracking Method and Device, and Electronic Apparatus
WO2023168957A1 (zh) 姿态确定方法、装置、电子设备、存储介质及程序
CN111192312B (zh) 基于深度学习的深度图像获取方法、装置、设备及介质
CN114511661A (zh) 图像渲染方法、装置、电子设备及存储介质
CN111914756A (zh) 一种视频数据处理方法和装置
CN113177432A (zh) 基于多尺度轻量化网络的头部姿态估计方法、系统、设备及介质
CN113766117B (zh) 一种视频去抖动方法和装置
US20230260211A1 (en) Three-Dimensional Point Cloud Generation Method, Apparatus and Electronic Device
CN110956131B (zh) 单目标追踪方法、装置及系统
CN113642493B (zh) 一种手势识别方法、装置、设备及介质
CN113791426A (zh) 雷达p显界面生成方法、装置、计算机设备及存储介质
CN113095176A (zh) 一种对视频数据进行背景还原的方法和装置
CN111814865A (zh) 一种图像识别方法、装置、设备及存储介质
CN112561995A (zh) 一种实时高效的6d姿态估计网络、构建方法及估计方法
CN111582143A (zh) 基于图像识别的学生课堂签到方法、装置及存储介质
CN111428729A (zh) 一种目标检测方法和装置
CN114241411B (zh) 基于目标检测的计数模型处理方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant