CN116740158B - 图像深度确定方法、装置和存储介质 - Google Patents
图像深度确定方法、装置和存储介质 Download PDFInfo
- Publication number
- CN116740158B CN116740158B CN202311022155.0A CN202311022155A CN116740158B CN 116740158 B CN116740158 B CN 116740158B CN 202311022155 A CN202311022155 A CN 202311022155A CN 116740158 B CN116740158 B CN 116740158B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- depth
- training
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 117
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims description 54
- 238000000605 extraction Methods 0.000 claims description 26
- 238000002372 labelling Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本公开涉及一种图像深度确定方法、装置和存储介质，涉及自动驾驶图像处理技术领域，该图像深度确定方法包括：获取目标图像和所述目标图像对应的目标相机参数，该目标相机参数为拍摄目标图像的目标相机所对应的相机参数，再通过目标深度预测模型对目标图像和目标相机参数进行处理，得到目标图像对应的图像深度预测结果，该目标深度预测模型基于多个训练样本训练基础模型得到，该训练样本包括样本图像和样本图像对应的样本相机参数。由于目标深度预测模型由样本图像和样本图像对应的样本相机参数训练基础模型得到，通过目标深度预测模型对目标图像和目标相机参数进行处理，能够融合图像特征和相机模型特征，得到更加准确的图像深度预测结果。
Description
技术领域
本公开涉及自动驾驶图像处理技术领域，尤其涉及一种图像深度确定方法、装置和存储介质。
背景技术
基于视觉传感器、激光测距仪、超声波和红外传感器等传感器，对周围环境中的障碍物进行感知是实现机器人自动导航的关键技术之一，也是实现自动驾驶、自动泊车的关键能力之一。
相关技术中，无法通过单一的视觉传感器采集的图像对障碍物进行准确的感知。
发明内容
为克服相关技术中存在的问题，本公开提供一种图像深度确定方法、装置和存储介质，由于目标深度预测模型由样本图像和样本图像对应的样本相机参数训练基础模型得到，通过目标深度预测模型对目标图像和目标相机参数进行处理，能够通过目标深度预测模型融合图像特征和相机模型特征，得到更加准确的图像深度预测结果，以便能够对周围的障碍物进行准确的感知。
根据本公开实施例的第一方面，提供一种图像深度确定方法，包括：
获取目标图像和所述目标图像对应的目标相机参数，所述目标相机参数为拍摄所述目标图像的目标相机所对应的相机参数；
通过目标深度预测模型对所述目标图像和所述目标相机参数进行处理，得到所述目标图像对应的图像深度预测结果，所述目标深度预测模型基于多个训练样本训练基础模型得到，所述训练样本包括样本图像和所述样本图像对应的样本相机参数。
可选地，所述通过目标深度预测模型对所述目标图像和所述目标相机参数进行处理，得到所述目标图像对应的图像深度预测结果，包括：
通过所述目标深度预测模型，对所述目标图像进行多分辨率的特征提取，得到第一融合特征图；
对所述目标相机参数进行特征提取，得到相机参数特征；
对所述相机参数特征和所述第一融合特征图进行处理，得到第二融合特征图；
对所述第二融合特征图进行深度预测，得到所述目标图像对应的图像深度预测结果。
可选地，所述对所述目标图像进行多分辨率的特征提取，得到第一融合特征图，包括：
对所述目标图像进行特征提取，得到不同分辨率下的多个图像特征；
对所述多个图像特征进行特征融合，得到所述第一融合特征图。
可选地，所述目标相机参数包括所述目标相机的内参、外参和畸变参数，所述对所述目标相机参数进行特征提取，得到相机参数特征，包括：
对所述内参、外参和畸变参数进行拼接，得到拼接特征；
对所述拼接特征进行特征嵌入，得到所述相机参数特征。
可选地，所述对所述相机参数特征和所述第一融合特征图进行处理，得到第二融合特征图，包括：
通过所述相机参数特征，对所述第一融合特征图的每一个特征通道进行注意力激活，得到所述第二融合特征图。
可选地，所述目标深度预测模型通过以下步骤得到：
获取所述多个训练样本，每个所述训练样本携带标注标签，所述标注标签为所述训练样本的真实图像深度结果；
根据所述多个训练样本，对所述基础模型进行多轮迭代训练；
在每一轮训练之后，根据本轮训练得到的训练预测结果以及本轮训练中的训练样本对应的真实图像深度结果，得到本轮训练对应的预测损失；
根据所述本轮训练对应的预测损失，对所述基础模型进行优化；
在所述基础模型满足训练停止条件的情况下，停止训练，得到所述目标深度预测模型。
可选地，所述训练样本的真实图像深度结果包括所述样本图像的每一像素位置的深度值，在获取所述多个训练样本之前，所述方法还包括：
获取所述样本图像对应的物理空间中的每个障碍物点的物理坐标；
将每个障碍物点的物理坐标映射到所述样本图像上，得到所述样本图像的每一像素位置的深度值。
根据本公开实施例的第二方面，提供一种图像深度确定装置，包括：
第一获取模块，被配置为获取目标图像和所述目标图像对应的目标相机参数，所述目标相机参数为拍摄所述目标图像的目标相机所对应的相机参数；
第一获得模块，被配置为通过目标深度预测模型对所述目标图像和所述目标相机参数进行处理，得到所述目标图像对应的图像深度预测结果，所述目标深度预测模型基于多个训练样本训练基础模型得到，所述训练样本包括样本图像和所述样本图像对应的样本相机参数。
可选地，所述第一获得模块，包括：
第一特征提取子模块，被配置为通过所述目标深度预测模型，对所述目标图像进行多分辨率的特征提取，得到第一融合特征图；
第二特征提取子模块，被配置为对所述目标相机参数进行特征提取，得到相机参数特征；
第一获得子模块，被配置为对所述相机参数特征和所述第一融合特征图进行处理，得到第二融合特征图；
第二获得子模块，被配置为对所述第二融合特征图进行深度预测，得到所述目标图像对应的图像深度预测结果。
可选地，所述第一特征提取子模块，包括：
第一获得子单元，被配置为对所述目标图像进行特征提取，得到不同分辨率下的多个图像特征；
第二获得子单元，被配置为对所述多个图像特征进行特征融合，得到所述第一融合特征图。
可选地，所述第二特征提取子模块，包括：
第三获得子单元，被配置为对所述内参、外参和畸变参数进行拼接，得到拼接特征；
第四获得子单元，被配置为对所述拼接特征进行特征嵌入，得到所述相机参数特征。
可选地，所述第一获得子模块，包括：
第五获得子单元，被配置为通过所述相机参数特征，对所述第一融合特征图的每一个特征通道进行注意力激活，得到所述第二融合特征图。
可选地，所述图像深度确定装置还包括：
第二获取模块，被配置为获取所述多个训练样本，每个所述训练样本携带标注标签，所述标注标签为所述训练样本的真实图像深度结果；
训练模块，被配置为根据所述多个训练样本，对所述基础模型进行多轮迭代训练；
第二获得模块，被配置为在每一轮训练之后，根据本轮训练得到的训练预测结果以及本轮训练中的训练样本对应的真实图像深度结果，得到本轮训练对应的预测损失；
优化模块，被配置为根据所述本轮训练对应的预测损失，对所述基础模型进行优化；
第三获得模块，被配置为在所述基础模型满足训练停止条件的情况下，停止训练，得到所述目标深度预测模型。
可选地，所述图像深度确定装置还包括：
第三获取模块，被配置为获取所述样本图像对应的物理空间中的每个障碍物点的物理坐标；
第四获得模块，被配置为将每个障碍物点的物理坐标映射到所述样本图像上，得到所述样本图像的每一像素位置的深度值。
根据本公开实施例的第三方面，提供一种图像深度确定装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为实现本公开第一方面所提供的图像深度确定方法的步骤。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的图像深度确定方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
通过获取目标图像和所述目标图像对应的目标相机参数，该目标相机参数为拍摄目标图像的目标相机所对应的相机参数，再通过目标深度预测模型对目标图像和目标相机参数进行处理，得到目标图像对应的图像深度预测结果，该目标深度预测模型基于多个训练样本训练基础模型得到，该训练样本包括样本图像和样本图像对应的样本相机参数。由于目标深度预测模型由样本图像和样本图像对应的样本相机参数训练基础模型得到，通过目标深度预测模型对目标图像和目标相机参数进行处理，能够通过目标深度预测模型融合图像特征和相机模型特征，得到更加准确的图像深度预测结果，以便能够对周围的障碍物进行更加准确的感知。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种多个环视相机拍摄的图像的示意图。
图2是根据一示例性实施例示出的一种图像深度确定方法的流程图。
图3是根据一示例性实施例示出的一种得到图像深度预测结果的方法的流程图。
图4是根据一示例性实施例示出的一种图像深度确定方法的数据处理流程图。
图5是根据一示例性实施例示出的一种得到目标深度预测模型的方法的流程图。
图6是根据一示例性实施例示出的一种将激光点云投影到环视图像上的示意图。
图7是根据一示例性实施例示出的一种图像深度确定装置的框图。
图8是根据一示例性实施例示出的一种用于图像深度确定的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
基于视觉传感器、激光测距仪、超声波和红外传感器等传感器，对周围环境中的障碍物进行感知是实现机器人自动导航的关键技术之一，也是实现自动驾驶、自动泊车的关键能力之一。
相关技术中，通过单一的视觉传感器采集的图像对障碍物进行感知的能力较差，无法准确确定障碍物的大小以及障碍物的距离等特征，尤其是对于环视相机。
图1是根据一示例性实施例示出的一种多个环视相机拍摄的图像的示意图，如图1所示，环视相机的视场角度高达180度，造成环视相机拍摄得到的环视图像存在严重的畸变和形变，导致无法准确确定图像深度，对障碍物的感知数据的准确度较低。
基于上述技术问题，本公开提供一种图像深度确定方法、装置和存储介质，由于目标深度预测模型由样本图像和样本图像对应的样本相机参数训练基础模型得到，通过目标深度预测模型对目标图像和目标相机参数进行处理，能够通过目标深度预测模型融合图像特征和相机模型特征，得到更加准确的图像深度预测结果，以便能够对周围的障碍物进行准确的感知，从而可应用于车辆的自动驾驶。
图2是根据一示例性实施例示出的一种图像深度确定方法的流程图，如图2所示，该方法可用于图像深度确定装置，该图像深度确定装置可应用于机器人或车辆等自动设备，包括以下步骤。
在步骤S201中，获取目标图像和目标图像对应的目标相机参数，该目标相机参数为拍摄目标图像的目标相机所对应的相机参数。
在本实施方式中，目标图像为待识别深度的图像，该目标图像通过目标相机拍摄得到，该目标图像可为多个连续拍摄的图像，该目标相机可为视觉传感器，用于对周围的环境进行拍摄得到多个图像，例如，该目标相机可为机器人或者车辆上的摄像头等摄像装置。该目标相机对应目标相机参数，目标相机参数可为相机的内参、外参以及畸变参数等。
在步骤S202中，通过目标深度预测模型对目标图像和目标相机参数进行处理，得到目标图像对应的图像深度预测结果，该目标深度预测模型基于多个训练样本训练基础模型得到，该训练样本包括样本图像和样本图像对应的样本相机参数。
在本实施方式中，目标深度预测模型由样本图像和样本图像对应的样本相机参数训练基础模型得到，该目标深度预测模型以待识别的目标图像为输入，以该目标图像对应的图像深度预测结果为输出。通过目标深度预测模型对目标图像和目标相机参数进行处理，能够通过目标深度预测模型融合图像特征和相机模型特征，得到更加准确的图像深度预测结果，以便能够对周围的障碍物进行准确的感知。
在本实施例中，通过目标深度预测模型对目标图像和目标相机参数进行处理，能够通过目标深度预测模型融合图像特征和相机模型特征，得到更加准确的图像深度预测结果，以便能够对周围的障碍物进行准确的感知。从而能够使机器人或者车辆等自动设备能够通过目标相机获取目标图像并通过图像深度确定装置对应的图像深度，从而为机器人的自动导航以及车辆的自动驾驶和自动泊车提供关键信息。
图3是根据一示例性实施例示出的一种得到图像深度预测结果的方法的流程图，图4是根据一示例性实施例示出的一种图像深度确定方法的数据处理流程图，如图3和图4所示，在一种可能的实施方式中，通过目标深度预测模型对目标图像和目标相机参数进行处理，得到目标图像对应的图像深度预测结果，可包括以下步骤：
在步骤S301中，通过目标深度预测模型，对目标图像进行多分辨率的特征提取，得到第一融合特征图。
可选地，目标深度预测模型可包括图像空间编码模块和多尺度特征融合提取模块，可通过目标深度预测模型的图像空间编码模块对目标图像在不同分辨率下进行特征提取，得到不同分辨率下的多个图像特征。可选地，可采用RegNet（Regulated Networks，图像分类自调网络）作为图像空间编码模块中的图像空间编码器，具体可为RegNet800M，RegNet800M是基于NAS（Neural Architecture Search，神经网络搜索）得到的网络结构，兼顾了模型的特征提取能力和特征提取计算复杂度。再通过目标深度预测模型的多尺度特征融合提取模块对多个图像特征进行特征融合，得到第一融合特征图。可选地，多尺度特征融合提取模块可采用双向特征金字塔网络，该网络可对RegNet800M的多个不同尺度的特征进行多尺度的特征融合，以便得到第一融合特征图。如图4所示，输入的目标图像为4个图像，img(4，3，576，768)代表的含义是：4张图像，每张图像3个通道，高576像素，宽768像素。如图4所示，经过双向特征金字塔网络多尺度特征融合后，得到的特征图为 (4，128，144，192)，含义是4张特征图，128通道，高144像素，宽192像素。
在步骤S302中，对目标相机参数进行特征提取，得到相机参数特征。
在本实施方式中，目标相机参数可包括相机的内参、外参和畸变参数，可选地，目标深度预测模型还包括基于相机的相机模型的深度预测模块，该相机可为环视相机。其中，相机模型描述的是将三维物理世界中的坐标点映射到二维图像平面的过程。对于相机模型，可以用针孔模型进行描述。考虑到相机镜头存在畸变形变，会使得光线投影到成像平面的过程中产生畸变。因此，可使用针孔和畸变两个模型来描述整个投影过程。
下式描述的是无畸变时的相机模型：
下式描述的是有畸变时的相机模型：
其中，Pω是世界坐标系下的坐标，T是变换矩阵，R是旋转矩阵，t是平移矩阵，K是内参矩阵，Z是深度，u、v、Puv是图像像素坐标，和/>是畸变纠正以前的坐标，/>、/>、/>、p1和p2是畸变纠正的参数，/>、/>、/>和/>是内参参数。
可通过该深度预测模块对目标相机参数进行特征提取，得到相机参数特征。
可选地，对目标相机参数进行特征提取，得到相机参数特征的方法可为：对内参、外参和畸变参数进行拼接，得到拼接特征；对拼接特征进行特征嵌入，得到相机参数特征。
在本实施方式中，以4个环视相机为例，每个环视相机的目标相机参数可包括4个内参、12个外参和5个畸变参数，通过对这4个环视相机的目标相机参数进行concat（拼接），可得到大小为4×21的特征值，该4×21的特征值即为拼接特征。然后采用MLPNet（Multi-Layer Perceptor Net，多层感知网络）将4×21的特征值进行特征嵌入处理，从而得到相机参数特征，一方面可以将4×21的特征值升维到4×128，一方面可以在高纬度空间中得到表达能力更强的特征嵌入。
在步骤S303中，对相机参数特征和第一融合特征图进行处理，得到第二融合特征图。
在本实施方式中，可继续通过深度预测模块对相机参数特征和第一融合特征图进行处理，即可得到第二融合特征图，可选地，可通过相机参数特征，对第一融合特征图的每一个特征通道进行注意力激活，得到第二融合特征图。
示例地，可采用高纬度特征嵌入与图像空间特征图相乘，对每一个通道进行注意力激活，就可以得到表达能力更强、更适合预测深度值的第二融合特征图，其中，高纬度特征嵌入即为相机参数特征，图像空间特征图即为第一融合特征图。
在步骤S304中，对第二融合特征图进行深度预测，得到目标图像对应的图像深度预测结果。
在本实施方式中，可通过一个反卷积层，对第二融合特征图进行处理，即可得到目标图像对应的图像深度预测结果，该图像深度预测结果可为一个深度值概率图，例如，深度值概率图大小(4，64，288，384)，代表的含义是，对于4张特征图，288×384个像素位置，每个像素位置，预测64个深度值的概率分布。像素位置可通过坐标表示，像素位置即为该像素对应的坐标，这64个深度值的概率之和为1。可选地，64个深度值为[1m，64m]内64个等间隔采样。
图5是根据一示例性实施例示出的一种得到目标深度预测模型的方法的流程图，如图5所示，在一种可能的实施方式中，目标深度预测模型通过以下步骤得到：
在步骤S501中，获取多个训练样本，每个训练样本携带标注标签，该标注标签为训练样本的真实图像深度结果。
在步骤S502中，根据多个训练样本，对基础模型进行多轮迭代训练。
在步骤S503中，在每一轮训练之后，根据本轮训练得到的训练预测结果以及本轮训练中的训练样本对应的真实图像深度结果，得到本轮训练对应的预测损失。
在步骤S504中，根据本轮训练对应的预测损失，对基础模型进行优化。
在步骤S505中，在基础模型满足训练停止条件的情况下，停止训练，得到目标深度预测模型。
在本实施方式中，通过获取多个携带标注标签的训练样本，对基础模型进行多轮迭代训练，并在每一轮迭代训练之后，计算本轮训练的预测损失，再根据本轮训练的预测损失，通过梯度下降法等，得到优化参数，对基础模型的参数进行优化。其中，预测损失可通过cross-entropy-loss（交叉熵损失函数）确定，其中，训练停止条件可为该基础模型收敛，或者，训练轮数达到预设轮数，例如，该预设轮数可为500。在基础模型收敛或者训练轮数达到预设轮数的情况下，可停止训练，得到训练好的目标深度预测模型。
图6是根据一示例性实施例示出的一种将激光点云投影到环视图像上的示意图，如图6所示，在一种可能的实施方式中，在训练之前，可对训练样本进行真实图像深度结果的标签标注，该训练样本的真实图像深度结果包括样本图像的每一像素位置的深度值，其标注方法可为：获取样本图像对应的物理空间中的每个障碍物点的物理坐标；将每个障碍物点的物理坐标映射到样本图像上，得到样本图像的每一像素位置的深度值。
在本实施方式中，可基于激光点云获取物理空间中每个障碍物点的物理坐标P_w，然后采用环视相机模型，将P_w 投影到环视相机图像上，对应的图像坐标是P_uv，对应的深度值是d，如图6所示。这样，对于每个图像坐标P_uv，可得到对应的深度值d，并且可以使用d值作为该像素位置的深度监督值，即通过d值对其对应的像素位置进行标签标注，从而得到训练样本携带的标注标签。
图7是根据一示例性实施例示出的一种图像深度确定装置的框图。参照图7，该图像深度确定装置700包括第一获取模块701和第一获得模块702。
该第一获取模块701，被配置为获取目标图像和所述目标图像对应的目标相机参数，所述目标相机参数为拍摄所述目标图像的目标相机所对应的相机参数；
该第一获得模块702，被配置为通过目标深度预测模型对所述目标图像和所述目标相机参数进行处理，得到所述目标图像对应的图像深度预测结果，所述目标深度预测模型基于多个训练样本训练基础模型得到，所述训练样本包括样本图像和所述样本图像对应的样本相机参数。
可选地，所述第一获得模块702，包括：
第一特征提取子模块，被配置为通过所述目标深度预测模型，对所述目标图像进行多分辨率的特征提取，得到第一融合特征图；
第二特征提取子模块，被配置为对所述目标相机参数进行特征提取，得到相机参数特征；
第一获得子模块，被配置为对所述相机参数特征和所述第一融合特征图进行处理，得到第二融合特征图；
第二获得子模块，被配置为对所述第二融合特征图进行深度预测，得到所述目标图像对应的图像深度预测结果。
可选地，所述第一特征提取子模块，包括：
第一获得子单元，被配置为对所述目标图像进行特征提取，得到不同分辨率下的多个图像特征；
第二获得子单元，被配置为对所述多个图像特征进行特征融合，得到所述第一融合特征图。
可选地，所述第二特征提取子模块，包括：
第三获得子单元，被配置为对所述内参、外参和畸变参数进行拼接，得到拼接特征；
第四获得子单元，被配置为对所述拼接特征进行特征嵌入，得到所述相机参数特征。
可选地，所述第一获得子模块，包括：
第五获得子单元，被配置为通过所述相机参数特征，对所述第一融合特征图的每一个特征通道进行注意力激活，得到所述第二融合特征图。
可选地，所述图像深度确定装置700还包括：
第二获取模块，被配置为获取所述多个训练样本，每个所述训练样本携带标注标签，所述标注标签为所述训练样本的真实图像深度结果；
训练模块，被配置为根据所述多个训练样本，对所述基础模型进行多轮迭代训练；
第二获得模块，被配置为在每一轮训练之后，根据本轮训练得到的训练预测结果以及本轮训练中的训练样本对应的真实图像深度结果，得到本轮训练对应的预测损失；
优化模块，被配置为根据所述本轮训练对应的预测损失，对所述基础模型进行优化；
第三获得模块，被配置为在所述基础模型满足训练停止条件的情况下，停止训练，得到所述目标深度预测模型。
可选地，所述图像深度确定装置700还包括：
第三获取模块，被配置为获取所述样本图像对应的物理空间中的每个障碍物点的物理坐标；
第四获得模块，被配置为将每个障碍物点的物理坐标映射到所述样本图像上，得到所述样本图像的每一像素位置的深度值。
关于上述实施例中的图像深度确定装置700，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的图像深度确定方法的步骤。
图8是根据一示例性实施例示出的一种用于图像深度确定的装置的框图。例如，装置800可以是机器人和车辆等。
参照图8，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的图像深度确定方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器（LCD）和触摸面板（TP）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风（MIC），当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
输入/输出接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图像深度确定方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述图像深度确定方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
上述装置除了可以是独立的电子设备外，也可是独立电子设备的一部分，例如在一种实施例中，该装置可以是集成电路（Integrated Circuit，IC）或芯片，其中该集成电路可以是一个IC，也可以是多个IC的集合；该芯片可以包括但不限于以下种类：GPU（GraphicsProcessing Unit，图形处理器）、CPU（Central Processing Unit，中央处理器）、FPGA（Field Programmable Gate Array，可编程逻辑阵列）、DSP（Digital Signal Processor，数字信号处理器）、ASIC（Application Specific Integrated Circuit，专用集成电路）、SOC（System on Chip，SoC，片上系统或系统级芯片）等。上述的集成电路或芯片中可以用于执行可执行指令（或代码），以实现上述的图像深度确定方法。其中该可执行指令可以存储在该集成电路或芯片中，也可以从其他的装置或设备获取，例如该集成电路或芯片中包括处理器、存储器，以及用于与其他的装置通信的接口。该可执行指令可以存储于该存储器中，当该可执行指令被处理器执行时实现上述的图像深度确定方法；或者，该集成电路或芯片可以通过该接口接收可执行指令并传输给该处理器执行，以实现上述的图像深度确定方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的图像深度确定方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (8)
1.一种图像深度确定方法，其特征在于，包括：
获取目标图像和所述目标图像对应的目标相机参数，所述目标相机参数为拍摄所述目标图像的目标相机所对应的相机参数，所述目标相机参数包括所述目标相机的内参、外参和畸变参数；
通过目标深度预测模型对所述目标图像和所述目标相机参数进行处理，得到所述目标图像对应的图像深度预测结果，所述目标深度预测模型基于多个训练样本训练基础模型得到，所述训练样本包括样本图像和所述样本图像对应的样本相机参数，每个所述训练样本携带标注标签，所述标注标签为所述训练样本的真实图像深度结果；
其中，所述训练样本的真实图像深度结果包括所述样本图像的每一像素位置的深度值，所述样本图像的每一像素位置的深度值通过以下步骤得到：
获取所述样本图像对应的物理空间中的每个障碍物点的物理坐标；
将每个障碍物点的物理坐标映射到所述样本图像上，得到所述样本图像的每一像素位置的深度值；
其中，所述通过目标深度预测模型对所述目标图像和所述目标相机参数进行处理，得到所述目标图像对应的图像深度预测结果，包括：
通过所述目标深度预测模型，对所述目标图像进行多分辨率的特征提取，得到第一融合特征图；
对所述目标相机参数进行特征提取，得到相机参数特征；
对所述相机参数特征和所述第一融合特征图进行处理，得到第二融合特征图；
对所述第二融合特征图进行深度预测，得到所述目标图像对应的图像深度预测结果。
2.根据权利要求1所述的图像深度确定方法，其特征在于，
所述对所述目标图像进行多分辨率的特征提取，得到第一融合特征图，包括：
对所述目标图像进行特征提取，得到不同分辨率下的多个图像特征；
对所述多个图像特征进行特征融合，得到所述第一融合特征图。
3.根据权利要求1所述的图像深度确定方法，其特征在于，
所述对所述目标相机参数进行特征提取，得到相机参数特征，包括：
对所述内参、外参和畸变参数进行拼接，得到拼接特征；
对所述拼接特征进行特征嵌入，得到所述相机参数特征。
4.根据权利要求1所述的图像深度确定方法，其特征在于，
所述对所述相机参数特征和所述第一融合特征图进行处理，得到第二融合特征图，包括：
通过所述相机参数特征，对所述第一融合特征图的每一个特征通道进行注意力激活，得到所述第二融合特征图。
5.根据权利要求1~4任一所述的图像深度确定方法，其特征在于，所述目标深度预测模型通过以下步骤得到：
获取所述多个训练样本；
根据所述多个训练样本，对所述基础模型进行多轮迭代训练；
在每一轮训练之后，根据本轮训练得到的训练预测结果以及本轮训练中的训练样本对应的真实图像深度结果，得到本轮训练对应的预测损失；
根据所述本轮训练对应的预测损失，对所述基础模型进行优化；
在所述基础模型满足训练停止条件的情况下，停止训练，得到所述目标深度预测模型。
6.一种图像深度确定装置，其特征在于，包括：
第一获取模块，被配置为获取目标图像和所述目标图像对应的目标相机参数，所述目标相机参数为拍摄所述目标图像的目标相机所对应的相机参数，所述目标相机参数包括所述目标相机的内参、外参和畸变参数；
第一获得模块，被配置为通过目标深度预测模型对所述目标图像和所述目标相机参数进行处理，得到所述目标图像对应的图像深度预测结果，所述目标深度预测模型基于多个训练样本训练基础模型得到，所述训练样本包括样本图像和所述样本图像对应的样本相机参数，每个所述训练样本携带标注标签，所述标注标签为所述训练样本的真实图像深度结果；
其中，所述训练样本的真实图像深度结果包括所述样本图像的每一像素位置的深度值，所述样本图像的每一像素位置的深度值通过以下步骤得到：
获取所述样本图像对应的物理空间中的每个障碍物点的物理坐标；
将每个障碍物点的物理坐标映射到所述样本图像上，得到所述样本图像的每一像素位置的深度值；
其中，所述通过目标深度预测模型对所述目标图像和所述目标相机参数进行处理，得到所述目标图像对应的图像深度预测结果，包括：
通过所述目标深度预测模型，对所述目标图像进行多分辨率的特征提取，得到第一融合特征图；
对所述目标相机参数进行特征提取，得到相机参数特征；
对所述相机参数特征和所述第一融合特征图进行处理，得到第二融合特征图；
对所述第二融合特征图进行深度预测，得到所述目标图像对应的图像深度预测结果。
7.一种图像深度确定装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为实现权利要求1~5中任一项所述图像深度确定方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1~5中任一项所述图像深度确定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311022155.0A CN116740158B (zh) | 2023-08-14 | 2023-08-14 | 图像深度确定方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311022155.0A CN116740158B (zh) | 2023-08-14 | 2023-08-14 | 图像深度确定方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116740158A CN116740158A (zh) | 2023-09-12 |
| CN116740158B true CN116740158B (zh) | 2023-12-05 |
Family
ID=87915460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311022155.0A Active CN116740158B (zh) | 2023-08-14 | 2023-08-14 | 图像深度确定方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116740158B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118097595B (zh) * | 2024-02-28 | 2024-10-15 | 小米汽车科技有限公司 | 减速带识别方法、装置、存储介质及车辆 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559702A (zh) * | 2013-09-26 | 2014-02-05 | 哈尔滨商业大学 | 基于小波系数熵的二维单视图像深度估计方法 |
| EP2887311A1 (en) * | 2013-12-20 | 2015-06-24 | Thomson Licensing | Method and apparatus for performing depth estimation |
| CN110111244A (zh) * | 2019-05-08 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 图像转换、深度图预测和模型训练方法、装置及电子设备 |
| CN110490919A (zh) * | 2019-07-05 | 2019-11-22 | 天津大学 | 一种基于深度神经网络的单目视觉的深度估计方法 |
| CN113160298A (zh) * | 2021-03-31 | 2021-07-23 | 奥比中光科技集团股份有限公司 | 一种深度真值获取方法、装置、系统及深度相机 |
| CN113345082A (zh) * | 2021-06-24 | 2021-09-03 | 云南大学 | 一种特征金字塔多视图三维重建方法和系统 |
| CN113887400A (zh) * | 2021-09-29 | 2022-01-04 | 北京百度网讯科技有限公司 | 障碍物检测方法、模型训练方法、装置及自动驾驶车辆 |
| CN114820752A (zh) * | 2022-03-22 | 2022-07-29 | 支付宝(杭州)信息技术有限公司 | 深度估计方法和系统 |
| CN114937073A (zh) * | 2022-04-08 | 2022-08-23 | 陕西师范大学 | 一种基于多分辨率自适应性的多视角立体重建网络模型MA-MVSNet的图像处理方法 |
| CN115294275A (zh) * | 2022-08-05 | 2022-11-04 | 珠海普罗米修斯视觉技术有限公司 | 三维模型的重建方法、装置及计算机可读存储介质 |
| CN116543143A (zh) * | 2023-03-15 | 2023-08-04 | 中汽创智科技有限公司 | 一种目标检测模型的训练方法、目标检测方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108107571B (zh) * | 2013-10-30 | 2021-06-01 | 株式会社摩如富 | 图像处理装置及方法及非暂时性计算机可读记录介质 |
-
2023
- 2023-08-14 CN CN202311022155.0A patent/CN116740158B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559702A (zh) * | 2013-09-26 | 2014-02-05 | 哈尔滨商业大学 | 基于小波系数熵的二维单视图像深度估计方法 |
| EP2887311A1 (en) * | 2013-12-20 | 2015-06-24 | Thomson Licensing | Method and apparatus for performing depth estimation |
| CN110111244A (zh) * | 2019-05-08 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 图像转换、深度图预测和模型训练方法、装置及电子设备 |
| CN110490919A (zh) * | 2019-07-05 | 2019-11-22 | 天津大学 | 一种基于深度神经网络的单目视觉的深度估计方法 |
| CN113160298A (zh) * | 2021-03-31 | 2021-07-23 | 奥比中光科技集团股份有限公司 | 一种深度真值获取方法、装置、系统及深度相机 |
| CN113345082A (zh) * | 2021-06-24 | 2021-09-03 | 云南大学 | 一种特征金字塔多视图三维重建方法和系统 |
| CN113887400A (zh) * | 2021-09-29 | 2022-01-04 | 北京百度网讯科技有限公司 | 障碍物检测方法、模型训练方法、装置及自动驾驶车辆 |
| CN114820752A (zh) * | 2022-03-22 | 2022-07-29 | 支付宝(杭州)信息技术有限公司 | 深度估计方法和系统 |
| CN114937073A (zh) * | 2022-04-08 | 2022-08-23 | 陕西师范大学 | 一种基于多分辨率自适应性的多视角立体重建网络模型MA-MVSNet的图像处理方法 |
| CN115294275A (zh) * | 2022-08-05 | 2022-11-04 | 珠海普罗米修斯视觉技术有限公司 | 三维模型的重建方法、装置及计算机可读存储介质 |
| CN116543143A (zh) * | 2023-03-15 | 2023-08-04 | 中汽创智科技有限公司 | 一种目标检测模型的训练方法、目标检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116740158A (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111339846B (zh) | 图像识别方法及装置、电子设备和存储介质 | |
| US10930010B2 (en) | Method and apparatus for detecting living body, system, electronic device, and storage medium | |
| CN110688951B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN106651955B (zh) | 图片中目标物的定位方法及装置 | |
| CN108764069B (zh) | 活体检测方法及装置 | |
| CN110674719B (zh) | 目标对象匹配方法及装置、电子设备和存储介质 | |
| EP3226204B1 (en) | Method and apparatus for intelligently capturing image | |
| CN110543850B (zh) | 目标检测方法及装置、神经网络训练方法及装置 | |
| CN110503689B (zh) | 位姿预测方法、模型训练方法及装置 | |
| CN109829863B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN106778773B (zh) | 图片中目标物的定位方法及装置 | |
| US11288531B2 (en) | Image processing method and apparatus, electronic device, and storage medium | |
| JP2022540072A (ja) | 位置姿勢決定方法及び装置、電子機器並びに記憶媒体 | |
| CN116740158B (zh) | 图像深度确定方法、装置和存储介质 | |
| CN111626086A (zh) | 活体检测方法、装置及系统、电子设备和存储介质 | |
| CN113066135A (zh) | 图像采集设备的标定方法及装置、电子设备和存储介质 | |
| CN113538310A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| EP4254360A1 (en) | Target object detection method and apparatus, and readable storage medium | |
| CN111860074A (zh) | 目标对象检测方法及装置、驾驶控制方法及装置 | |
| CN111832338A (zh) | 对象检测方法及装置、电子设备和存储介质 | |
| CN115223143A (zh) | 用于自动驾驶车辆的图像处理方法、装置、设备及介质 | |
| CN115083021A (zh) | 对象姿态识别方法及装置、电子设备和存储介质 | |
| CN114550086A (zh) | 一种人群定位方法及装置、电子设备和存储介质 | |
| CN114723715A (zh) | 车辆目标检测方法、装置、设备、车辆及介质 | |
| CN114549983A (zh) | 计算机视觉模型训练方法及装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |