CN117252912A - 深度图像获取方法、电子设备及存储介质 - Google Patents

深度图像获取方法、电子设备及存储介质 Download PDF

Info

Publication number
CN117252912A
CN117252912A CN202210639619.1A CN202210639619A CN117252912A CN 117252912 A CN117252912 A CN 117252912A CN 202210639619 A CN202210639619 A CN 202210639619A CN 117252912 A CN117252912 A CN 117252912A
Authority
CN
China
Prior art keywords
image
point cloud
point
depth
error value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210639619.1A
Other languages
English (en)
Inventor
卢志德
李洁
郭锦斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hon Hai Precision Industry Co Ltd
Original Assignee
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hon Hai Precision Industry Co Ltd filed Critical Hon Hai Precision Industry Co Ltd
Priority to CN202210639619.1A priority Critical patent/CN117252912A/zh
Priority to US17/896,852 priority patent/US20230394690A1/en
Publication of CN117252912A publication Critical patent/CN117252912A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种深度图像获取方法、电子设备及存储介质。所述方法包括：获取第一图像及第二图像；基于深度学习网络模型对第一图像、第二图像进行处理得到第一预测深度图及第二预测深度图；将第一预测深度图、第二预测深度图转换为第一点云图及第二点云图；根据相机转换矩阵将第一点云图、第二点云图转换为第三点云图及第四点云图；将第一点云图与第四点云图进行点云匹配，并计算第一误差值；将第二点云图与第三点云图进行点云匹配，并计算第二误差值；根据第一误差值及第二误差值调整深度学习网络模型，得到目标深度学习网络模型；将待检测图像输入至目标深度学习网络模型，得到待检测图像对应的深度图像。本申请能够获得更加精准的深度图像。

Description

深度图像获取方法、电子设备及存储介质
技术领域
本申请涉及机器视觉领域，尤其涉及一种深度图像获取方法、电子设备及存储介质。
背景技术
车辆在自动行驶过程中，需要利用深度图像监测车辆周围的行人、车辆或者障碍物。目前获取深度图像的方式包括双目视觉方式、结构光方式以及飞行时间方式等。然而，目前上述几种方式获取的深度图像不够准确，从而影响自动驾驶的安全。
发明内容
鉴于以上内容，有必要提供一种深度图像获取方法、电子设备及存储介质，能够解决不够精确的深度图像会影响车辆自动行驶的安全性的技术问题。
本申请实施例提供一种深度图像获取方法，所述深度图像获取方法包括：获取相机相邻时间拍摄的第一图像及第二图像；及基于深度学习网络模型对所述第一图像进行处理得到第一预测深度图；及对所述第二图像进行处理得到第二预测深度图；对所述第一图像及所述第二图像进行处理得到所述第一图像和所述第二图像之间的相机转换矩阵；将所述第一预测深度图转换为第一点云图，及将所述第二预测深度图转换为第二点云图；根据所述相机转换矩阵将所述第一点云图转换为第三点云图，及将所述第二点云图转换为第四点云图；将所述第一点云图与所述第四点云图进行点云匹配，并计算所述第一点云图与所述第四点云图进行点云匹配的第一误差值；及将所述第二点云图与所述第三点云图进行点云匹配，并计算所述第二点云图与所述第三点云图进行点云匹配的第二误差值；根据所述第一误差值及所述第二误差值调整所述深度学习网络模型，得到目标深度学习网络模型；将待检测图像输入至所述目标深度学习网络模型，得到所述待检测图像对应的深度图像。利用所述方法，能够获取精确的深度图像以避免影响车辆的自动行驶。
在一种可选的实施方式中，所述将所述第一预测深度图转换为第一点云图，及将所述第二预测深度图转换为第二点云图包括：从所述第一预测深度图获取第一像素点坐标，并根据所述第一像素点坐标和所述相机的内外参矩阵变换公式得到所述第一点云图；及从所述第二预测深度图获取第二像素点坐标，并根据所述第二像素点坐标和所述相机的内外参矩阵变换公式得到所述第二点云图。
在一种可选的实施方式中，所述相机转换矩阵包括旋转矩阵及平移矩阵，所述根据所述相机转换矩阵将所述第一点云图转换为第三点云图，及将所述第二点云图转换为第四点云图包括：获取所述第一点云图中点的坐标并组合成第一坐标集；获取所述第二点云图中点的坐标并组合成第二坐标集；将所述旋转矩阵、所述平移矩阵与所述第一坐标集相乘得到所述第三点云图；及将所述旋转矩阵、所述平移矩阵与所述第二坐标集相乘得到所述第四点云图。
在一种可选的实施方式中，所述深度学习网络模型包括深度估计卷积神经网络及位姿估计卷积神经网络，所述基于深度学习网络模型对所述第一图像进行处理得到第一预测深度图，及对所述第二图像进行处理得到第二预测深度图包括：基于所述深度估计卷积神经网络对所述第一图像进行卷积运算及反卷积运算得到所述第一预测深度图；基于所述深度估计卷积神经网络对所述第二图像进行卷积运算及反卷积运算得到所述第二预测深度图。
在一种可选的实施方式中，所述对所述第一图像及所述第二图像进行处理得到所述第一图像和所述第二图像之间的相机转换矩阵包括：基于所述位姿估计卷积神经网络对所述第一图像及所述第二图像进行卷积运算得到相机转换矩阵。
在一种可选的实施方式中，所述将所述第一点云图与所述第四点云图进行点云匹配包括：根据所述相机转换矩阵及ICP算法公式将所述第一点云图与所述第四点云图进行点云匹配；其中，所述ICP算法公式为：
其中，E(X,Y)为点云匹配结果，R为所述旋转矩阵，xi为所述第一点云图中的第i个点，t为所述平移矩阵，yi为所述第四点云图中的第i个点。
在一种可选的实施方式中，所述计算所述第一点云图与所述第四点云图进行点云匹配的第一误差值包括：确定所述第一点云图与所述第四点云图的多个对应点对；根据所述相机的转换矩阵及多个所述对应点对，利用点云匹配的损失函数计算所述第一误差值，所述损失函数为：
其中，LOSS为第一误差值，n为所述第一点云图与所述第四点云图的对应点对的数量，Aj为所述第一点云图中的第j个点，Bj为所述第四点云图中的第j个点，Aj和Bj为一对对应点对。
在一种可选的实施方式中，所述根据所述第一误差值及所述第二误差值调整所述深度学习网络模型，得到目标深度学习网络模型包括：计算所述第一误差值与所述第二误差值的总和，得到所述深度学习网络模型的训练总误差值；调整所述深度学习网络模型的配置参数，直至所述训练总误差值不再降低，得到所述目标深度学习网络模型。
本申请实施例还提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现所述的深度图像获取方法。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现所述的深度图像获取方法。
本申请的技术方案中，能够提高所述深度图像的精确度及精细度，从而使自动驾驶更加安全。
附图说明
图1为本申请实施例提供的一种深度图像获取方法的应用环境图。
图2为本申请实施例提供的一种深度图像获取方法的流程图。
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的一些实施例的描述中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请的一些实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
如图1所示，图1为本申请实施例提供的一种深度图像获取方法的应用环境图。所述深度图像获取方法可应用于一个或者多个电子设备1中，所述电子设备1与单目摄像机2相通信。
所述深度图像获取方法应用于一个或者多个电子设备中，所述电子设备是一种能够按照事先设定或存储的计算机可读指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字信号处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet Protocol Television，IPTV)、智能穿戴式设备等。
所述电子设备可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络电子设备、多个网络电子设备组成的电子设备组或基于云计算(CloudComputing)的由大量主机或网络电子设备构成的云。
所述电子设备所处的网络包括，但不限于：互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
如图2所示，图2为本申请实施例提供的一种深度图像获取方法的流程图。根据不同的需求，该流程图中各个步骤的顺序可以根据实际需求进行调整，某些步骤可以省略。所述方法的执行主体为电子设备，例如图1所示的电子设备1。
步骤201，获取相机相邻时间拍摄的第一图像及第二图像。
在本申请的至少一个实施例中，所述相机可以是单目相机。所述第一图像及第二图像可以是车辆在行驶过程中利用单目相机所拍摄的图像。
在本申请的至少一个实施例中，第一图像及第二图像的获取方法还包括：
对所述车辆在行驶过程中的前方视野内容利用单目相机进行录制视频，利用OpenCV技术获取所述视频中相邻帧的图像作为所述第一图像及所述第二图像。
步骤202，基于深度学习网络模型获取所述第一图像的第一预测深度图、所述第二图像的第二预测深度图。
在本申请的至少一个实施例中，所述深度学习网络模型包括深度估计卷积神经网络及位姿估计卷积神经网络。
在本申请的至少一个实施例中，基于深度学习网络模型获取所述第一图像的第一预测深度图、所述第二图像的第二预测深度图包括：
利用所述深度估计卷积神经网络对所述第一图像进行处理得到所述第一预测深度图，所述深度估计卷积神经网络对所述第二图像进行处理得到所述第二预测深度图。
在本实施例中，所述深度估计卷积神经网络包括输入层、卷积层、反卷积层。
在本实施例中，将所述第一图像通过所述深度估计卷积神经网络的输入层输入所述深度估计卷积神经网络，经过所述深度估计卷积神经网络的卷积层进行卷积运算得到所述第一图像的特征图，将所述特征图输入所述反卷积层进行反卷积运算得到第一高维度特征图，最后将所述第一高维度特征图中每一个像素点映射成对应的深度并输出所述第一预测深度图。
在本实施例中，将所述第二图像通过所述输入层输入所述深度估计卷积神经网络，经过所述卷积层进行卷积运算得到所述第二图像的特征图，将所述特征图输入所述反卷积层进行反卷积运算得到第二高维度特征图，最后将所述第二高维度特征图中每一个像素点映射成对应的深度并输出所述第二预测深度图。
步骤203，对所述第一图像及所述第二图像进行处理得到所述第一图像和所述第二图像之间的相机转换矩阵。
在本申请的至少一个实施例中，所述对所述第一图像及所述第二图像进行处理得到所述第一图像和所述第二图像之间的相机转换矩阵包括：
利用所述位姿估计卷积神经网络对所述第一图像及所述第二图像进行处理得到所述第一图像和所述第二图像之间的相机转换矩阵。
在本实施例中，所述位姿估计卷积神经网络包括输入层、卷积层。
在本实施例中，将所述第一图像和所述第二图像通过所述位姿估计卷积神经网络的输入层输入所述位姿卷积神经网络，经过所述位姿估计卷积神经网络的卷积层进行卷积运算得到所述第一图像及第二图像的特征图，利用相机位姿估计算法，得到所述第一图像与所述第二图像之间的相机位姿，即相机转换矩阵。
步骤204，将所述第一预测深度图转换为第一点云图，及将所述第二预测深度图转换为第二点云图。
在本申请的至少一个实施例中，所述第一点云图及所述第二点云图均为三维(three dimension,3D)点云图。
在本申请的至少一个实施例中，将所述第一预测深度图转换为第一点云图包括：
从所述第一预测深度图获取第一像素点坐标，并根据所述第一像素点坐标和所述相机的内外参矩阵变换公式得到所述第一点云图。在本实施例中，将深度图转为点云的实质是坐标系的变换，即将图像坐标系转换为世界坐标系，基于相机的内外参矩阵变换公式，可以将深度图转换为3D点云图，从而解决如何将深度图转变为点云的问题。在本实施例中，所述第一像素点坐标可以是所述第一预测深度图中的任意一点像素点坐标。
在本实施例中，所述相机的内外参矩阵变换公式为：
其中，(x，y，z)为世界坐标，即第一像素点坐标对应的点云，f为相机的焦距，D为深度值，(x1，y1)为所述第一像素点坐标。利用上述公式(1)将所述第一预测深度图中的像素点坐标逐一转化为世界坐标，得到所述第一点云图。
在本申请的至少一个实施例中，所述将所述第二预测深度图转换为第二点云图与所述将所述第一预测深度图转换为第一点云图的方法相似，本申请对此不在赘述。
步骤205，根据所述相机转换矩阵将所述第一点云图转换为第三点云图，及将所述第二点云图转换为第四点云图。
在本申请的至少一个实施例中，所述相机转换矩阵包括旋转矩阵和平移矩阵。
在本申请的至少一个实施例中，根据所述相机转换矩阵将所述第一点云图转换为第三点云图，及将所述第二点云图转换为第四点云图包括：
获取所述第一点云图中点的坐标并组合成第一坐标集；
获取所述第二点云图中点的坐标并组合成第二坐标集；
将所述旋转矩阵、所述平移矩阵与所述第一坐标集相乘得到所述第三点云图；及
将所述旋转矩阵、所述平移矩阵与所述第二坐标集相乘得到所述第四点云图。
步骤206，将所述第一点云图与所述第四点云图进行点云匹配，并计算所述第一点云图与所述第四点云图进行点云匹配的第一误差值。
在本申请的至少一个实施例中，根据所述相机转换矩阵及ICP算法公式将所述第一点云图与所述第四点云图进行点云匹配。在本实施例中，所述ICP算法公式为：
其中，E(X,Y)为点云匹配结果，R为所述旋转矩阵，xi为所述第一点云图中的第i个点，t为所述平移矩阵，yi为所述第四点云图中的第i个点。利用上述公式将所述第一点云图与所述第四点云图进行点云匹配。
在本申请的至少一个实施例中，计算所述第一点云图与所述第四点云图进行点云匹配的第一误差值包括：
确定所述第一点云图与所述第四点云图的多个对应点对；
根据所述相机的转换矩阵及多个所述对应点对，利用点云匹配的损失函数计算所述第一误差值，所述损失函数为：
其中，LOSS为第一误差值，n为所述第一点云图与所述第四点云图的对应点对的数量，Aj为所述第一点云图中的第j个点，Bj为所述第四点云图中的第j个点，Aj和Bj为一对对应点对。
在本实施例中，确定所述第一点云图与所述第四点云图的多个对应点对包括：
获取所述第一点云图中的任意一点及所述第四点云图中的任意一点，根据所述相机转换矩阵及公式(2)进行点云匹配，根据所述第一点云与所述第四点云进行点云匹配所选取的点，利用公式(4)；
计算两点之间的距离，若所述距离小于预设阈值，确定所述第一点云所选取的点与所述第四点云所选取的点为一对对应点对。
在公式(4)，其中，d为第一点云与第四点云所选取的点的距离，m为所述第一点云图与所述第四点云图所选取的点的数量，Ak为所述第一点云图中的第k个点，Bk为所述第四点云图中的第k个点。
步骤207，将所述第二点云图与所述第三点云图进行点云匹配，并计算所述第二点云图与所述第三点云图进行点云匹配的第二误差值。
在本申请的至少一个实施例中，将所述第二点云图与所述第三点云图进行点云匹配，并计算所述第二点云图与所述第三点云图进行点云匹配的第二误差值的方法与所述将所述第一点云图与所述第四点云图进行点云匹配，并计算所述第一点云图与所述第四点云图进行点云匹配的第一误差值的方法相似，本申请在此不在赘述。
步骤208，根据所述第一误差值及所述第二误差值调整所述深度学习网络模型，得到目标深度学习网络模型。
在本申请的至少一个实施例中，根据所述第一误差值及所述第二误差值调整所述深度学习网络模型，得到目标深度学习网络模型包括：
计算所述第一误差值与所述第二误差值的总和，得到所述深度学习网络模型的训练总误差值；
调整所述深度学习网络模型的配置参数，直至所述训练总误差值不再降低，得到所述目标深度学习网络模型。
其中，所述配置参数是指所述深度估计卷积神经网络及所述位姿估计卷积神经网络中初始化配置的参数，例如，所述配置参数包括所述深度估计卷积神经网络中卷积层、反卷积层的层数及卷积层、反卷积层中卷积核的大小，所述配置参数还包括所述位姿估计卷积神经网络中卷积层的层数及卷积层中卷积核的大小。
步骤209，将待检测图像输入至所述目标深度学习网络模型，得到所述待检测图像对应的深度图像。
在本申请的至少一个实施例中，所述待检测图像包括自动驾驶车辆在行驶过程中的视野所对应的图像。
在本申请的至少一个实施例中，将所述待检测图像输入至所述目标深度学习网络模型即可得到所述待检测图像对应的深度图像，实现了基于单目图像获取深度图像的技术效果。
需要说明的是，以上所述，仅是本申请的具体实施方式，但本申请的保护范围并不局限于此，对于本领域的普通技术人员来说，在不脱离本申请创造构思的前提下，还可以做出改进，但这些均属于本申请的保护范围。
如图3所示，图3为本申请实施例提供的一种电子设备的结构示意图。所述电子设备1包括存储器301、至少一个处理器302、存储在所述存储器301中并可在所述至少一个处理器302上运行的计算机程序303及至少一条通讯总线304。
本领域技术人员可以理解，图3所示的示意图仅仅是所述电子设备1的示例，并不构成对所述电子设备1的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备1还可以包括输入输出设备、网络接入设备等。
所述至少一个处理器302可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。该至少一个处理器302可以是微处理器或者该至少一个处理器302也可以是任何常规的处理器等，所述至少一个处理器302是所述电子设备1的控制中心，利用各种接口和线路连接整个电子设备1的各个部分。
所述存储器301可用于存储所述计算机程序303，所述至少一个处理器302通过运行或执行存储在所述存储器301内的计算机程序303，以及调用存储在存储器301内的数据，实现所述电子设备1的各种功能。所述存储器301可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备1的使用所创建的数据(比如音频数据)等。此外，存储器301可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器以及只读存储器(ROM，Read-Only Memory)。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (10)

1.一种深度图像获取方法，其特征在于，所述深度图像获取方法包括：
获取相机相邻时间拍摄的第一图像及第二图像；及
基于深度学习网络模型对所述第一图像进行处理得到第一预测深度图；及
对所述第二图像进行处理得到第二预测深度图；
对所述第一图像及所述第二图像进行处理得到所述第一图像和所述第二图像之间的相机转换矩阵；
将所述第一预测深度图转换为第一点云图，及将所述第二预测深度图转换为第二点云图；
根据所述相机转换矩阵将所述第一点云图转换为第三点云图，及将所述第二点云图转换为第四点云图；
将所述第一点云图与所述第四点云图进行点云匹配，并计算所述第一点云图与所述第四点云图进行点云匹配的第一误差值；及
将所述第二点云图与所述第三点云图进行点云匹配，并计算所述第二点云图与所述第三点云图进行点云匹配的第二误差值；
根据所述第一误差值及所述第二误差值调整所述深度学习网络模型，得到目标深度学习网络模型；
将待检测图像输入至所述目标深度学习网络模型，得到所述待检测图像对应的深度图像。
2.根据权利要求1所述的深度图像获取方法，其特征在于，所述将所述第一预测深度图转换为第一点云图，及将所述第二预测深度图转换为第二点云图包括：
从所述第一预测深度图获取多个第一像素点坐标，并根据所述多个第一像素点坐标和所述相机的内外参矩阵变换公式得到所述第一点云图；及
从所述第二预测深度图获取多个第二像素点坐标，并根据所述多个第二像素点坐标和所述相机的内外参矩阵变换公式得到所述第二点云图。
3.根据权利要求1所述的深度图像获取方法，其特征在于，所述相机转换矩阵包括旋转矩阵及平移矩阵，所述根据所述相机转换矩阵将所述第一点云图转换为第三点云图，及将所述第二点云图转换为第四点云图包括：
获取所述第一点云图中点的坐标并组合成第一坐标集；
获取所述第二点云图中点的坐标并组合成第二坐标集；
将所述旋转矩阵、所述平移矩阵与所述第一坐标集相乘得到所述第三点云图；及
将所述旋转矩阵、所述平移矩阵与所述第二坐标集相乘得到所述第四点云图。
4.根据权利要求1所述的深度图像获取方法，其特征在于，所述深度学习网络模型包括深度估计卷积神经网络及位姿估计卷积神经网络，所述基于深度学习网络模型对所述第一图像进行处理得到第一预测深度图，及对所述第二图像进行处理得到第二预测深度图包括：
基于所述深度估计卷积神经网络对所述第一图像进行卷积运算及反卷积运算得到所述第一预测深度图；
基于所述深度估计卷积神经网络对所述第二图像进行卷积运算及反卷积运算得到所述第二预测深度图。
5.根据权利要求4所述的深度图像获取方法，其特征在于，所述对所述第一图像及所述第二图像进行处理得到所述第一图像和所述第二图像之间的相机转换矩阵包括：
基于所述位姿估计卷积神经网络对所述第一图像及所述第二图像进行卷积运算得到相机转换矩阵。
6.根据权利要求3所述的深度图像获取方法，其特征在于，所述将所述第一点云图与所述第四点云图进行点云匹配包括：
根据所述相机转换矩阵及ICP算法公式将所述第一点云图与所述第四点云图进行点云匹配；
其中，所述ICP算法公式为：
其中，E(X,Y)为点云匹配结果，R为所述旋转矩阵，xi为所述第一点云图中的第i个点，t为所述平移矩阵，yi为所述第四点云图中的第i个点。
7.根据权利要求1所述的深度图像获取方法，其特征在于，所述计算所述第一点云图与所述第四点云图进行点云匹配的第一误差值包括：
确定所述第一点云图与所述第四点云图的多个对应点对；
根据所述相机的转换矩阵及多个所述对应点对，利用点云匹配的损失函数计算所述第一误差值，所述损失函数为：
其中，LOSS为第一误差值，n为所述第一点云图与所述第四点云图的对应点对的数量，Aj为所述第一点云图中的第j个点，Bj为所述第四点云图中的第j个点，Aj和Bj为一对对应点对。
8.根据权利要求1所述的深度图像获取方法，其特征在于，所述根据所述第一误差值及所述第二误差值调整所述深度学习网络模型，得到目标深度学习网络模型包括：
计算所述第一误差值与所述第二误差值的总和，得到所述深度学习网络模型的训练总误差值；
调整所述深度学习网络模型的配置参数，直至所述训练总误差值不再降低，得到所述目标深度学习网络模型。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至8中任意一项所述的深度图像获取方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至8中任意一项所述的深度图像获取方法。
CN202210639619.1A 2022-06-07 2022-06-07 深度图像获取方法、电子设备及存储介质 Pending CN117252912A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210639619.1A CN117252912A (zh) 2022-06-07 2022-06-07 深度图像获取方法、电子设备及存储介质
US17/896,852 US20230394690A1 (en) 2022-06-07 2022-08-26 Method for obtaining depth images for improved driving safety and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210639619.1A CN117252912A (zh) 2022-06-07 2022-06-07 深度图像获取方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117252912A true CN117252912A (zh) 2023-12-19

Family

ID=88976842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210639619.1A Pending CN117252912A (zh) 2022-06-07 2022-06-07 深度图像获取方法、电子设备及存储介质

Country Status (2)

Country Link
US (1) US20230394690A1 (zh)
CN (1) CN117252912A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765499A (zh) * 2023-12-30 2024-03-26 武汉奥思工业设计有限公司 一种车辆辅助驾驶智能决策方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765499A (zh) * 2023-12-30 2024-03-26 武汉奥思工业设计有限公司 一种车辆辅助驾驶智能决策方法及系统

Also Published As

Publication number Publication date
US20230394690A1 (en) 2023-12-07

Similar Documents

Publication Publication Date Title
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
CN112446380A (zh) 图像处理方法和装置
WO2021063341A1 (zh) 图像增强方法以及装置
CN112561978B (zh) 深度估计网络的训练方法、图像的深度估计方法、设备
CN112602319B (zh) 一种对焦装置、方法及相关设备
CN112819875B (zh) 单目深度估计的方法、装置及电子设备
CN113298870B (zh) 一种物体的姿态跟踪方法、装置、终端设备和存储介质
JP2021531601A (ja) ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器
CN111753739A (zh) 物体检测方法、装置、设备以及存储介质
CN113269689A (zh) 一种基于法向量和高斯权重约束的深度图像补全方法及系统
CN115578516A (zh) 一种三维成像方法、装置、设备和存储介质
CN117252912A (zh) 深度图像获取方法、电子设备及存储介质
CN114529800A (zh) 一种旋翼无人机避障方法、系统、装置及介质
CN113056907A (zh) 拍摄方法、拍摄装置及存储介质
TWI817540B (zh) 深度圖像獲取方法、電子設備及計算機可讀存儲媒體
CN117333837A (zh) 行车安全辅助方法、电子设备及存储介质
CN113505885A (zh) 基于预设的损失函数的单目深度估计网络的训练方法
TWI832302B (zh) 深度圖像獲取方法、電子設備及電腦可讀存儲媒體
CN117333827A (zh) 深度图像获取方法、电子设备及存储介质
TWI817579B (zh) 行車安全輔助方法、電子設備及電腦可讀存儲媒體
TWI817580B (zh) 行車安全輔助方法、電子設備及電腦可讀存儲媒體
CN116597097B (zh) 用于自动驾驶的三维场景重建方法、电子设备和存储介质
TWI814503B (zh) 深度識別模型訓練方法、圖像深度識別方法及相關設備
CN117409059A (zh) 图像深度识别方法、电子设备及存储介质
CN116934830A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination