CN113888611B - 一种确定图像深度的方法、装置及存储介质 - Google Patents

一种确定图像深度的方法、装置及存储介质 Download PDF

Info

Publication number
CN113888611B
CN113888611B CN202111030122.1A CN202111030122A CN113888611B CN 113888611 B CN113888611 B CN 113888611B CN 202111030122 A CN202111030122 A CN 202111030122A CN 113888611 B CN113888611 B CN 113888611B
Authority
CN
China
Prior art keywords
image
sub
target object
determining
support plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111030122.1A
Other languages
English (en)
Other versions
CN113888611A (zh
Inventor
熊小东
任海兵
申浩
夏华夏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202111030122.1A priority Critical patent/CN113888611B/zh
Publication of CN113888611A publication Critical patent/CN113888611A/zh
Application granted granted Critical
Publication of CN113888611B publication Critical patent/CN113888611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本说明书公开了一种确定图像深度的方法、装置及存储介质，本说明书实施例先根据待处理图像中第一目标物所在的第一像素区域，确定各支撑平面。针对每个支撑平面，通过该支撑平面找投影图像中与第一像素区域具有映射关系的第一子图像。确定第一子图像与第二子图像之间的匹配结果。根据针对每个支撑平面得到的匹配结果，确定第一目标物对应的标准支撑平面。根据标准支撑平面，确定第一目标物对应的深度信息。在此方法中，将待处理图像中第一目标物所在的第一像素区域作为一个整体，将与第一像素区域具有映射关系的第一子图像与第二子图像进行全局匹配，避免了由于图像存在异常状况所带来的降低匹配效果的问题，从而更准确获取目标物对应的深度信息。

Description

一种确定图像深度的方法、装置及存储介质
技术领域
本说明书涉及自动驾驶领域，尤其涉及一种确定图像深度的方法、装置及存储介质。
背景技术
在自动驾驶领域，无人设备的行驶离不开高精地图。在构建高精地图的过程中，需要根据拍摄目标物图像时相机内外参数和图像深度，将目标物图像上的目标物从二维空间变换到三维空间，在此过程中如何准确确定图像深度显得十分重要。其中，图像深度是指相机拍摄图像时目标物与相机之间的距离。
现有技术中，在世界坐标系下，可以将世界坐标系下的三维目标物近似看成一个平面，该平面作为该三维目标物的支撑平面。其中，支撑平面可以表示目标物离相机的距离。针对相机采集的相邻两帧目标物图像，假设为第一帧目标物图像和第二帧目标物图像。先为第一帧目标物图像中的每个像素点确定两个支撑平面。然后，为第一帧目标物图像中的每个像素点确定包含该像素点的固定窗口，针对该像素点对应的每个支撑平面，通过该支撑平面，在第二帧目标物图像中找到与固定窗口中的所有像素点具有映射关系的各像素点，作为各投影像素点。计算固定窗口中的所有像素点与各投影像素点之间的相似度，作为该支撑平面对应的相似度。从两个支撑平面中选择出相似度高的支撑平面，作为该像素点的最佳支撑平面。最后，根据第一帧目标物图像中每个像素点的最佳支撑平面，确定目标物与相机的距离。
然而，由于现有技术中采用窗口匹配的方法，只能获得当前帧图像中固定窗口内的像素点构成的子图像与另一帧图像进行匹配。当固定窗口的大小小于当前帧图像中目标物的大小时，固定窗口内的像素点与另一帧图像中的目标物只能进行局部匹配。在进行局部匹配的同时，两帧图像均可能存在图像纹理贫乏、图像模糊等异常状况，这降低了局部匹配效果，可能导致当前帧图像中像素点对应的支撑平面并不是最优的，从而根据支撑平面获得的目标物离相机的距离不准确。
发明内容
本说明书实施例提供一种确定图像深度的方法、装置及存储介质，以部分解决上述现有技术存在的问题。
本说明书实施例采用下述技术方案：
本说明书提供的一种确定图像深度的方法，包括：
确定待处理图像以及投影图像；
确定所述待处理图像中第一目标物所在的第一像素区域；
根据所述像素区域中各像素点，确定所述第一目标物对应的各支撑平面；
针对每个支撑平面，通过该支撑平面确定所述投影图像中与所述第一像素区域具有映射关系的第二像素区域；
根据所述投影图像中的第二像素区域，确定所述第二像素区域中的第一子图像；确定所述投影图像中与所述第一目标物同类型的第二目标物所在的第三像素区域以及所述第三像素区域中的第二子图像；
将所述第一子图像与所述第二子图像进行匹配，得到匹配结果；
根据针对每个支撑平面得到的匹配结果，从各支撑平面中选择出所述第一目标物对应的标准支撑平面；
根据选择出的标准支撑平面，确定所述第一目标物对应的深度信息。
可选地，在确定所述待处理图像中第一目标物所在的第一像素区域之前，所述方法还包括：
通过图像分割算法，确定所述待处理图像和所述投影图像中所有目标物的类型以及所有目标物所在的像素区域。
可选地，针对每个支撑平面，通过该支撑平面确定所述投影图像中与所述第一像素区域具有映射关系的第二像素区域，具体包括：
确定图像采集设备采集所述待处理图像时所述图像采集设备的第一位姿；确定图像采集设备采集所述投影图像时所述图像采集设备的第二位姿；
针对每个支撑平面，根据所述第一位姿、所述第二位姿以及该支撑平面，确定所述投影图像中与所述第一像素区域具有映射关系的第二像素区域。
可选地，确定所述投影图像中与所述第一目标物同类型的第二目标物所在的第三像素区域以及所述第三像素区域中的第二子图像，具体包括：
确定所述投影图像中与所述第一目标物同类型的各第二目标物所在的各第三像素区域；确定所述各第三像素区域中的各第二子图像。
可选地，将所述第一子图像与所述第二子图像进行匹配，得到匹配结果，具体包括：
根据所述第二像素区域与所述各第三像素区域之间的距离，从所述各第三像素区域中选出距离第二像素区域最近的第三像素区域；并将选择出的第三像素区域中的第二子图像作为待匹配第二子图像；
将所述第一子图像与所述待匹配第二子图像进行匹配，得到匹配结果。
可选地，将所述第一子图像与所述待匹配第二子图像进行匹配，得到匹配结果，具体包括：
计算所述第一子图像与所述待匹配第二子图像之间的交并比；
根据所述交并比，确定所述第一子图像与所述待匹配第二子图像之间的匹配结果。
可选地，所述投影图像为多个；
根据选择出的标准支撑平面，确定所述第一目标物对应的深度信息，具体包括：
针对每个投影图像，确定所述第一目标物根据该投影图像得到的标准支撑平面以及所述第一目标物得到该标准支撑平面所依据的匹配结果；
根据所述第一目标物得到每个标准支撑平面所述依据的匹配结果，从根据每个投影图像得到的各标准支撑平面中选择标准支撑平面，作为所述第一目标物对应的初始标准支撑平面；
根据所述初始标准支撑平面，确定所述第一目标物对应的深度信息。
可选地，根据所述初始标准支撑平面，确定所述第一目标物对应的深度信息，具体包括：
以所述第一目标物对应的初始标准支撑平面为基准，对所述初始标准支撑平面进行调整，得到至少一个调整支撑平面；
针对每个调整支撑平面，确定通过该调整支撑平面得到的第一子图像与第二子图像之间的匹配结果；
根据针对每个调整支撑平面得到的匹配结果与所述初始标准支撑平面得到的匹配结果，从各调整支撑平面和初始标准支撑平面中选择出所述第一目标物对应的最终标准支撑平面；
根据所述最终标准支撑平面，确定所述第一目标物对应的深度信息。
可选地，所述方法还包括：
根据所述第一目标物对应的深度信息以及确定所述第一目标物对应的深度信息所依据的支撑平面，确定所述第一目标物对应的三维信息；
根据所述第一目标物对应的三维信息，构建高精地图。
本说明书提供的一种确定图像深度的装置，包括：
第一确定模块，用于确定待处理图像以及投影图像；
第二确定模块，用于确定所述待处理图像中第一目标物对应的像素区域；
第三确定模块，用于根据所述像素区域中各像素点，确定所述第一目标物对应的各支撑平面；
第四确定模块，用于针对每个支撑平面，通过该支撑平面确定所述投影图像中与所述第一像素区域具有映射关系的第二像素区域；
第五确定模块，用于根据所述投影图像中的第二像素区域，确定所述第二像素区域中的第一子图像；确定所述投影图像中与所述第一目标物同类型的第二目标物所在的第三像素区域以及所述第三像素区域中的第二子图像；
匹配模块，用于将所述第一子图像与所述第二子图像进行匹配，得到匹配结果；
选择模块，用于根据针对每个支撑平面得到的匹配结果，从各支撑平面中选择出所述第一目标物对应的标准支撑平面；
第六确定模块，用于根据选择出的标准支撑平面，确定所述第一目标物对应的深度信息。
本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的确定图像深度的方法。
本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的确定图像深度的方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
本说明书实施例在确定待处理图像和投影图像之后，先根据待处理图像中第一目标物所在的第一像素区域，确定各支撑平面。针对每个支撑平面，通过该支撑平面找与第一像素区域具有映射关系的第二像素区域。确定第二像素区域中的第一子图像与第三像素区域中第二子图像之间的匹配结果。根据针对每个支撑平面得到的匹配结果，确定第一目标物对应的标准支撑平面。根据标准支撑平面，确定第一目标物对应的深度信息。在此方法中，将待处理图像中的第一目标物所在的第一像素区域作为一个整体，将与第一像素区域具有映射关系的第二像素区域中的第一子图像与第三像素区域中第二子图像进行全局匹配，避免了由于图像存在异常状况所带来的降低匹配效果的问题，从而提高了获取目标物与图像采集设备之间的距离的准确性。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为现有技术中提供的窗口匹配的示意图；
图2为本说明书实施例提供的确定图像深度的流程示意图；
图3为本说明书实施例提供的建立支撑平面的示意图；
图4为本说明书实施例提供的确定第二像素区域的示意图；
图5为本说明书实施例提供的第一子图像与第二子图像匹配的示意图；
图6为本说明书实施例提供的确定图像深度的装置结构示意图；
图7为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
现有技术中，在世界坐标系下，可以将世界坐标系下的三维目标物近似看成一个平面，该平面作为该三维目标物的支撑平面。其中，支撑平面可以表示目标物离相机的距离。如图1所示，以4×4尺寸大小的第一帧目标物图像为例，先为目标物图像中的每个像素随机分配支撑平面。
然后，针对像素点2，为像素点2确定一个与像素点1对应的支撑平面相同的支撑平面，此时，像素点2有两个支撑平面，分别为支撑平面1和支撑平面2。以像素点2确定2×2固定窗口(固定窗口用虚线框表示)，通过支撑平面1确定固定窗口中所有像素点与第二帧目标物图像的第一映射关系，然后，计算固定窗口中所有像素点构成的子图像(由第一帧目标物图像中的像素点2、3、6、7构成)与第二帧目标物图像上具有第一映射关系的像素点构成的子图像(由第二帧目标物图像中的像素点3、4、7、8构成)之间的第一相似度。同样，通过支撑平面2确定固定窗口中所有像素点与第二帧目标物图像的第二映射关系，然后，计算固定窗口中所有像素点构成的子图像与第二帧目标物图像上具有第二映射关系的像素点构成的子图像之间的第二相似度。比较第一相似度与第二相似度，将相似度大的支撑平面作为像素点2的最佳支撑平面。
针对像素点3，为像素点3确定一个与像素点2对应的最佳支撑平面相同的支撑平面，并从像素点3对应的两个支撑平面中选择出一个支撑平面作为像素点3的最佳支撑平面，以此类推，确定第一帧目标物图像中每个像素点的最佳支撑平面。即，可以获得目标物与相机之间的距离。
然而，由于现有技术中采用窗口匹配的方法，只能获得当前帧图像中固定窗口内的像素点构成的子图像与另一帧图像进行匹配。当固定窗口的大小小于当前帧图像中目标物的大小时，固定窗口内的像素点与另一帧图像中的目标物只能进行局部匹配。在进行局部匹配的同时，两帧图像均可能存在图像纹理贫乏、图像模糊等异常状况，这降低了局部匹配效果，可能导致当前帧图像中像素点对应的支撑平面并不是最优的，从而根据支撑平面获得的目标物离相机的距离不准确。
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图2为本说明书实施例提供的确定图像深度的流程示意图，包括：
S200：确定待处理图像以及投影图像。
S202：确定所述待处理图像中第一目标物所在的第一像素区域。
在本说明书实施例中，在自动驾驶领域，无人设备可以通过安装的图像采集设备，采集无人设备自身周围的图像。然后，可以根据采集到的图像和其他传感器获取的数据进行行驶。其中，图像采集设备可以是相机、摄像头等。所述的无人设备可以是无人车和无人机。所述的无人设备可用于物流配送领域，既包括外卖、配送等即时配送领域，也包括其他非即时配送领域。另外，为了节省高精地图的成本，可以利用无人设备行驶过程中采集到的图像进行全局匹配，得到图像深度。然后，根据图像深度，构建高精地图。其中，图像深度可以是指图像采集设备采集目标物的图像时目标物与图像采集设备之间的距离。
在本说明书实施例中，通过安装在无人设备上的图像采集设备获取无人设备周围环境的图像之后，先确定待处理图像和投影图像。其中，待处理图像与投影图像属于图像采集设备采集的同一视频中的不同帧图像，并且以待处理图像的采集时刻为准，确定距离待处理图像的采集时刻预设时长内的图像，作为投影图像。即，在同一视频中，可以任意选取一帧图像作为待处理图像，同时选取与距离待处理图像的采集时刻预设时长内的图像作为投影图像。投影图像可以为多个。接下来，以一个投影图像为例，对图2所示的确定图像深度的方法进行说明。
然后，根据图像分割算法，对待处理图像中不同类型目标物进行分割，得到不同目标物的类型以及不同目标物所在的像素区域。同时，对投影图像中不同类型目标物进行分割，得到不同目标物的类型以及不同目标物所在的像素区域。其中，满足高精地图的构建精度的条件下，目标物可以指在世界坐标系下可以忽略其厚度的事物。目标物可包括：路灯、交通路牌、红绿灯、车道线等。图像分割算法可包括：Mask-RCNN、区域生长等。
进一步，针对待处理图像，确定待处理图像中第一目标物的类型和第一目标物所在的第一像素区域。同时，确定投影图像中与第一目标物的同类型的第二目标物和第二目标物所在的第三像素区域。
S204：根据所述像素区域中各像素点，确定所述第一目标物对应的各支撑平面。
在本说明书实施例中，在确定待处理图像中的第一目标物所在的第一像素区域之后，可以根据第一目标物所在的第一像素区域中各像素点，确定所述第一目标物对应的各支撑平面。其中，可以从第一像素区域中选取部分像素点，为部分像素点中每个像素点随机确定一个支撑平面。也可以为第一像素区域中每个像素点随机确定一个支撑平面。即，对根据第一目标物所在的第一像素区域确定的支撑平面的个数不作限制。
对于第一目标物对应的支撑平面，高精地图在满足一定的精度条件下，可以近似地认为某些目标物(比如：车道线、交通路牌)在三维空间位于一个平面上，即，忽略目标物的厚度，这时，目标物所处的平面称为该目标物的支撑平面。也就是，第一目标物对应的支撑平面可以是指在世界坐标系下第一目标物忽略其厚度之后所处的平面。
支撑平面的表示：支撑平面
Figure BDA0003244799410000091
由三个参数表示，分别为d、θ、/>
Figure BDA0003244799410000092
d表示目标物与图像采集设备之间的距离，/>
Figure BDA0003244799410000093
表示支撑平面法向量的球面坐标参数，θ为天顶角，/>
Figure BDA0003244799410000094
为方位角。所以，支撑平面可以表示目标物与图像采集设备之间的距离。即，目标物对应的深度信息。
以图像中目标物的像素点p为例，为像素点p随机建立支撑平面，如图3所示。在图3中，在图像采集设备A的坐标系下，像素点p为图像上一个像素点，Q为像素点p对应的三维坐标，d为目标物与图像采集设备之间的距离，n为像素点p对应的支撑平面的法向量。
另外，对于Q的计算公式为：Q＝d*K-1*p。其中，K为图像采集设备的内参矩阵，p为像素点p的齐次坐标，d∈[dmin,dmax]，d根据实际需求确定。
对于法向量n的计算公式为：
Figure BDA0003244799410000095
其中，θ、/>
Figure BDA0003244799410000096
的取值范围根据坐标系的选择以及目标物类别而异。如对于无人车场景，在图像采集设备A的坐标系下，交通路牌可取θ∈[150°,180°]，/>
Figure BDA0003244799410000097
路面目标(如车道线等)可取θ∈[60°，120°]，
Figure BDA0003244799410000098
S206：针对每个支撑平面，通过该支撑平面确定所述投影图像中与所述第一像素区域具有映射关系的第二像素区域。
在本说明书实施例中，在为第一目标物随机确定各支撑平面之后，针对每个支撑平面，可以通过该支撑平面，在投影图像中查找(确定)与第一目标物所在的第一像素区域具有映射关系的第二像素区域。其中，映射关系可以指像素位置的变换关系。即，将第一目标物对应的所有像素点的位置通过该支撑平面映射到投影图像中，确定投影图像中与第一目标物的像素点具有位置映射关系的像素点。如图4所示。
在图4中，待处理图像中的第一目标物所在的第一像素区域以3×3为例，将第一像素区域映射到投影图像中，在投影图像中得到3×3大小的第二像素区域。
具体的，可以先确定图像采集设备采集待处理图像时的图像采集设备的第一位姿，同时，确定图像采集设备采集投影图像时的图像采集设备的第二位姿。然后，针对每个支撑平面，根据第一位姿、第二位姿以及该支撑平面，确定投影图像中与第一像素区域具有映射关系的第二像素区域。其中，第一位姿可包括：三维坐标、俯仰角、偏航角等，第二位姿可包括：三维坐标、俯仰角、偏航角等。
进一步，先根据第一位姿和该支撑平面，将第一目标物所在的第一像素区域映射到该支撑平面上。然后，根据第二位姿和该支撑平面，将该支撑平面上与第一像素区域具有映射关系的像素区域再映射到投影图像上，在投影图像上得到与第一像素区域具有映射关系的第二像素区域。
其中，确定图像采集设备采集待处理图像时的图像采集设备的第一位姿的方法可包括：根据图像采集设备采集待处理图像的采集时刻，获取该采集时刻无人设备的位姿。根据获取到的无人设备的位姿以及图像采集设备的内置参数，确定该采集时刻图像采集设备的初始位姿。然后，根据视觉同步定位与建图(visual-slam)算法，对初始位姿进行调整，得到该采集时刻图像采集设备最终的位姿，作为第一位姿。其中，visual-slam算法可以替换为sfm算法。另外，确定图像采集设备采集投影图像时图像采集设备的第二位姿的方法与确定图像采集设备采集待处理图像时的图像采集设备的第一位姿的方法相同。
S208：根据所述投影图像中的第二像素区域，确定所述第二像素区域中的第一子图像；确定所述投影图像中与所述第一目标物同类型的第二目标物所在的第三像素区域以及所述第三像素区域中的第二子图像。
S210：将所述第一子图像与所述第二子图像进行匹配，得到匹配结果。
在本说明书实施例中，在确定投影图像上第二像素区域之后，可以先确定投影图像中第二像素区域中的第一子图像和投影图像中第二目标物所在的第三像素区域中的第二子图像。然后，将第一子图像与第二子图像进行匹配，得到匹配结果。如图5所示。其中，第一目标物与第二目标物属于同一类型的目标物。第一子图像与第二子图像进行匹配时，根据第一子图像的像素值与第二子图像的像素值进行匹配。
在图5中，用虚线框确定区域为第二像素区域，用斜线填充的区域为第三像素区域。然后，第二像素区域中第一子图像与第三像素区域中的第二子图像进行匹配。
具体的，当投影图像中只存在一个第二目标物时，将第一子图像与第二子图像进行匹配的方法可包括：可以根据第二目标物所在的第三像素区域中第二子图像与第一子图像之间的相似度，确定第一子图像与第二子图像之间的匹配结果。其中，第一子图像与第二子图像之间的相似度越大，第一子图像与第二子图像之间的匹配度越高。
此外，将第一子图像与第二子图像进行匹配的方法还包括：可以根据第二目标物所在的第三像素区域中第二子图像与第一子图像之间的交并比，确定第一子图像与第二子图像之间的匹配结果。其中，第一子图像与第二子图像之间的交并比越大，第一子图像与第二子图像之间的匹配度越高。另外，第一子图像与第二子图像之间的交并比表示第一子图像与第二子图像之间的重合度。
在本说明书实施例中，通过不同的支撑平面得到不同的第一子图像，然后，将不同的第一子图像分别与第二子图像进行匹配，得到不同的匹配结果。其中，不同的支撑平面对应各自的匹配结果。
S212：根据针对每个支撑平面得到的匹配结果，从各支撑平面中选择出所述第一目标物对应的标准支撑平面。
在本说明书实施例中，在针对每个支撑平面得到匹配结果之后，可以根据每个支撑平面对应的匹配结果，为第一目标物从各支撑平面中选择出一个支撑平面作为标准支撑平面。
具体的，根据通过各支撑平面确定的各第一子图像与第二子图像之间的相似度，选择相似度大于第一阈值的第一子图像，并将相似度大于第一阈值的第一子图像所对应的支撑平面作为第一目标物的标准支撑平面。当存在多个第一子图像与第二子图像之间相似度大于第一阈值时，从多个第一子图像中选择第一子图像与第二子图像之间的相似度最大的第一子图像，并将该第一子图像所对应的支撑平面作为第一目标物的标准支撑平面。
此外，当第一子图像与第二子图像之间的匹配标准为交并比时，可以根据通过各支撑平面确定的各第一子图像与第二子图像之间的交并比，选择交并比大于第二阈值的第一子图像，并将交并比大于第二阈值的第一子图像所对应的支撑平面作为第一目标物的标准支撑平面。当存在多个第一子图像与第二子图像之间交并比大于第二阈值时，从多个第一子图像中选择第一子图像与第二子图像之间的交并比最大的第一子图像，并将该第一子图像所对应的支撑平面作为第一目标物的标准支撑平面。
S214：根据选择出的标准支撑平面，确定所述第一目标物对应的深度信息。
在本说明书实施例中，在为第一目标物选择出标准支撑平面之后，可以根据标准支撑平面对应的参数，确定第一目标物对应的深度信息。也就是，确定图像采集设备采集第一目标物的图像时图像采集设备与第一目标物之间的距离。
在本说明书实施例中，在确定第一目标物对应的深度信息之后，可以根据第一目标物对应的深度信息，构建高精地图。
具体的，可以根据第一目标物对应的深度信息以及确定第一目标物对应的深度信息所依据的支撑平面，确定第一目标物对应的三维信息。然后，根据第一目标物对应的三维信息，构建高精地图。
进一步，可以根据图像采集设备采集待处理图像时的第一位姿、第一目标物所在的第一像素区域、第一目标物对应的深度信息以及第一目标物对应的标准支撑平面，将第一目标物所在的第一像素区域内的所有像素点映射到标准支撑平面，得到第一目标物的三维信息。其中，第一目标物的三维信息包括：三维坐标、俯仰角、偏航角、横滚角等。
再进一步，在确定第一目标物对应的标准支撑平面之后，可以确定标准支撑平面的三个参数d、θ、
Figure BDA0003244799410000131
根据确定的d、θ、/>
Figure BDA0003244799410000132
计算Q的三维坐标以及法向量n。根据Q的三维坐标以及法向量n，确定第一目标物的三维信息。
在说明书实施例中，在得到待处理图像中的第一目标物的三维信息的同时，可以将待处理图像中所有目标物经过步骤S200～步骤S214的方法，得到待处理图像中所有目标物对应的三维信息。
然后，针对图像采集设备采集的每帧图像，将每帧图像中的所有目标物经过步骤S200～步骤S214的方法，得到每帧图像中所有目标物的三维信息。针对每帧图像中各目标物的三维信息，将该帧图像中各目标物的三维信息与其他帧图像中各目标物的三维信息进行合并。根据合并后的各目标物的三维信息，构建高精地图。
例如：有第1～3帧图像，第1帧图像中有目标物a和目标物b，第2帧图像中有目标物a、目标物b和目标物c，第3帧图像中有目标物c和目标物d。对第1～3帧图像中的各目标物的三维信息进行合并，得到目标物a的三维信息、目标物b的三维信息、目标物c的三维信息和目标物d的三维信息。
通过上述图1所示的方法可见，本说明书确定待处理图像和投影图像之后，先根据待处理图像中第一目标物所在的第一像素区域，确定所述第一目标物对应的各支撑平面。针对每个支撑平面，通过该支撑平面找与第一像素区域具有映射关系的第二像素区域。确定第二像素区域中的第一子图像与第三像素区域中第二子图像之间的匹配结果。根据针对每个支撑平面得到的匹配结果，确定第一目标物对应的标准支撑平面。根据标准支撑平面，确定第一目标物对应的深度信息。在此方法中，将待处理图像中的第一目标物所在的第一像素区域作为一个整体，将与第一像素区域具有映射关系的第二像素区域中的第一子图像与第三像素区域中第二子图像进行全局匹配，避免了由于图像存在异常状况所带来的降低匹配效果的问题，从而提高了获取目标物与图像采集设备之间的距离的准确性。
进一步的，在图2所示的步骤S210中，当投影图像中存在多个第二目标物时，从各第二目标物所在的各第三像素区域中选择距离第二像素区域最近的第三像素区域。然后，将第二像素区域中的第一子图像与选择出的第三像素区域中的第二子图像进行匹配。
具体的，当投影图像中存在多个第二目标物时，确定投影图像中与第一目标物同类型的各第二目标物所在的各第三像素区域。同时，确定各第三像素区域中的各第二子图像。即，一个第三像素区域对应一个第二子图像。
在第一子图像与第二子图像进行匹配时，可以根据第二像素区域与各第三像素区域之间的距离，从所述各第三像素区域中选择距离第二像素区域最近的第三像素区域，并将选择出的第三像素区域中的第二子图像作为待匹配第二子图像。将第一子图像与待匹配第二子图像进行匹配，得到匹配结果。其中，具体的匹配方法与步骤S210中的匹配方法相同，在此不再赘述。
此外，为了提高第一子图像与第二子图像之间的匹配准确性，可以将待处理图像中的第一目标物所在的第一像素区域映射到不同的投影图像中。从根据不同投影图像确定出的各标准支撑平面中选择出一个标准支撑平面作为初始标准支撑平面。
具体的，针对每个投影图像，确定第一目标物根据该投影图像得到的标准支撑平面以及第一目标物得到该标准支撑平面所依据的匹配结果。然后，根据第一目标物得到每个标准支撑平面所述依据的匹配结果，从根据每个投影图像得到的各标准支撑平面中选择匹配结果大于匹配阈值的标准支撑平面，作为第一目标物对应的初始标准支撑平面。可以根据初始标准支撑平面，确定第一目标物对应的深度信息。
另外，为了提高构建高精地图的精度，可以对初始标准支撑平面进行优化。
具体的，可以以初始标准支撑平面为基准，对初始标准支撑平面进行调整，得到至少一个调整支撑平面。其中，调整可以指在初始标准支撑平面的基础上，对初始标准支撑平面所对应的参数进行调整。将初始标准支撑平面所对应的参数调整至不同的参数，得到不同的调整支撑平面。然后，将初始标准支撑平面与至少一个调整支撑平面作为支撑平面集合。针对支撑平面集合中每个调整支撑平面，确定通过该调整支撑平面得到的第一子图像与第二子图像之间的匹配结果。其中，通过该调整支撑平面得到的第一子图像可以是通过该调整支撑平面在投影图像上确定的与第一像素区域具有映射关系的第二像素区域中的第一子图像。通过该调整支撑平面得到的第一子图像与第二子图像之间的匹配结果的方法与图2所示的步骤S206～步骤S210中的方法相同，在此不再赘述。
其中，以初始标准支撑平面为基准，对初始标准支撑平面进行调整，得到至少一个调整支撑平面，也就是在初始标准支撑平面参数空间的预设范围内随机确定多个调整支撑平面。标准支撑平面参数空间的预设范围可以表示为：(d±Δd1，θ±θ1，
Figure BDA0003244799410000151
)。
最后，根据针对每个调整支撑平面得到的匹配结果与初始标准支撑平面得到的匹配结果，从支撑平面集合中的各支撑平面选择出一个支撑平面，作为所述第一目标物对应的最终标准支撑平面。其中，选择最终标准支撑平面的方法与图2所示的步骤S212中选择标准支撑平面的方法相同，在此不再赘述。
在确定第一目标物对应的最终标准支撑平面之后，可以根据最终标准支撑平面，确定第一目标物对应的深度信息。
以上为本说明书实施例提供的确定图像深度的方法，基于同样的思路，本说明书还提供了相应的装置、存储介质和电子设备。
图6为本说明书实施例提供的一种确定图像深度的装置的结构示意图，所述装置包括：
第一确定模块601，用于确定待处理图像以及投影图像；
第二确定模块602，用于确定所述待处理图像中第一目标物对应的像素区域；
第三确定模块603，用于根据所述像素区域中各像素点，确定所述第一目标物对应的各支撑平面；
第四确定模块604，用于针对每个支撑平面，通过该支撑平面确定所述投影图像中与所述第一像素区域具有映射关系的第二像素区域；
第五确定模块605，用于根据所述投影图像中的第二像素区域，确定所述第二像素区域中的第一子图像；确定所述投影图像中与所述第一目标物同类型的第二目标物所在的第三像素区域以及所述第三像素区域中的第二子图像；
匹配模块606，用于将所述第一子图像与所述第二子图像进行匹配，得到匹配结果；
选择模块607，用于根据针对每个支撑平面得到的匹配结果，从各支撑平面中选择出所述第一目标物对应的标准支撑平面；
第六确定模块608，用于根据选择出的标准支撑平面，确定所述第一目标物对应的深度信息。
可选地，在确定所述待处理图像中第一目标物所在的第一像素区域之前，所述第二确定模块602还用于，通过图像分割算法，确定所述待处理图像和所述投影图像中所有目标物的类型以及所有目标物所在的像素区域。
可选地，所述第四确定模块604具体用于，确定图像采集设备采集所述待处理图像时所述图像采集设备的第一位姿；确定图像采集设备采集所述投影图像时所述图像采集设备的第二位姿；针对每个支撑平面，根据所述第一位姿、所述第二位姿以及该支撑平面，确定所述投影图像中与所述第一像素区域具有映射关系的第二像素区域。
可选地，所述第五确定模块605具体用于，确定所述投影图像中与所述第一目标物同类型的各第二目标物所在的各第三像素区域；确定所述各第三像素区域中的各第二子图像。
可选地，所述匹配模块606具体用于，根据所述第二像素区域与所述各第三像素区域之间的距离，从所述各第三像素区域中选出距离第二像素区域最近的第三像素区域；并将选择出的第三像素区域中的第二子图像作为待匹配第二子图像；将所述第一子图像与所述待匹配第二子图像进行匹配，得到匹配结果。
可选地，所述匹配模块606具体用于，计算所述第一子图像与所述待匹配第二子图像之间的交并比；根据所述交并比，确定所述第一子图像与所述待匹配第二子图像之间的匹配结果。
可选地，所述投影图像为多个；所述第六确定模块608具体用于，针对每个投影图像，确定所述第一目标物根据该投影图像得到的标准支撑平面以及所述第一目标物得到该标准支撑平面所依据的匹配结果；根据所述第一目标物得到每个标准支撑平面所述依据的匹配结果，从根据每个投影图像得到的各标准支撑平面中选择标准支撑平面，作为所述第一目标物对应的初始标准支撑平面；根据所述初始标准支撑平面，确定所述第一目标物对应的深度信息。
可选地，所述第六确定模块608具体用于，以所述第一目标物对应的初始标准支撑平面为基准，对所述初始标准支撑平面进行调整，得到至少一个调整支撑平面；针对每个调整支撑平面，确定通过该调整支撑平面得到的第一子图像与第二子图像之间的匹配结果；根据针对每个调整支撑平面得到的匹配结果与所述初始标准支撑平面得到的匹配结果，从各调整支撑平面和初始标准支撑平面中选择出所述第一目标物对应的最终标准支撑平面；根据所述最终标准支撑平面，确定所述第一目标物对应的深度信息。
所述装置还包括：高精地图构建模块609；
所述高精地图构建模块609，用于根据所述第一目标物对应的深度信息以及确定所述第一目标物对应的深度信息所依据的支撑平面，确定所述第一目标物对应的三维信息；根据所述第一目标物对应的三维信息，构建高精地图。
本说明书还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可用于执行上述图2提供的确定图像深度的方法。
基于图2所示的确定图像深度的方法，本说明书实施例还提供了图7所示的电子设备的结构示意图。如图7，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图2所述的确定图像深度的方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (11)

1.一种确定图像深度的方法，其特征在于，包括：
确定待处理图像以及投影图像；
确定所述待处理图像中第一目标物所在的第一像素区域；
根据所述像素区域中各像素点，确定所述第一目标物对应的各支撑平面；
针对每个支撑平面，通过该支撑平面确定所述投影图像中与所述第一像素区域具有映射关系的第二像素区域；
根据所述投影图像中的第二像素区域，确定所述第二像素区域中的第一子图像；确定所述投影图像中与所述第一目标物同类型的第二目标物所在的第三像素区域以及所述第三像素区域中的第二子图像；
将所述第一子图像与所述第二子图像进行匹配，得到匹配结果；
根据针对每个支撑平面得到的匹配结果，从各支撑平面中选择出所述第一目标物对应的标准支撑平面，其中，所述标准支撑平面是根据通过各支撑平面确定的各第一子图像与第二子图像之间的相似度来选择出的；
根据选择出的标准支撑平面，确定所述第一目标物对应的深度信息。
2.如权利要求1所述的方法，其特征在于，在确定所述待处理图像中第一目标物所在的第一像素区域之前，所述方法还包括：
通过图像分割算法，确定所述待处理图像和所述投影图像中所有目标物的类型以及所有目标物所在的像素区域。
3.如权利要求1所述的方法，其特征在于，针对每个支撑平面，通过该支撑平面确定所述投影图像中与所述第一像素区域具有映射关系的第二像素区域，具体包括：
确定图像采集设备采集所述待处理图像时所述图像采集设备的第一位姿；确定图像采集设备采集所述投影图像时所述图像采集设备的第二位姿；
针对每个支撑平面，根据所述第一位姿、所述第二位姿以及该支撑平面，确定所述投影图像中与所述第一像素区域具有映射关系的第二像素区域。
4.如权利要求1所述的方法，其特征在于，确定所述投影图像中与所述第一目标物同类型的第二目标物所在的第三像素区域以及所述第三像素区域中的第二子图像，具体包括：
确定所述投影图像中与所述第一目标物同类型的各第二目标物所在的各第三像素区域；确定所述各第三像素区域中的各第二子图像；
将所述第一子图像与所述第二子图像进行匹配，得到匹配结果，具体包括：
根据所述第二像素区域与所述各第三像素区域之间的距离，从所述各第三像素区域中选出距离第二像素区域最近的第三像素区域；并将选择出的第三像素区域中的第二子图像作为待匹配第二子图像；
将所述第一子图像与所述待匹配第二子图像进行匹配，得到匹配结果。
5.如权利要求4所述的方法，其特征在于，将所述第一子图像与所述待匹配第二子图像进行匹配，得到匹配结果，具体包括：
计算所述第一子图像与所述待匹配第二子图像之间的交并比；
根据所述交并比，确定所述第一子图像与所述待匹配第二子图像之间的匹配结果。
6.如权利要求1所述的方法，其特征在于，所述投影图像为多个；
根据选择出的标准支撑平面，确定所述第一目标物对应的深度信息，具体包括：
针对每个投影图像，确定所述第一目标物根据该投影图像得到的标准支撑平面以及所述第一目标物得到该标准支撑平面所依据的匹配结果；
根据所述第一目标物得到每个标准支撑平面所述依据的匹配结果，从根据每个投影图像得到的各标准支撑平面中选择标准支撑平面，作为所述第一目标物对应的初始标准支撑平面；
根据所述初始标准支撑平面，确定所述第一目标物对应的深度信息。
7.如权利要求6所述的方法，其特征在于，根据所述初始标准支撑平面，确定所述第一目标物对应的深度信息，具体包括：
以所述第一目标物对应的初始标准支撑平面为基准，对所述初始标准支撑平面进行调整，得到至少一个调整支撑平面；
针对每个调整支撑平面，确定通过该调整支撑平面得到的第一子图像与第二子图像之间的匹配结果；
根据针对每个调整支撑平面得到的匹配结果与所述初始标准支撑平面得到的匹配结果，从各调整支撑平面和初始标准支撑平面中选择出所述第一目标物对应的最终标准支撑平面；
根据所述最终标准支撑平面，确定所述第一目标物对应的深度信息。
8.如权利要求1～7任一所述的方法，其特征在于，所述方法还包括：
根据所述第一目标物对应的深度信息以及确定所述第一目标物对应的深度信息所依据的支撑平面，确定所述第一目标物对应的三维信息；
根据所述第一目标物对应的三维信息，构建高精地图。
9.一种确定图像深度的装置，其特征在于，包括：
第一确定模块，用于确定待处理图像以及投影图像；
第二确定模块，用于确定所述待处理图像中第一目标物对应的第一像素区域；
第三确定模块，用于根据所述像素区域中各像素点，确定所述第一目标物对应的各支撑平面；
第四确定模块，用于针对每个支撑平面，通过该支撑平面确定所述投影图像中与所述第一像素区域具有映射关系的第二像素区域；
第五确定模块，用于根据所述投影图像中的第二像素区域，确定所述第二像素区域中的第一子图像；确定所述投影图像中与所述第一目标物同类型的第二目标物所在的第三像素区域以及所述第三像素区域中的第二子图像；
匹配模块，用于将所述第一子图像与所述第二子图像进行匹配，得到匹配结果；
选择模块，用于根据针对每个支撑平面得到的匹配结果，从各支撑平面中选择出所述第一目标物对应的标准支撑平面，其中，所述标准支撑平面是根据通过各支撑平面确定的各第一子图像与第二子图像之间的相似度来选择出的；
第六确定模块，用于根据选择出的标准支撑平面，确定所述第一目标物对应的深度信息。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-8任一项所述的方法。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-8任一项所述的方法。
CN202111030122.1A 2021-09-03 2021-09-03 一种确定图像深度的方法、装置及存储介质 Active CN113888611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111030122.1A CN113888611B (zh) 2021-09-03 2021-09-03 一种确定图像深度的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111030122.1A CN113888611B (zh) 2021-09-03 2021-09-03 一种确定图像深度的方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113888611A CN113888611A (zh) 2022-01-04
CN113888611B true CN113888611B (zh) 2023-03-31

Family

ID=79012199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111030122.1A Active CN113888611B (zh) 2021-09-03 2021-09-03 一种确定图像深度的方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113888611B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381884A (zh) * 2020-11-12 2021-02-19 北京航空航天大学 基于rgbd相机的空间圆目标位姿测量方法
CN112818968A (zh) * 2021-04-19 2021-05-18 北京三快在线科技有限公司 一种目标物分类方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107093205B (zh) * 2017-03-15 2019-08-16 北京航空航天大学 一种基于无人机图像的三维空间建筑物窗户检测重建方法
WO2021114773A1 (en) * 2019-12-12 2021-06-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Target detection method, device, terminal device, and medium
CN112288857A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的机器人语义地图物体识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381884A (zh) * 2020-11-12 2021-02-19 北京航空航天大学 基于rgbd相机的空间圆目标位姿测量方法
CN112818968A (zh) * 2021-04-19 2021-05-18 北京三快在线科技有限公司 一种目标物分类方法及装置

Also Published As

Publication number Publication date
CN113888611A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN111311709B (zh) 一种生成高精地图的方法及装置
CN112001456B (zh) 一种车辆定位方法、装置、存储介质及电子设备
CN111238450B (zh) 视觉定位方法及装置
CN110084299B (zh) 基于多头融合注意力的目标检测方法和装置
CN111882611A (zh) 一种地图构建方法及装置
CN112907745B (zh) 一种数字正射影像图生成方法及装置
CN117197781A (zh) 一种交通标志识别的方法、装置、存储介质及电子设备
CN112861831A (zh) 一种目标物的识别方法、装置、存储介质及电子设备
CN113888611B (zh) 一种确定图像深度的方法、装置及存储介质
CN116728436A (zh) 一种弹琴机器人的控制方法及控制装置
CN115984154A (zh) 一种图像融合的方法、装置、存储介质及电子设备
CN111798489B (zh) 一种特征点跟踪方法、设备、介质及无人设备
CN112184901B (zh) 一种深度图确定方法及装置
US20220191542A1 (en) Object Pose Estimation and Tracking Using Machine Learning
CN114863206A (zh) 一种模型训练的方法、目标检测的方法及装置
CN114440903A (zh) 一种高精地图构建方法、装置、存储介质及电子设备
CN114283148A (zh) 一种道路元素提取方法、装置、存储介质及电子设备
CN111104908A (zh) 一种道路边沿确定方法及装置
US11227166B2 (en) Method and device for evaluating images, operating assistance method, and operating device
CN112529943A (zh) 一种物体检测方法、物体检测装置及智能设备
CN113205144B (zh) 一种模型训练的方法及装置
CN116740114B (zh) 一种基于凸包检测的目标物边界拟合方法及装置
CN116016816B (zh) 一种改进l-orb算法的嵌入式gpu零拷贝全景图像拼接方法和系统
CN115690231A (zh) 一种基于多目视觉的定位方法
CN116109758B (zh) 一种光源投影位置定位、场景渲染的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant