CN116993796B - 深度图估计中的多级空间传播方法和装置 - Google Patents
深度图估计中的多级空间传播方法和装置 Download PDFInfo
- Publication number
- CN116993796B CN116993796B CN202311244550.3A CN202311244550A CN116993796B CN 116993796 B CN116993796 B CN 116993796B CN 202311244550 A CN202311244550 A CN 202311244550A CN 116993796 B CN116993796 B CN 116993796B
- Authority
- CN
- China
- Prior art keywords
- points
- propagation
- expanded
- point
- neighbor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000015654 memory Effects 0.000 claims description 23
- 230000000644 propagated effect Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 3
- 239000002699 waste material Substances 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种深度图估计中的多级空间传播方法和装置。该方法包括：根据预设近邻传播模式建立近邻点集合P；初始选择近邻点集合P中其中一个元素作为目标点，将剩余元素作为比较点逐一与目标点进行对比，判断是否需要进行下一级扩展；将需要进行下一级扩展的比较点按照近邻传播模式进行扩展得到扩展后的元素，将扩展后的元素加入近邻点集合P内同时删除集合中的该比较点，最终得到空间传播的点的集合,解决目前在现有空间传播导致深度值计算的浪费甚至不准确问题。
Description
技术领域
本申请涉及计算机领域，具体而言，涉及一种深度图估计中的多级空间传播方法和装置。
背景技术
深度估计是一种计算机视觉任务，旨在从2D图像估计深度。该任务需要输入RGB图像并输出深度图像。深度图像包括关于从视点到图像中的物体的距离的信息，该视点通常是拍摄图像的相机，深度估计的一些应用包括平滑图像的模糊部分，更好地渲染3D场景，自动驾驶汽车，机器人技术中的抓地力，机器人辅助手术，胶片中2D到3D的自动转换以及3D中的阴影贴图计算机图形学。
目前在深度图估计过程中，对深度图进行随机初始化之后，得到每个像素的初始深度值，但是这个深度值不够准确，需要进一步的估计更加准确的深度信息，通常采用空间传播的方式来得到更精细的深度，但是相关技术中基于空间传播实现深度值计算时候，存在计算量大且不准确的问题。
发明内容
本申请的主要目的在于提供一种深度图估计中的多级空间传播方法和装置，解决目前在现有空间传播导致深度值计算的浪费甚至不准确问题。
为了实现上述目的，本申请的第一方面，提出了一种深度图估计中的多级空间传播方法，包括以下步骤：
步骤S1、根据预设近邻传播模式建立目标点的近邻点集合P；
步骤S2、将近邻点集合P中的元素作为比较点逐一与目标点进行对比，并基于两者之间的深度相似度，判断比较点是否需要进行下一级扩展；
步骤S3、将需要进行下一级扩展的比较点按照近邻传播模式进行扩展得到扩展后的元素，将扩展后的元素加入近邻点集合P内同时删除集合中的该比较点，最终得到目标点的空间传播的点的集合。
进一步改进的是，将扩展后的元素作为新的比较点逐一与目标点进行对比，并基于两者之间的深度相似度，判断新的比较点是否需要进行下一级扩展，将需要进行下一级扩展的新的比较点按照近邻传播模式进行扩展得到新的扩展后元素，将新的扩展后元素加入近邻点集合P内同时删除集合中的该新的比较点，最终得到目标点的空间传播的点的集合。
进一步改进的是，比较点与目标点之间的深度相似度对比为：，其中/>为目标点的深度值，/>为比较点的深度值，/>为预设阈值。
进一步改进的是，的范围为1-10。
进一步改进的是，所述近邻传播模式均包括4近邻传播以及8近邻传播；
其中所述4近邻传播包括传播到传播点的相邻的4个近邻点；所述8近邻传播包括传播到传播点的相邻的4个近邻点以及对角线方向4个点。
为了实现上述目的，本申请的第二方面，提出了一种深度图估计中的多级空间传播装置，包括：
集合建立模块，根据预设近邻传播模式建立目标点的近邻点集合P；
扩展判定模块，将近邻点集合P中的元素作为比较点逐一与目标点进行对比，并基于两者之间的深度相似度，判断比较点是否需要进行下一级扩展；
空间传播点扩展模块，将需要进行下一级扩展的比较点按照近邻传播模式进行扩展得到扩展后的元素，将扩展后的元素加入近邻点集合P内同时删除集合中的该比较点，最终得到目标点的空间传播的点的集合。
进一步改进的是，所述扩展判定模块还包括深度相似度对比单元，用于通过对比比较点与目标点之间的深度相似度，判断目标点是否需要进行下一级扩展，比较点与目标点之间的深度相似度对比为：，其中/>为目标点的深度值，/>为比较点的深度值，/>为预设阈值。
进一步改进的是，所述近邻传播模式均包括4近邻传播以及8近邻传播；
其中所述4近邻传播包括传播到传播点的相邻的4个近邻点；所述8近邻传播包括传播到传播点的相邻的4个近邻点以及对角线方向4个点。
为了实现上述目的，本申请的第三方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行上述的深度图估计中的多级空间传播方法。
为了实现上述目的，本申请的第四方面，提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行上述的深度图估计中的多级空间传播方法。
本申请的实施例提供的技术方案可以包括以下有益效果：
本方法采用根据预设近邻传播模式建立目标点的近邻点集合P；将近邻点集合P中的元素作为比较点逐一与目标点进行对比，并基于两者之间的深度相似度，判断比较点是否需要进行下一级扩展；将需要进行下一级扩展的比较点按照近邻传播模式进行扩展得到扩展后的元素，将扩展后的元素加入近邻点集合P内同时删除集合中的该比较点，最终得到目标点的空间传播的点的集合，对传播点之间的关系进行分析，针对不满足要求的传播点，采用多级空间传播的方式，尽量获取更加匹配的深度值进行传播，由此保证在准确性的前提下减少了深度估计过程中深度值计算量。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请提供的一种深度图估计中的多级空间传播方法的流程示意图；
图2为近邻传播模式示意图；
图3为二级空间传播流程示意图；
图4为本申请提供的一种深度图估计中的多级空间传播装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，“连接”可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
图1为本申请提供的一种深度图估计中的多级空间传播方法的流程示意图，如图1所示，该方法包括以下步骤：
包括以下步骤：
步骤S1、根据预设近邻传播模式建立目标点的近邻点集合P。
具体地，近邻传播模式包括4近邻传播以及8近邻传播，其中所述4近邻传播包括传播到传播点的相邻的4个近邻点；所述8近邻传播包括传播到传播点的相邻的4个近邻点以及对角线方向4个点，如图2所示，（a）表示的是“4近邻传播模式”，每次只传播到相邻的4个近邻点；（b）表示的是“8近邻传播模式”，每次传播到周围8个近邻点，相比于“4近邻传播模式”其增加了对角线方向的4个点。
本实施例中以下按照“4近邻传播模式”，在“第一级空间传播”过程中，为近邻点集合，将/>分别插入集合P中,/>。
步骤S2、将近邻点集合P中的元素作为比较点逐一与目标点进行对比，并基于两者之间的深度相似度，判断比较点是否需要进行下一级扩展。
通过对比比较点与目标点之间的深度相似度，判断目标点是否需要进行下一级扩展，比较点与目标点之间的深度相似度对比为：，其中为目标点的深度值，/>为比较点的深度值，/>D为预设阈值。
深度值的定义：在深度图中，每个像素的深度值表示了对应物体或表面与相机之间的距离，即相对于相机坐标系中Z轴的距离。较小的深度值表示物体离相机较近，较大的深度值表示物体离相机较远。
具体地，初始选择目标点，计算比较点/>与目标点/>之间的关系，判断如果（/>的阈值范围/>)，说明两点深度相似度较高，则对进行下一级扩展。
步骤S3、将需要进行下一级扩展的比较点按照近邻传播模式进行扩展得到扩展后的元素，将扩展后的元素加入近邻点集合P内同时删除集合中的该比较点，最终得到空间传播的点的集合。
具体地，如果是点/>，将/>从集合P中删除，/>进行下一级扩展之后会得到3个点，将其插入集合P中，/>，遍历移动目标点/>和比较点/>，遍历P中所有元素，按照以上规则进行多级扩展。
而扩展的层级与预设的空间传播层级相对应，具体选择的层级可以根据本领域技术人员自行进行设置，层级越高，准确性越高，但是计算量会相应增加，如图3所示，比如选择“二级空间传播”，则传播到第二级（如点）就不再进行下一级的扩展，假设近邻点集合/>中仅需要对/>进行扩展，那么最终集合/>就是进行空间传播的点的集合，如果/>也需要扩展，那么最终集合为进行空间传播的点的集合。
而需要进行多级传播时，比如采用三级空间传播，则需要将扩展后的元素作为新的比较点逐一与目标点进行对比，并基于两者之间的深度相似度，判断新的比较点是否需要进行下一级扩展，将需要进行下一级扩展的新的比较点按照近邻传播模式进行扩展得到新的扩展后元素，将新的扩展后元素加入近邻点集合P内同时删除集合中的该新的比较点，最终得到目标点的空间传播的点的集合。
具体地，基于上述二级空间传播后的基础上进行三级传播，经过相似度对比发现/>需要进行下一级扩展，而/>扩展后的元素为(/>)，则经过三级空间传播后/>。
采用上述方法，通过近邻传播模式建立目标点的近邻点集合，通过对比目标点与近邻点集合内比较点之间的深度相似度，将深度相似度较高的比较点进行下一级扩展，而后将扩展后的元素加入集合内同时删除该比较点，而进行多级传播时，仅对新加入的元素与目标点的深度相似度进行对比，留下深度相似度比较低的，对深度相似度比较高的继续进行下一级扩展，最终得到空间传播的点的集合，由此不仅计算量较低，而且得到的更精准的深度值进行传播。
如图4所示，一种深度图估计中的多级空间传播装置，包括：
集合建立模块100，用于根据预设近邻传播模式建立目标点近邻点集合P；
具体地，近邻传播模式包括4近邻传播以及8近邻传播，如图2所示，（a）表示的是“4近邻传播模式”，每次只传播到相邻的4个近邻点；（b）表示的是“8近邻传播模式”，每次传播到周围8个近邻点，相比于“4近邻传播模式”其增加了对角线方向的4个点。
本实施例中以下按照“4近邻传播模式”，在“第一级空间传播”过程中，为近邻点集合，将/>分别插入集合P中，/>。
扩展判定模块200，将近邻点集合P中的元素作为比较点逐一与目标点进行对比，并基于两者之间的深度相似度，判断比较点是否需要进行下一级扩展；优选地，所述扩展判定模块200还包括深度相似度对比单元201，用于通过对比比较点与目标点之间的深度相似度，判断目标点是否需要进行下一级扩展。
通过对比比较点与目标点之间的深度相似度，判断目标点是否需要进行下一级扩展，比较点与目标点之间的深度相似度对比为：，其中为目标点的深度值，/>为比较点的深度值，/>为预设阈值。
深度值的定义：在深度图中，每个像素的深度值表示了对应物体或表面与相机之间的距离，即相对于相机坐标系中Z轴的距离。较小的深度值表示物体离相机较近，较大的深度值表示物体离相机较远。
具体地，初始选择目标点，计算比较点/>与目标点/>之间的关系，判断如果（/>的阈值范围/>)，说明两点深度相似度较高，则对进行下一级扩展。
空间传播点扩展模块300，将需要进行下一级扩展的比较点按照近邻传播模式进行扩展得到扩展后的元素，将扩展后的元素加入近邻点集合P内同时删除集合中的该比较点，最终得到空间传播的点的集合。
具体地，如果是点/>，将/>从集合P中删除，/>进行下一级扩展之后会得到3个点，将其插入集合P中，/>,遍历移动目标点/>和比较点/>，遍历P中所有元素，按照以上规则进行多级扩展。
而扩展的层级与预设的空间传播层级相对应，具体选择的层级可以根据本领域技术人员自行进行设置，层级越高，准确性越高，但是计算量会相应增加，如图3所示，比如选择“二级空间传播”，则传播到第二级（如点）就不再进行下一级的扩展，假设近邻点集合/>中仅需要对/>进行扩展，那么最终集合/>就是进行空间传播的点的集合，如果/>也需要扩展，那么最终集合为进行空间传播的点的集合。
而需要进行多级传播时，比如采用三级空间传播，当扩展判定模块200还包括将扩展后的元素作为新的比较点逐一与目标点进行对比，并基于两者之间的深度相似度，判断新的比较点是否需要进行下一级扩展，将需要进行下一级扩展的新的比较点按照近邻传播模式进行扩展得到新的扩展后元素，而空间传播点扩展模块300将新的扩展后元素加入近邻点集合P内同时删除集合中的该新的比较点，最终得到目标点的空间传播的点的集合。而扩展的层级与预设的空间传播层级相对应，具体选择的层级可以根据本领域技术人员自行进行设置，层级越高，准确性越高，但是计算量会相应增加，但是传播的范围更为精准。
具体地，基于上述二级空间传播后的基础上进行三级传播，经过相似度对比发现/>需要进行下一级扩展，而/>扩展后的元素为(/>)，则经过三级空间传播后/>。
综上所述，本申请采用根据预设近邻传播模式建立目标点的近邻点集合P；将近邻点集合P中的元素作为比较点逐一与目标点进行对比，并基于两者之间的深度相似度，判断比较点是否需要进行下一级扩展；将需要进行下一级扩展的比较点按照近邻传播模式进行扩展得到扩展后的元素，将扩展后的元素加入近邻点集合P内同时删除集合中的该比较点，最终得到目标点的空间传播的点的集合，对传播点之间的关系进行分析，针对不满足要求的传播点，采用多级空间传播的方式，尽量获取更加匹配的深度值进行传播，由此保证在准确性的前提下减少了深度估计过程中深度值计算量。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
显然，本领域的技术人员应该明白，上述的本申请的各单元或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
本公开实施例还提供了一种电子设备，该电子设备少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行上述的深度图无效点的估计方法。
该控制器还可以包括：输入装置和输出装置。
处理器、存储器、输入装置和输出装置可以通过总线或者其他方式连接。
处理器可以为中央处理器（CentralProcessingUnit，CPU）。处理器还可以为其他通用处理器、数字信号处理器（DigitalSignalProcessor，DSP）、专用集成电路（ApplicationSpecificIntegratedCircuit，ASIC）、现场可编程门阵列（Field-ProgrammableGateArray，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本公开实施例中的控制方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置可包括显示屏等显示设备。
一个或者多个模块存储在存储器中，当被一个或者多个处理器执行时，执行如图1所示的方法。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体（Read-OnlyMemory，ROM）、随机存储记忆体（RandomAccessMemory，RAM）、快闪存储器（FlashMemory）、硬盘（HardDiskDrive，缩写：HDD）或固态硬盘（Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (9)
1.一种深度图估计中的多级空间传播方法，其特征在于，包括以下步骤：
步骤S1、根据预设近邻传播模式建立目标点的近邻点集合P；
步骤S2、将近邻点集合P中的元素作为比较点逐一与目标点进行对比，并基于两者之间的深度相似度，判断比较点是否需要进行下一级扩展；
步骤S3、将需要进行下一级扩展的比较点按照近邻传播模式进行扩展得到扩展后的元素，将扩展后的元素加入近邻点集合P内同时删除集合中的该比较点，最终得到目标点的空间传播的点的集合；
将扩展后的元素作为新的比较点逐一与目标点进行对比，并基于两者之间的深度相似度，判断新的比较点是否需要进行下一级扩展，将需要进行下一级扩展的新的比较点按照近邻传播模式进行扩展得到新的扩展后元素，将新的扩展后元素加入近邻点集合P内同时删除集合中的该新的比较点，最终得到目标点的空间传播的点的集合。
2.根据权利要求1所述的深度图估计中的多级空间传播方法，其特征在于，比较点与目标点之间的深度相似度对比为：D，其中/>为目标点的深度值，/>为比较点的深度值，/>D为预设阈值。
3.根据权利要求2所述的深度图估计中的多级空间传播方法，其特征在于，D的范围为1-10。
4.根据权利要求1所述的深度图估计中的多级空间传播方法，其特征在于，所述近邻传播模式均包括4近邻传播以及8近邻传播；
其中所述4近邻传播包括传播到传播点的相邻的4个近邻点；所述8近邻传播包括传播到传播点的相邻的4个近邻点以及对角线方向4个点。
5.一种深度图估计中的多级空间传播装置，其特征在于，包括：
集合建立模块，根据预设近邻传播模式建立目标点的近邻点集合P；
扩展判定模块，将近邻点集合P中的元素作为比较点逐一与目标点进行对比，并基于两者之间的深度相似度，判断比较点是否需要进行下一级扩展；
空间传播点扩展模块，将需要进行下一级扩展的比较点按照近邻传播模式进行扩展得到扩展后的元素，将扩展后的元素加入近邻点集合P内同时删除集合中的该比较点，最终得到目标点的空间传播的点的集合；
将扩展后的元素作为新的比较点逐一与目标点进行对比，并基于两者之间的深度相似度，判断新的比较点是否需要进行下一级扩展，将需要进行下一级扩展的新的比较点按照近邻传播模式进行扩展得到新的扩展后元素，将新的扩展后元素加入近邻点集合P内同时删除集合中的该新的比较点，最终得到目标点的空间传播的点的集合。
6.根据权利要求5所述的深度图估计中的多级空间传播装置，其特征在于，所述扩展判定模块还包括深度相似度对比单元，用于通过对比比较点与目标点之间的深度相似度，判断目标点是否需要进行下一级扩展，比较点与目标点之间的深度相似度对比为：，其中/>为目标点的深度值，/>为比较点的深度值，/>为预设阈值。
7.根据权利要求5所述的深度图估计中的多级空间传播装置，其特征在于，所述近邻传播模式均包括4近邻传播以及8近邻传播；
其中所述4近邻传播包括传播到传播点的相邻的4个近邻点；所述8近邻传播包括传播到传播点的相邻的4个近邻点以及对角线方向4个点。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-4任意一项所述的深度图估计中的多级空间传播方法。
9.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-4任意一项所述的深度图估计中的多级空间传播方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311244550.3A CN116993796B (zh) | 2023-09-26 | 2023-09-26 | 深度图估计中的多级空间传播方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311244550.3A CN116993796B (zh) | 2023-09-26 | 2023-09-26 | 深度图估计中的多级空间传播方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116993796A CN116993796A (zh) | 2023-11-03 |
| CN116993796B true CN116993796B (zh) | 2023-12-22 |
Family
ID=88525134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311244550.3A Active CN116993796B (zh) | 2023-09-26 | 2023-09-26 | 深度图估计中的多级空间传播方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116993796B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101822067A (zh) * | 2007-07-26 | 2010-09-01 | 皇家飞利浦电子股份有限公司 | 深度相关信息传播方法和设备 |
| CN104966289A (zh) * | 2015-06-12 | 2015-10-07 | 北京工业大学 | 一种基于4d光场的深度估计方法 |
| CN108062769A (zh) * | 2017-12-22 | 2018-05-22 | 中山大学 | 一种用于三维重建的快速深度恢复方法 |
| CN111066063A (zh) * | 2018-06-29 | 2020-04-24 | 百度时代网络技术（北京）有限公司 | 利用卷积空间传播网络学习的亲和度进行深度估计的系统和方法 |
| CN114255356A (zh) * | 2020-09-10 | 2022-03-29 | 辉达公司 | 学习和传播视觉属性 |
| WO2023279289A1 (en) * | 2021-07-07 | 2023-01-12 | Qualcomm Incorporated | Processing image data using multi-point depth sensing system information |
| CN116012094A (zh) * | 2022-11-30 | 2023-04-25 | 哈尔滨工业大学（深圳） | 一种深度图匹配网络及基于该网络的时尚搭配推荐方法 |
-
2023
- 2023-09-26 CN CN202311244550.3A patent/CN116993796B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101822067A (zh) * | 2007-07-26 | 2010-09-01 | 皇家飞利浦电子股份有限公司 | 深度相关信息传播方法和设备 |
| CN104966289A (zh) * | 2015-06-12 | 2015-10-07 | 北京工业大学 | 一种基于4d光场的深度估计方法 |
| CN108062769A (zh) * | 2017-12-22 | 2018-05-22 | 中山大学 | 一种用于三维重建的快速深度恢复方法 |
| CN111066063A (zh) * | 2018-06-29 | 2020-04-24 | 百度时代网络技术（北京）有限公司 | 利用卷积空间传播网络学习的亲和度进行深度估计的系统和方法 |
| CN114255356A (zh) * | 2020-09-10 | 2022-03-29 | 辉达公司 | 学习和传播视觉属性 |
| WO2023279289A1 (en) * | 2021-07-07 | 2023-01-12 | Qualcomm Incorporated | Processing image data using multi-point depth sensing system information |
| CN116012094A (zh) * | 2022-11-30 | 2023-04-25 | 哈尔滨工业大学（深圳） | 一种深度图匹配网络及基于该网络的时尚搭配推荐方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于CNN特征提取和加权深度迁移的单目图像深度估计;温静;安国艳;梁宇栋;;图学学报(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116993796A (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108416327B (zh) | 一种目标检测方法、装置、计算机设备及可读存储介质 | |
| EP3698275B1 (en) | Data processing method, apparatus, system and storage media | |
| CN109064514B (zh) | 一种基于投影点坐标回归的六自由度位姿估计方法 | |
| US9471964B2 (en) | Non-local mean-based video denoising method and apparatus | |
| CN110276829B (zh) | 通过多尺度体素哈希处理的三维表示 | |
| US9454851B2 (en) | Efficient approach to estimate disparity map | |
| KR20180056685A (ko) | 비 장애물 영역 검출을 위한 시스템 및 방법 | |
| JP2014096152A (ja) | ポイントクラウド内の埋め戻しポイント | |
| CN110998660A (zh) | 用于优化流水线执行的方法、系统和装置 | |
| CN111357034A (zh) | 点云生成方法、系统和计算机存储介质 | |
| CN111753739B (zh) | 物体检测方法、装置、设备以及存储介质 | |
| CN109859253A (zh) | 一种立体匹配方法、装置和电子设备 | |
| CN111105452A (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
| CN109671061A (zh) | 一种图像分析方法、装置、计算设备及存储介质 | |
| US20140314312A1 (en) | Image processing apparatus and image processing method | |
| JP6567381B2 (ja) | 演算装置、方法及びプログラム | |
| US20140254918A1 (en) | Disparity estimation method of stereoscopic image | |
| CN108335267A (zh) | 一种深度图像的处理方法、装置、设备和存储介质 | |
| CN113139696A (zh) | 一种轨迹预测模型构建方法及轨迹预测方法、装置 | |
| CN116051489A (zh) | 鸟瞰图视角特征图处理方法、装置、电子设备及存储介质 | |
| CN111291611A (zh) | 一种基于贝叶斯查询扩展的行人重识别方法及装置 | |
| CN116993796B (zh) | 深度图估计中的多级空间传播方法和装置 | |
| CN105427256A (zh) | 一种红外图像增强方法及装置 | |
| US9401022B2 (en) | Method and apparatus for generating spanning tree, method and apparatus for stereo matching, method and apparatus for up-sampling, and method and apparatus for generating reference pixel | |
| CN114463409B (zh) | 图像深度信息的确定方法、装置、电子设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |