CN107403465A - 基于结构先验与深度学习的城市场景分段平面重建方法 - Google Patents
基于结构先验与深度学习的城市场景分段平面重建方法 Download PDFInfo
- Publication number
- CN107403465A CN107403465A CN201710685618.XA CN201710685618A CN107403465A CN 107403465 A CN107403465 A CN 107403465A CN 201710685618 A CN201710685618 A CN 201710685618A CN 107403465 A CN107403465 A CN 107403465A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- pixel
- super
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于结构先验与深度学习的城市场景分段平面重建方法，涉及图像处理技术领域，通过融合场景结构先验与由深度学习获取的图像高层特征，采用图像区域与相应平面协同优化的方式对场景结构进行了初始推断，并在MRF能量优化架框下对场景结构进行了全局优化。实验结果表明，本发明的方法仅利用稀疏空间点即可有效重建场景完整的结构，整体上具有较高的性能。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及基于结构先验与深度学习的城市场景分段平面重建方法。
背景技术
在利用二维图像重建三维场景结构的过程中，场景分段平面重建算法通常可有效解决像素级重建中的匹配多义性(如在弱纹理区域)问题而快速获取场景完整的近似结构，这在城市规划、虚拟旅游、驾驶导航等领域有着广泛的应用。在实际中，由于场景结构的复杂性以及诸多干扰因素(如光照变化、透视畸变等)的影响，有效提高场景分段平面重建的可靠性与精度仍是一个具有挑战性的难题，也是当前学术界研究的热点问题。
场景分段平面重建算法一般将场景重建过程分为以下步骤：(1)将图像分割为多个互不交叠的区域(即超像素)；(2)利用初始空间点、线段等信息获取候选平面集；(3)利用全局优化方法推断不同超像素对应的最优平面，进而获得场景完整的分段平面结构。在实际中，此类算法通常存在以下问题导致其可靠性与效率较低：(1)与场景面片相关联的图像区域(即超像素)通常采用图像过分割算法获取，而超像素的尺寸却未得以合理的控制。事实上，超像素尺寸较大时，相应的场景面片往往由于深度变化较大而不能近似为平面；而尺寸较小时，则由于匹配多义性问题的存在(如超像素仅为单个像素的极端情况)而导致场景可靠性较低。(2)利用初始稀疏甚至稠密空间点往往不易获得完备的候选平面集(如超像素对应的真实平面并不包含于候选平面集中)，这将对后续环节场景结构的推断可靠性造成较大的影响。(3)利用全局优化方法对场景结构进行推断时，超像素对应平面的可靠性度量的构造通常基于图像底层特征(如颜色、灰度)、空间点可见性约束与“具有相近特征的超像素具有相同平面”的规范化或假设。然而，在很多情况下，图像底层特征并不利于克服匹配多义性、光照变化等因素的干扰，具有相近特征的超像素对应的平面也并不一定相同，这通常也导致场景重建的可靠性与精度降低。(4)对场景中非重建区域(如天空、地面)缺乏有效的检测与滤除机制，整体重建效率因此受到较大的影响。
发明内容
本发明实施例提供了基于结构先验与深度学习的城市场景分段平面重建方法，可以解决现有技术中存在的问题。
一种基于结构先验与深度学习的城市场景分段平面重建方法，所述方法包括以下步骤：
步骤100，输入稀疏空间点及标定图像；
步骤110，初始化初始平面集和初始超像素集；
其中，利用在标定图像中检测出的由不同平面相交而产生的线段对应的直线对超像素进行再分割；
步骤120，根据初始平面集和初始超像素集确定可靠平面及相应的超像素，并分别保存至集合H和R；
步骤130，初始超像素集中除去与可靠平面相应的超像素以外的超像素集为Q，根据集合R计算集合Q中超像素的平面推断优先级，然后根据平面推断优先级从大到小的顺序从集合Q中选择并从中清除超像素s；
步骤131，如果选择的超像素s为天空和地面，则放弃后续步骤；
其中，对于地面区域，如果超像素s内部的像素在当前所有已重建场景平面的反投影空间点位于地平面下方者的平均比例大于90％，则将其直接视为地平面；
对于天空区域，通过以下条件Tsky(s)来判断：
其中，Psky(s)为语义标注算法获取的超像素s属于天空区域的概率，ε为相应的阈值，Hr为已重建的平面集，Hs为当前为超像素s分配的平面，Edata(s,Hs)为数据项，最初为超像素集中所有包含空间点的超像素对应最小Edata(s,Hs)值的平均值，而后根据当前已重建平面与相应超像素对应的Edata(s,Hs)值进行更新；
步骤132，如果选择的超像素s不是天空或地面，则生成候选平面集并确定其最小的平面可靠性度量E(s,Hs)值；
其中，生成候选平面集的方法为：首先检测与超像素s相邻且已获得可靠平面的超像素集Π，然后根据平面夹角先验Aprior，以场景垂直方向以及s与t∈Π边界上任意一点确定的轴线为中心旋转超像素t对应的平面Ht，进而将每个平面夹角对应的旋转平面作为超像素s的候选平面，多个候选平面组成候选平面集，其中场景垂直方向采用消影点检测方法确定；
步骤133，如果E(s,Hs)值小于将平面Hs与超像素s分别保存至平面集H与超像素集R，然后进入步骤140；
步骤134，如果E(s,Hs)值大于或等于则对超像素s进行再分割，并将分割结果保存至集合Q；
步骤140，跳转到步骤130，直到集合Q为空；
步骤150，根据超像素集R对应的平面集H生成初始场景结构；
步骤160，得到初始场景结构后，在MRF框架下对场景结构进行全局优化，相应的能量函数为：
其中，E′pho(s,Hs)为利用图像底层特征构造的平面可靠性度量，ω为权重系数，Esmooth(Hs,Ht)为平滑项，为超像素s的相邻超像素集合。
本发明实施例中的基于结构先验与深度学习的城市场景分段平面重建方法,通过融合场景结构先验与由深度学习获取的图像高层特征，采用图像区域与相应平面协同优化的方式对场景结构进行了初始推断，并在MRF能量优化架框下对场景结构进行了全局优化。实验结果表明，本发明的方法仅利用稀疏空间点即可有效重建场景完整的结构，整体上具有较高的性能。本发明的有益效果如下：(1)利用场景结构先验与图像高层特征克服了候选平面集的完备性、图像过分割质量、平滑项等问题对场景重建过程的影响，提高了图像区域对应平面度量以及整体重建过程的可靠性。(2)提出了一种融合空间点可见性、场景结构先验、图像底层与高层特征等信息的图像区域与相应平面协同优化的场景分段平面重建算法；该算法利用稀疏空间点即可有效重建场景完整、准确的结构。(3)针对城市场景重建中非重建区域(如天空、地面等)，提出了相关可行的检测与滤除方法。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种基于结构先验与深度学习的城市场景分段平面重建方法，该方法具体包括以下步骤：
步骤100，输入稀疏空间点及标定图像；
步骤110，初始化初始平面集和初始超像素集；
具体地，利用多模型拟合算法从输入的稀疏空间点中抽取初始平面，多个初始平面组成初始平面集；采用Mean-shift图像过分割算法将标定图像分割为若干互不重叠的区域，即超像素，多个超像素即组成超像素集。为了克服图像过分割质量对场景重建过程的影响，本实施例对超像素集中的超像素进行以下优化处理：由于城市场景具有规则化的结构，标定图像中包含大量由不同平面相交而产生的线段，利用在标定图像中检测出的线段对应的直线对超像素进行再分割。在线段检测时需要将重复线段合并，即在同一直线上的线段，以减小计算复杂度；同时需要利用不同斜率的线段对超像素进行规范化。
步骤120，根据初始平面集和初始超像素集确定可靠平面及相应的超像素，并分别保存至集合H和R；
具体地，对于包含空间点的超像素s，根据以下条件Tseed(s)在初始平面集中选取可靠平面：
其中，Edata(s,Hs)为数据项，Hs为当前为超像素s分配的平面，最初为超像素集中所有包含空间点的超像素对应最小Edata(s,Hs)值的平均值，而后根据当前已重建平面与相应超像素对应的Edata(s,Hs)值进行更新，N(Ps,Hs)为超像素s包含的空间点Ps到平面Hs的平均距离，为初始超像素集中所有包含空间点的超像素对应最小N(Ps,Hs)值的平均值。
步骤130，初始超像素集中除去与可靠平面相应的超像素以外的超像素集为Q，根据集合R计算集合Q中超像素的平面推断优先级，然后根据平面推断优先级从大到小的顺序从集合Q中选择并从中清除超像素s；
具体地，所述平面推断优先级为：
ρs＝N(s)·B(s)
其中，N(s)为与超像素s相邻且已分配可靠平面的超像素数量，B(s)为超像素s与相邻且已分配可靠平面的超像素的连接边界总长度。从上式可知，如果超像素s相邻的已分配可靠平面的超像素越多，相应的连接边界越长，则其对应平面越易于确定，因而应优先推断其对应的平面。
步骤131，如果选择的超像素s为天空和地面，则放弃后续步骤；
具体地，对于地面区域，如果超像素s内部的像素在当前所有已重建场景平面的反投影空间点位于地平面下方者的平均比例大于90％，则将其直接视为地平面；
对于天空区域，通过以下条件Tsky(s)来判断：
其中，Psky(s)为语义标注算法获取的超像素s属于天空区域的概率，ε为相应的阈值，本实施例中为0.9，Hr为已重建的平面集。
步骤132，如果选择的超像素s不是天空或地面，则生成候选平面集并确定其最小的平面可靠性度量E(s,Hs)值；
具体地，生成候选平面集的方法为：首先检测与超像素s相邻且已获得可靠平面的超像素集Π，然后根据平面夹角先验Aprior，以场景垂直方向以及s与t∈Π边界上任意一点确定的轴线为中心旋转超像素t对应的平面Ht，进而将每个平面夹角对应的旋转平面作为超像素s的候选平面，多个候选平面组成候选平面集。其中场景垂直方向采用消影点检测方法确定。
如果集合Π中的超像素较多，则可能导致超像素s的候选平面集包含较多的冗余平面(如两平行平面相距较近)，因而需要进行冗余平面滤除处理(即多个冗余平面只保留一个)以提高场景结构推断的效率。此外，为了提高场景结构推断精度，需要根据不同方向的旋转轴线确定超像素s的候选平面集。
平面可靠性度量的表达式为：
其中，Esmooth(Hs,Ht)为平滑项，γ为平滑项权重，本实施例取0.6。
数据项由以下公式计算获得：
Edata(s,Hs)＝E′pho(s,Hs)+ρ·Ecnn(s,Hs)
其中，E′pho(s,Hs)为利用图像底层特征构造的平面可靠性度量，ρ为权重常数，Ecnn(s,Hs)为利用由深度学习方法获取的图像高层特征构造的平面可靠性度量。
Ecnn(s,Hs)的具体计算方法为：对于当前为超像素s∈Ir分配的平面Hs，首先在图像{Ni}i＝1,2中确定超像素s在平面Hs诱导下的投影区域{si}i＝1,2并分别在图像Ir与{Ni}i＝1,2中截取包含超像素s与图像区域{si}的最小区域，然后将其尺寸归一化后融合为三通道的图像并采用VGG-M卷积神经网络框架提取该图像的特征，最后利用一个全连接层进行特征的线性回归并将结果作为超像素s与图像区域{si}的匹配度量及平面Hs的可靠性度量，即Ecnn(s,Hs)。
上述的E′pho(s,Hs)由以下公式计算获得：
其中，k为与超像素s相邻的图像Ni的数量，|s|为超像素s内部像素的总数，p为超像素s中的像素。
上述的Cs(p,Hs,Ni)定义为：
其中，Ir为超像素s所在的图像，||Ir(p)-Ni(Hs(p))||为图像Ir中的像素p与相邻图像Ni中的像素Hs(p)之间的规范化颜色差异，δ为截断阈值，以增强颜色度量的可靠性，本实施例取0.5，M为相邻图像Ni中待推断空间平面的区域，通常不包含任何空间点，d(x)和D(x)分别为的当前深度值和可靠深度值，λocc和λerr为不同情况下的惩罚量。
上述的Esmooth(Hs,Ht)由以下公式计算获得：
其中，Csim为相邻超像素之间的颜色特征差异，μ为结构先验松弛参数，A(Hs,Ht)表示当前为相邻超像素s和t分配的平面Hs和Ht之间的夹角，λdis为相邻平面间断惩罚量，本实施例取2。
上述颜色特征差异Csim的定义为：
其中，||c(s)-c(t)||表示相邻超像素s与t之间规范化的平均颜色(即颜色值范围为0-1)差异。
步骤133，如果E(s,Hs)值小于将平面Hs与超像素s分别保存至平面集H与超像素集R，然后进入步骤140；
步骤134，如果E(s,Hs)值不小于则对超像素s进行再分割，并将分割结果保存至集合Q；
具体地，超像素s的再分割方法为调整图像过分割参数。
步骤140，跳转到步骤130，直到集合Q为空；
步骤150，根据超像素集R对应的平面集H生成初始场景结构；
步骤160，得到初始场景结构后，在MRF框架下对场景结构进行全局优化，相应的能量函数为：
其中，为超像素s的相邻超像素集合，ω为权重系数，本实施例取0.5。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种基于结构先验与深度学习的城市场景分段平面重建方法，其特征在于，所述方法包括以下步骤：
步骤100，输入稀疏空间点及标定图像；
步骤110，初始化初始平面集和初始超像素集；
其中，利用在标定图像中检测出的由不同平面相交而产生的线段对应的直线对超像素进行再分割；
步骤120，根据初始平面集和初始超像素集确定可靠平面及相应的超像素，并分别保存至集合H和R；
步骤130，初始超像素集中除去与可靠平面相应的超像素以外的超像素集为Q，根据集合R计算集合Q中超像素的平面推断优先级，然后根据平面推断优先级从大到小的顺序从集合Q中选择并从中清除超像素s；
步骤131，如果选择的超像素s为天空和地面，则放弃后续步骤；
其中，对于地面区域，如果超像素s内部的像素在当前所有已重建场景平面的反投影空间点位于地平面下方者的平均比例大于90％，则将其直接视为地面；
对于天空区域，通过以下条件Tsky(s)来判断：
其中，Psky(s)为语义标注算法获取的超像素s属于天空区域的概率，ε为相应的阈值，Hr为已重建的平面集，Hs为当前为超像素s分配的平面，Edata(s,Hs)为数据项，最初为超像素集中所有包含空间点的超像素对应最小Edata(s,Hs)值的平均值，而后根据当前已重建平面与相应超像素对应的Edata(s,Hs)值进行更新；
步骤132，如果选择的超像素s不是天空或地面，则生成候选平面集并确定其最小的平面可靠性度量E(s,Hs)值；
其中，生成候选平面集的方法为：首先检测与超像素s相邻且已获得可靠平面的超像素集Π，然后根据平面夹角先验Aprior，以场景垂直方向以及s与t∈Π边界上任意一点确定的轴线为中心旋转超像素t对应的平面Ht，进而将每个平面夹角对应的旋转平面作为超像素s的候选平面，多个候选平面组成候选平面集，其中场景垂直方向采用消影点检测方法确定；
步骤133，如果E(s,Hs)值小于将平面Hs与超像素s分别保存至平面集H与超像素集R，然后进入步骤140；
步骤134，如果E(s,Hs)值大于或等于则对超像素s进行再分割，并将分割结果保存至集合Q；
步骤140，跳转到步骤130，直到集合Q为空；
步骤150，根据超像素集R对应的平面集H生成初始场景结构；
步骤160，得到初始场景结构后，在MRF框架下对场景结构进行全局优化，相应的能量函数为：
其中，E′pho(s,Hs)为利用图像底层特征构造的平面可靠性度量，Esmooth(Hs,Ht)为平滑项，ω为权重系数，为超像素s的相邻超像素集合。
2.如权利要求1所述的基于结构先验与深度学习的城市场景分段平面重建方法，其特征在于，步骤110具体包括：
利用多模型拟合算法从输入的稀疏空间点中抽取初始平面，多个初始平面组成初始平面集；采用Mean-shift图像过分割算法将当前图像分割为若干互不重叠的区域，即超像素，多个超像素即组成超像素集。
3.如权利要求1所述的基于结构先验与深度学习的城市场景分段平面重建方法，其特征在于，在线段检测时将重复线段合并，以减小计算复杂度；同时利用不同斜率的线段对超像素进行规范化。
4.如权利要求1所述的基于结构先验与深度学习的城市场景分段平面重建方法，其特征在于，步骤120具体包括：
对于包含空间点的超像素s，根据以下条件Tseed(s)在初始平面集中选取可靠平面：
其中，N(Ps,Hs)为超像素s包含的空间点Ps到平面Hs的平均距离，为初始超像素集中所有包含空间点的超像素对应最小N(Ps,Hs)值的平均值。
5.如权利要求1所述的基于结构先验与深度学习的城市场景分段平面重建方法，其特征在于，步骤130中所述平面推断优先级为：
ρs＝N(s)·B(s)
其中，N(s)为与超像素s相邻且已分配可靠平面的超像素数量，B(s)为超像素s与相邻且已分配可靠平面的超像素的连接边界总长度。
6.如权利要求1所述的基于结构先验与深度学习的城市场景分段平面重建方法，其特征在于，步骤132中如果集合Π中的超像素较多，需要进行冗余平面滤除处理以提高场景结构推断的效率，此外，为了提高场景结构推断精度，需要根据不同方向的旋转轴线确定超像素s的候选平面集。
7.如权利要求1所述的基于结构先验与深度学习的城市场景分段平面重建方法，其特征在于，步骤132中平面可靠性度量的表达式为：
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>s</mi>
<mo>,</mo>
<msub>
<mi>H</mi>
<mi>s</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>E</mi>
<mrow>
<mi>d</mi>
<mi>a</mi>
<mi>t</mi>
<mi>a</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>s</mi>
<mo>,</mo>
<msub>
<mi>H</mi>
<mi>s</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>&gamma;</mi>
<mo>&CenterDot;</mo>
<munder>
<mi>&Pi;</mi>
<mrow>
<mi>t</mi>
<mo>&Element;</mo>
<mi>&Pi;</mi>
</mrow>
</munder>
<msub>
<mi>E</mi>
<mrow>
<mi>s</mi>
<mi>m</mi>
<mi>o</mi>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>H</mi>
<mi>s</mi>
</msub>
<mo>,</mo>
<msub>
<mi>H</mi>
<mi>t</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中，γ为平滑项权重；
数据项由以下公式计算获得：
Edata(s,Hs)＝E′pho(s,Hs)+ρ·Ecnn(s,Hs)
其中，Ecnn(s,Hs)为利用由深度学习方法获取的图像高层特征构造的平面可靠性度量，ρ为权重常数；
上述的E′pho(s,Hs)由以下公式计算获得：
<mrow>
<msubsup>
<mi>E</mi>
<mrow>
<mi>p</mi>
<mi>h</mi>
<mi>o</mi>
</mrow>
<mo>&prime;</mo>
</msubsup>
<mrow>
<mo>(</mo>
<mi>s</mi>
<mo>,</mo>
<msub>
<mi>H</mi>
<mi>s</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>k</mi>
<mo>&CenterDot;</mo>
<mrow>
<mo>|</mo>
<mi>s</mi>
<mo>|</mo>
</mrow>
</mrow>
</mfrac>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</munderover>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>p</mi>
<mo>&Element;</mo>
<mi>s</mi>
</mrow>
</munder>
<msub>
<mi>C</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>,</mo>
<msub>
<mi>H</mi>
<mi>s</mi>
</msub>
<mo>,</mo>
<msub>
<mi>N</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中，k为与超像素s相邻的图像Ni的数量，|s|为超像素s内部像素的总数，p为超像素s中的像素；
上述的Cs(p,Hs,Ni)定义为：
<mrow>
<msub>
<mi>C</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>,</mo>
<msub>
<mi>H</mi>
<mi>s</mi>
</msub>
<mo>,</mo>
<msub>
<mi>N</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>I</mi>
<mi>r</mi>
</msub>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
<mo>-</mo>
<msub>
<mi>N</mi>
<mi>i</mi>
</msub>
<mo>(</mo>
<mrow>
<msub>
<mi>H</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>|</mo>
<mo>|</mo>
<mo>,</mo>
<mi>&delta;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>H</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>&Element;</mo>
<mi>M</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>o</mi>
<mi>c</mi>
<mi>c</mi>
</mrow>
</msub>
</mtd>
<mtd>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>H</mi>
<mi>s</mi>
</msub>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>></mo>
<mi>D</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>H</mi>
<mi>s</mi>
</msub>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>e</mi>
<mi>r</mi>
<mi>r</mi>
</mrow>
</msub>
</mtd>
<mtd>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>H</mi>
<mi>s</mi>
</msub>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>&le;</mo>
<mi>D</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>H</mi>
<mi>s</mi>
</msub>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，Ir为超像素s所在的图像，||Ir(p)-Ni(Hs(p))||为图像Ir中的像素p与相邻图像Ni中的像素Hs(p)之间的规范化颜色差异，δ为截断阈值，以增强颜色度量的可靠性，M为相邻图像Ni中待推断空间平面的区域，通常不包含任何空间点，d(x)和D(x)分别为的当前深度值和可靠深度值，λocc和λerr为不同情况下的惩罚量；
上述的Esmooth(Hs,Ht)由以下公式计算获得：
<mrow>
<msub>
<mi>E</mi>
<mrow>
<mi>s</mi>
<mi>m</mi>
<mi>o</mi>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>H</mi>
<mi>s</mi>
</msub>
<mo>,</mo>
<msub>
<mi>H</mi>
<mi>t</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<msub>
<mi>C</mi>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>m</mi>
</mrow>
</msub>
</mtd>
<mtd>
<mrow>
<msub>
<mi>H</mi>
<mi>s</mi>
</msub>
<mo>=</mo>
<msub>
<mi>H</mi>
<mi>t</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>&mu;</mi>
<mo>&CenterDot;</mo>
<msub>
<mi>C</mi>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>m</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>A</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>H</mi>
<mi>s</mi>
</msub>
<mo>,</mo>
<msub>
<mi>H</mi>
<mi>t</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>&Element;</mo>
<mi>A</mi>
<mi>p</mi>
<mi>r</mi>
<mi>i</mi>
<mi>o</mi>
<mi>r</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>&lambda;</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msub>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，Csim为相邻超像素之间的颜色特征差异，μ为结构先验松弛参数，A(Hs,Ht)表示当前为相邻超像素s和t分配的平面Hs和Ht之间的夹角，λdis为相邻平面间断惩罚量。
8.如权利要求7所述的基于结构先验与深度学习的城市场景分段平面重建方法，其特征在于，Ecnn(s,Hs)的具体计算方法为：对于当前为超像素s∈Ir分配的平面Hs，首先在图像{Ni}i＝1,2中确定超像素s在平面Hs诱导下的投影区域{si}i＝1,2并分别在图像Ir与{Ni}i＝1,2中截取包含超像素s与图像区域{si}的最小区域，然后将其尺寸归一化后融合为三通道的图像并采用VGG-M卷积神经网络框架提取该图像的特征，最后利用一个全连接层进行特征的线性回归并将结果作为超像素s与图像区域{si}的匹配度量及平面Hs的可靠性度量，即Ecnn(s,Hs)。
9.如权利要求1所述的基于结构先验与深度学习的城市场景分段平面重建方法，其特征在于，步骤134中超像素s的再分割方法为调整图像过分割参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710685618.XA CN107403465B (zh) | 2017-08-11 | 2017-08-11 | 基于结构先验与深度学习的城市场景分段平面重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710685618.XA CN107403465B (zh) | 2017-08-11 | 2017-08-11 | 基于结构先验与深度学习的城市场景分段平面重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107403465A true CN107403465A (zh) | 2017-11-28 |
| CN107403465B CN107403465B (zh) | 2020-11-03 |
Family
ID=60396377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710685618.XA Active CN107403465B (zh) | 2017-08-11 | 2017-08-11 | 基于结构先验与深度学习的城市场景分段平面重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107403465B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108288277A (zh) * | 2018-01-17 | 2018-07-17 | 视缘(上海)智能科技有限公司 | 一种基于rap的三维场景重建方法 |
| CN109410323A (zh) * | 2018-10-25 | 2019-03-01 | 周口师范学院 | 一种城市建筑立面三维“线-面”结构重建方法 |
| CN110189309A (zh) * | 2019-05-21 | 2019-08-30 | 上海商汤智能科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101271591A (zh) * | 2008-04-28 | 2008-09-24 | 清华大学 | 一种交互式多视点三维模型重建方法 |
| EP2056255A1 (en) * | 2007-11-02 | 2009-05-06 | Ecole Nationale Supérieure D'Arts et Métiers ENSAM | Method for reconstruction of a three-dimensional model of an osteo-articular structure |
| CN101650834A (zh) * | 2009-07-16 | 2010-02-17 | 上海交通大学 | 复杂场景下人体表面三维重建方法 |
| CN103218851A (zh) * | 2013-04-03 | 2013-07-24 | 西安交通大学 | 一种三维线段的分段重建方法 |
| US20140003689A1 (en) * | 2012-06-29 | 2014-01-02 | General Electric Company | Methods and systems for enhanced tomographic imaging |
| CN104517317A (zh) * | 2015-01-08 | 2015-04-15 | 东华大学 | 一种车载红外图像三维重建方法 |
| CN106327576A (zh) * | 2016-08-10 | 2017-01-11 | 周口师范学院 | 一种城市场景重建方法及系统 |
-
2017
- 2017-08-11 CN CN201710685618.XA patent/CN107403465B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2056255A1 (en) * | 2007-11-02 | 2009-05-06 | Ecole Nationale Supérieure D'Arts et Métiers ENSAM | Method for reconstruction of a three-dimensional model of an osteo-articular structure |
| CN101271591A (zh) * | 2008-04-28 | 2008-09-24 | 清华大学 | 一种交互式多视点三维模型重建方法 |
| CN101650834A (zh) * | 2009-07-16 | 2010-02-17 | 上海交通大学 | 复杂场景下人体表面三维重建方法 |
| US20140003689A1 (en) * | 2012-06-29 | 2014-01-02 | General Electric Company | Methods and systems for enhanced tomographic imaging |
| CN103218851A (zh) * | 2013-04-03 | 2013-07-24 | 西安交通大学 | 一种三维线段的分段重建方法 |
| CN104517317A (zh) * | 2015-01-08 | 2015-04-15 | 东华大学 | 一种车载红外图像三维重建方法 |
| CN106327576A (zh) * | 2016-08-10 | 2017-01-11 | 周口师范学院 | 一种城市场景重建方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| GUANGHUI WANG ET AL: ""Reconstruction of structured scenes from two uncalibrated images"", 《PATTERN RECOGNITION LETTERS》 * |
| MOHAMAD MOTASEM NAWAF ET AL: ""MONOCULAR 3D STRUCTURE ESTIMATION FOR URBAN SCENES"", 《ICIP 2014》 * |
| 焦增涛: ""基于结构先验的规则场景三维重建技术研究"", 《中国优秀硕士学位论文全文数据库-信息科技辑》 * |
| 王伟 等: ""基于语义约束与Graph Cuts的稠密三维场景重建"", 《中国科学》 * |
| 谢榛: ""基于无人机航拍图像的室外场景三维重建技术研究"", 《中国优秀硕士学位论文全文数据库-信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108288277A (zh) * | 2018-01-17 | 2018-07-17 | 视缘(上海)智能科技有限公司 | 一种基于rap的三维场景重建方法 |
| CN109410323A (zh) * | 2018-10-25 | 2019-03-01 | 周口师范学院 | 一种城市建筑立面三维“线-面”结构重建方法 |
| CN109410323B (zh) * | 2018-10-25 | 2023-03-28 | 周口师范学院 | 一种城市建筑立面三维“线-面”结构重建方法 |
| CN110189309A (zh) * | 2019-05-21 | 2019-08-30 | 上海商汤智能科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107403465B (zh) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Aanet: Adaptive aggregation network for efficient stereo matching | |
| Li et al. | SPM-BP: Sped-up PatchMatch belief propagation for continuous MRFs | |
| CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
| CN106910242A (zh) | 基于深度相机进行室内完整场景三维重建的方法及系统 | |
| CN103700101B (zh) | 一种非刚性脑图像配准方法 | |
| CN112084869B (zh) | 一种基于紧致四边形表示的建筑物目标检测方法 | |
| CN103856727A (zh) | 一种多路实时视频拼接处理系统 | |
| CN103413347A (zh) | 基于前景背景融合的单目图像深度图提取方法 | |
| CN102073982B (zh) | 用gpu实现超大sar图像各向异性扩散滤波加速方法 | |
| CN104484868B (zh) | 一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法 | |
| CN107403465A (zh) | 基于结构先验与深度学习的城市场景分段平面重建方法 | |
| Jiang et al. | Estimation of construction site elevations using drone-based orthoimagery and deep learning | |
| CN107369158A (zh) | 基于rgb‑d图像的室内场景布局估计及目标区域提取方法 | |
| CN106327576B (zh) | 一种城市场景重建方法及系统 | |
| CN106408531A (zh) | 基于gpu加速的层次化自适应三维重建方法 | |
| CN105787932A (zh) | 基于分割交叉树的立体匹配方法 | |
| CN106355646A (zh) | 应用于图像处理的表面细化方法、装置以及系统 | |
| US20100014716A1 (en) | Method for determining ground line | |
| NO324930B1 (no) | Anordning og fremgangsmate for beregning av rasterdata | |
| Lin et al. | Dense 3D surface reconstruction of large-scale streetscape from vehicle-borne imagery and LiDAR | |
| Zhang et al. | Edge-preserving stereo matching using minimum spanning tree | |
| CN104239874A (zh) | 一种器官血管识别方法及装置 | |
| Wang et al. | Technical design and system implementation of region-line primitive association framework | |
| CN106340038B (zh) | 一种基于单目图像中物体的深度次序推理方法 | |
| Zhang et al. | Dense Reconstruction from Visual SLAM with Probabilistic Multi-Sequence Merging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |