CN116091709B - 建筑物的三维重建方法、装置、电子设备和存储介质 - Google Patents
建筑物的三维重建方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116091709B CN116091709B CN202310376835.6A CN202310376835A CN116091709B CN 116091709 B CN116091709 B CN 116091709B CN 202310376835 A CN202310376835 A CN 202310376835A CN 116091709 B CN116091709 B CN 116091709B
- Authority
- CN
- China
- Prior art keywords
- information
- building
- ith
- roof
- side edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000008447 perception Effects 0.000 claims description 158
- 238000001514 detection method Methods 0.000 claims description 117
- 230000011218 segmentation Effects 0.000 claims description 90
- 230000000007 visual effect Effects 0.000 claims description 35
- 230000010365 information processing Effects 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 15
- 230000000877 morphologic effect Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000007797 corrosion Effects 0.000 claims description 5
- 238000005260 corrosion Methods 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 241000221696 Sclerotinia sclerotiorum Species 0.000 claims 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 238000007689 inspection Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 235000002245 Penicillium camembertii Nutrition 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000001788 irregular Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241000791900 Selene vomer Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了建筑物的三维重建方法、装置、电子设备和存储介质，涉及人工智能领域，具体涉及图像处理、数字孪生以及3D视觉技术，可应用在智慧城市、城市管理、应急管理场景。具体实现方案为：基于俯视角图像，得到多个建筑物中每个建筑物的屋顶信息以及每个建筑物的侧棱信息；基于每个建筑物的屋顶信息以及每个建筑物的侧棱信息，确定每个建筑物的底面信息；基于每个建筑物的底面信息，得到每个建筑物的三维模型。本公开可以实现基于俯视角图像进行批量建筑物的三维重建，减少建筑物三维重建的人力成本，并大幅提升效率。
Description
技术领域
本公开涉及人工智能领域，具体涉及图像处理、数字孪生以及3D（3-Dimension，三维）视觉技术，可应用在智慧城市、城市管理、应急管理场景。
背景技术
数字孪生技术在直观信息展现等方面具有显著优势，目前已广泛应用于城市管理、景区管理等场景。数字城市作为这些场景中的典型应用，需要对城市的各种要素（例如建筑物、道路、山川河流等）进行三维展示。其中，建筑物的三维展示依赖于对应建筑物的三维模型。传统地，需要建模师手动地针对大量建筑物逐个进行建模。近年来，也有一些基于人工智能的三维重建技术，针对每个建筑物，分别采集多角度图像进行自动三维重建。
发明内容
本公开提供了一种建筑物的三维重建方法、装置、电子设备和存储介质。
根据本公开的一方面，提供了一种建筑物的三维重建方法，包括：
基于俯视角图像，得到多个建筑物中每个建筑物的屋顶信息以及所述每个建筑物的侧棱信息；
基于所述每个建筑物的屋顶信息以及所述每个建筑物的侧棱信息，确定所述每个建筑物的底面信息；
基于所述每个建筑物的底面信息，得到所述每个建筑物的三维模型。
根据本公开的另一方面，提供了一种建筑物的三维重建装置，包括：
二维感知模块，用于基于俯视角图像，得到多个建筑物中每个建筑物的屋顶信息以及所述每个建筑物的侧棱信息；
底面信息确定模块，用于基于所述每个建筑物的屋顶信息以及所述每个建筑物的侧棱信息，确定所述每个建筑物的底面信息；
三维重建模块，用于基于所述每个建筑物的底面信息，得到所述每个建筑物的三维模型。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。
本公开实施例的技术方案中，提出基于俯视角图像得到建筑物的屋顶信息以及侧棱信息，以及针对每个建筑物，利用其屋顶信息和侧棱信息得到底面信息。如此，可以基于底面信息得到每个建筑物的三维模型，从而实现基于俯视角图像进行批量建筑物的三维重建，减少建筑物三维重建的人力成本，并大幅提升效率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开一实施例提供的建筑物的三维重建方法的流程示意图；
图2是本公开实施例中建筑物的屋顶信息和侧棱信息的示意图；
图3是本公开另一实施例提供的建筑物的三维重建方法的流程示意图；
图4是本公开实施例中图像切割的示意图；
图5是本公开实施例中模型预测的示意图；
图6是本公开实施例中确定非完整建筑的二维感知信息的示意图；
图7是本公开实施例中形态相关处理的示意图；
图8是本公开一实施例提供的建筑物的三维重建装置的示意性框图；
图9是本公开另一实施例提供的建筑物的三维重建装置的示意性框图；
图10是用来实现本公开实施例的建筑物的三维重建方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语“至少之一”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出了本公开一实施例提供的建筑物的三维重建方法的流程示意图。该方法可以应用于建筑物的三维重建装置，该装置可以部署于电子设备中。电子设备例如是单机或多机的终端、服务器或其他处理设备。其中，终端可以为移动设备、个人数字助理（Personal Digital Assistant，PDA）、手持设备、计算设备、车载设备、可穿戴设备等用户设备（User Equipment，UE）。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示，该方法可以包括：
S110，基于俯视角图像，得到多个建筑物中每个建筑物的屋顶信息以及每个建筑物的侧棱信息。
S120，基于每个建筑物的屋顶信息以及每个建筑物的侧棱信息，确定每个建筑物的底面信息。
S130，基于每个建筑物的底面信息，得到每个建筑物的三维模型。
示例性地，在本公开实施例中，俯视角图像可以包括卫星图像或航拍图像等。需要说明的是，本公开实施例中的俯视角图像并不一定是建筑物的正俯视图，允许卫星或航拍机器等图像采集装置在拍摄时存在一定的倾角，其均在本公开保护范围内。相比于针对多个建筑物，逐个进行拍摄，且每个建筑物拍摄多个角度的图像，本公开实施例中获取俯视角图像的成本较低，且高效便捷。
在本公开实施例中，多个建筑物可以包括俯视角图像对应的空间范围内的各个建筑物。实际应用中，可以采用预设模型对俯视角图像进行模型预测或者说推理，以确定多个建筑物以及其中每个建筑物的图像信息，该图像信息包括屋顶信息和侧棱信息。
图2示出了本公开实施例中建筑物的屋顶信息和侧棱信息的示意图。参考图2，屋顶信息可以包括屋顶分割区域201，该屋顶分割区域201可以指采用图像分割的方式在俯视角图像中确定出的屋顶所在的图像区域。示例性地，侧棱信息可以包括侧棱线，或者侧棱线的关键点，例如图2中侧棱线的两个端点202。实际应用中，可以采用关键点检测的方式在俯视角图像中确定出侧棱线的关键点。
一个应用示例中，可以先在俯视角图像中进行目标检测，得到建筑检测框203，再基于建筑检测框203确定出屋顶分割区域201和侧棱线的端点202。
示例性地，在本公开实施例中，建筑物的底面信息可以包括建筑物的底面对应的图像区域。由于建筑物一般是直立向上的，因此，基于建筑物的屋顶信息以及侧棱信息，可以确定建筑物的底面信息。
可以理解，基于俯视角图像的图像坐标与真实世界坐标之间的转换关系，可以将建筑物的底面信息，转换为建筑物的底面在真实世界中的位置，即建筑物在真实世界中的位置。因此，基于底面信息可以得到建筑物的三维模型。
在上述方法中，基于俯视角图像得到建筑物的屋顶信息以及侧棱信息，并针对每个建筑物，利用其屋顶信息和侧棱信息得到底面信息。如此，可以基于底面信息得到每个建筑物的三维模型，从而实现基于俯视角图像进行批量建筑物的三维重建，减少建筑物三维重建的人力成本，并大幅提升效率。
图3是根据本公开另一实施例的建筑物的三维重建方法的流程示意图，该方法可以包括上述实施例的方法的一个或多个特征。在一种实施方式中，如图3所示，基于俯视角图像，得到多个建筑物中每个建筑物的屋顶信息以及每个建筑物的侧棱信息，可以包括：
S310，基于俯视角图像，得到多个局部图像；
S320，对多个局部图像中的每个局部图像进行模型预测，得到每个局部图像中的二维感知信息；
S330，基于每个局部图像中的二维感知信息，得到每个建筑物的屋顶信息以及每个建筑物的侧棱信息。
其中，在上述步骤S310中，多个局部图像中包括俯视角图像的完整信息。示例性地，多个局部图像可以是对俯视角图像进行切割得到的所有局部图像。示例性地，该俯视角图像可以是卫星图像，由于卫星图像一般较大，像素在10万级别以上，目前的计算机硬件无法一次性处理如此巨大的图像，通过对俯视角图像进行切割，可以为计算机硬件处理奠定基础。
在上述步骤S320中，可以采用预设模型对每个局部图像分别进行预测。经过模型预测得到的二维感知信息中可以包括每个局部图像中的建筑检测框、屋顶信息、侧棱信息等。其中，单个局部图像中包含的二维感知信息的数量不限，不同的局部图像可以包括不同数量的二维感知信息，也可以包括相同数量的二维感知信息，具体根据实际的俯视角图像而定。例如，任意一个局部图像可能包含一个或多个屋顶信息以及一个或多个侧棱信息，也可能不包含屋顶信息和侧棱信息。
在上述步骤S330中，可以对每个局部图像中的二维感知信息进行后处理，例如将各个局部图像中的二维感知信息进行汇总，以将在各个局部图像中预测出的二维感知信息确定为不同建筑物的二维感知信息。
根据上述实施方式，通过图像切割、模型预测以及后处理等，实现基于大尺寸的俯视角图像的精细化处理，准确地提取各建筑物的屋顶信息以及侧棱信息，有利于批量建筑物的三维重建的落地实现，并提升三维重建效果。
为了便于理解上述图像切割、模型预测以及后处理，下面针对各个部分进行具体的示例。
（一）图像切割
在一些实施例中，基于俯视角图像，得到多个局部图像，可以包括：基于预设步长以及预设窗口，在俯视角图像中提取多个局部图像。
示例性地，可以按照预设步长，将预设窗口在俯视角图像中滑动，将每次滑动对应的图像区域作为一个局部图像。图4示出了一个示例中图像切割的示意图。如图4所示，在俯视角图像400中，根据预设步长从左向右滑动预设窗口401，可以得到局部图像402。可以理解，通过多次滑动窗口，提取到俯视角图像400中的一行局部图像之后，可以基于预设步长向下滑动一次，再从左向右进行多次滑动，得到下一行局部图像。依次类推，可以得到多个局部图像，多个局部图像包含俯视角图像400中的全部信息。
通过对预设步长和预设窗口的尺寸进行配置，可以使得提取的局部图像满足实际需求，有利于实现基于大尺寸俯视角图像自动完成批量建筑物的三维重建。
具体而言，通过对预设步长和预设窗口的尺寸进行配置，可以保证每个建筑物至少完整地出现在一个局部图像中，避免某些建筑物被一分为二，无法提取完整的信息。举例而言，对于一个尺寸为100000*20000（单位：像素）的卫星图像，可以采用640*640大小的窗口，水平/垂直均以320的步长进行滑动，每次滑动保存一个局部图像，从而实现将大图切割为小图。
（二）模型预测
在一些实施例中，对多个局部图像中的每个局部图像进行模型预测，得到每个局部图像中的二维感知信息，包括：
针对多个局部图像中的每个局部图像，基于局部图像的视觉特征以及局部图像的第i-1个任务输入特征，得到局部图像的第i个任务输入特征；
在预设模型中的第i组任务模块中，基于第i个任务输入特征，得到第i组任务模块输出的二维感知信息；其中，预设模型包括级联的N组任务模块，i为不小于2且不大于N的整数。
示例性地，预设模型中可以包括级联的特征提取模块以及N组任务模块。其中，特征提取模块可以用于提取局部图像的视觉特征。N组任务模块中的第i组任务模块，用于基于第i个任务输入特征，输出二维感知信息。
可选地，可以将第N组任务模块输出的二维感知信息，即最终得到的二维感知信息，确定为该局部图像中的二维感知信息，用于确定建筑物的屋顶信息和侧棱信息。
可选地，可以基于局部图像的视觉特征，得到第一个任务输入特征，从而在第一组任务模块中，基于第一个任务输入特征，输出二维感知信息。然后，根据上述实施例，基于局部图像的视觉特征以及第一个任务输入特征，得到第二个任务输入特征，从而在第二组任务模块中，基于第二个任务输入特征，输出二维感知信息。依次类推，直至在第N组任务模块中，基于第N个任务输入特征，输出二维感知信息。
根据上述实施例中的步骤，每组任务模块的任务输入特征，是基于上一组任务模块的任务输入特征以及局部图像的视觉特征得到的，即实现了任务输入特征在级联任务模块之间的横向融合，提高特征复用率和信息流通性，从而提高模型效果。
在一些实施例中，基于局部图像的视觉特征以及局部图像的第i-1个任务输入特征，得到局部图像的第i个任务输入特征，可以包括：
基于局部图像的视觉特征以及局部图像的第i-1个建筑检测框，得到局部图像的第i个建筑检测框；
基于局部图像的视觉特征以及第i个建筑检测框进行池化，得到池化特征；
基于池化特征与第i-1个任务输入特征，得到第i个任务输入特征。
示例性地，N组任务模块中的每组任务模块，可以包括检测框确定模块，该检测框确定模块用于基于局部图像的视觉特征以及上一个建筑检测框，确定当前的建筑检测框。
可选地，在第一组任务模块执行处理之前，可以采用候选框推荐器对局部图像进行检测，得到初始化检测框。再在第一组任务模块的检测框确定模块中，基于局部图像的视觉特征以及初始化检测框，得到第一个建筑检测框。然后，基于局部图像的视觉特征以及第一建筑检测框进行池化，得到池化特征，再基于池化特征得到第一个任务输入特征。
根据上述实施例，第i组任务模块中的任务输入特征，不仅融合第i-1组（上一组）任务模块中的同一任务的信息，还融合了第i组（当前组）任务模块中建筑检测框的检测任务的信息，极大提高了特征复用率和信息流通性，提高模型效果。
可选地，第i组任务模块包括预设模型中的第i个屋顶分割模块；局部图像的第i个任务输入特征包括第i个屋顶分割模块的输入特征，第i个屋顶分割模块的输入特征是基于局部图像的视觉特征以及预设模型中的第i-1个屋顶分割模块的输入特征得到的。相应地，在预设模型中的第i组任务模块中，基于第i个任务输入特征，得到第i组任务模块输出的二维感知信息，包括：在第i个屋顶分割模块中，基于第i个屋顶分割模块的输入特征，得到第i个屋顶分割模块输出的屋顶信息。
根据上述可选方式，每组任务模块输出的二维感知信息包括屋顶信息。当前的屋顶分割模块的输入特征，融合了上一级的屋顶分割模块的输入特征，进一步地，还可以融合同一级的检测框确定模块输出的建筑检测框，从而提高屋顶信息的准确性。
可选地，第i组任务模块包括预设模型中的第i个侧棱关键点检测模块；局部图像的第i个任务输入特征包括第i个侧棱关键点检测模块的输入特征，第i个侧棱关键点检测模块的输入特征是基于局部图像的视觉特征以及预设模型中的第i-1个侧棱关键点检测模块的输入特征得到的。相应地，在预设模型中的第i组任务模块中，基于第i个任务输入特征，得到第i组任务模块输出的二维感知信息，包括：在第i个侧棱关键点检测模块中，基于第i个侧棱关键点检测模块的输入特征，得到侧棱关键点检测模块输出的侧棱信息。
根据上述可选方式，每组任务模块输出的二维感知信息包括侧棱信息。当前的侧棱关键点检测模块的输入特征，融合了上一级的侧棱关键点检测模块的输入特征，进一步地，还可以融合同一级的检测框确定模块输出的建筑检测框，从而提高屋顶信息的准确性。
为了便于理解，下面提供模型预测部分的具体示例。图5示出了本公开实施例中模型预测的示意图。如图5所示，模型整体采用基于锚框的二阶段自顶而下的方案，自顶而下意味着模型先检测出建筑检测框，然后根据对应的特征信息执行分割任务输出屋顶分割区域、执行关键点检测任务输出侧棱关键点。
其中，一阶段网络510基于候选框推荐器对建筑物图像530进行粗略检测得到候选框（即初始检测框）。具体地，一阶段网络中基于特征提取器511和特征金字塔512在局部图像中提取得到视觉特征（例如多个特征图），再采用候选框推荐器（RPN）513对视觉特征进行处理，得到候选框。
二阶段网络包括级联的多组任务模块（每组任务模块的结构可参考图5中的第一组任务模块520）对建筑检测框进行更精细的检测，并输出分割的屋顶分割区域和侧棱关键点。具体地，每个级联模块包括池化模块521、检测框确定模522（也可以称为检测框头网络）、屋顶分割模块523（也可以称为分割头网络）以及侧棱关键点检测模块524（也可以称为关键点头网络）。基于候选框推荐器513与第一组任务模块520的信息处理过程包括：候选框推荐器513基于多个特征图进行候选框采样、候选框提取，再经过池化得到候选框特征。基于候选框特征分别进行检测框检测、屋顶分割以及关键点检测，分别得到矩形框、像素级分割结果、关键点位置、关键点可见度等信息。在模型训练过程中，针对候选框推荐器513可采用分类损失和回归损失，针对检测框检测可采用分类损失和回归损失，针对屋顶分割可采用分类损失，针对关键点检测可采用回归损失。
具体地，检测框确定模块Box的处理过程可采用如下公式表示：
其中，表示局部图像经过特征提取器和特征金字塔后得到的视觉特征。表示第i个检测框确定模块（即级联的第i组任务模块中的检测框确定模块）的输入特征。/>表示第i个检测框确定模块输出的建筑检测框。/>为池化操作。/>表示检测框确定模块执行的操作。
屋顶分割模块Mask的处理过程可采用如下公式表示：
其中，表示局部图像经过特征提取器和特征金字塔后得到的视觉特征。表示第i个检测框确定模块输出的建筑检测框。/>为池化操作。/>表示第i-1个屋顶分割模块（即级联的第i-1组任务模块中的屋顶分割模块）的输入特征，相应地，/>表示第i个屋顶分割模块的输入特征。/>为特征融合操作，可以采用多种方式融合特征，例如将特征压缩到同一维度后进行点加操作。/>表示第i个屋顶分割模块输出的屋顶分割区域。/>表示屋顶分割模块执行的操作。
侧棱关键点检测模块Kps的处理过程可采用如下公式表示：
其中，表示局部图像经过特征提取器和特征金字塔后得到的视觉特征。表示第i个检测框确定模块输出的建筑检测框。/>为池化操作。/>表示第i-1个侧棱关键点检测模块（即级联的第i-1组任务模块中的侧棱关键点检测模块）的输入特征，相应地，/>表示第i个侧棱关键点检测模块的输入特征。/>为特征融合操作，可以采用多种方式融合特征，例如将特征压缩到同一维度后进行点加操作。/>表示第i个侧棱关键点检测模块输出的侧棱关键点。/>表示侧棱关键点检测模块执行的操作。
实际应用中，屋顶分割模块Mask和侧棱关键点检测模块Kps的处理过程可以抽象如下：
其中，表示局部图像经过特征提取器和特征金字塔后得到的视觉特征。表示第i个检测框确定模块输出的建筑检测框。/>为池化操作。/>表示第i-1个待处理任务模块（屋顶分割模块Mask或侧棱关键点检测模块Kps）的输入特征，相应地，/>表示第i个待处理任务模块的输入特征。/>为特征融合操作，可以采用多种方式融合特征，例如将特征压缩到同一维度后进行点加操作。/>表示第i个待处理任务模块输出的二维感知信息。/>表示待处理任务模块执行的操作。
可选地，在模型训练过程中，第i组任务模块的损失函数可以采用如下公式表示：
其中，为第i个检测框确定模块的损失函数，示例性地，可以包含分类损失和回归损失/>。其中/>为交叉熵损失函数，/>为分段使用L1范数损失和L2范数损失。/>为第i个屋顶分割模块的损失函数，采用二进制交叉熵损失函数BCE进行计算。/>为第i个侧棱关键点检测模块的损失函数，采用回归损失/>。
分别为检测框确定模块、屋顶分割模块、侧棱关键点检测模块对应的损失函数权重。可选地，/>大于/>，且/>大于/>。例如，/>、/>和/>分别设置为1、1和0.5。由于俯视角图像中侧棱信息误差较大，因此采用该权重配置方式。可以避免将误差大的信息过多引入模型优化中，提升模型优化效率和效果。
（三）后处理
在一些实施例中，基于每个局部图像中的二维感知信息，得到每个建筑物的屋顶信息以及每个建筑物的侧棱信息，可以包括：
基于每个局部图像中的二维感知信息，汇总得到多个待处理感知信息；
对多个待处理感知信息进行过滤，得到多个目标感知信息；
基于多个目标感知信息，确定多个建筑物中每个建筑物的屋顶信息以及每个建筑物的侧棱信息。
示例性地，在上述实施例中，首先各个局部图像的二维感知信息汇总为俯视角图像的待处理感知信息。具体地，可以基于二维感知信息在局部图像中的坐标（例如屋顶分割区域、侧棱关键点在局部图像中的坐标）以及该局部图像的基准点坐标，确定二维感知信息在俯视角图像中的坐标，将该二维感知信息在俯视角图像中的坐标作为俯视角图像的待处理感知信息。
具体而言，以局部图像的左上顶点为基准点，记录每个局部图像的左上顶点坐标。对于局部图像中的任一点坐标/>，可以根据如下公式换算得到该点在俯视角图像中的坐标：
在汇总得到俯视角图像的多个待处理感知信息后，可以对其中的重叠建筑的感知信息、非常规建筑的感知信息等进行过滤。进一步地，基于过滤得到的目标感知信息，确定出对应不同建筑物的屋顶信息和侧棱信息。通过汇总和过滤，可以减少冗余信息的处理，提升处理效率。
在一些实施例中，对多个待处理感知信息进行过滤，得到多个目标感知信息，包括：
在多个待处理感知信息中，确定非完整建筑的二维感知信息；
在多个待处理感知信息中过滤非完整建筑的二维感知信息，得到多个完整感知信息；
基于非极大值抑制（NMS）算法，在多个完整感知信息中过滤重叠建筑的二维感知信息，得到多个目标感知信息。
在采用基于步长进行滑窗的方式提取局部图像时，不同的局部图像中可能包含相同的建筑物图像，即重叠建筑的图像。在本公开实施例中，可以采用NMS算法过滤重叠建筑的二维感知信息，以避免后续计算建筑物的高度和底面信息时产生冗余计算。
实际应用中，重叠建筑可以包含非完整建筑和完整建筑，例如某建筑物同时出现在两个局部图像内，其中一个局部图像包含该建筑物的部分图像，另一个局部图像包含该建筑物的完整图像。在本公开实施例中，可以先对非完整建筑进行过滤，再采用NMS算法对其他类型的重叠建筑进行过滤。如此，可以避免因非完整建筑的模型预测得分大于完整建筑的模型预测得分而导致完整建筑被抑制，从而保证过滤的准确性。
一个示例中，在多个待处理感知信息中，确定非完整建筑的二维感知信息，包括：基于多个待处理感知信息中每个待处理感知信息中的建筑检测框的类别信息，在多个待处理感知信息中确定出非完整建筑的二维感知信息。
具体地，在进行模型预测时，可以输出建筑检测框、屋顶分割区域、侧棱关键点等感知信息，其中建筑检测框可以包含类别信息，该类别信息用于表征建筑检测框内为完整建筑或非完整建筑。如此，可以直接将类别信息为非完整建筑的待处理感知信息，确定为非完整建筑的二维感知信息，将其进行滤除。
根据该示例，可以准确确定出非完整建筑的二维感知信息，从而保证建筑物的信息准确性，提升三维重建效果。
另一个示例中，在多个待处理感知信息中，确定非完整建筑的二维感知信息，包括：基于多个待处理感知信息中每个待处理感知信息中的建筑检测框与局部图像的边缘之间的距离，在多个待处理感知信息中，确定非完整建筑的二维感知信息。
其中，建筑检测框与局部图像的边缘之间的距离，可以指建筑检测框与该建筑检测框所在的局部图像的边缘之间的距离。示例性地，当该距离小于预设距离阈值时（可以理解为该建筑检测框位于局部图像边缘），可以将该建筑检测框所属的待处理感知信息，确定为非完整建筑的二维感知信息。其中，预设距离阈值例如是2个像素、3个像素等。
在采用基于步长进行滑窗的方式提取局部图像时，若某个建筑物图像被切分到多个局部图像中，则不完整的建筑物图像在局部图像中是紧贴边缘的。基于此，上述示例中基于建筑检测框与边缘之间的距离，可以准确确定出非完整建筑的二维感知信息，并且具有更高的效率。
可选地，对于处于俯视角图像边缘的局部图像中的待处理感知信息，不考虑该待处理感知信息中的建筑检测框与俯视角图像边缘的距离，仅考虑该建筑检测框与局部图像中的其他边缘之间的距离。以避免在某个建筑物的建筑检测框仅出现在俯视角图像边缘上的一个局部图像时，被视为非完整建筑物导致被过滤，从而在后续处理中缺失该建筑物的全部信息。
举例而言，图6示出了本公开实施例中确定非完整建筑的二维感知信息的示意图。图6中包含一个局部图像，示出其中的上边缘601、右边缘602、下边缘603、左边缘604以及建筑检测框600。若待处理感知信息所在的局部图像不在俯视角图像边缘，则在待处理感知信息中的建筑检测框位于局部图像的上边缘601、右边缘602、下边缘603、左边缘604中的至少之一时，可以确定该待处理感知信息为非完整建筑的二维感知信息。基于此，建筑检测框600对应的待处理感知信息可判定为非完整建筑的二维感知信息。
假设待处理感知信息所在的局部图像位于俯视角图像右边缘，则在待处理感知信息中的建筑检测框位于局部图像的上边缘601、下边缘603、左边缘604中的至少之一时，可以确定该待处理感知信息为非完整建筑的二维感知信息。在待处理感知信息中的建筑检测框位于局部图像的右边缘602时，不将该待处理感知信息确定为非完整建筑的二维感知信息。基于此，图6所示的建筑检测框600对应的待处理感知信息不会被判定为非完整建筑的二维感知信息，从而避免缺失该建筑检测框600对应的建筑物的全部信息。
可选地，在一些实施例中，基于多个目标感知信息，确定多个建筑物中每个建筑物的屋顶信息以及每个建筑物的侧棱信息，可以包括：对多个目标感知信息中每个目标感知信息中的屋顶分割区域进行形态相关处理，得到多个建筑物感知信息；基于多个建筑物感知信息，确定多个建筑物以及其中每个建筑物的屋顶信息和侧棱信息。
示例性地，在对多个待处理感知信息进行过滤，得到多个目标感知信息之后，可以基于建筑物的形态特点，对每个目标感知信息中的屋顶分割区域进行形态相关处理，从而将目标感知信息处理为符合建筑物的形态特点的建筑物感知信息。例如，建筑物的形态特点包括建筑物一般为平直化的多边形，则上述形态相关处理可以包括将不规则的屋顶分割区域处理为平直化的多边形的相关处理。
可选地，对于目标感知信息中的侧棱信息可以不做处理，直接作为建筑物感知信息中的侧棱信息。
根据上述实施例，通过对目标感知信息中的屋顶分割区域进行形态相关处理，使得建筑物感知信息更加准确，提升建筑物三维重建的效果。
可选地，形态相关处理包括：对屋顶分割区域进行腐蚀以及膨胀。
由于屋顶分割区域一般采用像素分类的方法进行实现，若模型出现对像素的分类失误，会导致输出的屋顶分割区域带有毛刺，不利于后续处理。基于此，采用先腐蚀后膨胀的处理，可以消除毛刺，使得屋顶分割区域更符合建筑物的形态特点，提升建筑物三维重建的效果。
可选地，参考图7所示的本公开实施例中形态相关处理的示意图，形态相关处理可以包括：
S701、多边形简化，即将屋顶分割区域调整为多边形；
S702、基于第一角度对屋顶分割区域进行旋转；
S703、将旋转后的屋顶分割区域的每个边调整至与坐标轴平行；
S704、基于第一角度对屋顶分割区域进行旋转还原。
可选地，针对旋转后的每个边，可以根据其与坐标系横轴的夹角大小以及与坐标系纵轴之间的夹角大小，确定将调整至与横轴平行或与纵轴平行。
由于实际应用中，建筑物俯视图一般是带有直角的多边形，若模型出现分割失误或模型训练时存在标注失误，可能会导致输出的屋顶分割区域不具备直角。基于此，通过对屋顶分割区域旋转一定角度后，将各个边调整至与坐标轴平行，再进行旋转还原，可以使得屋顶分割区域为具有直角的平直化多边形，更符合建筑物的形态特点，提升建筑物三维重建的效果。
下面提供两个用于计算合适的旋转角度的示例。
一个示例中，在基于第一角度对屋顶分割区域进行旋转之前，形态相关处理还包括：确定屋顶分割区域的每个边与坐标轴之间的夹角；基于每个边与坐标轴之间的夹角，确定第一角度。
该示例采用最小误差旋转法，统计多边形每个边与其最近的水平垂直轴夹角，记所有夹角的平均值为旋转角度。对于正方形目标，该方式可以使得调整效果更接近建筑目标。
另一个示例中，在基于第一角度对屋顶分割区域进行旋转之前，形态相关处理还包括：确定屋顶分割区域的最小外接旋转矩形；基于最小外接旋转矩形与坐标轴之间的夹角，确定第一角度。
该示例采用主角度旋转法，计算当前目标的最小外接旋转矩形，记此最小外接旋转矩形与横轴或纵轴的夹角为旋转角度。对于长方形目标，该方式可以使得调整效果更接近建筑目标。
可选地，上述两个示例可以结合使用。例如，在建筑检测框的长宽比小于预设长宽比阈值的情况下，基于每个边与坐标轴之间的夹角确定第一角度。在建筑检测框的长宽比不小于预设长宽比阈值的情况下，基于最小外接旋转举行与坐标轴之间的夹角，确定第一角度。
可选地，在经过重叠建筑过滤、形态相关处理后，还可以对得到的建筑物感知信息中的非常规建筑的感知信息进行过滤。具体地，可以采用预设规则对非常规建筑的感知信息进行过滤，例如在多边形点数小于等于预设点数阈值（例如3个），面积小于等于预设面积阈值、外接矩形宽高比等于0、交叉环等情况下，将建筑物感知信息确定为非常规建筑的感知信息。
通过汇总、过滤以及形态相关处理，可以将在局部图像中识别出的二维感知信息，确定为对应于不同建筑物的感知信息，每个建筑物的感知信息包括屋顶信息和侧棱信息，如此，可以基于屋顶信息和侧棱信息得到底面信息，从而基于底面信息实现建筑物的三维重建。
以上通过图像切割、模型预测和后处理等各部分的示例，对如何将图像中识别到的信息转换为对应不同建筑物的屋顶信息和侧棱信息进行了详细介绍。下面将针对屋顶信息和侧棱信息的应用进行详细介绍。
示例性地，基于每个建筑物的屋顶信息以及每个建筑物的侧棱信息，确定每个建筑物的底面信息，可以包括：基于每个建筑物的侧棱信息，对每个建筑物的屋顶信息进行平移，得到每个建筑物的底面信息。
作为示例而非限定，底面信息包括建筑物的底面的每个点在俯视角图像中的坐标。具体地，记侧棱线为，即侧棱信息可以包括侧棱关键点A点和B点。记A点坐标为，B点坐标为/>，则沿着侧棱线的平移向量/>可以参考如下公式：
基于此，将屋顶分割区域的每一个点沿着侧棱线平移得到底面多边形的每一个点/>，具体可以参考如下公式：
根据上述实施例，基于每个建筑物的侧棱信息对每个建筑物的屋顶信息进行平移，可以得到准确的底面信息，使得建筑物感知信息更加准确，提升建筑物三维重建的效果。
可选地，在本公开一些实施例中，侧棱信息还可以具备其他的应用。具体而言，建筑物的三维重建方法还可以包括：基于每个建筑物的侧棱信息，确定每个建筑物的高度信息。相应地，基于每个建筑物的底面信息，得到每个建筑物的三维模型，可以包括：基于每个建筑物的底面信息以及高度信息，得到每个建筑物的三维模型。
示例性地，可以基于侧棱信息中的侧棱关键点，确定对应的侧棱线的长度，再基于该长度确定对应建筑物的高度信息。
根据上述实施例，可以利用侧棱信息确定建筑物的高度信息，从而无需通过其他方式获取高度信息，基于来源于俯视角图像的信息即可完成三维重建，进一步降低三维重建的成本，并提升效率。
下面提供两个用于计算建筑物的高度的示例。
一个示例中，基于每个建筑物的侧棱信息，确定每个建筑物的高度信息，可以包括：基于每个建筑物的侧棱信息以及预设比例，确定每个建筑物的高度信息。
示例性地，将侧棱线长度按照预设比例换算得到建筑物的高度信息。该示例具有简单高效的特点，可以提升三维重建效率。
另一个示例中，基于每个建筑物的侧棱信息，确定每个建筑物的高度信息，包括：基于每个建筑物的侧棱信息以及预设映射关系，确定每个建筑物的楼层数量；基于每个建筑物的楼层数量，确定每个建筑物的高度信息。
示例性地，预设映射关系为侧棱线长度与楼层数量之间的映射关系。该映射关系可以采用公式、表格、曲线等形式表征。例如，该映射关系可以如下表所示：
进一步地，在确定楼层数量后，可以根据预设的楼层高度以及楼层数量，得到建筑物的高度信息。
由于真实世界中的建筑物，例如一个小区内的居民楼，往往具有高度一致的特点。因此，在上述示例中采用离散化的思想，先将侧棱线按照一定规则映射到楼层，随后再将楼层换算为建筑高度，如此可以避免建筑物高度不一。基于此，上述示例能够使得建筑物的高度信息更符合真实世界的建筑物特点，可以提升三维重建效果。
在一些实施例中，基于每个建筑物的底面信息以及每个建筑物的高度信息，得到每个建筑物的三维模型，可以包括：基于每个建筑物的底面信息以及俯视角图像对应的坐标转换关系，确定每个建筑物的真实位置信息；基于每个建筑物的真实位置信息以及每个建筑物的高度信息，得到每个建筑物的白模；基于每个建筑物的屋顶信息，对每个建筑物的白模进行贴图，得到每个建筑物的三维模型。
可选地，可以预先基于每个建筑物的屋顶信息，在俯视角图像中提取对应的屋顶图像，即进行抠图，并记录屋顶图像的图像坐标，以便于后续对白模进行贴图。示例性地，可以根据屋顶分割区域的外接矩形框从俯视角图像中的对应位置中提取屋顶图像。
在得到每个建筑物的底面信息、高度信息、屋顶图像、屋顶图像的图像坐标的情况下，可以将这些信息转换到世界坐标系，得到真实位置信息。实际应用中，以卫星图像为例，卫星往往带有位置信息，该位置信息决定了卫星图像对应的坐标转换关系。作为示例，卫星图像对应的坐标转换关系可以采用缩放比例和图像偏移量表征。举例而言，若缩放比例为scale（单位：像素/米），图像偏移量为，则图像坐标系任意一点转为世界坐标/>的坐标转换关系可以参考如下公式：
同理，对屋顶图像的图像坐标也可以根据以上坐标转换关系确定真实位置信息，以保证屋顶图像和白模匹配。
可选地，可以结合UTM（Universal Transverse Mercator Grid System,通用横墨卡托格网系统）区号对应的空间信息，确定每个建筑物的真实位置信息，即基于上述坐标转换关系以及UTM区号，确定每个建筑物的真实位置信息，从而可生成任意UTM区号下准确的建筑三维模型。
可选地，对于建筑物的侧面，可以进行侧面随机贴图。
通过上述实施例，通过利用建筑物的地面信息、高度信息、屋顶信息，依序建立白模和贴图，可批量生成建筑目标的三维模型。由于卫星照片的获取是便捷的，低成本的，因此易于落地实现。
通过上述多个实施例可以看到，本公开的核心思路是通过对单张俯视角图像例如卫星图像进行实例级（逐目标）的二维感知，比如输出目标建筑的屋顶多边形和侧棱线，随后将二维感知信息按照一定规则映射到三维空间，从而实现目标的三维重建。可以理解，在本公开实施例中，卫星图像也可以采用其他俯视角图像代替，对应的技术方案均应包含在本公开保护范围之内。
数字孪生需要对大量的地面建筑目标进行建模，从而实现直观信息展示。相关技术中，需要拍摄建筑物目标的多角度照片，对大规模的建筑物三维重建是不现实的，成本高昂的。本公开实施例仅使用单张二维卫星照片，即可批量生成建筑目标的三维模型。由于俯视角图像的获取是便捷的，低成本的，因此具备很强的落地性。
根据本公开的实施例，本公开还提供了一种建筑物的三维重建装置，图8示出了本公开一实施例提供的建筑物的三维重建装置的示意性框图，如图8所示，该装置包括：
二维感知模块810，用于基于俯视角图像，得到多个建筑物中每个建筑物的屋顶信息以及每个建筑物的侧棱信息；
底面信息确定模块820，用于基于每个建筑物的屋顶信息以及每个建筑物的侧棱信息，确定每个建筑物的底面信息；
三维重建模块830，用于基于每个建筑物的底面信息，得到每个建筑物的三维模型。
图9是根据本公开另一实施例的建筑物的三维重建装置的示意性框图，该装置可以包括上述实施例的建筑物的三维重建装置的一个或多个特征，在一种可能的实施方式中，二维感知模块810包括：
图像切分单元911，用于基于俯视角图像，得到多个局部图像；
模型预测单元912，用于对多个局部图像中的每个局部图像进行模型预测，得到每个局部图像中的二维感知信息；
信息处理单元913，用于基于每个局部图像中的二维感知信息，得到每个建筑物的屋顶信息以及每个建筑物的侧棱信息。
示例性地，图像切分单元911用于：
基于预设步长以及预设窗口，在俯视角图像中提取多个局部图像。
示例性地，模型预测单元912用于：
针对多个局部图像中的每个局部图像，基于局部图像的视觉特征以及局部图像的第i-1个任务输入特征，得到局部图像的第i个任务输入特征；
在预设模型中的第i组任务模块中，基于第i个任务输入特征，得到第i组任务模块输出的二维感知信息；其中，预设模型包括级联的N组任务模块，i为不小于2且不大于N的整数。
示例性地，模型预测单元912用于：
基于局部图像的视觉特征以及局部图像的第i-1个建筑检测框，得到局部图像的第i个建筑检测框；
基于局部图像的视觉特征以及第i个建筑检测框进行池化，得到池化特征；
基于池化特征与第i-1个任务输入特征，得到第i个任务输入特征。
示例性地，第i组任务模块包括预设模型中的第i个屋顶分割模块；局部图像的第i个任务输入特征包括第i个屋顶分割模块的输入特征，第i个屋顶分割模块的输入特征是基于局部图像的视觉特征以及预设模型中的第i-1个屋顶分割模块的输入特征得到的。相应地，模型预测单元912用于：
在第i个屋顶分割模块中，基于第i个屋顶分割模块的输入特征，得到第i个屋顶分割模块输出的屋顶信息。
示例性地，第i组任务模块包括预设模型中的第i个侧棱关键点检测模块；局部图像的第i个任务输入特征包括第i个侧棱关键点检测模块的输入特征，第i个侧棱关键点检测模块的输入特征是基于局部图像的视觉特征以及预设模型中的第i-1个侧棱关键点检测模块的输入特征得到的。相应地，模型预测单元912用于：
在第i个侧棱关键点检测模块中，基于第i个侧棱关键点检测模块的输入特征，得到侧棱关键点检测模块输出的侧棱信息。
示例性地，信息处理单元913用于：
基于每个局部图像中的二维感知信息，汇总得到多个待处理感知信息；
对多个待处理感知信息进行过滤，得到多个目标感知信息；
基于多个目标感知信息，确定多个建筑物中每个建筑物的屋顶信息以及每个建筑物的侧棱信息。
示例性地，信息处理单元913用于：
在多个待处理感知信息中，确定非完整建筑的二维感知信息；
在多个待处理感知信息中过滤非完整建筑的二维感知信息，得到多个完整感知信息；
基于非极大值抑制算法，在多个完整感知信息中过滤重叠建筑的二维感知信息，得到多个目标感知信息。
示例性地，信息处理单元913用于：
基于多个待处理感知信息中每个待处理感知信息中的建筑检测框的类别信息，在多个待处理感知信息中确定出非完整建筑的二维感知信息。
示例性地，信息处理单元913用于：
基于多个待处理感知信息中每个待处理感知信息中的建筑检测框与局部图像的边缘之间的距离，在多个待处理感知信息中，确定非完整建筑的二维感知信息。
示例性地，信息处理单元913用于：
对多个目标感知信息中每个目标感知信息中的屋顶分割区域进行形态相关处理，得到多个建筑物感知信息；
基于多个建筑物感知信息，确定多个建筑物以及其中每个建筑物的屋顶信息和侧棱信息。
示例性地，信息处理单元913用于：
对屋顶分割区域进行腐蚀以及膨胀。
示例性地，信息处理单元913用于：
将屋顶分割区域调整为多边形；
基于第一角度对屋顶分割区域进行旋转；
将旋转后的屋顶分割区域的每个边调整至与坐标轴平行；
基于第一角度对屋顶分割区域进行旋转还原。
示例性地，信息处理单元913还用于：
确定屋顶分割区域的每个边与坐标轴之间的夹角；
基于每个边与坐标轴之间的夹角，确定第一角度。
示例性地，信息处理单元913还用于：
确定屋顶分割区域的最小外接旋转矩形；
基于最小外接旋转矩形与坐标轴之间的夹角，确定第一角度。
示例性地，底面信息确定模块820用于：
基于每个建筑物的侧棱信息，对每个建筑物的屋顶信息进行平移，得到每个建筑物的底面信息。
示例性地，如图9所示，该装置还包括：
高度信息确定模块920，用于基于每个建筑物的侧棱信息，确定每个建筑物的高度信息；
三维重建模块830还用于：
基于每个建筑物的底面信息以及高度信息，得到每个建筑物的三维模型。
示例性地，高度信息确定模块920用于：
基于每个建筑物的侧棱信息以及预设比例，确定每个建筑物的高度信息。
示例性地，高度信息确定模块920用于：
基于每个建筑物的侧棱信息以及预设映射关系，确定每个建筑物的楼层数量；
基于每个建筑物的楼层数量，确定每个建筑物的高度信息。
示例性地，三维重建模块830可以包括：
位置确定单元931，用于基于每个建筑物的底面信息以及俯视角图像对应的坐标转换关系，确定每个建筑物的真实位置信息；
白模构建单元932，用于基于每个建筑物的真实位置信息以及每个建筑物的高度信息，得到每个建筑物的白模；
贴图单元933，用于基于每个建筑物的屋顶信息，对每个建筑物的白模进行贴图，得到每个建筑物的三维模型。
本公开实施例的装置的各模块、子模块的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器（ROM）1002中的计算机程序或者从存储单元1008加载到随机访问存储器（RAM）1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出（I/O）接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如建筑物的重建方法。例如，在一些实施例中，建筑物的重建方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的建筑物的重建方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行建筑物的重建方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入、或者触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (38)
1.一种建筑物的三维重建方法，包括：
基于俯视角图像，得到多个局部图像；
对所述多个局部图像中的每个局部图像进行模型预测，得到所述每个局部图像中的二维感知信息；
基于所述每个局部图像中的二维感知信息，得到多个建筑物中的每个建筑物的屋顶信息以及所述每个建筑物的侧棱信息；
基于所述每个建筑物的屋顶信息以及所述每个建筑物的侧棱信息，确定所述每个建筑物的底面信息；
基于所述每个建筑物的底面信息，得到所述每个建筑物的三维模型；
其中，所述对所述多个局部图像中的每个局部图像进行模型预测，得到所述每个局部图像中的二维感知信息，包括：
针对所述多个局部图像中的每个局部图像，基于所述局部图像的视觉特征以及所述局部图像的第i-1个建筑检测框，得到所述局部图像的第i个建筑检测框；
基于所述局部图像的视觉特征以及所述第i个建筑检测框进行池化，得到池化特征；
基于所述池化特征与所述局部图像的第i-1个任务输入特征，得到所述局部图像的第i个任务输入特征；
在预设模型中的第i组任务模块中，基于所述第i个任务输入特征，得到所述第i组任务模块输出的二维感知信息；其中，所述预设模型包括级联的N组任务模块，i为不小于2且不大于N的整数。
2.根据权利要求1所述的方法，其中，所述基于俯视角图像，得到多个局部图像，包括：
基于预设步长以及预设窗口，在所述俯视角图像中提取多个局部图像。
3.根据权利要求1所述的方法，其中，所述第i组任务模块包括所述预设模型中的第i个屋顶分割模块；所述局部图像的第i个任务输入特征包括所述第i个屋顶分割模块的输入特征，所述第i个屋顶分割模块的输入特征是基于所述局部图像的视觉特征以及所述预设模型中的第i-1个屋顶分割模块的输入特征得到的；
所述在预设模型中的第i组任务模块中，基于所述第i个任务输入特征，得到所述第i组任务模块输出的二维感知信息，包括：
在所述第i个屋顶分割模块中，基于所述第i个屋顶分割模块的输入特征，得到所述第i个屋顶分割模块输出的屋顶信息。
4.根据权利要求3所述的方法，其中，所述第i组任务模块包括所述预设模型中的第i个侧棱关键点检测模块；所述局部图像的第i个任务输入特征包括所述第i个侧棱关键点检测模块的输入特征，所述第i个侧棱关键点检测模块的输入特征是基于所述局部图像的视觉特征以及所述预设模型中的第i-1个侧棱关键点检测模块的输入特征得到的；
所述在预设模型中的第i组任务模块中，基于所述第i个任务输入特征，得到所述第i组任务模块输出的二维感知信息，包括：
在所述第i个侧棱关键点检测模块中，基于所述第i个侧棱关键点检测模块的输入特征，得到所述侧棱关键点检测模块输出的侧棱信息。
5.根据权利要求1所述的方法，其中，所述基于所述每个局部图像中的二维感知信息，得到多个建筑物中的每个建筑物的屋顶信息以及所述每个建筑物的侧棱信息，包括：
基于所述每个局部图像中的二维感知信息，汇总得到多个待处理感知信息；
对所述多个待处理感知信息进行过滤，得到多个目标感知信息；
基于所述多个目标感知信息，确定多个建筑物中每个建筑物的屋顶信息以及所述每个建筑物的侧棱信息。
6.根据权利要求5所述的方法，其中，对所述多个待处理感知信息进行过滤，得到多个目标感知信息，包括：
在所述多个待处理感知信息中，确定非完整建筑的二维感知信息；
在所述多个待处理感知信息中过滤所述非完整建筑的二维感知信息，得到多个完整感知信息；
基于非极大值抑制算法，在所述多个完整感知信息中过滤重叠建筑的二维感知信息，得到多个目标感知信息。
7.根据权利要求6所述的方法，其中，所述在所述多个待处理感知信息中，确定非完整建筑的二维感知信息，包括：
基于所述多个待处理感知信息中每个待处理感知信息中的建筑检测框的类别信息，在所述多个待处理感知信息中确定出非完整建筑的二维感知信息。
8.根据权利要求6所述的方法，其中，所述在所述多个待处理感知信息中，确定非完整建筑的二维感知信息，包括：
基于所述多个待处理感知信息中每个待处理感知信息中的建筑检测框与局部图像的边缘之间的距离，在所述多个待处理感知信息中，确定非完整建筑的二维感知信息。
9.根据权利要求5所述的方法，其中，所述基于所述多个目标感知信息，确定多个建筑物中每个建筑物的屋顶信息以及所述每个建筑物的侧棱信息，包括：
对所述多个目标感知信息中每个目标感知信息中的屋顶分割区域进行形态相关处理，得到多个建筑物感知信息；
基于所述多个建筑物感知信息，确定多个建筑物以及其中每个建筑物的屋顶信息和侧棱信息。
10.根据权利要求9所述的方法，其中，所述形态相关处理包括：
对所述屋顶分割区域进行腐蚀以及膨胀。
11.根据权利要求9所述的方法，其中，所述形态相关处理包括：
将所述屋顶分割区域调整为多边形；
基于第一角度对所述屋顶分割区域进行旋转；
将旋转后的所述屋顶分割区域的每个边调整至与坐标轴平行；
基于所述第一角度对所述屋顶分割区域进行旋转还原。
12.根据权利要求11所述的方法，其中，在基于第一角度对所述屋顶分割区域进行旋转之前，所述形态相关处理还包括：
确定所述屋顶分割区域的每个边与坐标轴之间的夹角；
基于所述每个边与坐标轴之间的夹角，确定所述第一角度。
13.根据权利要求11所述的方法，其中，在基于第一角度对所述屋顶分割区域进行旋转之前，所述形态相关处理还包括：
确定所述屋顶分割区域的最小外接旋转矩形；
基于所述最小外接旋转矩形与坐标轴之间的夹角，确定所述第一角度。
14.根据权利要求1-13中任一项所述的方法，其中，所述基于所述每个建筑物的屋顶信息以及所述每个建筑物的侧棱信息，确定所述每个建筑物的底面信息，包括：
基于所述每个建筑物的侧棱信息，对所述每个建筑物的屋顶信息进行平移，得到所述每个建筑物的底面信息。
15.根据权利要求1-13中任一项所述的方法，还包括：
基于所述每个建筑物的侧棱信息，确定所述每个建筑物的高度信息；
所述基于所述每个建筑物的底面信息，得到所述每个建筑物的三维模型，包括：
基于所述每个建筑物的底面信息以及所述高度信息，得到所述每个建筑物的三维模型。
16.根据权利要求15所述的方法，其中，所述基于所述每个建筑物的侧棱信息，确定所述每个建筑物的高度信息，包括：
基于所述每个建筑物的侧棱信息以及预设比例，确定所述每个建筑物的高度信息。
17.根据权利要求15所述的方法，其中，所述基于所述每个建筑物的侧棱信息，确定所述每个建筑物的高度信息，包括：
基于所述每个建筑物的侧棱信息以及预设映射关系，确定所述每个建筑物的楼层数量；
基于所述每个建筑物的楼层数量，确定所述每个建筑物的高度信息。
18.根据权利要求15所述的方法，其中，所述基于所述每个建筑物的底面信息以及所述每个建筑物的高度信息，得到所述每个建筑物的三维模型，包括：
基于所述每个建筑物的底面信息以及所述俯视角图像对应的坐标转换关系，确定所述每个建筑物的真实位置信息；
基于所述每个建筑物的真实位置信息以及所述每个建筑物的高度信息，得到所述每个建筑物的白模；
基于所述每个建筑物的屋顶信息，对所述每个建筑物的白模进行贴图，得到所述每个建筑物的三维模型。
19.一种建筑物的三维重建装置，包括：
图像切分单元，用于基于俯视角图像，得到多个局部图像；
模型预测单元，用于对所述多个局部图像中的每个局部图像进行模型预测，得到所述每个局部图像中的二维感知信息；
信息处理单元，用于基于所述每个局部图像中的二维感知信息，得到多个建筑物中的每个建筑物的屋顶信息以及所述每个建筑物的侧棱信息；
底面信息确定模块，用于基于所述每个建筑物的屋顶信息以及所述每个建筑物的侧棱信息，确定所述每个建筑物的底面信息；
三维重建模块，用于基于所述每个建筑物的底面信息，得到所述每个建筑物的三维模型；
其中，所述模型预测单元具体用于：
针对所述多个局部图像中的每个局部图像，基于所述局部图像的视觉特征以及所述局部图像的第i-1个建筑检测框，得到所述局部图像的第i个建筑检测框；
基于所述局部图像的视觉特征以及所述第i个建筑检测框进行池化，得到池化特征；
基于所述池化特征与所述局部图像的第i-1个任务输入特征，得到所述局部图像的第i个任务输入特征；
在预设模型中的第i组任务模块中，基于所述第i个任务输入特征，得到所述第i组任务模块输出的二维感知信息；其中，所述预设模型包括级联的N组任务模块，i为不小于2且不大于N的整数。
20.根据权利要求19所述的装置，其中，所述图像切分单元用于：
基于预设步长以及预设窗口，在所述俯视角图像中提取多个局部图像。
21.根据权利要求19所述的装置，其中，所述第i组任务模块包括所述预设模型中的第i个屋顶分割模块；所述局部图像的第i个任务输入特征包括所述第i个屋顶分割模块的输入特征，所述第i个屋顶分割模块的输入特征是基于所述局部图像的视觉特征以及所述预设模型中的第i-1个屋顶分割模块的输入特征得到的；
所述模型预测单元用于：
在所述第i个屋顶分割模块中，基于所述第i个屋顶分割模块的输入特征，得到所述第i个屋顶分割模块输出的屋顶信息。
22.根据权利要求19所述的装置，其中，所述第i组任务模块包括所述预设模型中的第i个侧棱关键点检测模块；所述局部图像的第i个任务输入特征包括所述第i个侧棱关键点检测模块的输入特征，所述第i个侧棱关键点检测模块的输入特征是基于所述局部图像的视觉特征以及所述预设模型中的第i-1个侧棱关键点检测模块的输入特征得到的；
所述模型预测单元用于：
在所述第i个侧棱关键点检测模块中，基于所述第i个侧棱关键点检测模块的输入特征，得到所述侧棱关键点检测模块输出的侧棱信息。
23.根据权利要求19所述的装置，其中，所述信息处理单元用于：
基于所述每个局部图像中的二维感知信息，汇总得到多个待处理感知信息；
对所述多个待处理感知信息进行过滤，得到多个目标感知信息；
基于所述多个目标感知信息，确定多个建筑物中每个建筑物的屋顶信息以及所述每个建筑物的侧棱信息。
24.根据权利要求23所述的装置，其中，所述信息处理单元用于：
在所述多个待处理感知信息中，确定非完整建筑的二维感知信息；
在所述多个待处理感知信息中过滤所述非完整建筑的二维感知信息，得到多个完整感知信息；
基于非极大值抑制算法，在所述多个完整感知信息中过滤重叠建筑的二维感知信息，得到多个目标感知信息。
25.根据权利要求24所述的装置，其中，所述信息处理单元用于：
基于所述多个待处理感知信息中每个待处理感知信息中的建筑检测框的类别信息，在所述多个待处理感知信息中确定出非完整建筑的二维感知信息。
26.根据权利要求24所述的装置，其中，所述信息处理单元用于：
基于所述多个待处理感知信息中每个待处理感知信息中的建筑检测框与局部图像的边缘之间的距离，在所述多个待处理感知信息中，确定非完整建筑的二维感知信息。
27.根据权利要求23所述的装置，其中，所述信息处理单元用于：
对所述多个目标感知信息中每个目标感知信息中的屋顶分割区域进行形态相关处理，得到多个建筑物感知信息；
基于所述多个建筑物感知信息，确定多个建筑物以及其中每个建筑物的屋顶信息和侧棱信息。
28.根据权利要求27所述的装置，其中，所述信息处理单元用于：
对所述屋顶分割区域进行腐蚀以及膨胀。
29.根据权利要求27所述的装置，其中，所述信息处理单元用于：
将所述屋顶分割区域调整为多边形；
基于第一角度对所述屋顶分割区域进行旋转；
将旋转后的所述屋顶分割区域的每个边调整至与坐标轴平行；
基于所述第一角度对所述屋顶分割区域进行旋转还原。
30.根据权利要求29所述的装置，其中，所述信息处理单元还用于：
确定所述屋顶分割区域的每个边与坐标轴之间的夹角；
基于所述每个边与坐标轴之间的夹角，确定所述第一角度。
31.根据权利要求29所述的装置，其中，所述信息处理单元还用于：
确定所述屋顶分割区域的最小外接旋转矩形；
基于所述最小外接旋转矩形与坐标轴之间的夹角，确定所述第一角度。
32.根据权利要求19-31中任一项所述的装置，其中，所述底面信息确定模块用于：
基于所述每个建筑物的侧棱信息，对所述每个建筑物的屋顶信息进行平移，得到所述每个建筑物的底面信息。
33.根据权利要求19-31中任一项所述的装置，还包括：
高度信息确定模块，用于基于所述每个建筑物的侧棱信息，确定所述每个建筑物的高度信息；
所述三维重建模块还用于：
基于所述每个建筑物的底面信息以及所述高度信息，得到所述每个建筑物的三维模型。
34.根据权利要求33所述的装置，其中，所述高度信息确定模块用于：
基于所述每个建筑物的侧棱信息以及预设比例，确定所述每个建筑物的高度信息。
35.根据权利要求33所述的装置，其中，所述高度信息确定模块用于：
基于所述每个建筑物的侧棱信息以及预设映射关系，确定所述每个建筑物的楼层数量；
基于所述每个建筑物的楼层数量，确定所述每个建筑物的高度信息。
36.根据权利要求33所述的装置，其中，所述三维重建模块包括：
位置确定单元，用于基于所述每个建筑物的底面信息以及所述俯视角图像对应的坐标转换关系，确定所述每个建筑物的真实位置信息；
白模构建单元，用于基于所述每个建筑物的真实位置信息以及所述每个建筑物的高度信息，得到所述每个建筑物的白模；
贴图单元，用于基于所述每个建筑物的屋顶信息，对所述每个建筑物的白模进行贴图，得到所述每个建筑物的三维模型。
37.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有能被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-18中任一项所述的方法。
38.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-18中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310376835.6A CN116091709B (zh) | 2023-04-10 | 2023-04-10 | 建筑物的三维重建方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310376835.6A CN116091709B (zh) | 2023-04-10 | 2023-04-10 | 建筑物的三维重建方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116091709A CN116091709A (zh) | 2023-05-09 |
| CN116091709B true CN116091709B (zh) | 2023-08-01 |
Family
ID=86208694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310376835.6A Active CN116091709B (zh) | 2023-04-10 | 2023-04-10 | 建筑物的三维重建方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116091709B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116958455B (zh) * | 2023-09-21 | 2023-12-26 | 北京飞渡科技股份有限公司 | 基于神经网络的屋顶重建方法、装置及电子设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115797565A (zh) * | 2022-12-20 | 2023-03-14 | 北京百度网讯科技有限公司 | 三维重建模型训练方法、三维重建方法、装置及电子设备 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108305275B (zh) * | 2017-08-25 | 2021-02-12 | 深圳市腾讯计算机系统有限公司 | 主动跟踪方法、装置及系统 |
| FR3123753B1 (fr) * | 2021-06-07 | 2023-06-02 | Luxcarta Tech | Procédé de reconstruction d’un modèle 3D d’un toit d’un bâtiment par analyse d’images acquises par télédétection |
| CN114399737A (zh) * | 2021-12-27 | 2022-04-26 | 深圳云天励飞技术股份有限公司 | 一种道路检测方法、装置、存储介质及电子设备 |
| CN114549543A (zh) * | 2021-12-30 | 2022-05-27 | 浙江大华技术股份有限公司 | 建筑物的三维模型构建方法、装置、终端及存储介质 |
| CN114528912A (zh) * | 2022-01-10 | 2022-05-24 | 山东师范大学 | 基于渐进式多模态融合网络的虚假新闻检测方法及系统 |
| CN114998337B (zh) * | 2022-08-03 | 2022-11-04 | 联宝(合肥)电子科技有限公司 | 一种划痕检测方法、装置、设备及存储介质 |
| CN115565043A (zh) * | 2022-10-18 | 2023-01-03 | 哈尔滨石油学院 | 结合多表征特征以及目标预测法进行目标检测的方法 |
-
2023
- 2023-04-10 CN CN202310376835.6A patent/CN116091709B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115797565A (zh) * | 2022-12-20 | 2023-03-14 | 北京百度网讯科技有限公司 | 三维重建模型训练方法、三维重建方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116091709A (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113902897B (zh) | 目标检测模型的训练、目标检测方法、装置、设备和介质 | |
| CN112966587B (zh) | 目标检测模型的训练方法、目标检测方法及相关设备 | |
| CN110276768B (zh) | 图像分割方法、图像分割装置、图像分割设备及介质 | |
| CN112344869B (zh) | 基于侧面拟合的铁塔变形监测方法及系统 | |
| CN112989995B (zh) | 文本检测方法、装置及电子设备 | |
| CN112967345B (zh) | 鱼眼相机的外参标定方法、装置以及系统 | |
| CN116091709B (zh) | 建筑物的三维重建方法、装置、电子设备和存储介质 | |
| CN112802037A (zh) | 人像提取方法、装置、电子设备及存储介质 | |
| WO2023109664A1 (zh) | 监测方法和相关产品 | |
| CN113205041A (zh) | 结构化信息提取方法、装置、设备和存储介质 | |
| CN114677435A (zh) | 一种点云全景融合要素提取方法和系统 | |
| CN117315406B (zh) | 一种样本图像处理方法、装置及设备 | |
| CN114299242A (zh) | 高精地图中图像处理方法、装置、设备以及存储介质 | |
| CN112183431A (zh) | 实时行人数量统计方法、装置、相机和服务器 | |
| CN113920273B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN116052097A (zh) | 一种地图要素检测方法、装置、电子设备和存储介质 | |
| CN115790621A (zh) | 高精地图更新方法、装置及电子设备 | |
| CN115527028A (zh) | 地图数据处理方法及装置 | |
| CN114549825A (zh) | 目标检测方法、装置、电子设备与存储介质 | |
| CN114005098A (zh) | 高精地图车道线信息的检测方法、装置和电子设备 | |
| Li et al. | Low-cost 3D building modeling via image processing | |
| CN116229209B (zh) | 目标模型的训练方法、目标检测方法及装置 | |
| CN112509126B (zh) | 三维物体检测的方法、装置、设备及存储介质 | |
| CN114490909B (zh) | 对象关联方法、装置和电子设备 | |
| CN117934607A (zh) | 基于监控场景下的行人目标检测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |