CN116229262A - 一种建筑信息模型的建模方法及装置 - Google Patents

一种建筑信息模型的建模方法及装置 Download PDF

Info

Publication number
CN116229262A
CN116229262A CN202310154638.XA CN202310154638A CN116229262A CN 116229262 A CN116229262 A CN 116229262A CN 202310154638 A CN202310154638 A CN 202310154638A CN 116229262 A CN116229262 A CN 116229262A
Authority
CN
China
Prior art keywords
building
target building
information
target
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310154638.XA
Other languages
English (en)
Inventor
黄国政
蒋童
罗锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yijian Technology Shanghai Co ltd
Original Assignee
Yijian Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yijian Technology Shanghai Co ltd filed Critical Yijian Technology Shanghai Co ltd
Priority to CN202310154638.XA priority Critical patent/CN116229262A/zh
Publication of CN116229262A publication Critical patent/CN116229262A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Civil Engineering (AREA)
  • Architecture (AREA)
  • General Health & Medical Sciences (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种建筑信息模型的建模方法及装置，应用于信息技术领域，该方法包括：响应于用户触发的获取指令，获取摄像设备采集的第一视频流，第一视频流中包含有目标建筑的图像；将目标建筑的图像输入深度学习模型，并获取深度学习模型输出的目标建筑的类型标签，深度学习模型用于提取目标建筑的图像中的特征信息，并根据特征信息确定目标建筑的类型标签；根据目标建筑的类型标签，生成目标建筑的建筑信息模型。通过该方法，由于通过识别出目标建筑的类型标签，从而通过类型标签来辅助建筑信息模型的建模，从而可以提高生成的建筑信息模型的精准程度。

Description

一种建筑信息模型的建模方法及装置
技术领域
本申请实施例涉及信息技术领域，尤其涉及一种建筑信息模型的建模方法及装置。
背景技术
人工智能(Artificial Intelligence，AI)应用于计算机辅助绘图(ComputerAided Drafting，CAD)的概念自提出以来，已经经过了数十年的发展。最近十年，伴随着深度学习的进步，AI的边界又有了极大的拓展，同样也展现出了改进建筑信息模型(BuildingInformation Modeling，BIM)设计流程的巨大潜力。
相关技术中，AI在BIM中的应用，更多的是在提升效率方面。示例性的，AI在BIM中的应用可以包括自动化检查元素、自动化复制元素、增加详细级别(Level Of Detail，LOD)等。随着激光扫描软硬件技术的发展，使用激光雷达(Lidar)传感器进行扫描生成BIM(ScanTo Bim)，可以把扫描到的点云网格(Mesh)化来生成BIM。
然而，相关技术中根据建筑物的点云生成的BIM的精准程度仍然亟需提升。
发明内容
本申请实施例提供一种建筑信息模型的建模方法及装置，以提高根据建筑物的点云生成的建筑信息模型的精准程度。
第一方面，本申请实施例提供一种建筑信息模型的建模方法，所述方法包括：
响应于用户触发的获取指令，获取摄像设备采集的第一视频流，所述第一视频流中包含有目标建筑的图像；
将所述目标建筑的图像输入深度学习模型，并获取所述深度学习模型输出的所述目标建筑的类型标签，所述深度学习模型用于提取所述目标建筑的图像中的特征信息，并根据所述特征信息确定所述目标建筑的类型标签；
根据所述目标建筑的类型标签，生成所述目标建筑的建筑信息模型。
一种可选的实施方式中，所述根据所述目标建筑的类型标签，生成所述目标建筑的建筑信息模型，包括：
获取所述目标建筑的多个方位的激光点云数据；
根据所述激光点云数据和所述目标建筑的类型标签，生成所述目标建筑的建筑信息模型。
一种可选的实施方式中，所述目标建筑图像包括所述目标建筑的多个方位的图像；
从所述目标建筑的多个方位的图像中获取所述目标建筑的多个方位的图像点云数据；
根据所述图像点云数据和所述目标建筑的类型标签，生成所述目标建筑的建筑信息模型。
一种可选的实施方式中，在所述获取所述深度学习模型输出的所述目标建筑的类型标签之后，所述方法还包括：
根据所述目标建筑的类型标签，在所述第一视频流中添加语义信息，生成第二视频流；
将所述第二视频流和所述目标建筑的建筑信息模型发送给目标终端，以使所述目标终端在播放所述第二视频流时显示所述语义信息和/或所述建筑信息模型。
一种可选的实施方式中，所述语义信息包括所述目标建筑的标识框和所述目标建筑的类型标签；
所述根据所述目标建筑的类型标签，在所述第一视频流中添加语义信息，生成第二视频流，包括：
在所述第一视频流的每一帧图像中通过标识框标识出所述目标建筑物并添加所述目标建筑对应的类型标签，以生成所述第二视频流。
一种可选的实施方式中，在所述将所述目标建筑的不同位置的图像输入深度学习模型之前，所述方法还包括：
使用预设的解码工具，对所述第一视频流进行解码，确定所述第一视频流中包含所述包含有目标建筑的图像。
一种可选的实施方式中，所述类型标签包括单类标签、多类标签和二分类标签。
一种可选的实施方式中，所述特征信息包括以下至少一项：轮廓信息、强度信息、亮度信息、颜色信息和形状信息。
一种可选的实施方式中，在所述将所述目标建筑的不同位置的图像输入深度学习模型之前，所述方法还包括：
获取所述深度学习模型的样本集，所述样本集中包含有所述建筑样本图像和所述建筑样本图像对应的类型标签；
根据预设的损失函数、优化函数和所述样本集对所述深度学习模型进训练
第二方面，本申请实施例提供一种建筑信息模型的建模装置，所述装置包括：
获取模块，用于响应于用户触发的获取指令，获取摄像设备采集的第一视频流，所述第一视频流中包含有目标建筑的图像；
识别模块，用于将所述目标建筑的图像输入深度学习模型，并获取所述深度学习模型输出的所述目标建筑的类型标签，所述深度学习模型用于提取所述目标建筑的图像中的特征信息，并根据所述特征信息确定所述目标建筑的类型标签；
生成模块，用于根据所述目标建筑的类型标签，生成所述目标建筑的建筑信息模型。
一种可选的实施方式中，所述生成模块，具体用于获取所述目标建筑的多个方位的激光点云数据；根据所述激光点云数据和所述目标建筑的类型标签，生成所述目标建筑的建筑信息模型。
一种可选的实施方式中，所述目标建筑图像包括所述目标建筑的多个方位的图像；
所述生成模块，用于从所述目标建筑的多个方位的图像中获取所述目标建筑的多个方位的图像点云数据；根据所述图像点云数据和所述目标建筑的类型标签，生成所述目标建筑的建筑信息模型。
一种可选的实施方式中，所述生成模块，还用于根据所述目标建筑的类型标签，在所述第一视频流中添加语义信息，生成第二视频流；将所述第二视频流和所述目标建筑的建筑信息模型发送给目标终端，以使所述目标终端在播放所述第二视频流时显示所述建筑信息模型。
一种可选的实施方式中，所述语义信息包括所述目标建筑的标识框和所述目标建筑的类型标签；
所述生成模块，具体用于在所述第一视频流的每一帧图像中通过标识框标识出所述目标建筑物并添加所述目标建筑对应的类型标签，以生成所述第二视频流。
一种可选的实施方式中，所述识别模块，还用于使用预设的解码工具，对所述第一视频流进行解码，确定所述第一视频流中包含所述包含有目标建筑的图像。
一种可选的实施方式中，所述类型标签包括单类标签、多类标签和二分类标签。
一种可选的实施方式中，所述特征信息包括以下至少一项：轮廓信息、强度信息、亮度信息、颜色信息和形状信息。
一种可选的实施方式中，所述装置还包括：
训练模块，用于获取所述深度学习模型的样本集，所述样本集中包含有所述建筑样本图像和所述建筑样本图像对应的类型标签；根据预设的损失函数、优化函数和所述样本集对所述深度学习模型进训练。
第三方面，本申请实施例提供一种建筑信息模型的建模设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面所设计的网络安全防御方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面所设计的建筑信息模型的建模方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如上第一方面所设计的建筑信息模型的建模方法。
通过上述建筑信息模型的建模方法及装置，由于在根据目标建筑物的点云生成建筑信息模型前，通过深度学习模型确定目标建筑物的类型标签，从而可以通过类型标签辅助建筑信息模型的建模，进而提高了生成的建筑信息模型的精准程度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种建筑信息模型的建模方法的应用场景；
图2为本申请实施例提供的一种建筑信息模型的建模方法的流程示意图；
图3为本申请实施例提供的一种深度学习模型的原理示意图；
图4为本申请实施例提供的另一种建筑信息模型的建模方法的流程示意图；
图5为本申请实施例提供的一种建筑信息模型的建模装置的结构示意图；
图6为本申请实施例提供的一种建筑信息模型的建模设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
相关技术中，AI在BIM中的应用，更多的是在提升效率方面。示例性的，AI在BIM中的应用可以包括自动化检查元素、自动化复制元素、增加LOD等。随着激光扫描软硬件技术的发展，使用Lidar传感器进行Scan To Bim，可以把扫描到的点云Mesh化来生成BIM。然而，相关技术中根据建筑物的点云生成的BIM的精准程度仍然亟需提升。
为解决上述问题，本申请提供一种建筑信息模型的建模方法及装置，在根据点云生成BIM前，通过深度学习模型识别视频流中的目标建筑的类型标签，从而根据目标建筑的类型来辅助进行BIM的生成，从而提高了BIM生成的精准程度。
下面对于本申请涉及的应用场景进行说明。
图1为本申请实施例提供的一种建筑信息模型的建模方法的应用场景。如图1，当用户需要生成目标建筑的BIM时，可以通过终端设备101向服务器102发送获取指令，服务器102接收到获取指令后，可以从摄像设备103中获取目标建筑的第一视频流。随后，服务器102对第一视频流进行处理，识别出目标建筑的类型标签，从而基于目标建筑的类型标签对目标建筑进行BIM建模。
应理解，本申请实施例对于BIM建模时如何获取点云数据不做限制，其可以通过摄像设备103获取图像点云数据，也可以通过激光雷达设备104获取激光点云数据。
其中，终端设备101可以为平板电脑(pad)、带无线收发功能的电脑、虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、智慧家庭(smart home)中的无线终端等。本申请实施例中，用于实现终端设备的功能的装置可以是终端，也可以是能够支持终端实现该功能的装置，例如芯片系统，该装置可以被安装在终端中。本申请实施例中，芯片系统可以由芯片构成，也可以包括芯片和其他分立器件。
服务器102，可以是一台或多台服务器设备，也可以是基于云计算的由大量计算机或网络服务器构成的云。其中，云计算是分布式计算的一种，由一群松散耦合的计算机组成的一个超级虚拟计算机。
应理解，图1所示的应用场景并不构成对本申请的限制，本申请提供的建筑信息模型的建模方法可以应用在任何需要对建筑物进行扫描以生成对应的建筑信息模型的场景中。
可以理解，上述建筑信息模型的建模方法可以通过本申请实施例提供的建筑信息模型的建模装置实现，建筑信息模型的建模装置可以是某个设备的部分或全部，例如上述服务器。
下面以具体地实施例对本申请实施例的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施。
图2为本申请实施例提供的一种建筑信息模型的建模方法的流程示意图。本实施例的执行主体为上述服务器，本实施例涉及的是如何进行建筑信息模型的建模的过程。该建筑信息模型的建模方法包括：
S201、响应于用户触发的获取指令，获取摄像设备采集的第一视频流。
在本申请实施例中，用户可以在终端设备上触发获取指令，以使服务器获取摄像设备采集的第一视频流。
其中，第一视频流中包含有目标建筑的图像。上述目标建筑可以为某个建筑物，例如，楼宇、桥梁等，也可以为某个建筑物中的部分构件，例如，窗户、门等。
应理解，本申请实施例对于用户如何在终端设备上触发获取指令不做限制，可以在网页端触发，也可以在应用端触发。在一些实施例中，用户可以打开相应的建筑模型的建模网页，点击相应的控件，从而触发获取指令，并将该获取指令发送给服务器。
应理解，本申请实施例对于服务器如何获取摄像设备的第一视频流不做限制，在一些实施例中，服务器可以通过预设的软件(例如，OpenCV)获取摄像设备的第一视频流。该第一视频流可以为未经处理的视频流。
在一些实施例中，当服务器获取到第一视频流后，还可以使用预设的解码工具，对第一视频流进行解码，确定第一视频流中包含包含有目标建筑的图像。上述预设的解码工具可以根据实际情况具体设置，例如ffmpeg解码工具。
S202、将目标建筑的图像输入深度学习模型，并获取深度学习模型输出的目标建筑的类型标签。
在本申请实施例中，当服务器获取到第一视频流后，可以通过深度学习模型对第一视频流中的目标建筑的图像进行识别，确定出目标建筑的类型标签，从而通过类型标签来辅助生成建筑信息模型。
其中，深度学习模型用于提取目标建筑的图像中的特征信息，并根据特征信息确定目标建筑的类型标签。
在一些实施例中，特征信息包括以下至少一项：轮廓信息、强度信息、亮度信息、颜色信息和形状信息。
应理解，图像中通常包含了强度、亮度、颜色、形状、轮廓等信息的数据。当物体相似时，通常含有相同的亮度、颜色等特征信息，通过识别上述特征信息，可以记住对应的类型。当下次识别到相似的信息时，可以确定相对应的类型，从而实现图像识别，即，一种监督学习。
应理解，本申请实施例对于类型标签也不做限制，其可以为门、窗等，也可以为具体的某个建筑物，例如东方明珠塔。
示例性的，当将东方明珠塔的图像输入深度学习模型时，深度学习模型可以检测图像中的东方明珠塔的边缘和轮廓，根据边缘和轮廓深度学习模型生成猜想，确定其是否为东方明珠塔。若是，则输出东方明珠塔的类型标签。
需要说明的是，本申请实施例对于上述目标建筑的类型标签不做限制，类型标签包括单类标签、多类标签和二分类标签。其中，单类标签可以理解为一个图像识别出一个类型标签，多类标签可以理解为一个图像可以识别出多个类型标签，二分类标签可以理解为一个图像的识别结果为是某个类型或非某个类型(例如，是东方明珠塔，或非东方明珠塔)。
应理解，本申请实施例对于深度学习模型的类型不做限制，示例性的，可以为卷积神经网络(Convolutional Neural Networks,CNN)模型。CNN模型的识别流程与人类类似，可以在图像像素的基础上，逐渐地通过卷积提取出重要的特征信息。经过计算机视觉可视化数据库(ImageNet)数以百万计的视觉识别(1000类)挑战后，CNN模型的效率基本接近人类。
下面对于深度学习模型进行说明。
图3为本申请实施例提供的一种深度学习模型的原理示意图。如图3所示，该深度学习模型包括两个卷积(conv2d)层、四个激活(ReLU)层、两个最大池化(maxpool2d)层、三个全连接(linear)层和一个视角(view)层。该深度学习模型中串联有两个特征提取单元，一个卷积层、一个激活层和一个最大池化层组成特征提取单元，激活层设置在卷积层和最大池化层之间。第一特征提取单元连接有数据输入接口，第二特征提单元之后依次串联有视角层以及三个全连接层，每两个全连接层之间设置有一个激活层。
其中，卷积层在由多个输入平面组成的输入信号上应用二维卷积，将多通道信号转换为特征图。最大池化层在由多个输入平面组成的输入信号上应用二维卷积，将多通道信号转换为特征图。全连接层意味着前一层的每个神经元都连接到后一层的所有神经元，或上一层的输出全部对接下一层的输入。激活层用作卷积层和全连接层的激活函数，其将输入的总和转换为单个输出，如果输入为负则输出为零，如果为正则输出输入。
应理解，在使用深度学习模型进行类别标签的识别前，还需要对深度学习模型进行训练，本申请实施例对于如何训练深度学习模型不做限制，在一些实施例中，可以先获取深度学习模型的样本集，该样本集中包含有建筑样本图像和建筑样本图像对应的类型标签。随后，根据预设的损失函数、优化函数和样本集对深度学习模型进训练。
示例性的，可以采用交叉损失函数来训练处理分类问题的深度学习模型，样本集中的建筑样本图像，可以进行手动标注出类型标签。此外，还可以构造一个深度学习模型的优化器来保存对象的当前状态，以便其根据计算出的梯度更新参数，循环一直持续到训练结束。
S203、根据目标建筑的类型标签，生成目标建筑的建筑信息模型。
在本申请中，当服务器识别出目标建筑的类型标签后，可以根据目标建筑的类型标签，生成目标建筑的建筑信息模型。
应理解，本申请实施例对于如何生成目标建筑的建筑信息模型，不做限制，可以采用激光点云数据，也可以采用图像点云数据。
在一些实施例中，服务器可以获取目标建筑的多个方位的激光点云数据，随后，根据激光点云数据和目标建筑的类型标签，生成目标建筑的建筑信息模型。即，根据目标建筑的类型标签，辅助激光点云数据mesh化，从而生成目标建筑的建筑信息模型。
在另一些实施例中，目标建筑图像包括目标建筑的多个方位的图像，相应的，服务器可以直接从目标建筑的多个方位的图像中获取目标建筑的多个方位的图像点云数据，从而根据图像点云数据和目标建筑的类型标签，生成目标建筑的建筑信息模型。即，根据目标建筑的类型标签，辅助图像点云数据mesh化，从而生成目标建筑的建筑信息模型。
本申请实施例提供的建筑信息模型的建模方法，建筑信息模型的建模设备首先响应于用户触发的获取指令，获取摄像设备采集的第一视频流，该第一视频流中包含有目标建筑的图像。随后，建筑信息模型的建模设备将目标建筑的图像输入深度学习模型，并获取深度学习模型输出的目标建筑的类型标签，该深度学习模型用于提取目标建筑的图像中的特征信息，并根据特征信息确定目标建筑的类型标签。最后，建筑信息模型的建模设备根据目标建筑的类型标签，生成目标建筑的建筑信息模型。
在上述实施例的基础上，下面对于生成建筑信息模型后服务器如何与终端设备进行的交互进行说明。图4为本申请实施例提供的另一种建筑信息模型的建模方法的流程示意图。
S401、响应于用户触发的获取指令，获取摄像设备采集的第一视频流，第一视频流中包含有目标建筑的图像。
S402、将目标建筑的图像输入深度学习模型，并获取深度学习模型输出的目标建筑的类型标签，深度学习模型用于提取目标建筑的图像中的特征信息，并根据特征信息确定目标建筑的类型标签。
S403、根据目标建筑的类型标签，生成目标建筑的建筑信息模型。
S401-S403术名词、技术效果、技术特征，以及可选实施方式，可参照图2所示的S201-S203理解，对于重复的内容，在此不再累述。
S404、根据目标建筑的类型标签，在第一视频流中添加语义信息，生成第二视频流。
应理解，本申请实施例对于语义信息的类型不做限制，在一些实施例中，语义信息包括目标建筑的标识框和目标建筑的类型标签。相应的，服务器可以在第一视频流的每一帧图像中通过标识框标识出目标建筑物并添加目标建筑对应的类型标签，以生成第二视频流。
S405、将第二视频流和目标建筑的建筑信息模型发送给目标终端，以使目标终端在播放第二视频流时显示语义信息和/或建筑信息模型。
在一些实施例中，终端设备在接收到第二视频流和目标建筑的建筑信息模型时，可以将第一视频流和第二视频流对照播放，也可以在播放第二视频流失时在界面上同步显示建筑信息模型，本申请对此不做限制。
本领域技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图5为本申请实施例提供的一种建筑信息模型的建模装置的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。参照图5，该建筑信息模型的建模装置500包括：获取模块501、识别模块502、生成模块503和训练模块504。
获取模块501，用于响应于用户触发的获取指令，获取摄像设备采集的第一视频流，第一视频流中包含有目标建筑的图像；
识别模块502，用于将目标建筑的图像输入深度学习模型，并获取深度学习模型输出的目标建筑的类型标签，深度学习模型用于提取目标建筑的图像中的特征信息，并根据特征信息确定目标建筑的类型标签；
生成模块503，用于根据目标建筑的类型标签，生成目标建筑的建筑信息模型。
一种可选的实施方式中，生成模块503，具体用于获取目标建筑的多个方位的激光点云数据；根据激光点云数据和目标建筑的类型标签，生成目标建筑的建筑信息模型。
一种可选的实施方式中，目标建筑图像包括目标建筑的多个方位的图像；
生成模块503，用于从目标建筑的多个方位的图像中获取目标建筑的多个方位的图像点云数据；根据图像点云数据和目标建筑的类型标签，生成目标建筑的建筑信息模型。
一种可选的实施方式中，生成模块503，还用于根据目标建筑的类型标签，在第一视频流中添加语义信息，生成第二视频流；将第二视频流和目标建筑的建筑信息模型发送给目标终端，以使目标终端在播放第二视频流时显示建筑信息模型。
一种可选的实施方式中，语义信息包括目标建筑的标识框和目标建筑的类型标签；
生成模块503，具体用于在第一视频流的每一帧图像中通过标识框标识出目标建筑物并添加目标建筑对应的类型标签，以生成第二视频流。
一种可选的实施方式中，识别模块502，还用于使用预设的解码工具，对第一视频流进行解码，确定第一视频流中包含包含有目标建筑的图像。
一种可选的实施方式中，类型标签包括单类标签、多类标签和二分类标签。
一种可选的实施方式中，特征信息包括以下至少一项：轮廓信息、强度信息、亮度信息、颜色信息和形状信息。
一种可选的实施方式中，建筑信息模型的建模装置500还包括：
训练模块504，用于获取深度学习模型的样本集，样本集中包含有建筑样本图像和建筑样本图像对应的类型标签；根据预设的损失函数、优化函数和样本集对深度学习模型进训练。
本实施例提供的建筑信息模型的建模装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
图6为本申请实施例提供的一种建筑信息模型的建模设备的结构示意图。如图6示，该计算机设备可以包括：多个处理器601和存储器602。图6的是以一个处理器为例的计算机设备。
存储器602，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。
存储器602可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如多个磁盘存储器。
处理器601用于执行存储器602存储的计算机执行指令，以实现上述建筑信息模型的建模方法。
其中，处理器601可能是一个处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
可选的，在具体实现上，如果通信接口、存储器602和处理器601独立实现，则通信接口、存储器602和处理器601可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果通信接口、存储器602和处理器601集成在一块芯片上实现，则通信接口、存储器602和处理器601可以通过内部接口完成通信。
本申请实施例还提供了一种芯片，包括处理器和接口。其中接口用于输入输出处理器所处理的数据或指令。处理器用于执行以上方法实施例中提供的建筑信息模型的建模方法。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有程序信息，程序信息用于上述建筑信息模型的建模方法。
本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上述的建筑信息模型的建模方法。
本申请还提供了一种计算机程序，计算机程序使得计算机执行上述的建筑信息模型的建模方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种建筑信息模型的建模方法，其特征在于，所述方法包括：
响应于用户触发的获取指令，获取摄像设备采集的第一视频流，所述第一视频流中包含有目标建筑的图像；
将所述目标建筑的图像输入深度学习模型，并获取所述深度学习模型输出的所述目标建筑的类型标签，所述深度学习模型用于提取所述目标建筑的图像中的特征信息，并根据所述特征信息确定所述目标建筑的类型标签；
根据所述目标建筑的类型标签，生成所述目标建筑的建筑信息模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标建筑的类型标签，生成所述目标建筑的建筑信息模型，包括：
获取所述目标建筑的多个方位的激光点云数据；
根据所述激光点云数据和所述目标建筑的类型标签，生成所述目标建筑的建筑信息模型。
3.根据权利要求1所述的方法，其特征在于，所述目标建筑图像包括所述目标建筑的多个方位的图像；所述所述根据所述目标建筑的类型标签，生成所述目标建筑的建筑信息模型，包括：
从所述目标建筑的多个方位的图像中获取所述目标建筑的多个方位的图像点云数据；
根据所述图像点云数据和所述目标建筑的类型标签，生成所述目标建筑的建筑信息模型。
4.根据权利要求1项所述的方法，其特征在于，在所述获取所述深度学习模型输出的所述目标建筑的类型标签之后，所述方法还包括：
根据所述目标建筑的类型标签，在所述第一视频流中添加语义信息，生成第二视频流；
将所述第二视频流和所述目标建筑的建筑信息模型发送给目标终端，以使所述目标终端在播放所述第二视频流时显示所述所述建筑信息模型。
5.根据权利要求4所述的方法，其特征在于，所述语义信息包括所述目标建筑的标识框和所述目标建筑的类型标签；
所述根据所述目标建筑的类型标签，在所述第一视频流中添加语义信息，生成第二视频流，包括：
在所述第一视频流的每一帧图像中通过标识框标识出所述目标建筑物并添加所述目标建筑对应的类型标签，以生成所述第二视频流。
6.根据权利要求1-5任一项所述的方法，其特征在于，在所述将所述目标建筑的不同位置的图像输入深度学习模型之前，所述方法还包括：
使用预设的解码工具，对所述第一视频流进行解码，确定所述第一视频流中包含所述包含有目标建筑的图像。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述类型标签包括单类标签、多类标签和二分类标签。
8.根据权利要求1-5任一项所述的方法，其特征在于，所述特征信息包括以下至少一项：轮廓信息、强度信息、亮度信息、颜色信息和形状信息。
9.根据权利要求1-5任一项所述的方法，其特征在于，在所述将所述目标建筑的不同位置的图像输入深度学习模型之前，所述方法还包括：
获取所述深度学习模型的样本集，所述样本集中包含有建筑样本图像和所述建筑样本图像对应的类型标签；
根据预设的损失函数、优化函数和所述样本集对所述深度学习模型进训练。
10.一种建筑信息模型的建模装置，其特征在于，所述装置包括：
获取模块，用于响应于用户触发的获取指令，获取摄像设备采集的第一视频流，所述第一视频流中包含有目标建筑的图像；
识别模块，用于将所述目标建筑的图像输入深度学习模型，并获取所述深度学习模型输出的所述目标建筑的类型标签，所述深度学习模型用于提取所述目标建筑的图像中的特征信息，并根据所述特征信息确定所述目标建筑的类型标签；
生成模块，用于根据所述目标建筑的类型标签，生成所述目标建筑的建筑信息模型。
CN202310154638.XA 2023-02-23 2023-02-23 一种建筑信息模型的建模方法及装置 Pending CN116229262A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310154638.XA CN116229262A (zh) 2023-02-23 2023-02-23 一种建筑信息模型的建模方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310154638.XA CN116229262A (zh) 2023-02-23 2023-02-23 一种建筑信息模型的建模方法及装置

Publications (1)

Publication Number Publication Date
CN116229262A true CN116229262A (zh) 2023-06-06

Family

ID=86586918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310154638.XA Pending CN116229262A (zh) 2023-02-23 2023-02-23 一种建筑信息模型的建模方法及装置

Country Status (1)

Country Link
CN (1) CN116229262A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758180A (zh) * 2023-07-05 2023-09-15 河北汉方建筑装饰有限责任公司 一种建筑图像的水墨化风格确定方法、装置及计算设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758180A (zh) * 2023-07-05 2023-09-15 河北汉方建筑装饰有限责任公司 一种建筑图像的水墨化风格确定方法、装置及计算设备

Similar Documents

Publication Publication Date Title
CN110020620B (zh) 一种大姿态下的人脸识别方法、装置及设备
WO2022017245A1 (zh) 一种文本识别网络、神经网络训练的方法以及相关设备
CN111401406B (zh) 一种神经网络训练方法、视频帧处理方法以及相关设备
CN112446919A (zh) 物体位姿估计方法、装置、电子设备及计算机存储介质
CN113378770B (zh) 手势识别方法、装置、设备、存储介质
WO2022111387A1 (zh) 一种数据处理方法及相关装置
CN111226226A (zh) 基于运动的对象检测方法及其对象检测装置和电子设备
Gonçalves et al. Carcass image segmentation using CNN-based methods
WO2024060684A1 (zh) 模型训练方法、图像处理方法、设备及存储介质
CN114359289A (zh) 一种图像处理方法及相关装置
CN112149694A (zh) 一种基于卷积神经网络池化模块的图像处理方法、系统、存储介质及终端
CN108491890B (zh) 图像方法和装置
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN113015022A (zh) 行为识别方法、装置、终端设备及计算机可读存储介质
CN111507288A (zh) 图像检测方法、装置、计算机设备和存储介质
CN111353325A (zh) 关键点检测模型训练方法及装置
CN116229262A (zh) 一种建筑信息模型的建模方法及装置
CN114049568A (zh) 基于图像比对的标的物形变检测方法、装置、设备及介质
CN113158970B (zh) 一种基于快慢双流图卷积神经网络的动作识别方法与系统
CN114120454A (zh) 活体检测模型的训练方法、装置、电子设备及存储介质
CN113592932A (zh) 深度补全网络的训练方法、装置、电子设备及存储介质
CN111639523B (zh) 目标检测方法、装置、计算机设备和存储介质
CN116012244A (zh) 基于图像多尺度信息的图像降噪方法和电子设备
CN115393423A (zh) 目标检测方法和装置
CN115019057A (zh) 图像特征提取模型确定方法及装置、图像识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination