CN114036607B - 多模态输入深度神经网络、框架结构梁柱设计方法及装置 - Google Patents

多模态输入深度神经网络、框架结构梁柱设计方法及装置 Download PDF

Info

Publication number
CN114036607B
CN114036607B CN202111296427.7A CN202111296427A CN114036607B CN 114036607 B CN114036607 B CN 114036607B CN 202111296427 A CN202111296427 A CN 202111296427A CN 114036607 B CN114036607 B CN 114036607B
Authority
CN
China
Prior art keywords
neural network
column
image
graph
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111296427.7A
Other languages
English (en)
Other versions
CN114036607A (zh
Inventor
陆新征
赵鹏举
廖文杰
费一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202111296427.7A priority Critical patent/CN114036607B/zh
Publication of CN114036607A publication Critical patent/CN114036607A/zh
Application granted granted Critical
Publication of CN114036607B publication Critical patent/CN114036607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种多模态输入深度神经网络、框架结构梁柱设计方法及装置，其中所述多模态输入深度神经网络包括：卷积神经网络柱布置模块和图神经网络梁布置模块；卷积神经网络柱布置模块包括特征编码融合网络以及图像生成网络；特征编码融合网络用于进行特征融合；图像生成网络用于基于融合特征生成柱布置图像；图神经网络梁布置模块包括柱节点和边信息提取网络以及图谱特征生成网络；柱节点和边信息提取网络用于从柱布置图像中提取节点信息，结合柱布置图像、建筑荷载分区图像信息、建筑功能分区图像信息提取边信息；图谱特征生成网络用于基于所述节点信息和边信息生成图谱特征。本发明根据关键建筑图像和设计信息，能够快速完成框架结构梁柱设计。

Description

多模态输入深度神经网络、框架结构梁柱设计方法及装置
技术领域
本发明涉及建筑结构设计与机器学习技术领域，尤其涉及一种多模态输入深度神经网络、框架结构梁柱设计方法及装置。
背景技术
在框架结构建筑方案设计时、以及结构初始设计时，为保证最终设计结果的安全性与合理性，需在建筑功能分区、建筑荷载分区、以及一些设计信息的基础上进行快速合理的梁柱初步设计。
良好且快速的梁柱初步设计方案，既可辅助建筑方案的更新与优化，又可辅助结构方案的后期深化设计。但是目前依赖人工经验的框架结构梁柱设计方法耗时长，而且建筑工程师与结构工程师之间的交互设计效率低下；人工设计依赖设计师经验，导致不同设计人员的设计结果存在一定差异，难以统筹和综合考虑众多优秀设计师经验，难以充分利用既有的设计图纸资源，难以充分吸纳历史设计经验。同时，现有基于计算机辅助的框架结构梁柱设计方法计算资源消耗大，耗时长，依赖目标函数选取，普适性差，难以有效应用既有的成熟设计结果。现有基于人工智能辅助的结构设计方法无法进行框架结构梁柱一体化设计，且在方法上无法兼顾卷积神经网络高效的图像处理能力与图神经网络高效的拓扑关系处理能力，无法同时对框架结构梁柱设计方案数据中的图像数据与梁柱之间的拓扑关系进行综合考虑。现有方法耗时长，效率低，难以利用既有设计图纸资源，不利于设计方案迭代更改，导致框架结构梁柱初步设计阶段的快速设计需求难以满足。
发明内容
本发明提供一种多模态输入深度神经网络、框架结构梁柱设计方法及装置，用以解决现有技术中存在的技术缺陷。
本发明提供一种多模态输入深度神经网络，其用于框架结构梁柱设计，包括卷积神经网络柱布置模块和图神经网络梁布置模块；
其中，所述卷积神经网络柱布置模块包括特征编码融合网络以及图像生成网络；
所述特征编码融合网络用于对建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息、设计文本信息进行特征提取并进行特征融合，得到融合特征；所述图像生成网络用于基于上述融合特征生成柱布置图像；
所述图神经网络梁布置模块包括柱节点和边信息提取网络以及图谱特征生成网络；
所述柱节点和边信息提取网络用于从所述柱布置图像中提取节点信息，结合所述柱布置图像、建筑荷载分区图像信息、建筑功能分区图像信息提取边信息；所述图谱特征生成网络用于基于所述节点信息和边信息生成图谱特征。
根据本发明所述的多模态输入深度神经网络，其中，所述多模态输入深度神经网络的形成包括：
将所述建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息分别进行数字编码，形成尺寸相同的三种图像信息的三维特征矩阵，将三种图像信息的三维特征矩阵进行拼接，形成图像特征矩阵；
将每一类设计文本信息通过编码形成尺寸相同的一维设计信息特征向量，将各类一维设计信息特征在维度为一的维度方向进行拼接，形成二维矩阵，将所述二维矩阵通过卷积和反卷积运算扩展为与图像特征矩阵的图像长度维度和宽度维度尺寸相同的二维矩阵，将所述二维矩阵通过复制拼接，形成与图像特征矩阵尺寸相同的设计信息矩阵；
将所述图像特征矩阵和所述设计信息矩阵进行哈达玛积矩阵运算，得到所述卷积神经网络柱布置模块的第一输入特征；
将所述第一输入特征输入至卷积神经网络柱布置模块，通过卷积和反卷积运算，映射生成柱布置图像；
基于所述柱布置图像和目标与轮廓检测算法，得到柱轮廓的矩形轮廓坐标；
对所述柱轮廓的矩形轮廓坐标取中点坐标，得到图节点坐标特征；将任两个节点之间取边，作为图的潜在边；基于图的潜在边，融合荷载分区图像特征，形成每条边的平均荷载特征，融合功能分区图像特征，形成每条边的功能分区特征；
将所述每条潜在边的平均荷载特征，以及功能分区特征进行拼接，形成图的边特征；结合所述图节点坐标特征，形成图神经网络梁布置模块的第二输入特征；
将所述第二输入特征输入至所述图神经网络梁布置模块，生成包含每条边为框架梁的概率信息的图谱特征。
根据本发明所述的多模态输入深度神经网络，其中，所述基于图的潜在边，融合荷载分区图像特征，形成每条边的平均荷载特征，融合功能分区图像特征，形成每条边的功能分区特征，包括：
将每条边投影在荷载分区图像上，以融合荷载分区信息到边的特征上，根据每条边的投影所跨越的荷载分区种类及各种类所对应的边长度，采用加权平均计算每条边的平均荷载特征；将每条边投影在功能分区图像上，以融合功能分区信息到边的特征上，对不同功能分区采用数字不重复编号，根据每条边的投影所跨越的功能分区种类，将每条边的投影所跨越的功能分区种类总数及对应编号进行整理。
根据本发明所述的多模态输入深度神经网络，其中，所述卷积神经网络柱布置模块和图神经网络梁布置模块之间通过所述目标与轮廓检测算法连接，用于实现框架结构梁柱布置。
本发明还提供了一种框架结构梁柱设计方法，包括：
构建并训练所述的多模态输入深度神经网络；
获取待设计框架结构的建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息，对图像信息进行编码和组合，形成图像特征矩阵；获取待设计框架结构的设计文本信息，对设计文本信息进行编码，并与图像特征矩阵进行运算，形成所述卷积神经网络柱布置模块待输入特征；
将所述待输入特征输入多模态输入深度神经网络，在其中卷积神经网络柱布置模块生成柱子布置位置并通过目标与轮廓检测算法输出柱子矩形轮廓坐标后，将柱作为节点，将任两节点之间作为潜在边，将建筑荷载分区图像信息和建筑功能分区图像信息耦合为边特征，将节点坐标作为节点特征；将节点特征和边特征输入图神经网络梁布置模块，生成包含每条边为框架梁的概率信息的图谱特征，实现框架结构梁柱设计。
根据本发明所述的框架结构梁柱设计方法，其中，所述方法还包括：
对所述多模态输入深度神经网络进行性能评估，将综合评价指标大于预先设定的综合评价指标阈值的多模态输入深度神经网络用于框架结构梁柱设计。
根据本发明所述的框架结构梁柱设计方法，其中，所述综合评价指标的获取方式为：
ScoreFrame＝(ηcolumn×IOUcolumn+ηgraph×Scoregraph)
式中，
Figure BDA0003336754940000051
Scoregraph＝WLS(graphoutput+graphtarget)
其中，Acolumninter是生成框架结构柱布置设计图像与目标框架结构柱布置设计图像的框架柱交集面积，Acolumnunion是生成框架结构柱布置设计图像与目标框架结构柱布置设计图像的框架柱并集面积，Acolumnunion＝Acolumntar+Acolumnout-Acolumninter；graphoutput为生成的梁柱设计对应的图谱表达，graphtarget为目标梁柱设计对应的图谱表达，WLS为Graph相似度指标函数。
本发明还提供了一种框架结构梁柱设计装置，包括：
网络构建模块，用于构建并训练所述的多模态输入深度神经网络；
待输入特征获取模块，用于获取待设计框架结构的建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息，对图像信息进行编码和组合，形成图像特征矩阵；获取待设计框架结构的设计文本信息，对设计文本信息进行编码，并与图像特征矩阵进行运算，形成所述卷积神经网络柱布置模块待输入特征；
设计模块，用于将所述待输入特征输入多模态输入深度神经网络，在其中卷积神经网络柱布置模块生成柱子布置位置并通过目标与轮廓检测算法输出柱子矩形轮廓坐标后，将柱作为节点，将任两节点之间作为潜在边，将建筑荷载分区图像信息和建筑功能分区图像信息耦合为边特征，将节点坐标作为节点特征；将节点特征和边特征输入图神经网络梁布置模块，生成包含每条边为框架梁的概率信息的图谱特征，实现框架结构梁柱设计。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述框架结构梁柱设计方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述框架结构梁柱设计方法的步骤。
本发明提供一种多模态输入深度神经网络、框架结构梁柱设计方法及装置，其中所述多模态输入深度神经网络包括：卷积神经网络柱布置模块和图神经网络梁布置模块；卷积神经网络柱布置模块包括特征编码融合网络以及图像生成网络；特征编码融合网络用于进行特征融合；图像生成网络用于基于融合特征生成柱布置图像；图神经网络梁布置模块包括柱节点和边信息提取网络以及图谱特征生成网络；柱节点和边信息提取网络用于从柱布置图像中提取节点信息，结合柱布置图像、建筑荷载分区图像信息、建筑功能分区图像信息提取边信息；图谱特征生成网络用于基于所述节点信息和边信息生成图谱特征。本发明根据关键建筑图像和设计信息，能够快速完成框架结构梁柱设计。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的多模态输入深度神经网络的结构示意图；
图2为本发明所提供的多模态输入深度神经网络中的卷积神经网络柱布置模块的结构示意图；
图3为本发明所提供的多模态输入深度神经网络中的图神经网络梁布置模块的结构示意图；
图4为本发明所提供的框架结构梁柱设计方法的流程示意图；
图5是本发明提供的框架结构梁柱设计装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1描述本发明的多模态输入深度神经网络，其用于框架结构梁柱设计，该多模态输入深度神经网络包括卷积神经网络柱布置模块和图神经网络梁布置模块；
其中，所述卷积神经网络柱布置模块包括特征编码融合网络以及图像生成网络；
所述特征编码融合网络用于对建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息、设计文本信息进行特征提取并进行特征融合，得到融合特征；所述图像生成网络用于基于上述融合特征生成柱布置图像；
所述图神经网络梁布置模块包括柱节点和边信息提取网络以及图谱特征生成网络；
所述柱节点和边信息提取网络用于从所述柱布置图像中提取节点信息，结合所述柱布置图像、建筑荷载分区图像信息、建筑功能分区图像信息提取边信息；所述图谱特征生成网络用于基于所述节点信息和边信息生成图谱特征。
本发明提供一种多模态输入深度神经网络、框架结构梁柱设计方法及装置，其中所述多模态输入深度神经网络包括：卷积神经网络柱布置模块和图神经网络梁布置模块；卷积神经网络柱布置模块包括特征编码融合网络以及图像生成网络；特征编码融合网络用于进行特征融合；图像生成网络用于基于融合特征生成柱布置图像；图神经网络梁布置模块包括柱节点和边信息提取网络以及图谱特征生成网络；柱节点和边信息提取网络用于从柱布置图像中提取节点信息，结合柱布置图像、建筑荷载分区图像信息、建筑功能分区图像信息提取边信息；图谱特征生成网络用于基于所述节点信息和边信息生成图谱特征。本发明根据关键建筑图像和设计信息，能够快速完成框架结构梁柱设计，极大提高了初步设计阶段的设计效率。
根据本发明所述的多模态输入深度神经网络，其中，所述多模态输入深度神经网络的形成包括：
将所述建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息分别进行数字编码，形成尺寸相同的三种图像信息的三维特征矩阵，将三种图像信息的三维特征矩阵进行拼接，形成图像特征矩阵；
将每一类设计文本信息通过编码形成尺寸相同的一维设计信息特征向量，将各类一维设计信息特征在维度为一的维度方向进行拼接，形成二维矩阵，将所述二维矩阵通过卷积和反卷积运算扩展为与图像特征矩阵的图像长度维度和宽度维度尺寸相同的二维矩阵，将所述二维矩阵通过复制拼接，形成与图像特征矩阵尺寸相同的设计信息矩阵；
将所述图像特征矩阵和所述设计信息矩阵进行哈达玛积矩阵运算，得到所述卷积神经网络柱布置模块的第一输入特征；
将所述第一输入特征输入至卷积神经网络柱布置模块，通过卷积神经和反卷积运算，映射生成柱布置图像；
基于所述柱布置图像和目标与轮廓检测算法，得到柱轮廓的矩形轮廓坐标；
对所述柱轮廓的矩形轮廓坐标取中点坐标，得到图节点坐标特征；将任两个节点之间取边，作为图的潜在边；基于图的潜在边，融合荷载分区图像特征，形成每条边的平均荷载特征，融合功能分区图像特征，形成每条边的功能分区特征；
将所述每条潜在边的平均荷载特征，以及功能分区特征进行拼接，形成图的边特征；结合所述图节点坐标特征，形成图神经网络梁布置模块的第二输入特征；
将所述第二输入特征输入至所述图神经网络梁布置模块，生成包含每条边为框架梁的概率信息的图谱特征。
根据本发明所述的多模态输入深度神经网络，其中，所述基于图的潜在边，融合荷载分区图像特征，形成每条边的平均荷载特征，融合功能分区图像特征，形成每条边的功能分区特征，包括：
将每条边投影在荷载分区图像上，以融合荷载分区信息到边的特征上，根据每条边的投影所跨越的荷载分区种类及各种类所对应的边长度，采用加权平均计算每条边的平均荷载特征；将每条边投影在功能分区图像上，以融合功能分区信息到边的特征上，对不同功能分区采用数字不重复编号，根据每条边的投影所跨越的功能分区种类，将每条边的投影所跨越的功能分区种类总数及对应编号进行整理。
根据本发明所述的多模态输入深度神经网络，其中，所述卷积神经网络柱布置模块和图神经网络梁布置模块之间通过所述目标与轮廓检测算法连接，用于实现框架结构梁柱布置。
为了进一步说明本发明的框架结构梁柱设计方法，本发明提供了一个具体实施例。
本发明实施例为实现多模态输入深度神经网络的构建以及基于该多模态输入深度神经网络进行框架结构设计，首先提出一种多模态输入深度神经网络构建方法，步骤如下：
步骤1、获取一种图像到图像的卷积神经网络，基于该神经网络，构建卷积神经网络柱布置模块，如图2所示，具体的步骤如下：
步骤1.1获取一种图像到图像的卷积神经网络，该网络可以是一般的卷积神经网络(例如，U-Net)，也可以是生成对抗卷积神经网络(例如，pix2pix或者pix2pix-HD)，如果是一般的卷积神经网络，则直接进行步骤1.2，如果是生成对抗卷积神经网络，则取其中的生成器，进行步骤1.2；
步骤1.2获取待设计的框架结构的建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息三种图像信息；对于每种图像信息，分别进行图像编码，可以分别定义不同颜色的色块用以标定不同的图像信息；例如，对于建筑荷载分区图像信息，可以用不同程度的灰色表征不同的设计荷载数值，白色RGB＝(255,255,255)表示设计荷载0kN/m2，灰色RGB＝(250,250,250)表示设计荷载0.5kN/m2，灰色RGB＝(245,245,245)表示设计荷载1.0kN/m2，以此类推；对于建筑功能分区图像信息，可以使用不同的颜色表征不同的功能分区；对于建筑隔墙布置图像信息，可以用不同的颜色表示不同的非结构构件元素；至此，建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息分别编码为三维矩阵特征；由于建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息三种图像信息是一一对应的，所以它们尺寸相同；当图像编码完成后，将三种尺寸相同的三维矩阵特征在RGB通道维度上进行拼接，形成图像特征矩阵；
步骤1.3将每一类设计文本信息通过编码形成尺寸相同的一维设计信息特征向量，将各类一维设计信息特征在维度为1的维度方向进行拼接，形成二维矩阵；将所述二维矩阵通过卷积和反卷积运算扩展为与图像特征矩阵的图像长度维度和宽度维度尺寸相同的二维矩阵；将所述二维矩阵在维度为1的维度方向进行复制拼接，形成与步骤1.2所述图像特征矩阵尺寸完全一样的三维设计信息矩阵；
步骤1.4将所述图像特征矩阵和设计信息矩阵进行哈达玛积矩阵运算，得到输入特征，将该特征输入步骤1.1所述的一般卷积神经网络或者生成对抗卷积神经网络的生成器，通过卷积和反卷积运算，映射生成柱布置图像；
步骤1.5在步骤1.4所述的一般卷积神经网络或者生成对抗卷积神经网络的生成器后，衔接一个目标与轮廓检测算法(例如，Fast RCNN网络)，将步骤1.4所述的一般卷积神经网络或者生成对抗卷积神经网络的生成器输出的柱布置图像通过特征提取与特征映射，形成柱的矩形轮廓坐标作为输出；
步骤2、获取一种图谱(Graph)到图谱(Graph)的图神经网络，基于该图神经网络，构建图神经网络梁布置模块，如图3所示，具体的步骤如下：
步骤2.1将步骤1.5所述柱的矩形轮廓坐标取中点坐标，得到图谱(Graph)节点(Node)坐标特征，例如某节点在图像中的相对坐标为(0.6，0.8)，则向量[0.6，0.8]即为该节点的节点特征；将任两个节点之间取边(Edge)，作为图谱的潜在边；将每条边投影在荷载分区图像上，以融合荷载分区信息到边的特征上，根据每条边的投影所跨越的荷载分区种类及各种类所对应的边长度，采用加权平均计算每条边的平均荷载特征，例如，一条边有3/10长度在荷载分区0.5kN/m2上，1/2长度在荷载分区0kN/m2上，1/5长度在荷载分区2.0kN/m2上，则该边的平均荷载特征为3/10×0.5+1/2×0+1/5×2.0＝1.15kN/m2，则取1.15为平均荷载特征；将每条边投影在功能分区图像上，以融合功能分区信息到边的特征上，对不同功能分区采用数字不重复编号，根据每条边的投影所跨越的功能分区种类，将每条边的投影所跨越的功能分区种类总数及对应编号进行整理，形成每条边的功能分区特征，例如某条边跨越编号为1、5、7的三种功能分区，则向量[3，1，5，7]为该边的功能分区特征；将每条潜在边的平均荷载特征，以及功能分区特征进行拼接，形成图谱的边特征，例如，若某条边的平均荷载特征为1.15，功能分区特征为[3，1，5，7]，则该条边的边特征为[1.15，3，1，5，7]；
步骤2.2、将所述图谱节点与边特征输入图神经网络，经过图卷积运算，生成包含每条潜在边为框架梁的概率信息的图谱输出，例如，某条边若不适合布置梁，则其输出特征为0，若适合布置梁，则其输出特征为1；
步骤2与步骤1所述神经网络模块衔接在一起后，即为多模态输入深度神经网络，如图1所示；
步骤3、对构建的多模态输入深度神经网络进行训练、评估，并应用于框架结构梁柱设计中，具体的步骤如下：
步骤3.1首先创建用于多模态输入深度神经网络的训练和测试的数据集。通过获取已有的建筑设计图纸、配套的结构设计图纸、结构设计荷载信息、基本设计条件信息，结合框架结构设计的专业先验知识对关键元素进行预提取，完成数据集创建。按一定比例随机划分得到训练集与测试集，例如训练集占80％，测试集占20％。该数据集包括输入特征数据和输出目标数据，输出目标数据包括柱布置的图像、柱轮廓中心坐标、柱和梁之间拓扑关系形成的图谱数据；
步骤3.2基于步骤3.1创建的训练集对多模态输入深度神经网络进行训练，训练完成后使用测试集对其效果进行评价，若评价指标超过预先设定的阈值，则评估合格，可用于后续框架结构设计；
步骤3.3基于步骤3.2训练和评估合格的多模态输入深度神经网络，输入待设计框架结构关键图像及设计信息的特征，前述多模态输入深度神经网络将自动完成框架结构梁柱设计。
至此，完成了多模态输入深度神经网络的构建，以及基于该网络的框架结构梁柱设计。
下面结合图4描述本发明的框架结构梁柱设计方法，包括：
S1、构建并训练所述的多模态输入深度神经网络；
S2、获取待设计框架结构的建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息，对图像信息进行编码和组合，形成图像特征矩阵；获取待设计框架结构的设计文本信息，对设计文本信息进行编码，并与图像特征矩阵进行运算，形成所述卷积神经网络柱布置模块待输入特征；
S3、将所述待输入特征输入多模态输入深度神经网络，在其中卷积神经网络柱布置模块生成柱子布置位置并通过目标与轮廓检测算法输出柱子矩形轮廓坐标后，将柱作为节点，将任两节点之间作为潜在边，将建筑荷载分区图像信息和建筑功能分区图像信息耦合为边特征，将节点坐标作为节点特征；将节点特征和边特征输入图神经网络梁布置模块，生成包含每条边为框架梁的概率信息的图谱特征，实现框架结构梁柱设计。
根据本发明所述的框架结构梁柱设计方法，其中，所述方法还包括：
对所述多模态输入深度神经网络进行性能评估，将综合评价指标大于预先设定的综合评价指标阈值的多模态输入深度神经网络用于框架结构梁柱设计。综合评价指标阈值是认为预先设定的。
根据本发明所述的框架结构梁柱设计方法，其中，所述综合评价指标的获取方式为：
ScoreFrame＝(ηcolumn×IOUcolumn+ηgraph×Scoregraph)
式中，
Figure BDA0003336754940000151
Scoregraph＝WLS(graphoutput+graphtarget)
其中，Acolumninter是生成框架结构柱布置设计图像与目标框架结构柱布置设计图像的框架柱交集面积，Acolumnunion是生成框架结构柱布置设计图像与目标框架结构柱布置设计图像的框架柱并集面积，Acolumnunion＝Acolumntar+Acolumnout-Acolumninter；graphoutput为生成的梁柱设计对应的图谱表达，graphtarget为目标梁柱设计对应的图谱表达，WLS为Graph相似度指标函数，可以选用基于Weisfeiler-Lehman(威斯费勒-莱曼)核的核函数方法。
参见图5，下面对本发明提供的框架结构梁柱设计装置进行描述，下文描述的框架结构梁柱设计装置与上文描述的框架结构梁柱设计方法可相互对应参照，所述框架结构梁柱设计装置包括：
网络构建模块10，用于构建并训练所述的多模态输入深度神经网络；
待输入特征获取模块20，用于获取待设计框架结构的建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息，对图像信息进行编码和组合，形成图像特征矩阵；获取待设计框架结构的设计文本信息，对设计文本信息进行编码，并与图像特征矩阵进行运算，形成所述卷积神经网络柱布置模块待输入特征；
设计模块30，用于将所述待输入特征输入多模态输入深度神经网络，在其中卷积神经网络柱布置模块生成柱子布置位置并通过目标与轮廓检测算法输出柱子矩形轮廓坐标后，将柱作为节点，将任两节点之间作为潜在边，将建筑荷载分区图像信息和建筑功能分区图像信息耦合为边特征，将节点坐标作为节点特征；将节点特征和边特征输入图神经网络梁布置模块，生成包含每条边为框架梁的概率信息的图谱特征，实现框架结构梁柱设计。
根据本发明所述的框架结构梁柱设计装置，其中，所述装置还包括性能评估模块，所述性能评估模块用于：
对所述多模态输入深度神经网络进行性能评估，将综合评价指标大于预先设定的综合评价指标阈值的多模态输入深度神经网络用于框架结构梁柱设计。
根据本发明所述的框架结构梁柱设计装置，其中，所述综合评价指标的获取方式为：
ScoreFrame＝(ηcolumn×IOUcolumn+ηgraph×Scoregraph)
式中，
Figure BDA0003336754940000161
Scoregraph＝WLS(graphoutput+graphtarget)
其中，Acolumninter是生成框架结构柱布置设计图像与目标框架结构柱布置设计图像的框架柱交集面积，Acolumnunion是生成框架结构柱布置设计图像与目标框架结构柱布置设计图像的框架柱并集面积，Acolumnunion＝Acolumntar+Acolumnout-Acolumninter；graphoutput为生成的梁柱设计对应的图谱表达，graphtarget为目标梁柱设计对应的图谱表达，WLS为Graph相似度指标函数，可以选用基于Weisfeiler-Lehman(威斯费勒-莱曼)核的核函数方法。
图6示例了一种电子设备的实体结构示意图，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行框架结构梁柱设计方法，该方法包括：
S1、构建并训练所述的多模态输入深度神经网络；
S2、获取待设计框架结构的建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息，对图像信息进行编码和组合，形成图像特征矩阵；获取待设计框架结构的设计文本信息，对设计文本信息进行编码，并与图像特征矩阵进行运算，形成所述卷积神经网络柱布置模块待输入特征；
S3、将所述待输入特征输入多模态输入深度神经网络，在其中卷积神经网络柱布置模块生成柱子布置位置并通过目标与轮廓检测算法输出柱子矩形轮廓坐标后，将柱作为节点，将任两节点之间作为潜在边，将建筑荷载分区图像信息和建筑功能分区图像信息耦合为边特征，将节点坐标作为节点特征；将节点特征和边特征输入图神经网络梁布置模块，生成包含每条边为框架梁的概率信息的图谱特征，实现框架结构梁柱设计。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的框架结构梁柱设计方法，该方法包括：
S1、构建并训练所述的多模态输入深度神经网络；
S2、获取待设计框架结构的建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息，对图像信息进行编码和组合，形成图像特征矩阵；获取待设计框架结构的设计文本信息，对设计文本信息进行编码，并与图像特征矩阵进行运算，形成所述卷积神经网络柱布置模块待输入特征；
S3、将所述待输入特征输入多模态输入深度神经网络，在其中卷积神经网络柱布置模块生成柱子布置位置并通过目标与轮廓检测算法输出柱子矩形轮廓坐标后，将柱作为节点，将任两节点之间作为潜在边，将建筑荷载分区图像信息和建筑功能分区图像信息耦合为边特征，将节点坐标作为节点特征；将节点特征和边特征输入图神经网络梁布置模块，生成包含每条边为框架梁的概率信息的图谱特征，实现框架结构梁柱设计。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的框架结构梁柱设计方法，该方法包括：
S1、构建并训练所述的多模态输入深度神经网络；
S2、获取待设计框架结构的建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息，对图像信息进行编码和组合，形成图像特征矩阵；获取待设计框架结构的设计文本信息，对设计文本信息进行编码，并与图像特征矩阵进行运算，形成所述卷积神经网络柱布置模块待输入特征；
S3、将所述待输入特征输入多模态输入深度神经网络，在其中卷积神经网络柱布置模块生成柱子布置位置并通过目标与轮廓检测算法输出柱子矩形轮廓坐标后，将柱作为节点，将任两节点之间作为潜在边，将建筑荷载分区图像信息和建筑功能分区图像信息耦合为边特征，将节点坐标作为节点特征；将节点特征和边特征输入图神经网络梁布置模块，生成包含每条边为框架梁的概率信息的图谱特征，实现框架结构梁柱设计。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种多模态输入深度神经网络，其特征在于，包括卷积神经网络柱布置模块和图神经网络梁布置模块；
其中，所述卷积神经网络柱布置模块包括特征编码融合网络以及图像生成网络；
所述特征编码融合网络用于对建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息、设计文本信息进行特征提取并进行特征融合，得到融合特征；所述图像生成网络用于基于上述融合特征生成柱布置图像；
所述图神经网络梁布置模块包括柱节点和边信息提取网络以及图谱特征生成网络；
所述柱节点和边信息提取网络用于从所述柱布置图像中提取节点信息，结合所述柱布置图像、建筑荷载分区图像信息、建筑功能分区图像信息提取边信息；所述图谱特征生成网络用于基于所述节点信息和边信息生成图谱特征。
2.根据权利要求1所述的多模态输入深度神经网络，其特征在于，所述多模态输入深度神经网络的形成包括：
将所述建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息分别进行数字编码，形成尺寸相同的三种图像信息的三维特征矩阵，将三种图像信息的三维特征矩阵进行拼接，形成图像特征矩阵；
将每一类设计文本信息通过编码形成尺寸相同的一维设计信息特征向量，将各类一维设计信息特征在维度为一的维度方向进行拼接，形成二维矩阵，将所述二维矩阵通过卷积和反卷积运算扩展为与图像特征矩阵的图像长度维度和宽度维度尺寸相同的二维矩阵，将所述二维矩阵通过复制拼接，形成与图像特征矩阵尺寸相同的设计信息矩阵；
将所述图像特征矩阵和所述设计信息矩阵进行哈达玛积矩阵运算，得到所述卷积神经网络柱布置模块的第一输入特征；
将所述第一输入特征输入至卷积神经网络柱布置模块，通过卷积和反卷积运算，映射生成柱布置图像；
基于所述柱布置图像和目标与轮廓检测算法，得到柱轮廓的矩形轮廓坐标；
对所述柱轮廓的矩形轮廓坐标取中点坐标，得到图节点坐标特征；将任两个节点之间取边，作为图的潜在边；基于图的潜在边，融合荷载分区图像特征，形成每条边的平均荷载特征，融合功能分区图像特征，形成每条边的功能分区特征；
将每条潜在边的平均荷载特征，以及功能分区特征进行拼接，形成图的边特征；结合所述图节点坐标特征，形成图神经网络梁布置模块的第二输入特征；
将所述第二输入特征输入至所述图神经网络梁布置模块，生成包含每条边为框架梁的概率信息的图谱特征。
3.根据权利要求2所述的多模态输入深度神经网络，其特征在于，所述基于图的潜在边，融合荷载分区图像特征，形成每条边的平均荷载特征，融合功能分区图像特征，形成每条边的功能分区特征，包括：
将每条边投影在荷载分区图像上，以融合荷载分区信息到边的特征上，根据每条边的投影所跨越的荷载分区种类及各种类所对应的边长度，采用加权平均计算每条边的平均荷载特征；将每条边投影在功能分区图像上，以融合功能分区信息到边的特征上，对不同功能分区采用数字不重复编号，根据每条边的投影所跨越的功能分区种类，将每条边的投影所跨越的功能分区种类总数及对应编号进行整理。
4.根据权利要求2所述的多模态输入深度神经网络，其特征在于，所述卷积神经网络柱布置模块和图神经网络梁布置模块之间通过所述目标与轮廓检测算法连接，用于实现框架结构梁柱布置。
5.一种框架结构梁柱设计方法，其特征在于，包括：
构建并训练如权利要求1所述的多模态输入深度神经网络；
获取待设计框架结构的建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息，对图像信息进行编码和组合，形成图像特征矩阵；获取待设计框架结构的设计文本信息，对设计文本信息进行编码，并与图像特征矩阵进行运算，形成所述卷积神经网络柱布置模块待输入特征；
将所述待输入特征输入多模态输入深度神经网络，在其中卷积神经网络柱布置模块生成柱子布置位置并通过目标与轮廓检测算法输出柱子矩形轮廓坐标后，将柱作为节点，将任两节点之间作为潜在边，将建筑荷载分区图像信息和建筑功能分区图像信息耦合为边特征，将节点坐标作为节点特征；将节点特征和边特征输入图神经网络梁布置模块，生成包含每条边为框架梁的概率信息的图谱特征，实现框架结构梁柱设计。
6.根据权利要求5所述的框架结构梁柱设计方法，其特征在于，所述方法还包括：
对所述多模态输入深度神经网络进行性能评估，将综合评价指标大于预先设定的综合评价指标阈值的多模态输入深度神经网络用于框架结构梁柱设计。
7.根据权利要求6所述的框架结构梁柱设计方法，其特征在于，所述综合评价指标的获取方式为：
ScoreFrame＝(ηcolumn×IOUcolumn+ηgraph×Scoregraph)
式中，
Figure FDA0003601535200000031
Scoregraph＝WLS(graphoutput+graphtarget)
其中，Acolumninter是生成框架结构柱布置设计图像与目标框架结构柱布置设计图像的框架柱交集面积，Acolumnunion是生成框架结构柱布置设计图像与目标框架结构柱布置设计图像的框架柱并集面积，Acolumnunion＝Acolumntar+Acolumnout-Acolumninter；graphoutput为生成的梁柱设计对应的图谱表达，graphtarget为目标梁柱设计对应的图谱表达，WLS为Graph相似度指标函数。
8.一种框架结构梁柱设计装置，其特征在于，包括：
网络构建模块，用于构建并训练如权利要求1所述的多模态输入深度神经网络；
待输入特征获取模块，用于获取待设计框架结构的建筑荷载分区图像信息、建筑功能分区图像信息、建筑隔墙布置图像信息，对图像信息进行编码和组合，形成图像特征矩阵；获取待设计框架结构的设计文本信息，对设计文本信息进行编码，并与图像特征矩阵进行运算，形成所述卷积神经网络柱布置模块待输入特征；
设计模块，用于将所述待输入特征输入多模态输入深度神经网络，在其中卷积神经网络柱布置模块生成柱子布置位置并通过目标与轮廓检测算法输出柱子矩形轮廓坐标后，将柱作为节点，将任两节点之间作为潜在边，将建筑荷载分区图像信息和建筑功能分区图像信息耦合为边特征，将节点坐标作为节点特征；将节点特征和边特征输入图神经网络梁布置模块，生成包含每条边为框架梁的概率信息的图谱特征，实现框架结构梁柱设计。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求5至7任一项所述的框架结构梁柱设计方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求5至7任一项所述的框架结构梁柱设计方法的步骤。
CN202111296427.7A 2021-11-03 2021-11-03 多模态输入深度神经网络、框架结构梁柱设计方法及装置 Active CN114036607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111296427.7A CN114036607B (zh) 2021-11-03 2021-11-03 多模态输入深度神经网络、框架结构梁柱设计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111296427.7A CN114036607B (zh) 2021-11-03 2021-11-03 多模态输入深度神经网络、框架结构梁柱设计方法及装置

Publications (2)

Publication Number Publication Date
CN114036607A CN114036607A (zh) 2022-02-11
CN114036607B true CN114036607B (zh) 2022-07-01

Family

ID=80136233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111296427.7A Active CN114036607B (zh) 2021-11-03 2021-11-03 多模态输入深度神经网络、框架结构梁柱设计方法及装置

Country Status (1)

Country Link
CN (1) CN114036607B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114880739B (zh) * 2022-04-25 2023-03-24 清华大学 生成式建筑结构设计方案的再优化设计方法和装置
CN116150837B (zh) * 2022-11-29 2023-12-29 清华大学 基于边特征预测图神经网络的剪力墙设计方法和装置
CN116186825B (zh) * 2022-11-29 2023-10-31 清华大学 基于图节点分类图神经网络的剪力墙设计方法和装置
CN116186824B (zh) * 2022-11-29 2023-09-12 清华大学 基于图像嵌入图神经网络模型的建筑结构布置方法
CN115525962B (zh) * 2022-11-29 2023-03-31 湖南工商大学 一种房屋建筑结构图数据构建方法
CN116029023B (zh) * 2022-12-26 2023-08-25 清华大学 基于计算机辅助决策的建筑结构智能设计方法及系统
CN116226674B (zh) * 2023-05-06 2023-09-05 中国建筑西南设计研究院有限公司 一种框架梁的布置模型训练方法、布置方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414140A (zh) * 2019-07-30 2019-11-05 同济大学 木材损伤的模型训练和测试方法、装置、设备和存储介质
CN111259804A (zh) * 2020-01-16 2020-06-09 合肥工业大学 一种基于图卷积的多模态融合手语识别系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10346740B2 (en) * 2016-06-01 2019-07-09 Kla-Tencor Corp. Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
CN110246148B (zh) * 2019-05-27 2021-07-13 浙江科技学院 多模态的深度信息融合和注意力学习的显著性检测方法
CN111178507B (zh) * 2019-12-26 2024-05-24 集奥聚合(北京)人工智能科技有限公司 图谱卷积神经网络数据处理方法及装置
GB2592440A (en) * 2020-02-28 2021-09-01 Correvate Ltd Object recognition via object data database and augmentation of 3D image data
CN111898730A (zh) * 2020-06-17 2020-11-06 西安交通大学 一种利用图卷积神经网络结构加速的结构优化设计方法
CN112966760B (zh) * 2021-03-15 2021-11-09 清华大学 融合文本和图像数据的神经网络及其建筑结构的设计方法
CN113011073B (zh) * 2021-04-28 2022-04-29 清华大学 基于深度学习的一维复杂滞回关系构建与结构模拟方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414140A (zh) * 2019-07-30 2019-11-05 同济大学 木材损伤的模型训练和测试方法、装置、设备和存储介质
CN111259804A (zh) * 2020-01-16 2020-06-09 合肥工业大学 一种基于图卷积的多模态融合手语识别系统及方法

Also Published As

Publication number Publication date
CN114036607A (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN114036607B (zh) 多模态输入深度神经网络、框架结构梁柱设计方法及装置
KR102378850B1 (ko) 컨볼루션 신경망을 사용하는 의미적 세그먼트화 및 깊이 완성 방법 및 장치
US10417526B2 (en) Object recognition method and device
CN111462137A (zh) 一种基于知识蒸馏和语义融合的点云场景分割方法
CN110298361A (zh) 一种rgb-d图像的语义分割方法和系统
JP6924517B2 (ja) ディープニューラルネットワーク基盤の多重パッチ組み合わせを利用して顔を認識し、極度の状況でフォールトトレランス及びフラクチュエーションロバスト性を向上させる方法
CN108345890A (zh) 图像处理方法、装置和相关设备
US10726206B2 (en) Visual reference resolution using attention memory for visual dialog
CN110033054B (zh) 基于协同笔画优化的个性化手写体迁移方法和系统
Pokorny et al. Topological trajectory clustering with relative persistent homology
CN113390407A (zh) 车道级导航地图的构建方法、装置、设备以及存储介质
CN110399518A (zh) 一种基于图卷积的视觉问答增强方法
CN109712108B (zh) 一种基于多样鉴别性候选框生成网络的针对视觉定位方法
Jiang et al. Difnet: Semantic segmentation by diffusion networks
CN113780486B (zh) 一种视觉问答的方法、装置及介质
CN104658033A (zh) 多光源下的全局光照绘制方法及装置
CN113486190A (zh) 一种融合实体图像信息和实体类别信息的多模态知识表示方法
EP3506168A1 (en) Method, apparatus, and computer readable medium for processing image
CN109409504A (zh) 一种数据处理方法、装置、计算机及存储介质
CN115393854A (zh) 一种视觉对齐处理方法、终端及存储介质
Han et al. Planning paths through unknown space by imagining what lies therein
CN113127697B (zh) 图布局优化方法和系统、电子设备及可读存储介质
KR20200092846A (ko) 객체의 조건에 따라 모드를 전환할 수 있는 CNN 기반으로 군사 목적, 스마트폰 또는 가상 주행에 사용되는 수도(Pseudo)-3D 바운딩 박스를 검출하는 방법 및 이를 이용한 장치
CN113724388A (zh) 高精地图的生成方法、装置、设备以及存储介质
CN113705402A (zh) 视频行为预测方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant