CN117475089A - 基于预训练语言模型的三维场景生成方法及相关组件 - Google Patents

基于预训练语言模型的三维场景生成方法及相关组件 Download PDF

Info

Publication number
CN117475089A
CN117475089A CN202311811992.1A CN202311811992A CN117475089A CN 117475089 A CN117475089 A CN 117475089A CN 202311811992 A CN202311811992 A CN 202311811992A CN 117475089 A CN117475089 A CN 117475089A
Authority
CN
China
Prior art keywords
dimensional
scene
space
text description
description information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311811992.1A
Other languages
English (en)
Other versions
CN117475089B (zh
Inventor
杜国光
范宝余
赵雅倩
王丽
郭振华
李仁刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN202311811992.1A priority Critical patent/CN117475089B/zh
Publication of CN117475089A publication Critical patent/CN117475089A/zh
Application granted granted Critical
Publication of CN117475089B publication Critical patent/CN117475089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种基于预训练语言模型的三维场景生成方法及相关组件，涉及人工智能领域，解决现有三维场景生成精度低的问题。该方案通过获取用户输入的第一文本描述信息，对其进行解析，得到场景空间信息和三维物体的第二文本描述信息，可以更精确地了解目标三维场景的要求和构成；根据解析得到的信息生成三维场景空间布局，并根据第二文本描述信息生成相应的三维物体数据，最后通过融合得到最终的目标三维场景。本申请采用分而治之的思想，更注重对第一文本描述信息的解析和理解，将其分解为多个细节，并通过分步骤生成场景空间布局和三维物体的三维物体数据，最后再将其融合，使最终得到的目标三维场景的细节更准确。

Description

基于预训练语言模型的三维场景生成方法及相关组件
技术领域
本申请涉及人工智能领域，特别涉及一种基于预训练语言模型的三维场景生成方法及相关组件。
背景技术
人工智能内容生成（AIGC，Artificial Intelligence Generated Content）是一项利用人工智能技术自动生产数字化内容的技术，包括文本、音频、图像以及3D（ThreeDimensions，三维）场景，3D场景包括场景空间布局和场景中包括的3D物体。在当今的深度学习技术中，3D场景的生成受到了广泛关注。从无条件生成到有条件生成，技术不断演进，为3D场景生成带来了新的可能性。无条件生成通过学习数据分布直接生成新的3D场景，但缺乏对生成结果的精细控制，难以满足特定需求。相比之下，有条件生成结合了条件输入，通过合理的条件引入方式，可以更精确地控制生成的3D场景，具有更高的应用价值。
然而，现有的基于文本描述生成3D场景的方法往往将整个文本描述作为一个整体进行生成，得到与文本描述对应的3D场景，导致在生成细节方面存在明显不足，特别是在复杂的3D场景的生成中表现欠佳。
因此，如何提供一种基于预训练语言模型的三维场景生成方法以更好地保留细节信息是本领域技术人员亟需解决的技术问题。
发明内容
本申请的目的是提供一种基于预训练语言模型的三维场景生成方法及相关组件，采用分而治之的思想，更注重对第一文本描述信息的解析和理解，将其分解为多个细节，并通过分步骤生成场景空间布局和三维物体的三维物体数据，最后再将其融合，使最终得到的目标三维场景的细节更准确。
为解决上述技术问题，本申请提供了一种基于预训练语言模型的三维场景生成方法，包括：
获取用户输入的第一文本描述信息，基于预训练语言模型对所述第一文本描述信息进行解析，得到场景空间信息和多个三维物体的第二文本描述信息，目标三维场景中包括场景空间和所述场景空间中的多个所述三维物体；
根据各所述第二文本描述信息生成与各所述三维物体对应的三维物体数据；
根据所述场景空间信息和所述第二文本描述信息生成三维场景空间布局，所述三维场景空间布局包括各个所述三维物体在所述场景空间中的空间位置；
将所述三维场景空间布局和所述三维物体数据融合，得到所述目标三维场景。
在一种实施例中，根据所述场景空间信息和所述第二文本描述信息生成三维场景空间布局，包括：
根据所述场景空间信息和所述第二文本描述信息生成多个不同的所述三维场景空间布局；
将所述三维场景空间布局和所述三维物体数据融合，得到所述目标三维场景，包括：
将各个所述三维场景空间布局和所述三维物体数据融合，得到多个不同的待选三维场景；
根据所述第一文本描述信息对多个所述待选三维场景进行评估，根据评估结果确定所述目标三维场景。
在一种实施例中，对多个所述待选三维场景进行评估，根据评估结果确定所述目标三维场景，包括：
根据所述第一文本描述信息对多个所述待选三维场景进行打分，将得分最高的所述待选三维场景确定为所述目标三维场景。
在一种实施例中，所述场景空间信息包括场景空间的第一三维尺寸信息，所述第二文本描述信息包括所述三维物体的第二三维尺寸信息、所述三维物体在所述目标三维场景的位置特征信息；根据所述场景空间信息和所述第二文本描述信息生成多个不同的所述三维场景空间布局，包括：
根据所述第一三维尺寸信息、所述第二三维尺寸信息、所述位置特征信息将所述三维物体在所述场景空间中进行不同的组合，得到多个所述三维场景空间布局。
在一种实施例中，将所述三维物体在所述场景空间中进行不同的组合的过程遵循预设布局原则，所述预设布局原则为：各所述三维物体紧邻所述场景空间中的地面或天花板或其它三维物体的表面，各所述三维物体与所述地面或所述天花板或所述其它三维物体在空间上不交叠。
在一种实施例中，根据所述第一三维尺寸信息、所述第二三维尺寸信息、所述位置特征信息将所述三维物体在所述场景空间中进行不同的组合，得到多个所述三维场景空间布局，包括：
根据所述第二三维尺寸信息计算各所述三维物体的体积；
按照体积由大到小的顺序依次将各个所述三维物体放置至所述场景空间中。
在一种实施例中，按照体积由大到小的顺序依次将各个所述三维物体放置至所述场景空间中，包括：
按照体积由大到小的顺序查找满足初始放置条件的第一三维物体，所述初始放置条件为所述三维物体紧邻所述场景空间的地面或天花板；
根据所述场景空间的第一三维尺寸信息和所述第一三维物体的三维尺寸信息随机确定所述第一三维物体的第一空间位置，根据所述第一空间位置将所述第一三维物体放置在所述场景空间中；
按照体积由大到小的顺序依次查找除所述第一三维物体之外的满足后期放置条件的第二三维物体，所述后期放置条件为所述三维物体紧邻所述地面或天花板或已放置的三维物体表面；
确定所述第二三维物体的第二空间位置，并根据所述第二空间位置将所述第二三维物体放置至所述场景空间中，直至完成所有三维物体的放置。
在一种实施例中，根据所述场景空间的第一三维尺寸信息和所述第一三维物体的三维尺寸信息随机确定所述第一三维物体的第一空间位置，根据所述第一空间位置将所述第一三维物体放置在所述场景空间中之后，还包括：
根据所述第一空间位置和所述第一三维物体的三维尺寸信息更新所述场景空间的空间占用信息；
确定所述第二三维物体的第二空间位置，并根据所述第二空间位置将所述第二三维物体放置至所述场景空间中，包括：
从所述场景空间中未被占用的空间中确定所述第二三维物体的第二空间位置，并根据所述第二空间位置将所述第二三维物体放置至所述场景空间中。
在一种实施例中，根据所述场景空间的第一三维尺寸信息和所述第一三维物体的三维尺寸信息随机确定所述第一三维物体的第一空间位置，根据所述第一空间位置将所述第一三维物体放置在所述场景空间中，包括：
根据所述场景空间的第一三维尺寸信息和所述第一三维物体的三维尺寸信息随机确定所述第一三维物体的第一重心位置；
根据所述第一重心位置、第一预设角度和所述第一三维物体的三维尺寸信息确定所述第一三维物体的第一空间位置；
根据所述第一空间位置将所述第一三维物体放置在所述场景空间中；
从所述场景空间中未被占用的空间中确定所述第二三维物体的第二空间位置，并根据所述第二空间位置将所述第二三维物体放置至所述场景空间中，包括：
从所述场景空间中未被占用的空间中随机确定所述第二三维物体的第二重心位置；
根据所述第二重心位置、第二预设角度和所述第二三维物体的三维尺寸信息确定所述第二空间位置；
判断所述第二空间位置是否与所述场景空间中的地面、天花板及已放置的其他三维物体存在冲突；
若存在，则重新进入从所述场景空间中未被占用的空间中随机确定所述第二三维物体的第二重心位置的步骤；
若不存在，则根据所述第二空间位置将所述第二三维物体放置至所述场景空间中。
在一种实施例中，根据所述第一空间位置和所述第一三维物体的三维尺寸信息更新所述场景空间的空间占用信息之前，还包括：
将所述场景空间划分为多个空间网格；
根据所述第一空间位置和所述第一三维物体的三维尺寸信息更新所述场景空间的空间占用信息，包括：
根据所述第一空间位置和所述第一三维物体的三维尺寸信息确定所述第一三维物体占用的空间网格；
将已占用的空间网格的状态更新为占用状态；
判断所述第二空间位置是否与所述场景空间中的地面、天花板及已放置的其他三维物体存在冲突，包括：
随机从所述第二空间位置中获取若干个采样点，确定所述采样点对应的待比较空间网格；
判断所述待比较空间网格是否存在状态为所述占用状态的空间网格；
若所述待比较空间网格存在状态为占用状态的空间网格，则判定存在冲突，否则判定不存在冲突。
在一种实施例中，根据所述第一文本描述信息对多个所述待选三维场景进行评估，根据评估结果确定所述目标三维场景，包括：
将所述第一文本描述信息和多个所述待选三维场景输入至评分网络模型；
根据所述评分网络模型输出的结果确定各个待选三维场景与所述第一文本描述信息的相似度；
将相似度最大的待选三维场景确定为所述目标三维场景。
在一种实施例中，根据各所述第二文本描述信息生成与各所述三维物体对应的三维物体数据之后，还包括：
将各所述三维物体数据转换为对应的三维物体点云数据；
将各个所述三维场景空间布局和所述三维物体数据融合，得到多个不同的待选三维场景，包括：
将各个所述三维场景空间布局和所述三维物体点云数据融合，得到多个不同的待选三维场景。
在一种实施例中，将各个所述三维场景空间布局和所述三维物体点云数据融合，得到多个不同的待选三维场景之后，还包括：
获取各所述待选三维场景的待选三维场景点云数据；
将所述第一文本描述信息和多个所述待选三维场景输入至评分网络模型，包括：
将所述第一文本描述信息和多个所述待选三维场景点云数据输入至所述评分网络模型。
在一种实施例中，根据所述评分网络模型输出的结果确定各个待选三维场景与所述第一文本描述信息的相似度，包括：
获取所述评分网络模型输出的与所述第一文本描述信息对应的第一描述子向量；
获取所述评分网络模型输出的与各个所述待选三维场景对应的第二描述子向量；
计算所述第一描述子向量和各个所述第二描述子向量的相似度。
在一种实施例中，将所述第一文本描述信息和多个所述待选三维场景输入至评分网络模型之前，还包括：
构建初始评分网络模型，并对所述初始评分网络模型进行优化；
将满足预设条件的评分网络模型确定为最终评分网络模型；
将所述第一文本描述信息和多个所述待选三维场景输入至评分网络模型，包括：
将所述第一文本描述信息和多个所述待选三维场景输入至所述最终评分网络模型。
在一种实施例中，所述初始评分网络模型包括第一网络结构和第二网络结构，所述第一网络结构包括依次连接的语言模型和若干个多层感知机，所述第二网络结构包括依次连接的若干个所述多层感知机、池化层和若干个所述多层感知机；
将所述第一文本描述信息和多个所述待选三维场景输入至所述最终评分网络模型，包括：
将所述第一文本描述信息输入至所述第一网络结构；
将多个所述待选三维场景输入至所述第二网络结构；
根据所述评分网络模型输出的结果确定各个待选三维场景与所述第一文本描述信息的相似度，包括：
获取所述第一网络结构输出的与所述第一文本描述信息对应的第一描述子向量；
获取所述第二网络结构输出的与各个所述待选三维场景对应的第二描述子向量，所述第一描述子向量的维度和所述第二描述子向量的维度相同；
计算所述第一描述子向量和各个所述第二描述子向量的相似度。
在一种实施例中，计算所述第一描述子向量和各个所述第二描述子向量的相似度，包括：
计算所述第一描述子向量和各所述第二描述子向量间的第一余弦距离；
将相似度最大的待选三维场景确定为所述目标三维场景，包括：
将所述第一余弦距离最小的待选三维场景确定为所述目标三维场景。
在一种实施例中，对所述初始评分网络模型进行优化，包括：
利用对比损失函数对所述初始评分网络模型进行优化；
将满足预设条件的评分网络模型确定为最终评分网络模型，包括：
将所述对比损失函数的输出值小于第一阈值的评分网络模型确定为最终评分网络模型。
在一种实施例中，利用对比损失函数对所述初始评分网络模型进行优化，包括：
将待训练的三维场景数据和待训练的三维场景对应的第三文本描述信息输入至所述初始评分网络模型，通过初始评分网络模型计算所述对比损失函数的输出值；
在所述对比损失函数的输出值大于第二阈值时，使用第一负样本和预设正样本对所述初始评分网络模型进行优化，所述第二阈值大于所述第一阈值；
在所述对比损失函数的输出值不大于所述第二阈值时，使用第二负样本和所述预设正样本对所述评分网络模型进行优化；
其中，正样本为三维场景数据与文本描述信息相符的样本数据，负样本为三维场景数据与文本描述信息不相符的样本数据，所述第一负样本对应的文本描述信息与所述第三文本描述信息之间的相似度小于所述第二负样本对应的文本描述信息与所述第三文本描述信息之间的相似度。
在一种实施例中，还包括：
提取各负样本的文本描述信息对应的第三描述子向量；
提取所述第三文本描述信息对应的第四描述子向量；
计算各所述第三描述子向量和所述第四描述子向量间的第二余弦距离；
将所述第二余弦距离大于第三阈值的负样本作为所述第一负样本；
将所述第二余弦距离不大于所述第三阈值的负样本作为所述第二负样本。
为解决上述技术问题，本申请还提供了一种基于预训练语言模型的三维场景生成系统，包括：
解析单元，用于获取用户输入的第一文本描述信息，基于预训练语言模型对所述文本描述信息进行解析，得到场景空间信息和多个三维物体的第二文本描述信息，所述目标三维场景中包括场景空间和所述场景空间中的多个所述三维物体；
三维物体数据生成单元，用于根据各所述第二文本描述信息生成与各所述三维物体对应的三维物体数据；
布局生成单元，用于根据所述场景空间信息和所述第二文本描述信息生成三维场景空间布局，所述三维场景空间布局包括各个所述三维物体在所述场景空间中的空间位置；
场景生成单元，用于将所述三维场景空间布局和所述三维物体数据融合，得到所述目标三维场景。
为解决上述技术问题，本申请还提供了一种基于预训练语言模型的三维场景生成装置，包括：
存储器，用于存储计算机程序；
处理器，用于在执行计算机程序时，实现上述所述的基于预训练语言模型的三维场景生成方法的步骤。
为解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的基于预训练语言模型的三维场景生成方法的步骤。
本申请提供了一种基于预训练语言模型的三维场景生成方法及相关组件，涉及人工智能领域，解决现有三维场景生成精度低的问题。该方案通过获取目标三维场景的第一文本描述信息，对其进行解析，得到场景空间信息和三维物体的第二文本描述信息，可以更精确地了解目标三维场景的要求和构成；根据解析得到的信息生成三维场景空间布局，并根据第二文本描述信息生成相应的三维物体数据，最后通过融合得到最终的目标三维场景。本申请采用分而治之的思想，更注重对第一文本描述信息的解析和理解，将其分解为多个细节，并通过分步骤生成场景空间布局和三维物体的三维物体数据，最后再将其融合，使最终得到的目标三维场景的细节更准确。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的一种基于预训练语言模型的三维场景生成方法的流程图；
图2为本申请提供的一种基于预训练语言模型的三维场景生成方法的整体示意图；
图3为本申请提供的一种生成多个三维场景空间布局的示意图；
图4为本申请提供的一种评分网络模型的结构示意图；
图5为本申请提供的一种优化过程中的样本选择示意图；
图6为本申请提供的一种基于预训练语言模型的三维场景生成系统的示意图；
图7为本申请提供的一种基于预训练语言模型的三维场景生成装置的示意图。
具体实施方式
本申请的核心是提供一种基于预训练语言模型的三维场景生成方法及相关组件，采用分而治之的思想，更注重对第一文本描述信息的解析和理解，将其分解为多个细节，并通过分步骤生成场景空间布局和三维物体的三维物体数据，最后再将其融合，使最终得到的目标三维场景的细节更准确。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，本申请提供了一种基于预训练语言模型的三维场景生成方法，包括：
S11：获取用户输入的第一文本描述信息，基于预训练语言模型对第一文本描述信息进行解析，得到场景空间信息和多个三维物体的第二文本描述信息，目标三维场景中包括场景空间和场景空间中的多个三维物体。
本步骤涉及获取用户输入的第一文本描述信息，并对该信息进行解析。这个步骤的目的是理解并提取出场景空间信息以及多个三维物体的第二文本描述信息。具体来说，本步骤首先获取用户输入的第一文本描述信息：这一步骤通过各种途径（如用户输入等）获取描述目标三维场景的文本信息；例如，这个第一文本描述信息可以是关于场景的整体特征、主题、布局等方面的描述。然后，基于预训练语言模型对第一文本描述信息进行解析：在这一步骤中，使用预训练语言模型来对第一文本描述信息进行解析和理解，预训练语言模型是通过大规模文本数据进行训练得到的模型，它能够学习到语义和语法规则，从而理解文本的含义。最后，得到场景空间信息和多个三维物体的第二文本描述信息：通过解析第一文本描述信息，可以获得与场景空间有关的信息，例如场景的大小、形状、位置等。同时，还可以提取出多个三维物体的第二文本描述信息，这些描述信息可能包括每个物体的属性、形状、颜色、位置等。
通过本步骤的解析和理解，能够将目标三维场景的文本描述信息转化为细粒度的场景空间信息和多个三维物体的第二文本描述信息。这为后续的场景生成和布局提供了基础，以便更准确地生成最终的三维场景。
其中，使预训练语言模型对第一文本描述信息进行解析的具体操作步骤可以如下：
（1）构造上下文提示：通过构造上下文提示，能够使预训练语言模型理解任务需求，并且给出用户想要的结果。因此，面向复杂3D场景包含3D个体信息的生成任务，可以设计如下上下文提示：
“假定你是一个场景设计师，能够设计出符合用户描述的3D场景，并且给出场景及其包含物体的细粒度文本描述。在生成一个场景包含3D个体信息时，假定包含3个物体，那么你必须按照如下格式输出：“[‘场景详细描述’，‘尺度大小’],[{‘物体1名称’:[‘数量’，‘详细描述’，‘尺度大小’，‘是否贴合地面’，‘是否贴合天花板’]},{‘物体2名称’:[‘数量’，‘详细描述’，‘尺度大小’，‘是否贴合地面’，‘是否贴合天花板’},{‘物体3名称’:[‘数量’，‘详细描述’，‘尺度大小’，‘是否贴合地面’，‘是否贴合天花板’}]”。如果包含n个物体，则需要输出n个物体的结果。其中‘尺度大小’需要根据世界常识推断出一个合理的尺寸，格式为[长，宽，高]，单位为m，‘是否贴合地面’和‘是否贴合天花板’需要根据场景描述及世界常识推理出一个合理的结果，内容为‘是’或者‘否’。”；
（2）构造实例：在对预训练语言模型进行规则说明后，需要进一步给出一个实例，便于预训练语言模型理解任务，比如构造的实例如下：
“假定你需要设计‘一个摆满餐具的餐桌’场景，那么你可能输出的一个结果如下：‘[[传统中式风格的餐桌，木制的有花纹，桌上有一个透明水杯、一个泼墨山水画的盘子和一双木制的筷子。]，[2.5,2.5,2.5]],[{餐桌:[1，[木制，有四条腿，桌面有花纹，桌面较厚]，[1.2,1.2,0.7]，是，否]},{水杯:1，[透明水杯，没有手柄]，[0.1,0.1,0.15]，否，否},{盘子:1，[白色的盘子，中间有泼墨山水画图案]，[0.15,0.15,0.02]，否，否},{筷子:1，[木制的盘子]，[0.15,0.03,0.01]，否，否}]’”；
（3）进行新的提问：将上下文提示以及实例，先输入给预训练语言模型，预训练语言模型就具备了对场景及其包含物体进行细粒度文本描述的能力。针对用户新的场景描述需求，可以直接向预训练语言模型提问（即是输入上述描述的第一文本描述信息），例如“如果需要设计‘一只小猫在地板上吃鱼’的场景，那么应当输出什么？”，得到针对任意复杂场景及其包含物体的细粒度文本描述（也即场景空间信息和第二文本描述信息）。
S12：根据场景空间信息和第二文本描述信息生成三维场景空间布局，三维场景空间布局包括各个三维物体在场景空间中的空间位置。
具体来说，首先可以解析场景空间信息，在这一步骤中，通过解析第一文本描述信息，获得场景空间信息，例如场景的大小、形状、位置等。这些信息将为后续的布局生成提供基础；还可以解析三维物体的第二文本描述信息：通过解析第一文本描述信息，可以提取出多个三维物体的第二文本描述信息，这些描述信息可能包括每个物体的大小、形状、位置等。这些信息将用于确定每个三维物体在场景空间中的位置和姿态。最后生成三维场景空间布局：在这一步骤中，根据场景空间信息和三维物体的第二文本描述信息，生成三维场景空间布局，具体来说，可以采用一些布局算法（如基于网格的布局算法）来确定各个三维物体在场景中的位置和姿态，以便能够正确地反映其在文本描述中所表达的含义。此外，还可以优化三维场景空间布局：在这一步骤中，通过对生成的三维场景空间布局进行优化，进一步提升其质量。例如，可以对每个物体的位置和姿态进行微调，以便更好地反映其在文本描述中所表达的含义。
S13：将三维场景空间布局和三维物体数据融合，得到目标三维场景。
在这一步骤中，首先需要将每个三维物体的具体属性、位置和与场景空间的关系进行综合考虑，然后将这些信息与场景空间布局进行结合，以确保三维物体与场景空间的整体一致性和合理性。通过这一融合步骤，最终得到的目标三维场景将包括准确的细节信息，使得整个生成的场景更加真实和精确。
综上，本申请采用分而治之的思想，更注重对第一文本描述信息的解析和理解，将其分解为多个细节，并通过分步骤生成场景空间布局和三维物体的三维物体数据，最后再将其融合，使最终得到的目标三维场景的细节更准确。
在上述实施例的基础上：
在一种实施例中，根据场景空间信息和第二文本描述信息生成三维场景空间布局，包括：
根据场景空间信息和第二文本描述信息生成多个不同的三维场景空间布局；
将三维场景空间布局和三维物体数据融合，得到目标三维场景，包括：
将各个三维场景空间布局和三维物体数据融合，得到多个不同的待选三维场景；
根据第一文本描述信息对多个待选三维场景进行评估，根据评估结果确定目标三维场景。
具体地，将三维场景空间布局和三维物体数据融合，从而得到目标三维场景的过程可以包括生成多个不同的三维场景空间布局，将这些布局和三维物体数据进行融合，得到多个不同的待选三维场景。这意味着根据输入的文本描述信息，可以存在多种不同的方式来布置场景中的各个三维物体，以满足文本描述信息的要求。那么同样的，将三维场景空间布局和三维物体数据融合，得到目标三维场景，也就是将把多个不同的三维场景空间布局与三维物体数据进行融合，从而得到多个不同的待选三维场景，也即意味着每种布局都将与三维物体数据相结合，产生多个备选的三维场景。
之后，将会将根据第一文本描述信息对多个待选三维场景进行评估。评估标准可以是对每个待选场景与描述信息的匹配度、视觉逼真度等方面进行综合分析。最终，根据评估结果确定符合要求的目标三维场景。
如图3所示，图3中生成了m套不同的细粒度文本描述（也即包括场景空间信息和m套不同的第二文本描述信息），进而基于此m套不同的细粒文本描述生成m个不同的三维场景空间布局。
本实施例能够根据文本描述信息生成多个备选的三维场景，并通过评估确定最终的目标三维场景，为基于文本描述信息的三维场景生成提供了更大的灵活性和精确性。
在一种实施例中，对多个待选三维场景进行评估，根据评估结果确定目标三维场景，包括：
根据第一文本描述信息对多个待选三维场景进行打分，将得分最高的待选三维场景确定为目标三维场景。
本实施例中，对多个待选三维场景进行评估的步骤如下：首先，根据第一文本描述信息对多个待选三维场景进行打分；也即对每个待选三维场景进行分析和评估，以确定其与第一文本描述信息的匹配程度或符合度；这可以涉及对待选场景的布局、物体位置、场景空间信息等多个方面的比较和评估；然后，将得分最高的待选三维场景确定为目标三维场景；通过对每个待选场景进行打分评估，最终确定符合第一文本描述信息的最佳三维场景；这一步确保生成的三维场景最符合所需的场景描述和要求，提高了方法生成的三维场景的匹配准确性和质量。
综上，本实施例提供了对多个待选三维场景进行评估和选择的详细步骤，以确保最终生成的目标三维场景符合需求并具有最佳的匹配程度。
如图2所示，本实施例的总体流程包括：获取用户输入的针对目标三维场景的第一文本描述信息；基于预训练语言模型的场景细粒度文本描述生成算法得到包含三维物体的细粒度的第二文本描述信息和场景空间信息；然后再基于文本驱动的3D物体生成方法或基于文本的3D物体检索方法得到场景包含三维物体的三维物体数据；最后基于大规模预训练模型指导的三维场景空间布局生成算法得到大量待选三维场景集合；利用三维场景的评分网络模型确定得分最高的待选三维场景即为用户需要的目标三维场景。
在一种实施例中，场景空间信息包括场景空间的第一三维尺寸信息，第二文本描述信息包括三维物体的第二三维尺寸信息、三维物体在目标三维场景的位置特征信息；根据场景空间信息和第二文本描述信息生成多个不同的三维场景空间布局，包括：
根据第一三维尺寸信息、第二三维尺寸信息、位置特征信息将三维物体在场景空间中进行不同的组合，得到多个三维场景空间布局。
在这种实施例中，场景空间信息包括了场景空间的第一三维尺寸信息，而第二文本描述信息包括了三维物体的第二三维尺寸信息和三维物体在目标三维场景的位置特征信息。根据这些信息，首先生成多个不同的三维场景空间布局，这是通过利用第一三维尺寸信息和第二三维尺寸信息以及位置特征信息，将三维物体在场景空间中进行不同的组合来实现的，这样可以得到多个不同的三维场景空间布局，从而为后续步骤提供多个待选的三维场景。
接下来，这些多个待选的三维场景将根据第一文本描述信息进行评估。评估的结果将被用来确定最终的目标三维场景。这样就可以根据预训练语言模型和输入的文本描述信息，自动化地生成适合描述的三维场景，为虚拟现实、游戏开发等领域提供了一种高效的场景生成方法。
在一种实施例中，将三维物体在场景空间中进行不同的组合的过程遵循预设布局原则，预设布局原则为：各三维物体紧邻场景空间中的地面或天花板或其它三维物体的表面，各三维物体与地面或天花板或其它三维物体在空间上不交叠。
本实施例中描述了在生成三维场景空间布局的过程中，需要遵循的预设布局原则。这个预设布局原则包括三个要素：首先，各三维物体紧邻场景空间中的地面或天花板或其它三维物体的表面；其次，各三维物体与地面或天花板或其它三维物体在空间上不交叠。
具体而言，这个预设布局原则确保了生成的三维场景空间布局在视觉上看起来合理和真实。第一要素保证了三维物体在场景空间中有明确的位置，并且与其它物体或者场景的地面或天花板有明确定义的关系。第二要素则进一步增强了真实感，避免了三维物体在空间中交叠或者重叠，使得生成的三维场景空间布局更加逼真和自然。
因此，遵循预设布局原则可以保证所生成的目标三维场景符合人们对于真实世界场景的认知和观感，提高了生成的三维场景的真实感和可信度。
在一种实施例中，根据第一三维尺寸信息、第二三维尺寸信息、位置特征信息将三维物体在场景空间中进行不同的组合，得到多个三维场景空间布局，包括：
根据第二三维尺寸信息计算各三维物体的体积；
按照体积由大到小的顺序依次将各个三维物体放置至场景空间中。
本实施例根据第一三维尺寸信息、第二三维尺寸信息和位置特征信息将三维物体进行不同的组合，以生成多个三维场景空间布局。具体步骤包括：根据第二三维尺寸信息计算各三维物体的体积；按照体积由大到小的顺序依次将各个三维物体放置至场景空间中。
本实施例能够根据物体的体积大小来进行布局，从而更好地利用场景空间并确保场景布局的合理性。例如，较大的物体可能需要更大的空间来容纳，且应该优先放置以避免空间浪费或布局不合理的情况发生。这样的方法可以提高三维场景生成的效率和质量，使得最终生成的场景更加合理和符合实际需求。
在一种实施例中，按照体积由大到小的顺序依次将各个三维物体放置至场景空间中，包括：
按照体积由大到小的顺序查找满足初始放置条件的第一三维物体，初始放置条件为三维物体紧邻场景空间的地面或天花板；
根据场景空间的第一三维尺寸信息和第一三维物体的三维尺寸信息随机确定第一三维物体的第一空间位置，根据第一空间位置将第一三维物体放置在场景空间中；
按照体积由大到小的顺序依次查找除第一三维物体之外的满足后期放置条件的第二三维物体，后期放置条件为三维物体紧邻地面或天花板或已放置的三维物体表面；
确定第二三维物体的第二空间位置，并根据第二空间位置将第二三维物体放置至场景空间中，直至完成所有三维物体的放置。
本实施例中，按照体积由大到小的顺序查找满足初始放置条件的第一三维物体。初始放置条件是指三维物体需要紧邻场景空间的地面或天花板。接下来，根据场景空间的第一三维尺寸信息和第一三维物体的三维尺寸信息，随机确定第一三维物体的第一空间位置；这意味着在场景空间中，为第一三维物体选择一个合适的位置进行放置。然后，按照体积由大到小的顺序依次查找除第一三维物体之外的满足后期放置条件的第二三维物体，后期放置条件是指三维物体需要紧邻地面、天花板或已放置的三维物体的表面。确定第二三维物体的第二空间位置，并根据该位置将第二三维物体放置至场景空间中。这个过程会不断重复，直至完成所有三维物体的放置。
综上，本实施例描述了一种按照体积从大到小的顺序放置三维物体的方法，同时要求满足初始放置条件和后期放置条件，通过该方法可以生成多个不同的三维场景空间布局。
在一种实施例中，根据场景空间的第一三维尺寸信息和第一三维物体的三维尺寸信息随机确定第一三维物体的第一空间位置，根据第一空间位置将第一三维物体放置在场景空间中之后，还包括：
根据第一空间位置和第一三维物体的三维尺寸信息更新场景空间的空间占用信息；
确定第二三维物体的第二空间位置，并根据第二空间位置将第二三维物体放置至场景空间中，包括：
从场景空间中未被占用的空间中确定第二三维物体的第二空间位置，并根据第二空间位置将第二三维物体放置至场景空间中。
本实施例首先根据场景空间的第一三维尺寸信息和第一三维物体的三维尺寸信息，通过随机确定第一三维物体的第一空间位置来放置第一个物体到场景空间中。
在放置第一个物体后，还需要更新场景空间的空间占用信息，以记录已经被占用的空间。接下来，按照体积由大到小的顺序，在场景空间中未被占用的空间中确定第二三维物体的第二空间位置，并将第二三维物体放置至场景空间中。
整个过程会依次进行，直至所有的三维物体都被放置完毕。通过这种方式，可以生成多个不同的三维场景空间布局，以满足不同的需求和要求。
需要注意的是，该实施例中的放置过程遵循预设布局原则，即各三维物体紧邻场景空间中的地面或天花板或其他三维物体的表面，且各三维物体与地面或天花板或其他三维物体在空间上不交叠。
这种基于预训练语言模型的三维场景生成方法可以广泛应用于虚拟现实、游戏开发、建筑设计等领域，为用户提供丰富多样、逼真细致的三维场景体验。
在一种实施例中，根据场景空间的第一三维尺寸信息和第一三维物体的三维尺寸信息随机确定第一三维物体的第一空间位置，根据第一空间位置将第一三维物体放置在场景空间中，包括：
根据场景空间的第一三维尺寸信息和第一三维物体的三维尺寸信息随机确定第一三维物体的第一重心位置；
根据第一重心位置、第一预设角度和第一三维物体的三维尺寸信息确定第一三维物体的第一空间位置；
根据第一空间位置将第一三维物体放置在场景空间中；
从场景空间中未被占用的空间中确定第二三维物体的第二空间位置，并根据第二空间位置将第二三维物体放置至场景空间中，包括：
从场景空间中未被占用的空间中随机确定第二三维物体的第二重心位置；
根据第二重心位置、第二预设角度和第二三维物体的三维尺寸信息确定第二空间位置；
判断第二空间位置是否与场景空间中的地面、天花板及已放置的其他三维物体存在冲突；
若存在，则重新进入从场景空间中未被占用的空间中随机确定第二三维物体的第二重心位置的步骤；
若不存在，则根据第二空间位置将第二三维物体放置至场景空间中。
本实施例是关于根据场景空间信息和三维物体的尺寸信息确定物体在场景中的放置位置的具体实现方式。首先，对于第一三维物体，通过随机确定其重心位置和预设角度，然后根据这些信息确定其空间位置，并将其放置在场景空间中。接着，对于第二三维物体，同样需要寻找场景空间中未被占用的空间来确定其放置位置。这需要随机确定第二三维物体的重心位置和预设角度，并根据这些信息判断其空间位置，以确保与地面、天花板和其他已放置物体不发生冲突。如果存在冲突，则重新确定第二三维物体的重心位置，直到找到合适的位置将其放置在场景空间中。
本实施例可以有效地将多个三维物体按照一定的规则和条件放置在目标三维场景空间中，确保它们之间不会出现重叠或者位置不合适的问题。这有助于生成符合要求的三维场景布局，提高了生成三维场景的准确性和效率。
在一种实施例中，根据第一空间位置和第一三维物体的三维尺寸信息更新场景空间的空间占用信息之前，还包括：
将场景空间划分为多个空间网格；
根据第一空间位置和第一三维物体的三维尺寸信息更新场景空间的空间占用信息，包括：
根据第一空间位置和第一三维物体的三维尺寸信息确定第一三维物体占用的空间网格；
将已占用的空间网格的状态更新为占用状态；
判断第二空间位置是否与场景空间中的地面、天花板及已放置的其他三维物体存在冲突；
随机从第二空间位置中获取若干个采样点，确定采样点对应的待比较空间网格；
判断待比较空间网格是否存在状态为占用状态的空间网格；
若待比较空间网格存在状态为占用状态的空间网格，则判定存在冲突，否则判定不存在冲突。
本实施例中主要描述处理三维场景空间的空间占用信息和冲突检测的实现方式。首先将整个场景空间划分为多个空间网格，这样可以将场景空间离散化，方便进行后续的空间占用信息管理和冲突检测。当确定放置第一三维物体时，根据第一空间位置和第一三维物体的三维尺寸信息，确定第一三维物体占用的空间网格，并将这些空间网格的状态更新为占用状态，表示这些网格已经被该物体占据。在确定放置第二三维物体时，需要判断第二空间位置是否与场景空间中的地面、天花板及已放置的其他三维物体存在冲突。具体步骤如下：从第二空间位置中随机获取若干个采样点；确定采样点对应的待比较空间网格；判断待比较空间网格是否存在状态为占用状态的空间网格；若待比较空间网格存在状态为占用状态的空间网格，则判定存在冲突，否则判定不存在冲突。
通过上述步骤，可以有效地对不同三维物体的空间位置进行检测，确保它们在放置时不会发生重叠或与场景空间的其他部分产生冲突，从而保证生成的三维场景布局是合理且符合预期的。
在一个可选实施例中，生成基于空间几何约束的3D场景空间布局自动生成的步骤包括：（1）设置场景空间的范围；（2）向场景空间中放置初始的第一三维物体；（3）像场景空间中放置其余的第二三维物体。
具体地，令当前3D场景空间的尺度大小为：Sscene=[Sscene_x,Sscene_y,Sscene_z]，其中Sscene为当前3D空间的尺度，SScene_x代表场景空间在x轴上的尺度，Sscene_y代表场景在y轴上的尺度，Sscene_z代表场景在z轴上的尺度。令其包含k个3D物体，每一个三维物体的空间尺度大小为：Sobject_i=[Sobject_i_x,Sobject_i_y,Sobject_i_z]，其中，Sobject_i_x代表3D物体object_i在x轴上的尺度，Sobject_i_y代表3D物体object_i在y轴上的尺度，Sobject_i_z代表3D物体object_i在z轴上的尺度。3D场景空间布局，就是要将这k个3D物体放置在3D场景空间内，在满足几何约束的情况下，组合得到符合用户描述的场景。
（1）设置3D场景空间范围
首先，获取场景空间信息及包含三维物体的细粒度的第二文本描述信息。针对每一个场景空间，获取场景空间的尺度信息Sscene，以及每个三维物体object_i的尺度信息Sobject_i，每个尺度由物体的长、宽、高，即[length,width,height]组成；其次，根据体积对场景空间中包含的三维物体进行排序。计算每个三维物体的体积Vobject_i=length×width×height，按照大小进行排序。
再次，设置场景空间的范围。令世界坐标系下x轴指向前面，y轴指向右面，z轴指向上面。根据3D场景空间的尺度大小Sscene=[SScene_x,Sscene_y,Sscene_z]，令pmin=[0,0,0]代表3D场景空间的起点，令pmax=[SScene_x,Sscene_y,Sscene_z]代表3D场景空间在x轴、y轴、z轴的边界点，则将以pmin和pmax作为对角线的立方体，作为待放置3D物体的3D场景空间，将z=0下的xy平面作为地面，将z=Sscene_z下的xy平面作为天花板平面。
最后，创建布局原则。在放置3D物体时，为构建满足自然规律的3D场景布局，设立两个原则：一是不悬浮原则，也即场景空间中的每一个三维物体，必须紧贴地面，或者紧贴天花板，或者紧贴其他3D物体中的一个或多个；二是不碰撞原则，也即每一个3D物体与其他3D物体之间均不能发生碰撞。
（2）放置初始得到第一三维物体
令根据体积排序后的物体顺序object_1、object_2、…、object_k，作为待放置3D物体的列表。本实施例首先选择体积最大的3D物体object_1，判断其是否可以放置。根据其细粒度属性中‘是否贴合地面’，‘是否贴合天花板’的描述，判断将其放置在地面还是紧贴天花板：如果‘是否贴合地面’的描述为‘是’，则将该物体的底部紧贴地面；如果‘是否贴合天花板’的描述为‘是’，则将该物体的顶部贴合天花板；如果这两项属性描述均为否，则选择体积第二大的物体object_2,继续判断这两种属性，看是否存在描述为‘是’的属性，直至寻找到该两种属性中至少有一个为‘是’的3D物体。如果选择既不在地面上也不紧贴天花板的3D物体作为初始的第一三维物体，那么由于不存在其他3D物体，该3D物体则变成悬浮状态，会与不悬浮原则发生冲突。因此，本实施例按照上面介绍的方式选择初始的第一三维物体。
选择好初始的第一三维物体后，就可以确定第一三维物体所处的3D空间位置，以第一三维物体的重心表示：Pobject_1=[xobject_1,yobject_1,zobject_1]和xy平面即水平方向的1D旋转角度。令Sobject_1=[Sobject_1_x,Sobject_1_y,Sobject_1_z]表示第一三维物体的尺度大小：首先，确定zobject_1；由于其肯定贴合地面或者天花板，则z轴的数值可以相应确定：如果是紧贴地面，则可以得到zobject_1=0.5×Sobject_1_z，如果是紧贴天花板，则可以得到zobject_1=Sscene_z-0.5×Sobject_i_z。其次，确定xobject_1和yobject_1；由于不存在其他物体，因此可以随机放置第一三维物体，只需要保证在3D场景空间内即可。因此，本实施例在平面区域内随机选择一点，作为初始的第一三维物体的平面位置，也即xobject_1=Random([0.5×Sobject_1_x,Sscene_x-0.5×Sobject_1_x])，yobject_1=Random([0.5×Sobject_1_y,Sscene_y-0.5×Sobject_1_y])，。最后，确定水平方向的旋转角度；由于仅确定3D物体的占据空间，也即3D包围盒的空间布局，因此水平方向的旋转角度范围在180°以内。为简便起见，本实施例将初始的第一三维物体的旋转角度设置为物体长轴与轴平行，也即。
之后，将object_1从待放置3D物体列表去除并更新3D空间的占用情况。为了更方便地计算空间占用情况，本实施例将复杂场景的3D空间进行体素化表示，也即将空间划分成r×r×r的空间网格，每一个空间网格的尺度为Sscene/r，并计算每一个空间网格在x轴、y轴、z轴上的具体坐标范围；如果一个空间网格被占用，则设置状态变量为1，如果一个空间网格没有被占用，则设置状态变量为0；初始时刻，所有的空间网格占据状态变量均为0；的取值越大，则空间分割的更精细，在计算碰撞检测时会更准确，常用的可设置为64或128等。由于初始放置的第一三维物体与轴平行，因此可以很容易计算得到对应空间的占用情况，也即计算[xobject_1-0.5×Sobject_1_x,xobject_1+0.5×Sobject_1_x]在轴占据的网格范围，[yobject_1-0.5×Sobject_1_y,yobject_1+0.5×Sobject_1_y]在轴占据的网格范围，在z轴占据的网格范围，得到包含空间网格的占用情况，将被占用的空间网格的状态设置为1。
（3）放置剩余的第二3D物体
为了放置剩余的第二3D物体，需要同时满足两个原则，也即首先根据不悬浮原则得到一些3D物体可以放置的位置，其次根据不碰撞原则判断当前位置是否合理，来得到3D物体最终的放置位置。因此，本实施例提出了一种基于空间几何约束的3D物体放置方法，具体步骤如下：
首先，为满足不悬浮原则，本实施例提出一种基于邻接关系的3D物体候选位置生成方法。根据细粒度属性中‘是否贴合地面’，‘是否贴合天花板’的描述，可以分为三种情况：第一种，贴合地面。此时需要避免与现有地面被占用的空间发生冲突，因此，可以通过在xy平面随机采样点，直到该采样点不落在3D空间底部被占用的网格内，得到对应的xy平面坐标。由于紧贴地面，z坐标也可以对应确定。第二种，贴合天花板。此时需要避免与现有天花板被占用的空间发生冲突，因此，可以通过在xy平面随机采样点，直到该采样点不落在3D空间顶部被占用的网格内，得到对应的xy平面坐标。由于紧贴天花板，z坐标也可以对应确定。第三种，既不贴合地面，也不贴合天花板，由于不能悬浮，该三维物体仅可能与现有已放置的三维物体邻接。因此，可以遍历场景中已放置的三维物体，根据xy平面的面积，确定当前的三维物体是否能够放置在已放置的三维物体上方，再在已放置的三维物体顶部随机采样一点得到xy平面坐标。由于紧邻，z坐标也可以对应确定。以上三种情况下，都可以得到待放置物体的一个不悬浮的3D空间位置。针对3D物体的旋转，本实施例设置旋转顺序，也即由0度、15度直到180度共12种情况，第一个候选放置位置的旋转角度可以为0度，其次也可以为15度，依次执行。最终，本实施例能够得到一系列待放置3D物体可能的放置位置及旋转角度。
其次，为满足不碰撞原则，本实施例提出一种基于3D空间占据情况的快速碰撞检测方法，能够判断给定的一组3D物体位置和旋转参数，能否被放置于当前3D场景。如果满足则放置当前3D物体，如果不满足则重新生成候选位置并进行碰撞判断，直至找到合法的候选位置。为避免陷入无限循环，可以设置最大候选位置生成数量candidatemax，当生成候选位置的数量超过当前最大候选位置生成数量后，表明针对当前尺度大小的3D物体，不能够在当前空间找到合适的空间位置放置该物体，则跳过该物体，执行后续物体的放置。遍历完待放置3D物体列表，则将剩余3D物体均放置于该3D场景，则得到一套场景布局。具体步骤如下：
a)计算旋转前待放置3D物体内部的采样点。结合待放置3D物体在空间中的位置Pobject=[xobject,yobject,zobject]及尺度Sobject=[Sobject_x,Sobject_y,Sobject_z]，按照空间网格尺度的一半长度，也即0.5×Sscene/r采样，可以得到待放置3D物体旋转前的内部采样点。本实施例按照x轴、y轴、z轴的顺序采样，在x轴上，以物体重心xobject开始，向左递减直到超出物体的3D包围盒范围，也即采样点坐标为xobject-i×(0.5×Sscene/r)，其中i从0开始，直到i×(0.5×Sscene/r)>0.5×Sobject_x，向右递增直到超出物体的3D包围盒范围，也即采样点坐标为xobject+j×(0.5×Sscene/r)，其中j从1开始，直到j×(0.5×Sscene/r)>0.5×Sobject_x；针对轴和轴同理。
b)计算旋转后的采样点。根据以上规则先得到一个采样点pori，根据待放置3D物体水平方向的旋转角度，对pori进行旋转，得到旋转后的采样点坐标；具体地，令当前采样点的坐标pori=[xsample_ori,ysample_ori,zsample_ori]，以逆时针旋转为正方向，且水平面内的旋转仅影响x轴、y轴，那么旋转后的采样点坐标为:
；
c)计算采样点所处的空间网格。根据pori_x计算其在x轴上落在的区间段，根据pori_y计算其在y轴上落在的区间段，根据pori_z判断其在轴上落在的区间段，得到该3D点所处的空间网格。如果存在超过3D场景空间的情况，则表明按照该组3D物体放置参数放置3D物体，会超出该场景，直接返回碰撞判断失败。
d)判断空间网格占用状态。如果该空间网格被占用，说明3D场景空间在该空间网格的位置已经存在3D物体，那么该3D物体该组3D物体放置参数，不能够被放置于3D场景，碰撞判断结果返回失败，则重新执行第一步，也即重新生成一组3D物体放置参数；
如果该空间网格没有被占用，则重新执行步骤c、d、e，也即再采样一个新的点，判断新的采样点是否能够放置于3D场景；只要存在一个采样点所处的空间网格被占用，那么该碰撞判断结果就返回失败；针对所有采样点集合，如果对应的空间网格均没有被占用，说明针对该组3D物体放置参数，可以将当前物体放置于当前场景，碰撞判断结果返回成功。
将所有剩余物体均放置于场景后，可以得到一组3D场景空间布局。
针对每一套细粒度的场景空间信息和第二文本描述信息，多次用上述三维场景空间布局方法得到对应的三维场景空间布局，最终可以得到m个不同的三维场景空间布局。
在一种实施例中，根据第一文本描述信息对多个待选三维场景进行评估，根据评估结果确定目标三维场景，包括：
将第一文本描述信息和多个待选三维场景输入至评分网络模型；
根据评分网络模型输出的结果确定各个待选三维场景与第一文本描述信息的相似度；
将相似度最大的待选三维场景确定为目标三维场景。
本实施例中，首先将第一文本描述信息和多个待选三维场景输入至评分网络模型，评分网络模型用于对每个待选三维场景进行打分，得到各个待选三维场景与第一文本描述信息的相似度。然后根据评分网络模型输出的结果，对各个待选三维场景与第一文本描述信息的相似度进行确定。具体来说，根据评分网络模型的结果给每个待选三维场景打分，得到一个相似度值，表示该待选三维场景与第一文本描述信息的相似度程度。这个相似度值越高，说明该待选三维场景越符合第一文本描述信息的要求。最后，从所有待选三维场景中选择相似度最高的场景作为目标三维场景。在评估过程中，相似度最大的待选三维场景被认为是最符合第一文本描述信息的场景，因此会被选中作为目标三维场景。
通过上述步骤，可以对多个待选三维场景进行快速而准确地评估，从而找到最符合第一文本描述信息的场景，并将其选作目标三维场景。这种评估方法可以提高场景生成的准确性和效率。
在一种实施例中，根据各第二文本描述信息生成与各三维物体对应的三维物体数据之后，还包括：
将各三维物体数据转换为对应的三维物体点云数据；
将各个三维场景空间布局和三维物体数据融合，得到多个不同的待选三维场景，包括：
将各个三维场景空间布局和三维物体点云数据融合，得到多个不同的待选三维场景。
本实施例中，在获取目标三维场景的第一文本描述信息，并基于预训练语言模型对第一文本描述信息进行解析，得到场景空间信息和多个三维物体的第二文本描述信息后，根据各第二文本描述信息生成与各三维物体对应的三维物体数据。这些数据可以是三维模型、点云数据等形式。
其次，对各三维物体数据进行处理，将其转换为对应的三维物体点云数据。点云数据是一种以点的形式表示物体表面形状和几何信息的数据形式。将三维物体数据转换为点云数据可以减少数据量，简化模型，提高场景生成的效率。
最后，将各个三维场景空间布局和三维物体点云数据融合，得到多个不同的待选三维场景。具体来说，根据场景空间信息和第二文本描述信息生成多个不同的三维场景空间布局，然后将各个三维物体点云数据与各个三维场景空间布局进行融合，得到多个不同的待选三维场景。这些待选三维场景包含了不同的物体点云数据和场景空间布局，可以提供给评分网络模型进行评估，找到最符合第一文本描述信息的场景。
通过上述步骤，可以将各三维物体数据转换为对应的三维物体点云数据，并将各个三维场景空间布局和三维物体点云数据融合得到多个不同的待选三维场景。这种处理方法可以减少数据量，简化模型，提高场景生成的效率。
在一种实施例中，将各个三维场景空间布局和三维物体点云数据融合，得到多个不同的待选三维场景之后，还包括：
获取各待选三维场景的待选三维场景点云数据；
将第一文本描述信息和多个待选三维场景输入至评分网络模型，包括：
将第一文本描述信息和多个待选三维场景点云数据输入至评分网络模型。
本实施例中提到了对多个待选三维场景的评估方法。首先在获取多个待选三维场景的待选三维场景点云数据之后，这些点云数据包含了每个待选场景的详细信息，如场景的形状、结构等。然后，将这些点云数据以及第一文本描述信息输入至评分网络模型中进行评估。
评分网络模型可以是基于机器学习的模型，其目的是根据输入的待选三维场景点云数据和第一文本描述信息来判断每个待选场景与描述信息的匹配程度。评分网络模型会对每个待选场景进行评分，评分结果可以反映出待选场景与描述信息的相似度或匹配程度。
最终，根据评分网络模型输出的结果，确定相似度最高的待选三维场景为目标三维场景。这个评估方法可以帮助自动化生成三维场景，并且确保生成的场景符合用户的描述需求。
在一种实施例中，根据评分网络模型输出的结果确定各个待选三维场景与第一文本描述信息的相似度，包括：
获取评分网络模型输出的与第一文本描述信息对应的第一描述子向量；
获取评分网络模型输出的与各个待选三维场景对应的第二描述子向量；
计算第一描述子向量和各个第二描述子向量的相似度。
本实施例描述了一种评分网络模型的应用方法。具体地，首先获取评分网络模型输出的与第一文本描述信息对应的第一描述子向量；接着获取评分网络模型输出的与各个待选三维场景对应的第二描述子向量；然后计算第一描述子向量和各个第二描述子向量的相似度。
评分网络模型负责将第一文本描述信息和多个待选三维场景进行匹配和评分。首先，通过对第一文本描述信息进行编码，对输入的文本进行特征提取和表示，得到第一描述子向量。接着，对每个待选三维场景进行编码，提取场景的特征表示，得到对应的第二描述子向量。最后，通过计算第一描述子向量和每个第二描述子向量之间的相似度，可以确定每个待选三维场景与第一文本描述信息的匹配程度。
本实施例通过评分网络模型的输出结果，可以量化地评估每个待选三维场景与给定文本描述的匹配度，从而确定最合适的目标三维场景。
在一种实施例中，将第一文本描述信息和多个待选三维场景输入至评分网络模型之前，还包括：
构建初始评分网络模型，并对初始评分网络模型进行优化；
将满足预设条件的评分网络模型确定为最终评分网络模型；
将第一文本描述信息和多个待选三维场景输入至评分网络模型，包括：
将第一文本描述信息和多个待选三维场景输入至最终评分网络模型。
本实施例描述了对评分网络模型的构建和优化过程，以及最终评分网络模型的确定。首先需要构建一个初始评分网络模型。评分网络模型是用来评估第一文本描述信息和待选三维场景之间的相似度的工具。构建初始评分网络模型时，可以选择适当的深度学习模型结构，并进行初始化，这个初始评分网络模型可能并不完善，需要经过后续的优化过程。
接下来，对初始评分网络模型进行优化。优化的目标是提高评分网络模型的准确性和鲁棒性，使其能够更好地判断第一文本描述信息和待选三维场景之间的相似度。在优化过程中，可以使用训练数据集进行反向传播和参数更新，通过迭代的方式逐渐优化评分网络模型。
在优化过程中，可以采用各种方法来提高评分网络模型的性能，例如增加训练数据量，调整模型结构和超参数，引入正则化技术等。通过不断迭代优化，可以使评分网络模型逐渐收敛，并且在评估第一文本描述信息和待选三维场景相似度时表现更好。
最后，根据预设条件，确定最终评分网络模型。在多次优化迭代之后，可以根据一些指标或者评价标准来选择最佳的评分网络模型作为最终模型使用。这个最终评分网络模型经过了构建和优化过程，具备了更好的性能和鲁棒性，可以用于评估第一文本描述信息和待选三维场景之间的相似度。
总之，本实施例评分网络模型的构建、优化和最终确定的过程，旨在提高评分网络模型的性能，使其能够更好地评估第一文本描述信息和待选三维场景之间的相似度。
在一种实施例中，初始评分网络模型包括第一网络结构和第二网络结构，第一网络结构包括依次连接的语言模型和若干个多层感知机，第二网络结构包括依次连接的若干个多层感知机、池化层和若干个多层感知机；
将第一文本描述信息和多个待选三维场景输入至最终评分网络模型，包括：
将第一文本描述信息输入至第一网络结构；
将多个待选三维场景输入至第二网络结构；
根据评分网络模型输出的结果确定各个待选三维场景与第一文本描述信息的相似度，包括：
获取第一网络结构输出的与第一文本描述信息对应的第一描述子向量；
获取第二网络结构输出的与各个待选三维场景对应的第二描述子向量，第一描述子向量的维度和第二描述子向量的维度相同；
计算第一描述子向量和各个第二描述子向量的相似度。
本实施例限定初始评分网络模型由两个网络结构组成，即第一网络结构和第二网络结构。如图4所示，第一网络结构是一个由语言模型和若干个多层感知机（MLP，Multilayer Perceptron）依次连接而成的结构。语言模型负责通过预训练语言模型对第一文本描述信息进行解析，得到与第一文本描述信息相关的特征表示。MLP则负责进一步处理这些特征表示，提取更高级的语义信息。
第二网络结构也是由若干个MLP、池化层和若干个MLP依次连接而成的结构。在这个结构中，待选三维场景被输入至第二网络结构，经过一系列的MLP和池化层的处理，提取出与各个待选三维场景相关的特征表示。
在最终评分网络模型中，将第一文本描述信息输入至第一网络结构，将多个待选三维场景输入至第二网络结构。通过这样的输入方式，可以分别获取第一网络结构输出的与第一文本描述信息对应的第一描述子向量和第二网络结构输出的与各个待选三维场景对应的第二描述子向量。需要注意的是，第一描述子向量的维度和第二描述子向量的维度是相同的。
最后，根据评分网络模型输出的结果，可以计算第一描述子向量和各个第二描述子向量之间的相似度。通过比较这些相似度，可以确定各个待选三维场景与第一文本描述信息的相似程度，从而选择相似度最大的待选三维场景作为目标三维场景。
本实施例中的评分网络模型对待选三维场景点云数据和第一文本描述信息进行处理，具体地，首先将融合后的待选三维场景点云数据进行统一目标点云数目采样，假定允许的待选三维场景的点云数目采样为n个。假定当前待选三维场景包含k个物体，每个物体的点云数目为nobject个，那么该场景初始3D点云数目为nscene=k×nobject个，根据nscene与n的大小，可以进行上采样或者下采样。具体地，当nscene<n则需要上采样，可以随机选择三点，计算三点的重心，作为新增的点，不断重复，直至目标点云数目到达n；当nscene=n时，无需采样；当nscene>n时，需要下采样，可以通过随机选择一点进行删除的方法，直至点云数目降低至目标点云。n通常可以取1024、2048等。
针对采样后得到的n×6维度3D场景点云，本实施例使用多层MLP网络，将输入的初始点云由n×6转换到n×2048维描述子，再通过一层池化层转换到1×2048维描述子，再经过多层MLP网络转换到最终的256维描述子。
在一种实施例中，计算第一描述子向量和各个第二描述子向量的相似度，包括：
计算第一描述子向量和各第二描述子向量间的第一余弦距离；
将相似度最大的待选三维场景确定为目标三维场景，包括：
将第一余弦距离最小的待选三维场景确定为目标三维场景。
本实施例中，首先计算第一描述子向量和各个第二描述子向量之间的第一余弦距离。余弦距离是一种衡量向量相似性的度量方式，可用于计算向量之间的夹角。具体计算步骤如下：获取第一描述子向量和各个第二描述子向量的数值表示；根据向量的数值表示，计算第一描述子向量和各个第二描述子向量之间的余弦相似度；将得到的余弦相似度转换为余弦距离；比较所有待选三维场景对应的余弦距离，找到余弦距离最小的待选三维场景；将余弦距离最小对应的待选三维场景确定为目标三维场景。
通过计算第一描述子向量和各个第二描述子向量之间的余弦距离，可以评估它们之间的相似性。余弦距离越小，表示两个向量越相似。因此，根据余弦距离最小的待选三维场景来确定目标三维场景，可以选择与第一文本描述信息最相似的场景作为最终生成的三维场景。
在一种实施例中，对初始评分网络模型进行优化，包括：
利用对比损失函数对初始评分网络模型进行优化；
将满足预设条件的评分网络模型确定为最终评分网络模型，包括：
将对比损失函数的输出值小于第一阈值的评分网络模型确定为最终评分网络模型。
本实施例描述了对初始评分网络模型的优化和确定最终评分网络模型的方法。首先对初始评分网络模型进行优化的方法是利用对比损失函数。对比损失函数是一种在训练神经网络时用来度量相似性的方法，通过比较两个输入数据之间的相似度来更新网络参数。在本实施例中，对比损失函数可以用来度量第一文本描述信息和多个待选三维场景之间的相似度，从而优化评分网络模型。通过不断迭代训练，可以使评分网络模型更好地捕捉文本描述信息和三维场景之间的关联，从而提高评分的准确度。
接着，根据对比损失函数的输出值确定最终评分网络模型的方法是将对比损失函数的输出值与设定的第一阈值进行比较。如果对比损失函数的输出值小于设定的第一阈值，那么该评分网络模型就会被确定为最终评分网络模型。这个阈值的设定可以根据具体的应用场景和需求来确定，一般可以通过实验和验证来选择最佳的阈值。确定了最终评分网络模型之后，就可以将第一文本描述信息和多个待选三维场景输入至最终评分网络模型进行评估，从而确定目标三维场景。
总之，本实施例提供的利用对比损失函数优化初始评分网络模型和确定最终评分网络模型的方法，从而能够更准确地评估三维场景与文本描述信息之间的相似度，为生成目标三维场景提供了有效的手段。
在一种实施例中，利用对比损失函数对初始评分网络模型进行优化，包括：
将待训练的三维场景数据和待训练的三维场景对应的第三文本描述信息输入至初始评分网络模型，通过初始评分网络模型计算对比损失函数的输出值；
在对比损失函数的输出值大于第二阈值时，使用第一负样本和预设正样本对初始评分网络模型进行优化，第二阈值大于第一阈值；
在对比损失函数的输出值不大于第二阈值时，使用第二负样本和预设正样本对评分网络模型进行优化；
其中，正样本为三维场景数据与文本描述信息相符的样本数据，负样本为三维场景数据与文本描述信息不相符的样本数据，第一负样本对应的文本描述信息与第三文本描述信息之间的相似度小于第二负样本对应的文本描述信息与第三文本描述信息之间的相似度。
为了更好的加速训练效果，保证更快地收敛，本实施例提出了一种先易后难的训练策略，也即先选择简单负样本，再选择困难负样本的训练策略。在训练的早期阶段，评分网络模型尚不具备抽取描述性足够强的描述子，如果提供的是容易混淆的负样本，会极大干扰网络的训练。而在此时如果提供一些差异性非常大的负样本，会使网络更容易区分正负样本。当训练一段时间后，评分网络模型具有了一定的显著性描述子抽取能力，此时提供一些容易混淆的负样本，会进一步增强评分网络模型的能力，实现对较难负样本抽取差异性大的描述子向量。
因此，在对比损失函数的优化过程中，首先将待训练的三维场景数据和待训练的三维场景对应的第三文本描述信息输入至初始评分网络模型，通过初始评分网络模型计算对比损失函数的输出值。当对比损失函数的输出值大于设定的第二阈值时，也即训练初期的时候，使用第一负样本和预设的正样本对初始评分网络模型进行优化。而当对比损失函数的输出值不大于第二阈值时，使用第二负样本和预设的正样本对评分网络模型进行优化。
其中，正样本是指三维场景数据与文本描述信息相符的样本数据，而负样本是指三维场景数据与文本描述信息不相符的样本数据。在这里，第一负样本对应的文本描述信息与第三文本描述信息之间的相似度小于第二负样本对应的文本描述信息与第三文本描述信息之间的相似度。这些样本的选择和使用是为了在优化过程中引入不同程度的难度，以帮助评分网络模型更好地学习样本之间的差异性。
通过这种方式，可以指导评分网络模型更加准确地学习三维场景数据与文本描述信息之间的关联，从而提高生成目标三维场景的准确度和质量。
在一种实施例中，还包括：
提取各负样本的文本描述信息对应的第三描述子向量；
提取第三文本描述信息对应的第四描述子向量；
计算各第三描述子向量和第四描述子向量间的第二余弦距离；
将第二余弦距离大于第三阈值的负样本作为第一负样本；
将第二余弦距离不大于第三阈值的负样本作为第二负样本。
本实施例描述了一种区分第一负样本和第二负样本的具体方式，具体地额，首先提取各负样本的文本描述信息对应的第三描述子向量，并提取第三文本描述信息对应的第四描述子向量。然后，计算每个第三描述子向量与第四描述子向量之间的第二余弦距离。接下来，将第二余弦距离大于第三阈值的负样本作为第一负样本，将第二余弦距离不大于第三阈值的负样本作为第二负样本。
通过这种训练策略，评分网络模型可以根据样本之间的相似度进行优化，使得网络能够更好地区分正负样本，并生成与描述信息相符的描述子向量。这样，最终评分网络模型可以用于对多个待选三维场景进行评估，并选择与第一文本描述信息相似度最大的目标三维场景。
在一种可选的实施例中，在对评分网络模型进行训练时，提供正样本，也提供负样本，使正样本之间的距离越小越好，负样本之间的距离越大越好，同时为了避免负样本的损失无限大，可以设置最远距离dmax，最终得到的损失函数如下：
L=flag×dis(vectext,vecpoint)+(1-flag)×max(0,dmax-dis(vectext,vecpoint))；
其中，vectext表示当前输入至评分网络模型的文本描述信息及3D场景点云数据，vecpoint表示当前训练过程中的样本。当flag=1时，代表正样本，表示输入至评分网络模型的文本描述信息与3D场景点云数据一致，此时第二项为0，只需优化第一项，使距离尽可能小即可；当flag=0时，代表负样本，表示输入至评分网络模型的文本描述与3D场景点云数据不一致，此时第一项为0，只需要优化第二项，当dis(vectext,vecpoint)<dmax时，能够不断增大dis(vectext,vecpoint)直至接近最远距离dmax，当dis(vectext,vecpoint)>dmax时，输入至评分网络模型的文本描述与3D场景点云数据之间的距离已经足够大，可以通过与0取max操作不做优化。通过该损失函数能够达到高质量的训练效果，保证第一网络结构和第二网络结构都能抽取到能够用于判定两者是否描述一致的高维描述子。
如图5所示，在训练过程中样本的选择上，首先，以数据集中3D场景文本描述及对应的3D场景点云数据，作为正样本，以3D场景文本描述及不对应的3D场景点云数据作为负样本。
其次，为了进行由易到难的训练，本实施例提出根据3D场景文本描述的相似度筛选负样本的策略。先随机选择一个3D场景j，计算其文本描述与当前3D场景i的距离，如果小于一定阈值，则认为是较难负样本；如果大于一定阈值，则认为是较易负样本。具体地，scenei表示3D场景i，scenej表示3D场景j，，本实施例使用预训练语言模型Bert（Bidirectional Encoder Representation from Transformers，来自变换模型的双向编码表示模型），抽取各自场景文本描述的768维度的表征第三描述子向量veci和第四描述子向量vecj，计算两者之间的余弦距离，即：
；
由于余弦函数的范围为[-1,1]，因此，两个场景文本描述子的距离范围为[0,2]，当距离为0时，说明，也即两个描述子向量完全一致，当距离为2时，说明，也即两个描述子向量完全不一致。设定阈值q，当小于q，则认为场景间文本描述比较接近，为较难的负样本（也即第二负样本）；当大于q，则认为场景间文本描述差异较大，为较易的负样本（也即第一负样本）；通常可将q设置为0.5。
再次，在训练早期，根据上一步的负样本筛选策略，选择较易的负样本训练网络；此时，观察训练损失函数，当降至一定数值，也即小于第二阈值后，表明网络已经能够很容易地区分较易的负样本，此后，根据上一步的负样本筛选策略，选择较难的负样本训练网络，使网络能够区分相似样本，最终完成评分网络模型的训练。
为解决上述技术问题，如图6所示本申请还提供了一种基于预训练语言模型的三维场景生成系统，包括：
解析单元61，用于获取用户输入的第一文本描述信息，基于预训练语言模型对文本描述信息进行解析，得到场景空间信息和多个三维物体的第二文本描述信息，目标三维场景中包括场景空间和场景空间中的多个三维物体；
三维物体数据生成单元62，用于根据各第二文本描述信息生成与各三维物体对应的三维物体数据；
布局生成单元63，用于根据场景空间信息和第二文本描述信息生成三维场景空间布局，三维场景空间布局包括各个三维物体在场景空间中的空间位置；
场景生成单元64，用于将三维场景空间布局和三维物体数据融合，得到目标三维场景。
在一种实施例中，布局生成单元63，具体用于根据场景空间信息和第二文本描述信息生成多个不同的三维场景空间布局；
场景生成单元64，包括：
融合单元，用于将各个三维场景空间布局和三维物体数据融合，得到多个不同的待选三维场景；
评估单元，用于根据第一文本描述信息对多个待选三维场景进行评估，根据评估结果确定目标三维场景。
在一种实施例中，评估单元，具体用于根据第一文本描述信息对多个待选三维场景进行打分，将得分最高的待选三维场景确定为目标三维场景。
在一种实施例中，场景空间信息包括场景空间的第一三维尺寸信息，第二文本描述信息包括三维物体的第二三维尺寸信息、三维物体在目标三维场景的位置特征信息；布局生成单元63，具体用于根据第一三维尺寸信息、第二三维尺寸信息、位置特征信息将三维物体在场景空间中进行不同的组合，得到多个三维场景空间布局。
在一种实施例中，将三维物体在场景空间中进行不同的组合的过程遵循预设布局原则，预设布局原则为：各三维物体紧邻场景空间中的地面或天花板或其它三维物体的表面，各三维物体与地面或天花板或其它三维物体在空间上不交叠。
在一种实施例中，布局生成单元63，具体包括：
体积计算单元，用于根据第二三维尺寸信息计算各三维物体的体积；
放置单元，用于按照体积由大到小的顺序依次将各个三维物体放置至场景空间中。
在一种实施例中，放置单元，包括：
初始放置单元，用于按照体积由大到小的顺序查找满足初始放置条件的第一三维物体，初始放置条件为三维物体紧邻场景空间的地面或天花板；
第一位置确定单元，用于根据场景空间的第一三维尺寸信息和第一三维物体的三维尺寸信息随机确定第一三维物体的第一空间位置，根据第一空间位置将第一三维物体放置在场景空间中；
剩余物体放置单元，用于按照体积由大到小的顺序依次查找除第一三维物体之外的满足后期放置条件的第二三维物体，后期放置条件为三维物体紧邻地面或天花板或已放置的三维物体表面；
第二位置确定单元，用于确定第二三维物体的第二空间位置，并根据第二空间位置将第二三维物体放置至场景空间中，直至完成所有三维物体的放置。
在一种实施例中，还包括：
空间占用信息更新单元，用于根据第一空间位置和第一三维物体的三维尺寸信息更新场景空间的空间占用信息；
第二位置确定单元，具体用于从场景空间中未被占用的空间中确定第二三维物体的第二空间位置，并根据第二空间位置将第二三维物体放置至场景空间中。
在一种实施例中，第一位置确定单元，具体用于根据场景空间的第一三维尺寸信息和第一三维物体的三维尺寸信息随机确定第一三维物体的第一重心位置；根据第一重心位置、第一预设角度和第一三维物体的三维尺寸信息确定第一三维物体的第一空间位置；根据第一空间位置将第一三维物体放置在场景空间中；
第二位置确定单元，具体用于从场景空间中未被占用的空间中随机确定第二三维物体的第二重心位置；根据第二重心位置、第二预设角度和第二三维物体的三维尺寸信息确定第二空间位置；判断第二空间位置是否与场景空间中的地面、天花板及已放置的其他三维物体存在冲突；若存在，则重新进入从场景空间中未被占用的空间中随机确定第二三维物体的第二重心位置的步骤；若不存在，则根据第二空间位置将第二三维物体放置至场景空间中。
在一种实施例中，还包括：
网格划分单元，将场景空间划分为多个空间网格；
根据第一空间位置和第一三维物体的三维尺寸信息更新场景空间的空间占用信息，包括：
根据第一空间位置和第一三维物体的三维尺寸信息确定第一三维物体占用的空间网格；
将已占用的空间网格的状态更新为占用状态；
判断第二空间位置是否与场景空间中的地面、天花板及已放置的其他三维物体存在冲突，包括：
随机从第二空间位置中获取若干个采样点，确定采样点对应的待比较空间网格；
判断待比较空间网格是否存在状态为占用状态的空间网格；
若待比较空间网格存在状态为占用状态的空间网格，则判定存在冲突，否则判定不存在冲突。
在一种实施例中，评估单元，包括：
输入单元，用于将第一文本描述信息和多个待选三维场景输入至评分网络模型；
相似度确定单元，用于根据评分网络模型输出的结果确定各个待选三维场景与第一文本描述信息的相似度；
目标确定单元，用于将相似度最大的待选三维场景确定为目标三维场景。
在一种实施例中，还包括：
数据转换单元，用于将各三维物体数据转换为对应的三维物体点云数据；
融合单元，具体用于将各个三维场景空间布局和三维物体点云数据融合，得到多个不同的待选三维场景。
在一种实施例中，还包括：
获取单元，用于获取各待选三维场景的待选三维场景点云数据；
输入单元，具体用于将第一文本描述信息和多个待选三维场景点云数据输入至评分网络模型。
在一种实施例中，相似度确定单元，包括：
第一提取单元，用于获取评分网络模型输出的与第一文本描述信息对应的第一描述子向量；
第二提取单元，用于获取评分网络模型输出的与各个待选三维场景对应的第二描述子向量；
第一计算单元，用于计算第一描述子向量和各个第二描述子向量的相似度。
在一种实施例中，还包括：
模型构建及优化单元，用于构建初始评分网络模型，并对初始评分网络模型进行优化；
模型确定单元，用于将满足预设条件的评分网络模型确定为最终评分网络模型；
输入单元，具体用于将第一文本描述信息和多个待选三维场景输入至最终评分网络模型。
在一种实施例中，初始评分网络模型包括第一网络结构和第二网络结构，第一网络结构包括依次连接的语言模型和若干个多层感知机，第二网络结构包括依次连接的若干个多层感知机、池化层和若干个多层感知机；
输入单元，具体用于将第一文本描述信息输入至第一网络结构；将多个待选三维场景输入至第二网络结构；
相似度确定单元，包括：
第一提取单元，用于获取第一网络结构输出的与第一文本描述信息对应的第一描述子向量；
第二提取单元，用于获取第二网络结构输出的与各个待选三维场景对应的第二描述子向量，第一描述子向量的维度和第二描述子向量的维度相同；
第一计算单元，用于计算第一描述子向量和各个第二描述子向量的相似度。
在一种实施例中，第一计算单元，具体用于计算第一描述子向量和各第二描述子向量间的第一余弦距离；
目标确定单元，具体用于将第一余弦距离最小的待选三维场景确定为目标三维场景。
在一种实施例中，模型构建及优化单元，具体用于利用对比损失函数对初始评分网络模型进行优化；
模型确定单元，具体用于将对比损失函数的输出值小于第一阈值的评分网络模型确定为最终评分网络模型。
在一种实施例中，模型构建及优化单元，具体包括：
模型评价单元，用于将待训练的三维场景数据和待训练的三维场景对应的第三文本描述信息输入至初始评分网络模型，通过初始评分网络模型计算对比损失函数的输出值；
第一优化单元，用于在对比损失函数的输出值大于第二阈值时，使用第一负样本和预设正样本对初始评分网络模型进行优化，第二阈值大于第一阈值；
第二优化单元，用于在对比损失函数的输出值不大于第二阈值时，使用第二负样本和预设正样本对评分网络模型进行优化；
其中，正样本为三维场景数据与文本描述信息相符的样本数据，负样本为三维场景数据与文本描述信息不相符的样本数据，第一负样本对应的文本描述信息与第三文本描述信息之间的相似度小于第二负样本对应的文本描述信息与第三文本描述信息之间的相似度。
在一种实施例中，还包括：
第三提取单元，用于提取各负样本的文本描述信息对应的第三描述子向量；
第四提取单元，用于提取第三文本描述信息对应的第四描述子向量；
第二计算单元，用于计算各第三描述子向量和第四描述子向量间的第二余弦距离；
第一负样本确定单元，用于将第二余弦距离大于第三阈值的负样本作为第一负样本；
第二负样本确定单元，用于将第二余弦距离不大于第三阈值的负样本作为第二负样本。
对于基于预训练语言模型的三维场景生成系统的介绍请参照上述实施例，本申请在此不再赘述。
为解决上述技术问题，如图7所示，本申请还提供了一种基于预训练语言模型的三维场景生成装置，包括：
存储器71，用于存储计算机程序；
处理器72，用于在执行计算机程序时，实现上述的基于预训练语言模型的三维场景生成方法的步骤。
对于基于预训练语言模型的三维场景生成装置的介绍请参照上述实施例，本申请在此不再赘述。
为解决上述技术问题，本申请还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的基于预训练语言模型的三维场景生成方法的步骤。
对于计算机可读存储介质的介绍请参照上述实施例，本申请在此不再赘述。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其他实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (23)

1.一种基于预训练语言模型的三维场景生成方法，其特征在于，包括：
获取用户输入的第一文本描述信息，基于预训练语言模型对所述第一文本描述信息进行解析，得到场景空间信息和多个三维物体的第二文本描述信息，目标三维场景中包括场景空间和所述场景空间中的多个所述三维物体；
根据各所述第二文本描述信息生成与各所述三维物体对应的三维物体数据；
根据所述场景空间信息和所述第二文本描述信息生成三维场景空间布局，所述三维场景空间布局包括各个所述三维物体在所述场景空间中的空间位置；
将所述三维场景空间布局和所述三维物体数据融合，得到所述目标三维场景。
2.如权利要求1所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述场景空间信息和所述第二文本描述信息生成三维场景空间布局，包括：
根据所述场景空间信息和所述第二文本描述信息生成多个不同的所述三维场景空间布局；
将所述三维场景空间布局和所述三维物体数据融合，得到所述目标三维场景，包括：
将各个所述三维场景空间布局和所述三维物体数据融合，得到多个不同的待选三维场景；
根据所述第一文本描述信息对多个所述待选三维场景进行评估，根据评估结果确定所述目标三维场景。
3.如权利要求2所述的基于预训练语言模型的三维场景生成方法，其特征在于，对多个所述待选三维场景进行评估，根据评估结果确定所述目标三维场景，包括：
根据所述第一文本描述信息对多个所述待选三维场景进行打分，将得分最高的所述待选三维场景确定为所述目标三维场景。
4.如权利要求2所述的基于预训练语言模型的三维场景生成方法，其特征在于，所述场景空间信息包括场景空间的第一三维尺寸信息，所述第二文本描述信息包括所述三维物体的第二三维尺寸信息、所述三维物体在所述目标三维场景的位置特征信息；根据所述场景空间信息和所述第二文本描述信息生成多个不同的所述三维场景空间布局，包括：
根据所述第一三维尺寸信息、所述第二三维尺寸信息、所述位置特征信息将所述三维物体在所述场景空间中进行不同的组合，得到多个所述三维场景空间布局。
5.如权利要求4所述的基于预训练语言模型的三维场景生成方法，其特征在于，将所述三维物体在所述场景空间中进行不同的组合的过程遵循预设布局原则，所述预设布局原则为：各所述三维物体紧邻所述场景空间中的地面或天花板或其它三维物体的表面，各所述三维物体与所述地面或所述天花板或所述其它三维物体在空间上不交叠。
6.如权利要求4所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述第一三维尺寸信息、所述第二三维尺寸信息、所述位置特征信息将所述三维物体在所述场景空间中进行不同的组合，得到多个所述三维场景空间布局，包括：
根据所述第二三维尺寸信息计算各所述三维物体的体积；
按照体积由大到小的顺序依次将各个所述三维物体放置至所述场景空间中。
7.如权利要求6所述的基于预训练语言模型的三维场景生成方法，其特征在于，按照体积由大到小的顺序依次将各个所述三维物体放置至所述场景空间中，包括：
按照体积由大到小的顺序查找满足初始放置条件的第一三维物体，所述初始放置条件为所述三维物体紧邻所述场景空间的地面或天花板；
根据所述场景空间的第一三维尺寸信息和所述第一三维物体的三维尺寸信息随机确定所述第一三维物体的第一空间位置，根据所述第一空间位置将所述第一三维物体放置在所述场景空间中；
按照体积由大到小的顺序依次查找除所述第一三维物体之外的满足后期放置条件的第二三维物体，所述后期放置条件为所述三维物体紧邻所述地面或天花板或已放置的三维物体表面；
确定所述第二三维物体的第二空间位置，并根据所述第二空间位置将所述第二三维物体放置至所述场景空间中，直至完成所有三维物体的放置。
8.如权利要求7所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述场景空间的第一三维尺寸信息和所述第一三维物体的三维尺寸信息随机确定所述第一三维物体的第一空间位置，根据所述第一空间位置将所述第一三维物体放置在所述场景空间中之后，还包括：
根据所述第一空间位置和所述第一三维物体的三维尺寸信息更新所述场景空间的空间占用信息；
确定所述第二三维物体的第二空间位置，并根据所述第二空间位置将所述第二三维物体放置至所述场景空间中，包括：
从所述场景空间中未被占用的空间中确定所述第二三维物体的第二空间位置，并根据所述第二空间位置将所述第二三维物体放置至所述场景空间中。
9.如权利要求8所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述场景空间的第一三维尺寸信息和所述第一三维物体的三维尺寸信息随机确定所述第一三维物体的第一空间位置，根据所述第一空间位置将所述第一三维物体放置在所述场景空间中，包括：
根据所述场景空间的第一三维尺寸信息和所述第一三维物体的三维尺寸信息随机确定所述第一三维物体的第一重心位置；
根据所述第一重心位置、第一预设角度和所述第一三维物体的三维尺寸信息确定所述第一三维物体的第一空间位置；
根据所述第一空间位置将所述第一三维物体放置在所述场景空间中；
从所述场景空间中未被占用的空间中确定所述第二三维物体的第二空间位置，并根据所述第二空间位置将所述第二三维物体放置至所述场景空间中，包括：
从所述场景空间中未被占用的空间中随机确定所述第二三维物体的第二重心位置；
根据所述第二重心位置、第二预设角度和所述第二三维物体的三维尺寸信息确定所述第二空间位置；
判断所述第二空间位置是否与所述场景空间中的地面、天花板及已放置的其他三维物体存在冲突；
若存在，则重新进入从所述场景空间中未被占用的空间中随机确定所述第二三维物体的第二重心位置的步骤；
若不存在，则根据所述第二空间位置将所述第二三维物体放置至所述场景空间中。
10.如权利要求8所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述第一空间位置和所述第一三维物体的三维尺寸信息更新所述场景空间的空间占用信息之前，还包括：
将所述场景空间划分为多个空间网格；
根据所述第一空间位置和所述第一三维物体的三维尺寸信息更新所述场景空间的空间占用信息，包括：
根据所述第一空间位置和所述第一三维物体的三维尺寸信息确定所述第一三维物体占用的空间网格；
将已占用的空间网格的状态更新为占用状态；
判断所述第二空间位置是否与所述场景空间中的地面、天花板及已放置的其他三维物体存在冲突，包括：
随机从所述第二空间位置中获取若干个采样点，确定所述采样点对应的待比较空间网格；
判断所述待比较空间网格是否存在状态为所述占用状态的空间网格；
若所述待比较空间网格存在状态为占用状态的空间网格，则判定存在冲突，否则判定不存在冲突。
11.如权利要求2-10任一项所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述第一文本描述信息对多个所述待选三维场景进行评估，根据评估结果确定所述目标三维场景，包括：
将所述第一文本描述信息和多个所述待选三维场景输入至评分网络模型；
根据所述评分网络模型输出的结果确定各个待选三维场景与所述第一文本描述信息的相似度；
将相似度最大的待选三维场景确定为所述目标三维场景。
12.如权利要求11所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据各所述第二文本描述信息生成与各所述三维物体对应的三维物体数据之后，还包括：
将各所述三维物体数据转换为对应的三维物体点云数据；
将各个所述三维场景空间布局和所述三维物体数据融合，得到多个不同的待选三维场景，包括：
将各个所述三维场景空间布局和所述三维物体点云数据融合，得到多个不同的待选三维场景。
13.如权利要求12所述的基于预训练语言模型的三维场景生成方法，其特征在于，将各个所述三维场景空间布局和所述三维物体点云数据融合，得到多个不同的待选三维场景之后，还包括：
获取各所述待选三维场景的待选三维场景点云数据；
将所述第一文本描述信息和多个所述待选三维场景输入至评分网络模型，包括：
将所述第一文本描述信息和多个所述待选三维场景点云数据输入至所述评分网络模型。
14.如权利要求11所述的基于预训练语言模型的三维场景生成方法，其特征在于，根据所述评分网络模型输出的结果确定各个待选三维场景与所述第一文本描述信息的相似度，包括：
获取所述评分网络模型输出的与所述第一文本描述信息对应的第一描述子向量；
获取所述评分网络模型输出的与各个所述待选三维场景对应的第二描述子向量；
计算所述第一描述子向量和各个所述第二描述子向量的相似度。
15.如权利要求11所述的基于预训练语言模型的三维场景生成方法，其特征在于，将所述第一文本描述信息和多个所述待选三维场景输入至评分网络模型之前，还包括：
构建初始评分网络模型，并对所述初始评分网络模型进行优化；
将满足预设条件的评分网络模型确定为最终评分网络模型；
将所述第一文本描述信息和多个所述待选三维场景输入至评分网络模型，包括：
将所述第一文本描述信息和多个所述待选三维场景输入至所述最终评分网络模型。
16.如权利要求15所述的基于预训练语言模型的三维场景生成方法，其特征在于，所述初始评分网络模型包括第一网络结构和第二网络结构，所述第一网络结构包括依次连接的语言模型和若干个多层感知机，所述第二网络结构包括依次连接的若干个所述多层感知机、池化层和若干个所述多层感知机；
将所述第一文本描述信息和多个所述待选三维场景输入至所述最终评分网络模型，包括：
将所述第一文本描述信息输入至所述第一网络结构；
将多个所述待选三维场景输入至所述第二网络结构；
根据所述评分网络模型输出的结果确定各个待选三维场景与所述第一文本描述信息的相似度，包括：
获取所述第一网络结构输出的与所述第一文本描述信息对应的第一描述子向量；
获取所述第二网络结构输出的与各个所述待选三维场景对应的第二描述子向量，所述第一描述子向量的维度和所述第二描述子向量的维度相同；
计算所述第一描述子向量和各个所述第二描述子向量的相似度。
17.如权利要求16所述的基于预训练语言模型的三维场景生成方法，其特征在于，计算所述第一描述子向量和各个所述第二描述子向量的相似度，包括：
计算所述第一描述子向量和各所述第二描述子向量间的第一余弦距离；
将相似度最大的待选三维场景确定为所述目标三维场景，包括：
将所述第一余弦距离最小的待选三维场景确定为所述目标三维场景。
18.如权利要求15所述的基于预训练语言模型的三维场景生成方法，其特征在于，对所述初始评分网络模型进行优化，包括：
利用对比损失函数对所述初始评分网络模型进行优化；
将满足预设条件的评分网络模型确定为最终评分网络模型，包括：
将所述对比损失函数的输出值小于第一阈值的评分网络模型确定为最终评分网络模型。
19.如权利要求18所述的基于预训练语言模型的三维场景生成方法，其特征在于，利用对比损失函数对所述初始评分网络模型进行优化，包括：
将待训练的三维场景数据和待训练的三维场景对应的第三文本描述信息输入至所述初始评分网络模型，通过初始评分网络模型计算所述对比损失函数的输出值；
在所述对比损失函数的输出值大于第二阈值时，使用第一负样本和预设正样本对所述初始评分网络模型进行优化，所述第二阈值大于所述第一阈值；
在所述对比损失函数的输出值不大于所述第二阈值时，使用第二负样本和所述预设正样本对所述评分网络模型进行优化；
其中，正样本为三维场景数据与文本描述信息相符的样本数据，负样本为三维场景数据与文本描述信息不相符的样本数据，所述第一负样本对应的文本描述信息与所述第三文本描述信息之间的相似度小于所述第二负样本对应的文本描述信息与所述第三文本描述信息之间的相似度。
20.如权利要求19所述的基于预训练语言模型的三维场景生成方法，其特征在于，还包括：
提取各负样本的文本描述信息对应的第三描述子向量；
提取所述第三文本描述信息对应的第四描述子向量；
计算各所述第三描述子向量和所述第四描述子向量间的第二余弦距离；
将所述第二余弦距离大于第三阈值的负样本作为所述第一负样本；
将所述第二余弦距离不大于所述第三阈值的负样本作为所述第二负样本。
21.一种基于预训练语言模型的三维场景生成系统，其特征在于，包括：
解析单元，用于获取用户输入的第一文本描述信息，基于预训练语言模型对所述文本描述信息进行解析，得到场景空间信息和多个三维物体的第二文本描述信息，目标三维场景中包括场景空间和所述场景空间中的多个所述三维物体；
三维物体数据生成单元，用于根据各所述第二文本描述信息生成与各所述三维物体对应的三维物体数据；
布局生成单元，用于根据所述场景空间信息和所述第二文本描述信息生成三维场景空间布局，所述三维场景空间布局包括各个所述三维物体在所述场景空间中的空间位置；
场景生成单元，用于将所述三维场景空间布局和所述三维物体数据融合，得到所述目标三维场景。
22.一种基于预训练语言模型的三维场景生成装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于在执行计算机程序时，实现如权利要求1-20任一项所述的基于预训练语言模型的三维场景生成方法的步骤。
23.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-20任一项所述的基于预训练语言模型的三维场景生成方法的步骤。
CN202311811992.1A 2023-12-27 2023-12-27 基于预训练语言模型的三维场景生成方法及相关组件 Active CN117475089B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311811992.1A CN117475089B (zh) 2023-12-27 2023-12-27 基于预训练语言模型的三维场景生成方法及相关组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311811992.1A CN117475089B (zh) 2023-12-27 2023-12-27 基于预训练语言模型的三维场景生成方法及相关组件

Publications (2)

Publication Number Publication Date
CN117475089A true CN117475089A (zh) 2024-01-30
CN117475089B CN117475089B (zh) 2024-03-29

Family

ID=89624094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311811992.1A Active CN117475089B (zh) 2023-12-27 2023-12-27 基于预训练语言模型的三维场景生成方法及相关组件

Country Status (1)

Country Link
CN (1) CN117475089B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949647A (zh) * 2021-02-26 2021-06-11 中国科学院自动化研究所 三维场景描述方法、装置、电子设备和存储介质
CN113034592A (zh) * 2021-03-08 2021-06-25 西安电子科技大学 基于自然语言描述的三维场景目标检测建模及检测方法
US20210225044A1 (en) * 2020-01-16 2021-07-22 Trisetra, Inc. System and Method for Object Arrangement in a Scene
CN113223173A (zh) * 2021-05-11 2021-08-06 华中师范大学 基于图模型的三维模型重建迁移方法及系统
US20230281913A1 (en) * 2022-03-01 2023-09-07 Google Llc Radiance Fields for Three-Dimensional Reconstruction and Novel View Synthesis in Large-Scale Environments
US20230290051A1 (en) * 2023-03-14 2023-09-14 Lemon Inc. Open vocabulary 3d scene processing
CN116932803A (zh) * 2023-09-13 2023-10-24 浪潮(北京)电子信息产业有限公司 基于多模态预训练模型的数据集生成方法、训练方法
CN117152363A (zh) * 2023-10-30 2023-12-01 浪潮电子信息产业股份有限公司 基于预训练语言模型的三维内容生成方法、装置及设备
WO2023241097A1 (zh) * 2022-06-16 2023-12-21 山东海量信息技术研究院 一种语义实例重建方法、装置、设备及介质
CN117274491A (zh) * 2023-09-22 2023-12-22 北京百度网讯科技有限公司 三维重建模型的训练方法、装置、设备和介质
CN117291157A (zh) * 2023-10-13 2023-12-26 天津大学 一种文本驱动的三维场景生成与编辑方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210225044A1 (en) * 2020-01-16 2021-07-22 Trisetra, Inc. System and Method for Object Arrangement in a Scene
CN112949647A (zh) * 2021-02-26 2021-06-11 中国科学院自动化研究所 三维场景描述方法、装置、电子设备和存储介质
CN113034592A (zh) * 2021-03-08 2021-06-25 西安电子科技大学 基于自然语言描述的三维场景目标检测建模及检测方法
CN113223173A (zh) * 2021-05-11 2021-08-06 华中师范大学 基于图模型的三维模型重建迁移方法及系统
US20230281913A1 (en) * 2022-03-01 2023-09-07 Google Llc Radiance Fields for Three-Dimensional Reconstruction and Novel View Synthesis in Large-Scale Environments
WO2023241097A1 (zh) * 2022-06-16 2023-12-21 山东海量信息技术研究院 一种语义实例重建方法、装置、设备及介质
US20230290051A1 (en) * 2023-03-14 2023-09-14 Lemon Inc. Open vocabulary 3d scene processing
CN116932803A (zh) * 2023-09-13 2023-10-24 浪潮(北京)电子信息产业有限公司 基于多模态预训练模型的数据集生成方法、训练方法
CN117274491A (zh) * 2023-09-22 2023-12-22 北京百度网讯科技有限公司 三维重建模型的训练方法、装置、设备和介质
CN117291157A (zh) * 2023-10-13 2023-12-26 天津大学 一种文本驱动的三维场景生成与编辑方法
CN117152363A (zh) * 2023-10-30 2023-12-01 浪潮电子信息产业股份有限公司 基于预训练语言模型的三维内容生成方法、装置及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A.A. MOHAMED: "An effective dimension reduction algorithm for clustering Arabic text", EGYPTIAN INFORMATICS JOURNAL, 31 March 2020 (2020-03-31) *
徐守坤;吉晨晨;倪楚涵;李宁;: "融合施工场景及空间关系的图像描述生成模型", 计算机工程, no. 06, 31 December 2020 (2020-12-31) *
江澜;岳小莉;冯柏岚;李良军;曹存根;: "基于实例和约束的三维场景概念设计和系统实现", 计算机科学, no. 01, 25 January 2008 (2008-01-25) *

Also Published As

Publication number Publication date
CN117475089B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
Kottur et al. SIMMC 2.0: A task-oriented dialog dataset for immersive multimodal conversations
Qi et al. Human-centric indoor scene synthesis using stochastic grammar
CN104850633B (zh) 一种基于手绘草图部件分割的三维模型检索系统及方法
CN101477529B (zh) 一种三维对象的检索方法和装置
CN110060255A (zh) 利用逐像素分类器来对2d平面图进行语义分割
CN108596329A (zh) 基于端到端深度集成学习网络的三维模型分类方法
CN103207910B (zh) 基于分层特征和遗传规划相关反馈的图像检索方法
JP5721233B2 (ja) 画像認識システム
US20120290987A1 (en) System and Method for Virtual Object Placement
CN105930382A (zh) 一种用2d图片搜索3d模型的方法
CN104751511B (zh) 一种三维场景构建方法和装置
CN103534697B (zh) 用于提供统计对话管理器训练的方法和系统
KR101626384B1 (ko) 3차원 모델 데이터 검색 장치 및 방법
CN110019914A (zh) 一种支持三维场景交互的三维模型数据库检索方法
CN112949647A (zh) 三维场景描述方法、装置、电子设备和存储介质
Qi et al. Personalized sketch-based image retrieval by convolutional neural network and deep transfer learning
Zhao et al. Character‐object interaction retrieval using the interaction bisector surface
CN116091570B (zh) 三维模型的处理方法、装置、电子设备、及存储介质
CN108170823A (zh) 一种基于高层语义属性理解的手绘交互式三维模型检索方法
CN109598301A (zh) 检测区域去除方法、装置、终端和存储介质
Hmida et al. Knowledge base approach for 3d objects detection in point clouds using 3d processing and specialists knowledge
KR102068489B1 (ko) 3차원 객체 생성 장치
CN117475089B (zh) 基于预训练语言模型的三维场景生成方法及相关组件
CN117456104A (zh) 一种基于结构功能分析的室内场景三维建模方法与系统
Gazani et al. Bag of views: An appearance-based approach to next-best-view planning for 3d reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant