CN110942511B - 室内场景模型重建方法及装置 - Google Patents

室内场景模型重建方法及装置 Download PDF

Info

Publication number
CN110942511B
CN110942511B CN201911141880.3A CN201911141880A CN110942511B CN 110942511 B CN110942511 B CN 110942511B CN 201911141880 A CN201911141880 A CN 201911141880A CN 110942511 B CN110942511 B CN 110942511B
Authority
CN
China
Prior art keywords
model
module
scene
panoramic picture
indoor scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911141880.3A
Other languages
English (en)
Other versions
CN110942511A (zh
Inventor
邹博超
雒重阳
谢海永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Electronic and Information Technology of CETC
Original Assignee
China Academy of Electronic and Information Technology of CETC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Electronic and Information Technology of CETC filed Critical China Academy of Electronic and Information Technology of CETC
Priority to CN201911141880.3A priority Critical patent/CN110942511B/zh
Publication of CN110942511A publication Critical patent/CN110942511A/zh
Application granted granted Critical
Publication of CN110942511B publication Critical patent/CN110942511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Landscapes

  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种室内场景模型重建方法及装置，所述方法包括：接收单张全景图并对所述单张全景图进行预处理；对进行预处理后的单张全景图提取其中的结构特征点，并进行场景布局的恢复；检测单张全景图中的主要物体，并在模型库中匹配与所述主要物体对应的物体模型；将所述场景布局和所述物体模型进行组合，生成整个室内场景的重建模型；采用三维建模工具对所述重建模型进行展示，实现与所述重建模型中物体的交互。

Description

室内场景模型重建方法及装置
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种室内场景模型重建方法及装置。
背景技术
室内场景的三维重建技术是一种在虚拟现实(VR)展示等领域有着广泛市场的技术。目前比较常见的方法是借助RGB-D相机，通过采集整个场景的点云数据，直接重建室内场景，但这种方法需要大量的点云数据，对于数据的采用和处理有一定的要求。
另一种方法是使用单张图片进行室内场景的重建。通过计算机视觉的方法从图片中识别出室内场景的结构特征，再结合深度学习和视觉几何等方法推断出整个场景的三维布局。
基于单张图片的室内场景重建有可以分为基于普通透视图的场景重建和基于全景图的场景重建。前者使用普通的透视图作为输入，可以重建局部的场景布局；而后者的输入是一张360°全景图，能够重建整个室内场景的布局。
基于普通透视图的室内场景重建方法通过引入物体的CAD模型库，可以实现更为立体的场景恢复，但是受到图片视野大小的限制，难以完整的重建整个场景的布局。
基于全景图的室内场景重建方法由于全景图的使用，可以实现对整个室内场景的布局恢复。但是，此方法仅仅恢复了场景的布局，并没有重建场景中的物体，这导致它的适用范围比较有限。
发明内容
本发明实施例提供一种室内场景模型重建方法及装置，用以解决现有技术中的上述问题。
本发明实施例提供一种室内场景模型重建方法，包括：
接收单张全景图并对所述单张全景图进行预处理；
对进行预处理后的单张全景图提取其中的结构特征点，并进行场景布局的恢复；
检测单张全景图中的主要物体，并在模型库中匹配与所述主要物体对应的物体模型；
将所述场景布局和所述物体模型进行组合，生成整个室内场景的重建模型；
采用三维建模工具对所述重建模型进行展示，实现与所述重建模型中物体的交互。
本发明实施例还提供一种室内场景模型重建装置，包括：
全景图输入模块，用于接收单张全景图并对所述单张全景图进行预处理；
三维布局恢复模块，用于对进行预处理后的单张全景图提取其中的结构特征点，并进行场景布局的恢复；
物体识别与匹配模块，用于检测单张全景图中的主要物体，并在模型库中匹配与所述主要物体对应的物体模型；
场景重建模块，用于将所述场景布局和所述物体模型进行组合，生成整个室内场景的重建模型；
场景可视化呈现欧快，用于采用三维建模工具对所述重建模型进行展示，实现与所述重建模型中物体的交互。
本发明实施例还提供一种室内场景模型重建装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述室内场景模型重建方法的步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述室内场景模型重建方法的步骤。
采用本发明实施例，解决了基于图片的室内场景重建方法中完整性和立体性难以兼顾的问题。使用室内场景的全景图作为输入，通过结构特征提取算法提取关键特征点来重建场景布局，通过目标检测算法标注场景中的物体并在模型库中匹配到合适的CAD模型，通过三维空间坐标推导重建整个室内场景。引入了一种调节算法，使得检测到的目标每次都会出现在视野的中央，避免了目标因为没有出现在合适的检测区域中而导致的遗漏或重复。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例的室内场景模型重建方法的流程图；
图2是本发明一个实施例的室内场景模型重建装置的示意图；
图3是本发明另一个实施例的室内场景模型重建装置的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
根据本发明的实施例，提供了一种室内场景模型重建方法，图1是本发明实施例的室内场景模型重建方法的流程图，如图1所示，根据本发明实施的室内场景模型重建方法具体包括：
步骤101，接收单张全景图并对所述单张全景图进行预处理；具体包括如下处理：对所述单张全景图进行对其并提取所述单张全景图中的曼哈顿线。
步骤102，对进行预处理后的单张全景图提取其中的结构特征点，并进行场景布局的恢复；具体包括如下处理：
将进行预处理后的全景图导入预先训练好的特征点检测深度神经网络，通过所述特征点检测深度神经网络得到整个室内场景的所有结构特征点。
根据所述结构特征点，推导出三维空间中的关键点坐标，使用三维建模工具搭建出整个场景布局。
步骤103，检测单张全景图中的主要物体，并在模型库中匹配与所述主要物体对应的物体模型；具体包括如下处理：
获取进行预处理后的单张全景图，根据预设参数对单张全景图进行分割，转换为一系列普通的透视图片，使用预先训练好的目标检测算法对所述透视图片进行处理，标注出每一张图片中的主要物体，通过负反馈算法排除掉目标检测中的遗漏或重复的主要物体，在所述单张全景图中标注出所有检测到的主要物体；
基于特征提取算法分别处理已标注出主要物体的单张全景图和模型库中从多个角度拍照截图的物体模型，并通过比对算法在模型库中挑选出与所述主要物体对应的物体模型。
步骤104，将所述场景布局和所述物体模型进行组合，生成整个室内场景的重建模型；
步骤105，采用三维建模工具对所述重建模型进行展示，实现与所述重建模型中物体的交互。
以下对本发明实施例的技术方案进行详细说明。
本发明实施例为了在全景图目标检测时避免物体的遗漏和重复，在使用普通目标检测的基础上，增加了一个负反馈机制。通过自动调整全景图分割时的各个参数，使得待检测的物体不会因为切分而遗漏或重复。如图2所示，本发明实施例提出的基于全景图的室内场景CAD模型重建方法具体包括：
模块一：全景图输入模块：接收全景图并做简单的预处理，包括全景图的对齐以及全景图中的曼哈顿线的提取。
模块二：三维布局恢复模块：对模块一传递过来的全景图进行处理，提取其中的特征点，然后进行场景布局的恢复。该模块包含两个子模块：
子模块一：特征点提取模块，用于接收到模块一传递的全景图后，导入预先训练好的一个特征点检测深度神经网络中，通过这个神经网络处理后，可以得到整个室内场景的所有结构特征点。
子模块二：场景布局恢复，用于根据上一步得到的结构特征点，通过几何计算等方法，推导出三维空间中的关键点坐标。使用三维建模工具(这里使用OpenGL)，搭建出整个场景的基本布局。
模块三：物体识别与匹配模块，用于检测场景中的主要物体，并在模型库中匹配到对应的模型。该模块包含两个子模块：
子模块一：目标检测模块，用于接收到模块一传递来的全景图之后，根据预设的参数对全景图进行分割，转换为一系列普通的透视图片。使用预先训练好的目标检测算法处理这些图片，标注出每一张图片中的主要物体。通过负反馈算法排除掉目标检测中的遗漏或重复等问题，在全景图中标注出所有检测到的物体。
子模块二：模型匹配模块，用于接收上一步得到的已标注出物体的图片，再从多个角度对模型库中的模型拍照截图。通过特征提取算法分别处理这两组图片，再通过比对算法挑选出合适的模型。
模块四：场景重建模块：将模块二和模块三得到的场景布局和场景中物体模型组合起来，重建出整个室内场景。
模块五：场景可视化呈现模块：将模块四得到的整个室内场景的重建模型展示出来，并实现和模型中物体的交互。
参考图2所示，本发明实施例的处理流程包括如下步骤：
步骤一，模块一接收一张室内场景的全景图，调整大小与格式后传递给模块二和模块三。
步骤二，模块二的子模块一接收模块一传递的全景图后，调用一个预先训练好的特征点提取网络来提取场景图片中的结构特征点，把得到的特征点数据传递给模块二的子模块二。
步骤三，模块二的子模块二接收模块二的子模块一传递来的特征点数据，通过几何计算等方法，推导出室内场景在三维空间中的结构点坐标。然后根据这些结构点坐标恢复场景的布局，生成的布局模型传递给模块四。
步骤四，模块三的子模块一接收到模块一传递来的全景图后，首先根据预设参数对全景图进行切割，转换为一系列普通的透视图片。然后，使用预先训练好的目标检测算法检测出每一张图片中的主要物体，并通过负反馈算法排除掉目标检测中的遗漏或重复等问题，在全景图中标注出所有检测到的物体。最后，将带有物体标注的图片传递给模块三的子模块二。
步骤五，模块三的子模块二接收到模块三的子模块一传递来的带有物体标注的一系列图片后，将他们和之前对模型库中的模型进行多角度拍照截图得到的图片一起通过特征提取算法提取特征，然后再经过比对算法匹配出各个物体所对应的合适的模型。将选出的模型以及这些模型在图片中标记的位置信息传递给模块四。
步骤六，模块四接收到模块二传递来的场景布局模型，以及模块三传递来的物体模型和标注信息后，通过几何计算等方法推导出各个模型在三维空间中的位置坐标，实现了物体在场景中的逐一摆放。最后，将整体的数据传递给模块五。
步骤七，模块五接收到模块四传递来的数据信息，通过三维建模工具(这里使用OpenGL)，实现了整个室内场景模型的展示。
综上所述，本发明实施例使用室内场景的全景图作为输入，与使用点云数据进行场景重建的方法相比，需要处理的数据量小，处理速度快，适用于一些需要快速生成大量室内场景模型的应用场合。同时，本发明实施例多次使用了深度学习的方法，相对于一些传统的推导方法提高了精度，同时也允许使用者通过替换数据集重新训练模型的方式，扩展场景和物体的适用范围。
根据本发明实施例，提供了一种室内场景模型重建装置，图2是本发明实施例的室内场景模型重建装置的示意图，如图2所示，根据本发明实施的室内场景模型重建装置具体包括：
全景图输入模块20，用于接收单张全景图并对所述单张全景图进行预处理；全景图输入模块20具体用于：对所述单张全景图进行对其并提取所述单张全景图中的曼哈顿线。
三维布局恢复模块22，用于对进行预处理后的单张全景图提取其中的结构特征点，并进行场景布局的恢复；三维布局恢复模块22具体包括：
特征点提取模块220，用于将进行预处理后的全景图导入预先训练好的特征点检测深度神经网络，通过所述特征点检测深度神经网络得到整个室内场景的所有结构特征点。
场景布局恢复模块222，用于根据所述结构特征点，推导出三维空间中的关键点坐标，使用三维建模工具搭建出整个场景布局。
物体识别与匹配模块24，用于检测单张全景图中的主要物体，并在模型库中匹配与所述主要物体对应的物体模型；物体识别与匹配模块24具体包括：
目标检测模块240，用于获取进行预处理后的单张全景图，根据预设参数对单张全景图进行分割，转换为一系列普通的透视图片，使用预先训练好的目标检测算法对所述透视图片进行处理，标注出每一张图片中的主要物体，通过负反馈算法排除掉目标检测中的遗漏或重复的主要物体，在所述单张全景图中标注出所有检测到的主要物体；
模型匹配模块242，用于基于特征提取算法分别处理已标注出主要物体的单张全景图和模型库中从多个角度拍照截图的物体模型，并通过比对算法在模型库中挑选出与所述主要物体对应的物体模型。
场景重建模块26，用于将所述场景布局和所述物体模型进行组合，生成整个室内场景的重建模型；
场景可视化呈现模块28，用于采用三维建模工具对所述重建模型进行展示，实现与所述重建模型中物体的交互。
以下对本发明实施例的技术方案进行详细说明。
本发明实施例为了在全景图目标检测时避免物体的遗漏和重复，在使用普通目标检测的基础上，增加了一个负反馈机制。通过自动调整全景图分割时的各个参数，使得待检测的物体不会因为切分而遗漏或重复。如图2所示，本发明实施例提出的基于全景图的室内场景CAD模型重建方法具体包括：
模块一：全景图输入模块：接收全景图并做简单的预处理，包括全景图的对齐以及全景图中的曼哈顿线的提取。
模块二：三维布局恢复模块：对模块一传递过来的全景图进行处理，提取其中的特征点，然后进行场景布局的恢复。该模块包含两个子模块：
子模块一：特征点提取模块，用于接收到模块一传递的全景图后，导入预先训练好的一个特征点检测深度神经网络中，通过这个神经网络处理后，可以得到整个室内场景的所有结构特征点。
子模块二：场景布局恢复，用于根据上一步得到的结构特征点，通过几何计算等方法，推导出三维空间中的关键点坐标。使用三维建模工具(这里使用OpenGL)，搭建出整个场景的基本布局。
模块三：物体识别与匹配模块，用于检测场景中的主要物体，并在模型库中匹配到对应的模型。该模块包含两个子模块：
子模块一：目标检测模块，用于接收到模块一传递来的全景图之后，根据预设的参数对全景图进行分割，转换为一系列普通的透视图片。使用预先训练好的目标检测算法处理这些图片，标注出每一张图片中的主要物体。通过负反馈算法排除掉目标检测中的遗漏或重复等问题，在全景图中标注出所有检测到的物体。
子模块二：模型匹配模块，用于接收上一步得到的已标注出物体的图片，再从多个角度对模型库中的模型拍照截图。通过特征提取算法分别处理这两组图片，再通过比对算法挑选出合适的模型。
模块四：场景重建模块：将模块二和模块三得到的场景布局和场景中物体模型组合起来，重建出整个室内场景。
模块五：场景可视化呈现模块：将模块四得到的整个室内场景的重建模型展示出来，并实现和模型中物体的交互。
参考图2所示，本发明实施例的处理流程包括如下步骤：
步骤一，模块一接收一张室内场景的全景图，调整大小与格式后传递给模块二和模块三。
步骤二，模块二的子模块一接收模块一传递的全景图后，调用一个预先训练好的特征点提取网络来提取场景图片中的结构特征点，把得到的特征点数据传递给模块二的子模块二。
步骤三，模块二的子模块二接收模块二的子模块一传递来的特征点数据，通过几何计算等方法，推导出室内场景在三维空间中的结构点坐标。然后根据这些结构点坐标恢复场景的布局，生成的布局模型传递给模块四。
步骤四，模块三的子模块一接收到模块一传递来的全景图后，首先根据预设参数对全景图进行切割，转换为一系列普通的透视图片。然后，使用预先训练好的目标检测算法检测出每一张图片中的主要物体，并通过负反馈算法排除掉目标检测中的遗漏或重复等问题，在全景图中标注出所有检测到的物体。最后，将带有物体标注的图片传递给模块三的子模块二。
步骤五，模块三的子模块二接收到模块三的子模块一传递来的带有物体标注的一系列图片后，将他们和之前对模型库中的模型进行多角度拍照截图得到的图片一起通过特征提取算法提取特征，然后再经过比对算法匹配出各个物体所对应的合适的模型。将选出的模型以及这些模型在图片中标记的位置信息传递给模块四。
步骤六，模块四接收到模块二传递来的场景布局模型，以及模块三传递来的物体模型和标注信息后，通过几何计算等方法推导出各个模型在三维空间中的位置坐标，实现了物体在场景中的逐一摆放。最后，将整体的数据传递给模块五。
步骤七，模块五接收到模块四传递来的数据信息，通过三维建模工具(这里使用OpenGL)，实现了整个室内场景模型的展示。
综上所述，本发明实施例使用室内场景的全景图作为输入，与使用点云数据进行场景重建的方法相比，需要处理的数据量小，处理速度快，适用于一些需要快速生成大量室内场景模型的应用场合。同时，本发明实施例多次使用了深度学习的方法，相对于一些传统的推导方法提高了精度，同时也允许使用者通过替换数据集重新训练模型的方式，扩展场景和物体的适用范围。
本发明实施例提供一种室内场景模型重建装置，如图3所示，包括：存储器30、处理器32及存储在所述存储器30上并可在所述处理器32上运行的计算机程序，所述计算机程序被所述处理器32执行时实现如下方法步骤：
步骤101，接收单张全景图并对所述单张全景图进行预处理；具体包括如下处理：对所述单张全景图进行对其并提取所述单张全景图中的曼哈顿线。
步骤102，对进行预处理后的单张全景图提取其中的结构特征点，并进行场景布局的恢复；具体包括如下处理：
将进行预处理后的全景图导入预先训练好的特征点检测深度神经网络，通过所述特征点检测深度神经网络得到整个室内场景的所有结构特征点。
根据所述结构特征点，推导出三维空间中的关键点坐标，使用三维建模工具搭建出整个场景布局。
步骤103，检测单张全景图中的主要物体，并在模型库中匹配与所述主要物体对应的物体模型；具体包括如下处理：
获取进行预处理后的单张全景图，根据预设参数对单张全景图进行分割，转换为一系列普通的透视图片，使用预先训练好的目标检测算法对所述透视图片进行处理，标注出每一张图片中的主要物体，通过负反馈算法排除掉目标检测中的遗漏或重复的主要物体，在所述单张全景图中标注出所有检测到的主要物体；
基于特征提取算法分别处理已标注出主要物体的单张全景图和模型库中从多个角度拍照截图的物体模型，并通过比对算法在模型库中挑选出与所述主要物体对应的物体模型。
步骤104，将所述场景布局和所述物体模型进行组合，生成整个室内场景的重建模型；
步骤105，采用三维建模工具对所述重建模型进行展示，实现与所述重建模型中物体的交互。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器32执行时实现如下方法步骤：
步骤101，接收单张全景图并对所述单张全景图进行预处理；具体包括如下处理：对所述单张全景图进行对其并提取所述单张全景图中的曼哈顿线。
步骤102，对进行预处理后的单张全景图提取其中的结构特征点，并进行场景布局的恢复；具体包括如下处理：
将进行预处理后的全景图导入预先训练好的特征点检测深度神经网络，通过所述特征点检测深度神经网络得到整个室内场景的所有结构特征点。
根据所述结构特征点，推导出三维空间中的关键点坐标，使用三维建模工具搭建出整个场景布局。
步骤103，检测单张全景图中的主要物体，并在模型库中匹配与所述主要物体对应的物体模型；具体包括如下处理：
获取进行预处理后的单张全景图，根据预设参数对单张全景图进行分割，转换为一系列普通的透视图片，使用预先训练好的目标检测算法对所述透视图片进行处理，标注出每一张图片中的主要物体，通过负反馈算法排除掉目标检测中的遗漏或重复的主要物体，在所述单张全景图中标注出所有检测到的主要物体；
基于特征提取算法分别处理已标注出主要物体的单张全景图和模型库中从多个角度拍照截图的物体模型，并通过比对算法在模型库中挑选出与所述主要物体对应的物体模型。
步骤104，将所述场景布局和所述物体模型进行组合，生成整个室内场景的重建模型；
步骤105，采用三维建模工具对所述重建模型进行展示，实现与所述重建模型中物体的交互。
本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种室内场景模型重建方法，其特征在于，包括：
接收单张全景图并对所述单张全景图进行预处理；
将进行预处理后的全景图导入预先训练好的特征点检测深度神经网络，通过所述特征点检测深度神经网络得到整个室内场景的所有结构特征点；根据所述结构特征点，推导出三维空间中的关键点坐标，使用三维建模工具搭建出整个场景布局；
检测单张全景图中的主要物体，并在模型库中匹配与所述主要物体对应的物体模型；
将所述场景布局和所述物体模型进行组合，生成整个室内场景的重建模型；
采用三维建模工具对所述重建模型进行展示，实现与所述重建模型中物体的交互。
2.如权利要求1所述的方法，其特征在于，对所述单张全景图进行预处理具体包括：
对所述单张全景图进行对其并提取所述单张全景图中的曼哈顿线。
3.如权利要求1所述的方法，其特征在于，检测单张全景图中的主要物体，并在模型库中匹配与所述主要物体对应的物体模型具体包括：
获取进行预处理后的单张全景图，根据预设参数对单张全景图进行分割，转换为一系列普通的透视图片，使用预先训练好的目标检测算法对所述透视图片进行处理，标注出每一张图片中的主要物体，通过负反馈算法排除掉目标检测中的遗漏或重复的主要物体，在所述单张全景图中标注出所有检测到的主要物体；
基于特征提取算法分别处理已标注出主要物体的单张全景图和模型库中从多个角度拍照截图的物体模型，并通过比对算法在模型库中挑选出与所述主要物体对应的物体模型。
4.一种室内场景模型重建装置，其特征在于，包括：
全景图输入模块，用于接收单张全景图并对所述单张全景图进行预处理；
三维布局恢复模块，所述三维布局恢复模块具体包括特征点提取模块以及场景布局恢复模块；特征点提取模块用于将进行预处理后的全景图导入预先训练好的特征点检测深度神经网络，通过所述特征点检测深度神经网络得到整个室内场景的所有结构特征点；场景布局恢复模块用于根据所述结构特征点，推导出三维空间中的关键点坐标，使用三维建模工具搭建出整个场景布局；
物体识别与匹配模块，用于检测单张全景图中的主要物体，并在模型库中匹配与所述主要物体对应的物体模型；
场景重建模块，用于将所述场景布局和所述物体模型进行组合，生成整个室内场景的重建模型；
场景可视化呈现模块，用于采用三维建模工具对所述重建模型进行展示，实现与所述重建模型中物体的交互。
5.如权利要求4所述的装置，其特征在于，所述全景图输入模块具体用于：对所述单张全景图进行对其并提取所述单张全景图中的曼哈顿线。
6.如权利要求4所述的装置，其特征在于，所述物体识别与匹配模块具体包括：
目标检测模块，用于获取进行预处理后的单张全景图，根据预设参数对单张全景图进行分割，转换为一系列普通的透视图片，使用预先训练好的目标检测算法对所述透视图片进行处理，标注出每一张图片中的主要物体，通过负反馈算法排除掉目标检测中的遗漏或重复的主要物体，在所述单张全景图中标注出所有检测到的主要物体；
模型匹配模块，用于基于特征提取算法分别处理已标注出主要物体的单张全景图和模型库中从多个角度拍照截图的物体模型，并通过比对算法在模型库中挑选出与所述主要物体对应的物体模型。
7.一种室内场景模型重建装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至3中任一项所述的室内场景模型重建方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至3中任一项所述的室内场景模型重建方法的步骤。
CN201911141880.3A 2019-11-20 2019-11-20 室内场景模型重建方法及装置 Active CN110942511B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911141880.3A CN110942511B (zh) 2019-11-20 2019-11-20 室内场景模型重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911141880.3A CN110942511B (zh) 2019-11-20 2019-11-20 室内场景模型重建方法及装置

Publications (2)

Publication Number Publication Date
CN110942511A CN110942511A (zh) 2020-03-31
CN110942511B true CN110942511B (zh) 2022-12-16

Family

ID=69907813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911141880.3A Active CN110942511B (zh) 2019-11-20 2019-11-20 室内场景模型重建方法及装置

Country Status (1)

Country Link
CN (1) CN110942511B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149528A (zh) * 2020-09-08 2020-12-29 东易日盛家居装饰集团股份有限公司 一种全景图目标检测方法、系统、介质及设备
CN112380991A (zh) * 2020-11-13 2021-02-19 贝壳技术有限公司 物品模型的放置方法和装置、存储介质、电子设备
CN114549631A (zh) * 2020-11-26 2022-05-27 株式会社理光 图像处理方法、装置以及存储介质
CN113515799B (zh) * 2021-07-07 2024-05-17 中铁电气化局集团有限公司 一种建筑信息模型的设备模型批量布置方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104637090A (zh) * 2015-02-06 2015-05-20 南京大学 一种基于单张图片的室内场景建模方法
CN105023291A (zh) * 2015-05-22 2015-11-04 燕山大学 一种基于立体视觉的犯罪现场重构装置及方法
CN110062132A (zh) * 2019-04-15 2019-07-26 北京理工大学 剧场表演重建方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7010158B2 (en) * 2001-11-13 2006-03-07 Eastman Kodak Company Method and apparatus for three-dimensional scene modeling and reconstruction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104637090A (zh) * 2015-02-06 2015-05-20 南京大学 一种基于单张图片的室内场景建模方法
CN105023291A (zh) * 2015-05-22 2015-11-04 燕山大学 一种基于立体视觉的犯罪现场重构装置及方法
CN110062132A (zh) * 2019-04-15 2019-07-26 北京理工大学 剧场表演重建方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于单目图像的列车事故场景三维重建;聂隐愚等;《交通运输工程学报》;20170215(第01期);全文 *

Also Published As

Publication number Publication date
CN110942511A (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
CN110942511B (zh) 室内场景模型重建方法及装置
EP3690815B1 (en) Method, medium and apparatus for automatically labeling target object within image
CN112184705B (zh) 一种基于计算机视觉技术的人体穴位识别、定位及应用系统
CN106503671B (zh) 确定人脸姿态的方法和装置
Fan et al. Learning to disambiguate strongly interacting hands via probabilistic per-pixel part segmentation
CN111783820A (zh) 图像标注方法和装置
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
CN108108748A (zh) 一种信息处理方法及电子设备
JP4709668B2 (ja) ３次元物体認識システム
CN107223246A (zh) 图像标注方法、装置及电子设备
JP2016501396A (ja) ３次元の顔モデルを生成する方法
CN109919007B (zh) 一种生成红外图像标注信息的方法
CN113807451B (zh) 全景图像特征点匹配模型的训练方法、装置以及服务器
CN111127556B (zh) 基于3d视觉的目标物体识别和位姿估算方法以及装置
CN109389634A (zh) 基于三维重建和增强现实的虚拟购物系统
CN108921929A (zh) 一种识别系统及训练方法及单张单目图像的识别方法
CN114022542A (zh) 一种基于三维重建的3d数据库制作方法
CN108734773A (zh) 一种用于混合图片的三维重建方法及系统
CN115008454A (zh) 一种基于多帧伪标签数据增强的机器人在线手眼标定方法
CN115035546A (zh) 三维人体姿态检测方法、装置及电子设备
Huh et al. A simple method on generating synthetic data for training real-time object detection networks
CN111783497B (zh) 视频中目标的特征确定方法、装置和计算机可读存储介质
CN116403275A (zh) 基于多目视觉检测封闭空间中人员行进姿态的方法及系统
Wu et al. Multi-video temporal synchronization by matching pose features of shared moving subjects
CN112102502B (zh) 用于飞机驾驶舱功能试验的增强现实辅助方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant