CN116071490B - 室内空间布局的重构方法及重构装置、电子设备和介质 - Google Patents

室内空间布局的重构方法及重构装置、电子设备和介质 Download PDF

Info

Publication number
CN116071490B
CN116071490B CN202211312763.0A CN202211312763A CN116071490B CN 116071490 B CN116071490 B CN 116071490B CN 202211312763 A CN202211312763 A CN 202211312763A CN 116071490 B CN116071490 B CN 116071490B
Authority
CN
China
Prior art keywords
perspective
view
probability map
indoor space
panoramic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211312763.0A
Other languages
English (en)
Other versions
CN116071490A (zh
Inventor
张海涛
马子昂
刘征宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huacheng Software Technology Co Ltd
Original Assignee
Hangzhou Huacheng Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huacheng Software Technology Co Ltd filed Critical Hangzhou Huacheng Software Technology Co Ltd
Priority to CN202211312763.0A priority Critical patent/CN116071490B/zh
Publication of CN116071490A publication Critical patent/CN116071490A/zh
Application granted granted Critical
Publication of CN116071490B publication Critical patent/CN116071490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种室内空间布局的重构方法及重构装置、电子设备和计算机存储介质。该重构方法包括：获取室内空间的天花板视角的第一透视图，并获取室内空间的水平视角的全景图像；分别对第一透视图及全景图像进行预测，分别得到第一透视图的第一概率图、全景图像的概率图；基于第一概率图及全景图像的概率图得到室内空间的平面概率图，以实现室内空间的布局重构。通过这种方式，能够提高室内空间布局重构的精准度。

Description

室内空间布局的重构方法及重构装置、电子设备和介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种室内空间布局的重构方法及重构装置、电子设备和计算机存储介质。
背景技术
场景理解一直以来是计算机视觉领域的研究热点，而室内空间布局重构作为其中的一个关键技术，其目地是根据室内全景图像重构出室内3D空间布局结构，其在室内导航、场景重建、渲染以及VR/AR等方面有着广泛的应用。但由于室内环境的复杂性较高，例如室内的家具、椅子等都会对室内的布局边界造成遮挡，使得室内空间布局的估计存在严重的挑战性。
为了解决上述问题，相关技术中，采用深度学习方式，如卷积神经网络重构室内空间布局。但现有的利用深度学习的方式重构室内空间布局的技术方案中，存在提取到的空间线索特征不足，从而导致室内空间布局重构的精准度较低的问题。
发明内容
本申请主要解决的技术问题是如何提高室内空间布局重构的精准度。
为解决上述技术问题，本申请提供一种室内空间布局的重构方法。该重构方法包括：获取室内空间的天花板视角的第一透视图，并获取室内空间的水平视角的全景图像；分别对第一透视图及全景图像进行预测，分别得到第一透视图的第一概率图、全景图像的概率图；基于第一概率图及全景图像的概率图得到室内空间的平面概率图，以实现室内空间的布局重构。
为解决上述技术问题，本申请提供一种室内空间布局的重构装置。该重构装置包括：图像采集模块，用于获取室内空间的天花板视角的第一透视图，并获取室内空间的水平视角的全景图像；图像预测模块，与图像采集模块连接，用于分别对第一透视图及全景图像进行预测，分别得到第一透视图的第一概率图、全景图像的概率图；图像重构模块，与图像预测模块连接，用于基于第一概率图及全景图像的概率图得到室内空间的平面概率图，以实现室内空间的布局重构。
为解决上述技术问题，本申请提供一种电子设备。该电子设备包括：处理器和存储器，存储器中存储有程序数据，处理器用于执行程序数据以实现上述室内空间布局的重构方法。
为解决上述技术问题，本申请提供一种计算机可读存储介质，该计算机可读存储介质存储有程序数据，程序数据能够被处理器执行时实现上述室内空间布局的重构方法。
本申请的有益效果是：本申请室内空间布局的重构方法首先获取室内空间的两种视角的图像，即天花板视角的第一透视图及水平视角的全景图像，然后分别对第一透视图及全景图像进行预测，分别得到第一透视图的第一概率图及全景图像的概率图，最后基于第一透视图的第一概率图及全景图像的概率图得到室内空间的平面概率图。可知，本申请是利用室内空间的两种不同视角的图像信息重构室内空间的平面概率图，因不同视角的图像信息包含了室内空间的不同的空间线索特征，因此本申请能够改善现有技术中空间特征表达能力不足的问题，至少能够改善在室内墙线或墙角点被遮挡时空间布局重构误差较大的问题；且本申请对不同视角的图像信息进行独立的预测，能够使得不同视角的图像信息经预测得到的概率图包含较精准的对应视角下的线索特征。因此，本申请能够提高室内空间布局重构的精准度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请室内空间布局的重构方法一实施例的流程示意图；
图2是本申请图1中步骤S11部分方法的具体流程示意图；
图3是本申请室内空间布局的重构方法一实施例的流程示意图；
图4是本申请图3中步骤S32的具体流程示意图；
图5是本申请图3中步骤S33的具体流程示意图；
图6是本申请第一透视图的网络预测示意图；
图7是本申请第二透视图的网络预测示意图；
图8是本申请第三透视图的网络预测示意图；
图9是本申请图3中步骤S34的具体流程示意图；
图10是本申请概率图加权融合示意图；
图11是本申请室内空间布局的重构方法一实施例的流程示意图；
图12是本申请室内空间布局的重构装置一实施例的结构示意图；
图13是本申请电子设备一实施例的结构示意框图；
图14是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请首先提出一种室内空间布局的重构方法，如图1所示，图1是本申请室内空间布局的重构方法一实施例的流程示意图，该重构方法具体包括以下步骤：
S11：获取室内空间的天花板视角的第一透视图，并获取室内空间的水平视角的全景图像。
在一应用场景中，可以通过机器人获取室内空间的天花板视角的第一透视图及室内空间的水平视角的全景图像。机器人上设有第一摄像头及第二摄像头，第一摄像头的图像采集镜头垂直向上设置，朝向室内空间的天花板，用于获取室内空间的天花板视角的第一透视图；第二摄像头的图像采集镜头水平设置，朝向室内空间的侧壁，用于获取室内空间的水平视角的全景图像。
本实施例中，可以控制机器人移动至室内空间的地平面的中心位置，然后控制第一摄像头获取天花板视角的第一透视图，且该第一透视图应覆盖室内空间的整个天花板区域，即覆盖室内空间的整个天花板墙线。
在其它实施例中，可以控制机器人移动至室内空间的地平面上的多个位置，并在每个位置控制第一摄像头获取对应的天花板视角的透视图，将多个位置获取的多个天花板视角的透视图进行拼接，以获得室内空间的天花板视角的第一透视图。这种方式相对于上述方式，虽然步骤繁琐些，但是可以降低对第一摄像头的视角的要求。
可选地，本实施例可以通过如图2所示的方法获取室内空间的水平视角的全景图像，本实施例的方法包括步骤S21及步骤S22。
步骤S21：获取室内空间的多个水平视角的子透视图，其中，多个水平视角的角度不同，且任意相邻水平视角的子透视图之间有重叠区域。
可以控制机器人在室内空间的地平面的中心位置保持水平无移动，且控制机器人带动第二摄像头水平旋转360°，在旋转过程中，控制第二摄像头在不同旋转角度，即不同角度的水平视角下获取室内空间的多个子透视图。
多个水平视角的角度不同，且任意相邻水平视角的子透视图之间有重叠区域，使得后续通过多个子透视图拼接得到的全景图像能够包含水平视角的360°场景图像信息。
其中，第二摄像头沿水平视角拍摄到的图像优选覆盖整个天花板墙线和整个地板墙线，以使得后续拼接得到的全景图像能够覆盖室内空间的天花板墙线和地板墙线。
步骤S22：将多个水平视角的子透视图进行拼接，得到室内空间的水平视角的全景图像；其中，全景图像覆盖室内空间的天花板墙线和地板墙线。
在一应用场景中，可以将多个水平视角的子透视图进行拼接，得到水平视角的等距柱状全景图像。具体地，可以将多个子透视图进行图像匹配，建立多个子透视图的几何对应关系；接着进行重投影，即通过图像的几何变换，把多个子透视图转换成一个共同的坐标系；然后进行缝合，即通过合并重叠部分的像素值并保留没有重叠的像素值使多个子透视图生成更大画布的图像；最后进行融合，因通过几何和光度偏移错误通常会导致对象的不连续，并且两个子透视图之间的边界附近产生可见的接缝，因此，在一些实施例中，为了减小接缝的出现，需要在缝合时或缝合之后使用混合算法，得到室内空间的水平视角的全景图像。
S12：分别对第一透视图及全景图像进行预测，分别得到第一透视图的第一概率图、全景图像的概率图。
其中，本实施例可以先搭建网络结构一致的第一卷积神经网络及第二卷积神经网络；然后分别为第一卷积神经网络及第二卷积神经网络构建两个相互独立的训练数据集，并利用对应的训练数据集对第一卷积神经网络进行优化训练，利用对应的训练数据集对第二卷积神经网络进行优化训练；最后利用优化训练后的第一卷积神经网络对第一透视图进行预测，得到第一透视图的第一概率图，及利用优化训练后的第二卷积神经网络对全景图像进行预测，得到全景图像的概率图。
关于图像预测的方法的具体介绍可以参阅下文。
卷积神经网络具有强大的特征提取能力，能够提高网络预测结果的精准度；且构建卷积神经网络过程中没有使用到变形卷积，能够加快网络预测的速度。
本实施例利用同一室内空间的不同视角图像包含室内布局不同线索特征的特点，训练两个互相独立的卷积神经网络，并且对不用视角图像进行单独预测，能够提高室内空间布局重构的精准度。
其中，本实施例的卷积神经网络可以是UNet卷积神经网络等。
S13：基于第一概率图及全景图像的概率图得到室内空间的平面概率图，以实现室内空间的布局重构。
本实施例可以对室内空间的天花板视角的第一透视图的第一概率图及水平视角的全景图像的概率图进行自适应加权融合得到室内空间的平面概率图，能够提高平面概率图的精准度，从而提高室内空间的布局重构的精准度。
本实施例利用室内空间的两种不同视角的图像信息重构室内空间的平面概率图，因不同视角的图像信息包含了室内空间的不同的空间线索特征，因此本实施例能够改善现有技术中空间特征表达能力不足的问题，至少能够改善在室内墙线或墙角点被遮挡时空间布局重构误差较大的问题；且本实施例对不同视角的图像信息进行独立的预测，能够使得不同视角的图像信息经预测得到的概率图包含较精准的对应视角下的线索特征。因此，本实施例能够提高室内空间布局重构的精准度。
本申请进一步提出一种室内空间布局的重构方法，如图3所示，图3是本申请室内空间布局的重构方法一实施例的流程示意图，本实施例的方法具体包括以下步骤：
步骤S31：获取室内空间的天花板视角的第一透视图，并获取室内空间的水平视角的全景图像。
具体实施方式可以参阅上述实施例。
步骤S32：将全景图像分别转换为天花板视角的第二透视图和地板视角的第三透视图。
在一应用场景中，可以将等距柱状全景图像L0转换为天花板视角的第二透视图I1和地板视角的第三透视图I2。
具体地，本实施例可以通过如图4所示的方法实现步骤S32。本实施例的方法包括步骤S41至步骤S45。
步骤S41：获取全景图像的像素点在摄像头空间坐标系下的三维坐标。
假设摄像头的焦距为f，则全景图像的像素点（x，y）在摄像头空间坐标系下的三维坐标为（x，y，f）。
步骤S42：将三维坐标沿摄像头空间坐标系的X轴逆时针旋转90°，得到第一坐标，及将三维坐标沿摄像头空间坐标系的Y轴顺时针旋转90°，得到第二坐标。
对于天花板视角，将三维坐标（x，y，f）沿X轴逆时针旋转90°，得到第一坐标；对于地板视角，将三维坐标（x，y，f）沿X轴顺时针旋转90°，得到第二坐标。
步骤S43：分别将第一坐标及第二坐标进行向量归一化处理。
向量归一化处理可以参阅下述公式进行：
Figure 302838DEST_PATH_IMAGE001
步骤S44：将归一化处理后的第一坐标投影到全景图像所在的二维坐标系下，得到第三坐标，及将归一化处理后的第二坐标投影到全景图像所在的二维坐标系下，得到第四坐标。
将上述向量归一化处理后的三维坐标投影到等距柱状全景图空间，即将三维坐标映射回等距柱状全景图像L0中，得到对应的二维坐标（px， py），投影公式如下：
Figure 382789DEST_PATH_IMAGE002
其中，w表示等距柱状全景图像L0的宽度，h表示等距柱状全景图像L0的高度。
对第一坐标进行上述归一化处理及投影处理，得到第三坐标；对第二坐标进行上述归一化处理及投影处理，得到第四坐标。
步骤S45：分别将第三坐标及第四坐标进行双线性插值处理，分别得到天花板视角的第二透视图和地板视角的第三透视图。
由于上述计算出的二维坐标（px，py）不一定为整数值，因此本实施例还可以通过双线性插值法对第三坐标进行处理，计算出天花板视角的第二透视图I1上的坐标（x，y）的像素值，及可以通过双线性插值法对第四坐标进行处理，计算出地板视角的第三透视图I2上的坐标（x，y）的像素值，从而完成等距柱状全景图到天花板视角的第二透视图和地板视角的第三透视图的变换。
步骤S33：对第一透视图、第二透视图及第三透视图分别进行预测，分别得到第一透视图的第一概率图、第二透视图的第二概率图及第三透视图的第三概率图。
其中，可以先搭建网络结构一致的第一卷积神经网络及第二卷积神经网络；然后分别为第一卷积神经网络及第二卷积神经网络构建两个相互独立的训练数据集，并利用对应的训练数据集对第一卷积神经网络进行优化训练，利用对应的训练数据集对第二卷积神经网络进行优化训练。
卷积神经网络具有强大的特征提取能力，能够提高网络预测结果的精准度；且构建卷积神经网络过程中没有使用到变形卷积，能够加快网络预测的速度。
其中，本实施例的卷积神经网络可以是UNet卷积神经网络等。
可选地，本实施例可以通过如图5所示的方法实现步骤S33。本实施例的方法包括步骤S51至步骤S53。
步骤S51：利用第一卷积神经网络对第一透视图进行语义分割，得到第一透视图中的第一天花板区域，并利用第一卷积神经网络基于第一天花板区域预测获取第一透视图的第一概率图。
如图6所示，利用优化训练后的第一卷积神经网络A对第一透视图I0进行语义分割，分割出第一透视图I0中的第一天花板区域；然后利用第一卷积神经网络A（优化训练后的）基于第一天花板区域预测获取第一透视图I0的第一概率图P0。具体地，第一卷积神经网络A对第一透视图I0中的第一天花板区域进行预测，得到第一透视图I0中的第一天花板区域对应的概率图作为第一透视图I0的第一概率图P0。
步骤S52：利用第二卷积神经网络对第二透视图进行语义分割，得到第二透视图中的第二天花板区域，并利用第二卷积神经网络基于第二天花板区域预测获取第二透视图的第二概率图。
如图7所示，利用优化训练后的第二卷积神经网络B对第二透视图I1进行语义分割，分割出第二透视图I1中的第二天花板区域；然后利用第二卷积神经网络B（优化训练后的）基于第二天花板区域预测获取第二透视图I1的第二概率图P1。第二卷积神经网络B对第二透视图I1中的第二天花板区域进行预测，得到第二透视图I1中的第二天花板区域对应的概率图作为第二透视图I1的第二概率图P1。
步骤S53：利用第二卷积神经网络对第三透视图进行语义分割，得到第三透视图中的地板区域，并利用第二卷积神经网络基于地板区域预测获取第三透视图的第三概率图。
如图8所示，利用优化训练后的第二卷积神经网络B对第三透视图I2进行语义分割，分割出第三透视图I2中的地板区域；然后利用第二卷积神经网络B（优化训练后的）基于地板区域预测获取第三透视图I2的第三概率图P2。第二卷积神经网络B对第三透视图I2中的地板区域进行预测，得到第三透视图I2中的地板区域对应的概率图作为第三透视图I2的第三概率图P2。
S34：对第一概率图、第二概率图及第三概率图进行加权融合处理，得到室内空间的平面概率图。
可选地，本实施例可以通过如图9所示的方法实现步骤S34。本实施例的方法包括步骤S91至步骤S93。
步骤S91：分别获取第一概率图的第一最大连通区域、第二概率图的第二最大连通区域及第三概率图的第三最大连通区域。
具体地，可以先对第一概率图进行二值化处理，然后对二值化处理后的第一概率图进行膨胀运算及腐蚀运算，得到第一概率图的第一最大连通区域。例如，对第一概率图P0进行二值化处理，阈值选取0.5，然后对二值化处理后的第一概率图P0依次进行膨胀运算及腐蚀运算等操作，获取第一概率图P0的第一最大连通区域，该第一最大连通区域即为第一卷积神经网络A预测得到的第一天花板区域。
膨胀运算可以用来填补第一概率图P0中物体中的空洞；腐蚀运算可以用来消除第一概率图P0中小且无意义的物体；本实施例先进行膨胀运算，后进行腐蚀运算，能够填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积。
在其它实施例中，还可以先进行腐蚀运算，后进行膨胀运算。
第二概率图P1的第二最大连通区域的获取方法及第三概率图P2的第三最大连通区域的获取方法可以参阅上述第一概率图P0的第一最大连通区域的获取方法。
步骤S92：分别获取第一最大连通区域的多个边缘像素点的第一平均概率值、第二最大连通区域的多个边缘像素点的第二平均概率值及第三最大连通区域的多个边缘像素点的第三平均概率值。
具体地，获取第一最大连通区域所有边缘像素点的坐标位置，记为coords，在第一概率图P0中找到coords上对应坐标位置的第一概率值，并且计算这些第一概率值的平均值为第一最大连通区域的第一平均概率值m0。
第二概率图P1的第二平均概率值m1的获取方法及第三概率图P2的第三平均概率值m2的获取方法可以参阅上述第一平均概率值m0的获取方法。
步骤S93：以第一平均概率值、第二平均概率值及第三平均概率值为对应权重系数，获取第一概率图、第二概率图及第三概率图的加权概率图，并将加权概率图作为室内空间的平面概率图。
将第一平均概率值m0作为第一概率图P0的权重系数，将第二平均概率值m1作为第二概率图P1的权重系数，将第三平均概率值m2作为第三概率图P2的权重系数，求第一概率图P0、第二概率图P1及第三概率图P2的加权概率图，作为室内空间的平面概率图P（如图10所示），加权公式如下：
Figure 863973DEST_PATH_IMAGE003
本实施例中，首先分别对三张预测得到的概率图进行二值化处理、膨胀运算及腐蚀运算等操作，得到最大连通区域，计算最大连通区域所有边缘像素位置在概率图上概率的平均值。通过三个平均概率值计算得出每个概率图所占比例大小，动态自适应对三张概率图进行融合，能够准确计算出室内空间的平面概率图，从而能够提高室内空间重构的精准度。
本申请进一步提出一种室内空间布局的重构方法，如图11所示，图11是本申请室内空间布局的重构方法一实施例的结构示意图。本实施例的重构方法具体包括以下步骤：
步骤S101：获取室内空间的天花板视角的第一透视图，并获取室内空间的水平视角的全景图像。
具体实施方法可以参阅上述实施例。
步骤S102：分别对第一透视图及全景图像进行预测，分别得到第一透视图的第一概率图、全景图像的概率图。
具体实施方法可以参阅上述实施例。
步骤S103：基于第一概率图及全景图像的概率图得到室内空间的平面概率图。
具体实施方法可以参阅上述实施例。
步骤S104：获取平面概率图的最大连通区域。
具体地，对平面概率图进行二值化处理，阈值选取0.5，然后对二值化处理后的平面概率图依次进行膨胀运算及腐蚀运算等操作，获取平面概率图的最大连通区域。
步骤S105：对最大连通区域的边缘进行多边形拟合，得到室内空间的室内平面图。
在一种实施方式中，可以采用现有的边缘拟合算法对平面概率图的最大连通区域的边缘进行多边形拟合，可以实现物体边缘的平滑、规整化处理。
步骤S106：将室内平面图转换到三维空间坐标系，获得室内空间的三维点云。
在一种实施方式中，可以基于曼哈顿世界假设，通过正交投影将预测得到的二维室内平面图转换到三维空间坐标系中，生成室内空间的三维点云。
步骤S107：基于三维点云及全景图像生成室内空间的布局纹理。
将三维点云的三维空间坐标映射到等距柱状全景图像上，生成室内空间的布局纹理。
在上述实施例的基础上，本实施例进一步将室内平面图的三维点云映射到全景图像上，生成室内空间的布局纹理，能够实现室内空间的纹理重构。
本申请结合室内空间天花板视角的天花板视图及水平视角的全景图像，利用同一场景不同视角图像包含室内布局不同线索特征的特点，训练两个互相独立的卷积神经网络，并且对不同视角图像进行单独预测，能够提高室内空间布局重构的精准度。具体地，用第二卷积神经网络对由拼接得到的等距柱状全景图像经过全景图-透视图变换步骤转换得到的天花板视图（第二透视图）和地板视图（第三透视图）分别进行预测，用第一卷积神经网络对直接拍摄得到的天花板视图（第一透视图）进行预测，最后将预测得到的结果进行自适应加权融合，弥补只用全景图像或天花板视图空间线索特征不足的问题，能够提高室内空间布局重构的精准度，尤其在墙线或墙角有遮挡情况下的室内空间布局重构的精准度。
本申请进一步提出一种室内空间布局的重构装置，如图12所示，图12是本申请室内空间布局的重构装置一实施例的结构示意图。本实施例的重构装置包括：图像采集模块111、图像预测模块112及图像重构模块113；其中，图像采集模块111用于获取室内空间的天花板视角的第一透视图，并获取室内空间的水平视角的全景图像；图像预测模块112与图像采集模块111连接，用于分别对第一透视图及全景图像进行预测，分别得到第一透视图的第一概率图、全景图像的概率图；图像重构模块113与图像预测模块112连接，用于基于第一概率图及全景图像的概率图得到室内空间的平面概率图，以实现室内空间的布局重构。
本实施例的重构装置还用于实现上述重构方法。
其中，图像采集模块111可以包括第一摄像头及第二摄像头，第一摄像头的图像采集镜头垂直向上设置，朝向室内空间的天花板，用于获取室内空间的天花板视角的第一透视图；第二摄像头的图像采集镜头水平设置，朝向室内空间的侧壁，用于获取室内空间的水平视角的全景图像。
可选地，本实施例的重构装置还包括：控制机构，用于控制图像采集模块111、图像预测模块112及图像重构模块113工作；且控制机构控制第二摄像头水平旋转360°，在旋转过程中，控制第二摄像头在不同旋转角度，即不同角度的水平视角下获取室内空间的多个子透视图。
关于第一摄像头及第二摄像头的控制方式可以参阅上述实施例。
本申请进一步提出一种电子设备，如图13所示，图13是本申请电子设备一实施例的结构示意图。本实施例电子设备100包括处理器101、与处理器101耦接的存储器102、输入输出设备103以及总线104。
该处理器101、存储器102、输入输出设备103分别与总线104相连，该存储器102中存储有程序数据，处理器101用于执行程序数据以实现上述室内空间布局的重构方法。
在本实施例中，处理器101还可以称为CPU（Central Processing Unit，中央处理单元）。处理器101可能是一种集成电路芯片，具有信号的处理能力。处理器101还可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器101也可以是任何常规的处理器等。
本申请进一步提出一种计算机可读存储介质，如图14所示，图14是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质131其上存储有程序数据132，程序数据132被处理器（图未示）执行时实现上述室内空间布局的重构方法。
本实施例计算机可读存储介质131可以是但不局限于U盘、SD卡、PD光驱、移动硬盘、大容量软驱、闪存、多媒体记忆卡、服务器等。
本申请室内空间布局的重构方法首先获取室内空间的两种视角的图像，即天花板视角的第一透视图及水平视角的全景图像，然后分别对第一透视图及全景图像进行预测，分别得到第一透视图的第一概率图及全景图像的概率图，最后基于第一透视图的第一概率图及全景图像的概率图得到室内空间的平面概率图。可知，本申请是利用室内空间的两种不同视角的图像信息重构室内空间的平面概率图，因不同视角的图像信息包含了室内空间的不同的空间线索特征，因此本申请能够改善现有技术中空间特征表达能力不足的问题，至少能够改善在室内墙线或墙角点被遮挡时空间布局重构误差较大的问题；且本申请对不同视角的图像信息进行独立的预测，能够使得不同视角的图像信息经预测得到的概率图包含较精准的对应视角下的线索特征。因此，本申请能够提高室内空间布局重构的精准度。
另外，上述功能如果以软件功能的形式实现并作为独立产品销售或使用时，可存储在一个移动终端可读取存储介质中，即，本申请还提供一种存储有程序数据的存储装置，所述程序数据能够被执行以实现上述实施例的方法，该存储装置可以为如U盘、光盘、服务器等。也就是说，本申请可以以软件产品的形式体现出来，其包括若干指令用以使得一台智能终端执行各个实施例所述方法的全部或部分步骤。
在本申请的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（可以是个人计算机，服务器，网络设备或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种室内空间布局的重构方法，其特征在于，所述重构方法包括：
获取室内空间的天花板视角的第一透视图，并获取所述室内空间的水平视角的全景图像；
分别对所述第一透视图及所述全景图像进行预测，分别得到所述第一透视图的第一概率图、所述全景图像的概率图；
基于所述第一概率图及所述全景图像的概率图得到所述室内空间的平面概率图，以实现所述室内空间的布局重构；
其中，所述分别对所述第一透视图及所述全景图像进行预测，分别得到所述第一透视图的第一概率图、所述全景图像的概率图，包括：
将所述全景图像分别转换为天花板视角的第二透视图和地板视角的第三透视图；
对所述第一透视图、所述第二透视图及所述第三透视图分别进行预测，分别得到所述第一透视图的第一概率图、所述第二透视图的第二概率图及所述第三透视图的第三概率图；
其中，所述对所述第一透视图、所述第二透视图及所述第三透视图分别进行预测，分别得到所述第一透视图的第一概率图、所述第二透视图的第二概率图及所述第三透视图的第三概率图，包括：
利用第一卷积神经网络对所述第一透视图进行预测，以获取所述第一透视图的第一概率图；
利用第二卷积神经网络对所述第二透视图进行预测，以获取所述第二透视图的第二概率图；
利用所述第二卷积神经网络对所述第三透视图进行预测，以获取所述第三透视图的第三概率图；
其中，所述第一卷积神经网络及所述第二卷积神经网络是通过两个相互独立的训练数据集优化训练得到。
2.根据权利要求1所述的重构方法，其特征在于，所述基于所述第一概率图及所述全景图像的概率图得到所述室内空间的平面概率图，包括：
对所述第一概率图、所述第二概率图及所述第三概率图进行加权融合处理，得到所述室内空间的平面概率图。
3.根据权利要求2所述的重构方法，其特征在于，所述利用第一卷积神经网络对所述第一透视图进行预测，以获取所述第一透视图的第一概率图，包括：
利用第一卷积神经网络对所述第一透视图进行语义分割，得到所述第一透视图中的第一天花板区域，并利用所述第一卷积神经网络基于所述第一天花板区域预测获取所述第一透视图的第一概率图；
所述利用第二卷积神经网络对所述第二透视图进行预测，以获取所述第二透视图的第二概率图，包括：
利用第二卷积神经网络对所述第二透视图进行语义分割，得到所述第二透视图中的第二天花板区域，并利用所述第二卷积神经网络基于所述第二天花板区域预测获取为所述第二透视图的第二概率图；
所述利用所述第二卷积神经网络对所述第三透视图进行预测，以获取所述第三透视图的第三概率图，包括：
利用所述第二卷积神经网络对所述第三透视图进行语义分割，得到所述第三透视图中的地板区域，并利用所述第二卷积神经网络基于所述地板区域预测获取所述第三透视图的第三概率图。
4.根据权利要求2所述的重构方法，其特征在于，所述对所述第一概率图、所述第二概率图及所述第三概率图进行加权融合处理，得到所述室内空间的平面概率图，包括：
分别获取所述第一概率图的第一最大连通区域、所述第二概率图的第二最大连通区域及所述第三概率图的第三最大连通区域；
分别获取所述第一最大连通区域的多个边缘像素点的第一平均概率值、所述第二最大连通区域的多个边缘像素点的第二平均概率值及所述第三最大连通区域的多个边缘像素点的第三平均概率值；
以所述第一平均概率值、所述第二平均概率值及所述第三平均概率值为对应权重系数，获取所述第一概率图、所述第二概率图及所述第三概率图的加权概率图，并将所述加权概率图作为所述室内空间的平面概率图。
5.根据权利要求4所述的重构方法，其特征在于，所述获取所述第一概率图的第一最大连通区域，包括：
对所述第一概率图进行二值化处理；
对二值化处理后的所述第一概率图进行膨胀运算及腐蚀运算，得到所述第一概率图的第一最大连通区域。
6.根据权利要求1所述的重构方法，其特征在于，所述重构方法还包括：
获取所述平面概率图的最大连通区域；
对所述最大连通区域的边缘进行多边形拟合，得到所述室内空间的室内平面图；
将所述室内平面图转换到三维空间坐标系，获得所述室内空间的三维点云；
基于所述三维点云及所述全景图像生成所述室内空间的布局纹理。
7.根据权利要求2所述的重构方法，其特征在于，所述将所述全景图像分别转换为天花板视角的第二透视图和地板视角的第三透视图，包括：
获取所述全景图像的像素点在摄像头空间坐标系下的三维坐标；
将所述三维坐标沿所述摄像头空间坐标系的X轴逆时针旋转90°，得到第一坐标，及将所述三维坐标沿所述摄像头空间坐标系的Y轴顺时针旋转90°，得到第二坐标；
分别将所述第一坐标及所述第二坐标进行向量归一化处理；
将归一化处理后的所述第一坐标投影到所述全景图像所在的二维坐标系下，得到第三坐标，及将归一化处理后的所述第二坐标投影到所述全景图像所在的二维坐标系下，得到第四坐标；
分别将所述第三坐标及所述第四坐标进行双线性插值处理，分别得到天花板视角的第二透视图和地板视角的第三透视图。
8.根据权利要求1所述的重构方法，其特征在于，所述第一透视图完全覆盖所述室内空间的天花板区域；
所述获取所述室内空间的水平视角的全景图像，包括：
获取所述室内空间的多个水平视角的子透视图，其中，所述多个水平视角的角度不同，且任意相邻所述水平视角的所述子透视图之间有重叠区域；
将所述多个水平视角的子透视图进行拼接，得到所述室内空间的水平视角的全景图像。
9.一种室内空间布局的重构装置，其特征在于，包括：
图像采集模块，用于获取室内空间的天花板视角的第一透视图，并获取所述室内空间的水平视角的全景图像；
图像预测模块，与所述图像采集模块连接，用于分别对所述第一透视图及所述全景图像进行预测，分别得到所述第一透视图的第一概率图、所述全景图像的概率图；
图像重构模块，与所述图像预测模块连接，用于基于所述第一概率图及所述全景图像的概率图得到所述室内空间的平面概率图，以实现所述室内空间的布局重构；
其中，所述图像预测模块将所述全景图像分别转换为天花板视角的第二透视图和地板视角的第三透视图，并对所述第一透视图、所述第二透视图及所述第三透视图分别进行预测，分别得到所述第一透视图的第一概率图、所述第二透视图的第二概率图及所述第三透视图的第三概率图；
其中，所述图像预测模块利用第一卷积神经网络对所述第一透视图进行预测，以获取所述第一透视图的第一概率图，并利用第二卷积神经网络对所述第二透视图进行预测，以获取所述第二透视图的第二概率图，并利用所述第二卷积神经网络对所述第三透视图进行预测，以获取所述第三透视图的第三概率图；
其中，所述第一卷积神经网络及所述第二卷积神经网络是通过两个相互独立的训练数据集优化训练得到。
10.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-8任一项所述的室内空间布局的重构方法。
11.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储有程序数据，所述程序数据能够被处理器执行时实现如权利要求1-8任一项所述的室内空间布局的重构方法。
CN202211312763.0A 2022-10-25 2022-10-25 室内空间布局的重构方法及重构装置、电子设备和介质 Active CN116071490B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211312763.0A CN116071490B (zh) 2022-10-25 2022-10-25 室内空间布局的重构方法及重构装置、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211312763.0A CN116071490B (zh) 2022-10-25 2022-10-25 室内空间布局的重构方法及重构装置、电子设备和介质

Publications (2)

Publication Number Publication Date
CN116071490A CN116071490A (zh) 2023-05-05
CN116071490B true CN116071490B (zh) 2023-06-23

Family

ID=86180942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211312763.0A Active CN116071490B (zh) 2022-10-25 2022-10-25 室内空间布局的重构方法及重构装置、电子设备和介质

Country Status (1)

Country Link
CN (1) CN116071490B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399597A (zh) * 2022-01-12 2022-04-26 贝壳找房(北京)科技有限公司 场景空间模型的构建方法、装置以及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10636190B2 (en) * 2018-05-31 2020-04-28 Robert Bosch Gmbh Methods and systems for exploiting per-pixel motion conflicts to extract primary and secondary motions in augmented reality systems
CN109002837A (zh) * 2018-06-21 2018-12-14 网易（杭州）网络有限公司 一种图像语义分类方法、介质、装置和计算设备
CN108961395B (zh) * 2018-07-03 2019-07-30 上海亦我信息技术有限公司 一种基于拍照重建三维空间场景的方法
CN111857329B (zh) * 2020-05-26 2022-04-26 北京航空航天大学 注视点计算方法、装置及设备
CN112053441B (zh) * 2020-10-14 2023-04-07 北京大视景科技有限公司 一种室内鱼眼图像的全自动布局恢复方法
CN112489204A (zh) * 2020-12-10 2021-03-12 浙江辰时科技集团有限公司 基于rgb图像的3d房间布局重建系统
CN113140034B (zh) * 2021-04-27 2023-08-22 上海科技大学 基于房间布局的全景新视角生成方法、装置、设备和介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399597A (zh) * 2022-01-12 2022-04-26 贝壳找房(北京)科技有限公司 场景空间模型的构建方法、装置以及存储介质

Also Published As

Publication number Publication date
CN116071490A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
Penner et al. Soft 3d reconstruction for view synthesis
Morris et al. Image-consistent surface triangulation
CN110276829B (zh) 通过多尺度体素哈希处理的三维表示
Lei et al. Depth map super-resolution considering view synthesis quality
JP5011224B2 (ja) 任意視点映像生成装置及び任意視点映像生成プログラム
US7760932B2 (en) Method for reconstructing three-dimensional structure using silhouette information in two-dimensional image
KR100793838B1 (ko) 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법
CN112330729B (zh) 图像深度预测方法、装置、终端设备及可读存储介质
GB2564642A (en) Methods and apparatuses for panoramic image processing
EP2016559A2 (en) System and method for three-dimensional object reconstruction from two-dimensional images
Shan et al. Photo uncrop
EP3326156B1 (en) Consistent tessellation via topology-aware surface tracking
WO2010012289A1 (en) Image generation device and method for super-resolution of 3d textures
US11887256B2 (en) Deferred neural rendering for view extrapolation
WO2008076772A1 (en) Selecting a reference image for images to be joined
CN110176010A (zh) 一种图像检测方法、装置、设备及存储介质
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
Meuleman et al. Real-time sphere sweeping stereo from multiview fisheye images
GB2567245A (en) Methods and apparatuses for depth rectification processing
CN114511447A (zh) 图像处理方法、装置、设备及计算机存储介质
CN108876704B (zh) 人脸图像变形的方法、装置及计算机存储介质
CN116071490B (zh) 室内空间布局的重构方法及重构装置、电子设备和介质
Lhuillier Toward flexible 3d modeling using a catadioptric camera
CN113034345B (zh) 一种基于sfm重建的人脸识别方法及系统
GB2560301A (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant