CN113240802A - 三维重建的全屋虚拟装维方法、装置、设备及存储介质 - Google Patents

三维重建的全屋虚拟装维方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113240802A
CN113240802A CN202110702746.7A CN202110702746A CN113240802A CN 113240802 A CN113240802 A CN 113240802A CN 202110702746 A CN202110702746 A CN 202110702746A CN 113240802 A CN113240802 A CN 113240802A
Authority
CN
China
Prior art keywords
dimensional
historical
model
maintained
indoor space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110702746.7A
Other languages
English (en)
Other versions
CN113240802B (zh
Inventor
田婉
王亚莱
林峰
李英
童夏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Hangzhou Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110702746.7A priority Critical patent/CN113240802B/zh
Publication of CN113240802A publication Critical patent/CN113240802A/zh
Application granted granted Critical
Publication of CN113240802B publication Critical patent/CN113240802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Civil Engineering (AREA)
  • Architecture (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种三维重建的全屋虚拟装维方法、装置、设备及存储介质，属于计算机建模技术领域。本发明中通过携带有摄像头的移动智能终端采用边缘计算策略可进行个性化本地化虚拟装维体验。采用实时空间图像捕获，在终端进行智能数据分析，完成三维重建，得到轻量化空间模型并渲染出图，提高了全屋装维的效率，使得用户能够在移动智能终端根据需求选择自动三维场景设计或手动添加全屋设备操作，推动AI三维建模技术与全屋智能领域的结合，三维建模方法实现用户虚拟装维，具有强大的视觉表达能力与系统交互体验。

Description

三维重建的全屋虚拟装维方法、装置、设备及存储介质
技术领域
本发明涉及计算机建模技术领域，尤其涉及一种三维重建的全屋虚拟装维方法、装置、设备及存储介质。
背景技术
空间三维建模是计算机视觉领域一个重要且热门的研究方向，其在家用机器人，房产租售，电商零售等方面应用广泛。三维空间重建包含摄影测量设备，三维空间重建工具与云端数据处理平台三部分，通过对空间实景的摄影及重构，实现空间的三维模型构建。
目前三维空间场景重建通常采用SLAM方法。其中单目SLAM方法依赖相机移动采集连续图像代替人工标定过程，通过摄像机采集的多帧二维图像进行场景建图，其基础技术方案如图1所示，包括以下步骤：1)单目摄像头获取连续图片并采用算法提取关键帧图片；2)提取图片相应特征点U(x,y)，并对图像去畸；3)对步骤2)中的去畸特征点进行归一化并构建初始深度；4)构建每个特征点对应的地图点获取初始地图；5)将后续相邻帧的匹配结果执行SLAM流程对当前地图进行优化；6)进行闭环检测。通过优化各部分性能，进行精度高、点云稠密的三维空间场景模型构建与显示。但单目SLAM算法模型庞大，对算力、存储和带宽要求很高，往往需将采集数据传至云端数据处理平台，依赖存储在云端的预训练算法模型进行建模，获得稠密三维空间模型，再通过远程传输到达智能终端，模型重建过程较为繁琐，运用在在室内装维领域，家装公司及住户目前主要依赖室内设计师人工使用三维绘制软件进行空间设计，并逐步修改方案达到满意的装维效果，需要大量时间与沟通成本，使得全屋装维的效率较低。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种三维重建的全屋虚拟装维方法、装置、设备及存储介质，旨在解决现有技术全屋装维的效率较低的技术问题。
为实现上述目的，本发明提供了一种三维重建的全屋虚拟装维方法，所述三维重建的全屋虚拟装维方法包括以下步骤：
通过移动终端的摄像头采集的待装维待装维室内空间的图像集合和所述待装维待装维室内空间对应的预设三维基准；
根据所述图像集合和预设调整参数确定目标模型差异量；
根据所述目标模型差异量对所述预设基准三维模型进行重建，以获得目标三维模型；
接收用户输入的虚拟装维需求参数，按照所述虚拟装维需求参数和所述目标三维模型对所述待装维待装维室内空间进行虚拟装维。
可选地，所述根据所述图像集合和预设调整参数确定目标模型差异量之前，还包括：
获取所述待装维室内空间对应的历史图像集合，以及所述待装维室内空间对应的历史三维模型；
根据所述预设基准三维模型和所述历史三维模型确定历史模型差异量；
根据所述历史图像集合和所述历史模型差异量确定预设调整参数。
可选地，所述获取所述待装维室内空间对应的历史图像集合，包括：
获取终端采集的所述待装维室内空间的历史视频；
按照预设时间间隔依次从所述历史视频中提取多个历史视频帧图像；
从多个所述历史视频帧图像中筛选出多个历史图像对；
根据多个所述历史图像对构建所述待装维室内空间对应的历史图像集合。
可选地，所述从多个所述历史视频帧图像中筛选出多个历史图像对，包括：
从多个所述历史视频帧图像随机选取若干个当前视频帧图像；
根据所述历史视频帧图像确定所述当前视频帧图像对应的下一帧视频帧图像；
获取所述当前视频帧图像和所述下一帧视频帧图像之间的像素误差；
在所述像素误差大于第一误差阈值且小于第二误差阈值时，根据若干个当前视频帧图像和所述下一帧视频帧图像确定多个历史图像对。
可选地，所述根据所述历史图像集合和所述历史模型差异量确定预设调整参数，包括：
获取所述历史三维模型对应的模型二维特征点，以及所述历史图像集合对应的历史待装维室内空间二维特征点；
根据所述模型二维特征点、所述历史待装维室内空间二维特征点以及所述历史模型差异量确定预设调整参数。
可选地，所述获取所述历史三维模型对应的模型二维特征点，包括：
获取所述历史图像集合中各个历史图像对的像素点坐标，以及所述历史三维模型对应的三维特征点；
根据所述像素点坐标和所述待装维室内空间对应的世界坐标确定投影矩阵；
根据所述三维特征点、所述投影矩阵以及预设参数确定所述历史三维模型对应的模型二维特征点。
可选地，所述根据所述目标模型差异量对所述预设基准三维模型进行重建，以获得目标三维模型之后，还包括：
获取所述目标三维模型对应的目标二维特征点，以及所述图像集合对应的待装维室内空间二维特征点；
获取所述目标二维特征点与所述待装维室内空间二维特征点之间的距离差值；
在所述距离差值大于或等于预设距离阈值时，对所述预设调整参数进行重新训练。
此外，为实现上述目的，本发明还提出一种三维重建的全屋虚拟装维装置，所述三维重建的全屋虚拟装维装置包括：
获取模块，用于通过移动终端的摄像头采集的待装维待装维室内空间的图像集合和所述待装维待装维室内空间对应的预设三维基准；
运算模块，用于根据所述图像集合和预设调整参数确定目标模型差异量；
重建模块，用于根据所述目标模型差异量对所述预设基准三维模型进行重建，以获得目标三维模型；
处理模块，用于接收用户输入的虚拟装维需求参数，按照所述虚拟装维需求参数和所述目标三维模型对所述待装维待装维室内空间进行虚拟装维。
此外，为实现上述目的，本发明还提出一种三维重建的全屋虚拟装维设备，所述三维重建的全屋虚拟装维设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的三维重建的全屋虚拟装维程序，所述三维重建的全屋虚拟装维程序配置为实现如上文所述的三维重建的全屋虚拟装维方法。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有三维重建的全屋虚拟装维程序，所述三维重建的全屋虚拟装维程序被处理器执行时实现如上文所述的三维重建的全屋虚拟装维方法。
本发明通过移动终端的摄像头采集的待装维待装维室内空间的图像集合和所述待装维待装维室内空间对应的预设三维基准；根据所述图像集合和预设调整参数确定目标模型差异量；根据所述目标模型差异量对所述预设基准三维模型进行重建，以获得目标三维模型；接收用户输入的虚拟装维需求参数，按照所述虚拟装维需求参数和所述目标三维模型对所述待装维待装维室内空间进行虚拟装维，基于待装维室内空间的图像集合和预设参数对预设基准模型进行调整，从而得到待装维室内空间对应的三维模型，大大简化了模型重建过程，同时根据训练完成的三维模型并结合用户需求进行虚拟装维，也大大提高了全屋虚拟装维的效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的三维重建的全屋虚拟装维设备的结构示意图；
图2为本发明三维重建的全屋虚拟装维方法第一实施例的流程示意图；
图3为本发明三维重建的全屋虚拟装维方法三维建模基本模块示意图；
图4为本发明三维重建的全屋虚拟装维方法基于终端的轻量级网络基础模型示意图；
图5为本发明三维重建的全屋虚拟装维方法第二实施例的流程示意图；
图6为本发明三维重建的全屋虚拟装维装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的三维重建的全屋虚拟装维设备结构示意图。
如图1所示，该三维重建的全屋虚拟装维设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对三维重建的全屋虚拟装维设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及三维重建的全屋虚拟装维程序。
在图1所示的三维重建的全屋虚拟装维设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明三维重建的全屋虚拟装维设备中的处理器1001、存储器1005可以设置在三维重建的全屋虚拟装维设备中，所述三维重建的全屋虚拟装维设备通过处理器1001调用存储器1005中存储的三维重建的全屋虚拟装维程序，并执行本发明实施例提供的三维重建的全屋虚拟装维方法。
本发明实施例提供了一种三维重建的全屋虚拟装维方法，参照图2，图2为本发明一种三维重建的全屋虚拟装维方法第一实施例的流程示意图。
本实施例中，所述三维重建的全屋虚拟装维方法包括以下步骤：
步骤S10：通过移动终端的摄像头采集的待装维待装维室内空间的图像集合和所述待装维待装维室内空间对应的预设三维基准。
需要说明的是，本实施例的执行主体可以是三维重建的全屋虚拟装维设备，三维重建的全屋虚拟装维设备可以是个人电脑、服务器或车载终端等电子设备，还可以为其他可实现相同或相似功能的设备或服务器，本实施例对此不加以限制，在本实施例及下述各实施例中，以三维重建的全屋虚拟装维设备为例对本发明三维重建的全屋虚拟装维方法进行说明。
需要说明的是，现有技术中是通过单目摄像头获取连续图片并采用算法提取关键帧图片，提取图片相应特征点U(x,y)，并对图像去畸，对去畸特征点进行归一化并构建初始深度，构建每个特征点对应的地图点获取初始地图，将后续相邻帧的匹配结果执行SLAM流程对当前地图进行优化，进行闭环检测，繁琐的过程使得模型重建用时较长。而本实施例中是通过对预设基准三维模型进行调整的方式简化模型重建的过程，根据预先设置的调整参数调整预设基准模型，在需要重建不同的待装维室内空间的三维模型时，只需要得到待装维室内空间的图像集合即可，然后根据需要重建三维模型的待装维室内空间的图像集合并集合预设调整参数对预设基准三维模型进行调整，便可得到待装维室内空间对应的目标三维模型。
在本实施例中，三维重建的全屋虚拟装维设备中设置有用于三维模型重建的基本模块，如图3所示，该基本模块包括一图像处理单元、一三维空间重建单元及一初始化三维形状先验本地更新模块，图像处理单元包括输入帧处理单元与关键点提取单元，RGB图像连接图像处理的输入端，三维空间重建单元的输入端与关键点提取单元输出端相连，初始化三维形状先验本地更新模块的输入端为利用移动设备采集的房屋空间三维形状数据，输出端与三维空间重建单元的输入端相连。进一步地，本实施例中可基于用户输入的三维模型重建指令获取待装维室内空间的图像集合以及预设基准三维模型，也可以设置一预设时间，在达到预设时间时，自动获取待装维室内空间的图像集合以及预设基准三维模型，本实施例中预设时间以及待装维室内空间的图像集合以及预设基准三维模型的获取方式可以根据实际情况进行相应地设置，本实施对此不加以限制。进一步地如图4所示，本实施例中三维重建的全屋虚拟装维设备内设有基于终端的轻量级网络基础模型，可用于三维模型的重建，通过对网络进行有监督训练，获取使损失函数最小时的网络模型，该模型可以部署在终端进行计算，运算所需代价小。其网络模型如图3所示，网络由卷积层，ROI池化层与全连接层组成，采用同时优化均方误差与中心损失函数训练网络模型，获得最终网络模型。
步骤S20：根据所述图像集合和预设调整参数确定目标模型差异量。
需要说明的是，终端所采集的图像集合为待装维室内空间对应的二维图像的集合，根据该图像集合可以确定待装维室内空间对应的二维特征点，同时再集合预设二维特征点，预设二维特征点为预设基准三维模型对应的二维特征点，预设三维模型可以根据实际建模需求进行相应地选择，本实施例对此不加以限制。在得到待装维室内空间对应的二维特征点和预设二维特征点之后，结合预设调整参数可以确定目标模型差异量，目标模型差异量为所要重建的待装维室内空间的三维模型与预设基准模型之间的模型差异量，预设调整参数可以设置为一系列回归器，还可以根据实际情况选择其他参数，本实施例对此不加以限制。具体地，本实施例中是按照如下关系式St＝Sys+W(U*,U)计算目标模型差异量，其中，W为预设调整参数，预设调整参数采用回归器，U*为待装维室内空间对应的二维特征点，U为预设基准三维模型对应的预设二维特征点，Sys为预设基准模型，St为目标三维模型，根据W(U*，U)可以得到St与Sys之间的目标模型差异量。
重建过程中使用的K个回归器(预设调整参数)，通过训练过程得到，最小化误差函数式
Figure BDA0003129534100000071
使得该式最小化时的Wk即为最终求得的回归器。其中一组
Figure BDA0003129534100000072
代表一个训练样本，包含这个对象的一个真实三维形状
Figure BDA0003129534100000073
及图像集合中对应每张图像的标准特征点
Figure BDA0003129534100000074
理论上来说，优化过程中获得的迭代器可以最小化整个三维重建过程全部的误差，不仅仅只是二维空间中特征点的误差。在本实施例中使用线性回归器Wk∈R3q×2l。
Figure BDA0003129534100000081
可以利用线性回归的解析法求解优化，以函数的一般形式展开并对函数求导，当一阶导等于零向量时求得二次函数的最小值如下：Wk＝△Sk(△Uk)T(△Uk(△Uk)T+λI)-1，其中，△Uk＝U*-Uk分别表示三维形状的更新量及二维特征点的误差。S∈Rm×3q是m组训练样本中包含的三维形状的集合，U∈Rm×2l是m组训练样本中的二维特征点级联所形成的向量的集合。△Uk(△Uk-1)T是可逆向量，需加上一个带权重的单位矩阵λI，λ是一个很小的常数，I为单位阵。我们将矩阵△Uk(△Uk)T+λI进行QR分解，得到正交矩阵与一个上三角阵从而加速求逆运算。
步骤S30：根据所述目标模型差异量对所述预设基准三维模型进行重建，以获得目标三维模型。
在具体实施中，在得到目标模型差异量之后，可根据步骤S20中提出的关系式可以对预设基准三维模型Sys进行调整，根据W(U*，U)将Sys调整为目标三维模型St。
进一步地，为了使得生成的目标三维模型更加准确，在本实施例中，所述步骤S30之后还包括：获取所述目标三维模型对应的目标二维特征点，以及所述图像集合对应的待装维室内空间二维特征点；获取所述目标二维特征点与所述待装维室内空间二维特征点之间的距离差值；在所述距离差值大于或等于预设距离阈值时，对所述预设调整参数进行重新训练。
需要说明的是，预设调整参数是经过训练所得到的，但是可能存在不适合当前待装维室内空间的情况，在得到目标三维模型之后，对目标三维模型进行误差检测，本实施例中是将三维模型转换为二维特征点，通过比较二维特征点之间的距离差值，从而对目标三维模型进行误差检测。本实施例中距离差值可按照如下公式进行计算，
Figure BDA0003129534100000082
其中，U*为待装维室内空间二维特征点，
Figure BDA0003129534100000083
为目标三维模型对应的目标二维特征点，
Figure BDA0003129534100000084
通过Si、Pi以及Ri合并得到，Si代表归一化坐标时的缩放因子，Pi是投影矩阵，Ri表示旋转矩阵。预设距离差值可以根据实际情况进行相应地设置，本实施例中对此不加以限制。
步骤S40：接收用户输入的虚拟装维需求参数，按照所述虚拟装维需求参数和所述目标三维模型对所述待装维待装维室内空间进行虚拟装维。
容易理解的是，本实施例中是基于待装维室内空间对应的三维模型对待装维室内空间进行虚拟装维，因此在完成三维模型的构建之后，根据此三维模型添加相应的参数即可完成虚拟装维。具体地，本实施例中是从用户输入的指令中提取虚拟装维需求参数，然后按照具体需求参数基于目标三维模型添加需要场景物体等即可。
本实施例通过移动终端的摄像头采集的待装维待装维室内空间的图像集合和所述待装维待装维室内空间对应的预设三维基准；根据所述图像集合和预设调整参数确定目标模型差异量；根据所述目标模型差异量对所述预设基准三维模型进行重建，以获得目标三维模型；接收用户输入的虚拟装维需求参数，按照所述虚拟装维需求参数和所述目标三维模型对所述待装维待装维室内空间进行虚拟装维，基于待装维室内空间的图像集合和预设参数对预设基准模型进行调整，从而得到待装维室内空间对应的三维模型，大大简化了模型重建过程，同时根据训练完成的三维模型并结合用户需求进行虚拟装维，也大大提高了全屋虚拟装维的效率。
参考图5，图5为本发明一种三维重建的全屋虚拟装维方法第二实施例的流程示意图。
基于上述第一实施例，本实施例三维重建的全屋虚拟装维方法在所述步骤S20之前，还包括：
步骤S020：获取所述待装维室内空间对应的历史图像集合，以及所述待装维室内空间对应的历史三维模型。
容易理解的是，本实施例中预设调整参数为三维模型重建中的重要参数，在对预设基准三维模型进行重建之前，需要确定预设调整参数。本实施例中是基于历史数据，然后通过训练的方式从而确定预设调整参数。历史数据包括待装维室内空间对应的历史图像集合和预设基准三维模型，本实施例中所采用的预设基准三维模型和上述步骤S10中所采用的预设基准三维模型一致，同样地，预设基准三维模型可以根据实际重建需求进行相应地选择，本实施例对此不加以限制。
进一步地，本实施例中为了能够准确获取到的待装维室内空间对应的历史图像集合，可以按照如下方式实现：获取终端采集的所述待装维室内空间的历史视频；按照预设时间间隔依次从所述历史视频中提取多个历史视频帧图像；从多个所述历史视频帧图像中筛选出多个历史图像对；根据多个所述历史图像对构建所述待装维室内空间对应的历史图像集合。
需要说明的是，历史图像集合中包含的是多个历史图像对，本质上也是一种二维图像，而终端所采集的是待装维室内空间的历史视频，基于该历史视频，本实施例按照预设时间间隔依次从历史视频中提取历史视频帧图像，预设时间间隔可以设置为5秒，也可以设置为10秒，当然还将可以设置为其他时间间隔，可以根据实际情况进行相应地选择，本实施例对此不加以限制。历史图像对是由两个历史视频帧图像组成，而并非所有的历史视频图像都能构成历史图像对，需要经过筛选后，将符合条件的历史视频帧图像组成历史图像对，在得到多个历史图像对之后，即可得到待装维室内空间对应的历史图像集合。本实施例中可将相邻帧的历史视频帧图像作为历史图像对，还可以按照其他方式对历史视频帧进行筛选，本实施例对此不加以限制，可以根据实际筛选需求进行相应地设置。
进一步地，本实施例为了更加准确地对历史图像对进行筛选，所述从多个所述历史视频帧图像中筛选出多个历史图像对的过程具体包括：从多个所述历史视频帧图像随机选取若干个当前视频帧图像；根据所述历史视频帧图像确定所述当前视频帧图像对应的下一帧视频帧图像；获取所述当前视频帧图像和所述下一帧视频帧图像之间的像素误差；在所述像素误差大于第一误差阈值且小于第二误差阈值时，根据若干个当前视频帧图像和所述下一帧视频帧图像确定多个历史图像对。
需要说明的是，筛选的过程是任意选一个视频帧图像作为当前视频帧图像，然后将当前视频帧图像与下一帧视频帧图像进行比对，如果满足条件，则将当前视频帧图像与下一帧视频帧图像作为一组图像对，如果不满足条件，则继续将当前视频帧图像与下下一帧视频帧图像进行比对，直至满足条件，本实施例中根据两个历史视频帧图像之间的像素误差以判断是否满足作为历史图像对的条件。具体地，将像素误差分别与第一误差阈值和第二误差阈值进行比较，如果像素误差大于第一误差阈值且小于小于第二误差阈值，则判断满足作为历史图像对的条件，显而易见的是，本实施例中第一误差阈值小于第二误差阈值，具体误差阈值可以根据实际情况进行相应地设置，本实施例对此不加以限制。例如假设有若干个历史视频帧图像依次为A、B以及C，将视频帧图像A作为当前视频帧图像，B为A的下一帧视频帧图像，C为B的下一帧视频帧图像，先将A与B进行比较，如果A与B之间的像素误差大于第一误差阈值且小于小于第二误差阈值，则将A与B作为一组历史图像对，如果A与B之间的像素误差小于第一误差阈值或者大于第二误差阈值，则将A与C进行比较，如果A与C之间的像素误差大于第一误差阈值且小于小于第二误差阈值，则将A与C作为一组历史图像对。进一步地，以上述为例，如果A与B之间的像素误差小于第一误差阈值，则从A和B任选一张作为当前视频帧图像，然后再将所选择当前视频帧图像与C进行比较(A与C比较或B与C比较)；如果A与B之间的像素误差大于第二误差阈值，则按照上述方式将A与C进行比较。
步骤S120：根据所述预设基准三维模型和所述历史三维模型确定历史模型差异量。
在具体实施中，在确定预设基准三维模型和历史三维模型之后，将预设基准模型与历史三维模型进行模型比对，可以得到预设基准三维模型和历史三维模型之间的差异，也即历史模型差异量。
步骤S220：根据所述历史图像集合和所述历史模型差异量确定预设调整参数。
在具体实施中，历史模型差异量表示历史三维模型与预设基准模型之间的模型差异量，本实施例中通过二维特征点之间的差异同时结合三维模型差异从而确定预设调整参数，历史图像集合可以得到待装维室内空间对应的二维特征点，预设基准三维模型可以得到预设模型二维特征点。具体地，本实施例中步骤S220具体包括：获取所述历史三维模型对应的模型二维特征点，以及所述历史图像集合对应的历史待装维室内空间二维特征点；根据所述模型二维特征点、所述历史待装维室内空间二维特征点以及所述历史模型差异量确定预设调整参数。本实施例中可根据如下关系式Sk＝Sk-1+Wk(U*,Uk-1)确定预设调整参数Wk，U*为历史图像集合对应的历史待装维室内空间二维特征点，Uk-1为历史模型对应的模型二维点，Sk-1为预设基准模型，Sk为历史三维模型，Sk-Sk-1即为历史模型差异量，通过计算可以得到Wk。
进一步地，本实施例中所述获取所述历史三维模型对应的模型二维特征点具体包括：获取所述历史图像集合中各个历史图像对的像素点坐标，以及所述历史三维模型对应的三维特征点；根据所述像素点坐标和所述待装维室内空间对应的世界坐标确定投影矩阵；根据所述三维特征点、所述投影矩阵以及预设参数确定所述历史三维模型对应的模型二维特征点。
在具体实施中，可以根据图像集合中各个历史图像对的像素编号确定对应的像素点坐标，然后根据像素点坐标和世界坐标确定投影矩阵，可按照如下对应关系实现，
Figure BDA0003129534100000121
对该关系式进行变形可以得到
Figure BDA0003129534100000122
其中，
Figure BDA0003129534100000123
为像素坐标，
Figure BDA0003129534100000124
为世界坐标，
Figure BDA0003129534100000125
即为投影矩阵，然后再根据关系式U`i≈siPiRi(S`l+ti)可以得到历史三维模型对应的模型二维特征点，再运用此关系式时需要先假定相机与物体间的距离远大于焦距，其中si、Pi、Ri以及ti为预设参数，si代表归一化坐标时的缩放因子，Pi是投影矩阵，Ri表示旋转矩阵，ti为平移向量，在三维坐标和二维坐标已经归一化的情况下，si是一个实数，Ri∈R3×3为旋转矩阵，ti的每一列代表三维形状在空间中的平移量，可以看做为0。进一步地，其中结合形状先验对空间场景进行三维重建，初始化形状先验的角度，投影到二维平面计算其与当前关键帧中对应点的全局误差与局部误差，通过最小化两部分误差达到匹配全局形状与调整局部细节的目的，在计算机中用三维点云的空间坐标存储，
S`∈R3×q表示真实三维空间场景，齐次坐标表示为
Figure BDA0003129534100000126
其中S`中一个子集S`l，表示与关键帧提取的特征点一一对应的三维特征点。这些三维特征点在二维图像Ii上的投影表示为U`l∈R2×l，是二维坐标的集合，齐次坐标表示如下：
Figure BDA0003129534100000127
本实施例通过获取所述待装维室内空间对应的历史图像集合，以及所述待装维室内空间对应的历史三维模型；根据所述预设基准三维模型和所述历史三维模型确定历史模型差异量；根据所述历史图像集合和所述历史模型差异量确定预设调整参数，通过历史图像集合和历史三维模型可以训练出更加准确的预设调整参数，提高三维模型重建的准确性。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有三维重建的全屋虚拟装维程序，所述三维重建的全屋虚拟装维程序被处理器执行时实现如上文所述的三维重建的全屋虚拟装维方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
参照图6，图6为本发明三维重建的全屋虚拟装维装置第一实施例的结构框图。
如图6所示，本发明实施例提出的三维重建的全屋虚拟装维装置包括：
获取模块10，用于通过移动终端的摄像头采集的待装维待装维室内空间的图像集合和所述待装维待装维室内空间对应的预设三维基准；
运算模块20，用于根据所述图像集合和预设调整参数确定目标模型差异量；
重建模块30，用于根据所述目标模型差异量对所述预设基准三维模型进行重建，以获得目标三维模型；
处理模块40，用于接收用户输入的虚拟装维需求参数，按照所述虚拟装维需求参数和所述目标三维模型对所述待装维待装维室内空间进行虚拟装维。
本实施例通过移动终端的摄像头采集的待装维待装维室内空间的图像集合和所述待装维待装维室内空间对应的预设三维基准；根据所述图像集合和预设调整参数确定目标模型差异量；根据所述目标模型差异量对所述预设基准三维模型进行重建，以获得目标三维模型；接收用户输入的虚拟装维需求参数，按照所述虚拟装维需求参数和所述目标三维模型对所述待装维待装维室内空间进行虚拟装维，基于待装维室内空间的图像集合和预设参数对预设基准模型进行调整，从而得到待装维室内空间对应的三维模型，大大简化了模型重建过程，同时根据训练完成的三维模型并结合用户需求进行虚拟装维，也大大提高了全屋虚拟装维的效率。
在一实施例中，所述三维重建的全屋虚拟装维装置还包括：计算模块；
所述计算模块，用于获取所述待装维室内空间对应的历史图像集合，以及所述待装维室内空间对应的历史三维模型；根据所述预设基准三维模型和所述历史三维模型确定历史模型差异量；根据所述历史图像集合和所述历史模型差异量确定预设调整参数。
在一实施例中，所述计算模块，还用于获取终端采集的所述待装维室内空间的历史视频；按照预设时间间隔依次从所述历史视频中提取多个历史视频帧图像；从多个所述历史视频帧图像中筛选出多个历史图像对；根据多个所述历史图像对构建所述待装维室内空间对应的历史图像集合。
在一实施例中，所述计算模块，还用于从多个所述历史视频帧图像随机选取若干个当前视频帧图像；根据所述历史视频帧图像确定所述当前视频帧图像对应的下一帧视频帧图像；获取所述当前视频帧图像和所述下一帧视频帧图像之间的像素误差；在所述像素误差大于第一误差阈值且小于第二误差阈值时，根据若干个当前视频帧图像和所述下一帧视频帧图像确定多个历史图像对。
在一实施例中，所述计算模块，还用于获取所述历史三维模型对应的模型二维特征点，以及所述历史图像集合对应的历史待装维室内空间二维特征点；根据所述模型二维特征点、所述历史待装维室内空间二维特征点以及所述历史模型差异量确定预设调整参数。
在一实施例中，所述计算模块，还用于获取所述历史图像集合中各个历史图像对的像素点坐标，以及所述历史三维模型对应的三维特征点；根据所述像素点坐标和所述待装维室内空间对应的世界坐标确定投影矩阵；根据所述三维特征点、所述投影矩阵以及预设参数确定所述历史三维模型对应的模型二维特征点。
在一实施例中，所述三维重建的全屋虚拟装维装置还包括：调整模块；
所述调整模块，用于获取所述目标三维模型对应的目标二维特征点，以及所述图像集合对应的待装维室内空间二维特征点；获取所述目标二维特征点与所述待装维室内空间二维特征点之间的距离差值；在所述距离差值大于或等于预设距离阈值时，对所述预设调整参数进行重新训练。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的三维重建的全屋虚拟装维方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种三维重建的全屋虚拟装维方法，其特征在于，所述三维重建的全屋虚拟装维方法包括：
通过移动终端的摄像头采集的待装维待装维室内空间的图像集合和所述待装维待装维室内空间对应的预设三维基准；
根据所述图像集合和预设调整参数确定目标模型差异量；
根据所述目标模型差异量对所述预设基准三维模型进行重建，以获得目标三维模型；
接收用户输入的虚拟装维需求参数，按照所述虚拟装维需求参数和所述目标三维模型对所述待装维待装维室内空间进行虚拟装维。
2.如权利要求1所述的三维重建的全屋虚拟装维方法，其特征在于，所述根据所述图像集合和预设调整参数确定目标模型差异量之前，还包括：
获取所述待装维室内空间对应的历史图像集合，以及所述待装维室内空间对应的历史三维模型；
根据所述预设基准三维模型和所述历史三维模型确定历史模型差异量；
根据所述历史图像集合和所述历史模型差异量确定预设调整参数。
3.如权利要求2所述的三维重建的全屋虚拟装维方法，其特征在于，所述获取所述待装维室内空间对应的历史图像集合，包括：
获取终端采集的所述待装维室内空间的历史视频；
按照预设时间间隔依次从所述历史视频中提取多个历史视频帧图像；
从多个所述历史视频帧图像中筛选出多个历史图像对；
根据多个所述历史图像对构建所述待装维室内空间对应的历史图像集合。
4.如权利要求3所述的三维重建的全屋虚拟装维方法，其特征在于，所述从多个所述历史视频帧图像中筛选出多个历史图像对，包括：
从多个所述历史视频帧图像随机选取若干个当前视频帧图像；
根据所述历史视频帧图像确定所述当前视频帧图像对应的下一帧视频帧图像；
获取所述当前视频帧图像和所述下一帧视频帧图像之间的像素误差；
在所述像素误差大于第一误差阈值且小于第二误差阈值时，根据若干个当前视频帧图像和所述下一帧视频帧图像确定多个历史图像对。
5.如权利要求2所述的三维重建的全屋虚拟装维方法，其特征在于，所述根据所述历史图像集合和所述历史模型差异量确定预设调整参数，包括：
获取所述历史三维模型对应的模型二维特征点，以及所述历史图像集合对应的历史待装维室内空间二维特征点；
根据所述模型二维特征点、所述历史待装维室内空间二维特征点以及所述历史模型差异量确定预设调整参数。
6.如权利要求5所述的三维重建的全屋虚拟装维方法，其特征在于，所述获取所述历史三维模型对应的模型二维特征点，包括：
获取所述历史图像集合中各个历史图像对的像素点坐标，以及所述历史三维模型对应的三维特征点；
根据所述像素点坐标和所述待装维室内空间对应的世界坐标确定投影矩阵；
根据所述三维特征点、所述投影矩阵以及预设参数确定所述历史三维模型对应的模型二维特征点。
7.如权利要求1至6中任一项所述的三维重建的全屋虚拟装维方法，其特征在于，所述根据所述目标模型差异量对所述预设基准三维模型进行重建，以获得目标三维模型之后，还包括：
获取所述目标三维模型对应的目标二维特征点，以及所述图像集合对应的待装维室内空间二维特征点；
获取所述目标二维特征点与所述待装维室内空间二维特征点之间的距离差值；
在所述距离差值大于或等于预设距离阈值时，对所述预设调整参数进行重新训练。
8.一种三维重建的全屋虚拟装维装置，其特征在于，所述三维重建的全屋虚拟装维装置包括：
获取模块，用于通过移动终端的摄像头采集的待装维待装维室内空间的图像集合和所述待装维待装维室内空间对应的预设三维基准；
运算模块，用于根据所述图像集合和预设调整参数确定目标模型差异量；
重建模块，用于根据所述目标模型差异量对所述预设基准三维模型进行重建，以获得目标三维模型；
处理模块，用于接收用户输入的虚拟装维需求参数，按照所述虚拟装维需求参数和所述目标三维模型对所述待装维待装维室内空间进行虚拟装维。
9.一种三维重建的全屋虚拟装维设备，其特征在于，所述三维重建的全屋虚拟装维设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的三维重建的全屋虚拟装维程序，所述三维重建的全屋虚拟装维程序配置为实现如权利要求1至7中任一项所述的三维重建的全屋虚拟装维方法。
10.一种存储介质，其特征在于，所述存储介质上存储有三维重建的全屋虚拟装维程序，所述三维重建的全屋虚拟装维程序被处理器执行时实现如权利要求1至7任一项所述的三维重建的全屋虚拟装维方法。
CN202110702746.7A 2021-06-23 2021-06-23 三维重建的全屋虚拟装维方法、装置、设备及存储介质 Active CN113240802B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110702746.7A CN113240802B (zh) 2021-06-23 2021-06-23 三维重建的全屋虚拟装维方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110702746.7A CN113240802B (zh) 2021-06-23 2021-06-23 三维重建的全屋虚拟装维方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113240802A true CN113240802A (zh) 2021-08-10
CN113240802B CN113240802B (zh) 2022-11-15

Family

ID=77140716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110702746.7A Active CN113240802B (zh) 2021-06-23 2021-06-23 三维重建的全屋虚拟装维方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113240802B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120113106A1 (en) * 2010-11-04 2012-05-10 Electronics And Telecommunications Research Institute Method and apparatus for generating face avatar
CN107203962A (zh) * 2016-03-17 2017-09-26 掌赢信息科技（上海）有限公司 一种利用2d图片制作伪3d图像的方法及电子设备
CN108550185A (zh) * 2018-05-31 2018-09-18 Oppo广东移动通信有限公司 人脸美化处理方法和装置
US20190026956A1 (en) * 2012-02-24 2019-01-24 Matterport, Inc. Employing three-dimensional (3d) data predicted from two-dimensional (2d) images using neural networks for 3d modeling applications and other applications
CN109325437A (zh) * 2018-09-17 2019-02-12 北京旷视科技有限公司 图像处理方法、装置和系统
CN109377544A (zh) * 2018-11-30 2019-02-22 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法、装置和可读介质
TWI660255B (zh) * 2018-01-19 2019-05-21 所羅門股份有限公司 Workpiece processing method and processing system
CN110288705A (zh) * 2019-07-02 2019-09-27 北京字节跳动网络技术有限公司 生成三维模型的方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120113106A1 (en) * 2010-11-04 2012-05-10 Electronics And Telecommunications Research Institute Method and apparatus for generating face avatar
US20190026956A1 (en) * 2012-02-24 2019-01-24 Matterport, Inc. Employing three-dimensional (3d) data predicted from two-dimensional (2d) images using neural networks for 3d modeling applications and other applications
CN107203962A (zh) * 2016-03-17 2017-09-26 掌赢信息科技（上海）有限公司 一种利用2d图片制作伪3d图像的方法及电子设备
TWI660255B (zh) * 2018-01-19 2019-05-21 所羅門股份有限公司 Workpiece processing method and processing system
CN108550185A (zh) * 2018-05-31 2018-09-18 Oppo广东移动通信有限公司 人脸美化处理方法和装置
CN109325437A (zh) * 2018-09-17 2019-02-12 北京旷视科技有限公司 图像处理方法、装置和系统
CN109377544A (zh) * 2018-11-30 2019-02-22 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法、装置和可读介质
CN110288705A (zh) * 2019-07-02 2019-09-27 北京字节跳动网络技术有限公司 生成三维模型的方法和装置

Also Published As

Publication number Publication date
CN113240802B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
JP7295906B2 (ja) ニューラルネットワークを使用したシーンの理解および生成
CN110135455B (zh) 影像匹配方法、装置及计算机可读存储介质
US10255686B2 (en) Estimating depth from a single image
CN109389665B (zh) 三维模型的纹理获取方法、装置、设备和存储介质
CN108121931B (zh) 二维码数据处理方法、装置及移动终端
US11823322B2 (en) Utilizing voxel feature transformations for view synthesis
CN110276768B (zh) 图像分割方法、图像分割装置、图像分割设备及介质
CN109685873B (zh) 一种人脸重建方法、装置、设备和存储介质
US11443481B1 (en) Reconstructing three-dimensional scenes portrayed in digital images utilizing point cloud machine-learning models
WO2022052782A1 (zh) 图像的处理方法及相关设备
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN116051747A (zh) 一种基于缺失点云数据的房屋三维模型重建方法及设备、介质
JP2024507727A (ja) 潜在変数で条件付けた幾何学的形状認識ニューラルネットワークを使用した、シーンの新規画像のレンダリング
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
CN110111364B (zh) 运动检测方法、装置、电子设备及存储介质
CN117593702B (zh) 远程监控方法、装置、设备及存储介质
CN113902802A (zh) 视觉定位方法及相关装置、电子设备和存储介质
CN113240802B (zh) 三维重建的全屋虚拟装维方法、装置、设备及存储介质
CN111696167A (zh) 自范例学习引导的单张影像超分辨率重构方法
Englert et al. Enhancing the ar experience with machine learning services
Halperin et al. Clear Skies Ahead: Towards Real‐Time Automatic Sky Replacement in Video
Treible et al. Learning dense stereo matching for digital surface models from satellite imagery
CN114549319A (zh) 图像处理方法、装置、电子设备、存储介质和程序
Yue et al. High-dimensional camera shake removal with given depth map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant