CN112598780B - 实例对象模型构建方法及装置、可读介质和电子设备 - Google Patents

实例对象模型构建方法及装置、可读介质和电子设备 Download PDF

Info

Publication number
CN112598780B
CN112598780B CN202011408772.0A CN202011408772A CN112598780B CN 112598780 B CN112598780 B CN 112598780B CN 202011408772 A CN202011408772 A CN 202011408772A CN 112598780 B CN112598780 B CN 112598780B
Authority
CN
China
Prior art keywords
point cloud
cloud data
instance object
panoramic image
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011408772.0A
Other languages
English (en)
Other versions
CN112598780A (zh
Inventor
杨宇尘
李姬俊男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011408772.0A priority Critical patent/CN112598780B/zh
Publication of CN112598780A publication Critical patent/CN112598780A/zh
Application granted granted Critical
Publication of CN112598780B publication Critical patent/CN112598780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Abstract

本公开提供一种实例对象模型构建方法及装置、可读介质和电子设备，涉及增强现实技术领域。该方法包括：获取当前环境对应的全景图像帧；基于所述全景图像帧对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据；对所述全景图像帧进行语义分割处理，确定所述全景图像帧中的实例对象对应的图像区域；通过所述图像区域与所述环境点云数据之间的映射关系，构建所述实例对象对应的实例对象点云数据，以通过所述实例对象点云数据构建实例对象模型。本公开能够将现实环境中的实例对象构建成实例对象模型，以便于进一步的编辑处理，提升实例对象模型的构建效率，以及提高模型的准确性和真实性。

Description

实例对象模型构建方法及装置、可读介质和电子设备
技术领域
本公开涉及增强现实技术领域，具体涉及一种实例对象模型构建方法、实例对象模型构建装置、计算机可读介质和电子设备。
背景技术
伴随着人们生活水平的不断提高，增强现实技术(Augmented Reality，AR)越来越得到人们的广泛关注。
目前，通过虚拟现实技术还原真实环境例如AR看房、AR房屋装修等技术方案中，一般是由专业的建模人员，根据用户提供的真实环境的图片对真实环境进行建模，以构建真实环境的虚拟场景。但是，这种技术方案中，一方面，由建模人员依据真实环境的图片进行虚拟场景的构建，不仅构建效率低下，而且在一些特殊场景如AR看房的场景中，由于每套房间都有不同的设计，需要构建大量的虚拟场景，浪费大量人力物力；另一方面，由建模人员构建的虚拟场景，一般不能由用户进行自由编辑，复用效果较差，并且虚拟场景的真实性以及准确性较差，影响用户的使用体验。
发明内容
本公开的目的在于提供一种实例对象模型构建方法、实例对象模型构建装置、计算机可读介质和电子设备，进而至少在一定程度上克服相关技术中真实环境构建效率较低、准确性以及真实性较差、不能由用户自由编辑的问题。
根据本公开的第一方面，提供一种实例对象模型构建方法，包括：
获取当前环境对应的全景图像帧；
基于所述全景图像帧对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据；
对所述全景图像帧进行语义分割处理，确定所述全景图像帧中的实例对象对应的图像区域；
通过所述图像区域与所述环境点云数据之间的映射关系，构建所述实例对象对应的实例对象点云数据，以通过所述实例对象点云数据构建实例对象模型。
根据本公开的第二方面，提供一种实例对象模型构建装置，包括：
环境图像帧获取模块，用于获取当前环境对应的全景图像帧；
环境点云数据生成模型，用于基于所述全景图像帧对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据；
实例对象分割模块，用于对所述全景图像帧进行语义分割处理，确定所述全景图像帧中的实例对象对应的图像区域；
实例对象模型构建模型，用于通过所述图像区域与所述环境点云数据之间的映射关系，构建所述实例对象对应的实例对象点云数据，以通过所述实例对象点云数据构建实例对象模型。
根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。
根据本公开的第四方面，提供一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。
本公开的一种实施例所提供的实例对象模型构建方法，获取当前环境对应的全景图像帧；基于全景图像帧对当前环境进行三维重建处理，得到当前环境对应的环境点云数据；对全景图像帧进行语义分割处理，确定全景图像帧中的实例对象对应的图像区域；通过图像区域与环境点云数据之间的映射关系，构建实例对象对应的实例对象点云数据，以通过实例对象点云数据构建实例对象模型。一方面，对较容易获取的全景图像帧进行三维重建，然后基于构建的环境点云数据构建实例对象点云数据，进而根据实例对象点云数据生成实例对象模型，不需要专业的建模人员参与，自动实现当前环境的模型的构建，有效提升模型的构建效率；另一方面，在构建得到当前环境对应的实例对象模型之后，可以将实例对象模型进行导出，由用户进行自由编辑，在AR看房、AR房屋装修等场景中，有效提升构建的实例对象模型的复用率，避免资源的浪费；再一方面，根据从全景图像帧进行语义分割得到的实例对象对应的图像区域，以及当前环境对应全局的环境点云数据构建实例对象模型，提高实例对象模型的准确性以及真实性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；
图2示出了可以应用本公开实施例的一种电子设备的示意图；
图3示意性示出本公开示例性实施例中一种实例对象模型构建方法的流程图；
图4示意性示出本公开示例性实施例中一种根据特征数据进行三维重建处理的流程图；
图5示意性示出本公开示例性实施例中一种构建全景图像帧对应的词袋特征向量的流程图；
图6示意性示出本公开示例性实施例中一种根据词袋特征向量进行三维重建处理的流程图；
图7示意性示出本公开示例性实施例中一种构建实例对象点云数据的流程图；
图8示意性示出本公开示例性实施例中另一种构建实例对象点云数据的流程图；
图9示意性示出本公开示例性实施例中实例对象模型构建装置的组成示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种实例对象模型构建方法及装置的示例性应用环境的系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备，包括但不限于包含全景相机的建图设备、具有图像采集单元的台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
本公开实施例所提供的实例对象模型构建方法一般由终端设备101、102、103中执行，相应地，实例对象模型构建装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是，本公开实施例所提供的实例对象模型构建方法也可以由服务器105执行，相应的，实例对象模型构建装置也可以设置于服务器105中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，可以是用户通过终端设备101、102、103采集当前环境对应的全景图像帧，然后将全景图像帧上传至服务器105，服务器105通过本公开实施例所提供的实例对象模型构建方法生成实例对象模型后，将实例对象模型传输给终端设备101、102、103等。
本公开的示例性实施方式提供一种用于实现实例对象模型构建方法的电子设备，其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行实例对象模型构建方法。
下面以图2中的移动终端200为例，对电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端200的结构限定。在另一些实施方式中，移动终端200也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。
如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(subscriber identification module，SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803等。
处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
NPU为神经网络(Neural-Network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现移动终端200的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
处理器210中设置有存储器。存储器可以存储用于实现六个模块化功能的指令：检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令，并由处理器210来控制执行。
充电管理模块240用于从充电器接收充电输入。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。
移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。其中，天线1和天线2用于发射和接收电磁波信号；移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案；调制解调处理器可以包括调制器和解调器；无线通信模块260可以提供应用在移动终端200上的包括无线局域网(Wireless Local Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)等无线通信的解决方案。在一些实施例中，移动终端200的天线1和移动通信模块250耦合，天线2和无线通信模块260耦合，使得移动终端200可以通过无线通信技术与网络以及其他设备通信。
移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
移动终端200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。其中，ISP用于处理摄像模组291反馈的数据；摄像模组291用于捕获静态图像或视频，例如摄像模组291可以是全景相机；数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号；视频编解码器用于对数字视频压缩或解压缩，移动终端200还可以支持一种或多种视频编解码器。
外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展移动终端200的存储能力。外部存储卡通过外部存储器接口222与处理器210通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(Universal Flash Storage，UFS)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端200的各种功能应用以及数据处理。
移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。
深度传感器2801用于获取景物的深度信息。在一些实施例中，深度传感器可以设置于摄像模组291。
压力传感器2802用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器2802可以设置于显示屏290。压力传感器2802的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。
陀螺仪传感器2803可以用于确定移动终端200的运动姿态。在一些实施方式中，可以通过陀螺仪传感器2803确定移动终端200围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器2803可以用于拍摄防抖、导航、体感游戏场景等。
此外，还可以根据实际需要在传感器模块280中设置其他功能的传感器，例如气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等。
移动终端200中还可包括其它提供辅助功能的设备。例如，按键294包括开机键，音量键等，用户可以通过按键输入，产生与移动终端200的用户设置以及功能控制有关的键信号输入。再如，指示器292、马达293、SIM卡接口295等。
下面以终端设备执行本公开示例性实施方式的实例对象模型构建方法为例进行具体说明。
图3示出了本示例性实施方式中一种实例对象模型构建方法的流程图，可以包括以下步骤S310至步骤S340：
在步骤S310中，获取当前环境对应的全景图像帧。
在一示例性实施例中，当前环境可以是指需要构建成虚拟环境的场景，例如，在AR看房的场景中，当前环境可以是需要构建成虚拟环境的房屋环境，在AR导航的场景中，当前环境可以是需要构建成虚拟环境的道路环境，当然，当前环境还可以是其他需要构建成虚拟环境的场景，本示例实施例对此不做特殊限定。
全景图像帧可以是采集的描述当前环境全局特征的图像帧，全景图像帧可以包含当前环境对应的纹理信息以及深度信息，例如，全景图像帧可以是全景相机采集的当前环境对应的全景视频，并对全景视频进行切分后得到的图像帧，也可以是通过能够采集深度信息的终端设备如包含TOF(Time of flight)镜头的智能手机采集的当前环境对应的全景视频，并对全景视频进行切分后得到的图像帧，当然，全景图像帧还可以是其他方式采集的描述当前环境全局特征的图像帧，本示例实施例不以此为限。
在步骤S320中，基于所述全景图像帧对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据。
在一示例性实施例中，三维重建处理是指将全景图像帧进行处理生成当前环境对应的环境点云数据的处理过程，例如，可以将全景图像帧输入到Colmap中得到当前环境对应的环境点云数据，其中，Colmap是一种通用的动态结构(SfM)和多视图立体声(MVS)管道，具有图形和命令行界面，可以方便的对一系列二维图片进行三维重建而不需要对摄像机进行标定，只需要从不同角度对重建场景或物体进行拍摄得到一系列图像作为输入；也可以将全景图像帧输入到openMVG中得到当前环境对应的环境点云数据，其中，openMVG是一款开源的SFM软件，可以利用多张任意拍摄目标场景的图片，重建目标场景的三维模型；当然，三维重建处理还可以是其他将全景图像帧进行处理生成当前环境对应的环境点云数据的处理过程，本示例实施例对此不做特殊限定。
环境点云数据可以是描述当前环境在三维空间中的特征的点云数据，点云数据(Point Cloud Data)是指在一个三维坐标系统中的一组向量的集合，扫描资料以点的形式记录，每一个点包含有三维坐标，环境点云数据可以包括有颜色信息(RGB)或反射强度信息(Intensity)等，本示例实施例不以此为限。
在步骤S330中，对所述全景图像帧进行语义分割处理，确定所述全景图像帧中的实例对象对应的图像区域。
在一示例性实施例中，语义分割处理是指对全景图像帧中属于不同对象的图像区域进行区别的处理过程，其中，图像语义分割(Semantic Segmentation)是图像处理和是机器视觉技术中关于图像理解的重要一环，语义分割即是对图像中每一个像素点进行分类，确定每个像素点的类别(如AR看房场景中属于桌子、椅子或墙壁等的情况、或者智能驾驶场景中属于背景、人或车等的情况)，从而进行图像区域划分。
实例对象可以是指全景图像帧对应的场景中不同的真实物品，例如，在AR看房场景中，桌子、椅子或墙壁等均可以是房屋环境中的实例对象，又例如，在智能驾驶场景中，人、车或路障等均可以是驾驶环境中的实例对象，当然，还可以是其他场景环境中的真实存在的对象或者物品，本示例实施例对此不做特殊限定。
在步骤S340中，通过所述图像区域与所述环境点云数据之间的映射关系，构建所述实例对象对应的实例对象点云数据，以通过所述实例对象点云数据构建实例对象模型。
在一示例性实施例中，实例对象点云数据是指全景图像帧中的实例对象对应的点云数据，实例对象模型可以是根据实例对象点云数据构建的、可以导出后由用户进行自由编辑调整的三维虚拟模型。由于环境点云数据是根据全景图像帧构建的当前环境对应的全局点云数据，进而根据图像区域与环境点云数据之间的映射关系，能够使得到的实例对象点云数据或者实例对象模型更加真实、更加准确，提升实例对象模型的真实感，提升实例对象模型的表现效果。
下面对图3中的步骤S310至步骤S340进行进一步说明。
在一示例性实施例中，在基于全景图像帧对当前环境进行三维重建处理之前，还可以对全景图像帧进行降采样处理，生成分辨率较低的全景图像帧，进而，可以根据分辨率较低的全景图像帧的分辨率参数确定采集的尺度数量，然后根据确定的尺度数量采集当前环境在不同尺度下的全景图像帧。具体的，尺度数量可以由全景图像帧的分辨率参数决定，可以表示为关系式(1)：
其中，Noctave可以表示尺度数量，round可以表示取整处理(即四舍五入)，log可以表示以10为底的对数函数，Rimg,x可以表示全景图像帧的图形矩阵在水平方向上的像素宽度，Rimg,y可以表示全景图像帧的图形矩阵在竖直方向上的像素宽度。
通过全景图像帧进行降采样处理，降低全景图像帧中需要处理的数据，提升当前环境的三维重建效率，减少三维重建时的计算量，提升系统性能。
在一示例性实施例中，可以通过图4中的步骤实现通过基于全景图像帧对当前环境的三维重建处理，参考图4所示，具体可以包括：
步骤S410，提取所述全景图像帧对应的特征数据；所述特征数据包括特征点数据以及所述特征点数据对应的特征描述子；
步骤S420，根据所述特征点数据以及所述特征描述子对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据。
其中，特征数据是指描述全景图像帧中关键点的数据，特征数据可以包括全景图像帧对应的特征点数据以及该特征点数据对应的特征描述子。具体的，特征点数据是指全景图像帧中图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)，全景图像帧的特征点数据能够反映全景图像帧的本质特征，能够标识全景图像帧中目标物体，特征点数据可以包括特征点在全景图像帧对应的二维图像坐标，例如，可以包括但不限于通过高斯函数差分法(Difference of Guassian，DoG，也称角点检测)提取全景图像帧对应的特征点数据。特征描述子是指描述特征点附近的局部图像像素的特征向量，例如，可以包括但不限于通过尺度不变特征变换法(Scale-invariant feature transform，SIFT)确定特征点数据对应的特征描述子。
具体的，可以通过图5中的步骤实现根据特征点数据以及特征描述子对当前环境进行三维重建处理，参考图5所示，具体可以包括：
步骤S510，获取预构建的实例对象词典；所述实例对象词典包括多个实例对象名称词；
步骤S520，确定所述特征描述子与所述实例对象名称词之间的相似度数据，以根据所述相似度数据构建所述全景图像帧对应的词袋特征向量；
步骤S530，根据所述特征点数据以及词袋特征向量对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据。
其中，实例对象词典可以是指将指定的实例对象图像对应的特征描述子聚类后得到具有树状结构的词典，在使用时，可以将全景图像帧对应的每个特征描述子输入到实例对象词典中得到一个实例对象名称词。
相似度数据可以是指描述特征描述子与实例对象名称词之间相似程度的数据，例如，相似度数据可以是特征描述子与实例对象名称词对应的欧几里得距离(L2范数距离)，也可以是特征描述子与实例对象名称词对应的余弦相似度，本示例实施例对此不做特殊限定。
在计算得到特征描述子与实例对象名称词之间的相似度数据之后，可以将相似度数据进行归一化处理，得到这个特征描述子在该实例对象名称词上的得分，如果又有一个特征描述子和这个实例对象名称词很接近，可以计算归一化后的相似度数据，再累加到这个实例对象名称词的得分上。这样，对全景图像帧中的所有特征描述子计算得分后，可以得到描述整个全景图像帧的词袋特征向量，该词袋特征向量可以表示为关系式(2)：
Vbow＝{(Wi,Si),i∈[1,N]} (2)
其中，Vbow可以表示整个全景图像帧的词袋特征向量，Wi可以表示实例对象词典中的第i个实例对象名称词，Si可以表示实例对象词典中第i个实例对象名称词的得分，N可以表示实例对象词典中的实例对象名称词的个数，当然，如果全景图像帧中没有某个实例对象名称词，那么该实例对象名称词在特征向量中的得分为0。
进一步的，可以通过图6中的步骤实现根据特征点数据以及词袋特征向量对当前环境进行三维重建处理，参考图6所示，具体可以包括：
步骤S610，根据所述词袋特征向量计算所述全景图像帧之间的共视关系；
步骤S620，将有所述共视关系的全景图像帧对应的所述特征描述子进行匹配，确定所述特征点数据在空间中的位置，以得到所述当前环境对应的环境点云数据。
其中，共视关系可以是指描述全景图帧之间的匹配程度的数据，计算方法是通过累加每一个实例对象名称词的得分的欧氏距离，在有共视关系的全景图像帧之间两两计算特征描述子，并进行匹配，然后在进行三角化处理，确定特征点数据在当前环境对应的三维空间中的位置。但是这个位置并不准确，需要结合多个全景图像帧进行BA优化，从而得到述当前环境对应的环境点云数据，具体的处理过程和相关技术方案中如Colmap、openMVG等的处理过程相同。
在一示例性实施例中，可以在得到当前环境对应的环境点云数据之后，可以计算得到环境点云数据对应的三维网格模型，然后根据全景图像帧对应的纹理信息，将三维网格模型对应的纹理信息贴到对应的网格中，得到当前环境对应的环境模型，当然，还可以根据该环境模型得到当前环境对应的平面投影图(例如AR看房场景中，该平面投影图可以是平面户型图)。
在一示例性实施例中，可以通过图7中的步骤实现通过图像区域与环境点云数据之间的映射关系构建实例对象点云数据，参考图7所示，具体可以包括：
步骤S710，获取所述环境点云数据在三维重建时的特征点对数据；
步骤S720，根据所述图像区域在所述特征点对数据中确定目标特征点对数据，以根据所述目标特征点对数据，构建所述实例对象对应的实例对象点云数据。
其中，特征点对数据可以是指在三维重建时特征点数据在二维图像中的坐标与三维空间中的坐标的对应的关系，例如，特征点对数据可以是三维重建时的2D-3D点的对应关系。根据图像区域中的特征点数据确定在特征点对数据中确定目标特征点对数据，目标特征点对数据是指特征点对数据中与图像区域对应的特征点对数据，进而可以根据目标特征点对数据将图像区域中的特征点数据转化到三维空间，得到图像区域中的示例对象对应的实例对象点云数据。
可选的，也可以通过图8中的步骤实现通过图像区域与环境点云数据之间的映射关系构建实例对象点云数据，参考图8所示，具体可以包括：
步骤S810，根据所述图像区域对应的特征点数据以及特征描述子，在所述环境点云数据中确定与所述图像区域匹配的点云数据；
步骤S820，将与所述图像区域匹配的点云数据从所述环境点云数据进行分割，得到所述实例对象对应的实例对象点云数据。
其中，与图像区域匹配的点云数据可以是指通过图像区域对应的特征点数据以及特征描述子在环境点云数据中匹配得到的点云数据，即，可以根据从全景图像帧中分割得到的图像区域，在环境点云数据中确定与图像区域中的实例对象对应的点云数据，进而将从环境点云数据中分割出实例对象的实例对象点云数据。
通过直接在环境点云数据上进行实例分割的方法，提高实例对象点云数据的精确度和准确度，避免同一个实例对象点云数据在不同全景图像帧上属于不同实例对象(或者图像区域)的情况。
在一示例性实施例中，可以对实例对象点云数据进行网格化处理，得到网格化的实例对象模型；以及根据全景图像帧对应的纹理信息，对网格化的实例对象模型进行纹理贴图处理，得到包含纹理贴图的实例对象模型。在得到实例对象模型之后，可以将实例对象模型导出成可编辑三维模型的对象格式，例如obj格式的三维模型，可以将导出后的可编辑的例对象模型保存在本地或者上传服务器，以供后续的使用。
举例而言，在AR看房或者AR房屋装修预览的场景中，可以根据用户扫描当前环境如真实房屋得到的全景图像帧构建该真实房屋对应的虚拟场景，并显示该虚拟场景对应的平面投影图即房屋户型图；然后将根据本示例实施例中的实例对象模型构建方法构建的实例对象模型(如虚拟家具、虚拟墙壁或者虚拟天花板等)导入到该真实房屋对应的虚拟场景中，当然，用户还可以从其他地方如服务器获取不属于该真实房屋的其他实例对象模型，当然，还可以是用户通过三维模型编辑软件自行设计的非真实房屋中的实例对象的虚拟模型，并导入到该虚拟场景中进行编辑。用户可以通过终端设备如手机或者平板电脑的显示单元，在虚拟场景中自由添加、删除、移动对应的实例对象模型，并且，可以自由编辑实例对象模型的纹理信息，达到预览装修效果的目的。
可选的，除了虚拟场景外，还可以在实时场景中进行编辑，只需要打开可移动设备的AR功能，计算可移动设备的实时位姿，并根据该实时位姿进行虚拟实例对象的渲染，就可以达到虚拟装修的效果。
优选的，可以在对当前环境进行采集扫描时，在采集当前环境对应的全景图像帧的同时，在显示单元中显示的当前环境进行实时三维网格显示，如使用智能手机对是当前环境进行扫描的同时，将已采集的全景图像帧进行三维重建得到点云数据，并对点云数据进行网格化处理，然后将构建的网格实时显示在智能手机已扫描采集过的当前环境上，使用户实时知道当前环境或者实例对象的点云数据位置计算是否收敛，从而更方便地采集房间信息。
综上所述，本示例性实施方式中，获取当前环境对应的全景图像帧；基于全景图像帧对当前环境进行三维重建处理，得到当前环境对应的环境点云数据；对全景图像帧进行语义分割处理，确定全景图像帧中的实例对象对应的图像区域；通过图像区域与环境点云数据之间的映射关系，构建实例对象对应的实例对象点云数据，以通过实例对象点云数据构建实例对象模型。一方面，对较容易获取的全景图像帧进行三维重建，然后基于构建的环境点云数据构建实例对象点云数据，进而根据实例对象点云数据生成实例对象模型，不需要专业的建模人员参与，自动实现当前环境的模型的构建，有效提升模型的构建效率；另一方面，在构建得到当前环境对应的实例对象模型之后，可以将实例对象模型进行导出，由用户进行自由编辑，在AR看房、AR房屋装修等场景中，有效提升构建的实例对象模型的复用率，避免资源的浪费；再一方面，根据从全景图像帧进行语义分割得到的实例对象对应的图像区域，以及当前环境对应全局的环境点云数据构建实例对象模型，提高实例对象模型的准确性以及真实性。
需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图9所示，本示例的实施方式中还提供一种实例对象模型构建装置900，可以包括环境图像帧获取模块910、环境点云数据生成模型920、实例对象分割模块930以及实例对象模型构建模型940。其中：
环境图像帧获取模块910用于获取当前环境对应的全景图像帧；
环境点云数据生成模型920用于基于所述全景图像帧对所述当前环境进行三维重建处理得到所述当前环境对应的环境点云数据；
实例对象分割模块930用于对所述全景图像帧进行语义分割处理，确定所述全景图像帧中的实例对象对应的图像区域；
实例对象模型构建模型940用于通过所述图像区域与所述环境点云数据之间的映射关系，构建所述实例对象对应的实例对象点云数据，以通过所述实例对象点云数据构建实例对象模型。
在一示例性实施例中，环境点云数据生成模型920还包括降采样单元，降采样单元可以用于：
对所述全景图像帧进行降采样处理，生成分辨率较低的全景图像帧。
在一示例性实施例中，环境点云数据生成模型920还包括：
特征数据提取单元，用于提取所述全景图像帧对应的特征数据；所述特征数据包括特征点数据以及所述特征点数据对应的特征描述子；
点云数据构建单元，用于根据所述特征点数据以及所述特征描述子对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据。
在一示例性实施例中，点云数据构建单元还可以用于：
获取预构建的实例对象词典；所述实例对象词典包括多个实例对象名称词；
确定所述特征描述子与所述实例对象名称词之间的相似度数据，以根据所述相似度数据构建所述全景图像帧对应的词袋特征向量；
根据所述特征点数据以及词袋特征向量对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据。
在一示例性实施例中，点云数据构建单元还可以用于：
根据所述词袋特征向量计算所述全景图像帧之间的共视关系；
将有所述共视关系的全景图像帧对应的所述特征描述子进行匹配，确定所述特征点数据在空间中的位置，以得到所述当前环境对应的环境点云数据。
在一示例性实施例中，实例对象模型构建模型940还可以用于：
获取所述环境点云数据在三维重建时的特征点对数据；
根据所述图像区域在所述特征点对数据中确定目标特征点对数据，以根据所述目标特征点对数据，构建所述实例对象对应的实例对象点云数据。
在一示例性实施例中，实例对象模型构建模型940还可以用于：
根据所述图像区域对应的特征点数据以及特征描述子，在所述环境点云数据中确定与所述图像区域匹配的点云数据；
将与所述图像区域匹配的点云数据从所述环境点云数据进行分割，得到所述实例对象对应的实例对象点云数据。
在一示例性实施例中，实例对象模型构建模型940还可以用于：
对所述实例对象点云数据进行网格化处理，得到网格化的实例对象模型；以及
根据所述全景图像帧对应的纹理信息，对所述网格化的实例对象模型进行纹理贴图处理，得到包含纹理贴图的实例对象模型。
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3至图8中任意一个或多个步骤。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种实例对象模型构建方法，其特征在于，包括：
获取当前环境对应的全景图像帧；
基于所述全景图像帧对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据；
对所述全景图像帧进行语义分割处理，确定所述全景图像帧中的实例对象对应的图像区域；
通过所述图像区域与所述环境点云数据之间的映射关系，构建所述实例对象对应的实例对象点云数据，以通过所述实例对象点云数据构建实例对象模型；
所述通过所述图像区域与所述环境点云数据之间的映射关系，构建所述实例对象对应的实例对象点云数据，包括：
根据所述图像区域对应的特征点数据以及特征描述子，在所述环境点云数据中确定与所述图像区域匹配的点云数据；
将与所述图像区域匹配的点云数据从所述环境点云数据进行分割，得到所述实例对象对应的实例对象点云数据。
2.根据权利要求1所述的方法，其特征在于，所述基于所述全景图像帧对所述当前环境进行三维重建处理，还包括：
对所述全景图像帧进行降采样处理，生成分辨率较低的全景图像帧。
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述全景图像帧对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据，包括：
提取所述全景图像帧对应的特征数据；所述特征数据包括特征点数据以及所述特征点数据对应的特征描述子；
根据所述特征点数据以及所述特征描述子对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据。
4.根据权利要求3所述的方法，其特征在于，所述根据所述特征点数据以及所述特征描述子对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据，包括：
获取预构建的实例对象词典；所述实例对象词典包括多个实例对象名称词；
确定所述特征描述子与所述实例对象名称词之间的相似度数据，以根据所述相似度数据构建所述全景图像帧对应的词袋特征向量；
根据所述特征点数据以及词袋特征向量对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据。
5.根据权利要求4所述的方法，其特征在于，所述根据所述特征点数据以及词袋特征向量对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据，包括：
根据所述词袋特征向量计算所述全景图像帧之间的共视关系；
将有所述共视关系的全景图像帧对应的所述特征描述子进行匹配，确定所述特征点数据在空间中的位置，以得到所述当前环境对应的环境点云数据。
6.根据权利要求1所述的方法，其特征在于，所述通过所述图像区域与所述环境点云数据之间的映射关系，构建所述实例对象对应的实例对象点云数据，包括：
获取所述环境点云数据在三维重建时的特征点对数据；
根据所述图像区域在所述特征点对数据中确定目标特征点对数据，以根据所述目标特征点对数据，构建所述实例对象对应的实例对象点云数据。
7.根据权利要求1所述的方法，其特征在于，所述通过所述实例对象点云数据构建实例对象模型，包括：
对所述实例对象点云数据进行网格化处理，得到网格化的实例对象模型；以及
根据所述全景图像帧对应的纹理信息，对所述网格化的实例对象模型进行纹理贴图处理，得到包含纹理贴图的实例对象模型。
8.一种实例对象模型构建装置，其特征在于，包括：
环境图像帧获取模块，用于获取当前环境对应的全景图像帧；
环境点云数据生成模型，用于基于所述全景图像帧对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据；
实例对象分割模块，用于对所述全景图像帧进行语义分割处理，确定所述全景图像帧中的实例对象对应的图像区域；
实例对象模型构建模型，用于通过所述图像区域与所述环境点云数据之间的映射关系，构建所述实例对象对应的实例对象点云数据，以通过所述实例对象点云数据构建实例对象模型；
所述实例对象模型构建模型，还可以用于：
根据所述图像区域对应的特征点数据以及特征描述子，在所述环境点云数据中确定与所述图像区域匹配的点云数据；
将与所述图像区域匹配的点云数据从所述环境点云数据进行分割，得到所述实例对象对应的实例对象点云数据。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。
CN202011408772.0A 2020-12-04 2020-12-04 实例对象模型构建方法及装置、可读介质和电子设备 Active CN112598780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011408772.0A CN112598780B (zh) 2020-12-04 2020-12-04 实例对象模型构建方法及装置、可读介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011408772.0A CN112598780B (zh) 2020-12-04 2020-12-04 实例对象模型构建方法及装置、可读介质和电子设备

Publications (2)

Publication Number Publication Date
CN112598780A CN112598780A (zh) 2021-04-02
CN112598780B true CN112598780B (zh) 2024-04-05

Family

ID=75188812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011408772.0A Active CN112598780B (zh) 2020-12-04 2020-12-04 实例对象模型构建方法及装置、可读介质和电子设备

Country Status (1)

Country Link
CN (1) CN112598780B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI817266B (zh) * 2021-11-29 2023-10-01 邦鼎科技有限公司 樣品屋的顯示系統
CN114329744B (zh) * 2022-03-03 2022-05-31 如你所视(北京)科技有限公司 户型改造方法及计算机可读存储介质
CN115620201B (zh) * 2022-10-25 2023-06-16 北京城市网邻信息技术有限公司 房屋模型构建方法、装置、设备及存储介质
CN116866723B (zh) * 2023-09-04 2023-12-26 广东力创信息技术有限公司 一种管道安全实时监控预警系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
KR20190066384A (ko) * 2017-12-05 2019-06-13 한국항공대학교산학협력단 분할 영역 단위의 파노라마 영상 합성 장치 및 방법
CN110197529A (zh) * 2018-08-30 2019-09-03 杭州维聚科技有限公司 室内空间三维重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111694903B (zh) * 2019-03-11 2023-09-12 北京地平线机器人技术研发有限公司 地图构建方法、装置、设备以及可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
KR20190066384A (ko) * 2017-12-05 2019-06-13 한국항공대학교산학협력단 분할 영역 단위의 파노라마 영상 합성 장치 및 방법
CN110197529A (zh) * 2018-08-30 2019-09-03 杭州维聚科技有限公司 室内空间三维重建方法

Also Published As

Publication number Publication date
CN112598780A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN112598780B (zh) 实例对象模型构建方法及装置、可读介质和电子设备
CN113822977A (zh) 图像渲染方法、装置、设备以及存储介质
CN112927362A (zh) 地图重建方法及装置、计算机可读介质和电子设备
WO2019238114A1 (zh) 动态模型三维重建方法、装置、设备和存储介质
CN111476783B (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN112927363A (zh) 体素地图构建方法及装置、计算机可读介质和电子设备
CN112562019A (zh) 图像色彩调整方法及装置、计算机可读介质和电子设备
CN112492380A (zh) 音效调整方法、装置、设备及存储介质
CN112270754A (zh) 局部网格地图构建方法及装置、可读介质和电子设备
CN111784776B (zh) 视觉定位方法及装置、计算机可读介质和电子设备
CN111950570B (zh) 目标图像提取方法、神经网络训练方法及装置
CN113936085B (zh) 三维重建方法和装置
CN109754464B (zh) 用于生成信息的方法和装置
CN113313832B (zh) 三维模型的语义生成方法、装置、存储介质与电子设备
CN113744286A (zh) 虚拟头发生成方法及装置、计算机可读介质和电子设备
CN114463470A (zh) 虚拟空间浏览方法、装置、电子设备和可读存储介质
WO2019000464A1 (zh) 一种图像显示方法、装置、存储介质和终端
CN113284206A (zh) 信息获取方法及装置、计算机可读存储介质、电子设备
CN113723164A (zh) 获取边缘差异信息的方法、装置、设备及存储介质
CN111814811A (zh) 图像信息提取方法、训练方法及装置、介质和电子设备
CN109816791B (zh) 用于生成信息的方法和装置
CN115775300A (zh) 人体模型的重建方法、人体重建模型的训练方法及装置
CN115578494A (zh) 中间帧的生成方法、装置、设备及存储介质
CN113920023A (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN114419189A (zh) 地图构建方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant