CN109978931A - 三维场景重建方法及设备、存储介质 - Google Patents
三维场景重建方法及设备、存储介质 Download PDFInfo
- Publication number
- CN109978931A CN109978931A CN201910271336.4A CN201910271336A CN109978931A CN 109978931 A CN109978931 A CN 109978931A CN 201910271336 A CN201910271336 A CN 201910271336A CN 109978931 A CN109978931 A CN 109978931A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- hyperspectral
- data
- model
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000003860 storage Methods 0.000 title claims abstract description 24
- 230000001360 synchronised effect Effects 0.000 claims abstract description 13
- 238000005259 measurement Methods 0.000 claims abstract description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 16
- 230000003595 spectral effect Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 16
- 238000011840 criminal investigation Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种三维场景重建方法及设备、存储介质，所述方法包括：获取时间戳同步的高光谱图像数据、深度数据、三原色RGB图像数据以及惯性测量单元IMU数据；根据所述RGB图像数据和所述IMU数据，确定每帧RGB图像的相机位姿；根据所述深度数据、所述RGB图像数据和所述相机位姿生成物体的点云图；根据所述点云图重建三维模型，并与所述高光谱图像数据结合生成三维高光谱重建模型。本发明实施例提供的方法，生成三维高光谱重建模型的时间较短，可以实现实时的三维场景重建。
Description
技术领域
本发明实施例涉及计算机视觉技术领域，例如涉及一种三维场景重建方法及设备、存储介质。
背景技术
三维重建技术可以将现实世界，重建为计算机可读取及处理的数据，在虚拟现实，增强现实，智能导航等领域都起着至关重要的作用。目前的三维重建技术，实现方式基本上是基于三原色RGB图像数据及相机的位姿来进行三维重建，需要进行内参矩阵及外参矩阵的计算，计算量大，流程繁琐，很难实现实时性的三维重建。
发明内容
本发明实施例提供了一种三维场景重建方法及设备、存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
根据本发明实施例的第一方面，提供了一种三维场景重建方法，所述三维场景重建方法包括：获取时间戳同步的高光谱图像数据、深度数据、RGB图像数据以及惯性测量单元(Inertial measurement unit；IMU)数据；
根据所述RGB图像数据和所述IMU数据，确定每帧RGB图像的相机位姿；
根据所述深度数据、所述RGB图像数据和所述相机位姿生成物体的点云图；
根据所述点云图重建三维模型，并与所述高光谱图像数据结合生成三维高光谱重建模型。
在一些可选实施例中，所述根据所述RGB图像数据和所述IMU数据，确定每帧RGB图像的相机位姿，包括：
提取每帧RGB图像的特征点；
根据每帧RGB图像的特征点及与所述RGB图像时间戳同步的IMU数据，采用运动恢复结构(Structurefrom Motion；SFM)算法，确定所述RGB图像数据中每帧RGB图像的相机位姿。
在一些可选实施例中，在所述根据所述深度数据、所述RGB图像数据和所述相机位姿生成物体的点云图之前，还包括：
采用光束法平差(Bundle Adjustment；BA)算法对所述相机位姿进行优化。
在一些可选实施例中，所述根据所述点云图重建三维模型，并与所述高光谱图像数据结合生成三维高光谱重建模型，包括：
根据点云图进行立体模型重建，得到三维立体模型；
通过光线投射算法，对所述三维立体模型进行纹理贴图，生成三维重建模型；
提取所述高光谱图像数据中光谱图像的特征点；
根据所述特征点与所述RGB图像的特征点，将所述高光谱图像匹配到所述三维重建模型中，生成三维高光谱重建模型。
在一些可选实施例中，在所述将所述高光谱图像匹配到所述三维重建模型中之前，还包括：
对所述三维重建模型进行优化处理；所述优化处理包括：裁剪、减面、平滑处理和补洞中的一种或多种。
在一些可选实施例中，所述方法，还包括：
发送所述三维高光谱重建模型至显示设备以进行显示。
在一些可选实施例中，所述方法，还包括：
接收操作控制指令；
根据所述操作控制指令执行相应的控制操作。
在一些可选实施例中，当所述操作控制指令为信息重新采集控制指令时，执行所述获取时间戳同步的高光谱图像数据、深度数据、RGB图像数据以及IMU数据的步骤。
在一些可选实施例中，当所述操作控制指令为模型视图控制指令时，根据所述模型视图控制指令放大、缩小或移动所述三维高光谱重建模型，并发送选定区域对应的高光谱图像数据。
根据本发明实施例的第二方面，提供了一种三维场景重建设备，包括：深度相机、RGB相机、高光谱相机和IMU，以及与所述深度相机、高光谱相机、RGB相机、和IMU连接的控制终端；所述控制终端包括至少一个处理器；
所述处理器被配置为运行存储在计算机可读存储介质中的计算机指令以执行上述的三维场景重建方法。
根据本发明实施例的第三方面，提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可被所述处理器运行的程序，所述处理器被配置为：
获取时间戳同步的高光谱图像数据、深度数据、RGB图像数据以及IMU数据；
根据所述RGB图像数据和所述IMU数据，确定每帧RGB图像的相机位姿；
根据所述深度数据、所述RGB图像数据和所述相机位姿生成物体的点云图；
根据所述点云图重建三维模型，并与所述高光谱图像数据结合生成三维高光谱重建模型。
根据本发明实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时实现上述的三维场景重建方法。
根据本发明实施例的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行时，使所述至少一个处理器执行上述的三维场景重建方法。
本发明实施例提供的技术方案至少包括以下有益效果：
本发明实施例中，通过获取时间戳同步三维RGB图像数据和深度数据，在进行三维重建时，直接使用RGB图像数据及深度数据，与IMU相结合，进行三维重建，加快了三维重建速度，可以实现实时的三维重建；
为满足刑侦场景的需求，本发明重建的模型中，还包含高光谱图像数据，可以呈现指纹、血迹、材质等信息，供刑侦场景需要；
并且，由于高光谱照片本身数据量巨大，每个位姿会有30-40幅不同波长照片，基于高光谱图像数据进行三维重建，耗时较长，计算资源消耗巨大，无法做到实时重建，本发明实施例通过在基于RGB图像三维重建的基础上，将高光谱图像数据匹配到三维重建模型上，计算消耗小，可以实现实时的三维高光谱模型重建；
本申请实施例可以实时查看重建的三维高光谱重建模型，当重建的模型不能满足使用需求时，可以控制三维场景重建设备重新采集数据，保证三维高光谱重建模型的质量；
本申请提供的三维场景重建方法对计算资源消耗小，硬件设备可以集成到背包式采集设备上，设备在刑侦场景下，可由工作人员背负采集设备对现场进行全方位的数据采集，满足刑侦调查取证的需求。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种三维场景重建设备的结构示意图；
图2是根据一示例性实施例示出的一种三维场景重建设备三维场景重建方法的流程示意图；
图3是根据一示例性实施例示出的一种三维场景重建设备三维场景重建方法的流程示意图；
图4是根据一示例性实施例示出的一种三维场景重建设备的控制装置的结构示意图；
图5是根据一示例性实施例示出的一种三维场景重建设备的控制装置的结构示意图；
图6是根据一示例性实施例示出的一种三维场景重建设备的控制装置的结构示意图；
图7是根据一示例性实施例示出的一种三维场景重建设备的控制装置的结构示意图；
图8是根据一示例性实施例示出的一种三维场景重建设备的控制装置的结构示意图；
图9是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法、产品等而言，由于其与实施例公开的方法部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
高光谱传感器一般有上百个波段，每个波段独立的吸收该波段范围内的信号，根据不同的物质对每一个波段的光谱的不同反馈信号生成相应的二维图像，所有的波段的数据最终在一起形成一个多通道的三维数据。因此，高光谱图像包含大量的信息。可以满足对现场还原度要求极高的三维重建应用场景，例如刑侦场景。图1是根据一示例性实施例示出的一种三维场景重建设备的结构示意图，三维场景重建设备包括：深度相机11、RGB相机12、高光谱相机13、IMU 14和控制终端21。
其中，深度相机11、RGB相机12、高光谱相机13和IMU 14用于采集环境数据，深度相机11、RGB相机12、高光谱相机13和IMU 14与控制终端21有线连接。控制终端21通过数据线获取深度相机11、高光谱相机13和IMU 14扫描三维场景获得的数据，以用于建立三维高光谱重建模型还原三维场景。
在一些可选实施例中，控制终端21为具有三维模型重建功能的主机、台式机、便携式笔记本电脑或平板电脑，或者其他具有计算、存储、显示及交互功能的结构或设备。控制终端21可以是任何可以执行本发明实施例提供的三维场景重建方法的设备，可以组合两个或更多部件，各部件可通过软件、硬件或者软件和硬件的组合实现。
在一些可选实施例中，控制终端21与深度相机11、RGB相机12、高光谱相机13和IMU14无线连接，通过通信模块传输数据。
在一些可选实施例中，为提高三维场景重建的时效性，避免网络质量影响数据传输效率，深度相机11、RGB相机12、高光谱相机13和IMU 14与控制终端21通过数据线连接。可选的，数据线为USB2.0数据线、USB3.0数据线、HDMI数据线和USB Type C数据线中的一种或多种。
在一些可选实施例中，深度相机11、RGB相机12、高光谱相机13和IMU 14通过一个通信端口与控制终端21连接。
在一些可选实施例中，为便于对具有较大体积的物体三维场景或者具有复杂结构的三维场景的还原，深度相机11、RGB相机12、高光谱相机13和IMU 14集成设置在同一个手持式数据获取设备中。控制终端21为便携式设备。可选的，控制终端21为可背负式设计，解放用户双手，方便用户手持数据获取设备对三维场景进行扫描。本实施例提供的三维场景重建设备可用于刑侦现场的取证，侦查人员手持数据获取设备对现场进行采集，可降低对案发现场的破坏的可能性，同时，相较于传统的二维图像的采集，三维场景还原能够获取到更多的细节，提高刑侦效率。
在一些可选实施例中，手持式数据获取设备包括：深度相机11、RGB相机12、高光谱相机13和IMU 14，还包括：显示屏，用于显示三维高光谱重建模型。方便用户实时的查看三维高光谱重建模型效果，当效果不理想时，及时的进行重复扫描，避免不必要的人力和时间浪费。
在一些可选实施例中，控制终端21包括显示屏，用于显示三维高光谱重建模型。方便用户实时的查看三维高光谱重建模型效果，当效果不理想时，及时的进行重复扫描，避免不必要的人力和时间浪费。
在一些可选实施例中，所述显示屏为可触控显示屏，用于多角度查看三维高光谱重建模型，以及对于三维高光谱重建模型的局部放大查看。
在一些可选实施例中，手持式数据获取设备，还包括：蓝光斑纹LED灯，用于投射出带有二维编码的光斑对三维场景补光。
如下是本发明实施例提供的三维场景重建方法，上述实施例提供的三维场景重建设备用于执行如下的方法。
图2是根据一示例性实施例示出的一种三维场景重建设备三维场景重建方法的流程示意图，所示方法包括以下几个步骤：
步骤S201，获取时间戳同步的高光谱图像数据、深度数据、RGB图像数据以及IMU数据；
其中，IMU 14包括加速度、陀螺仪和地磁传感器。IMU数据即包括：加速度数据、陀螺仪数据和地磁传感器数据。IMU数据用于确定IMU载体的姿态；
在不同的实施例中，深度相机11、RGB相机12、高光谱相机13和IMU14的组合形式不同；
在一些可选实施例中，由于三维场景的特殊性或对三维场景的特殊要求，IMU 14搭载在深度相机11、RGB相机12或高光谱相机13上。例如：对于刑侦现场的取证，需要保持三维场景中物品原封不动。在获取建立三维模型数据的过程中，三维场景涉及的实物保持静止状态，且深度相机11、RGB相机12及高光谱相机13扫描三维场景过程中处于运动状态，以获取三维场景不同角度的图像数据；
在一些可选实施例中，为简化三维场景扫描设备的结构，提高获取前述数据的设备的便携性，深度相机11、RGB相机12、高光谱相机13和IMU14综合设置在一个组合设备中；
在三维场景还原过程中，为全面展现三维场景的细节，需要综合不同角度的多幅图像，根据时间戳信息对获取到的大量的高光谱图像数据、深度数据、RGB图像数据和IMU数据进行分组处理，能够减少计算量，简化三维模型的生成过程，加快三维模型生成速度，具体的，将时间戳同步的高光谱图像数据、深度传感器数据和IMU数据归类综合处理；
步骤S202，根据所述RGB图像数据和所述IMU数据，确定每帧RGB图像的相机位姿；
可选的，步骤S202包括：
提取每帧RGB图像的特征点；
根据每帧RGB图像的特征点及与所述RGB图像时间戳同步的IMU数据，采用SFM算法，确定所述RGB图像数据中每帧RGB图像的相机位姿；
其中，为得到可靠的相机位姿，以提高最终获取的三维模型对三维场景的还原度，在确定每帧RGB图像的相机位姿之后，还包括：
采用BA算法对相机的位姿图进行优化；
步骤S203，根据所述深度数据、所述RGB图像数据和所述相机位姿生成物体的点云图；
步骤S204，根据所述点云图重建三维模型，并与所述高光谱图像数据结合生成三维高光谱重建模型。
在一些可选实施例中，步骤S204包括：
根据点云图进行立体模型重建，得到三维立体模型；
通过光线投射算法，对所述三维立体模型进行纹理贴图，生成三维重建模型；
提取所述高光谱图像数据中光谱图像的特征点；
根据所述特征点与所述RGB图像的特征点，将所述高光谱图像匹配到所述三维重建模型中，生成三维高光谱重建模型。
其中，提取所述高光谱图像数据中光谱图像的特征点时，可以采用如下特征提取算法，中的任一种：尺度不变特征变换(Scale-invariant feature transform；SIFT)算法、加速稳健特征(Speeded Up Robust Features；SURF)算法、基于面向快速和旋转特征(Oriented FAST and Rotated BRIEF；ORB)算法、加速分割测试特征(Features FromAccelerated Segment Test；FAST)算法和二值鲁棒尺度不变关键点(Binary RobustInvariant Scalable Keypoints；BRISK)算法。也可以采用其他满足实时重建需求的特征提取算法，本申请不限于此。
为提高光谱图像的特征点与RGB图像的特征点的匹配度，在对RGB图像和光谱图像进行特征点提取时，选用相同的算法。
根据光谱图像的特征点与RGB图像的特征点进行特征匹配，以将高光谱图像匹配到三维重建模型中。在进行特征匹配时，可以采用如下特征匹配算法的任一种：K最邻近(K-Nearest Neighbor；KNN)算法、随机采样一致性(Random Sample Consensus；RANSAC)算法和单镜多检测器(S ingle Shot MultiBox Detector；SSD)算法。也可以采用其他满足实时重建需求的特征匹配算法，本申请不限于此。
在一些可选实施例中，针对三维场景中存在纹理特征不明显的表面的情况，例如白墙，通过蓝光斑纹LED灯进行补光，以令RGB相机获取到有纹理的图像，提高三维模型的精度。
在一些可选实施例中，如图3所示，三维场景重建方法包括：
步骤S201，获取时间戳同步的高光谱图像数据、深度数据、RGB图像数据以及IMU数据；
步骤S202，根据所述RGB图像数据和所述IMU数据，确定每帧RGB图像的相机位姿；
步骤S203，根据所述深度数据、所述RGB图像数据和所述相机位姿生成物体的点云图；
以及步骤S204；
其中，步骤S204具体包括：
步骤S2041，根据点云图进行立体模型重建，得到三维立体模型；
步骤S2042，通过光线投射算法，对所述三维立体模型进行纹理贴图，生成三维重建模型；
步骤S2043，提取所述高光谱图像数据中光谱图像的特征点；
步骤S2044，根据所述特征点与所述RGB图像的特征点，将所述高光谱图像匹配到所述三维重建模型中，生成三维高光谱重建模型；
为进一步的提高获取的三维高光谱重建模型的精度，在步骤S2044之前，还包括：对所述三维重建模型进行优化处理；所述优化处理包括：裁剪、减面、平滑处理和补洞中的一种或多种。
在一些可选实施例中，为便于实时查看三维高光谱重建模型，以便于在模型有较大误差或模型部分位置精确度较低的情况下，进行补充扫描，所述方法，在步骤S204之后，还包括：
发送所述三维高光谱重建模型至显示设备以进行显示；
在一些可选实施例中，所述方法，还包括：
接收操作控制指令；
根据所述操作控制指令执行相应的控制操作；
可选的，所述操作控制指令包括：信息重新采集控制指令和模型视图控制指令；
在一些可选实施例中，当所述操作控制指令为信息重新采集控制指令时，执行所述获取时间戳同步的高光谱图像数据、深度数据、RGB图像数据以及IMU数据的步骤，并根据重新获取到的高光谱图像数据、深度数据、RGB图像数据以及IMU数据建立三维高光谱重建模型。
在一些可选实施例中，模型视图控制指令包括：放大指令、缩小指令、拖动指令和旋转指令。当所述操作控制指令为模型视图控制指令时，根据所述模型视图控制指令放大、缩小或移动所述三维高光谱重建模型，并将选定区域对应的高光谱图像数据发送至显示设备以进行显示。
如图4所示，是根据一示例性实施例示出的一种三维场景重建设备的控制装置的结构示意图，所述控制装置即控制终端21，该三维场景重建设备的控制装置包括：获取单元401，位姿确定单元402，点云图生成单元403和三维模型重建单元404。
其中，获取单元401，用于获取时间戳同步的高光谱图像数据、深度数据、RGB图像数据以及IMU数据。
位姿确定单元402，用于根据所述RGB图像数据和所述IMU数据，确定每帧RGB图像的相机位姿。
点云图生成单元403，用于根据所述深度数据、所述RGB图像数据和所述相机位姿生成物体的点云图。
三维模型重建单元404，用于根据所述点云图重建三维模型，并与所述高光谱图像数据结合生成三维高光谱重建模型。
在一些可选实施例中，如图5所示，位姿确定单元402包括：特征提取子单元4021和相机位姿确定子单元4022。
其中，第一特征提取子单元4021，用于提取每帧RGB图像的特征点。
相机位姿确定子单元4022，用于根据每帧RGB图像的特征点及与所述RGB图像时间戳同步的IMU数据，采用SFM算法，确定所述RGB图像数据中每帧RGB图像的相机位姿。
在一些可选实施例中，三维场景重建设备的控制装置还包括：位姿优化单元，用于在点云图生成单元403根据所述深度数据、所述RGB图像数据和所述相机位姿生成物体的点云图之前，采用光束法平差BA算法对所述相机位姿进行优化。
在一些可选实施例中，如图6所示，三维模型重建单元404包括：三维模型建立子单元4041、纹理贴图子单元4042，第二特征提取子单元4043和高光谱模型重建子单元4044。
三维模型建立子单元4041，用于根据点云图进行立体模型重建，得到三维立体模型。
纹理贴图子单元4042，用于通过光线投射算法，对所述三维立体模型进行纹理贴图，生成三维重建模型。
第二特征提取子单元4043，用于提取所述高光谱图像数据中光谱图像的特征点。
高光谱模型重建子单元4044，用于根据所述特征点与所述RGB图像的特征点，将所述高光谱图像匹配到所述三维重建模型中，生成三维高光谱重建模型。
在一些可选实施例中，三维场景重建设备的控制装置还包括：三维模型优化单元，用于在三维模型重建单元404生成三维高光谱重建模型之前，对所述三维重建模型进行优化处理。其中，所述优化处理包括：裁剪、减面、平滑处理和补洞中的一种或多种。
在一些可选实施例中，三维模型优化单元，用于在高光谱模型重建子单元4044生成三维高光谱重建模型之前，对所述三维重建模型进行优化处理。其中，所述优化处理包括：裁剪、减面、平滑处理和补洞中的一种或多种。
在一些可选实施例中，三维场景重建设备的控制装置还包括：储存模块，用于存储获取到的三维高光谱重建模型，便于后续对三维高光谱重建模型的应用。
在一些可选实施例中，如图7所示，三维场景重建设备的控制装置还包括：发送单元701。
发送单元701，用于发送所述三维高光谱重建模型至显示设备以进行显示。
其中，可选的，显示设备为控制终端21本身具有的显示屏；可选的，显示设备为与三维场景重建设备无线通信连接的显示设备，例如：智能电视、显示器等；作为便携式的控制终端21，显示屏的尺寸有限，当三维高光谱重建模型全屏显示时，不便于对细节的查看，而当三维高光谱重建模型局部放大显示时，不便于对整体的查看，将三维高光谱重建模型至外部显示设备有利于提高对三维高光谱重建模型效果的检查效率。
在一些可选实施例中，如图8所示，三维场景重建设备的控制装置还包括：接收单元801。
接收单元801，用于接收操作控制指令。
获取单元401，用于在接收单元801接收到的操作控制指令为信息重新采集控制指令时，再次获取时间戳同步的高光谱图像数据、深度数据、RGB图像数据以及IMU数据。
在一些可选实施例中，如图8所示，三维场景重建设备的控制装置还包括：模型调整单元802。
模型调整单元802用于在接收单元801接收到的操作控制指令为模型视图控制指令时，根据所述模型视图控制指令放大、缩小或移动所述三维高光谱重建模型。
在一些可选实施例中，发送单元701还用于将模型调整单元802调整后的三维高光谱重建模型及选定区域对应的高光谱图像数据发送至显示设备。
根据本发明实施例还提供了一种三维场景重建设备，包括：深度相机、RGB相机、高光谱相机和IMU，以及与所述深度相机、RGB相机、高光谱相机和IMU连接的控制终端；所述控制终端包括至少一个处理器；所述处理器被配置为运行存储在计算机可读存储介质中的计算机指令以执行上述实施例的三维场景重建设备三维场景重建方法。
根据本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可被所述处理器运行的程序，所述处理器执行所述程序时实现上述实施例的三维场景重建设备三维场景重建方法。
根据本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行上述实施例的三维场景重建设备三维场景重建方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
根据本发明实施例还提供了一种电子设备，其结构如图9所示，该电子设备包括：
至少一个处理器(processor)900，图9中以一个处理器900为例；和存储器(memory)901，还可以包括通信接口(Communication Interface)902和总线903。其中，处理器900、通信接口902、存储器901可以通过总线903完成相互间的通信。通信接口902可以用于信息传输。处理器900可以调用存储器901中的逻辑指令，以执行上述实施例的三维场景重建设备三维场景重建方法。
此外，上述的存储器901中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器901作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器900通过运行存储在存储器901中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的三维场景重建设备三维场景重建方法。
存储器901可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器901可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。所属技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，应该理解到，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
应当理解的是，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本发明并不局限于上面已经描述并在附图中示出的流程及结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (11)
1.一种三维场景重建方法，其特征在于，所述方法包括：
获取时间戳同步的高光谱图像数据、深度数据、三原色RGB图像数据以及惯性测量单元IMU数据；
根据所述RGB图像数据和所述IMU数据，确定每帧RGB图像的相机位姿；
根据所述深度数据、所述RGB图像数据和所述相机位姿生成物体的点云图；
根据所述点云图重建三维模型，并与所述高光谱图像数据结合生成三维高光谱重建模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述RGB图像数据和所述IMU数据，确定每帧RGB图像的相机位姿，包括：
提取每帧RGB图像的特征点；
根据每帧RGB图像的特征点及与所述RGB图像时间戳同步的IMU数据，采用运动恢复结构SFM算法，确定所述RGB图像数据中每帧RGB图像的相机位姿。
3.根据权利要求1或2所述的方法，其特征在于，在所述根据所述深度数据、所述RGB图像数据和所述相机位姿生成物体的点云图之前，还包括：
采用光束法平差BA算法对所述相机位姿进行优化。
4.根据权利要求1所述的方法，其特征在于，所述根据所述点云图重建三维模型，并与所述高光谱图像数据结合生成三维高光谱重建模型，包括：
根据点云图进行立体模型重建，得到三维立体模型；
通过光线投射算法，对所述三维立体模型进行纹理贴图，生成三维重建模型；
提取所述高光谱图像数据中光谱图像的特征点；
根据所述特征点与所述RGB图像的特征点，将所述高光谱图像匹配到所述三维重建模型中，生成三维高光谱重建模型。
5.根据权利要求4所述的方法，其特征在于，在所述将所述高光谱图像匹配到所述三维重建模型中之前，还包括：
对所述三维重建模型进行优化处理；所述优化处理包括：裁剪、减面、平滑处理和补洞中的一种或多种。
6.根据权利要求1所述的方法，其特征在于，还包括：
发送所述三维高光谱重建模型至显示设备以进行显示。
7.根据权利要求1所述的方法，其特征在于，还包括：
接收操作控制指令；
根据所述操作控制指令执行相应的控制操作。
8.根据权利要求7所述的方法，其特征在于，当所述操作控制指令为信息重新采集控制指令时，执行所述获取时间戳同步的高光谱图像数据、深度数据、RGB图像数据以及IMU数据的步骤。
9.根据权利要求7所述的方法，其特征在于，当所述操作控制指令为模型视图控制指令时，根据所述模型视图控制指令放大、缩小或移动所述三维高光谱重建模型，并发送选定区域对应的高光谱图像数据。
10.一种三维场景重建设备，其特征在于，包括：深度相机、RGB相机、高光谱相机和IMU，以及与所述深度相机、RGB相机、高光谱相机和IMU连接的控制终端；所述控制终端包括至少一个处理器；
所述处理器被配置为运行存储在计算机可读存储介质中的计算机指令以执行权利要求1-9中的任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时实现权利要求1-9中的任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910271336.4A CN109978931B (zh) | 2019-04-04 | 2019-04-04 | 三维场景重建方法及设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910271336.4A CN109978931B (zh) | 2019-04-04 | 2019-04-04 | 三维场景重建方法及设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109978931A true CN109978931A (zh) | 2019-07-05 |
| CN109978931B CN109978931B (zh) | 2021-12-31 |
Family
ID=67083086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910271336.4A Active CN109978931B (zh) | 2019-04-04 | 2019-04-04 | 三维场景重建方法及设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109978931B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110702633A (zh) * | 2019-10-24 | 2020-01-17 | 四川长虹电器股份有限公司 | 一种基于红外光谱仪的文物模型重建方法 |
| CN110895823A (zh) * | 2020-01-10 | 2020-03-20 | 腾讯科技（深圳）有限公司 | 一种三维模型的纹理获取方法、装置、设备及介质 |
| CN110969701A (zh) * | 2019-11-29 | 2020-04-07 | 司空定制家居科技有限公司 | 对房屋进行建模的方法、装置以及存储介质 |
| CN111402412A (zh) * | 2020-04-16 | 2020-07-10 | Oppo广东移动通信有限公司 | 数据采集方法及装置、设备、存储介质 |
| CN111754591A (zh) * | 2020-07-02 | 2020-10-09 | 吉林大学 | 一种基于高光谱的刑侦现场血迹的检测系统及方法 |
| CN111882590A (zh) * | 2020-06-24 | 2020-11-03 | 广州万维创新科技有限公司 | 一种基于单张图片定位的ar场景应用方法 |
| CN111935475A (zh) * | 2020-08-18 | 2020-11-13 | 洛阳师范学院 | 基于多视图的场景重建方法及系统、服务器及存储介质 |
| CN112000225A (zh) * | 2020-08-25 | 2020-11-27 | 唯羲科技有限公司 | 一种定位建图优化方法、装置及定位建图优化芯片 |
| CN112561883A (zh) * | 2020-12-17 | 2021-03-26 | 成都亚讯星科科技股份有限公司 | 农作物rgb图像重建高光谱图像的方法 |
| CN112785688A (zh) * | 2021-01-27 | 2021-05-11 | 广东职业技术学院 | 一种陶瓷艺术品的三维图像重建方法及系统 |
| WO2021189784A1 (zh) * | 2020-03-23 | 2021-09-30 | 南京科沃斯机器人技术有限公司 | 一种场景重建方法、系统、装置及扫地机器人 |
| CN113674402A (zh) * | 2021-08-23 | 2021-11-19 | 浙江大学 | 植物三维高光谱点云模型生成方法、校正方法及其装置 |
| CN113674400A (zh) * | 2021-08-18 | 2021-11-19 | 公安部物证鉴定中心 | 基于重定位技术的光谱三维重建方法、系统及存储介质 |
| CN114782645A (zh) * | 2022-03-11 | 2022-07-22 | 科大讯飞(苏州)科技有限公司 | 虚拟数字人制作方法、相关设备及可读存储介质 |
| CN115567697A (zh) * | 2022-12-02 | 2023-01-03 | 浙江智慧视频安防创新中心有限公司 | 3d结构光相机系统、数据获取方法、设备及存储介质 |
| WO2023071574A1 (zh) * | 2021-10-25 | 2023-05-04 | 北京字节跳动网络技术有限公司 | 3d影像的重构方法、装置、电子设备及存储介质 |
| US12062145B2 (en) | 2022-02-01 | 2024-08-13 | Samsung Electronics Co., Ltd. | System and method for three-dimensional scene reconstruction and understanding in extended reality (XR) applications |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622776A (zh) * | 2011-01-31 | 2012-08-01 | 微软公司 | 三维环境重构 |
| CN105225269A (zh) * | 2015-09-22 | 2016-01-06 | 浙江大学 | 基于运动机构的三维物体建模系统 |
| CN105825518A (zh) * | 2016-03-31 | 2016-08-03 | 西安电子科技大学 | 基于移动平台拍摄的序列图像快速三维重建方法 |
| CN106056664A (zh) * | 2016-05-23 | 2016-10-26 | 武汉盈力科技有限公司 | 一种基于惯性和深度视觉的实时三维场景重构系统及方法 |
| CN106780601A (zh) * | 2016-12-01 | 2017-05-31 | 北京未动科技有限公司 | 一种空间位置追踪方法、装置及智能设备 |
| US20170169607A1 (en) * | 2015-12-14 | 2017-06-15 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Hyperspectral Scene Analysis via Structure from Motion |
| CN107133976A (zh) * | 2017-04-24 | 2017-09-05 | 浙江大学 | 一种获取三维高光谱信息的方法和装置 |
| US20180018805A1 (en) * | 2016-07-13 | 2018-01-18 | Intel Corporation | Three dimensional scene reconstruction based on contextual analysis |
| CN107869989A (zh) * | 2017-11-06 | 2018-04-03 | 东北大学 | 一种基于视觉惯导信息融合的定位方法及系统 |
| CN108053435A (zh) * | 2017-11-29 | 2018-05-18 | 深圳奥比中光科技有限公司 | 基于手持移动设备的动态实时三维重建方法和系统 |
| CN108629835A (zh) * | 2017-03-20 | 2018-10-09 | 哈尔滨工业大学 | 基于高光谱、真彩图与点云互补的室内重建方法及系统 |
| CN108986223A (zh) * | 2017-05-31 | 2018-12-11 | 上海拆名晃信息科技有限公司 | 一种三维场景重建的方法与装置 |
-
2019
- 2019-04-04 CN CN201910271336.4A patent/CN109978931B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622776A (zh) * | 2011-01-31 | 2012-08-01 | 微软公司 | 三维环境重构 |
| CN105225269A (zh) * | 2015-09-22 | 2016-01-06 | 浙江大学 | 基于运动机构的三维物体建模系统 |
| US20170169607A1 (en) * | 2015-12-14 | 2017-06-15 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Hyperspectral Scene Analysis via Structure from Motion |
| CN105825518A (zh) * | 2016-03-31 | 2016-08-03 | 西安电子科技大学 | 基于移动平台拍摄的序列图像快速三维重建方法 |
| CN106056664A (zh) * | 2016-05-23 | 2016-10-26 | 武汉盈力科技有限公司 | 一种基于惯性和深度视觉的实时三维场景重构系统及方法 |
| US20180018805A1 (en) * | 2016-07-13 | 2018-01-18 | Intel Corporation | Three dimensional scene reconstruction based on contextual analysis |
| CN106780601A (zh) * | 2016-12-01 | 2017-05-31 | 北京未动科技有限公司 | 一种空间位置追踪方法、装置及智能设备 |
| CN108629835A (zh) * | 2017-03-20 | 2018-10-09 | 哈尔滨工业大学 | 基于高光谱、真彩图与点云互补的室内重建方法及系统 |
| CN107133976A (zh) * | 2017-04-24 | 2017-09-05 | 浙江大学 | 一种获取三维高光谱信息的方法和装置 |
| CN108986223A (zh) * | 2017-05-31 | 2018-12-11 | 上海拆名晃信息科技有限公司 | 一种三维场景重建的方法与装置 |
| CN107869989A (zh) * | 2017-11-06 | 2018-04-03 | 东北大学 | 一种基于视觉惯导信息融合的定位方法及系统 |
| CN108053435A (zh) * | 2017-11-29 | 2018-05-18 | 深圳奥比中光科技有限公司 | 基于手持移动设备的动态实时三维重建方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| LI LIU ET AL.: "3D RECONSTRUCTION FROM UAV-BASED HYPERSPECTRAL IMAGES", 《THE INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110702633A (zh) * | 2019-10-24 | 2020-01-17 | 四川长虹电器股份有限公司 | 一种基于红外光谱仪的文物模型重建方法 |
| CN110969701A (zh) * | 2019-11-29 | 2020-04-07 | 司空定制家居科技有限公司 | 对房屋进行建模的方法、装置以及存储介质 |
| CN110969701B (zh) * | 2019-11-29 | 2023-12-29 | 司空定制家居科技有限公司 | 对房屋进行建模的方法、装置以及存储介质 |
| CN110895823A (zh) * | 2020-01-10 | 2020-03-20 | 腾讯科技（深圳）有限公司 | 一种三维模型的纹理获取方法、装置、设备及介质 |
| WO2021189784A1 (zh) * | 2020-03-23 | 2021-09-30 | 南京科沃斯机器人技术有限公司 | 一种场景重建方法、系统、装置及扫地机器人 |
| CN111402412A (zh) * | 2020-04-16 | 2020-07-10 | Oppo广东移动通信有限公司 | 数据采集方法及装置、设备、存储介质 |
| CN111402412B (zh) * | 2020-04-16 | 2023-06-09 | Oppo广东移动通信有限公司 | 数据采集方法及装置、设备、存储介质 |
| CN111882590A (zh) * | 2020-06-24 | 2020-11-03 | 广州万维创新科技有限公司 | 一种基于单张图片定位的ar场景应用方法 |
| CN111754591A (zh) * | 2020-07-02 | 2020-10-09 | 吉林大学 | 一种基于高光谱的刑侦现场血迹的检测系统及方法 |
| CN111754591B (zh) * | 2020-07-02 | 2024-05-14 | 吉林大学 | 一种基于高光谱的刑侦现场血迹的检测系统及方法 |
| CN111935475A (zh) * | 2020-08-18 | 2020-11-13 | 洛阳师范学院 | 基于多视图的场景重建方法及系统、服务器及存储介质 |
| CN111935475B (zh) * | 2020-08-18 | 2021-07-27 | 洛阳师范学院 | 基于多视图的场景重建方法及系统、服务器及存储介质 |
| CN112000225A (zh) * | 2020-08-25 | 2020-11-27 | 唯羲科技有限公司 | 一种定位建图优化方法、装置及定位建图优化芯片 |
| CN112561883A (zh) * | 2020-12-17 | 2021-03-26 | 成都亚讯星科科技股份有限公司 | 农作物rgb图像重建高光谱图像的方法 |
| CN112785688A (zh) * | 2021-01-27 | 2021-05-11 | 广东职业技术学院 | 一种陶瓷艺术品的三维图像重建方法及系统 |
| CN113674400A (zh) * | 2021-08-18 | 2021-11-19 | 公安部物证鉴定中心 | 基于重定位技术的光谱三维重建方法、系统及存储介质 |
| CN113674402B (zh) * | 2021-08-23 | 2023-10-31 | 浙江大学 | 植物三维高光谱点云模型生成方法、校正方法及其装置 |
| CN113674402A (zh) * | 2021-08-23 | 2021-11-19 | 浙江大学 | 植物三维高光谱点云模型生成方法、校正方法及其装置 |
| WO2023071574A1 (zh) * | 2021-10-25 | 2023-05-04 | 北京字节跳动网络技术有限公司 | 3d影像的重构方法、装置、电子设备及存储介质 |
| US12062145B2 (en) | 2022-02-01 | 2024-08-13 | Samsung Electronics Co., Ltd. | System and method for three-dimensional scene reconstruction and understanding in extended reality (XR) applications |
| CN114782645A (zh) * | 2022-03-11 | 2022-07-22 | 科大讯飞(苏州)科技有限公司 | 虚拟数字人制作方法、相关设备及可读存储介质 |
| CN114782645B (zh) * | 2022-03-11 | 2023-08-29 | 科大讯飞(苏州)科技有限公司 | 虚拟数字人制作方法、相关设备及可读存储介质 |
| CN115567697B (zh) * | 2022-12-02 | 2023-05-16 | 浙江智慧视频安防创新中心有限公司 | 3d结构光相机系统、数据获取方法、设备及存储介质 |
| CN115567697A (zh) * | 2022-12-02 | 2023-01-03 | 浙江智慧视频安防创新中心有限公司 | 3d结构光相机系统、数据获取方法、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109978931B (zh) | 2021-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109978931B (zh) | 三维场景重建方法及设备、存储介质 | |
| US11145083B2 (en) | Image-based localization | |
| EP2700040B1 (en) | Color channels and optical markers | |
| WO2016017932A1 (ko) | 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치 | |
| US9659408B2 (en) | Mesh reconstruction from heterogeneous sources of data | |
| US11830103B2 (en) | Method, apparatus, and computer program product for training a signature encoding module and a query processing module using augmented data | |
| KR101181967B1 (ko) | 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템 | |
| CN110290285B (zh) | 图像处理方法、图像处理装置、图像处理系统及介质 | |
| CN110866977A (zh) | 增强现实处理方法及装置、系统、存储介质和电子设备 | |
| US20180020203A1 (en) | Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium | |
| US20160112656A1 (en) | Thermal imaging device, analyzing device, thermal image photographing method, and analyzing method | |
| JP7140965B2 (ja) | 画像処理プログラム、画像処理方法および画像処理装置 | |
| WO2022237688A1 (zh) | 姿态估计方法、装置、计算机设备和存储介质 | |
| US20140198177A1 (en) | Realtime photo retouching of live video | |
| JP6521352B2 (ja) | 情報提示システム及び端末 | |
| CN110310325B (zh) | 一种虚拟测量方法、电子设备及计算机可读存储介质 | |
| CN109981989B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
| CN108932055B (zh) | 一种增强现实内容的方法和设备 | |
| RU2632272C1 (ru) | Способ создания синтетического изображения | |
| CN113362467B (zh) | 基于点云预处理和ShuffleNet的移动端三维位姿估计方法 | |
| WO2024055837A1 (zh) | 一种图像处理方法、装置、设备及介质 | |
| CN112073640A (zh) | 全景信息采集位姿获取方法及装置、系统 | |
| CA3142001C (en) | Spherical image based registration and self-localization for onsite and offsite viewing | |
| JP2015184986A (ja) | 複合現実感共有装置 | |
| CN110490977B (zh) | 一种用于全息设备的图像处理方法、系统和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200421 Address after: Room 1146, 11th floor, research complex building, Institute of computing technology, Chinese Academy of Sciences, No. 6, South Road, Haidian District, Beijing 100000 Applicant after: Wang Yi Address before: Room 16B101, Room 813, Changlin, Xisanqi, Haidian District, Beijing Applicant before: BEIJING SEENGENE TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210317 Address after: Room 1146, 11 / F, research complex building, Institute of computing technology, Chinese Academy of Sciences, No. 6, South Road, Haidian District, Beijing Applicant after: Zhongkehai micro (Beijing) Technology Co.,Ltd. Address before: Room 1146, 11 / F, research complex building, Institute of computing technology, Chinese Academy of Sciences, No. 6, South Road, Haidian District, Beijing Applicant before: Wang Yi |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |