CN112312113A - 用于生成三维模型的方法、装置和系统 - Google Patents

用于生成三维模型的方法、装置和系统 Download PDF

Info

Publication number
CN112312113A
CN112312113A CN202011180650.0A CN202011180650A CN112312113A CN 112312113 A CN112312113 A CN 112312113A CN 202011180650 A CN202011180650 A CN 202011180650A CN 112312113 A CN112312113 A CN 112312113A
Authority
CN
China
Prior art keywords
data
depth
shooting
scene
depth data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011180650.0A
Other languages
English (en)
Other versions
CN112312113B (zh
Inventor
程显昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beike Technology Co Ltd
Original Assignee
Beike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beike Technology Co Ltd filed Critical Beike Technology Co Ltd
Priority to CN202011180650.0A priority Critical patent/CN112312113B/zh
Publication of CN112312113A publication Critical patent/CN112312113A/zh
Priority to US17/362,438 priority patent/US11989827B2/en
Priority to PCT/CN2021/114241 priority patent/WO2022088881A1/en
Priority to JP2023548990A priority patent/JP2023546739A/ja
Application granted granted Critical
Publication of CN112312113B publication Critical patent/CN112312113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种用于生成三维模型的方法、装置、电子设备和存储介质，其中，该用于生成三维模型的方法包括：采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据，其中，第一深度数据包括深度摄像头对被拍摄场景中的部分场景进行至少两次拍摄得到的深度数据；采用激光雷达对被拍摄场景进行扫描，得到第二深度数据；基于被拍摄场景的色彩数据、第一深度数据和第二深度数据，生成被拍摄场景的三维模型。本公开实施例可以兼顾建模过程中探测范围的广度和所生成的三维模型的精度。

Description

用于生成三维模型的方法、装置和系统
技术领域
本发明涉及三维重建技术，尤其是一种用于生成三维模型的方法、装置、系统、电子设备和存储介质。
背景技术
三维重建是一种对三维物体建立适合计算机表示和处理的数学模型的过程。在计算机环境下，可以通过所建立的三维模型实现对三维物体的处理、操作和分析。三维重建技术是在计算机中建立表达客观世界的虚拟现实的关键技术。
通常，三维重建过程可以包括图像获取、摄像机标定、特征提取、立体匹配、三维重建等步骤。
现有的三维重建技术通常只采用深度摄像头或者激光雷达进行三维建模。而采用深度摄像头得到的深度数据的高精度数据范围较小，可视距离不够远；采用激光雷达得到的深度数据的分辨率较低，点云比较稀疏，难以得到细小物体(比如水管、笔等)的精细化三维模型。因而现有技术难以兼顾较大场景的探测范围的广度和所生成的三维模型的精度。
发明内容
本发明实施例提供一种用于生成三维模型的方法、装置、系统、电子设备和存储介质，以兼顾建模过程中探测范围的广度和所生成的三维模型的精度。
根据本发明实施例的一个方面，提供的一种用于生成三维模型的方法，包括：
采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据，其中，所述第一深度数据包括所述深度摄像头对所述被拍摄场景中的部分场景进行至少两次拍摄得到的深度数据；
采用激光雷达对所述被拍摄场景进行扫描，得到第二深度数据；
基于所述被拍摄场景的色彩数据、所述第一深度数据和所述第二深度数据，生成所述被拍摄场景的三维模型。
可选地，在本发明任一实施例的方法中，所述第一深度数据包括多帧第一数据，所述多帧第一数据经由所述深度摄像头按照第一预设频率生成，所述第二深度数据包括多帧第二数据，所述多帧第二数据经由所述激光雷达按照第二预设频率生成；以及
所述基于所述被拍摄场景的色彩数据、所述第一深度数据和所述第二深度数据，生成所述被拍摄场景的三维模型，包括：
从所述第一深度数据和所述第二深度数据中，分别确定相关联的第一数据和第二数据，得到多个相关联的第一数据和第二数据，其中，相关联的第一数据和第二数据为对所述被拍摄场景中的同一部分场景进行拍摄而获得的深度数据；
针对所述多个相关联的第一数据和第二数据中的每个相关联的第一数据和第二数据，将该相关联的第一数据和第二数据进行融合，得到与该相关联的第一数据和第二数据相对应的部分场景的融合后数据；
基于所述被拍摄场景的色彩数据和融合得到的各个融合后数据，生成所述被拍摄场景的三维模型。
可选地，在本发明任一实施例的方法中，所述深度摄像头和所述激光雷达均设置于拍摄主体上；所述深度摄像头拍摄得到的每帧第一数据与所述拍摄主体的位姿信息相关联，所述激光雷达拍摄得到的每帧第二数据与所述拍摄主体的位姿信息相关联；以及
所述从所述第一深度数据和所述第二深度数据中，分别确定相关联的第一数据和第二数据，包括：
从所述第一深度数据和所述第二深度数据中，确定关联有指示相同位姿的位姿信息的第一数据和第二数据，将所确定的第一数据和第二数据作为相关联的第一数据和第二数据。
可选地，在本发明任一实施例的方法中，所述从所述第一深度数据和所述第二深度数据中，分别确定相关联的第一数据和第二数据，包括：
从所述第一深度数据和所述第二深度数据中，确定拍摄时间差小于或等于预设时间差阈值的第一数据和第二数据，将所确定的第一数据和第二数据作为相关联的第一数据和第二数据。
可选地，在本发明任一实施例的方法中，所述从所述第一深度数据和所述第二深度数据中，分别确定相关联的第一数据和第二数据，包括：
对所述第一深度数据和所述第二深度数据进行关键点检测，以从所述第一深度数据和所述第二深度数据中，分别确定指示所述被拍摄场景中的同一被拍摄点的第一数据和第二数据，将所确定的第一数据和第二数据作为相关联的第一数据和第二数据。
可选地，在本发明任一实施例的方法中，所述采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据，包括：
对被拍摄场景进行初次扫描拍摄，得到所述被拍摄场景的深度图像；
针对所得到的深度图像中的每个图像区域，确定该图像区域的分辨率，响应于该图像区域的分辨率小于或等于预设分辨率阈值，对所述被拍摄场景中该图像区域指示的部分场景进行目标数量次扫描拍摄，得到该图像区域指示的部分场景的深度图像，其中，经过所述目标数量次扫描拍摄得到的图像区域的分辨率大于所述预设分辨率阈值；
将各次扫描拍摄得到的深度图像指示的深度数据，作为第一深度数据。
可选地，在本发明任一实施例的方法中，所述三维模型的精度大于预设精度阈值；以及
所述采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据，包括：
在所述深度摄像头的有效测量范围内设置多个目标拍摄点；
针对所述多个目标拍摄点中的每个目标拍摄点，计算所述深度摄像头测量得到的该目标拍摄点的测量距离值与该目标拍摄点的实际距离值之间的误差；
从所述有效测量范围内选取误差小于或等于所述预设精度阈值的测量范围，将所选取的测量范围作为目标距离范围；
采用所述深度摄像头对被拍摄场景进行拍摄，将所述深度摄像头拍摄得到的深度数据中表征的距离值属于所述目标距离范围内的深度数据，作为第一深度数据。
可选地，在本发明任一实施例的方法中，所述采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据，包括：
采用深度摄像头对被拍摄场景进行拍摄，得到摄像头数据；
对所述摄像头数据进行降采样和数据滤波中的至少一项操作，得到第一深度数据；以及
所述采用激光雷达对所述被拍摄场景进行扫描，得到第二深度数据，包括：
采用激光雷达对所述被拍摄场景进行扫描，得到激光雷达数据；
对所述激光雷达数据进行所述至少一项操作，得到第二深度数据。
可选地，在本发明任一实施例的方法中，所述方法还包括：
响应于被拍摄场景中存在未经建模的部分场景，采用所述激光雷达对所述未经建模的部分场景进行再次扫描，得到第二填充数据；
基于所述第二填充数据，对所述三维模型进行填充，得到新的三维模型。
可选地，在本发明任一实施例的方法中，所述方法还包括：
实时呈现所生成的三维模型。
根据本发明实施例的第二个方面，提供的一种用于生成三维模型的装置，包括：
第一拍摄单元，被配置成采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据，其中，所述第一深度数据包括所述深度摄像头对所述被拍摄场景中的部分场景进行至少两次拍摄得到的深度数据；
第一扫描单元，被配置成采用激光雷达对所述被拍摄场景进行扫描，得到第二深度数据；
生成单元，被配置成基于所述被拍摄场景的色彩数据、所述第一深度数据和所述第二深度数据，生成所述被拍摄场景的三维模型。
可选地，在本发明任一实施例的装置中，所述第一深度数据包括多帧第一数据，所述多帧第一数据经由所述深度摄像头按照第一预设频率生成，所述第二深度数据包括多帧第二数据，所述多帧第二数据经由所述激光雷达按照第二预设频率生成；以及
所述生成单元包括：
确定子单元，被配置成从所述第一深度数据和所述第二深度数据中，分别确定相关联的第一数据和第二数据，得到多个相关联的第一数据和第二数据，其中，相关联的第一数据和第二数据为对所述被拍摄场景中的同一部分场景进行拍摄而获得的深度数据；
融合子单元，被配置成针对所述多个相关联的第一数据和第二数据中的每个相关联的第一数据和第二数据，将该相关联的第一数据和第二数据进行融合，得到与该相关联的第一数据和第二数据相对应的部分场景的融合后数据；
生成子单元，被配置成基于所述被拍摄场景的色彩数据和融合得到的各个融合后数据，生成所述被拍摄场景的三维模型。
可选地，在本发明任一实施例的装置中，所述深度摄像头和所述激光雷达均设置于拍摄主体上；所述深度摄像头拍摄得到的每帧第一数据与所述拍摄主体的位姿信息相关联，所述激光雷达拍摄得到的每帧第二数据与所述拍摄主体的位姿信息相关联；以及
所述确定子单元包括：
第一确定模块，被配置成从所述第一深度数据和所述第二深度数据中，确定关联有指示相同位姿的位姿信息的第一数据和第二数据，将所确定的第一数据和第二数据作为相关联的第一数据和第二数据。
可选地，在本发明任一实施例的装置中，所述确定子单元包括：
第二确定模块，被配置成从所述第一深度数据和所述第二深度数据中，确定拍摄时间差小于或等于预设时间差阈值的第一数据和第二数据，将所确定的第一数据和第二数据作为相关联的第一数据和第二数据。
可选地，在本发明任一实施例的装置中，所述确定子单元包括：
第三确定模块，被配置成对所述第一深度数据和所述第二深度数据进行关键点检测，以从所述第一深度数据和所述第二深度数据中，分别确定指示所述被拍摄场景中的同一被拍摄点的第一数据和第二数据，将所确定的第一数据和第二数据作为相关联的第一数据和第二数据。
可选地，在本发明任一实施例的装置中，所述第一拍摄单元进一步被配置成：
对被拍摄场景进行初次扫描拍摄，得到所述被拍摄场景的深度图像；
针对所得到的深度图像中的每个图像区域，确定该图像区域的分辨率，响应于该图像区域的分辨率小于或等于预设分辨率阈值，对所述被拍摄场景中该图像区域指示的部分场景进行目标数量次扫描拍摄，得到该图像区域指示的部分场景的深度图像，其中，经过所述目标数量次扫描拍摄得到的图像区域的分辨率大于所述预设分辨率阈值；
将各次扫描拍摄得到的深度图像指示的深度数据，作为第一深度数据。
可选地，在本发明任一实施例的装置中，所述三维模型的精度大于预设精度阈值；以及
所述第一拍摄单元进一步被配置成：
在深度摄像头的有效测量范围内设置多个目标拍摄点；
针对所述多个目标拍摄点中的每个目标拍摄点，计算所述深度摄像头测量得到的该目标拍摄点的测量距离值与该目标拍摄点的实际距离值之间的误差；
从所述有效测量范围内选取误差小于或等于所述预设精度阈值的测量范围，将所选取的测量范围作为目标距离范围；
采用所述深度摄像头对被拍摄场景进行拍摄，将所述深度摄像头拍摄得到的深度数据中表征的距离值属于所述目标距离范围内的深度数据，作为第一深度数据。
可选地，在本发明任一实施例的装置中，所述第一拍摄单元进一步被配置成：
采用深度摄像头对被拍摄场景进行拍摄，得到摄像头数据；
对所述摄像头数据进行降采样和数据滤波中的至少一项操作，得到第一深度数据；以及
所述第一扫描单元进一步被配置成：
采用激光雷达对所述被拍摄场景进行扫描，得到激光雷达数据；
对所述激光雷达数据进行所述至少一项操作，得到第二深度数据。
可选地，在本发明任一实施例的装置中，所述装置还包括：
第二扫描单元，被配置成响应于被拍摄场景中存在未经建模的部分场景，采用所述激光雷达对所述未经建模的部分场景进行再次扫描，得到第二填充数据；
第二填充单元，被配置成基于所述第二填充数据，对所述三维模型进行填充，得到新的三维模型。
可选地，在本发明任一实施例的装置中，所述装置还包括：
呈现单元，被配置成实时呈现所生成的三维模型。
根据本发明实施例的第三个方面，提供的一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的方法。
根据本发明实施例的第四个方面，提供的一种计算机可读介质，该计算机程序被处理器执行时，实现如上述第一方面的用于生成三维模型的方法中任一实施例的方法。
基于本发明上述实施例提供的用于生成三维模型的方法、装置、电子设备和存储介质，可以采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据，其中，第一深度数据包括深度摄像头对被拍摄场景中的部分场景进行至少两次拍摄得到的深度数据，以及采用激光雷达对被拍摄场景进行扫描，得到第二深度数据，然后，基于被拍摄场景的色彩数据、第一深度数据和第二深度数据，生成被拍摄场景的三维模型。本公开实施例中，可以利用深度摄像头帧率高、分辨率高的特点对被拍摄场景中的部分场景进行至少两次拍摄，并结合激光雷达探测范围广、在探测范围内精度较稳定的特点，从而兼顾建模过程中探测范围的广度和所生成的三维模型的精度，提高三维模型的局部细节的精细程度。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1为本发明用于生成三维模型的方法一个实施例的流程图。
图2为本发明用于生成三维模型的方法的一个应用场景的示意图。
图3为本发明用于生成三维模型的方法的另一个实施例的流程图。
图4为本发明用于生成三维模型的方法的又一个实施例的流程图。
图5为本发明用于生成三维模型的装置一个实施例的结构示意图。
图6为本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于终端设备、计算机系统和服务器中的至少一种电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统和服务器中的至少一种电子设备一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统和服务器中的至少一种电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
请参考图1，示出了根据本公开的用于生成三维模型的方法的一个实施例的流程100。该用于生成三维模型的方法，包括以下步骤：
步骤101，采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据。
在本实施例中，用于生成三维模型的方法的执行主体中可以设置有深度摄像头。该执行主体可以采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据。其中，第一深度数据包括深度摄像头对被拍摄场景中的部分场景进行至少两次拍摄得到的深度数据。
在这里，上述深度摄像头可以用于对被拍摄场景进行拍摄。深度摄像头可以是任意一个或多个摄像头，作为示例，其可以包括但不限于以下至少一项：双目摄像头、结构光摄像头、TOF(飞行时间，Time of Flight)摄像头等。可以理解，深度摄像头拍摄得到的深度数据可以表征深度摄像头的拍摄位置与被拍摄场景中的被拍摄位置之间的距离。上述被拍摄场景可以是任意待对其进行拍摄的场景。例如，被拍摄场景可以是房屋的室内场景，也可以是房屋的室外场景。部分场景可以是上述被拍摄场景中的一部分。例如，当被拍摄场景为房屋的室内场景时，被拍摄场景内可能设置有水龙头、门把手等物体，在此场景下，部分场景可以包括水龙头和/或门把手。
作为示例，假设被拍摄场景包括部分场景A、部分场景B和部分场景C。那么，第一深度数据可以包括深度摄像头对部分场景A进行至少两次拍摄得到的深度数据。此外，当部分场景A和部分场景B包含同一物体(例如部分场景A和部分场景B均包含同一水龙头)时，第一深度数据也可以包括深度摄像头对部分场景A、部分场景B分别仅进行一次拍摄得到的深度数据。在此场景下，第一深度数据包括深度摄像头对包含上述物体的部分场景进行了至少两次拍摄得到的深度数据。
实践中，在深度摄像头无法通过一次拍摄，获得被拍摄场景的整体深度图像时，深度摄像头可以在处于不同位姿(位置、视角等)的情况下对被拍摄场景进行多次拍摄，在此场景下，深度摄像头每次拍摄可以得到被拍摄场景中的部分场景的深度图像。这里，深度摄像头可以通过移动、旋转，从而获得拍摄场景的整体深度图像。
示例性的，深度摄像头可以按照预设的运动轨迹进行移动，每移动预设距离(例如0.2米)可以对被拍摄场景进行一次拍摄；深度摄像头也可以围绕预设物体进行旋转，每旋转预设角度(例如10度)可以对被拍摄场景进行一次拍摄；深度摄像头还可以围绕预设物体进行旋转的同时按照预设的运动轨迹进行移动，每旋转预设角度并且移动预设距离对被拍摄场景进行一次拍摄。
在对被拍摄场景进行拍摄之后或者过程中，上述执行主体可以对每次拍摄得到的部分场景的深度图像进行关键点检测，从而识别出包含目标物体的部分场景的深度图像，进而在深度摄像头进行旋转和/或移动之后，对包含上述目标物体的部分场景进行再次拍摄。其中，目标物体可以是预先确定的物体，例如水龙头和/或门把手，也可以是符合预设条件的物体，作为示例，预设条件可以包括：体积小于预设阈值。
步骤102，采用激光雷达对被拍摄场景进行扫描，得到第二深度数据。
在本实施例中，用于生成三维模型的方法的执行主体上还可以设置有激光雷达。上述执行主体可以采用激光雷达对被拍摄场景进行扫描，得到第二深度数据。
在这里，上述激光雷达可以是任意用于对被拍摄场景进行扫描的激光雷达。
上述执行主体可以与上述深度摄像头、激光雷达分别通信连接。
在本实施例中，上述执行主体可以先执行步骤101,再执行步骤102，也可以先执行步骤102再执行步骤101，还可以同时执行步骤101和步骤102，本申请实施例对步骤101和步骤102的执行顺序不作限定。
可以理解，深度摄像头和激光雷达之间的相对位置可以是在拍摄过程中随机确定的，也可以是预先确定且固定不变的。
步骤103，基于被拍摄场景的色彩数据、第一深度数据和第二深度数据，生成被拍摄场景的三维模型。
在本实施例中，上述执行主体可以基于被拍摄场景的色彩数据、第一深度数据和第二深度数据，生成被拍摄场景的三维模型。
其中，上述色彩数据可以由彩色摄像头和/或灰度摄像头获得。示例性的，色彩数据可以包括R(red)G(green)B(blue)图像、灰度图像、黑白图像中的至少一项。
作为示例，上述执行主体可以采用如下方式执行步骤102：
首先，获取深度摄像头，激光雷达的位置、拍摄视角、旋转角度。
然后，基于深度摄像头，激光雷达的位置、拍摄视角、旋转角度，以及第一深度数据、第二深度数据，确定被拍摄场景中的各个被拍摄点的深度数据。
最后，基于被拍摄场景的色彩数据和被拍摄场景中的各个被拍摄点的深度数据，生成被拍摄场景的三维模型。
作为又一示例，上述执行主体还可以采用如下方式执行步骤102：
对色彩数据、第一深度数据和第二深度数据分别进行关键点检测，从而确定出被拍摄场景中的各个被拍摄点的深度数据和色彩数据，进而生成被拍摄场景的三维模型。
作为示例，请参考图2，图2是本发明用于生成三维模型的方法的一个应用场景的示意图。在图2中，上述执行主体201首先采用深度摄像头2011对被拍摄场景(例如图2中的室内场景)进行拍摄，得到第一深度数据，其中，第一深度数据包括深度摄像头2011对被拍摄场景中的部分场景(例如图2中的包括台灯的部分场景202)进行至少两次拍摄得到的深度数据，以及采用激光雷达2012对上述被拍摄场景进行扫描，得到第二深度数据，然后，上述执行主体201可以基于被拍摄场景的色彩数据、第一深度数据和第二深度数据，生成被拍摄场景的三维模型。
通常，深度摄像头(例如深度摄像头)的分辨率相对激光雷达(例如激光雷达)更高，因此，采用深度摄像头获得的深度数据进行三维建模比较精细，对于较小的物体也能呈现不错的细节。但深度摄像头受功率或者分辨率限制，拍摄距离都比较近，一般都不会超过10米距离，大多数的深度摄像头拍摄范围一般标称在0.2至8米范围内。而激光雷达的探测距离往往大于深度摄像头，并且，激光雷达在探测范围内精度比较稳定，但很难使细小物体(比如水管、笔等)的模型达到很精细。
本发明的上述实施例提供的用于生成三维模型的方法，可以采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据，其中，第一深度数据包括深度摄像头对被拍摄场景中的部分场景进行至少两次拍摄得到的深度数据，以及采用激光雷达对被拍摄场景进行扫描，得到第二深度数据，然后，基于被拍摄场景的色彩数据、第一深度数据和第二深度数据，生成被拍摄场景的三维模型。本公开实施例中，可以利用深度摄像头帧率高、分辨率高的特点对被拍摄场景中的部分场景进行至少两次拍摄，并结合激光雷达探测范围广、在探测范围内精度较稳定的特点，从而兼顾建模过程中探测范围的广度和所生成的三维模型的精度，提高三维模型的局部细节的精细程度。
在本实施例的一些可选的实现方式中，上述执行主体可以采用如下方式执行上述步骤101：
第一步，对被拍摄场景进行扫描拍摄(即初次扫描拍摄)，得到被拍摄场景的深度图像。
在这里，深度摄像头可以在转动、移动的过程中，实现对被拍摄场景的扫描拍摄。
第二步，针对所得到的深度图像中的每个图像区域，确定该图像区域的分辨率，响应于该图像区域的分辨率小于或等于预设分辨率阈值，对被拍摄场景中该图像区域指示的部分场景进行目标数量次扫描拍摄，得到该图像区域指示的部分场景的深度图像。其中，经过目标数量次扫描拍摄得到的图像区域的分辨率大于预设分辨率阈值。
可以理解，分辨率的大小可以表征图像(或图像区域)中的信息量的多少。由此，在图像区域的分辨率小于或等于预设分辨率阈值的情况下，对该图像区域(即分辨率小于或等于预设分辨率阈值的图像区域)对应的部分场景进行重复扫描，从而可以获得更多该部分场景的图像信息，进而获得该部分场景图像对应的、分辨率大于预设分辨率阈值的图像区域(即呈现在三维模型上的图像)。
第三步，将各次扫描拍摄得到的深度图像指示的深度数据，作为第一深度数据。
可以理解，上述可选的实现方式可以使得第一深度数据对应的被拍摄场景中的各个部分场景的深度图像的分辨率均大于预设分辨率阈值，从而可以根据被拍摄场景中各个部分场景的复杂程度，确定对每个部分场景进行扫描拍摄的次数，这样，被拍摄场景中越复杂的部分场景，对其进行扫描拍摄的次数往往越多，由此可以提高三维模型的局部细节的精细化程度。
在本实施例中的一些可选的实现方式中，三维模型的精度大于预设精度阈值。由此，上述执行主体可以通过如下方式执行上述步骤101：
首先，在深度摄像头的有效测量范围内设置多个目标拍摄点。
这里，可以在深度摄像头的有效测量范围内，每间隔预设距离设置一个目标拍摄点，也可以在深度摄像头的有效测量范围内，随机地设置多个目标拍摄点。其中，多个目标拍摄点中的每个目标拍摄点与深度摄像头之间的距离不同。
然后，针对多个目标拍摄点中的每个目标拍摄点，计算深度摄像头测量得到的该目标拍摄点的测量距离值与该目标拍摄点的实际距离值之间的误差。
之后，从有效测量范围内选取误差小于或等于预设精度阈值的测量范围，将所选取的测量范围作为目标距离范围。
最后，采用深度摄像头对被拍摄场景进行拍摄，将深度摄像头拍摄得到的深度数据中表征的距离值属于上述目标距离范围内的深度数据，作为第一深度数据。
实践中，有效测量范围可以在深度摄像头(包括深度摄像头)生产完成后进行标定。测量距离值为深度摄像头测量后得到的、被拍摄点与拍摄位置之间的距离。实际距离值为经由人工或者除该深度摄像头之外的装置测量得到的、被拍摄点与拍摄位置之间的距离。示例性的，有效测量范围可以是深度摄像头标称的距离范围。
作为示例，假设深度摄像头的有效测量范围为0.3米至4米，如果预设精度阈值为0.5厘米。那么，可以在距离深度摄像头0.3米至4米的距离范围内，每隔预设距离(例如0.2米、0.1米等等)测量该深度摄像头的测量距离值与实际距离值之间的误差。例如，距离深度摄像头0.3米的位置测量得到的误差为0.3厘米；距离深度摄像头0.8米的位置测量得到的误差为0.2厘米；距离深度摄像头1.3米的位置测量得到的误差为0.1厘米；距离深度摄像头1.8米的位置测量得到的误差为0.3厘米；距离深度摄像头2.3米的位置测量得到的误差为0.5厘米；距离深度摄像头2.8米的位置测量得到的误差为1厘米；距离深度摄像头3.3米的位置测量得到的误差为5厘米；距离深度摄像头3.8米的位置测量得到的误差为10厘米。那么，由于距离深度摄像头2.8米、3.3米、3.8米的位置测量得到的误差大于预设精度阈值，距离深度摄像头0.3米、0.8米、1.3米、1.8米、2.3米的位置测量得到的误差小于或等于上述预设精度阈值，由此，可以将0.3米至2.3米作为目标距离范围。
可以理解，上述可选的实现方式可以针对待生成的三维模型的精度，来确定深度摄像头的目标距离范围，进而从深度摄像头拍摄得到的全部深度数据中，选取距离值属于目标距离范围内的深度数据，这样可以满足三维模型的精度需求，此外，还可以根据三维模型的精度需求，来调整目标距离范围，进而使得三维模型的生成更为灵活，满足不同的精度需求。
在本实施例的一些可选的实现方式中，上述步骤101可以包括：采用深度摄像头对被拍摄场景进行拍摄，得到摄像头数据；对摄像头数据进行降采样和数据滤波中的至少一项操作，得到第一深度数据。上述步骤102可以包括：采用激光雷达对被拍摄场景进行扫描，得到激光雷达数据；对激光雷达数据进行至少一项操作，得到第二深度数据。
可以理解，通过降采样和/或数据滤波处理后，可以降低数据密度，进而可以提高处理速度，提高生成三维模型的速度。这里，还可以认为深度摄像头和激光雷达获得的数据按照高斯分布抖动，进而通过重复采样求平均的方式降低误差，并通过滤波处理来降低图像中飞点的产生。
可选的，获取第一深度数据和第二深度数据也可以是深度摄像头和激光雷达获得的原始深度数据(例如未经降采样和数据滤波处理的深度数据)。
在本实施例的一些可选的实现方式中，上述执行主体还可以执行如下步骤：
步骤一，在三维模型包括清晰度小于预设清晰度阈值的模型区域的情况下，采用深度摄像头对与模型区域相对应的部分场景进行再次拍摄，得到第一填充数据。
步骤二，基于第一填充数据，对模型区域进行填充，得到新的三维模型。
可以理解，实践中，三维模型中清晰度较低(例如清晰度小于预设清晰度阈值)的模型区域对应的部分场景中，通常含有未用以进行三维建模的物体，在此场景下，可以通过对该部分场景进行再次拍摄，进而采用再次拍摄得到的深度数据(即第一填充数据)，对模型区域进行填充，得到新的三维模型，从而提高了三维模型的局部细节的精细化程度。
可选的，在三维模型包括清晰度小于预设清晰度阈值的模型区域的情况下，上述执行主体还可以首先采用深度摄像头转动和/或移动，然后再采用深度摄像头对与模型区域相对应的部分场景进行再次拍摄，得到第一填充数据。这样，可以从不同的角度对部分场景进行拍摄，进而获得更为丰富的第一填充数据。
在本实施例的一些可选的实现方式中，上述执行主体还可以实时呈现所生成的三维模型。其中，上述执行主体实时呈现的三维模型可以是步骤102中所生成的三维模型，也可以是上述可选的实现方式中所生成的新的三维模型。
可以理解，在上述执行主体实时呈现所生成的三维模型之后，拍摄者(例如负责三维建模的人)可以判断所呈现的三维模型的精度和/或完整性是否满足需求，进而判断是否需要采用上述深度摄像头和/或激光雷达对被拍摄场景进行再次扫描拍摄，有助于后续生成更为精确、完整的三维模型。
进一步参考图3，图3是本发明的用于生成三维模型的又一个实施例的流程图。该用于生成三维模型的流程300，包括以下步骤：
步骤301，采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据。
在本实施例中，用于生成三维模型的方法的执行主体中可以设置有深度摄像头。该执行主体可以采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据。其中，第一深度数据包括深度摄像头对被拍摄场景中的部分场景进行至少两次拍摄得到的深度数据。第一深度数据包括多帧第一数据，多帧第一数据经由深度摄像头按照第一预设频率生成，第二深度数据包括多帧第二数据，多帧第二数据经由激光雷达按照第二预设频率生成。
第一预设频率可以是深度摄像头获取深度数据的频率。第一数据可以是深度摄像头每帧获取的深度数据。第二预设频率可以是激光雷达获取深度数据的频率。第二数据可以是激光雷达每帧获取的深度数据。
在本实施例中，步骤301与图1对应实施例中的步骤101基本一致，这里不再赘述。
步骤302：采用激光雷达对被拍摄场景进行扫描，得到第二深度数据。
在本实施例中，用于生成三维模型的方法的执行主体上还可以设置有激光雷达。上述执行主体可以采用激光雷达对被拍摄场景进行扫描，得到第二深度数据。
在本实施例中，步骤302与图1对应实施例中的步骤102基本一致，这里不再赘述。
步骤303，从第一深度数据和第二深度数据中，分别确定相关联的第一数据和第二数据，得到多个相关联的第一数据和第二数据。
在本实施例中，上述执行主体可以从第一深度数据和第二深度数据中，分别确定相关联的第一数据和第二数据(也即从第一深度数据中确定第一数据，从第二深度数据中确定第二数据)，得到多个相关联的第一数据和第二数据。其中，相关联的第一数据和第二数据为对被拍摄场景中的同一部分场景进行拍摄而获得的深度数据。
在本实施例的一些可选的实现方式中，深度摄像头和激光雷达均设置于拍摄主体上。深度摄像头拍摄得到的每帧第一数据与拍摄主体的位姿信息相关联，激光雷达拍摄得到的每帧第二数据与拍摄主体的位姿信息相关联。拍摄主体可以分别与上述深度摄像头和激光雷达通信连接。基于此，上述执行主体可以采用如下步骤执行上述步骤302：
从第一深度数据和第二深度数据中，确定关联有指示相同位姿的位姿信息的第一数据和第二数据，将所确定的第一数据和第二数据作为相关联的第一数据和第二数据。
上述拍摄主体可以用于确定拍摄过程中拍摄主体所处的位置或角度。
示例性的，拍摄主体每变换一次位姿，深度摄像头和激光雷达可以拍摄得到一帧或多帧第一数据和第二数据。例如，当拍摄主体的位姿为A时，深度摄像头可以拍摄得到第一数据A，激光雷达可以拍摄得到第二数据A；当拍摄主体的位姿为B时，深度摄像头可以拍摄得到第一数据B，激光雷达可以拍摄得到第二数据B。那么，在此场景下，第一数据A和第二数据A可以是相关联的第一数据和第二数据，第一数据B和第二数据B可以是相关联的第一数据和第二数据。
在这里，拍摄主体可以采用定点360度旋转的拍摄模式进行拍摄，拍摄主体可以通过位于旋转电机上的码盘记录位姿信息。此外，拍摄主体也可以采用手持或背包等拍摄模式进行拍摄，拍摄主体可以是使用IMU(Inertial measurement unit，测量单元)和激光雷达的激光SLAM(simultaneous localization and mapping，同步定位与建图)位姿求解器，也可以是IMU和彩色相机的VIO(visual inertial odometry)位姿求解器，或者二者的融合。可选的，拍摄主体、深度摄像头和激光雷达还可以设置于可移动设备(如机器人和无人车)，由此，拍摄主体可以采用移动的拍摄模式进行拍摄。
这里，为了让深度摄像头和激光雷达的数据做精准融合，可以对它们的外参(旋转和平移量)进行标定。此外，如果需要给点云上色得到彩色点云，或者设置有IMU，也可以对彩色摄像头、IMU等部件的外参(旋转和平移量)进行标定。标定深度相机和激光雷达的相对位置和姿态，是数据融合的基础，这样可以提高三维模型的精度。
可以理解，当关联有指示相同位姿的位姿信息时，深度摄像头和激光雷达的相对位置固定，由此可以通过深度摄像头和激光雷达的相对位置，以及相关联的第一数据和第二数据，更为准确地确定出被拍摄场景中的被拍摄点的深度数据。
在本实施例的一些可选的实现方式中，上述执行主体还可以采用如下步骤执行上述步骤303：
从第一深度数据和第二深度数据中，确定拍摄时间差小于或等于预设时间差阈值的第一数据和第二数据，将所确定的第一数据和第二数据作为相关联的第一数据和第二数据。
在这里，拍摄时间差小于或等于预设时间差阈值的第一数据和第二数据中，通常包含被拍摄场景中的同一部分场景的深度数据。由此，上述可选的实现方式通过确定拍摄时间差小于或等于预设时间差阈值的第一数据和第二数据，来确定相关联的第一数据和第二数据，可以更准确地确定出被拍摄场景中的被拍摄点的深度数据。
在本实施例的一些可选的实现方式中，上述执行主体也可以采用如下步骤执行上述步骤303：
对第一深度数据和第二深度数据进行关键点检测，以从第一深度数据和第二深度数据中，分别确定指示被拍摄场景中的同一被拍摄点的第一数据和第二数据，将所确定的第一数据和第二数据作为相关联的第一数据和第二数据。其中，被拍摄特征点可以是预先确定的特征点，也可以是图像灰度值发生剧烈变化的点或者边缘的交点。
可以理解，上述可选的实现方式通过特征点检测的方式来确定相关联的第一数据和第二数据，可以更准确地确定出被拍摄场景中的被拍摄点的深度数据。
需要说明的是，上述执行主体可以基于以下至少一项来确定关联的第一数据和第二数据：是否关联有指示相同位姿的位姿信息、拍摄时间差是否小于或等于预设时间差阈值、是否指示被拍摄场景中的同一被拍摄点。例如，上述执行主体可以将关联有指示相同位姿的位姿信息、拍摄时间差是否小于或等于预设时间差阈值，并且，对第一深度数据和第二深度数据进行关键点检测确定的指示被拍摄场景中的同一被拍摄点。
步骤304，针对多个相关联的第一数据和第二数据中的每个相关联的第一数据和第二数据，将该相关联的第一数据和第二数据进行融合，得到与该相关联的第一数据和第二数据相对应的部分场景的融合后数据。
在本实施例中，针对多个相关联的第一数据和第二数据中的每个相关联的第一数据和第二数据，上述执行主体可以基于获得该第一数据的深度摄像头和获得该第二数据的激光雷达之间的相对位置、拍摄视角等信息，将该相关联的第一数据和第二数据进行融合，得到与该相关联的第一数据和第二数据相对应的部分场景的融合后数据。
步骤305，基于被拍摄场景的色彩数据和融合得到的各个融合后数据，生成被拍摄场景的三维模型。
在本实施例中，上述执行主体可以通过各个部分场景之间的位置关系，基于被拍摄场景的色彩数据和融合得到的各个融合后数据，生成被拍摄场景的三维模型。其中，各个部分场景之间的位置关系可以是预先确定的，也可以是基于拍摄过程中深度摄像头和激光雷达的位置、拍摄视角等信息确定的。
作为示例，如果采用定点旋转拍摄，深度摄像头和激光雷达可以通过架设在三脚架上的电机带动，进行水平360度旋转，构建360度全景的点云。这里，提供位姿信息(例如位置和/或姿态(例如角度))的可以是电机上的码盘(即上述拍摄主体)。此时，需要实时获得拍摄主体的位姿信息，并通过深度摄像头得到拍摄结果的时间戳，将深度摄像头的拍摄结果与拍摄主体的位姿信息相关联；通过激光雷达得到拍摄结果的时间戳，将激光雷达的拍摄结果与拍摄主体的位姿信息相关联。然后，上述执行主体可以将各个相关联的第一数据和第二数据融合到360度深度全景图像中。
作为又一示例，如果采用移动方式进行拍摄，拍摄主体、深度摄像头和激光雷达可以设置于同一系统中。拍摄主体可以是基于各种SLAM的位姿求解器。那么此时需要不断获得整个系统在三维世界内的位姿信息。这里可以采用两个程序模块分别负责读取深度摄像头和激光雷达的拍摄结果(深度数据)，以其各自的帧率分别获取拍摄结果，并将拍摄结果用时间戳通过插值等方式对应到位姿求解器给出的位姿信息上，确定出深度数据拍摄时的位姿，从而得到相关联的第一数据和第二数据。然后，将相关联的第一数据和第二数据融合到构建的全局地图中。
需要说明的是，除上面所记载的内容外，本申请实施例还可以包括与图1对应的实施例相同或类似的特征、效果，在此不再赘述。
从图3中可以看出，本实施例中的用于生成三维模型的方法的流程300将第一深度数据和第二深度数据中各个相关联的第一数据和第二数据分别进行融合，从而更准确地确定出被拍摄场景中的被拍摄点的深度数据，提高了所生成的三维模型的准确度。
请继续参考图4，图4是本发明的用于生成三维模型的又一个实施例的流程图。该用于生成三维模型的流程400，包括以下步骤：
步骤401，采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据。
在本实施例中，用于生成三维模型的方法的执行主体中可以设置有深度摄像头。该执行主体可以采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据。其中，第一深度数据包括深度摄像头对被拍摄场景中的部分场景进行至少两次拍摄得到的深度数据。
在本实施例中，步骤401与图1对应实施例中的步骤101基本一致，这里不再赘述。
步骤402，采用激光雷达对被拍摄场景进行扫描，得到第二深度数据。
在本实施例中，用于生成三维模型的方法的执行主体上还可以设置有激光雷达。上述执行主体可以采用激光雷达对被拍摄场景进行扫描，得到第二深度数据。
在本实施例中，步骤402与图1对应实施例中的步骤102基本一致，这里不再赘述。
步骤403，基于被拍摄场景的色彩数据、第一深度数据和第二深度数据，生成被拍摄场景的三维模型。
在本实施例中，步骤403与图1对应实施例中的步骤103基本一致，这里不再赘述。
步骤404，响应于被拍摄场景中存在未经建模的部分场景，采用激光雷达对未经建模的部分场景进行再次扫描，得到第二填充数据。
在本实施例中，在被拍摄场景中存在未经建模的部分场景的情况下，上述执行主体可以采用激光雷达对未经建模的部分场景进行再次扫描，得到第二填充数据。
步骤405，基于第二填充数据，对三维模型进行填充，得到新的三维模型。
在本实施例中，上述执行主体可以基于第二填充数据，对三维模型进行填充，得到新的三维模型。
需要说明的是，除上面所记载的内容外，本申请实施例还可以包括与图1对应的实施例相同或类似的特征、效果，在此不再赘述。
从图4中可以看出，本实施例中的用于生成三维模型的方法的流程400中，通过采用激光雷达对未经建模的部分场景进行再次扫描，进而采用再次扫描得到的深度数据(即第二填充数据)，对模型区域进行填充，得到新的三维模型，从而提高了对被拍摄场景进行建模的完整性。
进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种用于生成三维模型的装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，除下面所记载的特征外，该装置实施例还可以包括与图1所示的方法实施例相同或相应的特征，以及产生与图1所示的方法实施例相同或相应的效果。该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于生成三维模型的装置500包括：第一拍摄单元501、第一扫描单元502和生成单元503。其中，第一拍摄单元501，被配置成采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据，其中，第一深度数据包括深度摄像头对被拍摄场景中的部分场景进行至少两次拍摄得到的深度数据；第一扫描单元502，被配置成采用激光雷达对被拍摄场景进行扫描，得到第二深度数据；生成单元503，被配置成基于被拍摄场景的色彩数据、第一深度数据和第二深度数据，生成被拍摄场景的三维模型。
在本实施例中，用于生成三维模型的装置500的第一拍摄单元501可以采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据，其中，第一深度数据包括深度摄像头对被拍摄场景中的部分场景进行至少两次拍摄得到的深度数据。
在本实施例中，扫描单元502可以采用激光雷达对被拍摄场景进行扫描，得到第二深度数据。
在本实施例中，生成单元503可以基于被拍摄场景的色彩数据、第一深度数据和第二深度数据，生成被拍摄场景的三维模型。
在本实施例的一些可选的实现方式中，第一深度数据包括多帧第一数据，多帧第一数据经由深度摄像头按照第一预设频率生成，第二深度数据包括多帧第二数据，多帧第二数据经由激光雷达按照第二预设频率生成；以及
生成单元503包括：
确定子单元(图中未示出)，被配置成从第一深度数据和第二深度数据中，分别确定相关联的第一数据和第二数据，得到多个相关联的第一数据和第二数据，其中，相关联的第一数据和第二数据为对被拍摄场景中的同一部分场景进行拍摄而获得的深度数据；
融合子单元(图中未示出)，被配置成针对多个相关联的第一数据和第二数据中的每个相关联的第一数据和第二数据，将该相关联的第一数据和第二数据进行融合，得到与该相关联的第一数据和第二数据相对应的部分场景的融合后数据；
生成子单元(图中未示出)，被配置成基于被拍摄场景的色彩数据和融合得到的各个融合后数据，生成被拍摄场景的三维模型。
在本实施例的一些可选的实现方式中，深度摄像头和激光雷达均设置于拍摄主体上；深度摄像头拍摄得到的每帧第一数据与拍摄主体的位姿信息相关联，激光雷达拍摄得到的每帧第二数据与拍摄主体的位姿信息相关联；以及
确定子单元包括：
第一确定模块(图中未示出)，被配置成从第一深度数据和第二深度数据中，确定关联有指示相同位姿的位姿信息的第一数据和第二数据，将所确定的第一数据和第二数据作为相关联的第一数据和第二数据。
在本实施例的一些可选的实现方式中，确定子单元包括：
第二确定模块(图中未示出)，被配置成从第一深度数据和第二深度数据中，确定拍摄时间差小于或等于预设时间差阈值的第一数据和第二数据，将所确定的第一数据和第二数据作为相关联的第一数据和第二数据。
在本实施例的一些可选的实现方式中，确定子单元包括：
第三确定模块(图中未示出)，被配置成对第一深度数据和第二深度数据进行关键点检测，以从第一深度数据和第二深度数据中，分别确定指示被拍摄场景中的同一被拍摄点的第一数据和第二数据，将所确定的第一数据和第二数据作为相关联的第一数据和第二数据。
在本实施例的一些可选的实现方式中，上述第一拍摄单元进一步被配置成：
对被拍摄场景进行初次扫描拍摄，得到被拍摄场景的深度图像；
针对深度图像中的每个图像区域，确定该图像区域的分辨率，响应于该图像区域的分辨率小于或等于预设分辨率阈值，对被拍摄场景中该图像区域指示的部分场景进行目标数量次扫描拍摄，得到该图像区域指示的部分场景的深度图像，其中，经过目标数量次扫描拍摄得到的深度图像的分辨率大于预设分辨率阈值；
将各次扫描拍摄得到的深度图像指示的深度数据，作为第一深度数据。
在本实施例的一些可选的实现方式中，三维模型的精度大于预设精度阈值；以及
上述第一拍摄单元501进一步被配置成：
在深度摄像头的有效测量范围内设置多个目标拍摄点；
针对所述多个目标拍摄点中的每个目标拍摄点，计算深度摄像头测量得到的该目标拍摄点的测量距离值与该目标拍摄点的实际距离值之间的误差；
从有效测量范围内选取误差小于或等于所述预设精度阈值的测量范围，将所选取的测量范围作为目标距离范围；
采用深度摄像头对被拍摄场景进行拍摄，将深度摄像头拍摄得到的深度数据中表征的距离值属于上述目标距离范围内的深度数据，作为第一深度数据。
在本实施例的一些可选的实现方式中，第一拍摄单元501进一步被配置成：
采用深度摄像头对被拍摄场景进行拍摄，得到摄像头数据；
对所述摄像头数据进行降采样和数据滤波中的至少一项操作，得到第一深度数据；以及
第一扫描单元502进一步被配置成：
采用激光雷达对所述被拍摄场景进行扫描，得到激光雷达数据；
对所述激光雷达数据进行所述至少一项操作，得到第二深度数据。
在本实施例的一些可选的实现方式中，该装置500还包括：
第二扫描单元(图中未示出)，被配置成响应于被拍摄场景中存在未经建模的部分场景，采用激光雷达对未经建模的部分场景进行再次扫描，得到第二填充数据；
第二填充单元(图中未示出)，被配置成基于第二填充数据，对三维模型进行填充，得到新的三维模型。
在本实施例的一些可选的实现方式中，该装置500还包括：
呈现单元(图中未示出)，被配置成实时呈现所生成的三维模型。
本公开的上述实施例提供的用于生成三维模型的装置中，第一拍摄单元501可以采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据，其中，第一深度数据包括深度摄像头对被拍摄场景中的部分场景进行至少两次拍摄得到的深度数据，以及第一扫描单元502可以采用激光雷达对被拍摄场景进行扫描，得到第二深度数据，然后，生成单元503可以基于被拍摄场景的色彩数据、第一深度数据和第二深度数据，生成被拍摄场景的三维模型。本公开实施例中，可以利用深度摄像头帧率高、分辨率高的特点对被拍摄场景中的部分场景进行至少两次拍摄，并结合激光雷达探测范围广、在探测范围内精度较稳定的特点，从而兼顾建模过程中探测范围的广度和所生成的三维模型的精度，提高三维模型的局部细节的精细程度。
下面，参考图6来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
图6图示了根据本公开实施例的电子设备的框图。
如图6所示，电子设备6包括一个或多个处理器601和存储器602。
处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器602可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器601可以运行所述程序指令，以实现上文所述的本公开的各个实施例的用于生成三维模型的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备还可以包括：输入装置603和输出装置604，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，在该电子设备是第一设备或第二设备时，该输入装置603可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置603可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。
此外，该输入装置603还可以包括例如键盘、鼠标等等。该输出装置604可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置604可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图6中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的用于生成三维模型的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的用于生成三维模型的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种用于生成三维模型的方法，其特征在于，包括：
采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据，其中，所述第一深度数据包括所述深度摄像头对所述被拍摄场景中的部分场景进行至少两次拍摄得到的深度数据；
采用激光雷达对所述被拍摄场景进行扫描，得到第二深度数据；
基于所述被拍摄场景的色彩数据、所述第一深度数据和所述第二深度数据，生成所述被拍摄场景的三维模型。
2.根据权利要求1所述的方法，其特征在于，所述第一深度数据包括多帧第一数据，所述多帧第一数据经由所述深度摄像头按照第一预设频率生成，所述第二深度数据包括多帧第二数据，所述多帧第二数据经由所述激光雷达按照第二预设频率生成；以及
所述基于所述被拍摄场景的色彩数据、所述第一深度数据和所述第二深度数据，生成所述被拍摄场景的三维模型，包括：
从所述第一深度数据和所述第二深度数据中，分别确定相关联的第一数据和第二数据，得到多个相关联的第一数据和第二数据，其中，相关联的第一数据和第二数据为对所述被拍摄场景中的同一部分场景进行拍摄而获得的深度数据；
针对所述多个相关联的第一数据和第二数据中的每个相关联的第一数据和第二数据，将该相关联的第一数据和第二数据进行融合，得到与该相关联的第一数据和第二数据相对应的部分场景的融合后数据；
基于所述被拍摄场景的色彩数据和融合得到的各个融合后数据，生成所述被拍摄场景的三维模型。
3.根据权利要求2所述的方法，其特征在于，所述深度摄像头和所述激光雷达均设置于拍摄主体上；所述深度摄像头拍摄得到的每帧第一数据与所述拍摄主体的位姿信息相关联，所述激光雷达拍摄得到的每帧第二数据与所述拍摄主体的位姿信息相关联；以及
所述从所述第一深度数据和所述第二深度数据中，分别确定相关联的第一数据和第二数据，包括：
从所述第一深度数据和所述第二深度数据中，确定关联有指示相同位姿的位姿信息的第一数据和第二数据，将所确定的第一数据和第二数据作为相关联的第一数据和第二数据。
4.根据权利要求2或3所述的方法，其特征在于，所述从所述第一深度数据和所述第二深度数据中，分别确定相关联的第一数据和第二数据，包括：
从所述第一深度数据和所述第二深度数据中，确定拍摄时间差小于或等于预设时间差阈值的第一数据和第二数据，将所确定的第一数据和第二数据作为相关联的第一数据和第二数据。
5.根据权利要求2-4之一所述的方法，其特征在于，所述从所述第一深度数据和所述第二深度数据中，分别确定相关联的第一数据和第二数据，包括：
对所述第一深度数据和所述第二深度数据进行关键点检测，以从所述第一深度数据和所述第二深度数据中，分别确定指示所述被拍摄场景中的同一被拍摄点的第一数据和第二数据，将所确定的第一数据和第二数据作为相关联的第一数据和第二数据。
6.根据权利要求1-5之一所述的方法，其特征在于，所述采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据，包括：
对被拍摄场景进行初次扫描拍摄，得到所述被拍摄场景的深度图像；
针对所得到的深度图像中的每个图像区域，确定该图像区域的分辨率，响应于该图像区域的分辨率小于或等于预设分辨率阈值，对所述被拍摄场景中该图像区域指示的部分场景进行目标数量次扫描拍摄，得到该图像区域指示的部分场景的深度图像，其中，经过所述目标数量次扫描拍摄得到的图像区域的分辨率大于所述预设分辨率阈值；
将各次扫描拍摄得到的深度图像指示的深度数据，作为第一深度数据。
7.根据权利要求1-6之一所述的方法，其特征在于，所述三维模型的精度大于预设精度阈值；以及
所述采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据，包括：
在深度摄像头的有效测量范围内设置多个目标拍摄点；
针对所述多个目标拍摄点中的每个目标拍摄点，计算所述深度摄像头测量得到的该目标拍摄点的测量距离值与该目标拍摄点的实际距离值之间的误差；
从所述有效测量范围内选取误差小于或等于所述预设精度阈值的测量范围，将所选取的测量范围作为目标距离范围；
采用所述深度摄像头对被拍摄场景进行拍摄，将所述深度摄像头拍摄得到的深度数据中表征的距离值属于所述目标距离范围内的深度数据，作为第一深度数据。
8.一种用于生成三维模型的装置，其特征在于，包括：
第一拍摄单元，被配置成采用深度摄像头对被拍摄场景进行拍摄，得到第一深度数据，其中，所述第一深度数据包括所述深度摄像头对所述被拍摄场景中的部分场景进行至少两次拍摄得到的深度数据；
第一扫描单元，被配置成采用激光雷达对所述被拍摄场景进行扫描，得到第二深度数据；
生成单元，被配置成基于所述被拍摄场景的色彩数据、所述第一深度数据和所述第二深度数据，生成所述被拍摄场景的三维模型。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-7任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-7任一所述的方法。
CN202011180650.0A 2020-10-29 2020-10-29 用于生成三维模型的方法、装置和系统 Active CN112312113B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011180650.0A CN112312113B (zh) 2020-10-29 2020-10-29 用于生成三维模型的方法、装置和系统
US17/362,438 US11989827B2 (en) 2020-10-29 2021-06-29 Method, apparatus and system for generating a three-dimensional model of a scene
PCT/CN2021/114241 WO2022088881A1 (en) 2020-10-29 2021-08-24 Method, apparatus and system for generating a three-dimensional model of a scene
JP2023548990A JP2023546739A (ja) 2020-10-29 2021-08-24 シーンの３次元モデルを生成するための方法、装置、およびシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011180650.0A CN112312113B (zh) 2020-10-29 2020-10-29 用于生成三维模型的方法、装置和系统

Publications (2)

Publication Number Publication Date
CN112312113A true CN112312113A (zh) 2021-02-02
CN112312113B CN112312113B (zh) 2022-07-15

Family

ID=74331621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011180650.0A Active CN112312113B (zh) 2020-10-29 2020-10-29 用于生成三维模型的方法、装置和系统

Country Status (4)

Country Link
US (1) US11989827B2 (zh)
JP (1) JP2023546739A (zh)
CN (1) CN112312113B (zh)
WO (1) WO2022088881A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927281A (zh) * 2021-04-06 2021-06-08 Oppo广东移动通信有限公司 深度检测方法、深度检测装置、存储介质与电子设备
CN112967381A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 三维重建方法、设备和介质
WO2022088881A1 (en) * 2020-10-29 2022-05-05 Beike Technology Co., Ltd. Method, apparatus and system for generating a three-dimensional model of a scene

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115512242B (zh) * 2022-07-22 2023-05-30 北京微视威信息科技有限公司 场景变化检测方法及飞行装置

Citations (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2395475A1 (en) * 2010-06-14 2011-12-14 Samsung Electronics Co., Ltd. Apparatus and method for depth unfolding based on multiple depth images
CN104025567A (zh) * 2012-10-24 2014-09-03 Lsi公司 用于消除深度伪影的图像处理方法和装置
CN104113702A (zh) * 2014-07-25 2014-10-22 北京智谷睿拓技术服务有限公司 闪光控制方法及控制装置、图像采集方法及采集装置
CN104159099A (zh) * 2014-08-29 2014-11-19 杭州道玄影视科技有限公司 一种3d立体影视制作中双目立体摄像机的设置方法
CN107483845A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 拍照方法及其装置
CN107493412A (zh) * 2017-08-09 2017-12-19 广东欧珀移动通信有限公司 图像处理系统及方法
CN107610084A (zh) * 2017-09-30 2018-01-19 驭势科技（北京）有限公司 一种对深度图像和激光点云图进行信息融合的方法与设备
CN107851321A (zh) * 2015-11-30 2018-03-27 华为技术有限公司 图像处理方法和双摄像头系统
CN107966693A (zh) * 2017-12-05 2018-04-27 成都合纵连横数字科技有限公司 一种基于深度渲染的车载激光雷达仿真方法
CN107995434A (zh) * 2017-11-30 2018-05-04 广东欧珀移动通信有限公司 图像获取方法、电子装置和计算机可读存储介质
CN108234984A (zh) * 2018-03-15 2018-06-29 百度在线网络技术（北京）有限公司 双目深度相机系统和深度图像生成方法
CN108462830A (zh) * 2017-02-22 2018-08-28 佳能株式会社 摄像装置及摄像装置的控制方法
CN108510537A (zh) * 2017-02-28 2018-09-07 深圳市掌网科技股份有限公司 3d建模方法和装置
CN108549088A (zh) * 2018-04-27 2018-09-18 科沃斯商用机器人有限公司 基于机器人的定位方法、设备、系统及存储介质
CN108700408A (zh) * 2016-02-25 2018-10-23 大日本印刷株式会社 三维形状数据及纹理信息生成系统、拍摄控制程序、以及三维形状数据及纹理信息生成方法
US20180352144A1 (en) * 2017-06-02 2018-12-06 SZ DJI Technology Co., Ltd. Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar
CN108986223A (zh) * 2017-05-31 2018-12-11 上海拆名晃信息科技有限公司 一种三维场景重建的方法与装置
CN109035309A (zh) * 2018-07-20 2018-12-18 清华大学苏州汽车研究院（吴江） 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN109274957A (zh) * 2018-10-31 2019-01-25 维沃移动通信有限公司 一种深度图像拍摄方法及移动终端
CN109741405A (zh) * 2019-01-21 2019-05-10 同济大学 一种基于对偶结构光rgb-d相机的深度信息采集系统
CN110163968A (zh) * 2019-05-28 2019-08-23 山东大学 Rgbd相机大型三维场景构建方法及系统
CN110233963A (zh) * 2019-05-06 2019-09-13 深圳市华芯技研科技有限公司 一种双目相机间距调节方法及装置
US20190304118A1 (en) * 2018-03-27 2019-10-03 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for generating image generative model
CN110599546A (zh) * 2019-08-28 2019-12-20 贝壳技术有限公司 一种获取三维空间数据的方法、系统、装置和存储介质
CN110842940A (zh) * 2019-11-19 2020-02-28 广东博智林机器人有限公司 一种建筑测量机器人多传感器融合三维建模方法及系统
CN110874852A (zh) * 2019-11-06 2020-03-10 Oppo广东移动通信有限公司 深度图像的确定方法、图像处理器及存储介质
CN111178138A (zh) * 2019-12-04 2020-05-19 国电南瑞科技股份有限公司 基于激光点云和双目视觉的配网导线作业点检测方法及装置
CN111239729A (zh) * 2020-01-17 2020-06-05 西安交通大学 融合散斑和泛光投射的ToF深度传感器及其测距方法
CN111415388A (zh) * 2020-03-17 2020-07-14 Oppo广东移动通信有限公司 一种视觉定位方法及终端
CN111524194A (zh) * 2020-04-24 2020-08-11 江苏盛海智能科技有限公司 一种激光雷达和双目视觉相互融合的定位方法及终端
CN111526282A (zh) * 2020-03-26 2020-08-11 香港光云科技有限公司 基于飞行时间的可调景深拍摄的方法及设备
CN111741283A (zh) * 2019-03-25 2020-10-02 华为技术有限公司 图像处理的装置和方法
CN111742344A (zh) * 2019-06-28 2020-10-02 深圳市大疆创新科技有限公司 图像语义分割方法、可移动平台及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120105169A (ko) * 2011-03-15 2012-09-25 삼성전자주식회사 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서의 구동 방법
US9053571B2 (en) * 2011-06-06 2015-06-09 Microsoft Corporation Generating computer models of 3D objects
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US9424650B2 (en) * 2013-06-12 2016-08-23 Disney Enterprises, Inc. Sensor fusion for depth estimation
CN107431800A (zh) * 2015-02-12 2017-12-01 奈克斯特Vr股份有限公司 用于进行环境测量和/或使用此类测量的方法和装置
US9369689B1 (en) * 2015-02-24 2016-06-14 HypeVR Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video
US9818232B2 (en) * 2015-08-26 2017-11-14 Adobe Systems Incorporated Color-based depth smoothing of scanned 3D model to enhance geometry in 3D printing
US10306203B1 (en) * 2016-06-23 2019-05-28 Amazon Technologies, Inc. Adaptive depth sensing of scenes by targeted light projections
GB2554633B (en) * 2016-06-24 2020-01-22 Imperial College Sci Tech & Medicine Detecting objects in video data
US10529086B2 (en) * 2017-11-22 2020-01-07 Futurewei Technologies, Inc. Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system
CN110895833A (zh) * 2018-09-13 2020-03-20 北京京东尚科信息技术有限公司 一种室内场景三维建模的方法和装置
CN110428372B (zh) * 2019-07-08 2021-12-10 佳木斯市奥义智能科技有限公司 深度数据与2d激光数据融合方法及装置、存储介质
US20210166477A1 (en) * 2019-12-03 2021-06-03 Augustus Intelligence Inc. Synthesizing images from 3d models
US20210327119A1 (en) * 2020-04-17 2021-10-21 Occipital, Inc. System for Generating a Three-Dimensional Scene Reconstructions
CN112312113B (zh) * 2020-10-29 2022-07-15 贝壳技术有限公司 用于生成三维模型的方法、装置和系统

Patent Citations (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2395475A1 (en) * 2010-06-14 2011-12-14 Samsung Electronics Co., Ltd. Apparatus and method for depth unfolding based on multiple depth images
CN104025567A (zh) * 2012-10-24 2014-09-03 Lsi公司 用于消除深度伪影的图像处理方法和装置
CN104113702A (zh) * 2014-07-25 2014-10-22 北京智谷睿拓技术服务有限公司 闪光控制方法及控制装置、图像采集方法及采集装置
CN104159099A (zh) * 2014-08-29 2014-11-19 杭州道玄影视科技有限公司 一种3d立体影视制作中双目立体摄像机的设置方法
CN107851321A (zh) * 2015-11-30 2018-03-27 华为技术有限公司 图像处理方法和双摄像头系统
CN108700408A (zh) * 2016-02-25 2018-10-23 大日本印刷株式会社 三维形状数据及纹理信息生成系统、拍摄控制程序、以及三维形状数据及纹理信息生成方法
CN108462830A (zh) * 2017-02-22 2018-08-28 佳能株式会社 摄像装置及摄像装置的控制方法
CN108510537A (zh) * 2017-02-28 2018-09-07 深圳市掌网科技股份有限公司 3d建模方法和装置
CN108986223A (zh) * 2017-05-31 2018-12-11 上海拆名晃信息科技有限公司 一种三维场景重建的方法与装置
US20180352144A1 (en) * 2017-06-02 2018-12-06 SZ DJI Technology Co., Ltd. Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar
CN107483845A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 拍照方法及其装置
CN107493412A (zh) * 2017-08-09 2017-12-19 广东欧珀移动通信有限公司 图像处理系统及方法
CN107610084A (zh) * 2017-09-30 2018-01-19 驭势科技（北京）有限公司 一种对深度图像和激光点云图进行信息融合的方法与设备
CN107995434A (zh) * 2017-11-30 2018-05-04 广东欧珀移动通信有限公司 图像获取方法、电子装置和计算机可读存储介质
CN107966693A (zh) * 2017-12-05 2018-04-27 成都合纵连横数字科技有限公司 一种基于深度渲染的车载激光雷达仿真方法
CN108234984A (zh) * 2018-03-15 2018-06-29 百度在线网络技术（北京）有限公司 双目深度相机系统和深度图像生成方法
US20190304118A1 (en) * 2018-03-27 2019-10-03 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for generating image generative model
CN108549088A (zh) * 2018-04-27 2018-09-18 科沃斯商用机器人有限公司 基于机器人的定位方法、设备、系统及存储介质
CN109035309A (zh) * 2018-07-20 2018-12-18 清华大学苏州汽车研究院（吴江） 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN109274957A (zh) * 2018-10-31 2019-01-25 维沃移动通信有限公司 一种深度图像拍摄方法及移动终端
CN109741405A (zh) * 2019-01-21 2019-05-10 同济大学 一种基于对偶结构光rgb-d相机的深度信息采集系统
CN111741283A (zh) * 2019-03-25 2020-10-02 华为技术有限公司 图像处理的装置和方法
CN110233963A (zh) * 2019-05-06 2019-09-13 深圳市华芯技研科技有限公司 一种双目相机间距调节方法及装置
CN110163968A (zh) * 2019-05-28 2019-08-23 山东大学 Rgbd相机大型三维场景构建方法及系统
CN111742344A (zh) * 2019-06-28 2020-10-02 深圳市大疆创新科技有限公司 图像语义分割方法、可移动平台及存储介质
CN110599546A (zh) * 2019-08-28 2019-12-20 贝壳技术有限公司 一种获取三维空间数据的方法、系统、装置和存储介质
CN110874852A (zh) * 2019-11-06 2020-03-10 Oppo广东移动通信有限公司 深度图像的确定方法、图像处理器及存储介质
CN110842940A (zh) * 2019-11-19 2020-02-28 广东博智林机器人有限公司 一种建筑测量机器人多传感器融合三维建模方法及系统
CN111178138A (zh) * 2019-12-04 2020-05-19 国电南瑞科技股份有限公司 基于激光点云和双目视觉的配网导线作业点检测方法及装置
CN111239729A (zh) * 2020-01-17 2020-06-05 西安交通大学 融合散斑和泛光投射的ToF深度传感器及其测距方法
CN111415388A (zh) * 2020-03-17 2020-07-14 Oppo广东移动通信有限公司 一种视觉定位方法及终端
CN111526282A (zh) * 2020-03-26 2020-08-11 香港光云科技有限公司 基于飞行时间的可调景深拍摄的方法及设备
CN111524194A (zh) * 2020-04-24 2020-08-11 江苏盛海智能科技有限公司 一种激光雷达和双目视觉相互融合的定位方法及终端

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022088881A1 (en) * 2020-10-29 2022-05-05 Beike Technology Co., Ltd. Method, apparatus and system for generating a three-dimensional model of a scene
CN112967381A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 三维重建方法、设备和介质
CN112967381B (zh) * 2021-03-05 2024-01-16 北京百度网讯科技有限公司 三维重建方法、设备和介质
CN112927281A (zh) * 2021-04-06 2021-06-08 Oppo广东移动通信有限公司 深度检测方法、深度检测装置、存储介质与电子设备

Also Published As

Publication number Publication date
US11989827B2 (en) 2024-05-21
JP2023546739A (ja) 2023-11-07
WO2022088881A1 (en) 2022-05-05
CN112312113B (zh) 2022-07-15
US20220139030A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
CN112312113B (zh) 用于生成三维模型的方法、装置和系统
WO2019127445A1 (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN109887003B (zh) 一种用于进行三维跟踪初始化的方法与设备
US11748906B2 (en) Gaze point calculation method, apparatus and device
CN111983635B (zh) 位姿确定方法及装置、电子设备和存储介质
CN113592989B (zh) 一种三维场景的重建系统、方法、设备及存储介质
US10545215B2 (en) 4D camera tracking and optical stabilization
CN111008985B (zh) 全景图拼缝检测方法、装置、可读存储介质及电子设备
Houssineau et al. A unified approach for multi-object triangulation, tracking and camera calibration
US20160210761A1 (en) 3d reconstruction
CN111179329A (zh) 三维目标检测方法、装置及电子设备
CN112102199A (zh) 深度图像的空洞区域填充方法、装置和系统
CN111680596B (zh) 基于深度学习的定位真值校验方法、装置、设备及介质
CN110232707A (zh) 一种测距方法及装置
CN112907727A (zh) 相对变换矩阵的标定方法、装置及系统
US8509522B2 (en) Camera translation using rotation from device
CN112270702A (zh) 体积测量方法及装置、计算机可读介质和电子设备
Schraml et al. An event-driven stereo system for real-time 3-D 360 panoramic vision
WO2022025283A1 (ja) 測定処理装置、方法及びプログラム
CN114882106A (zh) 位姿确定方法和装置、设备、介质
CN112862861B (zh) 相机运动路径确定方法、确定装置及拍摄系统
CN116503566A (zh) 一种三维建模方法、装置、电子设备及存储介质
US11375107B2 (en) Apparatus and method for guiding multi-view capture
Thomas et al. Portable Mini Turntable for Close-Range Photogrammetry: A Preliminary Study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant