CN110514140B - 一种三维成像方法、装置、设备以及存储介质 - Google Patents

一种三维成像方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN110514140B
CN110514140B CN201910854140.8A CN201910854140A CN110514140B CN 110514140 B CN110514140 B CN 110514140B CN 201910854140 A CN201910854140 A CN 201910854140A CN 110514140 B CN110514140 B CN 110514140B
Authority
CN
China
Prior art keywords
imaging
dimensional
model
models
dimensional imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910854140.8A
Other languages
English (en)
Other versions
CN110514140A (zh
Inventor
程诚
汪浩源
王旭光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Nano Tech and Nano Bionics of CAS
Original Assignee
Suzhou Institute of Nano Tech and Nano Bionics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Nano Tech and Nano Bionics of CAS filed Critical Suzhou Institute of Nano Tech and Nano Bionics of CAS
Priority to CN201910854140.8A priority Critical patent/CN110514140B/zh
Publication of CN110514140A publication Critical patent/CN110514140A/zh
Application granted granted Critical
Publication of CN110514140B publication Critical patent/CN110514140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种三维成像方法、装置、设备以及存储介质，该方法包括：获取成像原始数据；通过预先训练好的第一决策模型根据所述成像原始数据自预先训练好的成像模型中选择第一成像模型；通过所述第一成像模型根据所述成像原始数据得到三维成像结果。本发明实施例实现了既能完成主动三维成像也能完成被动三维成像，具有较好的通用性。

Description

一种三维成像方法、装置、设备以及存储介质
技术领域
本发明涉及三维成像技术领域，尤其涉及一种三维成像方法、装置、设备以及存储介质。
背景技术
光学三维测量是指采用光学的手段获得三维物体空间信息(包括三维形貌、灰度、颜色信息)的方法和技术。随着计算机技术、信息处理技术的发展，光学测量技术也取得很大的进步。光学三维测量已作为信息光学和光学计量领域的前沿研究方向之一。获取三维面形信息的基本方法包括被动三维传感和主动三维传感两个大类。被动的三维传感采用非结构照明的方式，从一两个或多个摄像系统获取二维图像中确定距离数据，从而形成三维面形数据。被动三维测量结果的准确性依赖于物体的形态、纹理、光照条件等先验知识，通过不同视觉图像的相关匹配运算来重建物体的三维面形。主要用于三维目标的识别、理解、位姿分析。主动三维成像采用结构照明方式，投影结构光场到被测物体表面，被测物体对结构光场进行空间或时间调制，形成携带了被测物体三维面形的变形结构光场。通过对变形结构光场进行解调就能得到三维面形数据。主动的光学三维测量技术以其成本低、非接触、精度高、全场分析等优点，是大多数以三维面形成像为目的的三维传感系统采用的技术。
被动三维成像是计算机视觉里目前被广泛研究和应用的一个重要分支，该系统是对人类视觉系统的仿生过程，主要采用左右两个摄像机对同一场景获取两幅数字图像，然后利用立体匹配算法求出两幅图像的同名点及视差，结合视差解算数据与摄像机标定所得参数求出场景内被测物体面形稠密点云的三维坐标，进而重建出场景的三维结构信息并获得相应点的深度值，此深度值即为摄像机和被测物体之间的实际距离。被动三维成像不可避免的具有高计算复杂度与计算量，对遮挡、视差不连续等情况不具备鲁棒性等缺点。
发明内容
有鉴于此，本发明实施例提供了一种三维成像方法、装置、设备以及存储介质，能够根据具体情况不同自适应的选择进行主动三维成像或被动三维成像以达到更佳的成像效果。
为解决上述技术问题，本发明采用以下技术方案：
第一方面，本发明实施例提供了一种三维成像方法，该三维成像方法包括：
获取成像原始数据；
通过预先训练好的第一决策模型根据所述成像原始数据自预先训练好的成像模型中选择第一成像模型；
通过所述第一成像模型根据所述成像原始数据得到三维成像结果。
第二方面，本发明实施例提供了一种三维成像装置，该三维成像装置包括：
成像原始数据获取模块，用于获取成像原始数据；
决策模块，用于通过预先训练好的第一决策模型根据所述成像原始数据自预先训练好的成像模型中选择第一成像模型；
三维成像模块，用于通过所述第一成像模型根据所述成像原始数据得到三维成像结果。
第三方面，本发明实施例提供了一种三维成像设备，该三维成像设备包括存储器和处理器，所述存储器上存储有可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现前述的三维成像方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被执行时实现前述的三维成像方法。
本发明实施例提供的三维成像方法能根据具体情况不同选择合适的成像模型进行主动三维成像或被动三维成像，摆脱了传统的单一三维成像方式效果有限、精度较低且不具备鲁棒性的缺陷，能够适应各种复杂的应用环境如不同的背景和光强，并且本发明实施例提供的三维成像方法成像速度较快，整体成像的处理结构和流程高效化。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见的，下面描述中的附图仅仅是本申请的部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明实施例一提供的一种三维成像方法的流程图；
图2是本发明实施例二提供的一种三维成像方法的流程图；
图3是本发明实施例二提供的一种三维成像方法的子流程图；
图4是本发明实施例二提供的一种三维成像方法的子流程图；
图5是本发明实施例三提供的一种三维成像装置的结构示意图；
图6是本发明实施例四提供的一种三维成像设备的结构示意图。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施中的技术方案进行清楚、完整的描述。可以理解的是，此处所描述的具体实施例仅仅是本申请一部分实施例，而不是全部的实施例，仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一成像模型称为第二成像模型，且类似地，可将第一决策模型称为第二决策模型。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。需要说明的是，当部被称为“固定于”另一个部，它可以直接在另一个部上也可以存在居中的部。当一个部被认为是“连接”到另一个部，它可以是直接连接到另一个部或者可能同时存在居中部。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述，只是为了说明的目的，并不表示是唯一的实施方式。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
参见图1，本实施例提供了一种三维成像方法，可以根据实际情况不同进行主动三维成像或被动三维成像，该方法包括以下步骤：
S110、获取成像原始数据。
三维成像技术包括主动三维成像和被动三维成像，主动三维成像需要引入预定的光源，采用结构照明方式，投影结构光场到被测物体表面，被测物体对结构光场进行空间或时间调制，形成携带了被侧物体三维面形的变形结构光场，主动三维成像的成像原始数据为结构光成像图，如包含条纹投影、散斑和编码后的图像。被动三维成像不需要专门的光源进行照明，通常情况下采用左右两个摄像机在自然光下对同一场景获取两幅数字图像。主、被动成像方法的输入图像差距很大，但是本实施例提供的三维成像方法既能够根据输入图像进行主动三维成像也能够根据输入图像进行被动三维成像，因此其获取的成像原始数据既可以是结构光成像图也可以是正常彩色单目、双目或多目相机基于自然光采集到的图像。
S120、通过预先训练好的第一决策模型根据所述成像原始数据自预先训练好的成像模型中选择第一成像模型。
当获取成像原始数据后，需要根据成像原始数据进行三维成像，本实施例提供了多个训练好的成像模型用于根据成像原始数据进行三维成像，但是同一成像原始数据通过不同成像模型得到的三维成像结果是不同的，其相应的成像效果也不同，为了得到更好的成像效果，本实施例在使用成像模型进行成像前，提供了第一决策模型用于根据成像原始数据自预先训练好的成像模型中选择第一成像模型，第一成像模型是所有训练好的成像模型中根据成像原始数据三维成像效果最好的一个，第一决策模型也是预先训练好的。
第一决策模型和成像模型都是通过基于深度学习的神经网络训练得到，训练第一决策模型基于的是分类网络如VGG网络、Resnet网络、Shufflenet网络和Resnext网络等。
S130、通过所述第一成像模型根据所述成像原始数据得到三维成像结果。
当第一决策模型选择出合适的第一成像模型后，将成像原始数据输入第一成像模型，第一成像模型即可得到三维点云数据进而输出三维成像结果。
一般情况下第一决策模型只会选择出一个最优的成像模型作为第一成像模型，但是在某些情况下会出现第一决策模型选择出多个最优的成像模型，即存在多个第一成像模型，而根据成像原始数据和多个第一成像模型可以得到多个三维成像结果，此时需要对得到的多个三维成像结果进行融合，融合过程通常采用ICP方法。
本实施例中提供了一种三维成像方法，获取成像原始数据；通过预先训练好的第一决策模型根据所述成像原始数据自预先训练好的成像模型中选择第一成像模型；通过所述第一成像模型根据所述成像原始数据得到三维成像结果。该三维成像方法能根据具体情况不同选择合适的成像模型进行主动三维成像或被动三维成像，摆脱了传统的单一三维成像方式效果有限、精度较低且不具备鲁棒性的缺陷，能够适应各种复杂的应用环境如不同的背景和光强，并且本实施例提供的三维成像方法成像速度较快，整体成像的处理结构和流程高效化。
实施例二
图2是本发明实施例二提供的一种三维成像方法的流程示意图，本实施例在实施例一的基础上实现，如图2所示，在步骤S110之前还包括步骤S210和步骤S220：
步骤S210、基于神经网络训练得到预先训练好的成像模型。
为了达到较好的成像效果实施例一中所采用的成像模型都是经过训练改进的训练好的成像模型。
在一些实施例中，如图3所示，步骤S210、基于神经网络训练得到预先训练好的成像模型(即成像模型的具体训练过程)包括步骤S211-S213，具体如下：
S211、建立多个三维成像基础模型，所述多个三维成像基础模型包括多个主动三维成像基础模型和多个被动三维成像基础模型。
本实施例采用的三维成像方法需要即能进行主动三维成像也能进行被动三维成像，因此其成像模型必然包括主动三维成像模型和被动三维成像模型，因此在训练时需要提供多个主动三维成像基础模型和多个被动三维成像基础模型。
S212、获取根据不同方式采集的多个输入图像数据。
为了提高训练得到的成像模型对复杂应用环境的适应性，训练采用的图像数据应当包括各种情况下的图像数据，具体的，需要获取根据不同方式、不同环境、不同光强以及不同光传播介质情况下采集的输入图像数据，该方式包括主动成像方式和被动成像方式，主动成像方式的输入图像数据为结构光成像图，被动方式的输入图像数据为环境光照下摄像头采集的图像。
S213、将多个所述输入图像数据单独或组合输入所述多个三维成像基础模型进行训练得到多个训练好的成像模型。
在利用输入图像数据对三维成像基础模型进行训练时，为了进一步提高训练效果和训练速度，可以将两个或多个输入图像数据组合来进行训练，示例性的，输入图像数据包括图像A-图像N，三维成像基础模型包括模型A-模型N，可以采用图像A对模型A进行训练，也可以采用图像A和图像B组合对模型A进行训练。
当训练达到一定程度时可以认为此时的成像模型成像效果已经达到预设要求，此时继续训练得到的提升较小，具体的可以根据实际成像情况不同设置停止条件如训练次数到达预设次数，此时可以认为成像模型能够实现预期的成像效果，预设次数可以设置为总的训练次数也可以设置为每个成像模型的训练次数。
S220、基于神经网络训练得到预先训练好的第一决策模型。
为了避免每次根据成像原始数据获取最优的成像效果时都需要比较通过每个成像模型得到的三维成像结果，实施例中采用了训练好的第一决策模型用于直接根据成像原始数据选择最优的成像模型进行三维成像。
更具体的，在一些实施例中，如图4所示，步骤S220包括步骤S221-S223，具体内容如下：
S221、根据所述多个输入图像数据得到多个训练数据。
获取多个成像模型后需要利用输入图像数据继续训练得到用于评价成像模型的第一决策模型。
具体的，训练第一决策模型的训练数据是由输入图像数据组合得到的，即输入图像数据包括数据A-数据N，训练数据是从数据A-数据N中的随机选择排列。
S222、根据所述训练数据评价所述多个训练好的成像模型，得到每个训练数据对应的一个或多个最优成像模型。
成像模型的评价目的是通过评价得到每个输入图像数据的最优处理模型，以此作为输入和输出对第一决策模型进行训练。
具体的，评价过程包括：
根据所述训练好的成像模型输出的三维点云集合计算三维点云密度，点云数量小于p(p＝10000)的时记S1＝0,反之S1＝1。
根据所述训练好的成像模型输出的三维点云集合计算三维点云平滑度，采用RANSAC算法加最小二乘法进行点云拟合平面，获取平面局部拟合的方差值作为每个模型对应的拟合度S2。
根据所述训练好的成像模型输出的三维点云集合计算轮廓相似度S3。
对输入的训练数据先进行图像边缘检测与提取，提取出图像内物体的边缘轮廓(可以使用边缘检测的各种方法：拉普拉斯算子边缘检测，Robert交叉算子边缘检测、拉普拉斯加高斯算子边缘检测，canny算法等)，称为目标轮廓图；然后对最终的输出三维点云集合(三维点云的点坐标为x,y,z三维坐标)中的所有点的z坐标进行归一化，将其归一化到范围0～255之间。归一化完的结果图称为二维映射等高图，对此二维映射等高图再进行一次边缘检测提取得结果轮廓图，对目标轮廓图和结果轮廓图求图像相似度，图像相似度即轮廓相似度S3。
根据score_all＝S1*(S2+S3)选择每个训练数据对应的一个或多个最优成像模型，其中score_all值越高代表成像模型越优。
三维点云集合可以视为三维成像的输出结果，三维点云集合确定后最终的三维图像也就确定了，基于三维点云集合进行评价就是评价成像模型的成像效果，根据score_all值可以将一个训练数据得到的不同成像结果进行排序，score_all值最大的成像模型就是该训练数据的最佳成像模型，当score_all值最大是对应多个成像模型时可以认为该训练数据具有多个最佳成像模型。
S223、基于决策基础模型根据所述多个训练数据和对应的一个或多个最优成像模型训练得到第一决策模型。
当训练数据对应的最佳成像模型确定后，就可以将训练数据输入决策基础模型得到相应的输出，再根据训练数据对应的最佳成像模型(可以是一个或多个)进行训练使得决策基础模型的输出和最佳成像模型的匹配对越来越高，当训练次数到达预设次数后即可认为训练到达预期效果，可以将此时的决策基础模型作为第一决策模型。通过第一决策模型就可以找到输入的训练数据的最佳成像模型。
本实施例进一步提供了实施例一中所使用的预先训练好的成像模型和第一决策模型的训练流程，通过预先训练好的成像模型可以实现较佳的三维成像，通过预先训练好的第一决策模型可以自成像模型中选择合适的第一成像模型进行三维成像，避免了实际使用时再评估所有的成像模型，在确保模型精度准确的同时保证通用性。
实施例三
如图5所示，本实施例提供了一种三维成像装置500，包括：
成像原始数据获取模块510、用于获取成像原始数据。
三维成像技术包括主动三维成像和被动三维成像，主动三维成像需要引入预定的光源，采用结构照明方式，投影结构光场到被测物体表面，被测物体对结构光场进行空间或时间调制，形成携带了被侧物体三维面形的变形结构光场，主动三维成像的成像原始数据为结构光成像图，如包含条纹投影、散斑和编码后的图像。被动三维成像不需要专门的光源进行照明，通常情况下采用左右两个摄像机在自然光下对同一场景获取两幅数字图像。主、被动成像方法的输入图像差距很大，但是本实施例提供的三维成像方法既能够根据输入图像进行主动三维成像也能够根据输入图像进行被动三维成像，因此其获取的成像原始数据既可以是结构光成像图也可以是正常彩色单目、双目或多目相机基于自然光采集到的图像。
决策模块520、通过预先训练好的第一决策模型根据所述成像原始数据自预先训练好的成像模型中选择第一成像模型。
当获取成像原始数据后，需要根据成像原始数据进行三维成像，本实施例提供了多个训练好的成像模型用于根据成像原始数据进行三维成像，但是同一成像原始数据通过不同成像模型得到的三维成像结果是不同的，其相应的成像效果也不同，为了得到更好的成像效果，本实施例在使用成像模型进行成像前，提供了第一决策模型用于根据成像原始数据自预先训练好的成像模型中选择第一成像模型，第一成像模型是所有训练好的成像模型中根据成像原始数据三维成像效果最好的一个，第一决策模型也是预先训练好的。
第一决策模型和成像模型都是通过基于深度学习的神经网络训练得到，训练第一决策模型基于的是分类网络如VGG网络、Resnet网络、Shufflenet网络和Resnext网络等。
三维成像模块530、通过所述第一成像模型根据所述成像原始数据得到三维成像结果。
当第一决策模型选择出合适的第一成像模型后，将成像原始数据输入第一成像模型，第一成像模型即可得到三维点云数据进而输出三维成像结果。
一般情况下第一决策模型只会选择出一个最优的成像模型作为第一成像模型，但是在某些情况下会出现第一决策模型选择出多个最优的成像模型，即存在多个第一成像模型，而根据成像原始数据和多个第一成像模型可以得到多个三维成像结果，此时需要对得到的多个三维成像结果进行融合，融合过程通常采用ICP方法。
进一步的，本实施例提供的三维成像装置还包括：
成像模型获取模块，用于基于神经网络训练得到预先训练好的成像模型。
具体包括：
成像基础模型单元、用于建立多个三维成像基础模型，所述多个三维成像基础模型包括多个主动三维成像基础模型和多个被动三维成像基础模型。
输入图像数据单元、用于获取根据不同方式采集的多个输入图像数据。
成像模型训练单元、用于将多个所述输入图像数据单独或组合输入所述多个三维成像基础模型进行训练得到多个训练好的成像模型。
第一决策模型获取模块，用于基于神经网络训练得到预先训练好的第一决策模型。
具体包括：
训练数据获取单元、根据所述多个输入图像数据得到多个训练数据。
评价单元、根据所述训练数据评价所述多个训练好的成像模型，得到每个训练数据对应的一个或多个最优成像模型。
其中，评价过程包括：
根据所述训练好的成像模型输出的三维点云集合计算三维点云密度，点云数量小于p(p＝10000)的时记S1＝0,反之S1＝1。
根据所述训练好的成像模型输出的三维点云集合计算三维点云平滑度，采用RANSAC算法加最小二乘法进行点云拟合平面，获取平面局部拟合的方差值作为每个模型对应的拟合度S2。
根据所述训练好的成像模型输出的三维点云集合计算轮廓相似度S3。
对输入的训练数据先求图像边缘检测与提取，提取出图像内物体的边缘轮廓(可以使用边缘检测的各种方法：拉普拉斯算子边缘检测，Robert交叉算子边缘检测、拉普拉斯加高斯算子边缘检测，canny算法等)，称为目标轮廓图；然后对最终的输出三维点云集合(三维点云的点坐标为x,y,z三维坐标)中的所有点的z坐标进行归一化，将其归一化到范围0～255之间。归一化完的结果图称为二维映射等高图，对此二维映射等高图再进行一次边缘检测提取得结果轮廓图，对目标轮廓图和结果轮廓图求图像相似度，图像相似度即轮廓相似度S3。
根据score_all＝S1*(S2+S3)选择每个训练数据对应的一个或多个最优成像模型，其中score_all值越高代表成像模型越优。
三维点云集合可以视为三维成像的输出结果，三维点云集合确定了最终的三维图像也就确定了，基于三维点云集合进行评价就是评价成像模型的成像效果，根据score_all值可以将一个训练数据得到的不同成像结果进行排序，score_all值最大的成像模型就是该训练数据的最佳成像模型，当score_all值最大是对应多个成像模型时可以认为该训练数据具有多个最佳成像模型。
决策模型训练单元，基于决策基础模型根据所述多个训练数据和对应的一个或多个最优成像模型训练得到第一决策模型。
本实施例中提供了一种三维成像装置，包括：成像原始数据获取模块、决策模块和三维成像模块。该三维成像方法能根据具体情况不同选择合适的成像模型进行主动三维成像或被动三维成像，摆脱了传统的单一三维成像方式效果有限、精度较低且不具备鲁棒性的缺陷，能够适应各种复杂的应用环境如不同的背景和光强，并且本实施例提供的三维成像装置成像速度较快，整体成像的处理结构和流程高效化。
本发明实施例所提供的一种三维成像装置可执行本发明前述实施例所提供的一种三维成像方法，具备执行方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例四提供的一种三维成像设备600的结构示意图，如图6所示，该种三维成像设备包括存储器610、处理器620，三维成像设备中处理器620的数量可以是一个或多个，图6中以一个处理器620为例；三维成像设备中的存储器610、处理器620可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器610作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的三维成像方法对应的程序指令/模块(例如，三维成像装置中的成像原始数据获取模块510、决策模块520、镜头三维成像模块530)。处理器620通过运行存储在存储器610中的软件程序、指令以及模块，从而执行三维成像设备的各种功能应用以及数据处理，即实现上述的三维成像方法。
其中，所述处理器620用于运行存储在存储器610中的计算机可执行程序，以实现如下步骤：步骤S110、获取成像原始数据；步骤S120、通过预先训练好的第一决策模型根据所述成像原始数据自预先训练好的成像模型中选择第一成像模型；步骤S130、通过所述第一成像模型根据所述成像原始数据得到三维成像结果。
当然,本发明实施例所提供的一种三维成像设备,该三维成像设备不限于如上所述的方法操作,还可以执行本发明实施例任意实施例所提供的三维成像方法中的相关操作。
存储器610可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器610可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器610可进一步包括相对于处理器620远程设置的存储器，这些远程存储器可以通过网络连接至三维成像设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本实施例提供了一种三维成像设备，能自动适应目标姿态的变化及适应相机的拍摄角度变化来进行拍摄，提高拍摄效果，有利于提高用户使用体验。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种三维成像方法，该三维成像方法包括：
获取成像原始数据；
通过预先训练好的第一决策模型根据所述成像原始数据自预先训练好的成像模型中选择第一成像模型；
通过所述第一成像模型根据所述成像原始数据得到三维成像结果。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的三维成像方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，三维成像设备，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述三维成像装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种三维成像方法，其特征在于，包括：
获取成像原始数据；
通过预先训练好的第一决策模型根据所述成像原始数据自预先训练好的成像模型中选择第一成像模型；
通过所述第一成像模型根据所述成像原始数据得到三维成像结果。
2.根据权利要求1所述的方法，其特征在于，所述通过所述第一成像模型根据所述成像原始数据得到三维成像结果包括；
当所述第一成像模型为多个时，通过多个所述第一成像模型和所述成像原始数据得到多个三维成像结果；
对所述多个三维成像结果采用ICP方法进行融合。
3.根据权利要求1所述的方法，其特征在于，所述成像模型的训练过程包括：
建立多个三维成像基础模型，所述多个三维成像基础模型包括多个主动三维成像基础模型和多个被动三维成像基础模型；
获取根据不同方式采集的多个输入图像数据；
将多个所述输入图像数据单独或组合输入所述多个三维成像基础模型进行训练得到多个训练好的成像模型。
4.根据权利要求3所述的方法，其特征在于，所述输入图像数据包括：
根据主动三维成像方式采集的结构光成像图以及根据被动三维成像方式采集的正常彩色单目、双目或多目相机采集的图像。
5.根据权利要求3所述的方法，其特征在于，所述第一决策模型的训练过程包括：
根据所述多个输入图像数据得到多个训练数据；
根据所述训练数据评价所述多个训练好的成像模型，得到每个训练数据对应的一个或多个最优成像模型；
基于决策基础模型根据所述多个训练数据和对应的一个或多个最优成像模型训练得到第一决策模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所述训练数据评价所述多个训练好的成像模型，得到每个训练数据对应的一个或多个最优成像模型包括:
根据所述训练好的成像模型输出的三维点云集合计算三维点云密度，点云数量小于10000时记S1＝0,反之S1＝1；
根据所述训练好的成像模型输出的三维点云集合计算三维点云平滑度，采用RANSAC算法加最小二乘法进行点云拟合平面，获取平面局部拟合的方差值作为每个模型对应的拟合度S2；
根据所述训练好的成像模型输出的三维点云集合计算轮廓相似度S3；
根据score_all＝S1*(S2+S3)选择每个训练数据对应的一个或多个最优成像模型，其中score_all值越高代表成像模型越优。
7.根据权利要求5所述的方法，其特征在于，所述决策基础模型的构建取基于VGG网络、Resnet网络、Shufflenet网络和Resnext网络中的一种或多种。
8.一种三维成像装置，其特征在于，包括：
成像原始数据获取模块，用于获取成像原始数据；
决策模块，用于通过预先训练好的第一决策模型根据所述成像原始数据自预先训练好的成像模型中选择第一成像模型；
三维成像模块，用于通过所述第一成像模型根据所述成像原始数据得到三维成像结果。
9.一种三维成像设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7所述的三维成像方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被执行时实现如权利要求1-7任意一项所述的三维成像方法。
CN201910854140.8A 2019-09-10 2019-09-10 一种三维成像方法、装置、设备以及存储介质 Active CN110514140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910854140.8A CN110514140B (zh) 2019-09-10 2019-09-10 一种三维成像方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910854140.8A CN110514140B (zh) 2019-09-10 2019-09-10 一种三维成像方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN110514140A CN110514140A (zh) 2019-11-29
CN110514140B true CN110514140B (zh) 2021-05-18

Family

ID=68631863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910854140.8A Active CN110514140B (zh) 2019-09-10 2019-09-10 一种三维成像方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN110514140B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111964606B (zh) * 2020-08-18 2021-12-07 广州小鹏汽车科技有限公司 一种三维信息的处理方法和装置
CN115065098B (zh) * 2022-08-05 2022-11-11 国网甘肃省电力公司临夏供电公司 一种光伏逆变器电流转换系统及其转换方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631938B (zh) * 2015-12-29 2019-12-24 联想(北京)有限公司 一种图像处理方法及电子设备
CN106327579B (zh) * 2016-08-12 2019-01-15 浙江科技学院 基于bim的多维成像融合技术实现隧道爆破质量数字化的方法
US10679384B2 (en) * 2017-09-29 2020-06-09 General Electric Company Systems and methods for deep learning-based image reconstruction
US10853689B2 (en) * 2017-10-09 2020-12-01 WebFurther, LLC Methods for more effectively moderating one or more images and devices thereof
CN109166103B (zh) * 2018-07-27 2021-02-05 中国科学院自动化研究所 基于多层感知网络的激发荧光断层成像方法
CN109191564B (zh) * 2018-07-27 2020-09-04 中国科学院自动化研究所 基于深度学习的激发荧光断层成像三维重建方法
US10387772B1 (en) * 2018-10-22 2019-08-20 Gyrfalcon Technology Inc. Ensemble learning based image classification systems
CN109341580B (zh) * 2018-10-30 2020-11-06 中国铁道科学研究院集团有限公司基础设施检测研究所 钢轨廓形的追踪方法、系统及装置
CN109801234B (zh) * 2018-12-28 2023-09-22 南京美乐威电子科技有限公司 图像几何校正方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于灰度塔评分的匹配模型构建在无人机网络视频拼接中的应用;李南云等;《计算机应用》;20190510;第39卷(第5期);全文 *

Also Published As

Publication number Publication date
CN110514140A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
Huang et al. Indoor depth completion with boundary consistency and self-attention
CN110163953B (zh) 三维人脸重建方法、装置、存储介质和电子装置
Concha et al. DPPTAM: Dense piecewise planar tracking and mapping from a monocular sequence
CN106940704B (zh) 一种基于栅格地图的定位方法及装置
CN108875524B (zh) 视线估计方法、装置、系统和存储介质
Takimoto et al. 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor
EP2751777A1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
CN111524233B (zh) 一种静态场景动态目标的三维重建方法
KR20120048370A (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
CN112070782B (zh) 识别场景轮廓的方法、装置、计算机可读介质及电子设备
Xu et al. Survey of 3D modeling using depth cameras
JP6817742B2 (ja) 情報処理装置およびその制御方法
CN110514140B (zh) 一种三维成像方法、装置、设备以及存储介质
CN116250021A (zh) 图像生成模型的训练方法、新视角图像生成方法及装置
Rara et al. Model-based 3D shape recovery from single images of unknown pose and illumination using a small number of feature points
CN113610967B (zh) 三维点检测的方法、装置、电子设备及存储介质
Ghidoni et al. A multi-viewpoint feature-based re-identification system driven by skeleton keypoints
CN113724329A (zh) 融合平面与立体信息的目标姿态估计方法、系统和介质
CN110599407B (zh) 基于向下倾角方向的多台tof相机人体降噪方法及系统
CN113723432B (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
Li et al. Multi-view stereo via depth map fusion: A coordinate decent optimization method
Takimoto et al. Shape reconstruction from multiple RGB-D point cloud registration
Lyra et al. Development of an efficient 3D reconstruction solution from permissive open-source code
CN112926498A (zh) 基于多通道融合和深度信息局部动态生成的活体检测方法
Venkatesh et al. On the application of a modified self-organizing neural network to estimate stereo disparity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant