CN104933755B - 一种静态物体重建方法和系统 - Google Patents

一种静态物体重建方法和系统 Download PDF

Info

Publication number
CN104933755B
CN104933755B CN201410101540.9A CN201410101540A CN104933755B CN 104933755 B CN104933755 B CN 104933755B CN 201410101540 A CN201410101540 A CN 201410101540A CN 104933755 B CN104933755 B CN 104933755B
Authority
CN
China
Prior art keywords
point
frame image
dimensional
feature point
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410101540.9A
Other languages
English (en)
Other versions
CN104933755A (zh
Inventor
章国锋
鲍虎军
王康侃
周炯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201410101540.9A priority Critical patent/CN104933755B/zh
Priority to PCT/CN2015/074074 priority patent/WO2015139574A1/zh
Priority to EP15764364.4A priority patent/EP3093823B1/en
Publication of CN104933755A publication Critical patent/CN104933755A/zh
Priority to US15/232,229 priority patent/US9830701B2/en
Application granted granted Critical
Publication of CN104933755B publication Critical patent/CN104933755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明实施例公开了静态物体重建方法和系统，应用于图形图像处理技术领域。在本发明实施例中，当静态物体重建系统在基于三维特征点计算相机外参时，未在预置的时间内计算得到该相机外参，则说明深度相机采集的深度数据丢失或损坏，则采用二维特征点来计算相机外参，从而根据相机外参实现某一帧图像中点云的对齐，这样融合了二维特征点和三维特征点，可以实现当深度相机采集的深度数据丢失或损坏时，也能成功重建静态物体。

Description

一种静态物体重建方法和系统
技术领域
本发明涉及图形图像处理技术领域，特别涉及静态物体重建方法和系统。
背景技术
物体重建在计算机图形学和计算机视觉领域有很多应用，比如电影特效，三维立体图形(Three Dimensions，3D)游戏，虚拟现实和人机交互等等。大部分重建系统能够重建出细节化的三维模型，这些重建系统主要是利用多个同步摄像机或者三维扫描设备(比如激光和结构光相机)采集物体的信息，然后进行建模，但是昂贵的设备，复杂而繁琐的用户交互接口，大大限制了这些重建系统的应用。自从微软推出Kinect深度相机，由于价格便宜和易操作的特性，由其衍生的RGB-D相机开始被广泛应用在物体建模相关的研究上。
具体地，RGB-D相机会采集物体的二维图像信息和深度信息，然后重建系统再根据二维图像和深度信息进行建模，但是当RGB-D相机采集的深度信息丢失，会导致静态物体的重建失败。
发明内容
本发明实施例提供静态物体重建方法和系统，实现了当深度相机采集的深度数据丢失时，可以实现静态物体的重建。
本发明实施例第一方面提供一种静态物体重建方法，包括：
分别获取静态物体的当前帧图像中的三维特征点和二维特征点；
将所述三维特征点与参考特征点进行匹配，计算所述当前帧图像的相机外参，其中，所述参考特征点是所述静态物体的多个帧图像上的特征点累积形成的；
如果基于所述三维特征点计算所述当前帧图像的相机外参时，未在预置的时间内得到所述相机外参，则将所述二维特征点，与所述参考特征点中三维特征点匹配，或与所述静态物体的当前帧图像的前一帧图像中的二维特征点进行匹配，计算所述当前帧图像的相机外参；
通过所述计算的相机外参，将所述当前帧图像的点云转换到所述参考特征点组成的参考坐标系下，以对所述静态物体进行建模。
本发明实施例第一方面的第一种可能实现方式中，所述将所述三维特征点与参考特征点进行匹配，计算所述当前帧图像的相机外参，具体包括：
在所述参考特征点中，选择与所述当前帧图像的三维特征点距离最近的多个候选对应点；
选取所述当前帧图像的所有三维特征点中部分三维特征点分别对应的候选对应点；
根据所述部分三维特征点分别对应的候选对应点，计算模型参数；
对所述计算的模型参数对应模型进行评分；
循环执行所述选取候选对应点、计算模型参数和评分的步骤，并将评分最高的模型的模型参数作为所述当前帧图像的相机外参，其中：
如果在所述循环中连续Ks次选取的所述部分三维特征点与候选对应点包含异常对应的概率小于预置的值，或所述循环步骤的次数超过预置的值，或执行所述循环步骤的时间超过预置的值，则停止执行所述选取候选对应点、计算模型参数和评分的循环步骤。
结合本发明实施例第一方面的第一种可能实现方式，在本发明实施例第一方面的第二种可能实现方式中，所述选取所述当前帧图像的所有三维特征点中部分三维特征点分别对应的候选对应点，具体包括：
根据所述前一帧图像中包含所述静态物体的各个空间区域内特征点，与参考特征点的正确对应概率，从所述当前帧图像的所有三维特征点中选取所述部分三维特征点；
根据所述前一帧图像中特征点的候选对应点被选取的概率，从所述多个候选对应点中选择所述三维特征点的候选对应点。
结合本发明实施例第一方面的第一种或第二种可能实现方式，在本发明实施例第一方面的第三种可能实现方式中，所述将所述三维特征点与参考特征点进行匹配，计算所述当前帧图像的相机外参之前，所述方法还包括：
将所述三维特征点，与所述静态物体的当前帧图像的前一帧图像中的特征点进行匹配，得到初始相机外参；
则将所述三维特征点与参考特征点进行匹配，计算所述当前帧图像的相机外参，具体包括：以所述初始相机外参作为根据模型评分确定相机外参的条件，将所述三维特征点，与所述静态物体的参考特征点进行匹配，最终得到所述当前帧图像的相机外参。
结合本发明实施例第一方面，或第一方面的第一种到第三种可能实现方式中任一种可能实现方式，在本发明实施例第一方面的第四种可能实现方式中，所述将所述二维特征点与所述参考特征点中三维特征点进行匹配，计算所述当前帧图像的相机外参，具体包括：
将所述二维特征点与所述参考特征点中三维特征点进行匹配，确定与所述二维特征点对应的三维参考特征点；
确定使得所述参考坐标系下的相机姿态的函数最小化的相机外参，所述相机姿态的函数中包括所述二维特征点与三维参考特征点的对应；
将所述确定的相机外参作为所述当前帧图像的相机外参。
结合本发明实施例第一方面，或第一方面的第一种到第三种可能实现方式中任一种可能实现方式，在本发明实施例第一方面的第五种可能实现方式中，所述将所述二维特征点与所述静态物体的当前帧图像的前一帧图像的二维特征点进行匹配，计算所述当前帧图像的相机外参，具体包括：
将所述二维特征点与所述静态物体的当前帧图像的前一帧图像的二维特征点进行匹配，确定在所述前一帧图像中与所述二维特征点对应的二维特征点；
选取所述当前帧图像的二维特征点及在所述前一帧图像中与所述二维特征点对应的二维特征点处都具有深度数据的多对对应特征点；
根据所述选取的多对对应特征点的深度变化信息，确定所述当前帧图像与前一帧图像的相对相机外参；
根据所述相对相机外参与所述前一帧图像的相机外参，确定所述当前帧图像的相机外参。
结合本发明实施例第一方面，或第一方面的第一种到第五种可能实现方式中任一种可能实现方式，在本发明实施例第一方面的第六种可能实现方式中，如果基于所述三维特征点计算所述当前帧图像的相机外参时，未在预置的时间内得到所述相机外参，所述方法还包括：
根据采集的所述静态物体的多个帧图像的二维数据生成包含深度数据的源模型；
将所述源模型通过变换矩阵转换到目标模型；
根据所述转换后的目标模型补全所述当前帧图像中丢失的深度数据；
其中，所述目标模型是由所述静态物体的当前帧图像的深度数据形成的，且所述变换矩阵是使得第一能量函数最小化的矩阵，所述第一能量函数是包括距离项和光滑项，所述距离项用于表示所述源模型中顶点到所述目标模型中相应顶点的距离，所述光滑项用于约束相邻顶点的变换。
结合本发明实施例第一方面，或第一方面的第一种到第六种可能实现方式中任一种可能实现方式，在本发明实施例第一方面的第七种可能实现方式中，所述计算所述当前帧图像的相机外参之后，所述方法还包括：
通过所述相机外参，建立所述当前帧图像中三维特征点与所述参考特征点的对应；
调整所述静态物体的N帧图像的相机外参，使得第二能量函数最小化，其中所述第二能量函数中包括所述第i帧图像中三维特征点，与对应的参考特征点转换到所述第i帧图像坐标系下特征点的距离，其中，所述i为从0到N的正整数；
则所述通过所述计算的相机外参，将所述当前帧图像的点云转换到所述参考特征点组成的参考坐标系下具体包括：通过对所述计算的相机外参进行所述调整后得到的相机外参，将所述当前帧图像的点云转换到所述参考坐标系下。
结合本发明实施例第一方面第七种可能实现方式，在本发明实施例第一方面的第八种可能实现方式中，如果所述相机外参是在基于所述二维特征点计算的，则所述计算所述当前帧图像的相机外参后，所述方法还包括：
通过所述相机外参，建立所述当前帧图像中二维特征点与所述参考特征点的对应；
则所述第二能量函数中还包括第i帧图像中二维特征点，与对应的参考特征点转换到所述第i帧图像坐标系下特征点的距离。
结合本发明实施例第一方面，或第一方面的第一种到第六种可能实现方式中任一种可能实现方式，在本发明实施例第一方面的第九种可能实现方式中，所述计算所述当前帧图像的相机外参之后，所述方法还包括：
如果所述静态物体的某一帧图像中特征点与另一帧图像中的特征点重叠，合并所述某一帧图像中与所述另一帧图像匹配的特征点，并得到更新的参考特征点；
根据所述更新的参考特征点，更新所述静态物体的每一帧图像的相机外参；
则所述通过所述计算的相机外参，将所述当前帧图像的点云转换到所述参考特征点组成的参考坐标系下具体包括：通过对所述计算的相机外参进行所述更新后得到的相机外参，将所述当前帧图像的点云转换到所述参考坐标系下。
本发明实施例第第二方面提供一种静态物体重建系统，包括：
特征获取单元，用于分别获取静态物体的当前帧图像中的三维特征点和二维特征点；
第一外参计算单元，用于将所述特征获取单元获取的三维特征点与参考特征点进行匹配，计算所述当前帧图像的相机外参，其中，所述参考特征点是所述静态物体的多个帧图像上的特征点累积形成的；
第二外参计算单元，用于如果所述第一外参计算单元基于所述三维特征点计算所述当前帧图像的相机外参时，未在预置的时间内计算得到所述相机外参，则将所述特征获取单元获取的二维特征点，与所述参考特征点中三维特征点匹配，或与所述静态物体的当前帧图像的前一帧图像中的二维特征点进行匹配，计算所述当前帧图像的相机外参；
转换单元，用于通过所述第一外参计算单元或第二外参计算单元计算的相机外参，将所述当前帧图像的点云转换到所述参考特征点组成的参考坐标系下，以对所述静态物体进行建模。
本发明第二方面的第一种可能实现方式中，所述第一外参计算单元具体包括：
候选选择单元，用于在所述参考特征点中，选择与所述当前帧图像的三维特征点距最近的多个候选对应点；
选取单元，用于选取所述当前帧图像的所有三维特征点中部分三维特征点分别对应的候选对应点；
模型计算单元，用于根据所述选取单元选取的部分三维特征点分别对应的候选对应点，计算模型参数；
评分单元，用于对所述模型计算单元计算的模型参数对应模型进行评分；
外参确定单元，用于在所述选取单元、模型计算单元和评分单元循环执行所述选取候选对应点、计算模型参数和评分的步骤得到的评分中，将评分最高的模型的模型参数作为所述当前帧图像的相机外参，其中：
所述外参确定单元，还用于在所述循环中，连续Ks次选取的所述部分三维特征点与候选对应点包含异常对应的概率小于预置的值，或所述循环步骤的次数超过预置的值，或执行所述循环步骤的时间超过预置的值，则通知所述选取单元、模型计算单元和评分单元停止执行所述选取候选对应点、计算模型参数和评分的循环步骤。
结合本发明实施例第二方面的第一种可能实现方式，在本发明实施例第二方面的第二种可能实现方式中：
所述选取单元，具体用于根据所述前一帧图像中包含所述静态物体的各个空间区域内特征点，与参考特征点的正确对应概率，从所述当前帧图像的所有三维特征点中选取所述部分三维特征点；根据所述前一帧图像中特征点的候选对应点被选取的概率，从所述多个候选对应点中选择所述三维特征点的候选对应点。
结合本发明实施例第二方面的第一种或第二种可能实现方式，在本发明实施例第二方面的第三种可能实现方式中，所述系统还包括：
所述第一外参计算单元，还用于将所述三维特征点，与所述静态物体的当前帧图像的前一帧图像中的特征点进行匹配，得到初始相机外参；并以所述初始相机外参作为根据模型评分确定相机外参的条件，将所述三维特征点，与所述静态物体的参考特征点进行匹配，最终得到所述当前帧图像的相机外参。
结合本发明实施例第二方面，或第二方面的第一种到第三种可能实现方式中任一种可能实现方式，在本发明实施例第二方面的第四种可能实现方式中，所述第二外参计算单元，具体包括：
特征匹配单元，用于将所述二维特征点与所述参考特征点中三维特征点进行匹配，确定与所述二维特征点对应的三维参考特征点；
外参获得单元，用于确定使得所述参考坐标系下的相机姿态的函数最小化的相机外参，所述相机姿态的函数中包括所述二维特征点与三维参考特征点的对应；将所述确定的相机外参作为所述当前帧图像的相机外参。
结合本发明实施例第二方面第四种可能实现方式，在本发明实施例第二方面的第五种可能实现方式中，所述第二外参计算单元还包括对应选取单元；
所述特征匹配单元，还用于将所述二维特征点与所述静态物体的当前帧图像的前一帧图像的二维特征点进行匹配，确定在所述前一帧图像中与所述二维特征点对应的二维特征点；
所述对应选取单元，用于选取所述当前帧图像的二维特征点及在所述前一帧图像中与所述二维特征点对应的特征点处都具有深度数据的多对对应特征点；
所述外参获得单元，还用于根据所述对应选取单元选取的多对对应特征点的深度变化信息，确定所述当前帧图像与前一帧图像的相对相机外参；根据所述相对相机外参与所述前一帧图像的相机外参，确定所述当前帧图像的相机外参。
结合本发明实施例第二方面，或第二方面的第一种到第五种可能实现方式中任一种可能实现方式，在本发明实施例第二方面的第六种可能实现方式中，所述还包括：
模型生成单元，用于当确定基于所述三维特征点计算所述当前帧图像的相机外参失败时，根据采集的所述静态物体的多个帧图像的二维数据生成包含深度数据的源模型；其中，所述目标模型是由所述静态物体的当前帧图像的深度数据形成的，且所述变换矩阵是使得第一能量函数最小化的矩阵，所述第一能量函数是包括距离项和光滑项，所述距离项用于表示所述源模型中顶点到所述目标模型中相应顶点的距离，所述光滑项用于约束相邻顶点的变换；
模型转换单元，用于将所述模型生成单元生成的源模型通过变换矩阵转换到目标模型；
补全单元，用于根据所述模型转换单元转换后的目标模型补全所述当前帧图像中丢失的深度数据。
结合本发明实施例第二方面，或第二方面的第一种到第六种可能实现方式中任一种可能实现方式，在本发明实施例第二方面的第七种可能实现方式中，所述系统还包括：
对应建立单元，用于通过所述相机外参，建立所述当前帧图像中三维特征点与所述参考特征点的对应；
调整单元，用于调整所述静态物体的N帧图像的相机外参，使得第二能量函数最小化，其中所述第二能量函数中包括所述第i帧图像中三维特征点，与对应的参考特征点转换到所述第i帧图像坐标系下特征点的距离，其中，所述i为从0到N的正整数；
则所述转换单元，具体用于通过所述调整单元调整得到的所述当前帧图像的相机外参，将所述当前帧图像的点云转换到所述参考坐标系下。
结合本发明实施例第二方面第七种可能实现方式，在本发明实施例第二方面的第八种可能实现方式中：
所述对应建立单元，还用于如果所述相机外参是在基于所述二维特征点计算的，通过所述相机外参，建立所述当前帧图像中二维特征点与所述参考特征点的对应；
则所述调整单元在进行相机外参调整时使用的第二能量函数中还包括第i帧图像中二维特征点，与对应的参考特征点转换到所述第i帧图像坐标系下特征点的距离。
结合本发明实施例第二方面，或第二方面的第一种到第六种可能实现方式中任一种可能实现方式，在本发明实施例第二方面的第九种可能实现方式中，所述系统还包括：
合并单元，用于如果所述静态物体的某一帧图像中特征点与另一帧图像中的特征点重叠，合并所述某一帧图像中与所述另一帧图像匹配的特征点；
更新单元，用于根据所述合并单元合并后的特征点得到更新后的参考特征点，并根据所述更新后的参考特征点，更新所述静态物体的每一帧图像的的相机外参；
则所述转换单元，具体用于通过所述更新单元更新得到的所述当前帧图像的相机外参，将所述当前帧图像的点云转换到所述参考坐标系下。
在本发明实施例中，当静态物体重建系统在基于三维特征点计算相机外参时，未在预置的时间内得到该相机外参，则说明深度相机采集的深度数据丢失或损坏，则采用二维特征点来计算相机外参，从而根据相机外参实现某一帧图像中点云的对齐，这样融合了二维特征点和三维特征点，可以实现当深度相机采集的深度数据丢失或损坏时，也能成功重建静态物体。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中提供的一种静态物体重建方法的流程图；
图2是本发明实施例中基于三维特征点计算相机外参的方法流程图；
图3是本发明实施例中，在参考特征点中选取一个对应点，及在参考特征点中选取多个候选对应点的对比示意图；
图4是本发明实施例中，基于二维特征点计算相机外参和深度数据补全的方法流程图；
图5是本发明实施例中深度数据补全的示意图；
图6是本发明实施例中提供的另一种静态物体重建的方法流程图；
图7是本发明实施例中提供的另一种静态物体重建的方法流程图；
图8是本发明实施例中提供的另一种静态物体重建的方法流程图；
图9是本发明实施例中提供的静态物体重建的全局示意图；
图10是本发明实施例中提供的一种静态物体重建系统的结构示意图；
图11是本发明实施例中提供的另一种静态物体重建系统的结构示意图；
图12是本发明实施例中提供的另一种静态物体重建系统的结构示意图；
图13是本发明实施例中提供的另一种静态物体重建系统的结构示意图；
图14是本发明实施例中提供的另一种静态物体重建系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排它的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
且下述文件中涉及到较多处的特征点，如果没有特别指明该特征点是三维特征点还是二维特征点，则该特征点可以包括三维特征点，和/或二维特征点，具体是哪种特征点，是根据处理方法的不同而不同。
本发明实施例提供一种静态物体重建方法，本发明的方法主要是采用深度相机，比如RGB-D相机对静态物体从各个方向进行拍摄多帧图像，比如在围绕静态物体一圈的各个方向进行拍摄，其中每一帧图像是深度相机在某一个方向拍摄的静态物体的图像，一帧图像数据中可以包括二维信息比如颜色等，还可以包括三维信息比如深度数据等；然后通过静态物体重建系统根据上述深度相机拍摄的多帧图像对所述静态物体进行建模。本发明的方法是静态物体重建系统所执行的方法，方法流程图如图1所示，包括：
步骤101，分别获取静态物体的当前帧图像中的三维特征点和二维特征点。
可以理解，静态物体重建系统会获取深度相机拍摄的多帧图像，并按照步骤101到105对深度相机拍摄的每一帧图像的数据进行处理。对于某一帧图像(即当前帧图像)来说，静态物体重建系统需要先对当前帧图像进行特征提取，由于深度相机拍摄的一帧图像的数据中包括二维信息和三维信息，本实施例中，需要对具有三维信息的特征点即三维特征点，及只具有二维信息的特征点即二维特征点进行提取。
具体地，在获取各个特征点时，可以采用静态物体表面纹理，提取二维特征点，比如采用尺度不变特征转换(Scale-invariant feature transform，SIFT)方法来提取当前帧图像中的二维特征点。但是有些静态物体表面纹理少，只能提取很少的传统特征点，为了提取更多又稳定的特征，本实施例中，在提取三维特征点时，静态物体重建系统将利用几何信息，或利用纹理和几何信息提取的角点作为三维特征点，比如采用快速点特征直方图(Fast Point Feature Histograms，FPFH)的方法来提取三维特征点。其中，以方便之后的计算，，上述提取的每个二维特征点和三维特征点都需要对应一个特征描述量，在二维特征点的特征描述量中可以包括颜色信息和二维坐标等信息，在三维特征点的特征描述量中可以包括深度数据和三维坐标等信息，还可以包括一些颜色信息等。其中，角点是指图像中具有代表性以及健壮性(即指该点能够在有噪声干扰的情况下也能稳定的被定位)的点，例如局部亮点或暗点，线段终点，或者曲线上的曲率最大值点等。
具体地，本发明实施例中，对于三维特征点的特征描述量，静态物体重建系统可以采用特征描述量的拼接方法，将该三维特征点的二维特征描述量和三维特征描述量拼接成一个集合得到。首先静态物体重建系统将二维特征描述量和三维特征描述量分别标准化，即在二维特征描述量和三维特征描述量的训练集中，分别求得二维特征描述量和三维特征描述量的标准差，并用特征描述量除以对应的标准差，就可以得到标准化后的特征描述量；然后将标准化之后的二维特征描述量和三维特征量结合，得到三维特征点的特征描述量。例如：
f＝(αf2D，βf3D)，其中，f2D是标准化的二维特征描述量，f3D是标准化的三维特征描述量，α和β分别是二维特征描述量和三维特征描述量的系数，来调节两部分对整个特征描述量的影响。
步骤102，将三维特征点与参考特征点进行匹配，计算当前帧图像的相机外参，其中，参考特征点是静态物体的多个帧图像上的特征点累积形成的，相机外参是指当深度相机在拍摄当前帧图像时，深度相机在三维空间中的位置和朝向等参数信息，每一帧图像对应的一个相机外参。
将三维特征点与参考特征点进行匹配主要是通过三维特征点与参考特征点各自的特征描述量进行比较，找到当前帧图像中所有三维特征点分别对应的参考特征点，即将当前帧图像的三维特征点对齐到参考特征点所组成的参考特征坐标系下，然后就可以通过找到的对应的参考特征点计算相机外参；若某一三维特征点没有找到对应的三维特征点，则将该三维特征点加入到参考特征点中。其中，对于任一个三维特征点，可以分别计算该三维特征点与所有参考特征点之间的欧式距离，并将欧式距离最近的参考特征点作为该三维特征点对应的参考特征点。
步骤103，判断上述步骤102中基于三维特征点计算当前帧图像的相机外参时，是否在预置的时间内得到该相机外参，如果得到，则通过上述步骤102中计算的相机外参，执行步骤105；如果未得到，则执行步骤104，通过基于二维特征点计算的相机外参，执行步骤105。
如果通过上述步骤102在预置的时间都没有计算出相机外参，则认为基于三维特征点计算相机外参失败，而造成相机外参计算失败的原因有多种，本实施例中，是认为深度相机拍摄的当前帧图像中的部分或全部的深度数据丢失或损坏，则需要执行步骤104，即通过二维特征点来计算相机外参。
步骤104，将二维特征点与参考特征点中的三维特征点匹配，或与静态物体的当前帧图像的前一帧图像中的二维特征点进行匹配，计算当前帧图像的相机外参。
由于三维特征点中包括了二维特征描述量，则静态物体重建系统是能将当前帧图像的二维特征点对齐到参考特征点中的三维特征点，然后根据找到的对应的参考特征点中的三维特征点，计算相机外参。在另一种具体实施例中，静态物体重建系统可以将当前帧图像的二维特征点对齐到前一帧图像中，然后再计算相机外参，具体地，是根据当前帧图像与前一帧图像中对应的二维特征点得到相对相机外参，然后再结合之前计算的前一帧图像的相机外参，从而就可以得到当前帧图像的相机外参。
步骤105，通过计算的相机外参，将当前帧图像的点云转换到参考特征点组成的参考坐标系下，以对静态物体进行建模。其中当前帧图像的点云是指在同一空间坐标系下表达目标空间分布和目标表面特性的海量点集合，上述二维特征点和三维特征点只是点云中的部分点。
可见，在本发明实施例中，当静态物体重建系统在基于三维特征点计算相机外参时，未在预置的时间内得到该相机外参，则说明深度相机采集的深度数据丢失或损坏，会采用二维特征点来计算相机外参，从而根据相机外参实现某一帧图像中点云的对齐，这样融合了二维特征点和三维特征点，可以实现当深度相机采集的深度数据丢失或损坏时，也能成功重建静态物体。
参考图2所示，在一个具体的实施例中，静态物体重建系统在执行上述步骤102中基于三维特征点计算当前帧图像的相机外参时，具体可以通过如下步骤来实现：
A1：在参考特征点中，选择与当前帧图像的三维特征点距离最近的多个候选对应点。
在具体实施例中，静态物体重建系统采用最近邻特征匹配方法进行特征点之间的匹配，如果直接根据相关算法在参考特征点中确定三维特征点对应一个参考特征点，可能会找到错误对应的参考特征点，则为了提高正确对应率，本发明实施例中，可以先为每一个三维特征点找到几个候选对应点，然后再进行进一步地计算。具体地，对于当前帧图像的某一个三维特征点，计算该三维特征点与所有参考特征点之间的欧式距离，并对这些欧式距离排序，选取欧式距离较小的多个参考特征点作为候选对应点。
例如图3(a)所示，f1帧图像上的特征点在f2帧图像上可能找到错误的对应特征点，图3(a)中用虚线表示错误的对应特征点，比如f1帧图像中头部的特征点对应了f2帧图像中腹部的特征点，使得f1和f2不能正确对齐。又如图3(b)所示，如果f1帧图像上每一个特征点在f2帧图像上找多个最近邻的候选对应点，比如对于f1帧图像中头部的特征点，在f2帧图像中找到候选对应点1、2和3，则正确的对应特征点就包含了在里面(用实线表示)。
A2：选取当前帧图像的所有三维特征点中部分三维特征点分别对应的候选对应点。
为了计算当前帧的相机外参，可以从上述步骤A1选择的每个三维特征点对应的多个候选对应点中，选取当前帧图像的三维特征点正确对应的特征点，并计算出相机外参。在具体实现时，可以采用模型参数计算方法来得到相机外参，比如使用随机样本一致性(Random Sample Consensus，RANSAC)的模型参数计算方法。但是由于在本实施例中，每一个三维特征点都对应多个候选对应点，普通的RANSAC方法计算复杂且耗时，则提出了一个基于先验知识的多个候选对应RANSAC(Prior-based Multi-Candidates RANSAC，PMCSAC)方法，主要是通过当前帧图像和前一帧图像的数据相似，则利用前一帧图像与参考特征点匹配的概率分布来引导对当前帧图像的随机选取。具体可以通过步骤A2到A4来实现，而其中的步骤A2又可以通过如下步骤来实现：
A21，根据前一帧图像中包含上述静态物体的各个空间区域内特征点，与参考特征点的正确对应概率，从当前帧图像的所有三维特征点中选取部分三维特征点，其中选择多少个三维特征点主要根据后续计算模型参数的方法来决定。
A22，根据所述前一帧图像中特征点对应的某一候选对应点被选取的概率，从上述步骤A1中得到的多个候选对应点中选择当前帧图像的三维特征点的候选对应点。
假设将包含静态物体的空间分成30*30*30网格(grid)，静态物体重建系统对每一个grid记录上一帧图像中特征点与参考特征点相匹配时的正确对应概率，一个grid为一个空间区域。
比如grid Gi内有n个特征点，有x个特征点在参考特征点中能找到正确的对应，那么Gi的正确对应概率：对所有的grid的正确对应概率做归一化，得到从Gi选取正确对应特征点的概率：如果该概率较高，则表示前一帧图像中某一个空间区域即Gi内的正确对应概率较高，则相应地当前帧图像中该空间区域的正确对应概率也较高，可以从当前帧图像的该空间区域附近选取部分三维特征点。
又假设前一帧图像中每一个特征点有b个候选对应点，根据该特征点与候选对应点的空间距离d，定义选取第k个候选对应点的被选取概率为：归一化得到，其中，δ是一个调节参数，控制上述空间距离d对概率的影响。如果该概率较高，则表示前一帧图像中特征点与第k个候选对应点正确对应的概率较高，则相应地当前帧图像中三维特征点与第k个候选对应点正确对应的概率也较高，可以从上述步骤A2中得到的多个候选对应点中第k个候选对应点附近选取一个候选对应点。
A3：根据上述步骤A2中选取的部分三维特征点分别对应的候选对应点，计算模型参数。
A4：对步骤A3中计算的模型参数对应模型进行评分。
具体地，一个模型参数对应模型的评分分数s可以通过一个协方差矩阵C来描述，即
其中，A为用来标准化的整个grid的体积，表示正确对应特征点(即能在参考特征点中找到正确对应的三维特征点)分布的椭球体积，而协方差矩阵C可以为：
其中，N是正确对应特征点的个数，fi是第i个正确对应特征点的空间位置，是所有正确对应特征点的平均位置。其中如果评分分数较高，则说明该模型中能在参考特征点中找到正确对应的三维特征点较多，且这些三维特征点能均匀分布在当前帧图像的整个空间。
A5：循环执行上述步骤A2到A4，即循环执行上述选取候选对应点、计算模型参数和评分的步骤，并将评分最高的模型的模型参数作为当前帧图像的相机外参。在这个过程中，静态物体重建系统需要设置一个相机外参的初始值，将该初始值作为根据模型评分确定相机外参的条件，则在确定当前帧图像的相机外参时，需要使得最终确定的相机外参对应模型的评分要比该相机外参的初始值对应模型的评分高。
由于上述计算模型参数时，是通过部分三维特征点(比如三个)对应的候选对应点得到的，如果得到评分最高的模型，则静态物体重建系统还可以先利用该模型的模型参数将当前帧图像的所有三维特征点变换到参考坐标系下，计算得到对应的参考特征点；然后根据所有能在参考特征点中找到正确对应特征点的三维特征点，重新计算一次模型参数，然后将重新计算的模型参数作为最终的相机外参。其中，如果在计算模型参数时，三维特征点和参考特征点中正确对应点的个数越多，则最终计算得到的模型参数也越准确，则上述最终得到的相机外参也较为准确。
可见，本实施例中，静态物体重建系统可以重复执行上述步骤A2到A4，来选取当前帧图像中不同部分的三维特征点分别对应的候选对应点，进一步得到不同的模型参数进行评分后，将评分最高的模型的模型参数作为当前帧图像的相机外参。为了避免循环的次数过多造成计算的复杂性，在这种情况下，静态物体重建系统可以设置一个停止循环执行上述步骤A2到A4的条件，比如：如果在上述循环中，连续Ks次选取的部分三维特征点分别对应的候选对应点包含异常对应的概率小于预置的值η时，则终止上述循环流程，即：
其中，是当前帧图像中gridGi的正确对应概率，b是一个三维特征点对应的候选对应点个数，从多个候选对应点中选取一个候选对应点与当前图像的三维特征点正确对应的概率为：而一次选取的多个三维特征点与参考特征点全部正确对应的概率为其中m为多个三维特征点的个数。
又比如，上述循环步骤的次数超过预置的值，或执行上述循环步骤的时间超过预置的值，则停止执行上述步骤A2到A4的循环，即选取候选对应点、计算模型参数和评分的循环步骤。
需要说明的是，静态物体重建系统可以直接按照上述步骤A1到A5，得到当前帧图像的相机外参；在其它具体实施例中，静态物体重建系统可以先计算一个初始相机外参，然后再通过上述步骤A1到A5优化相机外参，具体地：
静态物体重建系统先将三维特征点，与静态物体的当前帧图像的前一帧图像中的特征点进行匹配，得到初始相机外参，具体方法与上述步骤A1到A5的方法类似，不同的是，静态物体重建系统需要在前一帧图像的特征点中，选择与当前帧图像的三维特征点距离最近的多个候选对应点，然后再进行其它处理；然后静态物体重建系统会以该初始相机外参作为根据模型评分确定相机外参的条件，并按照上述步骤A1到A5的方法，将三维特征点，与静态物体的参考特征点进行匹配，最终得到当前帧图像的相机外参。其中，初始相机外参主要是在静态物体重建系统执行上述步骤A5时，使得最终确定的相机外参对应模型的评分要比该初始相机外参对应模型的评分高。
参考图4所示，在另一个具体的实施例中，静态物体重建系统在执行上述步骤104时，具体可以通过如下几种方式来实现：
(1)基于2D-3D匹配点的相机姿态计算方法
B1：将当前帧图像的二维特征点与参考特征点中三维特征点进行匹配，确定与二维特征点对应的三维参考特征点。由于在三维特征点的特征描述量中包括了二维描述量，则可以将二维特征点的二维描述量与参考特征点中三维特征点的二维描述量进行匹配。
B2：确定使得参考坐标系下的相机姿态的函数最小化的相机外参，在相机姿态的函数中包括二维特征点与三维参考特征点的对应，并将确定的相机外参作为当前帧图像的相机外参。
具体地，相机姿态的函数可以为其中，(xi,Xi)为二维特征点与三维参考特征点的对应，K为内参矩阵，R为相机旋转矩阵，t为相机位移向量，这里R和t就可以相当于相机外参。在最小化该函数，就是确定R和t的值使得函数的值最小化。
(2)基于2D-3D匹配点的相机姿态计算方法
C1：将当前帧图像的二维特征点与静态物体的当前帧图像的前一帧图像的二维特征点进行匹配，确定在前一帧图像中与二维特征点对应的二维特征点。
C2：选取当前帧图像的二维特征点，及在前一帧图像中与二维特征点对应的二维特征点处都具有深度数据的多对对应特征点。
C3：根据选取的多对对应特征点的深度变化信息，确定所述当前帧图像与前一帧图像的相对相机外参，具体地，是根据深度变化的比例计算出两帧图像对应的特征点之间位移向量的长度的缩放比例，从而可以得到相对相机外参。其中多对对应特征点的深度变化信息，具体是根据多对对应特征点处的深度数据得到的。
C4：根据相对相机外参与前一帧图像的相机外参，确定当前帧图像的相机外参。
可见，本实施例中，是通过上述步骤C2到C3的五点法(Five-Point)得到相对相机外参，然后再根据已知的前一帧图像的相机外参，从而可以得到当前帧图像的相机外参。五点法通过在两帧上建立五个正确的二维对应点，就可以计算出两帧的相对转换。
(3)混合计算方法
本方法是将上述两种方式结合起来，当通过上述两种方法得到一个当前帧图像的相机外参后，可以先将当前帧图像的三维特征点分别通过这两个相机外参转换到参考坐标系(参考特征点所组成的坐标系)下；然后计算当前帧图像的三维特征点在参考特征点中能找到对应的比例，即三维特征点转换到参考坐标系下的特征点与最近的参考特征点的距离小于预置的值，则认为在参考特征点中能找到对应；然后将比例较高对应的相机外参作为最终当前帧图像的相机外参。
需要说明的是，在具体实施例中，当基于三维特征点计算相机外参时，在预置的时间内未计算得到该相机外参，则说明深度相机采集的图像的深度数据可能丢失，需要基于二维特征点来计算相机外参，即上述步骤104；同时，进一步地，为了能重建一个完整的静态物体的模型，静态物体重建系统还需要进行几何补全，具体是融合所有帧图像的深度数据，通过光线跟踪技术补全每一帧图像丢失的部分，然后利用图像序列恢复出每一帧的深度数据，从而进一步补全缺失的深度数据。具体通过如下步骤来实现：
D1：根据采集的静态物体的多个帧图像的二维数据生成包含深度数据的源模型。
D2：将源模型通过变换函数转换到目标模型。其中，目标模型是由静态物体的当前帧图像的深度数据形成的，且变换函数是使得第一能量函数最小化的函数，第一能量函数是包括距离项和光滑项。
具体地，对源模型中的每一个顶点(vertex)分配一个变换Xi，将源模型的顶点变形到目标模型对应的顶点，所有顶点的变换整合在一起，得到一个4n*3的矩阵，即为变换矩阵X：＝[X1…Xn]T，其中，n是源模型的顶点个数。
(1)对于第一能量函数中的距离项，是用于表示源模型中顶点到目标模型中相应顶点的距离。
假设源模型和目标模型之间固定的对应点为(vi，ui)，稀疏矩阵D定义为：
该D将变换矩阵X转换到变形的顶点，vi用坐标表示为vi＝[x，y，z，1]T，而目标模型上与源模型对应顶点排列成一个矩阵，U：＝[u1，...，un]。则距离项通过Frobenius范数表示成，
其中，W是一个权重矩阵，表示为diag(w1，...，wn)，对于目标模型中丢失的顶点(即当前帧图像中丢失的深度数据)，相应的权重wi设为0。
(2)对于第一能量函数中的光滑项用于约束相邻顶点的变换。
为了使得源模型中相邻顶点分别到目标模型的变换相似，不产生突变，则可以通过光滑项来保证变形光滑，具体可以定义为：
其中，G：＝diag(1，1，1，γ)，γ是用来权衡变换的旋转部分和位移部分，模型的边集合∈通过相邻像素得到，相邻像素对应的顶点之间就有一条边。
源模型所有的边和顶点，都编上了索引，边从较低的顶点索引指向较高的顶点索引，如果边r连接顶点(i，j)，节点-弧矩阵M中第r行的非零项是，Mri＝-1，Mrj＝1。则光滑项可以表示成如下矩阵形式：
其中，是Kronecker乘积。
结合上述的距离项和光滑项，可以得到第一能量函数为：
E(X)：＝Ed(X)+αEs(X)，其中，α是光滑项权重。该第一能量函数又可以写成：
通过将该第一能量函数最小化可以得到变换矩阵。本实施例中，为了保持源模型的几何形状，并使得局部的细节化的变形到目标模型，上述第一能量函数中光滑权重α在变形过程中逐步减小。在变形开始阶段，用一个较大的权重值约束，使得源模型能够整体变形到目标模型；通过连续降低权重值，完成更多的局部变形。由于光滑项的约束，源模型的顶点不是直接移动到目标模型对应的顶点，而是平行移动到目标表面，源模型上没有对应的顶点，因为受到相邻顶点的约束，光滑地变形。如果X改变低于一个阈值，则变形终止。
D3：根据转换后的目标模型补全当前帧图像中丢失的深度数据。
在补全丢失的深度数据时，静态物体重建系统会根据转换得到的目标模型。例如，参考图5所示，源模型S每一个顶点vi通过一个变换矩阵Xi逐步变形到目标模型T对应的顶点ui，同一模型中相邻的顶点具有相近的变换，以保证变形光滑。光滑约束权重在变形过程中逐渐下降，以保持源模型的整体形状和完成局部变形，变形不断重复，直到到达一个稳定状态。目标模型上丢失的部分，通过其对应的变形之后模型的顶点(即图5中用虚线连起来的点)补全，则补全的顶点即为补全的深度数据。
需要说明的是，上述步骤104中基于二维特征点计算相机外参的步骤，与上述步骤D1到D3进行几何补全的步骤没有绝对的顺序关系，可以同时执行，也可以顺序执行，上述图4中所示的只是其中一种具体实现方式。
在其它具体的实施例中，当静态物体重建系统在计算出各帧图像的相机外参后，可以通过如下几种方式来对相机外参进行优化：
(1)基于三维特征点计算出相机外参后，通过束优化的方式进行优化相机外参，即对N帧图像的相机外参进行优化，这N帧图像是连续的N帧图像：
参考图6所示，静态物体重建系统在对N帧图像(比如30帧图像)中每一帧图像，都执行上述步骤101到102之后，还执行如下步骤201，然后再执行步骤202中的调整；则在执行上述步骤105时，主要是通过对计算的相机外参进行调整后得到的当前帧图像的相机外参，将当前帧图像的点云转换到所述参考坐标系下，具体地：
步骤201，通过相机外参，建立当前帧图像中三维特征点与参考特征点的对应。
具体地，可以先通过相机外参，将当前帧图像中的三维特征点转换到参考坐标系下；然后计算转换后的特征点与各个参考特征点之间的空间距离，并找到最近的空间距离，如果该最近的空间距离小于预置的值比如6mm，则建立了该最近的空间距离对应参考特征点与对应三维特征点之间的对应。
步骤202，调整静态物体的N帧图像的相机外参，使得第二能量函数最小化，且在这个最小化第二能量函数的过程中，还可以调整N帧图像中各个特征点对应的参考特征点的位置。这样将每一帧图像上的每一个特征点对齐到对应的参考特征点上，最小化所有对应点距离，达到将对齐误差分散在整个优化序列中。其中，第二能量函数中包括第i帧图像中三维特征点，与对应的参考特征点转换到所述第i帧图像坐标系下特征点的距离，其中，所述i为从0到N的正整数。
该第二能量函数可以为：
其中，Pik是第i帧图像上的第k个三维特征点，gj(j∈[1，...，L])是Pik对应的参考特征点，Q(Ti，gj)是将参考坐标系下的参考特征点gj通过Ti变换到第i帧图像坐标系下的三维特征点，Ti是将第i帧图像的深度数据从参考坐标系转到第i帧图像坐标系下的刚性变换，d(x，y)表示欧几里得距离。
(2)基于二维特征点计算出相机外参后，通过束优化的方式进行优化相机外参，即对N帧图像的相机外参进行优化：
参考图7所示，静态物体重建系统在对N帧图像中每一帧图像，都执行上述步骤101到104之后，还执行如下步骤301，然后再执行步骤302中的调整；则在执行上述步骤105时，主要是通过对计算的相机外参进行调整后得到的当前帧图像的相机外参，将当前帧图像的点云转换到所述参考坐标系下，具体地：
步骤301，通过相机外参，建立当前帧图像中二维特征点和三维特征点分别与参考特征点的对应。
步骤302，调整静态物体的N帧图像的相机外参，使得第二能量函数最小化，且还可以调整N帧图像中各个特征点对应的参考特征点的位置，其中第二能量函数中包括第i帧图像中三维特征点，与对应的参考特征点转换到所述第i帧图像坐标系下特征点的距离；及第i帧图像中二维特征点，与对应的参考特征点转换到所述第i帧图像坐标系下特征点的距离，这里i为从0到N的正整数。
第二能量函数可以为：
其中，Xik是第i帧图像上的第k个二维特征点，其对应的参考特征点为gr；K是相机内参矩阵，将坐标系下的三维点投影到图像上的像素；li是第i帧图像上的二维特征点个数；λ是一个权值，用来控制每帧图像中二维特征点和三维特征点的对齐误差对总体能量的影响；该第二能量函数中其它符号与上述第二能量函数中其它符号类似，在此不进行赘述。
(3)在得到的N帧图像的相机外参中，部分(比如第一部分)是基于二维特征点计算的，另一部分(比如第二部分)是基于三维特征点计算出的，则在对N帧图像进行束优化时所使用的第二能量函数中，关于第一部分帧图像的部分，是按照上述第一种方法(即上述步骤201到202)进行计算；关于第二部分帧图像的部分，是按照上述第二种方法(即上述步骤301到302)进行计算，在此不进行赘述。
可见，通过上述三种方法，对每隔若干帧(比如三十帧)图像的特征点进行局部束优化来减少局部误差，则在建立当前帧图像中特征点与参考特征点的对应时，首先在对前N帧图像进行束优化后得到的参考特征点中查找对应；没有找到对应的参考特征点，则在根据当前N帧图像得到的未优化的参考特征点中查找对应，这样可以局部建立准确对应，而没有引入累积误差。
(4)全局优化，参考图8所示，静态物体重建系统可以在按照上述步骤101到104针对多帧图像进行处理后，按照下述步骤401到403进行全局优化；然后在执行步骤105时，是根据对计算的相机外参进行优化后得到的相机外参，完成点云的转换以进行建模。
步骤401，判断静态物体的某一帧图像中特征点与另一帧图像中的特征点是否重叠，具体是指如果重叠，说明深度相机在围绕着静态物体拍摄照片的过程中，深度相机又回到初始拍摄的位置，使得某两帧图像的特征点重叠，形成闭合环，需要进行全局优化，具体执行步骤402到403；如果不重叠，则不会进行全局优化。
在判断是否重叠时，可以分别获取某一帧图像中特征点对应的第一参考特征点，及另一帧图像中特征点对应的第二参考特征点，如果第一参考特征点中有超过预置值的特征点都能在第二参考特征点中找到对应，则确定重叠，如果没有超过，则可以认为没有重叠。在判断是否重叠时，还可以通过某一帧图像的相机外参和另一帧图像的相机外参进行比较，如果相近，则可以认为重叠。
步骤402，合并某一帧图像与另一帧图像中相匹配的特征点，合并为一个特征点，而由于参考特征点是通过各个帧图像的特征点积累而成的，则这里需要根据合并后的特征点来对应更新参考特征点。
步骤403，根据更新后的参考特征点，更新静态物体的每一帧图像的相机外参，具体地，先更新每一帧图像中特征点与更新后的参考特征点的对应，进而根据更新后的对应来更新每一帧图像的相机外参，这样累积误差能够有效分散在闭合环中，具体如何通过根据一帧图像中特征点与参考特征点的对应，得到该帧图像的相机外参的方法，见上述实施例中所述的PMCSAC方法，在此不进行赘述。
综上所述，静态物体的重建可以经过提取特征点、获取相机外参、优化相机外参和点云的转换步骤，具体如图9所示，包括：
静态物体重建系统中通过深度相机围绕着静态物体从各个方法拍摄静态物体，得到多帧图像；针对某一帧图像，提取三维特征点，并将三维特征点与参考特征点进行匹配(即对其特征点)以计算当前帧图像的相机外参，其中如果没有匹配的参考特征点，则将未能匹配上的三维特征点加入到参考特征点中。当基于三维特征点计算相机外参成功；当基于三维特征点计算相机外参失败，则需要提取当前帧图像的二维特征点，并将二维特征点与参考特征点，或与前一帧图像的特征点进行匹配以计算当前帧图像的相机外参，同时还可以进行深度数据补全。通过前面的步骤获取了当前帧图像的相机外参后，可以对该相机外参进行优化，可以包括束优化和全局优化，然后按照上述步骤继续处理下一帧图像，直到所有帧图像都处理完后，就将所有帧图像中的点云分别通过对应帧图像的相机外参对齐到参考坐标系下，进行静态物体的建模，比如采用泊松建模的方法重建静态物体的三维模型。
通过本实施例中静态物体的重建，可以使得：
在深度数据缺失时，有效解决了现有方法无法处理深度数据丢失的问题；且由于本发明实施例中可以处理深度数据丢失的图像帧，提高了重建的能力。这样本发明实施例的方法可以应用到目前绝大多数的主动式深度采集设备上，由于主动式深度采集设备为了避免光源在视觉上的影响，都使用红外波段的LED或激光，这样很容易受到室外太阳光影响，出现深度数据缺失。
本发明实施例还提供一种静态物体重建系统，其结构示意图如图10所示，包括：
特征获取单元10，用于分别获取静态物体的当前帧图像中的三维特征点和二维特征点，该特征获取单元10在获取各个特征点时，可以得到各个特征点的特征描述量，特别地，对于三维特征点的特征描述量，特征获取单元10可以将二维特征描述量和三维特征描述量分别标准化，即在二维特征描述量和三维特征描述量的训练集中，分别求得二维特征描述量和三维特征描述量的标准差，并用特征描述量除以对应的标准差，就可以得到标准化后的特征描述量；然后将标准化之后的二维特征描述量和三维特征量结合，得到三维特征点的特征描述量。
第一外参计算单元11，用于将所述特征获取单元10获取的三维特征点与参考特征点进行匹配，计算所述当前帧图像的相机外参，其中，所述参考特征点是所述静态物体的多个帧图像上的特征点累积形成的。
第一外参计算单元11可以通过三维特征点与参考特征点各自的特征描述量进行比较，找到当前帧图像中所有三维特征点分别对应的参考特征点，然后就可以通过找到的对应的参考特征点计算相机外参；若某一三维特征点没有找到对应的三维特征点，则该第一外参计算单元11还可以将该三维特征点加入到参考特征点中。
第二外参计算单元12，用于如果第一外参计算单元11基于所述三维特征点计算所述当前帧图像的相机外参时，未在预置的时间内计算得到所述相机外参，则将所述特征获取单元10获取的二维特征点，与所述参考特征点中三维特征点匹配，或与所述静态物体的当前帧图像的前一帧图像中的二维特征点进行匹配，计算所述当前帧图像的相机外参。
第二外参计算单元12可以将当前帧图像的二维特征点对齐到参考特征点中的三维特征点，然后根据找到的对应的参考特征点中的三维特征点，计算相机外参。还可以将当前帧图像的二维特征点对齐到前一帧图像中，然后根据当前帧图像与前一帧图像中对应的二维特征点得到相对相机外参，再结合之前计算的前一帧图像的相机外参，从而就可以得到当前帧图像的相机外参。
转换单元13，用于通过所述第一外参计算单元11或第二外参计算单元12计算的相机外参，将所述当前帧图像的点云转换到所述参考特征点组成的参考坐标系下，以对所述静态物体进行建模。
可见，在本实施例的静态物体重建系统中，当第一外参计算单元11在基于三维特征点计算相机外参时，未在预置的时间内计算得到相机外参，则说明深度相机采集的深度数据丢失或损坏，则第二外参计算单元12采用二维特征点来计算相机外参，从而转换单元13根据相机外参实现某一帧图像中点云的对齐，这样融合了二维特征点和三维特征点，可以实现当深度相机采集的深度数据丢失或损坏时，也能成功重建静态物体。
参考图11所示，在一个具体的实施例中，静态物体重建系统除了可以包括如图10所示的结构外，其中的第一外参计算单元11具体可以通过候选选择单元110、选取单元111、模型计算单元112、评分单元113和外参确定单元114，其中：
候选选择单元110，用于在所述参考特征点中，选择与所述当前帧图像的三维特征点距离最近的多个候选对应点，具体地，候选选择单元110可以对于当前帧图像的某一个三维特征点，计算该三维特征点与所有参考特征点之间的欧式距离，并对这些欧式距离排序，选取欧式距离较小的多个参考特征点作为候选对应点。
选取单元111，用于从候选选择单元110选择的每一个三维特征点对应的多个候选对应点中，选取所述当前帧图像的所有三维特征点中部分三维特征点分别对应的候选对应点；该选取单元111具体用于根据所述前一帧图像中包含所述静态物体的各个空间区域内特征点，与参考特征点的正确对应概率，从所述当前帧图像的所有三维特征点中选取所述部分三维特征点；根据所述前一帧图像中特征点的候选对应点被选取的概率，从所述候选选择单元110选取的多个候选对应点中选择所述三维特征点的候选对应点。
模型计算单元112，用于根据所述选取单元111选取的部分三维特征点分别对应的候选对应点，计算模型参数。
评分单元113，用于对所述模型计算单元112计算的模型参数对应模型进行评分。
外参确定单元114，用于在所述选取单元111、模型计算单元112和评分单元113循环执行所述选取候选对应点、计算模型参数和评分的步骤得到的评分中，将评分最高的模型的模型参数作为所述当前帧图像的相机外参，其中：
所述外参确定单元114，还用于在所述循环中，连续Ks次选取的所述部分三维特征点与候选对应点包含异常对应的概率小于预置的值，或所述循环步骤的次数超过预置的值，或执行所述循环步骤的时间超过预置的值，则通知所述选取单元111、模型计算单元112和评分单元113停止执行所述选取候选对应点、计算模型参数和评分的循环步骤。
在这个过程中，需要设置一个相机外参的初始值，则外参确定单元114在确定当前帧图像的相机外参时，需要使得最终确定的相机外参对应模型的评分要比该相机外参的初始值对应模型的评分高。
进一步地，在本实施例中，由于上述模型计算单元112在计算模型参数时，是通过部分三维特征点(比如三个)对应的候选对应点得到的，如果经过评分单元113后得到评分最高的模型，外参确定单元114可以先不将该模型的模型参数作为相机外参，而是先由候选选择单元110利用该评分最高模型的模型参数将当前帧图像的所有三维特征点变换到参考坐标系下，计算得到对应的参考特征点；然后模型计算单元112根据所有能在参考特征点中找到正确对应特征点的三维特征点，重新计算一次模型参数，然后外参确定单元114再将重新计算的模型参数作为最终的相机外参。其中，由于在计算模型参数时，三维特征点和参考特征点中正确对应点的个数越多，则最终计算得到的模型参数也越准确，则上述最终得到的相机外参也较为准确。
另外，需要说明的是，第一外参计算单元11可以直接通过上述几个单元，并按照上述步骤A1到A5得到当前帧图像的相机外参；在其它具体实施例中，第一外参计算单元11可以先计算一个初始相机外参，然后再按照上述步骤A1到A5得到优化后的相机外参，具体地：
第一外参计算单元11，还用于先将三维特征点，与静态物体的当前帧图像的前一帧图像中的特征点进行匹配，得到初始相机外参，具体方法与上述步骤A1到A5的方法类似，不同的是，第一外参计算单元11中的候选选择单元110需要在前一帧图像的特征点中，选择与当前帧图像的三维特征点距离最近的多个候选对应点，然后再由其它单元进行相应地处理；然后第一外参计算单元11会以该初始相机外参作为根据模型评分确定相机外参的条件，并按照上述步骤A1到A5的方法，将三维特征点，与静态物体的参考特征点进行匹配，最终当前帧图像的相机外参。其中，初始相机外参主要是外参确定单元114在根据模型的评分确定当前帧图像的相机外参时，需要使得最终确定的相机外参对应模型的评分要比该初始相机外参对应模型的评分高。
参考图12所示，在一个具体的实施例中，静态物体重建系统除了可以包括如图10所示的结构外，还可以包括模型生成单元14、模型转换单元15和补全单元16，且其中的第二外参计算单元12具体可以通过特征匹配单元120和外参获得单元121实现，具体地：
特征匹配单元120，用于将所述二维特征点与所述参考特征点中三维特征点进行匹配，确定与所述二维特征点对应的三维参考特征点；
外参获得单元121，用于确定使得所述参考坐标系下的相机姿态的函数最小化的相机外参，所述相机姿态的函数中包括所述二维特征点与三维参考特征点的对应，即包括了上述特征匹配单元120确定的二维特征点对应的三维参考特征点；将所述确定的相机外参作为所述当前帧图像的相机外参。
进一步地，第二外参计算单元还可以包括对应选取单元122，在这种情况下，上述特征匹配单元120还用于将所述二维特征点与所述静态物体的当前帧图像的前一帧图像的二维特征点进行匹配，确定在所述前一帧图像中与所述二维特征点对应的二维特征点；对应选取单元122用于选取所述当前帧图像的二维特征点及在所述前一帧图像中与所述二维特征点对应的特征点处都具有深度数据的多对对应特征点；则参获得单元121还用于根据所述对应选取单元122选取的多对对应特征点的深度变化信息，确定所述当前帧图像与前一帧图像的相对相机外参；根据所述相对相机外参与所述前一帧图像的相机外参，确定所述当前帧图像的相机外参。
模型生成单元14，用于当确定第一外参计算单元11基于所述三维特征点计算所述当前帧图像的相机外参失败时，根据采集的所述静态物体的多个帧图像的二维数据生成包含深度数据的源模型；其中，所述目标模型是由所述静态物体的当前帧图像的深度数据形成的，且所述变换矩阵是使得第一能量函数最小化的矩阵，所述第一能量函数是包括距离项和光滑项，所述距离项用于表示所述源模型中顶点到所述目标模型中相应顶点的距离，所述光滑项用于约束相邻顶点的变换；模型转换单元15，用于将所述模型生成单元14生成的源模型通过变换矩阵转换到目标模型；补全单元16，用于根据所述模型转换单元15转换后的目标模型补全所述当前帧图像中丢失的深度数据。这样通过深度数据的补全，可以重建一个完整的静态物体的模型，提高了静态物体重建的精度。
需要说明的是，第二外参计算单元12中可以通过特征匹配单元120和外参获得单元121，能实现基于2D-3D匹配点的相机姿态计算方法，而通过特征匹配单元120、外参获得单元121和对应选取单元122实现基于2D-2D匹配点的相机姿态计算方法。且进一步地：
第二外参计算单元12还可以将这两种方法结合起来，还可以包括一个外参选择单元，用于先将当前帧图像的三维特征点分别通过这两种方法得到的相机外参转换到参考坐标系下；然后计算当前帧图像的三维特征点在参考特征点中能找到对应的比例，即三维特征点转换到参考坐标系下的特征点与最近的参考特征点的距离小于预置的值，则认为在参考特征点中能找到对应；然后将比例较高对应的相机外参作为最终当前帧图像的相机外参。
参考图13所示，在一个具体的实施例中，静态物体重建系统除了可以包括如图10所示的结构外，还可以包括对应建立单元17、调整单元18、合并单元19和更新单元20，具体地：
对应建立单元17，用于通过所述相机外参，建立所述当前帧图像中三维特征点与所述参考特征点的对应。对应建立单元17可以先通过相机外参，将当前帧图像中的三维特征点转换到参考坐标系下；然后计算转换后的特征点与各个参考特征点之间的空间距离，并找到最近的空间距离，如果该最近的空间距离小于预置的值比如6mm，则建立了该最近的空间距离对应参考特征点与对应三维特征点之间的对应。
调整单元18，用于调整所述静态物体的N帧图像的相机外参，使得第二能量函数最小化，在这个过程中，调整单元18还可以调整N帧图像中各个特征点对应的参考特征点的位置。其中所述第二能量函数中包括所述第i帧图像中三维特征点，与对应的参考特征点转换到所述第i帧图像坐标系下特征点的距离，其中，所述i为从0到N的正整数。
本实施例中，当通过第一外参计算单元11得到相机外参后，就可以通过对应建立单元17建立当前帧图像中三维特征点与参考特征点的对应；然后第一外参计算单元11和对应建立单元17针对N帧图像都进行相应处理后，可以通过调整单元18采用束优化的方式对N帧图像的相机外参进行调整；最后转换单元13具体用于通过所述调整单元18对第一外参计算单元11计算的相机外参进行调整后得到的所述当前帧图像的相机外参，将所述当前帧图像的点云转换到所述参考坐标系下。
当第二外参计算单元12得到相机外参后，对应建立单元17不仅需要建立三维特征点与参考特征点的对应，还用于通过所述相机外参，建立所述当前帧图像中二维特征点与所述参考特征点的对应；然后第二外参计算单元12和对应建立单元17针对N帧图像都进行相应处理后，可以通过调整单元18采用束优化的方式对N帧图像的相机外参进行调整，其中使用的第二能量函数中还包括第i帧图像中二维特征点，与对应的参考特征点转换到所述第i帧图像坐标系下特征点的距离。
另一种情况下，如果N帧图像的相机外参中，部分(比如第一部分)是基于二维特征点计算的，另一部分(比如第二部分)是基于三维特征点计算出的，则上述调整单元18对N帧图像进行束优化时所使用的第二能量函数中，关于第一部分帧图像的部分，是按照上述第一种方法(即上述步骤201到202)进行计算；关于第二部分帧图像的部分，是按照上述第二种方法(即上述步骤301到302)进行计算，在此不进行赘述。
进一步地，在本实施例中，还可以通过合并单元19和更新单元20实现全局优化，具体地：合并单元19，用于如果所述静态物体的某一帧图像中特征点与另一帧图像中的特征点重叠，合并所述某一帧图像中与所述另一帧图像匹配的特征点；更新单元20，用于根据所述合并单元19合并后的特征点得到更新后的参考特征点，并根据更新后的参考特征点，更新所述静态物体的每一帧图像的相机外参；这样转换单元13具体用于通过所述更新单元20更新后得到的所述当前帧图像的相机外参，将所述当前帧图像的点云转换到所述参考坐标系下。其中，如果某一帧图像中特征点对应的第一参考特征点中，有超过预置值的特征点都能在另一帧图像中特征点对应的第二参考特征点中找到对应，则认为重叠；或者如果某一帧图像的相机外参和另一帧图像的相机外参进行比较，如果相近，则可以认为重叠。
本发明实施例还提供一种静态物体重建系统，其结构示意图如图14所示，包括：包括分别连接到总线上的存储器22和处理器21，且还可以包括连接在总线的输入输出装置23，其中：
存储器22中用来储存从输入输出装置23输入的数据，且还可以储存处理器21处理数据的必要文件等信息；输入输出装置23可以包括外接的设备比如显示器、键盘、鼠标和打印机等，还可以包括静态物体重建系统与其它设备通信的端口。
处理器21，用于分别获取静态物体的当前帧图像中的三维特征点和二维特征点；将所述获取的三维特征点与参考特征点进行匹配，计算所述当前帧图像的相机外参，其中，所述参考特征点是所述静态物体的多个帧图像上的特征点累积形成的；如果基于所述三维特征点计算所述当前帧图像的相机外参时，未在预置的时间内计算得到该相机外参，则将所述获取的二维特征点，与所述参考特征点中三维特征点匹配，或与所述静态物体的当前帧图像的前一帧图像中的二维特征点进行匹配，计算所述当前帧图像的相机外参；通过所述计算的相机外参，将所述当前帧图像的点云转换到所述参考特征点组成的参考坐标系下，以对所述静态物体进行建模。
其中，处理器21在获取各个特征点时，可以得到各个特征点的特征描述量，特别地，对于三维特征点的特征描述量，处理器21可以将二维特征描述量和三维特征描述量分别标准化，即在二维特征描述量和三维特征描述量的训练集中，分别求得二维特征描述量和三维特征描述量的标准差，并用特征描述量除以对应的标准差，就可以得到标准化后的特征描述量；然后将标准化之后的二维特征描述量和三维特征量结合，得到三维特征点的特征描述量。
处理器21在基于三维特征点计算相机外参时，可以通过三维特征点与参考特征点各自的特征描述量进行比较，找到当前帧图像中所有三维特征点分别对应的参考特征点，然后就可以通过找到的对应的参考特征点计算相机外参；若某一三维特征点没有找到对应的三维特征点，则该处理器21还可以将该三维特征点加入到参考特征点中。
处理器21在基于二维特征点计算相机外参时，可以将当前帧图像的二维特征点对齐到参考特征点中的三维特征点，然后根据找到的对应的参考特征点中的三维特征点，计算相机外参。还可以将当前帧图像的二维特征点对齐到前一帧图像中，然后根据当前帧图像与前一帧图像中对应的二维特征点得到相对相机外参，再结合之前计算的前一帧图像的相机外参，从而就可以得到当前帧图像的相机外参。
可见，在本实施例的静态物体重建系统中，当处理器21在基于三维特征点计算相机外参时，未在预置的时间内计算得到该相机外参，则说明深度相机采集的深度数据丢失或损坏，则处理器21采用二维特征点来计算相机外参，从而根据相机外参实现某一帧图像中点云的对齐，这样融合了二维特征点和三维特征点，可以实现当深度相机采集的深度数据丢失或损坏时，也能成功重建静态物体。
在一个具体的实施例中，处理器21在基于三维特征点计算相机外参时，具体地：在所述参考特征点中，选择与所述当前帧图像的三维特征点距离最近的多个候选对应点；并从选择的每一个三维特征点对应的多个候选对应点中，选取所述当前帧图像的所有三维特征点中部分三维特征点分别对应的候选对应点；根据所述选取的部分三维特征点分别对应的候选对应点，计算模型参数；对所述计算的模型参数对应模型进行评分；在所述循环执行所述选取候选对应点、计算模型参数和评分的步骤得到的评分中，将评分最高的模型的模型参数作为所述当前帧图像的相机外参，在这个过程中，需要设置一个相机外参的初始值，则处理器21在确定当前帧图像的相机外参时，需要使得最终确定的相机外参对应模型的评分要比该相机外参的初始值对应模型的评分高。进一步地，如果确定在执行所述循环中，连续Ks次选取的所述部分三维特征点与候选对应点包含异常对应的概率小于预置的值，或循环步骤的次数超过预置的值，或执行循环步骤的时间超过预置的值，则处理器21停止执行所述选取候选对应点、计算模型参数和评分的循环步骤。
其中，处理器21在选择候选对应点时，具体可以对于当前帧图像的某一个三维特征点，计算该三维特征点与所有参考特征点之间的欧式距离，并对这些欧式距离排序，选取欧式距离较小的多个参考特征点作为候选对应点；且处理器21在选取所述当前帧图像的所有三维特征点中部分三维特征点分别对应的候选对应点时，具体用于根据所述前一帧图像中包含所述静态物体的各个空间区域内特征点与参考特征点的正确对应概率，从所述当前帧图像的所有三维特征点中选取所述部分三维特征点；根据所述前一帧图像中特征点的候选对应点被选取的概率，从所述选择的多个候选对应点中选择所述三维特征点的候选对应点。
进一步地，在本实施例中，由于处理器21在计算模型参数时，是通过部分三维特征点(比如三个)对应的候选对应点得到的，如果得到评分最高的模型，处理器21可以先不将该模型的模型参数作为相机外参，而是先利用该评分最高模型的模型参数将当前帧图像的所有三维特征点变换到参考坐标系下，计算得到对应的参考特征点；然后处理器21根据所有能在参考特征点中找到正确对应特征点的三维特征点，重新计算一次模型参数，然后处理器21再将重新计算的模型参数作为最终的相机外参。其中，由于在计算模型参数时，三维特征点和参考特征点中正确对应点的个数越多，则最终计算得到的模型参数也越准确，则上述最终得到的相机外参也较为准确。
另外，需要说明的是，处理器21可以直接按照上述步骤A1到A5得到当前帧图像的相机外参；在其它具体实施例中，处理器21也可以先计算一个初始相机外参，然后再按照上述步骤A1到A5最终得到当前帧图像的相机外参，具体地：
处理器21，还用于先将三维特征点，与静态物体的当前帧图像的前一帧图像中的特征点进行匹配，得到初始相机外参，具体方法与上述步骤A1到A5的方法类似，不同的是，处理器21需要在前一帧图像的特征点中，选择与当前帧图像的三维特征点距离最近的多个候选对应点，然后再由其它单元进行相应地处理；然后处理器21会以该初始相机外参作为根据模型评分确定相机外参的条件，并按照上述步骤A1到A5的方法，将三维特征点，与静态物体的参考特征点进行匹配，得到优化后的当前帧图像的相机外参。其中，初始相机外参主要是处理器21在根据模型的评分确定当前帧图像的相机外参时，需要使得最终确定的相机外参对应模型的评分要比该初始相机外参对应模型的评分高。
在另一个具体的实施例中，处理器21在基于二维特征点计算相机外参时，可以采用基于2D-3D匹配点的相机姿态计算方法，具体用于将所述二维特征点与所述参考特征点中三维特征点进行匹配，确定与所述二维特征点对应的三维参考特征点；确定使得所述参考坐标系下的相机姿态的函数最小化的相机外参，所述相机姿态的函数中包括所述二维特征点与三维参考特征点的对应；将所述确定的相机外参作为所述当前帧图像的相机外参。在另一方面，处理器21在基于二维特征点计算相机外参时，还可以采用基于2D-2D匹配点的相机姿态计算方法，具体将所述二维特征点与所述静态物体的当前帧图像的前一帧图像的二维特征点进行匹配，确定在所述前一帧图像中与所述二维特征点对应的二维特征点；并选取所述当前帧图像的二维特征点及在所述前一帧图像中与所述二维特征点对应的特征点处都具有深度数据的多对对应特征点；根据所述选取的多对对应特征点的深度变化信息，确定所述当前帧图像与前一帧图像的相对相机外参；根据所述相对相机外参与所述前一帧图像的相机外参，确定所述当前帧图像的相机外参。
另一种情况下，处理器21还可以将上述两种基于二维特征点计算相机外参的方法结合起来，还可以用于先将当前帧图像的三维特征点分别通过这两种方法得到的相机外参转换到参考坐标系下；然后计算当前帧图像的三维特征点在参考特征点中能找到对应的比例，即三维特征点转换到参考坐标系下的特征点与最近的参考特征点的距离小于预置的值，则认为在参考特征点中能找到对应；然后将比例较高对应的相机外参作为最终当前帧图像的相机外参。
进一步地，为了重建一个完整的静态物体的模型，提高了静态物体重建的精度，处理器21还用于当确定基于所述三维特征点计算所述当前帧图像的相机外参失败时，根据采集的所述静态物体的多个帧图像的二维数据生成包含深度数据的源模型；其中，所述目标模型是由所述静态物体的当前帧图像的深度数据形成的，且所述变换矩阵是使得第一能量函数最小化的矩阵，所述第一能量函数是包括距离项和光滑项，所述距离项用于表示所述源模型中顶点到所述目标模型中相应顶点的距离，所述光滑项用于约束相邻顶点的变换；将所述模型生成的源模型通过变换矩阵转换到目标模型；根据所述转换后的目标模型补全所述当前帧图像中丢失的深度数据。
在另一个具体的实施例中，处理器21可以通过如下几种方式对相机外参进行优化：
(1)当通过处理器21基于三维特征点计算了相机外参后，就可以通过所述相机外参，建立所述当前帧图像中三维特征点与所述参考特征点的对应；如果针对N帧图像都建立三维特征点与所述参考特征点的对应后，处理器21可以通过采用束优化的方式对N帧图像的相机外参进行调整，具体地，调整所述静态物体的N帧图像的相机外参，使得第二能量函数最小化，在这个过程中，还可以调整N帧图像中各个特征点对应的参考特征点的位置，其中所述第二能量函数中包括所述第i帧图像中三维特征点，与对应的参考特征点转换到所述第i帧图像坐标系下特征点的距离，其中，所述i为从0到N的正整数；最后处理器21用于通过所述调整后的所述当前帧图像的相机外参，将所述当前帧图像的点云转换到所述参考坐标系下。
其中，处理器21在建立对应时，可以先通过相机外参，将当前帧图像中的三维特征点转换到参考坐标系下；然后计算转换后的特征点与各个参考特征点之间的空间距离，并找到最近的空间距离，如果该最近的空间距离小于预置的值比如6mm，则建立了该最近的空间距离对应参考特征点与对应三维特征点之间的对应。
(2)当通过处理器21基于二维特征点计算了相机外参后，不仅需要建立三维特征点与参考特征点的对应，还用于通过所述相机外参，建立所述当前帧图像中二维特征点与所述参考特征点的对应；如果针对N帧图像都建立三维特征点和二维特征点分别与所述参考特征点的对应后，处理器21可以通过采用束优化的方式对N帧图像的相机外参进行调整，具体地，处理器21在调整相机外参时使用的第二能量函数中还包括第i帧图像中二维特征点，与对应的参考特征点转换到所述第i帧图像坐标系下特征点的距离。
(3)如果N帧图像的相机外参中，部分(比如第一部分)是基于二维特征点计算的，另一部分(比如第二部分)是基于三维特征点计算出的，则上述处理器21对N帧图像进行束优化时所使用的第二能量函数中，关于第一部分帧图像的部分，是按照上述第一种方法(即上述步骤201到202)进行计算；关于第二部分帧图像的部分，是按照上述第二种方法(即上述步骤301到302)进行计算，在此不进行赘述。
(4)全局优化
处理器21还可以用于如果所述静态物体的某一帧图像中特征点与另一帧图像中的特征点重叠，合并所述某一帧图像中与所述另一帧图像匹配的特征点，并得到更新后的参考特征点；然后根据所述更新后的参考特征点，更新所述静态物体的每一帧图像的相机外参；这样转换单元具体用于通过所述更新后的所述当前帧图像的相机外参，将所述当前帧图像的点云转换到所述参考坐标系下。其中，如果某一帧图像中特征点对应的第一参考特征点中，有超过预置值的特征点都能在另一帧图像中特征点对应的第二参考特征点中找到对应，则认为重叠；或者如果某一帧图像的相机外参和另一帧图像的相机外参进行比较，如果相近，则可以认为重叠。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM)、随机存取存储器(RAM)、磁盘或光盘等。
以上对本发明实施例所提供的静态物体重建方法和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (20)

1.一种静态物体重建方法，其特征在于，包括：
分别获取静态物体的当前帧图像中的三维特征点和二维特征点；所述当前帧图像包括二维信息和三维信息，所述三维特征点为具有所述三维信息的特征点，所述二维特征点为具有所述二维信息的特征点；所述二维特征点和所述三维特征点均包括多个；
将所述三维特征点与参考特征点进行匹配，计算所述当前帧图像的相机外参，其中，所述参考特征点是所述静态物体的多个帧图像上的特征点累积形成的；
如果基于所述三维特征点计算所述当前帧图像的相机外参时，未在预置的时间内得到所述相机外参，则将所述二维特征点，与所述参考特征点中三维特征点匹配，或与所述静态物体的当前帧图像的前一帧图像中的二维特征点进行匹配，计算所述当前帧图像的相机外参；
通过所述计算的相机外参，将所述当前帧图像的点云转换到所述参考特征点组成的参考坐标系下，以对所述静态物体进行建模。
2.如权利要求1所述的方法，其特征在于，所述将所述三维特征点与参考特征点进行匹配，计算所述当前帧图像的相机外参，具体包括：
在所述参考特征点中，选择与所述当前帧图像的三维特征点距离最近的多个候选对应点；
选取所述当前帧图像的所有三维特征点中部分三维特征点分别对应的候选对应点；
根据所述部分三维特征点分别对应的候选对应点，计算模型参数；
对所述计算的模型参数对应模型进行评分；
循环执行所述选取候选对应点、计算模型参数和评分的步骤，并将评分最高的模型的模型参数作为所述当前帧图像的相机外参，其中：
如果在所述循环中连续Ks次选取的所述部分三维特征点与候选对应点包含异常对应的概率小于预置的值，或所述循环步骤的次数超过预置的值，或执行所述循环步骤的时间超过预置的值，则停止执行所述选取候选对应点、计算模型参数和评分的循环步骤。
3.如权利要求2所述的方法，其特征在于，所述选取所述当前帧图像的 所有三维特征点中部分三维特征点分别对应的候选对应点，具体包括：
根据所述前一帧图像中包含所述静态物体的各个空间区域内特征点，与参考特征点的正确对应概率，从所述当前帧图像的所有三维特征点中选取所述部分三维特征点；所述空间区域为所述静态物体的空间所划分的网格；
根据所述前一帧图像中特征点的候选对应点被选取的概率，从所述多个候选对应点中选择所述三维特征点的候选对应点。
4.如权利要求2或3所述的方法，其特征在于，所述将所述三维特征点与参考特征点进行匹配，计算所述当前帧图像的相机外参之前，所述方法还包括：
将所述三维特征点，与所述静态物体的当前帧图像的前一帧图像中的特征点进行匹配，得到初始相机外参；
则将所述三维特征点与参考特征点进行匹配，计算所述当前帧图像的相机外参，具体包括：以所述初始相机外参作为根据模型评分确定相机外参的条件，将所述三维特征点，与所述静态物体的参考特征点进行匹配，最终得到所述当前帧图像的相机外参。
5.如权利要求1至3任一项所述的方法，其特征在于，所述将所述二维特征点与所述参考特征点中三维特征点进行匹配，计算所述当前帧图像的相机外参，具体包括：
将所述二维特征点与所述参考特征点中三维特征点进行匹配，确定与所述二维特征点对应的三维参考特征点；
确定使得所述参考坐标系下的相机姿态的函数最小化的相机外参，所述相机姿态的函数中包括所述二维特征点与三维参考特征点的对应；
将所述确定的相机外参作为所述当前帧图像的相机外参。
6.如权利要求1至3任一项所述的方法，其特者在于，所述将所述二维特征点与所述静态物体的当前帧图像的前一帧图像的二维特征点进行匹配，计算所述当前帧图像的相机外参，具体包括：
将所述二维特征点与所述静态物体的当前帧图像的前一帧图像的二维特征点进行匹配，确定在所述前一帧图像中与所述二维特征点对应的二维特征点；
选取所述当前帧图像的二维特征点及在所述前一帧图像中与所述二维特征点对应的二维特征点处都具有深度数据的多对对应特征点；
根据所述选取的多对对应特征点的深度变化信息，确定所述当前帧图像与前一帧图像的相对相机外参；
根据所述相对相机外参与所述前一帧图像的相机外参，确定所述当前帧图像的相机外参。
7.如权利要求1至3任一项所述的方法，其特征在于，如果基于所述三维特征点计算所述当前帧图像的相机外参时，未在预置的时间内得到所述相机外参，所述方法还包括：
根据采集的所述静态物体的多个帧图像的二维数据生成包含深度数据的源模型；
将所述源模型通过变换矩阵转换到目标模型；
根据所述转换后的目标模型补全所述当前帧图像中丢失的深度数据；
其中，所述目标模型是由所述静态物体的当前帧图像的深度数据形成的，且所述变换矩阵是使得第一能量函数最小化的矩阵，所述第一能量函数是包括距离项和光滑项，所述距离项用于表示所述源模型中顶点到所述目标模型中相应顶点的距离，所述光滑项用于约束相邻顶点的变换。
8.如权利要求1至3任一项所述的方法，其特征在于，所述计算所述当前帧图像的相机外参之后，所述方法还包括：
通过所述相机外参，建立所述当前帧图像中三维特征点与所述参考特征点的对应；
调整所述静态物体的N帧图像的相机外参，使得第二能量函数最小化，其中所述第二能量函数中包括第i帧图像中三维特征点，与对应的参考特征点转换到所述第i帧图像坐标系下特征点的距离，其中，所述i为从0到N的正整数；
则所述通过所述计算的相机外参，将所述当前帧图像的点云转换到所述参考特征点组成的参考坐标系下具体包括：通过对所述计算的相机外参进行所述调整后得到的相机外参，将所述当前帧图像的点云转换到所述参考坐标系下。
9.如权利要求8所述的方法，其特征在于，如果所述相机外参是在基于 所述二维特征点计算的，则所述计算所述当前帧图像的相机外参后，所述方法还包括：
通过所述相机外参，建立所述当前帧图像中二维特征点与所述参考特征点的对应；
则所述第二能量函数中还包括第i帧图像中二维特征点，与对应的参考特征点转换到所述第i帧图像坐标系下特征点的距离。
10.如权利要求1至3任一项所述的方法，其特征在于，所述计算所述当前帧图像的相机外参之后，所述方法还包括：
如果所述静态物体的某一帧图像中特征点与另一帧图像中的特征点重叠，合并所述某一帧图像中与所述另一帧图像匹配的特征点，并得到更新的参考特征点；
根据所述更新的参考特征点，更新所述静态物体的每一帧图像的相机外参；
则所述通过所述计算的相机外参，将所述当前帧图像的点云转换到所述参考特征点组成的参考坐标系下具体包括：通过对所述计算的相机外参进行所述更新后得到的相机外参，将所述当前帧图像的点云转换到所述参考坐标系下。
11.一种静态物体重建系统，其特征在于，包括：
特征获取单元，用于分别获取静态物体的当前帧图像中的三维特征点和二维特征点；所述当前帧图像包括二维信息和三维信息，所述三维特征点为具有所述三维信息的特征点，所述二维特征点为具有所述二维信息的特征点；所述二维特征点和所述三维特征点均包括多个；
第一外参计算单元，用于将所述特征获取单元获取的三维特征点与参考特征点进行匹配，计算所述当前帧图像的相机外参，其中，所述参考特征点是所述静态物体的多个帧图像上的特征点累积形成的；
第二外参计算单元，用于如果所述第一外参计算单元基于所述三维特征点计算所述当前帧图像的相机外参时，未在预置的时间内计算得到所述相机外参，则将所述特征获取单元获取的二维特征点，与所述参考特征点中三维特征点匹配，或与所述静态物体的当前帧图像的前一帧图像中的二维特征点 进行匹配，计算所述当前帧图像的相机外参；
转换单元，用于通过所述第一外参计算单元或第二外参计算单元计算的相机外参，将所述当前帧图像的点云转换到所述参考特征点组成的参考坐标系下，以对所述静态物体进行建模。
12.如权利要求11所述的系统，其特征在于，所述第一外参计算单元具体包括：
候选选择单元，用于在所述参考特征点中，选择与所述当前帧图像的三维特征点距最近的多个候选对应点；
选取单元，用于选取所述当前帧图像的所有三维特征点中部分三维特征点分别对应的候选对应点；
模型计算单元，用于根据所述选取单元选取的部分三维特征点分别对应的候选对应点，计算模型参数；
评分单元，用于对所述模型计算单元计算的模型参数对应模型进行评分；
外参确定单元，用于在所述选取单元、模型计算单元和评分单元循环执行所述选取候选对应点、计算模型参数和评分的步骤得到的评分中，将评分最高的模型的模型参数作为所述当前帧图像的相机外参，其中：
所述外参确定单元，还用于在所述循环中，连续Ks次选取的所述部分三维特征点与候选对应点包含异常对应的概率小于预置的值，或所述循环步骤的次数超过预置的值，或执行所述循环步骤的时间超过预置的值，则通知所述选取单元、模型计算单元和评分单元停止执行所述选取候选对应点、计算模型参数和评分的循环步骤。
13.如权利要求12所述的系统，其特征在于，
所述选取单元，具体用于根据所述前一帧图像中包含所述静态物体的各个空间区域内特征点，与参考特征点的正确对应概率，从所述当前帧图像的所有三维特征点中选取所述部分三维特征点；根据所述前一帧图像中特征点的候选对应点被选取的概率，从所述多个候选对应点中选择所述三维特征点的候选对应点；所述空间区域为所述静态物体的空间所划分的网格。
14.如权利要求12或13所述的系统，其特征在于，还包括：
所述第一外参计算单元，还用于将所述三维特征点，与所述静态物体的 当前帧图像的前一帧图像中的特征点进行匹配，得到初始相机外参；并以所述初始相机外参作为根据模型评分确定相机外参的条件，将所述三维特征点，与所述静态物体的参考特征点进行匹配，最终得到所述当前帧图像的相机外参。
15.如权利要求11至13任一项所述的系统，其特征在于，所述第二外参计算单元，具体包括：
特征匹配单元，用于将所述二维特征点与所述参考特征点中三维特征点进行匹配，确定与所述二维特征点对应的三维参考特征点；
外参获得单元，用于确定使得所述参考坐标系下的相机姿态的函数最小化的相机外参，所述相机姿态的函数中包括所述二维特征点与三维参考特征点的对应；将所述确定的相机外参作为所述当前帧图像的相机外参。
16.如权利要求15所述的系统，其特征在于，所述第二外参计算单元还包括对应选取单元；
所述特征匹配单元，还用于将所述二维特征点与所述静态物体的当前帧图像的前一帧图像的二维特征点进行匹配，确定在所述前一帧图像中与所述二维特征点对应的二维特征点；
所述对应选取单元，用于选取所述当前帧图像的二维特征点及在所述前一帧图像中与所述二维特征点对应的特征点处都具有深度数据的多对对应特征点；
所述外参获得单元，还用于根据所述对应选取单元选取的多对对应特征点的深度变化信息，确定所述当前帧图像与前一帧图像的相对相机外参；根据所述相对相机外参与所述前一帧图像的相机外参，确定所述当前帧图像的相机外参。
17.如权利要求11至13任一项所述的系统，其特征在于，还包括：
模型生成单元，用于当确定基于所述三维特征点计算所述当前帧图像的相机外参失败时，根据采集的所述静态物体的多个帧图像的二维数据生成包含深度数据的源模型；其中，目标模型是由所述静态物体的当前帧图像的深度数据形成的，且变换矩阵是使得第一能量函数最小化的矩阵，所述第一能量函数是包括距离项和光滑项，所述距离项用于表示所述源模型中顶点到所 述目标模型中相应顶点的距离，所述光滑项用于约束相邻顶点的变换；
模型转换单元，用于将所述模型生成单元生成的源模型通过变换矩阵转换到目标模型；
补全单元，用于根据所述模型转换单元转换后的目标模型补全所述当前帧图像中丢失的深度数据。
18.如权利要求11至13任一项所述的系统，其特征在于，还包括：
对应建立单元，用于通过所述相机外参，建立所述当前帧图像中三维特征点与所述参考特征点的对应；
调整单元，用于调整所述静态物体的N帧图像的相机外参，使得第二能量函数最小化，其中所述第二能量函数中包括第i帧图像中三维特征点，与对应的参考特征点转换到所述第i帧图像坐标系下特征点的距离，其中，所述i为从0到N的正整数；
则所述转换单元，具体用于通过所述调整单元调整得到的所述当前帧图像的相机外参，将所述当前帧图像的点云转换到所述参考坐标系下。
19.如权利要求18所述的系统，其特征在于，
所述对应建立单元，还用于如果所述相机外参是在基于所述二维特征点计算的，通过所述相机外参，建立所述当前帧图像中二维特征点与所述参考特征点的对应；
则所述调整单元在进行相机外参调整时使用的第二能量函数中还包括第i帧图像中二维特征点，与对应的参考特征点转换到所述第i帧图像坐标系下特征点的距离。
20.如权利要求11至13任一项所述的系统，其特征在于，还包括：
合并单元，用于如果所述静态物体的某一帧图像中特征点与另一帧图像中的特征点重叠，合并所述某一帧图像中与所述另一帧图像匹配的特征点；
更新单元，用于根据所述合并单元合并后的特征点得到更新后的参考特征点，并根据所述更新后的参考特征点，更新所述静态物体的每一帧图像的的相机外参；
则所述转换单元，具体用于通过所述更新单元更新得到的所述当前帧图像的相机外参，将所述当前帧图像的点云转换到所述参考坐标系下。
CN201410101540.9A 2014-03-18 2014-03-18 一种静态物体重建方法和系统 Active CN104933755B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201410101540.9A CN104933755B (zh) 2014-03-18 2014-03-18 一种静态物体重建方法和系统
PCT/CN2015/074074 WO2015139574A1 (zh) 2014-03-18 2015-03-12 一种静态物体重建方法和系统
EP15764364.4A EP3093823B1 (en) 2014-03-18 2015-03-12 Static object reconstruction method and system
US15/232,229 US9830701B2 (en) 2014-03-18 2016-08-09 Static object reconstruction method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410101540.9A CN104933755B (zh) 2014-03-18 2014-03-18 一种静态物体重建方法和系统

Publications (2)

Publication Number Publication Date
CN104933755A CN104933755A (zh) 2015-09-23
CN104933755B true CN104933755B (zh) 2017-11-28

Family

ID=54120906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410101540.9A Active CN104933755B (zh) 2014-03-18 2014-03-18 一种静态物体重建方法和系统

Country Status (4)

Country Link
US (1) US9830701B2 (zh)
EP (1) EP3093823B1 (zh)
CN (1) CN104933755B (zh)
WO (1) WO2015139574A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933755B (zh) * 2014-03-18 2017-11-28 华为技术有限公司 一种静态物体重建方法和系统
WO2015199553A2 (en) 2014-06-27 2015-12-30 Crown Equipment Limited Lost vehicle recovery utilizing associated feature pairs
WO2017031718A1 (zh) * 2015-08-26 2017-03-02 中国科学院深圳先进技术研究院 弹性物体变形运动的建模方法
CN105719233B (zh) * 2016-01-21 2018-09-04 万云数码媒体有限公司 一种平面游戏转立体的顶点位置横向变换方法
JP6754992B2 (ja) * 2016-04-22 2020-09-16 パナソニックＩｐマネジメント株式会社 三次元再構成方法
US10771697B2 (en) * 2016-09-06 2020-09-08 Apple Inc. Still image stabilization/optical image stabilization synchronization in multi-camera image capture
CN107958482B (zh) * 2016-10-17 2021-06-18 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置
CN108122277B (zh) * 2016-11-28 2021-06-22 华为技术有限公司 一种建模方法及装置
CN106875450B (zh) * 2017-02-20 2019-09-20 清华大学 用于相机重定位的训练集优化方法及装置
US10311312B2 (en) * 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
US10250801B2 (en) * 2017-04-13 2019-04-02 Institute For Information Industry Camera system and image-providing method
CN107123142B (zh) * 2017-05-09 2020-05-01 北京京东尚科信息技术有限公司 位姿估计方法和装置
US10009640B1 (en) * 2017-05-31 2018-06-26 Verizon Patent And Licensing Inc. Methods and systems for using 2D captured imagery of a scene to provide virtual reality content
CN107330917B (zh) * 2017-06-23 2019-06-25 歌尔股份有限公司 移动目标的跟踪拍摄方法和跟踪设备
US10460471B2 (en) * 2017-07-18 2019-10-29 Kabushiki Kaisha Toshiba Camera pose estimating method and system
CN110533723B (zh) * 2017-07-31 2022-03-01 深圳市腾讯计算机系统有限公司 增强现实显示的方法、姿态信息的确定方法及装置
US10783381B2 (en) 2017-08-31 2020-09-22 Tusimple, Inc. System and method for vehicle occlusion detection
CN107742275B (zh) * 2017-11-09 2021-02-19 联想(北京)有限公司 一种信息处理方法及电子设备
CN108257216A (zh) * 2017-12-12 2018-07-06 北京克科技有限公司 一种在虚拟现实环境构建实体模型的方法、装置及设备
CN109949218B (zh) * 2017-12-21 2023-04-18 富士通株式会社 图像处理装置和方法
CN108801274B (zh) * 2018-04-16 2021-08-13 电子科技大学 一种融合双目视觉和差分卫星定位的地标地图生成方法
CN108596102B (zh) * 2018-04-26 2022-04-05 北京航空航天大学青岛研究院 基于rgb-d的室内场景物体分割分类器构造方法
CN110660105B (zh) * 2018-06-29 2022-05-31 杭州海康威视数字技术股份有限公司 一种全景环视系统的标定参数优化方法及装置
CN109146943B (zh) * 2018-08-03 2019-12-03 百度在线网络技术（北京）有限公司 静止物体的检测方法、装置及电子设备
WO2020133080A1 (zh) * 2018-12-27 2020-07-02 深圳市优必选科技有限公司 物体定位方法、装置、计算机设备及存储介质
CN109889736B (zh) * 2019-01-10 2020-06-19 深圳市沃特沃德股份有限公司 基于双摄像头、多摄像头的图像获取方法、装置及设备
CN110163903B (zh) * 2019-05-27 2022-02-25 百度在线网络技术（北京）有限公司 三维图像的获取及图像定位方法、装置、设备和存储介质
CN110378966B (zh) * 2019-06-11 2023-01-06 北京百度网讯科技有限公司 车路协同相机外参标定方法、装置、设备及存储介质
CN110349213B (zh) * 2019-06-28 2023-12-12 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
CN110517305B (zh) * 2019-08-16 2022-11-04 兰州大学 一种基于图像序列的固定物体三维图像重构方法
TWI709062B (zh) * 2019-09-20 2020-11-01 財團法人資訊工業策進會 虛實疊合方法與系統
CN110660095B (zh) * 2019-09-27 2022-03-25 中国科学院自动化研究所 动态环境下的视觉slam初始化方法、系统、装置
CN112698315B (zh) * 2019-10-23 2024-04-09 浙江菜鸟供应链管理有限公司 移动设备定位系统、方法及设备
CN112837227B (zh) * 2019-11-22 2023-07-04 杭州海康威视数字技术股份有限公司 一种参数校正方法、装置、系统、电子设备及存储介质
CN111797268B (zh) * 2020-07-17 2023-12-26 中国海洋大学 Rgb-d图像检索方法
CN113140042B (zh) * 2021-04-19 2023-07-25 思看科技(杭州)股份有限公司 三维扫描拼接方法、装置、电子装置和计算机设备
CN113610711B (zh) * 2021-08-02 2023-05-23 南京信息工程大学 一种单图像引导的三维表面重建方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0952552A2 (en) * 1998-04-22 1999-10-27 Tektronix, Inc. Method for generating 2-D images from 3-D video data
CN101312539A (zh) * 2008-07-03 2008-11-26 浙江大学 用于三维电视的分级图像深度提取方法
CN101551907A (zh) * 2009-04-28 2009-10-07 浙江大学 一种多照相机自动化高精度标定方法
CN101630406A (zh) * 2008-07-14 2010-01-20 深圳华为通信技术有限公司 摄像机的标定方法及摄像机标定装置
CN102692236A (zh) * 2012-05-16 2012-09-26 浙江大学 基于rgb-d相机的视觉里程计方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7446798B2 (en) * 2003-02-05 2008-11-04 Siemens Corporate Research, Inc. Real-time obstacle detection with a calibrated camera and known ego-motion
US20070165942A1 (en) * 2006-01-18 2007-07-19 Eastman Kodak Company Method for rectifying stereoscopic display systems
KR101221449B1 (ko) * 2009-03-27 2013-01-11 한국전자통신연구원 카메라간 영상 보정 장치 및 방법
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
CN101877143B (zh) * 2009-12-09 2012-07-04 中国科学院自动化研究所 一种二维图像组的三维场景重建方法
CN101908231B (zh) * 2010-07-27 2012-05-30 清华大学 处理含有主平面场景的三维点云重建方法和系统
WO2012012943A1 (en) * 2010-07-28 2012-02-02 Shenzhen Institute Of Advanced Technology Chinese Academy Of Sciences Method for reconstruction of urban scenes
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
CN102074015A (zh) * 2011-02-24 2011-05-25 哈尔滨工业大学 一种基于二维图像序列的目标对象的三维重建方法
US20130095920A1 (en) * 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging
US9098908B2 (en) * 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
CN103456038A (zh) * 2013-08-19 2013-12-18 华中科技大学 一种井下环境三维场景重建方法
CN104933755B (zh) * 2014-03-18 2017-11-28 华为技术有限公司 一种静态物体重建方法和系统
US10574974B2 (en) * 2014-06-27 2020-02-25 A9.Com, Inc. 3-D model generation using multiple cameras
DE102016200225B4 (de) * 2016-01-12 2017-10-19 Siemens Healthcare Gmbh Perspektivisches Darstellen eines virtuellen Szenebestandteils

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0952552A2 (en) * 1998-04-22 1999-10-27 Tektronix, Inc. Method for generating 2-D images from 3-D video data
CN101312539A (zh) * 2008-07-03 2008-11-26 浙江大学 用于三维电视的分级图像深度提取方法
CN101630406A (zh) * 2008-07-14 2010-01-20 深圳华为通信技术有限公司 摄像机的标定方法及摄像机标定装置
CN101551907A (zh) * 2009-04-28 2009-10-07 浙江大学 一种多照相机自动化高精度标定方法
CN102692236A (zh) * 2012-05-16 2012-09-26 浙江大学 基于rgb-d相机的视觉里程计方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"A robust RGB-D SLAM algorithm";Gibson Hu et al.;《2012 IEEE/RSJ International Conference on Intelligent Robots and Systems》;20121012;1714-1719 *
"A State of the Art Report on Kinect Sensor Setups in Computer Vision";Kai Berger1 et al.;《Springer-Verlag Berlin Heidelberg 2013》;20131231;257-272 *
"RGB-D mapping: Using Kinect-style depth cameras for dense 3D modeling of indoor environments";Peter Henry et al.;《The International Journal of Robotics Research》;20120314;1-17 *
"一种月球车的环境重建方法";戴宪彪 等;《计算机测量与控制》;20111231;第19卷(第7期);1699-1702 *
"图像特征点匹配的强壮算法";周骥 等;《计算机辅助设计与图形学学报》;20020831;第14卷(第8期);754-758 *
"融合2D与3D图像的三维重建系统实现";贾保柱;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130615(第6期);全文 *

Also Published As

Publication number Publication date
US9830701B2 (en) 2017-11-28
US20160350904A1 (en) 2016-12-01
EP3093823A4 (en) 2017-02-01
EP3093823A1 (en) 2016-11-16
EP3093823B1 (en) 2017-12-20
CN104933755A (zh) 2015-09-23
WO2015139574A1 (zh) 2015-09-24

Similar Documents

Publication Publication Date Title
CN104933755B (zh) 一种静态物体重建方法和系统
CN111968129B (zh) 具有语义感知的即时定位与地图构建系统及方法
US10109055B2 (en) Multiple hypotheses segmentation-guided 3D object detection and pose estimation
CN111738261B (zh) 基于位姿估计和校正的单图像机器人无序目标抓取方法
CN106709947A (zh) 一种基于rgbd相机的三维人体快速建模系统
CN102999942A (zh) 三维人脸重建方法
CN105989604A (zh) 一种基于kinect的目标物体三维彩色点云生成方法
CN105069746A (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN107329962B (zh) 图像检索数据库生成方法、增强现实的方法及装置
CN107679537A (zh) 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
CN108171249B (zh) 一种基于rgbd数据的局部描述子学习方法
CN106155299B (zh) 一种对智能设备进行手势控制的方法及装置
CN108648194A (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN102982524B (zh) 玉米果穗有序图像的拼接方法
CN109034131A (zh) 一种半自动人脸关键点标注方法及存储介质
CN113012293A (zh) 石刻模型构建方法、装置、设备及存储介质
CN109087245A (zh) 基于相邻关系模型的无人机遥感图像拼接系统
CN106127743B (zh) 自动重建二维影像与三维模型准确相对位置的方法及系统
CN106127818A (zh) 一种基于单幅图像的材质外观获取系统及方法
CN107507263B (zh) 一种基于图像的纹理生成方法及系统
Gilani et al. Towards large-scale 3D face recognition
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN112396655A (zh) 一种基于点云数据的船舶目标6d位姿估计方法
CN106408654A (zh) 一种三维地图的创建方法及系统
CN116091762A (zh) 一种基于rgbd数据和视锥体的三维目标检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant