CN106327532A - 一种单幅图像的三维配准方法 - Google Patents

一种单幅图像的三维配准方法 Download PDF

Info

Publication number
CN106327532A
CN106327532A CN201610774320.1A CN201610774320A CN106327532A CN 106327532 A CN106327532 A CN 106327532A CN 201610774320 A CN201610774320 A CN 201610774320A CN 106327532 A CN106327532 A CN 106327532A
Authority
CN
China
Prior art keywords
point
volume elements
coordinate system
straight line
vanishing point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610774320.1A
Other languages
English (en)
Other versions
CN106327532B (zh
Inventor
董华宇
候文静
冯雪松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Terravision Technology Co Ltd
Original Assignee
Beijing Terravision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Terravision Technology Co Ltd filed Critical Beijing Terravision Technology Co Ltd
Priority to CN201610774320.1A priority Critical patent/CN106327532B/zh
Publication of CN106327532A publication Critical patent/CN106327532A/zh
Application granted granted Critical
Publication of CN106327532B publication Critical patent/CN106327532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种单幅图像的三维配准方法，包括相机标定、交互式建模和相机注册三个步骤，所述相机标定步骤中采用网格法提取粗精度消隐点，并结合采用PClines空间转换和对齐直线点检测算法对所述粗精度消隐点提纯得到候选消隐点，对所述候选消隐点进行优化更新得到典型消隐点，以所述典型消隐点为相机标定特征建立曼哈顿世界模型约束，对所述典型消隐点进行分析，得出相机的内外参数，包括焦距和旋转矩阵，所述相机注册步骤主要使用基于直线特征对齐的方法将三维模型配准并注册到统一的三维场景中。本发明能够克服基于几何投影信息的单幅图像三维配准技术的误差累积较多的缺点，得到更加准确的三维重建效果。

Description

一种单幅图像的三维配准方法
技术领域
本发明涉及一种单幅图像的三维配准方法，尤其涉及一种基于几何投影信息的以消隐点为特征进行相机标定的单幅图像三维配准方法。
背景技术
三维重建是通过运用二维图像中的基本信息来恢复三维空间信息，也就是需要研究二维图像中的点、线、面的二维坐标与三维空间中对应的点、线、面之间的匹配关系，从而对空间物体的大小和位置关系进行定量配准分析。由于具备过程简单、速度快、投入少、效率高等优点，用单幅图像进行三维重建配准越来越多地得到人们的重视。现有的单幅图像配准方法，主要可分为三大类别：
1、基于特征统计学习方法。这种方法建立在大型的目标数据库基础上,将数据库中的目标与重建目标进行特征比对，建立概率函数，通过概率大小进行目标深度的配准。目前已用的概率模型有马尔科夫模型、隐马尔科夫模型等。
2、基于形状恢复技术。此方法的核心在于抽取二维图像中的三维线索（例如立体光、阴影、轮廓、纹理、运动等），进行物体的三维形貌恢复、配准。目前大多数形状恢复技术的基础是朗伯体反射图方程，它对成像条件、光学特征都做了理想假设。
3、基于图像中的几何投影信息。其基本原理是利用图像中含有的大量几何属性的约束进行相机或平面标定，从而估计相机的内外参数，然后对图像建立数字化模型，最后完成三维模型的配准和重建。
基于特征统计学习方法的单幅图像三维配准虽然取得了较好的效果，但当图像与目标数据库不一致时，效果不够理想，甚至完全背离。配准效果对目标数据库的依赖性很强，而精准、全面的目标数据库获取难度很高，所以此种方法较其余两种方法成本和难度较高。
基于形状恢复技术的配准方法对光线和灰度要求较大，需要对图像的光度和灰度做预处理，并且图像分辨率高低和前景背景灰度差别都会影响配准的效果，而且此项技术若没有其它约束条件,对形如凸面和凹面等曲面物体不能实现唯一匹配与重建。
基于几何投影信息的单幅图像三维配准技术对含有几何结构的目标图像取得了较理想的效果，但是测量误差累积较多。因此，如何更准确地获取几何特征从而减少配准误差，是值得研究的问题。
发明内容
本发明的目的在于提供一种单幅图像的三维配准方法，能够克服基于几何投影信息的单幅图像三维配准技术的误差累积较多的缺点，得到更加准确的三维重建效果。
本发明的技术方案是：
一种单幅图像的三维配准方法，包括三个步骤：一、相机标定步骤：对单幅图像检测直线信息并提取消隐点，以所述消隐点作为特征计算出相机的内外参数即标定信息，包括焦距和旋转矩阵；二、交互式建模步骤：利用所述标定信息进行结构约束，以此完成交互式三维场景结构的建模；三、相机注册步骤：将分布在一个或多个局部世界坐标系中的三维场景结构注册到统一的三维场景中，得到最终的三维配准重建效果；其中，所述相机标定步骤中采用网格法提取粗精度消隐点，采用PClines空间转换和对齐直线点检测的算法对所述粗精度消隐点提纯得到候选消隐点，对所述候选消隐点进行优化更新得到典型消隐点，以所述典型消隐点为相机标定特征建立曼哈顿世界模型约束，对所述典型消隐点进行分析，得出相机的内外参数。
对于步骤一，所述相机标定可以包括五个部分，分别是：1、直线检测：检测所述单幅图像中局部的直轮廓；2、直线优化与去噪：对直线检测结果进行优化；3、候选消隐点获取：基于优化后的直线检测结果信息提取消隐点，包括采用网格法的粗精度消隐点提取和采用PClines空间转换和对齐直线点检测算法的粗精度消隐点提纯两个步骤；4、候选消隐点优化：对所获取的消隐点进行优化；5、场景约束分析及相机参数计算：通过对优化后的消隐点的分析计算相机的内外参数，其中所述直线检测优选采用LSD算法：
首先对所述单幅图像进行高斯滤波和降采样；
然后计算每个像素点的梯度、和梯度等高线角度，相关公式为：
， （1）
， （2）
， （3）
其中，表示灰度图像上像素点处的灰度值，对计算得到的经过区域生长算法得到直线支撑区域；
进行矩形估计，即找到每个所述直线支撑区域的最小外接矩形；
对所述矩形进行筛选、调整：定义矩形内像素点的相对于矩形主方向角度偏差在以内的点为对齐点，循环计算所述矩形的对齐点密度以及误报数，相关公式为：
， （4）
， （5）
其中，表示当前矩形，表示当前矩形的误报数，表示当前矩形的对齐点密度；为图像高度，为图像宽度，为矩形内像素总数，为矩形内对齐点总数，表示像素点是对齐点的概率且初始值定为，为尝试不同值的个数，
判断所计算出的对齐点密度是否大于设定的对齐点密度阈值且误报数是否小于设定的误报数阈值，若不满足，则对相应的直线支撑区域进行截断处理或参数调整并重新确定矩形，再对新的矩形依据公式（4）、（5）重新计算并判断，直至找到对齐点密度大于设定的对齐点密度阈值且误报数小于设定的误报数阈值的矩形；
每个矩形对应一条直线段，直线段的方向即为矩形主方向，直线段的长度等于矩形的长边的长度，所得到的直线段即为直线检测的结果。
所述直线优化与去噪的结果是得到优化后的直线集，优选包括续接断开的直线段，是对直线段进行两两判断，将符合条件的两条直线段进行续接，续接后的直线段再与其他直线段继续续接，直至完成所有可能的续接，其步骤包括判断所选取两条直线段是否符合续接条件以及对于符合续接条件的直线段进行续接，其中，判断所选取两条直线段是否符合续接条件的方法是：从直线段的两端点和向直线段做垂线得到垂点；从直线段的两端点和向直线段做垂线得到垂点，
定义直线段、的距离为：
， （6）
其中，表示直线段的长度，
当直线段、的夹角小于给定阈值，且直线段、的距离小于，则认定直线段、符合续接条件；
所述对于符合续接条件的直线段进行续接的方法是：选取两条直线段中误报数较小的作为标准调整另一条直线段的斜率，具体为，假设，则延长直线段交直线段或其延长线于点，将直线段绕点以最小角度旋转到直线段的延长线上，再连接旋转后的两条直线段相近的端点得到新直线段，删除原直线段、。
所述直线优化与去噪还可以包括剔除过短直线段，其方法可以是：设定直线段长度阈值，如果直线段长度小于所述直线段长度阈值，则剔除此直线段。
所述网格法具体为：对消隐点提取所基于的直线集进行遍历，当两条直线均未被已有消隐点对应时，取交点并将此交点的图像坐标转换到以图像平面的主点为原点、两轴方向不变的坐标系中，得到新的横、纵坐标、，将转换后的坐标按公式（7）和公式（8）进行极坐标有限映射，其中表示图像的高度，
， （7）
， （8）
将映射后的坐标值对应到以、为坐标轴的网格中，将对应网格的交点数加1，本次遍历完成后，得到网格图像矩阵，对网格图像矩阵进行均值滤波，输出滤波后网格图像矩阵中的最大值所对应的网格坐标，即为此次遍历下获得的粗精度消隐点，依此方法进行N次遍历，N为自然数且2≤N≤5，获得N个粗精度消隐点，前一次遍历所得到的粗精度消隐点所对应的直线集不用在下一次遍历的直线集中；
所述PClines空间转换和对齐直线点检测的过程具体为：针对一个粗精度消隐点，首先将其对应的直线子集转换到PClines空间，PClines空间包含直空间和弯空间，直空间的纵轴和纵轴分别对应于图像空间的横轴和纵轴，弯空间的纵轴和纵轴分别对应于图像空间的横轴和纵轴，以此将消隐点检测转化成在对偶空间中提取直线模型的问题，完成对偶空间转换后，使用对齐直线点检测算法分别对两个对偶空间中的点集提取直线模型，将所得的直线模型反转换到图像空间即得到候选消隐点集和对应的值。
所述候选消隐点优化可以包括两个方面的优化，第一：针对候选消隐点对应的直线子集，通过计算消隐点到每条直线的距离权重和来更新消隐点，其中直线的权重由其长度的平方决定，给定条齐次直线向量，计算矩阵，
， （9）
其中，是归一化的直线权重，其中最长直线的设为1，通过公式（10），用奇异值分解（Singular Value Decomposition简称SVD）的方法更新消隐点，其中，为矩阵，而为向量，
， （10）
计算过程中，若出现新消隐点与原消隐点差别超过给定阈值的情况，则本次更新无效；
第二：使用单链接聚类算法剔除同类消隐点，将每个消隐点设置为单独的类并计算类之间的距离，采用的距离计算公式为：
， （11）
如果计算出的距离小于给定阈值，则认为这两个消隐点为同类消隐点，保留其中值较小的消隐点；
通过所述候选消隐点优化得到集成有对应直线所包含的几何信息的典型消隐点。
所述场景约束分析及相机参数计算是针对曼哈顿世界模型约束进行的，优选包括如下步骤：
步骤1，取直线对应数最多的两个消隐点和，记它们的图像坐标分别为和，、在相机坐标系下的坐标分别为、，由曼哈顿世界模型约束可得到焦距：
； （12）
步骤2：计算与这两个消隐点均正交的第三个消隐点的相机坐标并转换回图像平面；
步骤3：按所述候选消隐点优化的方法优化第三个消隐点；
步骤4：取上述三个消隐点中纵坐标绝对值最大且与图像纵轴夹角最小者作为空间中垂直方向上的消隐点；
步骤5：根据场景先验信息，计算出所述旋转矩阵。
对于步骤二，所述交互式建模可以包括1、建立初始模型：由二维图元生成相对应的三维体元；2、初始模型后处理：计算并绘制三维可视表面两部分；
所述建立初始模型所基于的基础定义是：三维空间中的几何结构为体元，其在二维图像平面上的投影为图元，场景图，其中表示用户输入的图元及相应的体元，表示体元之间的空间位置关系；
所述建立初始模型所应遵循的坐标系约束及坐标依赖原则为：1）生成的体元必须满足世界坐标系约束，所有图元及体元的坐标信息均转换到相机坐标系下表示；2）按照参考性，体元分为被参考体元和参考体元两类，同一体元同时只能归结为一类；3）新的体元被创建时，如果能确定其被参考体元，则认为该体元为参考体元，同时以被参考体元所在的局部世界坐标系来定位该体元，否则认为该体元为被参考体元，其坐标位置使用某个初始位置来进行初始化；4）每个被参考体元都对应一个局部的世界坐标系，当有体元以该被参考体元为参考时，其坐标使用该局部世界坐标系中的坐标进行表示；5）由于参考关系而更新某个体元的坐标信息时，需要更新与之相关的体元坐标，更新原则如下：若待更新的体元为被参考体元，则同时更新所有参考体元的体元坐标，否则更新其被参考体元的坐标信息，从被参考体元出发更新所有参考该被参考体元的体元坐标；
所述建立初始模型可以包括针对点、直线、长方体和多面体体元的生成，其算法具体为：
1）点图元的体元生成算法：根据点在空间所在的位置分为四类，即已知点、孤立点、直线上点和面上点，对于已知点，直接返回已知点在场景图中的编号；对于孤立点，选择该点视线方向上的任意点作为该点对应的体元；对于直线上点，根据直线的体元与图元之间的几何比例关系计算得到；对于面上点，根据多边形的体元与图元之间的几何比例关系计算得到；
2）直线图元的体元生成算法：通过构建两个点图元对应的体元，在此基础上根据两个点体元之间的空间位置关系完成直线体元的生成；
当直线与某一消隐点方向一致时，可以分四种情况对场景图进行更新：
i）若直线首尾端点对应体元均为被参考体元，则以首端点对应体元为参考更新尾端点对应体元坐标，同时更新所有以尾端点对应体元为参考的其他体元坐标；
ii）若直线首端点对应体元为参考体元，尾端点对应体元为被参考体元，则将尾端点对应体元所在的局部世界坐标系转换到首端点对应体元所在的局部世界坐标系中，反之也成立；
iii）若直线首尾端点对应体元均为参考体元，且二者不在同一局部世界坐标系中，则将尾端点对应体元所在的局部世界坐标系转换到首端点对应体元所在的局部世界坐标系中；
iv）若直线首尾端点对应体元均为参考体元，且二者均在同一局部世界坐标系中，则用首端点对应体元重新定位尾端点对应体元，使两者在空间中与相应轴向一致；
当直线与任意消隐点方向均不一致时，可以分三种情况进行更新：
i）若直线首尾端点对应体元均为参考体元，且二者均在同一局部世界坐标系中，则将首尾端点对应体元组合成一个直线体元，置于当前局部世界坐标系中；
ii）若直线首端点对应体元为参考体元，其直接参考体元为面体元，且尾端点对应体元为被参考体元，则更新尾端点对应体元，使其也处于首端点对应体元所在的平面上，并更新所有以尾端点对应体元为参考的其他体元；
iii）其他情况，由于无法通过任何方法得知两个端点体元的空间位置关系，故可认为此种情况的交互式操作无效；
3）长方体和多面体体元生成算法：
首先定义空间中两邻边分别平行于一条世界坐标系坐标轴的矩形为参考矩形，参考矩形投影到图像平面上形成的两组对边分别经过一个消隐点方向，规定交互式拾取的参考矩形和多边形均位于场景地面上；
构建长方体体元时，首先指定参考矩形两个对角顶点在图像上的位置，然后根据消隐点特性计算参考矩形剩余的两个顶点的图像坐标，再通过直线体元生成方法依次生成四条直线体元，组合形成矩形体元，最后，将矩形体元按照垂直消隐点方向进行拔高处理即得到长方体体元；
构建多面体体元时，先在图像上交互拾取一个多边形体元，在此基础上将多边形体元按照垂直消隐点方向进行拔高处理即生成相应的多面体体元，多边形体元的各边不一定平行于世界坐标系的坐标轴，但多边形各顶点满足共面的约束关系。
所述初始模型后处理可以包括体元三角化和纹理生成，所述体元三角化为：采用三角面片的划分方法，首先构建空的三角面片体元集合，遍历中的体元，将三角化后得到的面片体元放入中，对中投影面积大于给定阈值的三角面片重新划分并更新；所述纹理生成为：用公式（13）对集合中所有面片体元的所有顶点计算得到相应的纹理坐标，
， （13）
其中，、分别表示图像坐标系和相机坐标系下的点，表示相机的焦距。
对于步骤三，所述相机注册是将分布在一个或多个局部世界坐标系中的所述初始模型注册到统一的三维场景中，主要包括调整相机旋转矩阵、相机坐标系转换到局部世界坐标系、局部世界坐标系转换到三维场景模型坐标系和计算视锥体参数四个部分，分别为：
调整相机旋转矩阵：设相机中心到垂直消隐点的向量在图像平面的投影为，令相机中心到拾取直线对应消隐点的向量在图像平面的投影为，另一向量为，按照拍摄场景时相机的俯仰将消隐点分布分为四种情况，根据局部世界坐标系和相机坐标系的对应关系分别对所述旋转矩阵进行调整：
a、垂直消隐点位于图像平面的主点的下方，拾取直线对应的水平消隐点位于图像主点的右方，此时，，，据此计算得到调整后的旋转矩阵，，
b、垂直消隐点位于图像平面的主点的下方，拾取直线对应的水平消隐点位于图像主点的左方，此时，，，据此计算得到调整后的旋转矩阵，，
c、垂直消隐点位于图像平面的主点的上方，拾取直线对应的水平消隐点位于图像主点的右方，此时，，，据此可计算得到调整后的旋转矩阵，，
d、垂直消隐点位于图像平面的主点的上方，拾取直线对应的水平消隐点位于图像主点的左方，此时，，，据此计算得到调整后的旋转矩阵，，
其中，、、分别为向量在局部世界坐标系下的坐标表示，、、分别为向量在相机坐标系下的坐标表示；
相机坐标系转换到局部世界坐标系：
用户在图像上拾取过消隐点的直线，它是空间直线在图像平面上的投影，为相机中心，为图像主点，这里约定，图像坐标系以图像平面左上顶点为原点，水平向右为横轴，竖直向下为纵轴，主点为图像平面的中心；相机坐标系以图像平面水平向右为横轴，竖直向下为纵轴，视线方向为竖轴，记的相机坐标、、分别为、、，假设两点的相机坐标为、，
根据相机标定和调整旋转矩阵的结果和构造局部世界坐标系到相机坐标系的转换矩阵，相机坐标系到局部世界坐标系的转换矩阵为，通过这个转换矩阵能够获得相机坐标系上任意一点在局部世界坐标系下的参考坐标，设直线端点、在局部世界坐标系中的坐标为、，则：
； （14）
局部世界坐标系转换到三维场景模型坐标系：计算局部世界坐标系和三维场景模型坐标系的两条对应直线的夹角并构造旋转矩阵，计算局部世界坐标系与三维场景模型坐标系的变换尺度因子并构造缩放矩阵，得到局部世界坐标系到三维场景模型坐标系的转换矩阵，得到从相机坐标系到三维场景模型坐标系的完整变换矩阵为：
； （15）
计算视锥体参数：相机中心在模型坐标系中的坐标为：
， （16）
其中，是点在三维场景模型坐标系下坐标，
相机的up向量为：
， （17）
相机的forward向量为：
， （18）
相机的center向量为：
， （19）
根据公式（16）-（19），能够将相机坐标系下的坐标转换到统一的三维场景模型坐标系下，三维配准过程完成。
本发明的有益效果为：
本发明针对几何投影信息技术误差累积较多的缺点，提供一种使用消隐点为特征的单幅图像三维配准方法，可更加精确地获取消隐点，从而较大程度规避相机标定中产生的误差，并通过交互式建模与直线特征对齐的方式，实现单幅二维图像与三维模型间的对应配准，从而得到更加准确的三维重建效果。
由于进行了直线优化与去噪，使得到的优化后直线的平行线特征比例更加集中，且噪声等无效信息得到有效去除，在配准的基础操作阶段就显著降低了误差，为后续的消隐点提取提供了更优质的信息基础，有助于后续获得稳定性更好、精度更高的消隐点，对降低整个配准过程的误差累积有很大的意义。
由于采用网格法提取消隐点后，再利用PClines空间转换和对齐直线点检测的算法对所提取的消隐点进一步提纯，最终获得了精度更为稳定的高质量消隐点，进而提高了配准的准确性。
由于进行了候选消隐点优化，得到集成有对应直线所包含的几何信息的典型消隐点，以此作为三维配准的特征依据，极大地减少了配准误差。
附图说明
图1是本发明的整体流程框图；
图2是断开直线的校正和续接原理示意图；
图3是网格法提取粗精度消隐点流程图；
图4是PClines空间转换和对齐直线点检测典型消隐点流程图；
图5是相机坐标系转换到局部世界坐标系拾取直线示意图。
具体实施方式
本发明提供了一种单幅图像的三维配准方法，如图1所示，包括三个步骤：一、相机标定：对单幅图像检测直线信息并提取消隐点，以所述消隐点作为特征计算出相机的内、外参数即标定信息，包括内参数焦距和外参数旋转矩阵；二、交互式建模：利用所述标定信息对交互方式下用户输入的三维空间几何结构进行结构约束，以此完成交互式三维场景结构的建模；三、相机注册：将分布在一个或多个局部世界坐标系中的三维场景结构注册到统一的三维场景中，得到最终的三维配准重建效果。
其中，所述相机标定步骤是借助于图像中消隐点信息，确定相机的内、外参数，得到有效的成像模型，以达到在图像平面上像素点与三维场景模型坐标系中的点之间建立映射的目的，优选采用网格法提取粗精度消隐点，采用PClines空间转换（the PClines dualspaces）和对齐直线点检测（the point alignment detection）的算法对所述粗精度消隐点提纯得到候选消隐点，对所述候选消隐点进行优化更新得到典型消隐点，以所述典型消隐点为相机标定特征建立曼哈顿世界模型约束，对所述典型消隐点进行分析，得出相机的内外参数。
本发明通过采用网格法提取消隐点后，再利用PClines空间转换和对齐直线点检测算法对所提取的消隐点进一步提纯，获得了精度更为稳定的高质量消隐点，进而提高了配准的准确性。不仅如此，还继续进行了候选消隐点优化，得到集成有对应直线所包含的几何信息的典型消隐点，并以此作为三维配准的特征依据，较大程度上规避了相机标定中产生的误差，极大地减少了配准过程中的误差累积，从而为得到更加准确的三维重建效果提供了先决条件。
对于步骤一，所述相机标定可以包括五个部分，分别是：1、直线检测：检测所述单幅图像中局部的直轮廓；2、直线优化与去噪：对直线检测结果进行优化；3、候选消隐点获取：基于优化后的直线检测结果信息提取消隐点，包括采用网格法的粗精度消隐点提取和采用PClines空间转换和对齐直线点检测算法的粗精度消隐点提纯两个步骤；4、候选消隐点优化：对所获取的消隐点进行优化；5、场景约束分析及相机参数计算：通过对优化后的消隐点的分析计算相机的内外参数。
1、直线检测：
直线检测优选采用LSD算法，该算法能够快速检测图像中的直线段，其核心是像素合并与误差控制，主要用于几何形状明显的目标的检测，具体过程如下：
首先对所述单幅图像进行高斯滤波和降采样，缩小单幅图像的大小，减弱或者消除单幅图像中的锯齿效应。
然后计算每个像素点的梯度、和梯度等高线角度，相关公式为：
， （1）
， （2）
， （3）
其中，表示灰度图像上像素点处的灰度值，对计算得到的经过区域生长算法得到直线支撑区域。
进行矩形估计，即找到每个所述直线支撑区域的最小外接矩形。
对所述矩形进行筛选、调整：定义矩形内像素点的相对于矩形主方向（即矩形长轴方向）角度偏差在以内的点为对齐点，循环计算这些矩形的对齐点密度以及误报数并进行阈值判断，相关公式为：
， （4）
， （5）
其中，表示当前矩形，表示当前矩形的误报数，表示当前矩形的对齐点密度；为图像高度，为图像宽度，为矩形内像素总数，为矩形内对齐点总数，表示像素点是对齐点的概率且初始值定为，为尝试不同值的个数。
判断所计算出的对齐点密度是否大于设定的对齐点密度阈值且误报数是否小于设定的误报数阈值，即是否满足（通常阈值设为1），若不满足，则对相应的直线支撑区域进行截断处理或参数调整并重新确定矩形，这里所说的参数调整是对矩形的调整，然后再对新的矩形依据公式（4）、（5）重新计算并判断，直至找到对齐点密度大于设定的对齐点密度阈值且误报数小于设定的误报数阈值的矩形。
每个矩形对应一条直线段，直线段的方向即为矩形主方向，直线段的长度等于矩形的长边的长度，所得到的直线段即为直线检测的结果。
采用此种策略进行直线检测，不仅能检测出图像上的直线段，而且能够给出直线段的客观性评价指标，为后续的消隐点检测提供了额外的有价值信息。
2、直线优化与去噪：
这个步骤主要通过续接断开直线段及剔除过短直线段两部分对前面检测到的直线进行优化和去噪，其结果是得到优化后的直线集。
如图2所示，假设在前面检测到的直线集中有断开的直线段和，续接断开的直线段和的方法是：选取两条直线段中误报数（该误报数是此前直线检测时计算得到的误报数）较小的作为标准调整另一条直线段的斜率，具体为，假设，则延长直线段交直线段或其延长线于点，将直线段绕点以最小角度旋转到直线段的延长线上，再连接旋转后的两条直线段相近的端点得到新直线段，删除原直线段、。续接后的直线段再与其他直线段继续续接，直至完成所有可能的续接。
续接是对符合续接条件的直线段进行的续接，此前先要判断所选取两条直线段是否符合续接条件，判断方法是：从直线段的两端点和向直线段做垂线得到垂点；从直线段的两端点和向直线段做垂线得到垂点，图中和分别为直线和的中点，定义直线段、的距离为：
， （6）
其中，表示直线段的长度，当直线段、的夹角小于给定阈值，且直线段、的距离小于，则认定直线段、符合续接条件，需要进行接续。
剔除过短直线段的方法是：设定直线段长度阈值，如果有直线段其长度小于所述直线段长度阈值，则认为此直线段为噪声形成的干扰线，将其从直线集中剔除。
经过优化后的直线，平行线特征比例更加集中，且噪声等无效信息对消隐点提取算法稳定性及精度的影响得到有效降低，对降低整个配准过程的误差累积有很大的意义。
3、候选消隐点获取：
本发明的候选消隐点提取算法是网格统计法（简称网格法），具体为：如图3所示，对消隐点提取所基于的直线集进行遍历，这里是对所述优化后的直线集进行遍历，可以有效减少累计误差。当两条直线均未被已有消隐点对应时，取交点并将此交点的图像坐标转换到以图像平面的主点（相关定义见后文的各种坐标系的约定）为原点、两轴方向不变的坐标系中，得到新的横、纵坐标、，将转换后的坐标按公式（7）和公式（8）进行极坐标有限映射，其中表示图像的高度，
， （7）
， （8）
将映射后的坐标值对应到以、为坐标轴的网格中，将对应网格的交点数加1，然后对下一对直线取交点，重复上述过程。凡是没有被已有消隐点对应的直线，都要两两直线取交点，这样可以防止真正消隐点被遗漏。本次遍历完成后，得到网格图像矩阵，对网格图像矩阵进行均值滤波，输出滤波后网格图像矩阵中的最大值所对应的网格坐标，即为此次遍历下获得的粗精度消隐点。依此方法进行N次遍历，N为自然数且2≤N≤5，获得N个粗精度消隐点。本实施例中进行5次遍历，获得5个粗精度消隐点。前一次遍历所得到的粗精度消隐点所对应的直线集不用在下一次遍历的直线集中。
为了进一步获得精度稳定和高质量消隐点，进而提高配准的准确性，本发明优选对以上粗精度消隐点进一步提纯，如图4所示，采用所述PClines空间转换和对齐直线点检测的算法，具体过程为：针对一个粗精度消隐点，首先将其对应的直线子集转换到PClines空间，PClines空间包含直空间和弯空间，直空间的纵轴和纵轴分别对应于图像空间的横轴和纵轴，弯空间的纵轴和纵轴分别对应于图像空间的横轴和纵轴。通常取，相应地，直空间有效区间为，弯空间有效区间为，落在范围之外的点将被舍弃，以此将消隐点检测转化成在对偶空间中提取直线模型的问题。完成对偶空间转换后，使用对齐直线点检测算法分别对两个对偶空间中的点集提取直线模型，将所得的直线模型反转换到图像空间即得到候选消隐点集和对应的值。
4、候选消隐点优化：
本发明优选从两个方面进行优化，第一：针对候选消隐点对应的直线子集，通过计算消隐点到每条直线的距离权重和来更新消隐点，其中直线的权重由其长度的平方决定，给定条齐次直线向量，计算矩阵，
， （9）
其中，是归一化的直线权重，其中最长直线的设为1。通过公式（10），用奇异值分解（Singular Value Decomposition简称SVD）的方法更新消隐点，其中，为矩阵，而为向量，
， （10）
计算过程中，若出现新消隐点与原消隐点差别超过给定阈值的情况，则本次更新无效。
第二：使用单链接聚类算法剔除同类消隐点，将每个消隐点设置为单独的类并计算类之间的距离，采用的距离计算公式为：
， （11）
如果计算出的距离小于给定阈值，则认为这两个消隐点为同类消隐点，保留其中值较小的消隐点。
通过所述候选消隐点优化得到集成有对应直线所包含的几何信息（包括优化过程中用到消隐点对应直线与消隐点本身的一致性误差）的典型消隐点。以此作为三维配准的特征依据，可极大减少配准误差。
5、场景约束分析及相机参数计算：
本发明以曼哈顿世界模型约束对消隐点进行分析，优选包括如下步骤：
步骤1，取直线对应数最多的两个消隐点和，记它们的图像坐标分别为和，、在相机坐标系下的坐标分别为、，由曼哈顿世界模型约束可得到焦距：
； （12）
步骤2：计算与这两个消隐点均正交的第三个消隐点的相机坐标并转换回图像平面；
步骤3：按所述候选消隐点优化的方法优化第三个消隐点；
步骤4：取上述三个消隐点中纵坐标绝对值最大且与图像纵轴夹角最小者作为空间中垂直方向上的消隐点；
步骤5：根据场景先验信息（包括垂直消隐点和水平消隐点相对于主点的位置关系），计算出所述旋转矩阵，即得到了相机在世界坐标中的朝向信息。
至此，相机标定过程结束。
对于步骤二，所述交互式建模可以包括1、建立初始模型：由二维图元生成相对应的三维体元；2、初始模型后处理：计算并绘制三维可视表面，恢复整个场景结构。
1、建立初始模型：
建立初始模型所基于的基础定义是：三维空间中的几何结构为体元，其在二维图像平面上的投影为图元，场景图，其中表示用户输入的图元及相应的体元，表示体元之间的空间位置关系。由此可将交互式三维场景结构的建模转换为二维图像平面上图元的分隔及由图元生成相对应体元的过程。
所述建立初始模型所应遵循的坐标系约束及坐标依赖原则为：1）生成的体元必须满足世界坐标系约束，所有图元及体元的坐标信息均转换到相机坐标系下表示；2）按照参考性，体元分为被参考体元和参考体元两类，同一体元同时只能归结为一类；3）新的体元被创建时，如果能确定其被参考体元，则认为该体元为参考体元，同时以被参考体元所在的局部世界坐标系来定位该体元，否则认为该体元为被参考体元，其坐标位置使用某个初始位置来进行初始化；4）每个被参考体元都对应一个局部的世界坐标系，当有体元以该被参考体元为参考时，其坐标使用该局部世界坐标系中的坐标进行表示；5）由于参考关系而更新某个体元的坐标信息时，需要更新与之相关的体元坐标，更新原则如下：若待更新的体元为被参考体元，则同时更新所有参考体元的体元坐标，否则更新其被参考体元的坐标信息，从被参考体元出发更新所有参考该被参考体元的体元坐标。
所述坐标系约束及坐标依赖原则是根据虚拟三维场景结构和真实世界场景结构的一致性原则提出的交互式建模操作应该遵循的原则。
三维模型主要是由点、直线、面三种元素组合而成，因此本发明确定所述建立初始模型包括针对点、直线、长方体和多面体体元的生成，其算法具体如下。
1）点图元的体元生成算法：根据点在空间所在的位置分为四类，即已知点、孤立点、直线上点和面上点，对于已知点，直接返回已知点在场景图中的编号；对于孤立点，选择该点视线方向上的任意点作为该点对应的体元；对于直线上点，根据直线的体元与图元之间的几何比例关系计算得到；对于面上点，根据多边形的体元与图元（多边形体元是空间物体某个连续表面，多边形图元是这个表面体元投影到图像平面后的多边形轮廓）之间的几何比例关系计算得到。
2）直线图元的体元生成算法：通过构建两个点图元对应的体元，在此基础上根据两个点体元之间的空间位置关系完成直线体元的生成。
当直线与某一消隐点方向一致时，可以分四种情况对场景图进行更新：
i）若直线首尾端点对应体元均为被参考体元，则以首端点对应体元为参考更新尾端点对应体元坐标，同时更新所有以尾端点对应体元为参考的其他体元坐标；
ii）若直线首端点对应体元为参考体元，尾端点对应体元为被参考体元，则将尾端点对应体元所在的局部世界坐标系转换到首端点对应体元所在的局部世界坐标系中，反之也成立；
iii）若直线首尾端点对应体元均为参考体元，且二者不在同一局部世界坐标系中，则将尾端点对应体元所在的局部世界坐标系转换到首端点对应体元所在的局部世界坐标系中；
iv）若直线首尾端点对应体元均为参考体元，且二者均在同一局部世界坐标系中，则用首端点对应体元重新定位尾端点对应体元，使两者在空间中与相应轴向一致。
当直线与任意消隐点方向均不一致时，可以分三种情况进行更新：
i）若直线首尾端点对应体元均为参考体元，且二者均在同一局部世界坐标系中，则将首尾端点对应体元组合成一个直线体元，置于当前局部世界坐标系中；
ii）若直线首端点对应体元为参考体元，其直接参考体元为面体元，且尾端点对应体元为被参考体元，则更新尾端点对应体元，使其也处于首端点对应体元所在的平面上，并更新所有以尾端点对应体元为参考的其他体元；
iii）其他情况，由于无法通过任何方法得知两个端点体元的空间位置关系，故认为此种情况的交互式操作无效。
3）长方体和多面体体元生成算法：
首先定义空间中两邻边分别平行于一条世界坐标系坐标轴的矩形为参考矩形，参考矩形投影到图像平面上形成的两组对边分别经过一个消隐点方向，规定交互式拾取的（即用户输入）参考矩形和多边形均位于场景地面上。
构建长方体体元时，首先指定参考矩形两个对角顶点在图像上的位置，然后根据消隐点特性计算参考矩形剩余的两个顶点的图像坐标，再通过直线体元生成方法依次生成四条直线体元，组合形成矩形体元，最后，将矩形体元按照垂直消隐点方向进行拔高处理即得到长方体体元。
构建多面体体元时，先在图像上交互拾取一个多边形体元，在此基础上将多边形体元按照垂直消隐点方向进行拔高处理即生成相应的多面体体元，多边形体元的各边不一定平行于世界坐标系的坐标轴，但多边形各顶点满足共面的约束关系。
2、初始模型后处理：
初始模型后处理可以包括体元三角化和纹理生成，用于恢复整个场景的结构和完整的可视表面。
所述体元三角化为：采用三角面片的划分方法，首先构建空的三角面片体元集合，遍历中的体元，将三角化后得到的面片体元放入中，对中投影面积大于给定阈值的三角面片重新划分并更新。
通过以上步骤后，可以有效剔除场景图中无用的点体元及线体元，同时限定最终保留的三角面片的投影面积小于给定阈值可以保证纹理贴图过程中每个三角面片都能够对应足够的图像像素，从而获得较好的三维建模视觉效果。
所述纹理生成为：用公式（13）对集合中所有面片体元的所有顶点计算得到相应的纹理坐标，
， （13）
其中，、分别表示图像坐标系和相机坐标系下的点，表示相机的焦距。根据所述纹理坐标可以进一步绘制三维可视表面，得到三维场景结构模型，是三维配准需要的基础数据之一。至此，通过建模得到了易与单幅图像数据相融合的三维场景结构，使用此结构进行三维配准，易于实现，准确度高。
对于步骤三，所述相机注册是将分布在一个或多个局部世界坐标系中的所述初始模型（场景结构模型）注册到统一的三维场景中，统一的过程需要根据相机标定及建模结果。
相机注册的目的主要有两个：其一是将建构好的三维体元安放在三维场景模型的相应位置上；其二确定所拍摄视频的相机在三维场景模型中的位姿信息。本发明使用基于直线特征对齐的方法将三维模型配准并注册到统一的三维场景中，注册效率高且能够人为加入场景几何约束，避免了基于特征匹配注册方法误匹配，并提高效率。主要内容包括：1、调整相机旋转矩阵；2、相机坐标系转换到局部世界坐标系；3、局部世界坐标系转换到三维场景模型坐标系；4、计算视锥体参数四个部分。
1、调整相机外参数旋转矩阵：
首先对外参数旋转矩阵进行调整，根据消隐点和用户的交互式操作，集成世界坐标系到相机坐标系之间的轴对应关系，从而得到全面的转换参数。
设相机中心到垂直消隐点的向量在图像平面的投影为，令相机中心到拾取直线对应消隐点的向量在图像平面的投影为，另一向量为，按照拍摄场景时相机的俯仰将消隐点分布分为四种情况，根据局部世界坐标系和相机坐标系的对应关系分别对所述旋转矩阵进行调整。
a、垂直消隐点位于图像主点的下方，拾取直线对应的水平消隐点位于图像主点的右方，此时，，，据此计算得到调整后的旋转矩阵，；
b、垂直消隐点位于图像主点的下方，拾取直线对应的水平消隐点位于图像主点的左方，此时，，，据此计算得到调整后的旋转矩阵，；
c、垂直消隐点位于图像主点的上方，拾取直线对应的水平消隐点位于图像主点的右方，此时，，，据此可计算得到调整后的旋转矩阵，；
d、垂直消隐点位于图像主点的上方，拾取直线对应的水平消隐点位于图像主点的左方，此时，，，据此计算得到调整后的旋转矩阵，；
其中，、、分别为向量在局部世界坐标系下的坐标表示，、、分别为向量在相机坐标系下的坐标表示。
2、相机坐标系转换到局部世界坐标系：
由于用户在图像上拾取的直线是二维图像坐标形式，故需要先将直线从图像坐标系经相机坐标系转换到局部世界坐标系中。
如图5所示，用户在图像上拾取过消隐点的直线，它是空间直线在图像平面上的投影，为相机中心，为图像主点，这里约定，图像坐标系以图像平面左上顶点为原点，水平向右为横轴，竖直向下为纵轴，主点为图像平面的中心。相机坐标系以图像平面水平向右为横轴，竖直向下为纵轴，视线方向为竖轴。记的相机坐标、、分别为、、，假设两点的相机坐标为、。
根据相机标定和调整旋转矩阵的结果和构造局部世界坐标系到相机坐标系的转换矩阵。
综上所述，相机坐标系到局部世界坐标系的转换矩阵为。通过这个转换矩阵能够获得相机坐标系上任意一点在局部世界坐标系下的参考坐标，设直线端点、在局部世界坐标系中的坐标为、，则：
， （14）。
3、局部世界坐标系转换到三维场景模型坐标系：
首先计算局部世界坐标系和三维场景模型坐标系的两条对应直线的夹角并构造旋转矩阵，接着计算局部世界坐标系与三维场景模型坐标系的变换尺度因子并构造缩放矩阵，由此得到局部世界坐标系到三维场景模型坐标系的转换矩阵。
综上所述，得到从相机坐标系到三维场景模型坐标系的完整变换矩阵为：
； （15）
4、计算视锥体参数：
相机中心在模型坐标系中的坐标为：
， （16）
其中，是点在三维场景模型坐标系下坐标，
相机的up向量为：
， （17）
相机的forward向量为：
， （18）
相机的center向量为：
， （19）
根据公式（16）-（19），能够将相机坐标系下的坐标转换到统一的三维场景模型坐标系下。用户交互式操作选择图元，这些图元经过体元生成算法得到对应相机坐标，再通过以上注册算法就可以实现将场景结构注册显示在三维场景模型中，至此整个基于单幅图像的三维配准过程完成。
以下是本文所提及的各种坐标系的约定：
1）世界坐标系：定义在三维世界的绝对坐标系，用于描述场景的结构和相机的位置、运动等。
2）局部世界坐标系：定义在三维世界的相对坐标系，以物体某一参考点为坐标原点，通过旋转和平移可以转换为世界坐标系。
2）相机坐标系：定义以相机的光心为坐标原点，光轴为z轴的直角坐标系，可以用（i，j，k）表示，k=f的平面即为图像平面，即图像平面与相机坐标系的i－j平面平行。
4）图像坐标系：定义在图像平面上的二维坐标系，以图像平面左上顶点为原点，水平向右为横轴，竖直向下为纵轴，用于描述图像中像素的位置，横轴和纵轴分别平行于相机坐标系的横轴和纵轴，光轴与图像平面的交点为图像平面的主点。
5）三维场景模型坐标系：定义在模型中的绝对坐标系，坐标原点和坐标轴方向能够自定义，一般情况下XOY平面和地面平行，满足右手坐标系。

Claims (10)

1.一种单幅图像的三维配准方法，其特征在于包括三个步骤：相机标定步骤：对单幅图像检测直线信息并提取消隐点，以所述消隐点作为特征计算出相机的内外参数即标定信息，包括焦距和旋转矩阵；交互式建模步骤：利用所述标定信息进行结构约束，以此完成交互式三维场景结构的建模；相机注册步骤：将分布在一个或多个局部世界坐标系中的三维场景结构注册到统一的三维场景中，得到最终的三维配准重建效果；其中，所述相机标定步骤中采用网格法提取粗精度消隐点，采用PClines空间转换和对齐直线点检测的算法对所述粗精度消隐点提纯得到候选消隐点，对所述候选消隐点进行优化更新得到典型消隐点，以所述典型消隐点为相机标定特征建立曼哈顿世界模型约束，对所述典型消隐点进行分析，得出相机的内外参数。
2.如权利要求1所述的单幅图像的三维配准方法，其特征在于所述相机标定步骤包括五个部分，分别是直线检测：检测所述单幅图像中局部的直轮廓；直线优化与去噪：对直线检测结果进行优化；候选消隐点获取：基于优化后的直线检测结果信息提取消隐点，包括采用网格法的粗精度消隐点提取和采用PClines空间转换和对齐直线点检测算法的粗精度消隐点提纯两个步骤；候选消隐点优化：对所获取的消隐点进行优化；场景约束分析及相机参数计算：通过对优化后的消隐点的分析计算相机的内外参数，其中所述直线检测采用LSD算法：
首先对所述单幅图像进行高斯滤波和降采样；
然后计算每个像素点的梯度、和梯度等高线角度，相关公式为：
， （1）
， （2）
， （3）
其中，表示灰度图像上像素点处的灰度值，对计算得到的经过区域生长算法得到直线支撑区域；
进行矩形估计，即找到每个所述直线支撑区域的最小外接矩形；
对所述矩形进行筛选、调整：定义矩形内像素点的相对于矩形主方向角度偏差在以内的点为对齐点，循环计算所述矩形的对齐点密度以及误报数，相关公式为：
， （4）
， （5）
其中，表示当前矩形，表示当前矩形的误报数，表示当前矩形的对齐点密度；为图像高度，为图像宽度，为矩形内像素总数，为矩形内对齐点总数，表示像素点是对齐点的概率且初始值定为，为尝试不同值的个数，
判断所计算出的对齐点密度是否大于设定的对齐点密度阈值且误报数是否小于设定的误报数阈值，若不满足，则对相应的直线支撑区域进行截断处理或参数调整并重新确定矩形，再对新的矩形依据公式（4）、（5）重新计算并判断，直至找到对齐点密度大于设定的对齐点密度阈值且误报数小于设定的误报数阈值的矩形；
每个矩形对应一条直线段，直线段的方向即为矩形主方向，直线段的长度等于矩形的长边的长度，所得到的直线段即为直线检测的结果。
3.如权利要求2所述的单幅图像的三维配准方法，其特征在于所述直线优化与去噪的结果是得到优化后的直线集，包括续接断开的直线段，是对直线段进行两两判断，将符合条件的两条直线段进行续接，续接后的直线段再与其他直线段继续续接，直至完成所有可能的续接，其步骤包括判断所选取两条直线段是否符合续接条件以及对于符合续接条件的直线段进行续接，其中，判断所选取两条直线段是否符合续接条件的方法是：从直线段的两端点和向直线段做垂线得到垂点；从直线段的两端点和向直线段做垂线得到垂点，
定义直线段、的距离为：
， （6）
其中，表示直线段的长度，
当直线段、的夹角小于给定阈值，且直线段、的距离小于，则认定直线段、符合续接条件；
所述对于符合续接条件的直线段进行续接的方法是：选取两条直线段中误报数较小的作为标准调整另一条直线段的斜率，具体为，假设，则延长直线段交直线段或其延长线于点，将直线段绕点以最小角度旋转到直线段的延长线上，再连接旋转后的两条直线段相近的端点得到新直线段，删除原直线段、。
4.如权利要求3所述的单幅图像的三维配准方法，其特征在于所述直线优化与去噪还包括剔除过短直线段，其方法是：设定直线段长度阈值，如果直线段长度小于所述直线段长度阈值，则剔除此直线段。
5.如权利要求1、2、3或4所述的单幅图像的三维配准方法，其特征在于所述网格法为：对消隐点提取所基于的直线集进行遍历，当两条直线均未被已有消隐点对应时，取交点并将此交点的图像坐标转换到以图像平面的主点为原点、两轴方向不变的坐标系中，得到新的横、纵坐标、，将转换后的坐标按公式（7）和公式（8）进行极坐标有限映射，其中表示图像的高度，
， （7）
， （8）
将映射后的坐标值对应到以、为坐标轴的网格中，将对应网格的交点数加1，本次遍历完成后，得到网格图像矩阵，对网格图像矩阵进行均值滤波，输出滤波后网格图像矩阵中的最大值所对应的网格坐标，即为此次遍历下获得的粗精度消隐点，依此方法进行N次遍历，N为自然数且2≤N≤5，获得N个粗精度消隐点，前一次遍历所得到的粗精度消隐点所对应的直线集不用在下一次遍历的直线集中；
所述PClines空间转换和对齐直线点检测的过程为：针对一个粗精度消隐点，首先将其对应的直线子集转换到PClines空间，PClines空间包含直空间和弯空间，直空间的纵轴和纵轴分别对应于图像空间的横轴和纵轴，弯空间的纵轴和纵轴分别对应于图像空间的横轴和纵轴，以此将消隐点检测转化成在对偶空间中提取直线模型的问题，完成对偶空间转换后，使用对齐直线点检测算法分别对两个对偶空间中的点集提取直线模型，将所得的直线模型反转换到图像空间即得到候选消隐点集和对应的值。
6.如权利要求5所述的单幅图像的三维配准方法，其特征在于所述候选消隐点优化包括两个方面，第一：针对候选消隐点对应的直线子集，通过计算消隐点到每条直线的距离权重和来更新消隐点，其中直线的权重由其长度的平方决定，给定条齐次直线向量，计算矩阵，
， （9）
其中，是归一化的直线权重，其中最长直线的设为1，通过公式（10），用奇异值分解方法更新消隐点，其中，为矩阵，而为向量，
， （10）
计算过程中，若出现新消隐点与原消隐点差别超过给定阈值的情况，则本次更新无效；
第二：使用单链接聚类算法剔除同类消隐点，将每个消隐点设置为单独的类并计算类之间的距离，采用的距离计算公式为：
， （11）
如果计算出的距离小于给定阈值，则认为这两个消隐点为同类消隐点，保留其中值较小的消隐点；
通过所述候选消隐点优化得到集成有对应直线所包含的几何信息的典型消隐点。
7.如权利要求6所述的单幅图像的三维配准方法，其特征在于所述场景约束分析及相机参数计算是针对曼哈顿世界模型约束进行的，包括如下步骤：
步骤1，取直线对应数最多的两个消隐点和，记它们的图像坐标分别为和，、在相机坐标系下的坐标分别为、，由曼哈顿世界模型约束可得到焦距：
； （12）
步骤2：计算与这两个消隐点均正交的第三个消隐点的相机坐标并转换回图像平面；
步骤3：按所述候选消隐点优化的方法优化第三个消隐点；
步骤4：取上述三个消隐点中纵坐标绝对值最大且与图像纵轴夹角最小者作为空间中垂直方向上的消隐点；
步骤5：根据场景先验信息，计算出所述旋转矩阵。
8.如权利要求1、2、3、4、5、6或7所述的单幅图像的三维配准方法，其特征在于所述交互式建模步骤包括建立初始模型：由二维图元生成相对应的三维体元；初始模型后处理：计算并绘制三维可视表面两部分；
所述建立初始模型所基于的基础定义是：三维空间中的几何结构为体元，其在二维图像平面上的投影为图元，场景图，其中表示用户输入的图元及相应的体元，表示体元之间的空间位置关系；
所述建立初始模型所应遵循的坐标系约束及坐标依赖原则为：1）生成的体元必须满足世界坐标系约束，所有图元及体元的坐标信息均转换到相机坐标系下表示；2）按照参考性，体元分为被参考体元和参考体元两类，同一体元同时只能归结为一类；3）新的体元被创建时，如果能确定其被参考体元，则认为该体元为参考体元，同时以被参考体元所在的局部世界坐标系来定位该体元，否则认为该体元为被参考体元，其坐标位置使用某个初始位置来进行初始化；4）每个被参考体元都对应一个局部的世界坐标系，当有体元以该被参考体元为参考时，其坐标使用该局部世界坐标系中的坐标进行表示；5）由于参考关系而更新某个体元的坐标信息时，需要更新与之相关的体元坐标，更新原则如下：若待更新的体元为被参考体元，则同时更新所有参考体元的体元坐标，否则更新其被参考体元的坐标信息，从被参考体元出发更新所有参考该被参考体元的体元坐标；
所述建立初始模型包括针对点、直线、长方体和多面体体元的生成，其算法具体为：
1）点图元的体元生成算法：根据点在空间所在的位置分为四类，即已知点、孤立点、直线上点和面上点，对于已知点，直接返回已知点在场景图中的编号；对于孤立点，选择该点视线方向上的任意点作为该点对应的体元；对于直线上点，根据直线的体元与图元之间的几何比例关系计算得到；对于面上点，根据多边形的体元与图元之间的几何比例关系计算得到；
2）直线图元的体元生成算法：通过构建两个点图元对应的体元，在此基础上根据两个点体元之间的空间位置关系完成直线体元的生成；
当直线与某一消隐点方向一致时，分四种情况对场景图进行更新：
i）若直线首尾端点对应体元均为被参考体元，则以首端点对应体元为参考更新尾端点对应体元坐标，同时更新所有以尾端点对应体元为参考的其他体元坐标；
若直线首端点对应体元为参考体元，尾端点对应体元为被参考体元，则将尾端点对应体元所在的局部世界坐标系转换到首端点对应体元所在的局部世界坐标系中，若直线首端点对应体元为被参考体元，尾端点对应体元为参考体元，则将首端点对应体元所在的局部世界坐标系转换到尾端点对应体元所在的局部世界坐标系中；
iii）若直线首尾端点对应体元均为参考体元，且二者不在同一局部世界坐标系中，则将尾端点对应体元所在的局部世界坐标系转换到首端点对应体元所在的局部世界坐标系中；
iv）若直线首尾端点对应体元均为参考体元，且二者均在同一局部世界坐标系中，则用首端点对应体元重新定位尾端点对应体元，使两者在空间中与相应轴向一致；
当直线与任意消隐点方向均不一致时，分三种情况进行更新：
若直线首尾端点对应体元均为参考体元，且二者均在同一局部世界坐标系中，则将首尾端点对应体元组合成一个直线体元，置于当前局部世界坐标系中；
若直线首端点对应体元为参考体元，其直接参考体元为面体元，且尾端点对应体元为被参考体元，则更新尾端点对应体元，使其也处于首端点对应体元所在的平面上，并更新所有以尾端点对应体元为参考的其他体元；
其他情况，由于无法通过任何方法得知两个端点体元的空间位置关系，故认为此种情况的交互式操作无效；
3）长方体和多面体体元生成算法：
首先定义空间中两邻边分别平行于一条世界坐标系坐标轴的矩形为参考矩形，参考矩形投影到图像平面上形成的两组对边分别经过一个消隐点方向，规定交互式拾取的参考矩形和多边形均位于场景地面上；
构建长方体体元时，首先指定参考矩形两个对角顶点在图像上的位置，然后根据消隐点特性计算参考矩形剩余的两个顶点的图像坐标，再通过直线体元生成方法依次生成四条直线体元，组合形成矩形体元，最后，将矩形体元按照垂直消隐点方向进行拔高处理即得到长方体体元；
构建多面体体元时，先在图像上交互拾取一个多边形体元，在此基础上将多边形体元按照垂直消隐点方向进行拔高处理即生成相应的多面体体元，多边形体元的各边不一定平行于世界坐标系的坐标轴，但多边形各顶点满足共面的约束关系。
9.如权利要求8所述的单幅图像的三维配准方法，其特征在于所述初始模型后处理包括体元三角化和纹理生成，所述体元三角化为：采用三角面片的划分方法，首先构建空的三角面片体元集合，遍历中的体元，将三角化后得到的面片体元放入中，对中投影面积大于给定阈值的三角面片重新划分并更新；所述纹理生成为：用公式（13）对集合中所有面片体元的所有顶点计算得到相应的纹理坐标，
， （13）
其中，、分别表示图像坐标系和相机坐标系下的点，表示相机的焦距。
10.如权利要求9所述的单幅图像的三维配准方法，其特征在于所述相机注册步骤是将分布在一个或多个局部世界坐标系中的所述初始模型注册到统一的三维场景中，主要包括调整相机旋转矩阵、相机坐标系转换到局部世界坐标系、局部世界坐标系转换到三维场景模型坐标系和计算视锥体参数四个部分，分别为：
调整相机旋转矩阵：设相机中心到垂直消隐点的向量在图像平面的投影为，令相机中心到拾取直线对应消隐点的向量在图像平面的投影为，另一向量为，按照拍摄场景时相机的俯仰将消隐点分布分为四种情况，根据局部世界坐标系和相机坐标系的对应关系分别对所述旋转矩阵进行调整：
a、垂直消隐点位于图像平面的主点的下方，拾取直线对应的水平消隐点位于图像主点的右方，此时，，，据此计算得到调整后的旋转矩阵，
，
b、垂直消隐点位于图像平面的主点的下方，拾取直线对应的水平消隐点位于图像主点的左方，此时，，，据此计算得到调整后的旋转矩阵，
，
c、垂直消隐点位于图像平面的主点的上方，拾取直线对应的水平消隐点位于图像主点的右方，此时，，，据此可计算得到调整后的旋转矩阵，
，
d、垂直消隐点位于图像平面的主点的上方，拾取直线对应的水平消隐点位于图像主点的左方，此时，，，据此计算得到调整后的旋转矩阵，
，
其中，、、分别为向量在局部世界坐标系下的坐标表示，、、分别为向量在相机坐标系下的坐标表示；
相机坐标系转换到局部世界坐标系：
用户在图像上拾取过消隐点的直线，它是空间直线在图像平面上的投影，为相机中心，为图像主点，这里约定，图像坐标系以图像平面左上顶点为原点，水平向右为横轴，竖直向下为纵轴，主点为图像平面的中心；相机坐标系以图像平面水平向右为横轴，竖直向下为纵轴，视线方向为竖轴，记的相机坐标、、分别为、、，假设两点的相机坐标为、，
根据相机标定和调整旋转矩阵的结果和构造局部世界坐标系到相机坐标系的转换矩阵，相机坐标系到局部世界坐标系的转换矩阵为，通过这个转换矩阵能够获得相机坐标系上任意一点在局部世界坐标系下的参考坐标，设直线端点、在局部世界坐标系中的坐标为、，则：
； （14）
局部世界坐标系转换到三维场景模型坐标系：计算局部世界坐标系和三维场景模型坐标系的两条对应直线的夹角并构造旋转矩阵，计算局部世界坐标系与三维场景模型坐标系的变换尺度因子并构造缩放矩阵，得到局部世界坐标系到三维场景模型坐标系的转换矩阵，得到从相机坐标系到三维场景模型坐标系的完整变换矩阵为：
； （15）
计算视锥体参数：相机中心在模型坐标系中的坐标为：
， （16）
其中，是点在三维场景模型坐标系下坐标，
相机的up向量为：
， （17）
相机的forward向量为：
， （18）
相机的center向量为：
， （19）
根据公式（16）-（19），能够将相机坐标系下的坐标转换到统一的三维场景模型坐标系下，三维配准过程完成。
CN201610774320.1A 2016-08-31 2016-08-31 一种单幅图像的三维配准方法 Active CN106327532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610774320.1A CN106327532B (zh) 2016-08-31 2016-08-31 一种单幅图像的三维配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610774320.1A CN106327532B (zh) 2016-08-31 2016-08-31 一种单幅图像的三维配准方法

Publications (2)

Publication Number Publication Date
CN106327532A true CN106327532A (zh) 2017-01-11
CN106327532B CN106327532B (zh) 2019-06-11

Family

ID=57789905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610774320.1A Active CN106327532B (zh) 2016-08-31 2016-08-31 一种单幅图像的三维配准方法

Country Status (1)

Country Link
CN (1) CN106327532B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952338A (zh) * 2017-03-14 2017-07-14 网易（杭州）网络有限公司 基于深度学习的三维重建的方法、系统及可读存储介质
CN107256576A (zh) * 2017-04-21 2017-10-17 深圳市蜗牛窝科技有限公司 图片中三维场景的展示方法和装置
CN108447022A (zh) * 2018-03-20 2018-08-24 北京天睿空间科技股份有限公司 基于单个固定摄像头图像序列的运动目标拼接方法
CN108446698A (zh) * 2018-03-15 2018-08-24 腾讯大地通途（北京）科技有限公司 在图像中检测文本的方法、装置、介质及电子设备
CN108645398A (zh) * 2018-02-09 2018-10-12 深圳积木易搭科技技术有限公司 一种基于结构化环境的即时定位与地图构建方法及系统
CN109583495A (zh) * 2018-11-28 2019-04-05 深圳爱莫科技有限公司 陈列图像处理方法和装置
CN109840945A (zh) * 2019-01-18 2019-06-04 厦门美图之家科技有限公司 有限元预处理方法及装置
CN110033493A (zh) * 2019-04-17 2019-07-19 深圳金三立视频科技股份有限公司 摄像机3d标定方法及终端
CN110458926A (zh) * 2019-08-01 2019-11-15 北京灵医灵科技有限公司 一种断层图像的三维虚拟化处理方法和系统
CN110599587A (zh) * 2019-08-08 2019-12-20 南京末梢信息技术有限公司 一种基于单张图像的3d场景重构技术
CN110782524A (zh) * 2019-10-25 2020-02-11 重庆邮电大学 基于全景图的室内三维重建方法
CN111126450A (zh) * 2019-11-29 2020-05-08 上海宇航系统工程研究所 一种基于九线构型的长方体空间飞行器的建模方法及装置
CN111223177A (zh) * 2019-12-18 2020-06-02 北京城市网邻信息技术有限公司 三维空间的三维模型的构建方法和装置、存储介质
CN111340960A (zh) * 2020-02-21 2020-06-26 当家移动绿色互联网技术集团有限公司 图像的建模方法、装置、存储介质和电子设备
CN111415420A (zh) * 2020-03-25 2020-07-14 北京迈格威科技有限公司 空间信息确定方法、装置及电子设备
CN111508058A (zh) * 2020-02-24 2020-08-07 当家移动绿色互联网技术集团有限公司 图像三维重建的方法、装置、存储介质及电子设备
CN111696071A (zh) * 2020-04-17 2020-09-22 中国科学院国家天文台 一种球面射电望远镜反射面节点识别系统和方法
CN111724481A (zh) * 2020-06-24 2020-09-29 嘉应学院 对二维图像进行三维重构的方法、装置、设备及存储介质
CN111724446A (zh) * 2020-05-20 2020-09-29 同济大学 一种用于建筑物三维重建的变焦距相机外参数标定方法
CN111798556A (zh) * 2020-06-18 2020-10-20 完美世界(北京)软件科技发展有限公司 图像渲染方法、装置、设备和存储介质
CN112308887A (zh) * 2020-09-30 2021-02-02 西北工业大学 一种多源图像序列实时配准方法
CN112368741A (zh) * 2018-06-29 2021-02-12 祖克斯有限公司 传感器校准
CN112393722A (zh) * 2020-11-04 2021-02-23 中国船舶重工集团公司第七一六研究所 一种远距离目标的实时多视角协同定位头盔及方法
CN112785570A (zh) * 2021-01-19 2021-05-11 浙江商汤科技开发有限公司 图像注册正确性的检测方法、装置、设备及存储介质
CN112802120A (zh) * 2021-01-13 2021-05-14 福州视驰科技有限公司 基于非均匀分割累加表和正交消隐点的相机外参标定方法
CN112927353A (zh) * 2021-02-25 2021-06-08 电子科技大学 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端
CN115546318A (zh) * 2022-11-23 2022-12-30 中科星图测控技术(合肥)有限公司 一种自动高速弹道标定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130243306A1 (en) * 2012-03-19 2013-09-19 Adobe Systems Incorporated Methods and Apparatus for 3D Camera Positioning Using a 2D Vanishing Point Grid
CN104376596A (zh) * 2014-11-28 2015-02-25 北京航空航天大学 一种基于单幅图像的三维场景结构建模与注册方法
CN104809755A (zh) * 2015-04-09 2015-07-29 福州大学 基于单幅图像文化遗存遗址的三维重建方法
CN105046691A (zh) * 2015-06-26 2015-11-11 浙江大学 一种基于正交消失点的相机自标定方法
CN105389808A (zh) * 2015-10-27 2016-03-09 郑州大学 一种基于二消失点的相机自标定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130243306A1 (en) * 2012-03-19 2013-09-19 Adobe Systems Incorporated Methods and Apparatus for 3D Camera Positioning Using a 2D Vanishing Point Grid
CN104376596A (zh) * 2014-11-28 2015-02-25 北京航空航天大学 一种基于单幅图像的三维场景结构建模与注册方法
CN104809755A (zh) * 2015-04-09 2015-07-29 福州大学 基于单幅图像文化遗存遗址的三维重建方法
CN105046691A (zh) * 2015-06-26 2015-11-11 浙江大学 一种基于正交消失点的相机自标定方法
CN105389808A (zh) * 2015-10-27 2016-03-09 郑州大学 一种基于二消失点的相机自标定方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A.HEROUT等: "Vanishing Points, Parallel Lines, Grids", 《REAL-TIME DETECTION OF LINES AND GRIDS》 *
JOSE LEZAMA等: "Finding Vanishing Points via Point Alignments in Image Primal and Dual Domains", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
YONG-GANG ZHAO 等: "Calculating Vanishing Points in Dual Space", 《INTERNATIONAL CONFERENCE ON INTELLIGENT SCIENCE AND INTELLIGENT DATA ENGINEERING》 *
霍炬 等: "基于消隐点几何特性的摄像机自标定方法", 《光学学报》 *

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952338B (zh) * 2017-03-14 2020-08-14 网易（杭州）网络有限公司 基于深度学习的三维重建的方法、系统及可读存储介质
CN106952338A (zh) * 2017-03-14 2017-07-14 网易（杭州）网络有限公司 基于深度学习的三维重建的方法、系统及可读存储介质
CN107256576A (zh) * 2017-04-21 2017-10-17 深圳市蜗牛窝科技有限公司 图片中三维场景的展示方法和装置
CN108645398A (zh) * 2018-02-09 2018-10-12 深圳积木易搭科技技术有限公司 一种基于结构化环境的即时定位与地图构建方法及系统
CN108446698A (zh) * 2018-03-15 2018-08-24 腾讯大地通途（北京）科技有限公司 在图像中检测文本的方法、装置、介质及电子设备
CN108447022A (zh) * 2018-03-20 2018-08-24 北京天睿空间科技股份有限公司 基于单个固定摄像头图像序列的运动目标拼接方法
CN112368741A (zh) * 2018-06-29 2021-02-12 祖克斯有限公司 传感器校准
CN109583495B (zh) * 2018-11-28 2019-10-22 深圳爱莫科技有限公司 陈列图像处理方法和装置
CN109583495A (zh) * 2018-11-28 2019-04-05 深圳爱莫科技有限公司 陈列图像处理方法和装置
CN109840945B (zh) * 2019-01-18 2022-10-28 厦门美图之家科技有限公司 有限元预处理方法及装置
CN109840945A (zh) * 2019-01-18 2019-06-04 厦门美图之家科技有限公司 有限元预处理方法及装置
CN110033493A (zh) * 2019-04-17 2019-07-19 深圳金三立视频科技股份有限公司 摄像机3d标定方法及终端
CN110458926A (zh) * 2019-08-01 2019-11-15 北京灵医灵科技有限公司 一种断层图像的三维虚拟化处理方法和系统
CN110458926B (zh) * 2019-08-01 2020-11-20 北京灵医灵科技有限公司 一种断层图像的三维虚拟化处理方法和系统
CN110599587A (zh) * 2019-08-08 2019-12-20 南京末梢信息技术有限公司 一种基于单张图像的3d场景重构技术
CN110782524A (zh) * 2019-10-25 2020-02-11 重庆邮电大学 基于全景图的室内三维重建方法
CN110782524B (zh) * 2019-10-25 2023-05-23 重庆邮电大学 基于全景图的室内三维重建方法
CN111126450A (zh) * 2019-11-29 2020-05-08 上海宇航系统工程研究所 一种基于九线构型的长方体空间飞行器的建模方法及装置
CN111126450B (zh) * 2019-11-29 2024-03-19 上海宇航系统工程研究所 一种基于九线构型的长方体空间飞行器的建模方法及装置
CN111223177B (zh) * 2019-12-18 2020-12-04 北京城市网邻信息技术有限公司 三维空间的三维模型的构建方法和装置、存储介质
CN111223177A (zh) * 2019-12-18 2020-06-02 北京城市网邻信息技术有限公司 三维空间的三维模型的构建方法和装置、存储介质
CN111340960A (zh) * 2020-02-21 2020-06-26 当家移动绿色互联网技术集团有限公司 图像的建模方法、装置、存储介质和电子设备
CN111340960B (zh) * 2020-02-21 2021-06-04 北京五一视界数字孪生科技股份有限公司 图像的建模方法、装置、存储介质和电子设备
CN111508058A (zh) * 2020-02-24 2020-08-07 当家移动绿色互联网技术集团有限公司 图像三维重建的方法、装置、存储介质及电子设备
CN111415420B (zh) * 2020-03-25 2024-01-23 北京迈格威科技有限公司 空间信息确定方法、装置及电子设备
CN111415420A (zh) * 2020-03-25 2020-07-14 北京迈格威科技有限公司 空间信息确定方法、装置及电子设备
CN111696071A (zh) * 2020-04-17 2020-09-22 中国科学院国家天文台 一种球面射电望远镜反射面节点识别系统和方法
CN111724446A (zh) * 2020-05-20 2020-09-29 同济大学 一种用于建筑物三维重建的变焦距相机外参数标定方法
CN111724446B (zh) * 2020-05-20 2023-05-02 同济大学 一种用于建筑物三维重建的变焦距相机外参数标定方法
CN111798556A (zh) * 2020-06-18 2020-10-20 完美世界(北京)软件科技发展有限公司 图像渲染方法、装置、设备和存储介质
CN111798556B (zh) * 2020-06-18 2023-10-13 完美世界(北京)软件科技发展有限公司 图像渲染方法、装置、设备和存储介质
CN111724481A (zh) * 2020-06-24 2020-09-29 嘉应学院 对二维图像进行三维重构的方法、装置、设备及存储介质
CN112308887B (zh) * 2020-09-30 2024-03-22 西北工业大学 一种多源图像序列实时配准方法
CN112308887A (zh) * 2020-09-30 2021-02-02 西北工业大学 一种多源图像序列实时配准方法
CN112393722B (zh) * 2020-11-04 2022-09-27 中国船舶重工集团公司第七一六研究所 一种远距离目标的实时多视角协同定位头盔及方法
CN112393722A (zh) * 2020-11-04 2021-02-23 中国船舶重工集团公司第七一六研究所 一种远距离目标的实时多视角协同定位头盔及方法
CN112802120A (zh) * 2021-01-13 2021-05-14 福州视驰科技有限公司 基于非均匀分割累加表和正交消隐点的相机外参标定方法
CN112802120B (zh) * 2021-01-13 2024-02-27 福州视驰科技有限公司 基于非均匀分割累加表和正交消隐点的相机外参标定方法
CN112785570A (zh) * 2021-01-19 2021-05-11 浙江商汤科技开发有限公司 图像注册正确性的检测方法、装置、设备及存储介质
CN112927353B (zh) * 2021-02-25 2023-05-19 电子科技大学 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端
CN112927353A (zh) * 2021-02-25 2021-06-08 电子科技大学 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端
CN115546318B (zh) * 2022-11-23 2023-04-07 中科星图测控技术股份有限公司 一种自动高速弹道标定方法
CN115546318A (zh) * 2022-11-23 2022-12-30 中科星图测控技术(合肥)有限公司 一种自动高速弹道标定方法

Also Published As

Publication number Publication date
CN106327532B (zh) 2019-06-11

Similar Documents

Publication Publication Date Title
CN106327532A (zh) 一种单幅图像的三维配准方法
CN107392964B (zh) 基于室内特征点和结构线结合的室内slam方法
CN111486855B (zh) 一种具有物体导航点的室内二维语义栅格地图构建方法
CN110264567B (zh) 一种基于标记点的实时三维建模方法
CN107945268B (zh) 一种基于二元面结构光的高精度三维重建方法及系统
CN105787439B (zh) 一种基于卷积神经网络的深度图像人体关节定位方法
CN103106688B (zh) 基于双层配准方法的室内三维场景重建方法
CN104484668B (zh) 一种无人机多重叠遥感影像的建筑物轮廓线提取方法
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN105631861B (zh) 结合高度图从无标记单目图像中恢复三维人体姿态的方法
CN104134234B (zh) 一种全自动的基于单幅图像的三维场景构建方法
CN106803267A (zh) 基于Kinect的室内场景三维重建方法
CN107240129A (zh) 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法
CN109934862A (zh) 一种点线特征结合的双目视觉slam方法
CN106204718A (zh) 一种基于单个Kinect的简易高效三维人体重建方法
CN109544677A (zh) 基于深度图像关键帧的室内场景主结构重建方法及系统
CN106485690A (zh) 基于点特征的点云数据与光学影像的自动配准融合方法
CN107160395A (zh) 地图构建方法及机器人控制系统
CN104794722A (zh) 利用单个Kinect计算着装人体三维净体模型的方法
CN107481279A (zh) 一种单目视频深度图计算方法
CN106296825B (zh) 一种仿生三维信息生成系统及方法
CN107192350A (zh) 一种三维激光扫描仪内参数标定方法及装置
CN105913444B (zh) 基于软激光测距的牲畜体型轮廓重构方法及体况评分方法
CN112016497A (zh) 基于人工智能的单视角太极拳动作分析及考核系统
CN107729806A (zh) 基于三维人脸重建的单视图多姿态人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant