CN112016570B - 用于背景板同步旋转采集中的三维模型生成方法 - Google Patents

用于背景板同步旋转采集中的三维模型生成方法 Download PDF

Info

Publication number
CN112016570B
CN112016570B CN202010815878.6A CN202010815878A CN112016570B CN 112016570 B CN112016570 B CN 112016570B CN 202010815878 A CN202010815878 A CN 202010815878A CN 112016570 B CN112016570 B CN 112016570B
Authority
CN
China
Prior art keywords
image
acquisition device
image acquisition
feature points
background plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010815878.6A
Other languages
English (en)
Other versions
CN112016570A (zh
Inventor
左忠斌
左达宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianmu Aishi Beijing Technology Co Ltd
Original Assignee
Tianmu Aishi Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianmu Aishi Beijing Technology Co Ltd filed Critical Tianmu Aishi Beijing Technology Co Ltd
Priority to CN202010815878.6A priority Critical patent/CN112016570B/zh
Publication of CN112016570A publication Critical patent/CN112016570A/zh
Application granted granted Critical
Publication of CN112016570B publication Critical patent/CN112016570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Abstract

本发明提供了一种用于背景板同步旋转采集中的三维模型生成方法：第一步：利用3D信息采集设备采集目标物多组图像；第二步：对所有输入照片进行图像增强处理；第三步：对输入的所有图像进行特征点提取，并进行特征点匹配，获取稀疏特征点；第四步：输入匹配的特征点坐标，解算稀疏的人脸三维点云和图像采集装置的位置和姿态数据，即获得了稀疏目标物模型三维点云和位置的模型坐标值；以稀疏特征点为初值，进行多视图像稠密匹配，获取得到密集点云数据；第五步：利用密集点云进行目标物曲面重建；第六步：对目标物模型进行纹理贴图。首次提出通过增加背景板随相机一起旋转的方式来和优化的算法相互配合一起提高合成速度和合成精度。

Description

用于背景板同步旋转采集中的三维模型生成方法
技术领域
本发明涉及形貌测量技术领域，特别涉及3D形貌测量技术领域。
背景技术
在进行3D测量，利用3D测量数据进行加工制造，或是利用3D数据进行展示、识别时，首先应当为目标物建立具有较为准确的3D模型。目前常用的方法包括使用机器视觉的方式，采集物体不同角度的图片，并将这些图片匹配拼接形成3D模型。在采集不同角度图片时，可以待测物不同角度设置多个相机，也可以通过单个或多个相机旋转从不同角度采集图片。但无论这两种方式哪一种，都涉及合成速度和合成精度的问题。而合成速度和合成精度在某种程度上是一对矛盾，合成速度的提高会导致最终3D合成精度下降；要提高3D合成精度则需要降低合成速度，通过更多的图片来合成。
首先，现有技术中没有能够较好地同时提高合成速度和合成效果的算法。
其次，通常认为采集和合成是两个过程，互不影响，并没有统一考虑。这影响了3D合成建模的效率无法兼顾提高合成速度和合成的精度。
最后，在现有技术中，也曾提出使用包括旋转角度、目标物尺寸、物距的经验公式限定相机位置，从而兼顾合成速度和效果。然而在实际应用中发现：除非有精确量角装置，否则用户对角度并不敏感，难以准确确定角度；目标物尺寸难以准确确定，特别是某些应用场合目标物需要频繁更换，每次测量带来大量额外工作量，并且需要专业设备才能准确测量不规则目标物。测量的误差导致相机位置设定误差，从而会影响采集合成速度和效果；准确度和速度还需要进一步提高。
因此，目前急需解决以下技术问题：①通过算法能够同时提高合成速度和合成精度；②算法能够和采集图像的方法相互配合从而同时提高合成速度和合成精度。
发明内容
鉴于上述问题，提出了本发明提供一种克服上述问题或者至少部分地解决上述问题的一种用于背景板同步旋转采集中的三维模型生成方法。
本发明提供了一种用于背景板同步旋转采集中的三维模型生成方法，包括
第一步：利用3D信息采集设备采集目标物多组图像；
第二步：对所有输入照片进行图像增强处理；
第三步：对输入的所有图像进行特征点提取，并进行特征点匹配，获取稀疏特征点；
第四步：输入匹配的特征点坐标，解算稀疏的人脸三维点云和图像采集装置的位置和姿态数据，即获得了稀疏目标物模型三维点云和位置的模型坐标值；以稀疏特征点为初值，进行多视图像稠密匹配，获取得到密集点云数据；
第五步：利用密集点云进行目标物曲面重建；
第六步：对目标物模型进行纹理贴图；
其中，3D信息采集设备包括图像采集装置、旋转装置和背景板，图像采集装置和背景板相对设置，由旋转装置带动同步旋转，保证在转动过程中始终相对，从而使得图像采集装置采集的图像背景为背景板。
在可选的实施例中，第一步中采集设备中的图像采集装置相邻两个采集位置满足如下条件：
其中L为在相邻两个采集位置时图像采集装置光心的直线距离；f为图像采集装置的焦距；d为图像采集装置感光元件的矩形长度或宽度；T为图像采集装置感光元件沿着光轴到目标物表面的距离；δ为调整系数，δ<0.603。
在可选的实施例中，第二步中图像增强处理包括：
采用如下滤波器增强原始照片的反差和同时压制噪声；
式中：g(x，y)为原始影像在(x，y)处灰度值，f(x，y)为经过Wallis滤波器增强后该处的灰度值，mg为原始影像局部灰度均值，sg为原始影像局部灰度标准偏差，mf为变换后的影像局部灰度目标值，sf为变换后影像局部灰度标准偏差目标值，c∈(0，1)为影像方差的扩展常数，b∈(0，1)为影像亮度系数常数。
在可选的实施例中，第三步包括：①构建Hessian矩阵，生成所有的兴趣点，用于特征提取；②构建尺度空间特征点定位；③确定特征点主方向；④生成64维特征点描述向量；⑤特征点匹配。
在可选的实施例中，第三步中Hessian矩阵来检测特征点时，使用箱式滤波器。
在可选的实施例中，第四步包括立体像对选择、深度图计算、深度图优化、深度图融合。
在可选的实施例中，第五步包括：定义八叉树、设置函数空间、创建向量场、求解泊松方程、提取等值面。
在可选的实施例中，第六步包括：①纹理数据获取通过图像重建目标的表面三角面格网；②重建模型三角面的可见性分析；③三角面聚类生成纹理贴片；④纹理贴片自动排序生成纹理图像。
本发明还提供了一种处理器，用于执行上述任一所述方法。
本发明还提供了一种存储器，用于存储执行上述任一所述方法的程序。
发明点及技术效果
1、首次提出通过增加背景板随相机一起旋转的方式来和优化的算法相互配合一起提高合成速度和合成精度。
2、通过优化相机采集图片的位置的方式来和优化的算法相互配合一起提高合成速度和合成精度。并且优化位置时，无需测量角度，无需测量目标尺寸，适用性更强。
3、通过优化后的图像预处理步骤，提高算法效率。
4、提出了适合3D合成的算法架构，兼顾了合成效率和效果。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例提供的三维模型生成方法的流程图；
图2为本发明实施例提供的3D信息采集设备的前视图；
图3为本发明实施例提供的3D信息采集设备的立体图；
图4为本发明实施例提供的3D信息采集设备的另一立体图；
附图标记与各部件的对应关系如下：
1图像采集装置，2旋转装置，3背景板，4第一安装柱，5旋转横梁，6水平托，7第二安装柱。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
三维模型生成方法
请参考图1，第一步(S1)：利用3D信息采集设备采集目标物多组图像。使用旋转装置使得图像采集装置的采集区域与目标物产生相对运动，从而使得图像采集装置能够采集目标物不同方向的多组图像。可以通过旋转臂、旋转盘使得图像采集装置转动而目标物保持静止，也可以使得目标物转动而图像采集装置静止，当然也可以两者均运动，只要能够使得图像采集装置采集目标物不同方向的多组图像即可。除了上述方式外，也可以在目标物周边设置多个相机，从而分别从不同角度采集目标物图像。具体举例的设备及流程下面将详细阐述。
第二步(S2)：对所有输入照片进行图像增强处理。采用下述滤波器增强原始照片的反差和同时压制噪声。
式中：g(x，y)为原始影像在(x，y)处灰度值，f(x，y)为经过Wallis滤波器增强后该处的灰度值，mg为原始影像局部灰度均值，sg为原始影像局部灰度标准偏差，mf为变换后的影像局部灰度目标值，sf为变换后影像局部灰度标准偏差目标值。c∈(0，1)为影像方差的扩展常数，b∈(0，1)为影像亮度系数常数。
该滤波器可以大大增强影像中不同尺度的影像纹理模式，所以在提取影像的点特征时可以提高特征点的数量和精度，在照片特征匹配中则提高了匹配结果可靠性和精度。
第三步(S3)：对输入的所有图像进行特征点提取，并进行特征点匹配，获取稀疏特征点。采用SURF算子对照片进行特征点提取与匹配。SURF特征匹配方法主要包含三个过程，特征点检测、特征点描述和特征点匹配。该方法使用Hessian矩阵来检测特征点，用箱式滤波器(Box Filters)来代替二阶高斯滤波，用积分图像来加速卷积以提高计算速度，并减少了局部影像特征描述符的维数，来加快匹配速度。主要步骤包括①构建Hessian矩阵，生成所有的兴趣点，用于特征提取，构建Hessian矩阵的目的是为了生成图像稳定的边缘点(突变点)；②构建尺度空间特征点定位，将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，初步定位出关键点，再经过滤除能量比较弱的关键点以及错误定位的关键点，筛选出最终的稳定的特征点；③特征点主方向的确定，采用的是统计特征点圆形邻域内的harr小波特征。即在特征点的圆形邻域内，统计60度扇形内所有点的水平、垂直harr小波特征总和，然后扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内harr小波特征值之后，最后将值最大的那个扇形的方向作为该特征点的主方向；④生成64维特征点描述向量,特征点周围取一个4*4的矩形区域块，但是所取得矩形区域方向是沿着特征点的主方向。每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，这里的水平和垂直方向都是相对主方向而言的。该haar小波特征为水平方向值之后、垂直方向值之后、水平方向绝对值之后以及垂直方向绝对值之和4个方向，把这4个值作为每个子块区域的特征向量，所以一共有4*4*4＝64维向量作为Surf特征的描述子；⑤特征点匹配，通过计算两个特征点间的欧式距离来确定匹配度，欧氏距离越短，代表两个特征点的匹配度越好。
第四步(S4)：输入匹配的特征点坐标，利用光束法平差，解算稀疏的目标物三维点云和拍照相机的位置和姿态数据，即获得了稀疏目标物模型三维点云和位置的模型坐标值；以稀疏特征点为初值，进行多视照片稠密匹配，获取得到密集点云数据。该过程主要有四个步骤：立体像对选择、深度图计算、深度图优化、深度图融合。针对输入数据集里的每一张影像，我们选择一张参考影像形成一个立体像对，用于计算深度图。因此我们可以得到所有影像的粗略的深度图，这些深度图可能包含噪声和错误，我们利用它的邻域深度图进行一致性检查，来优化每一张影像的深度图。最后进行深度图融合，得到整个场景的三维点云。
第五步(S5)：利用密集点云进行目标物曲面重建。包括定义八叉树、设置函数空间、创建向量场、求解泊松方程、提取等值面几个过程。由梯度关系得到采样点和指示函数的积分关系，根据积分关系获得点云的向量场，计算指示函数梯度场的逼近，构成泊松方程。根据泊松方程使用矩阵迭代求出近似解，采用移动方体算法提取等值面，对所测点云重构出被测物体的模型。
第六步(S6)：目标物模型的全自动纹理贴图。表面模型构建完成后，进行纹理贴图。主要过程包括：①纹理数据获取通过图像重建目标的表面三角面格网；②重建模型三角面的可见性分析。利用图像的标定信息计算每个三角面的可见图像集以及最优参考图像；③三角面聚类生成纹理贴片。根据三角面的可见图像集、最优参考图像以及三角面的邻域拓扑关系，将三角面聚类生成为若干参考图像纹理贴片；④纹理贴片自动排序生成纹理图像。对生成的纹理贴片，按照其大小关系进行排序，生成包围面积最小的纹理图像，得到每个三角面的纹理映射坐标。
3D信息采集设备结构
为解决提高算法效率，请参考图2-图4，本发明提供了一种与上述算法相配合的3D信息采集设备，包括图像采集装置1、旋转横梁5、旋转装置2和背景板3。
旋转横梁5两端分别连接有图像采集装置1和背景板3，两者相对设置，由旋转装置2带动同步旋转，保证在转动过程中始终相对，从而使得图像采集装置1采集的图像背景为背景板3。旋转横梁5通过旋转装置2与固定横梁连接，旋转装置2驱动旋转横梁5转动，从而带动横梁两端的背景板3和图像采集装置1转动，但无论怎样转动，图像采集装置1与背景板3均相对设置，特别是图像采集装置1的光轴穿过背景板3中心。
图像采集装置1用于采集目标物的图像，其可以为定焦相机，或变焦相机。特别是即可以为可见光相机，也可以为红外相机。当然，可以理解的是任何具有图像采集功能的装置均可以使用，并不构成对本发明的限定。
背景板3全部为纯色，或大部分(主体)为纯色。特别是可以为白色板或黑色板，具体颜色可以根据目标物主体颜色来选择。背景板3通常为平板，优选也可以为曲面板，例如凹面板、凸面板、球形板，甚至在某些应用场景下，可以为表面为波浪形的背景板3；也可以为多种形状拼接板，例如可以用三段平面进行拼接，而整体呈现凹形，或用平面和曲面进行拼接等。除了背景板表面的形状可以变化外，其边缘形状也可以根据需要选择。通常情况下为直线型，从而构成矩形板。但是在某些应用场合，其边缘可以为曲线。优选的，背景板3为曲面板，这样可以使得在获得最大背景范围的情况下，使得背景板3投影尺寸最小。这使得背景板3在转动时需要的空间更小，有利于缩小设备体积，并且减少设备重量，避免转动惯性，从而更有利于控制转动。
光源可以为LED光源，也可以为智能光源，即根据目标物及环境光的情况自动调整光源参数。通常情况下，光源位于图像采集装置1的镜头周边分散式分布，例如光源为在镜头周边的环形LED灯。由于在一些应用中，被采集对象为人体，因此需要控制光源强度，避免造成人体不适。特别是可以在光源的光路上设置柔光装置，例如为柔光外壳。或者直接采用LED面光源，不仅光线比较柔和，而且发光更为均匀。更佳地，可以采用OLED光源，体积更小，光线更加柔和，并且具有柔性特性，可以贴附于弯曲的表面。
图像采集装置1和背景板3之间通常为待采集目标物。当目标物为人体时，可以在设备底座中央设置座椅。并且由于不同人身高不同，座椅可以设置为连接可升降结构。升降机构通过驱动电机驱动，由遥控器进行控制升降。当然，升降机构也可以由控制终端统一控制。即驱动电机的控制面板通过有线或无线方式与控制终端通讯，接收控制终端的命令。控制终端可以为电脑、云平台、手机、平板、专用控制设备等。
但当目标物为物体时，可以在设备底座中央设置载物台。同样，载物台也可以由升降结构驱动进行高度调整，以方便采集目标物体信息。具体控制方法和连接关系与上述相同，不再赘述。但特别的，物体与人不同，旋转并不会带来不适感，因此载物台可在旋转装置2的驱动下旋转，此时在采集时就无需旋转横梁5转动带动图像采集装置1和背景板3旋转。当然，也可以载物台和旋转横梁5同时转动。
为了方便目标物的实际尺寸测量，可在座椅或载物台上设置4个标记点，并且这些标记点的坐标已知。通过采集标记点，并结合其坐标，获得3D合成模型的绝对尺寸。标记点可以位于座椅上的头托上。
设备还包括处理器，也称处理单元，用以根据图像采集装置采集的多个图像，根据3D合成算法，合成目标物3D模型，得到目标物3D信息。
背景板尺寸优化
无论背景板3的表面形状和边缘形状如何，在垂直其被拍摄表面的方向进行投影，投影形状的水平方向上长度W1、投影形状的垂直方向上长度W2由下述条件决定：
其中，d1为成像元件水平方向长度，d2为成像元件垂直方向长度，T为沿光轴方向图像采集装置传感元件到背景板的垂直距离，f为图像采集装置的焦距，A1、A2为经验系数。
经过大量实验，优选，A1>1.04，A2>1.04；更优选的2>A1>1.1，2>A2>1.1。
在一些应用场景下，背景板3边缘为非直线形，导致其投影后投影图形边缘也为非直线。此时不同位置测量W1、W2均不同，因此实际计算时W1、W2不易确定。因此，可以在背景板相对两侧分别边缘取3-5个点，测量相对两点的直线距离，再取测量的平均值作为上述条件中的W1、W2。
如果背景板3过大，使得悬臂过长，会增加设备体积，同时给旋转带来额外的负担，使得设备更容易损坏。但如果背景板3过小，则会导致背景不单纯，从而带来计算的负担。
下表为实验对照结果：
实验条件：
采集对象：石膏像人头
相机：MER-2000-19U3M/C
镜头：OPT-C1616-10M
经验系数 合成时间 合成精度
A1＝1.2，A2＝1.2 3.3分钟 高
A1＝1.4，A2＝1.4 3.4分钟 高
A1＝0.9，A2＝0.9 4.5分钟 中高
无 7.8分钟 中
3D信息采集方法流程
将目标物，放置在图像采集装置1和背景板3之间。优选放置在旋转装置2的转轴延长线上，即图像采集装置1转动所围绕的圆心处。这样可以保证图像采集装置1在转动过程中距离目标物的距离基本不变，从而防止由于物距剧烈变化而导致图像采集不清晰，或导致对相机的景深要求过高(增加成本)。
当目标物为人体头部时，可以在图像采集装置1和背景板3之间放置座椅，在人坐下时，头部正好位于转动轴附近且在图像采集装置1和背景板3之间。由于每个人身高不同，因此待采集的区域(例如人体头部)的高度不同。此时可以通过调节座椅的高度来调整人体头部在图像采集装置1视场中的位置。在进行物体的采集时，可以将座椅替换为置物台。
除了调整座椅高度，还可以通过调整图像采集装置1和背景板3在竖直方向上的高度来保证目标物中心位于图像采集装置1的视场中心。例如背景板3可以沿第一安装柱4上下移动，承载图像采集装置1的水平托6可以沿第二安装柱7上下移动。通常，背景板3和图像采集装置1的移动是同步的，保证图像采集装置1的光轴穿过背景板3的中心位置。
由于每次采集目标物尺寸大小差异较大。如果图像采集装置1在同一位置进行采集，则会导致目标物在图像中的比例变化巨大。例如目标物A在图像中大小合适时，如果换成较小的目标物B，其在图像中的比例将非常小，这会极大地影响后续的3D合成速度和精度。因此，可以驱动图像采集装置在水平托6上前后移动，保证目标物在图像采集装置1所采集图片中的占比合适。
保证目标物基本不动，旋转装置2通过转动旋转横梁5带动图像采集装置1和背景板3围绕目标物转动，并且保证在转动过程中两者相对。在转动过程中进行采集时，可以连续转动，间隔固定角度进行采集；也可以在固定间隔角度的位置停止转动进行采集，采集后继续转动，并在下一位置继续停止转动进行采集。
3D采集相机位置优化
根据大量实验，采集的间隔距离优选满足如下经验公式：
在进行3D采集时，图像采集装置1相邻两个采集位置满足如下条件：
其中L为在相邻两个采集位置时图像采集装置光心的直线距离；f为图像采集装置的焦距；d为图像采集装置感光元件(CCD)的矩形长度或宽度；T为图像采集装置感光元件沿着光轴到目标物表面的距离；δ为调整系数，δ<0.603。
当上述两个位置是沿图像采集装置感光元件长度方向时，d取矩形长度；当上述两个位置是沿图像采集装置感光元件宽度方向时，d取矩形宽度。
图像采集装置在两个位置中的任何一个位置时，感光元件沿着光轴到目标物表面的距离作为T。除了这种方法外，在另一种情况下，L为An、An+1两个图像采集装置光心的直线距离，与An、An+1两个图像采集装置相邻的An-1、An+2两个图像采集装置和An、An+1两个图像采集装置各自感光元件沿着光轴到目标物表面的距离分别为Tn-1、Tn、Tn+1、Tn+2，T＝(Tn-1+Tn+Tn+1+Tn+2)/4。当然可以不只限于相邻4个位置，也可以用更多的位置进行平均值计算。
L应当为两个图像采集装置光心的直线距离，但由于图像采集装置光心位置在某些情况下并不容易确定，因此在某些情况下也可以使用图像采集装置的感光元件中心、图像采集装置的几何中心、图像采集装置与云台(或平台、支架)连接的轴中心、镜头近端或远端表面的中心替代，经过试验发现由此带来的误差是在可接受的范围内的。
通常情况下，现有技术中均采用物体尺寸、视场角等参数作为推算相机位置的方式，并且两个相机之间的位置关系也采用角度表达。由于角度在实际使用过程中并不好测量，因此在实际使用时较为不便。并且，物体尺寸会随着测量物体的变化而改变。例如，在进行一个成年人头部3D信息采集后，再进行儿童头部采集时，就需要重新测量头部尺寸，重新推算。上述不方便的测量以及多次重新测量都会带来测量的误差，从而导致相机位置推算错误。而本方案根据大量实验数据，给出了相机位置需要满足的经验条件，不仅避免测量难以准确测量的角度，而且不需要直接测量物体大小尺寸。经验条件中d、f均为相机固定参数，在购买相机、镜头时，厂家即会给出相应参数，无需测量。而T仅为一个直线距离，用传统测量方法，例如直尺、激光测距仪均可以很便捷的测量得到。因此，本发明的经验公式使得准备过程变得方便快捷，同时也提高了相机位置的排布准确度，使得相机能够设置在优化的位置中，从而在同时兼顾了3D合成精度和速度，具体实验数据参见下述。
利用本发明装置，进行实验，得到了如下实验结果。
更换相机镜头，再次实验，得到了如下实验结果。
更换相机镜头，再次实验，得到了如下实验结果。
从上述实验结果及大量实验经验可以得出，δ的值应当满足δ<0.603，此时已经能够合成部分3D模型，虽然有一部分无法自动合成，但是在要求不高的情况下也是可以接受的，并且可以通过手动或者更换算法的方式弥补无法合成的部分。特别是δ的值满足δ<0.410时，能够最佳地兼顾合成效果和合成时间的平衡；为了获得更好的合成效果可以选择δ<0.356，此时合成时间会上升，但合成质量更好。当然为了进一步提高合成效果，可以选择δ<0.311。而当δ为0.681时，已经无法合成。但这里应当注意，以上范围仅仅是最佳实施例，并不构成对保护范围的限定。
并且从上述实验可以看出，对于相机拍照位置的确定，只需要获取相机参数(焦距f、CCD尺寸)、相机CCD与物体表面的距离T即可根据上述公式得到，这使得在进行设备设计和调试时变得容易。由于相机参数(焦距f、CCD尺寸)在相机购买时就已经确定，并且是产品说明中就会标示的，很容易获得。因此根据上述公式很容易就能够计算得到相机位置，而不需要再进行繁琐的视场角测量和物体尺寸测量。特别是在一些场合中，需要更换相机镜头，那么本发明的方法直接更换镜头常规参数f计算即可得到相机位置；同理，在采集不同物体时，由于物体大小不同，对于物体尺寸的测量也较为繁琐。而使用本发明的方法，无需进行物体尺寸测量，能够更为便捷地确定相机位置。并且使用本发明确定的相机位置，能够兼顾合成时间和合成效果。因此，上述经验条件是本发明的发明点之一。
以上数据仅为验证该公式条件所做实验得到的，并不对发明构成限定。即使没有这些数据，也不影响该公式的客观性。本领域技术人员可以根据需要调整设备参数和步骤细节进行实验，得到其他数据也是符合该公式条件的。
本发明所述的转动运动，为在采集过程中前一位置采集平面和后一位置采集平面发生交叉而不是平行，或前一位置图像采集装置光轴和后一位置图像采集位置光轴发生交叉而不是平行。也就是说，图像采集装置的采集区域环绕或部分环绕目标物运动，均可以认为是两者相对转动。虽然本发明实施例中列举更多的为有轨道的转动运动，但是可以理解，只要图像采集设备的采集区域和目标物之间发生非平行的运动，均是转动范畴，均可以使用本发明的限定条件。本发明保护范围并不限定于实施例中的有轨道转动。
本发明所述的相邻采集位置是指，在图像采集装置相对目标物移动时，移动轨迹上的发生采集动作的两个相邻位置。这通常对于图像采集装置运动容易理解。但对于目标物发生移动导致两者相对移动时，此时应当根据运动的相对性，将目标物的运动转化为目标物不动，而图像采集装置运动。此时再衡量图像采集装置在转化后的移动轨迹中发生采集动作的两个相邻位置。
三维模型的利用
利用上述方法可以合成目标物的三维模型，从而将现实物理世界的物体完整地数字化。这些数字化的信息可以用来进行物体的识别、比对，用来产品设计，用来进行3D展示，用来辅助医疗等多种用途。
例如，在采集了人脸的三维信息后，就可以将其作为识别比对的基础，进行人脸3D识别。
例如，利用人体三维模型可以为用户设计更合身的衣服。
例如，生成工件的三维模型后，可以直接进行3D打印加工。
例如，生成了人体内部的三维模型后，可以将人体信息数字化，从而用来模拟手术过程，用于医疗教学。
上述目标物体、目标物、及物体皆表示预获取三维信息的对象。可以为一实体物体，也可以为多个物体组成物。例如可以为头部、手部等。所述目标物的三维信息包括三维图像、三维点云、三维网格、局部三维特征、三维尺寸及一切带有目标物三维特征的参数。本发明里所谓的三维是指具有XYZ三个方向信息，特别是具有深度信息，与只有二维平面信息具有本质区别。也与一些称为三维、全景、全息、三维，但实际上只包括二维信息，特别是不包括深度信息的定义有本质区别。
本发明所说的采集区域是指图像采集装置(例如相机)能够拍摄的范围。本发明中的图像采集装置可以为CCD、CMOS、相机、摄像机、工业相机、监视器、摄像头、手机、平板、笔记本、移动终端、可穿戴设备、智能眼镜、智能手表、智能手环以及带有图像采集功能所有设备。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于本发明装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (9)

1.一种用于背景板同步旋转采集中的三维模型生成方法，其特征在于：
第一步：利用3D信息采集设备采集目标物多组图像；
第二步：对所有输入照片进行图像增强处理；
第三步：对输入的所有图像进行特征点提取，并进行特征点匹配，获取稀疏特征点；
第四步：输入匹配的特征点坐标，解算稀疏的人脸三维点云和图像采集装置的位置和姿态数据，即获得了稀疏目标物模型三维点云和位置的模型坐标值；以稀疏特征点为初值，进行多视图像稠密匹配，获取得到密集点云数据；
第五步：利用密集点云进行目标物曲面重建；
第六步：对目标物模型进行纹理贴图；
其中，3D信息采集设备包括图像采集装置、旋转装置和背景板，图像采集装置和背景板相对设置，由旋转装置带动同步旋转，保证在转动过程中始终相对，从而使得图像采集装置采集的图像背景为背景板；
第一步中采集设备中的图像采集装置相邻两个采集位置满足如下条件：
其中L为在相邻两个采集位置时图像采集装置光心的直线距离；f为图像采集装置的焦距；d为图像采集装置感光元件的矩形长度或宽度；T为图像采集装置感光元件沿着光轴到目标物表面的距离；δ为调整系数，δ<0.603。
2.如权利要求1所述方法，其特征在于：第二步中图像增强处理包括：
采用如下滤波器增强原始照片的反差和同时压制噪声；
式中：g(x,y)为原始影像在(x,y)处灰度值，f(x,y)为经过Wallis滤波器增强后该处的灰度值，mg为原始影像局部灰度均值，sg为原始影像局部灰度标准偏差，mf为变换后的影像局部灰度目标值，sf为变换后影像局部灰度标准偏差目标值，c∈(0,1)为影像方差的扩展常数，b∈(0,1)为影像亮度系数常数。
3.如权利要求1所述方法，其特征在于：第三步包括：①构建Hessian矩阵，生成所有的兴趣点，用于特征提取；②构建尺度空间特征点定位；③确定特征点主方向；④生成64维特征点描述向量；⑤特征点匹配。
4.如权利要求1所述方法，其特征在于：第三步中Hessian矩阵来检测特征点时，使用箱式滤波器。
5.如权利要求1所述方法，其特征在于：第四步包括立体像对选择、深度图计算、深度图优化、深度图融合。
6.如权利要求1所述方法，其特征在于：第五步包括：定义八叉树、设置函数空间、创建向量场、求解泊松方程、提取等值面。
7.如权利要求1所述方法，其特征在于：第六步包括：①纹理数据获取通过图像重建目标的表面三角面格网；②重建模型三角面的可见性分析；③三角面聚类生成纹理贴片；④纹理贴片自动排序生成纹理图像。
8.一种处理器，其特征在于：执行如权利要求1-7任一所述方法。
9.一种存储器，其特征在于：存储执行权利要求1-7任一所述方法的程序。
CN202010815878.6A 2019-12-12 2019-12-12 用于背景板同步旋转采集中的三维模型生成方法 Active CN112016570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010815878.6A CN112016570B (zh) 2019-12-12 2019-12-12 用于背景板同步旋转采集中的三维模型生成方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911276064.3A CN111028341B (zh) 2019-12-12 2019-12-12 一种三维模型生成方法
CN202010815878.6A CN112016570B (zh) 2019-12-12 2019-12-12 用于背景板同步旋转采集中的三维模型生成方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201911276064.3A Division CN111028341B (zh) 2019-12-12 2019-12-12 一种三维模型生成方法

Publications (2)

Publication Number Publication Date
CN112016570A CN112016570A (zh) 2020-12-01
CN112016570B true CN112016570B (zh) 2023-12-26

Family

ID=70206374

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010815878.6A Active CN112016570B (zh) 2019-12-12 2019-12-12 用于背景板同步旋转采集中的三维模型生成方法
CN201911276064.3A Active CN111028341B (zh) 2019-12-12 2019-12-12 一种三维模型生成方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201911276064.3A Active CN111028341B (zh) 2019-12-12 2019-12-12 一种三维模型生成方法

Country Status (1)

Country Link
CN (2) CN112016570B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112254677B (zh) * 2020-10-15 2022-10-21 天目爱视（北京）科技有限公司 一种基于手持设备的多位置组合式3d采集系统及方法
CN112257535B (zh) * 2020-10-15 2022-04-08 天目爱视（北京）科技有限公司 一种躲避物体的三维匹配的设备及方法
CN112257536B (zh) * 2020-10-15 2022-05-20 天目爱视（北京）科技有限公司 一种空间与物体三维信息采集匹配设备及方法
CN112200905B (zh) * 2020-10-15 2023-08-22 革点科技(深圳)有限公司 一种三维人脸补全的方法
CN113566793A (zh) * 2021-06-15 2021-10-29 北京道达天际科技有限公司 基于无人机倾斜影像的真正射影像生成方法和装置
CN114909999A (zh) * 2022-07-18 2022-08-16 深圳市超准视觉科技有限公司 一种基于结构光的三维测量系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100800554B1 (ko) * 2007-07-03 2008-02-04 (주)지에스엠솔루션 이동형 사진측량 시스템에서의 레이저 스캐너와 카메라영상정보를 이용한 3차원 모델링 방법
WO2011070927A1 (ja) * 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
CN105184863A (zh) * 2015-07-23 2015-12-23 同济大学 一种基于无人机航拍序列影像的边坡三维重建方法
WO2017080108A1 (zh) * 2015-11-13 2017-05-18 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
CN107610215A (zh) * 2017-08-11 2018-01-19 桂林航天工业学院 一种高精度多角度口腔三维数字成像模型构建方法
CN108229448A (zh) * 2018-02-14 2018-06-29 天目爱视（北京）科技有限公司 一种手部3d四维数据采集装置
CN108259751A (zh) * 2018-02-14 2018-07-06 天目爱视（北京）科技有限公司 一种多相机数据采集控制系统
CN108319939A (zh) * 2018-04-04 2018-07-24 天目爱视（北京）科技有限公司 一种3d四维头部面部数据识别设备
CN109269405A (zh) * 2018-09-05 2019-01-25 天目爱视（北京）科技有限公司 一种快速3d测量和比对方法
WO2019100933A1 (zh) * 2017-11-21 2019-05-31 蒋晶 用于三维测量的方法、装置以及系统
CN110533774A (zh) * 2019-09-09 2019-12-03 江苏海洋大学 一种基于智能手机的三维模型重建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247045B (zh) * 2013-04-18 2015-12-23 上海交通大学 一种从多视图中得到人造场景主方向及图像边缘的方法
CN108470150A (zh) * 2018-02-14 2018-08-31 天目爱视（北京）科技有限公司 一种基于可见光相机的生物特征四维数据采集方法及装置
CN109242898B (zh) * 2018-08-30 2022-03-22 华强方特（深圳）电影有限公司 一种基于图像序列的三维建模方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100800554B1 (ko) * 2007-07-03 2008-02-04 (주)지에스엠솔루션 이동형 사진측량 시스템에서의 레이저 스캐너와 카메라영상정보를 이용한 3차원 모델링 방법
WO2011070927A1 (ja) * 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
CN105184863A (zh) * 2015-07-23 2015-12-23 同济大学 一种基于无人机航拍序列影像的边坡三维重建方法
WO2017080108A1 (zh) * 2015-11-13 2017-05-18 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
CN107610215A (zh) * 2017-08-11 2018-01-19 桂林航天工业学院 一种高精度多角度口腔三维数字成像模型构建方法
WO2019100933A1 (zh) * 2017-11-21 2019-05-31 蒋晶 用于三维测量的方法、装置以及系统
CN108229448A (zh) * 2018-02-14 2018-06-29 天目爱视（北京）科技有限公司 一种手部3d四维数据采集装置
CN108259751A (zh) * 2018-02-14 2018-07-06 天目爱视（北京）科技有限公司 一种多相机数据采集控制系统
CN108319939A (zh) * 2018-04-04 2018-07-24 天目爱视（北京）科技有限公司 一种3d四维头部面部数据识别设备
CN109269405A (zh) * 2018-09-05 2019-01-25 天目爱视（北京）科技有限公司 一种快速3d测量和比对方法
CN110533774A (zh) * 2019-09-09 2019-12-03 江苏海洋大学 一种基于智能手机的三维模型重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Wallis滤波在影像匹配中的应用;张力 等;《武汉测绘科技大学学报》;全文 *
基于序列影像的空间目标三维重建关键技术研究;侯晓芬;《中国优秀硕士学位论文全文数据库 信息科技辑》;全文 *

Also Published As

Publication number Publication date
CN112016570A (zh) 2020-12-01
CN111028341A (zh) 2020-04-17
CN111028341B (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN112016570B (zh) 用于背景板同步旋转采集中的三维模型生成方法
CN111060023B (zh) 一种高精度3d信息采集的设备及方法
CN111292364B (zh) 一种三维模型构建过程中图像快速匹配的方法
CN111292239B (zh) 一种三维模型拼接设备及方法
CN112304222B (zh) 一种背景板同步旋转的3d信息采集设备
CN113532329B (zh) 一种以投射光斑为标定点的标定方法
CN113327291B (zh) 一种基于连续拍摄对远距离目标物3d建模的标定方法
CN111076674B (zh) 一种近距离目标物3d采集设备
CN111060008B (zh) 一种3d智能视觉设备
CN111160136B (zh) 一种标准化3d信息采集测量方法及系统
WO2021185216A1 (zh) 一种基于多激光测距的标定方法
CN111340959B (zh) 一种基于直方图匹配的三维模型无缝纹理贴图方法
CN110973763B (zh) 一种足部智能3d信息采集测量设备
CN111445528B (zh) 一种在3d建模中多相机共同标定方法
CN111208138B (zh) 一种智能木料识别装置
CN111445570B (zh) 一种定制化服装设计生产设备及方法
CN211085114U (zh) 带背景板的3d信息采集设备
CN112435080A (zh) 一种基于人体三维信息的虚拟制衣设备
CN113538552B (zh) 一种基于图像排序的3d信息合成图像匹配的方法
WO2021115297A1 (zh) 3d信息采集的设备及方法
CN113115024B (zh) 一种3d信息采集设备
CN211672690U (zh) 一种人体脚部三维采集设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant