CN111311728B - 一种基于光流法的高精度形貌重建方法、设备及装置 - Google Patents

一种基于光流法的高精度形貌重建方法、设备及装置 Download PDF

Info

Publication number
CN111311728B
CN111311728B CN202010026483.8A CN202010026483A CN111311728B CN 111311728 B CN111311728 B CN 111311728B CN 202010026483 A CN202010026483 A CN 202010026483A CN 111311728 B CN111311728 B CN 111311728B
Authority
CN
China
Prior art keywords
image
point cloud
optical flow
correction point
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010026483.8A
Other languages
English (en)
Other versions
CN111311728A (zh
Inventor
王国平
刘迎宾
郭彦彬
叶韶华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Ezhou Institute of Industrial Technology Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Ezhou Institute of Industrial Technology Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology, Ezhou Institute of Industrial Technology Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202010026483.8A priority Critical patent/CN111311728B/zh
Publication of CN111311728A publication Critical patent/CN111311728A/zh
Application granted granted Critical
Publication of CN111311728B publication Critical patent/CN111311728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于光流法的高精度形貌重建方法、设备及装置，所述方法包括控制深度相机按照预设轨迹运动到第一位置，采集待测物体的图像信息，所述图像信息包括色彩图和深度图；判断所述第一位置是否为修正点，所述修正点为所述预设轨迹上满足预订条件的位置；当所述第一位置为修正点时，获取所述深度相机在修正点的位姿；根据所述深度相机的内参数、所述深度相机在修正点的位姿和图像信息，获取修正点的图像点云；利用修正点的图像点云与其上一帧的图像点云的坐标差计算光流，以使修正点的图像点云与其上一帧的图像点云拼接。由于利用修正点与其上一帧图像的坐标差计算出光流，因此可在修正点对光流进行局部优化，增加重建精度。

Description

一种基于光流法的高精度形貌重建方法、设备及装置
技术领域
本发明涉及图像处理与机器视觉领域，特别涉及一种基于光流法的高精度形貌重建方法、设备及装置。
背景技术
三维重建技术是根据三维物体建立适合计算机表示和处理的数学模型, 是在计算机环境下对其进行处理、操作和分析其性质的基础,是虚拟现实与增强现实的关键技术，也是计算机辅助几何设计(CAGD)、计算机图形学 (CG)、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术，具有极大的发展前景与市场潜力，作为逆向工程理想技术，三维重建过程通过一定的手段获取真实物体的几何形状，利用二维投影恢复物体三维信息(形状等)的数学过程和计算机技术，包括数据获取、预处理、点云拼接和特征分析等步骤。
在进行点云拼接时，一般是利用光流法获取来对相邻视角的两幅图像进行匹配，然后再拼接，如果直接利用光流法来追踪像素点的位置，则由于图像的数量过大，在多次使用算法计算时，会增加误差，导致重建精度降低。因而现有技术还有待改进和提高。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提供一种基于光流法的高精度形貌重建方法、设备及装置，可避免多次采用光流法而导致重建精度降低的问题。
为了达到上述目的，本发明提供了一种基于光流法的高精度形貌重建方法，包括如下步骤：
S1、控制深度相机按照预设轨迹运动到第一位置，采集待测物体的图像信息，所述图像信息包括色彩图和深度图；
S2、获取所述深度相机的内参数和外参数；
S3、判断所述第一位置是否为修正点，所述修正点为所述预设轨迹上满足预订条件的位置；
当所述第一位置为修正点时，获取所述深度相机在修正点的位姿；根据所述深度相机的内参数、所述深度相机在修正点的位姿和图像信息，获取所述修正点的图像点云；利用所述修正点的图像点云与其上一帧的图像点云的坐标差计算光流，以使所述修正点的图像点云与其上一帧的图像点云拼接；
当所述第一位置为非修正点时，根据所述深度相机的内参数和外参数进行坐标系转换，获取非修正点的图像点云，利用光流法计算光流，以使所述非修正点的图像点云与其上一帧的图像点云拼接；
S4、判断待测物体是否扫描完成，如果是，则输出拼接完的图像点云得到三维模型，否则按照预设轨迹运动到下一位置进行图像采集，并重复步骤S1至S3。
优选的，所述的基于光流法的高精度形貌重建方法中，所述步骤S3中，所述满足预定条件的位置为所述预设轨迹上间隔相同角度或相同长度的位置。
优选的，所述的基于光流法的高精度形貌重建方法中，所述步骤S3中，所述根据所述深度相机的内参数、所述深度相机在修正点的位姿和图像信息，获取所述修正点的图像点云的步骤，包括：
根据所述深度相机的内参数和所述深度相机在修正点的位姿，计算出所述深度相机在修正点的色彩图的各个像素点在世界坐标系中的二维坐标；
根据所述深度相机在修正点的色彩图的各个像素点在世界坐标系中的二维坐标以及与修正点的色彩图对应的深度图，获取修正点的图像点云。
优选的，所述的基于光流法的高精度形貌重建方法中，所述步骤S3中，所述利用所述修正点的图像点云与其上一帧的图像点云的坐标差计算光流，以使所述修正点的图像点云与其上一帧的图像点云拼接的步骤具体包括：
计算出所述修正点的图像点云与其上一帧的图像点云的坐标差；
计算出所述修正点的图像与其上一帧的图像采集的时刻差；
根据所述坐标差和时刻差计算出所述修正点的图像与其上一帧图像之间的光流，以匹配所述修正点的图像点云与其上一帧的图像点云；
根据匹配结果将所述修正点的图像点云与其上一帧的图像点云进行点云拼接。
优选的，所述的基于光流法的高精度形貌重建方法中，所述步骤S3中，所述当所述第一位置为非修正点时，根据所述深度相机的内参数和外参数进行坐标系转换，获取非修正点的图像点云的步骤包括：
根据非修正点的图像获取非修正点的图像中的色彩图的每个像素点对应的深度信息；
获取非修正点的图像中的色彩图的各个像素点在像素坐标系中的二维坐标；
利用非修正点的图像中的色彩图的像素点的深度信息、在像素坐标系中的二维坐标以及所述深度相机的内参数和外参数，进行像素坐标系和世界坐标系之间的转换，获取非修正点的图像的图像点云。
优选的，所述的基于光流法的高精度形貌重建方法中，所述步骤S3中，所述利用光流法计算光流，以使非修正点的图像点云与其上一帧的图像点云拼接的步骤包括：
采用LK光流法追踪非修正点的图像与其上一帧图像之间的光流，以匹配非修正点的图像点云与其相上一帧的图像点云；
根据匹配结果将非修正点的图像点云与其上一帧的图像点云进行点云拼接。
优选的，所述的基于光流法的高精度形貌重建方法还包括：
采用贪婪投影三角化算法对拼接获得的点云模型进行三角化处理得到三维重建模型；
对获得的三维重建模型进行渲染贴图以获得具有纹理信息的三维重建模型。
另一方面，本发明还提供了一种基于光流法的高精度形貌重建设备，包括处理器以及与所述处理器连接的存储器；
所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述处理器执行所述计算机可读程序时实现如上所述的基于光流法的高精度形貌重建方法。
另一方面，本发明还提供了一种基于光流法的高精度形貌重建装置，包括如上所述的基于光流法的高精度形貌重建设备，还包括支撑架、转轮、横臂、垂臂、圆环、安装块、旋转电机和深度相机，其中，
所述转轮设置在所述支撑架的底部，所述横臂固定在所述支撑架上，所述圆环与所述旋转电机均固定在所述安装块上，所述旋转电机可带动高精度形貌重建装置绕所述旋转电机的轴心转动，所述安装块固定安装在所述横臂的末端，所述垂臂固定在所述安装块的下方，所述深度相机安装在所述垂臂上并可相对于所述垂臂滑动，所述深度相机以及所述旋转电机均与所述基于光流法的高精度形貌重建设备电连接。
相较于现有技术，本发明提供的基于光流法的高精度形貌重建方法、设备、装置，通过在相机拍摄过程直接获取相机在修正点的位姿，能够利用修正点的位姿计算出修正点的各个像素点的坐标，然后利用修正点与其上一帧图像的坐标差计算出光流，进而可在修正点对光流进行局部优化，避免多次连续采用光流法而导致的误差增加、重建精度降低的问题，另外，RGB-D相机不仅有三维信息，同时还带有RGB的颜色、纹理信息，使传统结构光式三维重建方法无法实现的精细的、带有纹理的三维模型重建得以实现。
附图说明
图1为本发明提供的基于光流法的高精度形貌重建方法的一较佳实施例的流程图；
图2为为本发明基于光流法的形貌重建程序的一较佳实施例的运行环境示意图；
图3为本发明安装基于光流法的形貌重建程序的系统较佳实施例的功能模块图；
图4为本发明提供的基于光流法的高精度形貌重建装置的一较佳实施例的结构示意图。
具体实施方式
本发明提供一种基于光流法的高精度形貌重建方法、设备及装置，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请参阅图1，其为本发明提供的基于光流法的高精度形貌重建方法的一较佳实施例的流程图，所述方法包括：
S1、控制深度相机按照预设轨迹运动到第一位置，采集待测物体的图像信息，所述图像信息包括色彩图和深度图；
S2、获取所述深度相机的内参数和外参数；
S3、判断所述第一位置是否为修正点，所述修正点为所述预设轨迹上满足预订条件的位置；
当所述第一位置为修正点时，获取所述深度相机在修正点的位姿；根据所述深度相机的内参数、所述深度相机在修正点的位姿和图像信息，获取所述修正点的图像点云；利用所述修正点的图像点云与其上一帧的图像点云的坐标差计算光流，以使所述修正点的图像点云与其上一帧的图像点云拼接；
当所述第一位置为非修正点时，根据所述深度相机的内参数和外参数进行坐标系转换，获取非修正点的图像点云，利用光流法计算光流，以使所述非修正点的图像点云与其上一帧的图像点云拼接；
S4、判断待测物体是否扫描完成，如果是，则输出拼接完的图像点云得到三维模型，否则按照预设轨迹运动到下一位置进行图像采集，并重复步骤S1至S3。
本领域技术人员能够理解的是，第一位置可为预设轨迹上的任意位置，修正点为预设轨迹上的特定位置。为了避免后续多次利用光流法来计算相邻图像之间的光流，导致重建误差大，本实施例中在预设轨迹上设置有若干个修正点，当第一位置位于修正点时，利用修正点与其上一帧图像的坐标差计算出光流，当第一位置位于非修正点时，利用光流法计算光流，进而可以对光流进行局部优化，避免多次连续采用光流法而导致的误差增加、重建精度降低的问题。
为了取得待重建物体的多个角度的图像，可控制深度相机按照预设轨迹进行圆周运动或者直线运动。满足预定条件的位置为预设轨迹上间隔相同角度或相同长度的位置。具体实施时，当所述深度相机在当前高度下进行圆周运动时，所述满足预定条件的位置可以为与圆周运动的初始位置形成预设角度的N倍的夹角的位置，其中N为不小于1的自然数，优选的，所述预设角度为5度，在所述深度相机在当前高度从初始位置转动5°、10°、15°……时，即判断此位置为修正点。
此时，修正点相机位姿的获取方法为：通过相机转动的角度来计算相机的位姿，具体的，当所述深度相机通过多次轴向运动移动到当前高度后，在当前高度进行圆周运动时，以深度相机的转动中心作为坐标原点，则深度相机的初始位姿为(r，0，0)，其中r为相机圆周运动的转轴半径，z为深度相机的当前高度，所以相机在进行圆周运动时，根据几何原理，所述深度相机的X轴坐标即为x＝r-rcosα，其中r转轴半径，α为从初始位置累积转动的角度0<α<360，所述深度相机的Y轴坐标为y＝rsinα，所述深度相机的当前高度可通过深度相机的轴向运动状况获取，即z＝Kt，其中，K为每次轴向运动的移动距离，t代表轴向移动次数，此时即计算出了相机的位姿(x，y，z)。
当所述深度相机在当前高度下进行直线运动时，所述满足预定条件的位置也可以为直线运动到与初始位置的距离为预设距离的M倍的位置，其中，M为不小于1的自然数。此时，修正点相机位姿的获取方法为：以深度相机的初始位置作为坐标原点，则深度相机初始位姿为(0，0，0)，然后相机在直线运动到预设位置后，相机的位姿即为(x，y，0)，x即为相机在x方向移动的距离，y为相机在y方向移动的距离。
优选的，相机的内参数和外参数均采用标定法获取，所述深度相机的外参数包括三个轴的旋转参数，分别是是(w、δ、θ)，以及三个轴的平移参数，分别是(Tx、Ty、Tz)，所述深度相机的内参数包括fx、fy、u0、v0。 fx也就是F*Sx，其中F是焦距，Sx是像素/每毫米，表示x方向一个像素分别占多少个单位，是反映现实中的图像物理坐标关系与像素坐标系转换的关键。
进一步的实施例中，在获取了深度相机的修正点的位姿后，根据获取的位姿来计算修正点的图像点云。具体的，所述步骤S3中，所述根据所述深度相机的内参数、所述深度相机在修正点的位姿和图像信息，获取所述修正点的图像点云的步骤，包括：
根据所述深度相机的内参数和所述深度相机在修正点的位姿，计算出所述深度相机在修正点的色彩图的各个像素点在世界坐标系中的二维坐标；
根据所述深度相机在修正点的色彩图的各个像素点在世界坐标系中的二维坐标以及与修正点的色彩图对应的深度图，获取修正点的图像点云。
本实施例中，在获取了所述深度相机的位姿后，利用相机位姿以及相机内参矩阵，即可获取像素点在世界坐标系中的二维坐标，然后利用深度图即可获取修正视角的像素点的三维坐标，即可获取修正点的图像点云，具体的，通过将色彩图和深度图进行对齐处理，可直接获取该修正点下的色彩图的每个像素点的深度信息，由于此图像点云为根据实际位姿计算而得，相较于算法估计其点云数据更真实准确，在后续进行光流匹配时，能够在修正点进行一次局部优化，从而显著提高三维重建精度。
进一步的，在获取了修正点的图像点云后，即可根据上一帧图像的点云来获取相邻两帧图像之间的光流，进而进行图像拼接。上一帧图像是指深度相机上一个位置获取的图像。具体的，所述步骤S3中，所述利用所述修正点的图像点云与其上一帧的图像点云的坐标差计算光流，以使修正点的图像点云与其上一帧的图像点云拼接的步骤具体包括：
计算出所述修正点的图像点云与其上一帧的图像点云的坐标差；
计算出所述修正点的图像与其上一帧的图像采集的时刻差；
根据所述坐标差和时刻差计算出所述修正点的图像与其上一帧图像之间的光流，以匹配所述修正点的图像点云与其上一帧的图像点云；
根据匹配结果将所述修正点的图像点云与其上一帧的图像点云进行点云拼接。
例如，假设前一帧时间为t1，后一帧时间为t2。则前一帧I的像素点I1(x1, y1,z1,t1)在后一帧中的位置为I2(x2,y2,z2,t2)，则时间差为t2-t1，坐标差为 (x2-x1,y2-y1,z2-z1)，光流为
本实施例中，光流为图像点云与其上一帧的图像点云的坐标差除以修正点的图像与其上一帧的图像采集的时刻差后的除值，由于此光流根据实际测量的坐标获取，所以相比光流法计算光流，光流数据更准确，进而在进行点云拼接时，能够增加重建的精度，避免算法的累积误差。
进一步的实施例中，当所述第一位置为非修正点时，此时利用光流法来进行相邻图像之间的匹配，首先还需求取非修正点的图像点云，具体的，所述步骤S3中，所述当所述第一位置为非修正点时，根据所述深度相机的内参数和外参数进行坐标系转换，获取非修正点的图像点云的步骤包括：
根据非修正点的图像获取非修正点的图像中的色彩图的每个像素点对应的深度信息；
获取非修正点的图像中的色彩图的各个像素点在像素坐标系中的二维坐标；
利用非修正点的图像中的色彩图的像素点的深度信息、在像素坐标系中的二维坐标以及所述深度相机的内参数和外参数，进行像素坐标系和世界坐标系之间的转换，获取非修正点的图像的图像点云。
本实施例中，通过利用深度相机的内参数和外参数以及非修正点的色彩图的像素点对应的深度信息即可进行坐标系的转换，使像素点在像素坐标系中的二维坐标转换为世界坐标系中的三维坐标，具体的采用张正友标定法来进行坐标系的转换，在针孔模型中，世界坐标系下三维点M与图像坐标系投影点m的关系为：
其中，
s为任意数；m为二维坐标；A为内参矩阵；R为旋转矩阵；t为平移矩阵；为三维坐标。
若定义H＝[R,t]，则有H则为单应性矩阵，相机平面中的坐标点可以通过角点提取的方式获取，空间平面三维点可以通过已知尺寸的标定板获取，针对每张图片都可以求得一对应的H矩阵，在获取了H矩阵后即可根据H矩阵求取每个像素点在世界坐标系中的坐标，完成像素坐标系和世界坐标系的转换，进而可获取非修正点的图像点云，通过坐标转换可快速获取非修正点的各个像素点的点云，达到快速重建的目的。
进一步的，在获取了非修正点的图像点云后，即可利用光流法实现非修正点与上一帧图像的点云拼接，具体的，所述步骤S3中，所述利用光流法计算光流，以使非修正点的图像点云与其上一帧的图像点云拼接的步骤包括：
采用LK(Lucas-Kanade)光流法追踪非修正点的图像与其上一帧图像之间的光流，以匹配非修正点的图像点云与其相上一帧的图像点云；
根据匹配结果将非修正点的图像点云与其上一帧的图像点云进行点云拼接。
本实施例中，通过LK光流法可以对像素点的位置进行追踪，可以减少特征点的数量，回避计算和匹配描述子所带来的的时间，进一步缩短了重建时间，具体的，LK光流法的原理为：
假设前一帧时间为t，后一帧时间为t+δt。则前一帧I的像素点I(x,y,z, t)在后一帧中的位置为I(x+δx,y+δy,z+δz,t+δt)，根据亮度恒定假设： I(x，y，z，t)＝I(x+δx，y+δy，z+δz，t+δt)，根据小运动假设，将上式右侧用泰勒级数展开：
其中，H.O.T是泰勒级数展开式的高阶项，小运动情况下可以忽略为0，根据上面两个公式可以得到：
或者下面的公式：
而对于二维图像而言，只需要考虑x,y,t即可，其中Ix，Iy It分别为图像在(x,y,t)方向的差分，写为如下形式：
IxVx+IyVy＝-It，现在有两个未知数Vx和Vy，只有一个方程。因此用到第三个假设：即空间一致性假设，LK算法是利用3x3窗口内的9个像素点建立9个方程。简写为下面的形式：
写成矩阵形式：
当然两个未知数，9个方程，这是一个超定问题，采用最小二乘法解决：
写成如下形式：
根据上式通过累加邻域像素点在三个维度的偏导数并做矩阵运算，即可算出该点的光流(Vx,Vy)。然后根据光流将相邻两个视角的图像点云进行点云拼接以获取待重建物体的完整点云模型。
进一步的实施例中，所述方法还包括：
对获取的图像点云进行平滑及滤波处理。
本实施例中，由于光照、环境等因素影响，实际情况中重建出的三维点云数据存在噪声点，需要对其进行平滑和滤波处理，可以显著减少或消除噪声点。
进一步的，所述方法还包括：
采用贪婪投影三角化算法对拼接获得的点云模型进行三角化处理得到三维重建模型；
对获得的三维重建模型进行渲染贴图以获得具有纹理信息的三维重建模型。
具体的，本发明实施例中采用贪婪投影三角化算法对拼接获得的点云模型进行三角化处理得到三维重建模型，贪婪投影算法原理是：通过控制一系列点列表(边缘点)能使网格生长，并将其向外扩展直到所有可能的点被连接。局部三角化是通过沿点的法向映射点的局部领域点，并连接未连接点。该算法是基于增量表面生长原理，遵循贪婪类型方法。该算法首先创建一个初始三角形，并继续添加新的三角形，直到考虑了点云中的所有点，或者没有更多地有效三角形可以连接到网格中。此外，为了获取更具有纹理信息的三维重建模型，本发明通过对三维重建模型进行渲染贴图，是三维重建模型具有纹理信息，使所述三维重建模型可用于医学图像的多模融合、人体建模等需要精细、准确模型的应用场景。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。
如图2所示，基于上述基于光流法的高精度形貌重建方法，本发明还相应提供了一种基于光流法的高精度形貌重建设备，所述基于光流法的高精度形貌重建设备可以是移动终端、桌上型计算机、笔记本及服务器等计算设备。
该基于光流法的高精度形貌重建设备包括处理器10、存储器20及显示器30。图2仅示出了基于光流法的高精度形貌重建设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述基于光流法的高精度形貌重建设备的内部存储单元，例如基于光流法的高精度形貌重建设备的硬盘或内存。所述存储器20在另一些实施例中也可以是所述基于光流法的高精度形貌重建设备的外部存储设备，例如所述基于光流法的高精度形貌重建设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)，安全数字 (Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括基于光流法的高精度形貌重建设备的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述基于光流法的高精度形貌重建设备的应用软件及各类数据，例如所述基于光流法的高精度形貌重建设备的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于光流法的形貌重建程序40，该基于光流法的形貌重建程序可被处理器10执行，从而实现本申请各实施例的基于光流法的高精度形貌重建方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于光流法的高精度形貌重建方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示所述基于光流法的高精度形貌重建设备的信息以及用于显示可视化的用户界面。所述基于光流法的高精度形貌重建设备的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于光流法的形貌重建程序40时实现如上述实施例所述的基于光流法的高精度形貌重建方法中的步骤，所述基于光流法的高精度形貌重建方法的技术效果在所述基于光流法的高精度形貌重建设备中同样具备，在此不再赘述。
请参阅图3，其为本发明安装基于光流法的形貌重建程序的系统较佳实施例的功能模块图。在本实施例中，安装基于光流法的形貌重建程序的系统可以被分割成一个或多个模块，所述一个或者多个模块被存储于所述存储器20中，并由一个或多个处理器(本实施例为所述处理器10)所执行，以完成本发明。例如，在图3中，安装基于光流法的形貌重建程序的系统可以被分割成运动控制模块21、内外参获取模块22、修正点判断及处理模块23、以及扫描判断模块24。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述基于光流法的形貌重建程序在所述基于光流法的高精度形貌重建设备中的执行过程。以下描述将具体介绍所述模块21-24的功能。
运动控制模块21，用于控制深度相机按照预设轨迹运动到第一位置，采集待测物体的图像信息，所述图像信息包括色彩图和深度图；
内外参获取模块22，用于获取所述深度相机的内参数和外参数；
修正点判断及处理模块23，用于判断所述第一位置是否为修正点，所述修正点为所述预设轨迹上满足预订条件的位置；
当所述第一位置为修正点时，获取所述深度相机在修正点的位姿；根据所述深度相机的内参数、所述深度相机在修正点的位姿和图像信息，获取所述修正点的图像点云；利用所述修正点的图像点云与其上一帧的图像点云的坐标差计算光流，以使所述修正点的图像点云与其上一帧的图像点云拼接；
当所述第一位置为非修正点时，根据所述深度相机的内参数和外参数进行坐标系转换，获取非修正点的图像点云，利用光流法计算光流，以使所述非修正点的图像点云与其上一帧的图像点云拼接；
扫描判断模块24，用于判断待测物体是否扫描完成，如果是，则输出拼接完的图像点云得到三维模型，否则按照预设轨迹运动到下一位置进行图像采集。
优选的，所述满足预定条件的位置为所述预设轨迹上间隔相同角度或相同长度的位置。进行圆周运动时，与圆周运动的初始位置形成预设角度的N倍的夹角的位置，其中N为不小于1的自然数。
优选的，所述修正点判断及处理模块23具体用于：
计算出所述修正点的图像点云与其上一帧的图像点云的坐标差；
计算出所述修正点的图像与其上一帧的图像采集的时刻差；
根据所述坐标差和时刻差计算出所述修正点的图像与其上一帧图像之间的光流，以匹配所述修正点的图像点云与其上一帧的图像点云；
根据匹配结果将所述修正点的图像点云与其上一帧的图像点云进行点云拼接。
优选的，所述修正点判断及处理模块23具体用于：
根据非修正点的图像获取非修正点的图像中的色彩图的每个像素点对应的深度信息；
获取非修正点的图像中的色彩图的各个像素点在像素坐标系中的二维坐标；
利用非修正点的图像中的色彩图的像素点的深度信息、在像素坐标系中的二维坐标以及所述深度相机的内参数和外参数，进行像素坐标系和世界坐标系之间的转换，获取非修正点的图像的图像点云。
优选的，所述修正点判断及处理模块23具体用于：
采用LK光流法分别追踪非修正点的图像与其上一帧图像之间的光流，以匹配非修正点的图像点云与其相上一帧的图像点云；
根据匹配结果将非修正点的图像点云与其上一帧的图像点云进行点云拼接。
优选的，安装基于光流法的形貌重建程序的系统还包括：
三维模型获取模块，用于采用贪婪投影三角化算法对拼接获得的点云模型进行三角化处理得到三维重建模型；
渲染贴图模块，用于对获得的三维重建模型进行渲染贴图以获得具有纹理信息的三维重建模型。
基于上述基于光流法的高精度形貌重建方法和设备，本发明还相应的提供一种基于光流法的高精度形貌重建装置，请参阅图4，所述基于光流法的高精度形貌重建装置包括如上述实施例所述的基于光流法的高精度形貌重建设备，还包括支撑架1、转轮2、横臂3、垂臂4、圆环5、安装块6、旋转电机7和深度相机8，其中，所述转轮2设置在所述支撑架1的底部，所述横臂3固定在所述支撑架1上，所述圆环5与所述旋转电机7均固定在所述安装块6上，所述旋转电机7可带动高精度形貌重建装置绕所述旋转电机7的轴心转动，所述安装块6固定安装在所述横臂3的末端，所述垂臂4固定在所述安装块6的下方，所述深度相机8安装在所述垂臂4上并可相对于所述垂臂4滑动，所述深度相机8以及所述旋转电机7均与所述基于光流法的高精度形貌重建设备电连接。
该装置可以在人体形貌重建时使用，具体地，人体站在圆环5的正下方，所述旋转电机5可带动所述人体高精度形貌重建装置转动，从而实现深度相机8对人体的360°拍摄，实现相机的圆周运动，所述深度相机8在相对于所述垂臂4滑动时可实现深度相机8的轴向运动。
具体的，所述深度相机8被一移动电机带动在所述垂臂4上滑动，故所述深度相机8的位姿可通过监测带动其运动的移动电机运行以及旋转电机7运行获取，所述移动电机盒旋转电机7的运行情况可通过伺服编码位置来获取，在获取了移动电机盒旋转电机7的运行情况后进一步可计算出深度相机8的位姿，所述深度相机8拍摄的深度图和色彩图以及所述旋转电机7的运行数据均直接发送至所述基于光流法的高精度形貌重建设备中，由所述基于光流法的高精度形貌重建设备进行三维重建。
综上所述，本发明提供的基于光流法的高精度形貌重建方法、设备及装置，通过在相机拍摄过程直接获取相机在修正点的位姿，能够利用修正点的位姿计算出修正点的各个像素点的坐标，然后利用修正点与其上一帧图像的坐标差计算出光流，进而可在修正点对光流进行局部优化，避免多次连续采用光流法而导致的误差增加、重建精度降低的问题，另外，RGB-D 相机不仅有三维信息，同时还带有RGB的颜色、纹理信息，使传统结构光式三维重建方法无法实现的精细的、带有纹理的三维模型重建得以实现。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等) 来完成，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种基于光流法的高精度形貌重建方法，其特征在于，包括如下步骤：
S1、控制深度相机按照预设轨迹运动到第一位置，采集待测物体的图像信息，所述图像信息包括色彩图和深度图；
S2、获取所述深度相机的内参数和外参数；
S3、判断所述第一位置是否为修正点，所述修正点为所述预设轨迹上满足预订条件的位置；
当所述第一位置为修正点时，获取所述深度相机在修正点的位姿；根据所述深度相机的内参数、所述深度相机在修正点的位姿和图像信息，获取所述修正点的图像点云；利用所述修正点的图像点云与其上一帧的图像点云的坐标差计算光流，以使所述修正点的图像点云与其上一帧的图像点云拼接；
当所述第一位置为非修正点时，根据所述深度相机的内参数和外参数进行坐标系转换，获取非修正点的图像点云，利用光流法计算光流，以使所述非修正点的图像点云与其上一帧的图像点云拼接；
S4、判断待测物体是否扫描完成，如果是，则输出拼接完的图像点云得到三维模型，否则按照预设轨迹运动到下一位置进行图像采集，并重复步骤S1至S3。
2.根据权利要求1所述的基于光流法的高精度形貌重建方法，其特征在于，步骤S3中，所述满足预定条件的位置为所述预设轨迹上间隔相同角度或相同长度的位置。
3.根据权利要求2所述的基于光流法的高精度形貌重建方法，其特征在于，所述步骤S3中，所述根据所述深度相机的内参数、所述深度相机在修正点的位姿和图像信息，获取所述修正点的图像点云的步骤，包括：
根据所述深度相机的内参数和所述深度相机在修正点的位姿，计算出所述深度相机在修正点的色彩图的各个像素点在世界坐标系中的二维坐标；
根据所述深度相机在修正点的色彩图的各个像素点在世界坐标系中的二维坐标以及与修正点的色彩图对应的深度图，获取修正点的图像点云。
4.根据权利要求3所述的基于光流法的高精度形貌重建方法，其特征在于，所述步骤S3中，所述利用所述修正点的图像点云与其上一帧的图像点云的坐标差计算光流，以使所述修正点的图像点云与其上一帧的图像点云拼接的步骤，包括：
计算出所述修正点的图像点云与其上一帧的图像点云的坐标差；
计算出所述修正点的图像与其上一帧的图像采集的时刻差；
根据所述坐标差和时刻差计算出所述修正点的图像与其上一帧图像之间的光流，以匹配所述修正点的图像点云与其上一帧的图像点云；
根据匹配结果将所述修正点的图像点云与其上一帧的图像点云进行点云拼接。
5.根据权利要求1所述的基于光流法的高精度形貌重建方法，其特征在于，步骤S3中，所述当所述第一位置为非修正点时，根据所述深度相机的内参数和外参数进行坐标系转换，获取非修正点的图像点云的步骤，包括：
根据非修正点的图像获取非修正点的图像中的色彩图的每个像素点对应的深度信息；
获取非修正点的图像中的色彩图的各个像素点在像素坐标系中的二维坐标；
利用非修正点的图像中的色彩图的像素点的深度信息、在像素坐标系中的二维坐标以及所述深度相机的内参数和外参数，进行像素坐标系和世界坐标系之间的转换，获取非修正点的图像的图像点云。
6.根据权利要求5所述的基于光流法的高精度形貌重建方法，其特征在于，步骤S3中，所述利用光流法计算光流，以使非修正点的图像点云与其上一帧的图像点云拼接的步骤包括：
采用LK光流法追踪非修正点的图像与其上一帧图像之间的光流，以匹配非修正点的图像点云与其相上一帧的图像点云；
根据匹配结果将非修正点的图像点云与其上一帧的图像点云进行点云拼接。
7.根据权利要求1所述的基于光流法的高精度形貌重建方法，其特征在于，所述方法还包括：
采用贪婪投影三角化算法对拼接获得的点云模型进行三角化处理得到三维重建模型；
对获得的三维重建模型进行渲染贴图以获得具有纹理信息的三维重建模型。
8.一种基于光流法的高精度形貌重建设备，其特征在于，包括处理器以及与所述处理器连接的存储器；
所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述处理器执行所述计算机可读程序时实现如权利要求1-7任意一项所述的基于光流法的高精度形貌重建方法。
9.一种基于光流法的高精度形貌重建装置，其特征在于，包括如权利要求8所述的基于光流法的高精度形貌重建设备，还包括支撑架、转轮、横臂、垂臂、圆环、安装块、旋转电机和深度相机，其中，
所述转轮设置在所述支撑架的底部，所述横臂固定在所述支撑架上，所述圆环与所述旋转电机均固定在所述安装块上，所述旋转电机可带动高精度形貌重建装置绕所述旋转电机的轴心转动，所述安装块固定安装在所述横臂的末端，所述垂臂固定在所述安装块的下方，所述深度相机安装在所述垂臂上并可相对于所述垂臂滑动，所述深度相机以及所述旋转电机均与所述基于光流法的高精度形貌重建设备电连接。
CN202010026483.8A 2020-01-10 2020-01-10 一种基于光流法的高精度形貌重建方法、设备及装置 Active CN111311728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010026483.8A CN111311728B (zh) 2020-01-10 2020-01-10 一种基于光流法的高精度形貌重建方法、设备及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010026483.8A CN111311728B (zh) 2020-01-10 2020-01-10 一种基于光流法的高精度形貌重建方法、设备及装置

Publications (2)

Publication Number Publication Date
CN111311728A CN111311728A (zh) 2020-06-19
CN111311728B true CN111311728B (zh) 2023-05-09

Family

ID=71154550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010026483.8A Active CN111311728B (zh) 2020-01-10 2020-01-10 一种基于光流法的高精度形貌重建方法、设备及装置

Country Status (1)

Country Link
CN (1) CN111311728B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598927B (zh) * 2020-05-18 2023-08-01 京东方科技集团股份有限公司 一种定位重建方法和装置
CN112082506B (zh) * 2020-09-16 2023-02-28 华中科技大学鄂州工业技术研究院 一种基于散斑结构光的环形高精度测量装置及方法
CN112634420B (zh) * 2020-12-22 2024-04-30 北京达佳互联信息技术有限公司 图像特效的生成方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105157608A (zh) * 2015-08-31 2015-12-16 浙江大华技术股份有限公司 一种超限车辆的检测方法、装置及系统
CN107833181A (zh) * 2017-11-17 2018-03-23 沈阳理工大学 一种基于变焦立体视觉的三维全景图像生成方法及系统
CN109035394A (zh) * 2018-08-22 2018-12-18 广东工业大学 人脸三维模型重建方法、装置、设备、系统及移动终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017208619A (ja) * 2016-05-16 2017-11-24 株式会社リコー 画像処理装置、画像処理方法、プログラム及び撮像システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105157608A (zh) * 2015-08-31 2015-12-16 浙江大华技术股份有限公司 一种超限车辆的检测方法、装置及系统
CN107833181A (zh) * 2017-11-17 2018-03-23 沈阳理工大学 一种基于变焦立体视觉的三维全景图像生成方法及系统
CN109035394A (zh) * 2018-08-22 2018-12-18 广东工业大学 人脸三维模型重建方法、装置、设备、系统及移动终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Min Q, et al..Moving object detection based on combined stereo vision and optical flow.Optical Technique.2016,第42卷(第1期),28-33. *
龚肖 ; 史金龙 ; 廖芳 ; .点特征柔性物体三维运动恢复方法.红外与激光工程.2018,(第09期),296-302. *

Also Published As

Publication number Publication date
CN111311728A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
CN111311728B (zh) 一种基于光流法的高精度形貌重建方法、设备及装置
CN107945267B (zh) 一种用于人脸三维模型纹理融合的方法和设备
CN109949899B (zh) 图像三维测量方法、电子设备、存储介质及程序产品
CN110889890B (zh) 图像处理方法及装置、处理器、电子设备及存储介质
US9036898B1 (en) High-quality passive performance capture using anchor frames
CN102129680B (zh) 实时几何形状感知投影和快速重校准
Tian et al. Handling occlusions in augmented reality based on 3D reconstruction method
JP4245963B2 (ja) 較正物体を用いて複数のカメラを較正するための方法およびシステム
US9117267B2 (en) Systems and methods for marking images for three-dimensional image generation
CN111986307A (zh) 使用光度网格表示的3d对象重建
US9147279B1 (en) Systems and methods for merging textures
CN112284291A (zh) 一种可获取物理纹理的三维扫描方法及装置
CN110312111A (zh) 用于图像装置的自动校准的装置、系统和方法
Özbay et al. A voxelize structured refinement method for registration of point clouds from Kinect sensors
CN105023294A (zh) 结合传感器与Unity3D的定点移动增强现实方法
US8665261B1 (en) Automatic spatial correspondence disambiguation
Fischer et al. A hybrid tracking method for surgical augmented reality
CN111161398A (zh) 一种图像生成方法、装置、设备及存储介质
CN111951333A (zh) 六维姿态数据集自动生成方法、系统、终端以及存储介质
CN113129362B (zh) 一种三维坐标数据的获取方法及装置
CN113409444B (zh) 三维重建方法、装置、电子设备及存储介质
CN109215128B (zh) 物体运动姿态图像的合成方法及系统
CN110619601A (zh) 一种基于三维模型的图像数据集生成方法
EP3779878A1 (en) Method and device for combining a texture with an artificial object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant