CN115272573A - 一种动态人体的实时重建方法 - Google Patents

一种动态人体的实时重建方法 Download PDF

Info

Publication number
CN115272573A
CN115272573A CN202210887400.3A CN202210887400A CN115272573A CN 115272573 A CN115272573 A CN 115272573A CN 202210887400 A CN202210887400 A CN 202210887400A CN 115272573 A CN115272573 A CN 115272573A
Authority
CN
China
Prior art keywords
camera
matching
image
human body
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210887400.3A
Other languages
English (en)
Inventor
唐正宗
刘家乐
李磊刚
张培
卢今吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lingzhi Three Dimensional Technology Co ltd
Original Assignee
Lingzhi Three Dimensional Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lingzhi Three Dimensional Technology Co ltd filed Critical Lingzhi Three Dimensional Technology Co ltd
Priority to CN202210887400.3A priority Critical patent/CN115272573A/zh
Publication of CN115272573A publication Critical patent/CN115272573A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种动态人体的实时重建方法，包括如下步骤：连接人体测量装置；求解相机内参数和两相机之间的相对姿态；参考状态图像采集；散斑区域划分；参考状态三维重建；时间序列上的图像采集；时间序列上人体散斑的三维重建；动态三维点云的快速三角化。在保证重建精度的前提下，可以大大提高重建人体数据的点云密度，使得重建后的点云数据能够更加充分地表达人体的局部细节，能够完成动态人体的实时计算，实现人体的在线测量与重建。

Description

一种动态人体的实时重建方法
技术领域
本发明涉及计算机视觉、图像处理技术与三维测量领域，特别是涉及一种动态人体的实时重建方法。
背景技术
随着科技的不断进步，三维测量技术不断发展。现有技术方法包括：立体视觉、近景摄影测量、结构光投影，数字图像相关法等技术。立体视觉利用两幅或两幅以上的数字图像，通过获取物体表面特征点像素匹配信息得到深度信息，计算三维点云，该方法依赖物体表面的结构和纹理等特征，重建点云较为稀疏，运算量较大，点云质量往往较低。
近景摄影测量技术使用一个或多个相机对物体拍摄多幅不同方位的图像，利用数字图像处理技术计算不同视角图像中对应点的图像坐标，利用优化算法求解出对应点的三维坐标。该方法与立体视觉法的不同之处在于：一是立体视觉法需要预先对相机进行标定，而摄影测量技术无需事先标定；二是在获得二维图像后利用优化算法直接求解三维数据信息。该方法硬件结构简单，拍摄方式灵活，在大场景重建和测量中得到广泛应用。结构光投影技术在立体视觉的基础上，通过投斑器向物体表面投射具有特定结构的光斑图案(比如随机散斑、圆点斑)，通过相机采集物体表面的散斑图案，并由此解算物体表面三维信息。相比于立体视觉法和摄影测量技术，该方法获取三维数据的效率较高，测量精度较高，在工业测量、人体扫描等领域得到了广泛的应用。
结构光投影技术结合数字图像相关法完成动态人体的三维重建，为重建出高密度的点云，需要大量地计算图像子区的相关性，需要大量计算资源，运算困难。
发明内容
本发明的目的在于解决完成动态人体的三维重建需要大量计算资源，运算困难的问题，提出一种动态人体的实时重建方法。
本发明的技术问题通过以下的技术方案予以解决：
本发明公开了一种动态人体的实时重建方法，包括如下步骤：
S1、连接人体测量装置，其中包括第一相机和第二相机；
S2、第一相机和第二相机标定，求解相机内参数和两相机之间的相对姿态(R,T)；
其中R和T为第二相机的相机坐标系到第一相机相机坐标系的旋转矩阵和平移向量；
S3、参考状态图像采集：将相机采集到的并用于划分计算区域的第一张图像认为是参考状态图像；打开散斑投射器，向人体表面投射散斑，同时采集人体散斑图像；
S4、散斑区域划分：根据左图像上的散斑分布区域和人体分布区域，划分出待计算的区域，用于确定左右图像匹配以及重建人体的范围；
S5、参考状态三维重建：首先在左图像上选取种子点，然后在极线上下设定条带范围内搜索种子点的匹配点，之后完成S4中划分的子区中的所有数据点的匹配，最后利用S2中标定的(R,T)，重建出参考状态下的人体三维点云；
S6、时间序列上的图像采集：通过硬件触发的方式，同时采集人体散斑的图像流；
S7、时间序列上人体散斑的三维重建：针对S6步骤中采集的图像流，根据人体动态运动的连续性，将前一时刻的散斑数据点相对于参考状态的变形参数直接作为当前时刻对应数据点的对应初值，在GPU上完成每一个数据点的精匹配过程，将匹配结果在CPU上完成GPU匹配结果的校验和修复精匹配失败的点；最后根据步骤S5中的重建方法，重建出当前状态的人体三维点云；
S8、实时输出时间序列上的人体重建后的三维点云。
在一些实施例中，步骤S1中，人体测量装置还包括工作站、散斑投射器、相机与散斑投射器控制箱；通过指令脉冲控制散斑投射器中的LED光源工作，LED光源产生短波长蓝光，散斑投射器使所述光源按照光路设计要求透过散斑片投影在人体表面产生散斑图案。
在一些实施例中，步骤S2中，所述第一相机和第二相机标定的步骤为：
S21、针对标定所用的依次放置在相机景深范围内的多个不同方位的标定板，使第一相机和第二相机同时依次对这多个位置的标定板进行采集，共生成多张图像；
S22、对采集图像进行图像处理，计算标定板上编码点和非编码点的像素坐标，利用各张图像上的坐标以及标定板上的三维坐标，根据光束平差算法，求解出相机的内参数以及相机之间的相对姿态。
在一些实施例中，步骤S4中，散斑区域划分步骤详细为：
采用矩形、椭圆和多边形三种基本形状工具，以及三种形状之间的交集、并集布尔运算操作，在参考状态时左相机图像上，选择出形状复杂的待计算的散斑区域，用于后续图像匹配的计算范围。
在一些实施例中，步骤S5中，参考状态三维重建的步骤为：
S51、种子点选取，根据种子点的分布的间隔步长参数在第一相机采集图像上自动选择种子点阵列，种子点阵列表示为(xLij,yLij)，其中i＝0,1…n；j＝0,1…n；
S52、种子点的粗匹配，根据步骤S2中相机标定的第一相机和第二相机的相对姿态(R,T)，利用双视几何中的极线约束，求解出种子点(xLij,yLij)在第二相机采集图像(右图像)上的估计位置(xRij,yRij)，该位置在右图像上对应于一条线；
采用左右图像子区的相关性策略，如归一化互相关函数(NCC)，在极线的条带范围内进行整像素搜索，选取相关系数最大的点作为匹配点，得到种子点匹配的整像素坐标(x'Rij,y'Rij)；
S53、种子点的精匹配，在步骤S52的基础上，以获得的(x'Rij,y'Rij)为初值，进行精匹配，首先利用亚像素插值算法对搜索域进行灰度插值，得到亚像素级别的坐标和对应灰度值；
完成亚像素插值之后，采用精匹配相关系数计算函数进行亚像素匹配，通过亚像素的搜索，在右图像上选取相关系数最大的搜索区域中心为匹配点，即得到亚像素匹配坐标(xRij,yRij)；
S54、种子点的扩散，根据步骤S53中的种子点阵列在右图像上对应点坐标相对于左图像上种子点的坐标，求解种子点阵列在右图像上对应的点的坐标增量(Δuij,Δvij)；
以种子点为中心，向种子点的上下左右四个方向扩散一定步长，得到四个图像点，将种子点的(Δuij,Δvij)赋值给这四个图像点的粗匹配坐标增量，然后直接进行步骤S53中的精匹配过程，求出这四个点在右图像上的精匹配坐标以及坐标增量；之后再依次以这四个点为中心，采用相同的思路，完成对步骤S54中散斑区域内的所有数据点的匹配；
S55、散斑区域内数据点的三维重建，将步骤S54中得到的所有匹配点对在GPU上完成三维重建。
在一些实施例中，步骤S7中，时间序列上的三维重建，其详细步骤如下：
S71、采用t0、t1、t2、t3…tn序列表示相机采集图像的时间序列；
S72、完成t0时刻到t1时刻图像的数据点匹配与变形参数的求解；
S73、ti+1时刻图像数据点初值数据获取，将ti时刻图像上所有计算节点的位置作为ti+1时刻图像上对应节点的精匹配初值，同时将ti时刻图像上所有数据节点的变形参数作为ti+1时刻图像上对应节点的变形参数的迭代初值；
S74、数据拷贝，将步骤S72中的初值数据拷贝到GPU的全局内存(global memory)中，将左右图像数据拷贝到GPU的纹理内存(texture memory)中，将第一相机和第二相机的相对姿态(R,T)以及畸变模型系数拷贝到GPU的常量内存(Constant menory)中；
S75、执行核函数，在GPU核函数中完成数据点的精匹配过程，重建精匹配后的同名点，GPU完成匹配后，通过验证区分标志匹配正确的与匹配错误的数据点，输出精匹配后正确的数据点和重建的三维数据点；
S76、数据拷贝，将步骤S74中求解的数据点对以及点对的变形参数，三维点坐标，拷贝回CPU内存中；
S77、针对步骤S75中拷贝回CPU的数据点对，在CPU中根据GPU拷贝回的匹配失败标志位来判断匹配失败点并修复部分精匹配失败的节点数据，并在CPU上重建修复点坐标；
S78、将步骤S77中修复后的点对数据赋值给ti+2时刻的图像中的数据点的初值，循环执行步骤S73～S77，直到用户停止程序。
进一步地，步骤S75中，所述验证区分标志匹配正确的与匹配错误的数据点，具体包括：对验证项进行验证，并对数据点匹配正确的标志位赋值1，数据点匹配失败的标志位赋值-1；所述验证项包括：
a、迭代中的方程无解、迭代次数过多导致的迭代不收敛；
b、图像对应子区灰度残差过大；
c、重建三维点的重投影误差大于阈值；
d、重建三维点坐标深度大于景深。
在一些实施例中，步骤S8中，实时输出人体的三维点云数据。
在一些实施例中，步骤S2中所述内参数包括焦距、主点偏差以及畸变模型系数，第一相机和第二相机标定采用多步法和光束平差的方法，所述多步法具体为：在第一相机与第二相机的公共视场中，分别将标定板放置在不同的多个位置，两相机同时采集多对图像。
在一些实施例中，步骤S5中，所述设定条带范围为极线上下3个像素范围。
进一步地，步骤S21中所述的标定板为环形编码标记点与圆形非编码标记点有规律的分布的平面板，标定中使用的标定板的大小与相机的测量幅面相符合，即在相机的景深范围内，标定板在相机中的成像占据图像的近80％区域。
进一步地，步骤S53中，采用零均值归一化最小距离平方和系数ZNSSD进行子区亚像素搜索和匹配；步骤S55中，将匹配点对数据拷贝到GPU全局内存中，将第一相机和第二相机的相对姿态(R,T)以及畸变模型系数拷贝到GPU的常量内存中，利用GPU去畸变和重建计算用的核函数，在GPU上完成对数据点的三维重建，最后将三维点数据拷贝回CPU中。
本发明与现有技术对比的有益效果包括：
本发明提出的动态人体的实时重建方法避免了现有技术的如下缺陷：仅仅使用CPU运算，无法达到实时重建的人体的目标。本发明利用GPU含有大量的计算核心、可以开辟大量的线程同时进行相同的运算的优点，将大大提高动态人体的三维重建效率，本发明通过引入GPU完成大量的数据计算，并解决由于GPU的引入所带来的如下问题：过多的判断会导致计算效率的降低，而不做判断的计算，容易导致部分数据点的匹配错误而导致该数据的点的缺失，其是通过在CPU上完成GPU匹配结果的校验和修复精匹配失败的点的办法来解决的。能够实现在保证重建精度的前提下，可以大大提高重建人体数据的点云密度，使得重建后的点云数据能够更加充分地表达人体的局部细节，从而能够完成动态人体的实时计算，实现人体的在线测量。本发明提出的动态人体的实时重建方法，通过投射散斑，并在时间序列上匹配散斑，能够进而完成动态人体的实时计算，从而进而实现人体的在线测量。
附图说明
图1是本发明实施例中动态人体的实时重建方法流程图；
图2是本发明实施例中实验场景示意图；
图3是本发明实施例中散斑投射器示意图；
图4a1是本发明实施例中第一相机标定状态1示意图；
图4a2是本发明实施例中第二相机标定状态1示意图；
图4b1是本发明实施例中第一相机标定状态2示意图；
图4b2是本发明实施例中第二相机标定状态2示意图；
图4c1是本发明实施例中第一相机标定状态8示意图；
图4c2是本发明实施例中第二相机标定状态8示意图；
图5a是本发明实施例中第一相机参考状态人体示意图；
图5b是本发明实施例中第二相机参考状态人体示意图；
图6a是本发明实施例中第一相机参考状态计算子区划分示意图；
图6b是本发明实施例中第二相机参考状态计算子区划分示意图；
图7a是本发明实施例中种子点扩散过程示意图；
图7b是本发明实施例中匹配图像中成功匹配子区的形状与位置示意图；
图8是本发明实施例中CPU与GPU数据交流示意图；
图9是本发明实施例中GPU与CPU协作匹配与重建示意图；
图10是本发明实施例中匹配修复思路示意图；
图11是本发明实施例中相机帧率以及CPU与GPU计算速率对比图；
图12是本发明实施例中先后输出的三个状态的重建点云图；
附图标记说明如下：
1-第一相机，2-的散斑投射器，3-第二相机，4-人体，5-散斑，6-参考状态的人体三维点云数据，7-t1状态的人体三维点云数据，8-t2状态的人体三维点云数据，21-PCB板，22-LED光源，23-准直镜，24-散斑片，25-定焦镜头。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本实施例中的左、右、上、下、顶、底等方位用语，仅是互为相对概念，或是以产品的正常使用状态为参考的，而不应该认为是具有限制性的。
在实施例中针对结构光投影技术结合数字图像相关法重建人体高密度的点云无法在线实时测量的问题。采用数字图像相关法重建高密度点云，需要完成大量的图像子区的相关性计算，若仅仅使用CPU(Central ProcessingUnit)运算，只能进行离线测量，无法达到实时重建的人体的目标。GPU(Graphics Processing Unit)具有大量计算核心，并行运算的优点，将GPU引入到人体重建过程中，将大大提高动态人体的三维重建效率。实施例中的主要思路为：首先标定重建用的第一相机和第二相机内外参数、采集图像、划分散斑计算子区、参考状态人体散斑的三维重建、时间序列上人体散斑的追踪、匹配与显示以及动态三维点云的显示。实施例中GPU主要进行数据点的三维重建以及时间序列上的人体散斑的追踪匹配。最后通过比较相机采集图像的速率、GPU解算帧率以及CPU的平均解算帧率，说明本实施例中试验方案的有效性。
传统的数字图像相关法属于离线测量，针对大量数据点的计算需要巨大的时间成本，若仅仅使用CPU来完成数字图像相关法的，散斑数据点的精匹配、三维重建过程中的大量运算，即使使用CPU的多线程运算也无法完成大量数据点的实时计算。在时间序列上前后帧上的图像匹配，各个数据点在匹配过程中是相互独立的，其中的大量密集运算非常适合在GPU上完成。而GPU含有大量的计算核心，可以开辟大量的线程同时进行相同的运算，将大大提高动态人体的三维重建效率。因此本发明利用GPU高密度计算的特点，加快动态人体的重建过程。
将GPU用于重建的难点在于，GPU的优势在于计算，过多的判断会导致计算效率的降低，不做判断的计算，容易导致部分数据点的匹配错误而导致该数据的点的缺失，实施例中采用CPU根据四个邻域点数据来修复该处缺失的数据点的方法来解决。同现有技术相比，实施例中重建过程能够完成动态人体的实时计算，实现人体的在线测量。
在描述实施例之前，以下是对实施例的概述：
参考图1所示，实施例中动态人体的实时重建方法的步骤如下：
S1、连接人体测量装置：将工作站、两个相机、散斑投射器、相机与散斑投射器控制箱、电缆等连接完毕；如图2所示；其中两个相机具体是指第一相机1和第二相机3。
在步骤S1中采用的散斑投射器2结构如图3所示。通过上位机向相机与散斑投射器控制箱发送开启与关闭指令，PCB板21给LED光源22供电，通过指令脉冲信号控制LED光源22工作；准直镜23提供聚光的作用，使光源按照光路设计要求打在散斑片24上，定焦镜头25将透过散斑片24的光成像在人体4表面，从而产生散斑5图案。光源为短波长蓝色光源，避免人体4红外吸收，同时对人眼和皮肤无害。
散斑投射器2的工作原理为：控制箱对散斑投射器2供电，通过指令脉冲控制LED光源22工作，LED光源22产生短波长蓝光，散斑投射器2使所述光源按照光路设计要求透过散斑片24投影在人体4表面产生散斑5图案。
S2、第一相机1和第二相机3标定：采用典型的多步法和光束平差的方法，求解相机内参数(包括焦距、主点偏差以及畸变模型系数)和两相机之间的相位位姿矩阵(R,T)，其中R和T为第二相机3的相机坐标系到第一相机1相机坐标系的旋转矩阵和平移向量。
在本实施例中所述多步法采用8步法，8步法为在第一相机1与第二相机3的公共视场中，分别将标定板放置在不同的8个位置，两相机同时采集8对图像，用于相机标定。
在步骤S2中，对第一相机1和第二相机3标定的步骤为：将标定所用的标定板依次放置在相机景深范围内的8个不同方位，同时第一相机1和第二相机3依次对这8个位置的标定板采集，共生成16张图像；
所述的标定板为环形编码标记点与圆形非编码标记点有规律的分布的平面板，标定中使用的标定板的大小需要与相机的测量幅面相符合，即在相机的景深范围内，标定板在相机中的成像占据图像的近80％区域。
分别对采集的16张标定板图像进行图像处理，解算标定板上的非编码点的中心位置，以及编码点中心位置和编号；
采用光束平差算法，利用图像上的像素坐标以及标定板上标记点的三维坐标之间的投影关系，该投影关系可以描述为
Figure BDA0003766228070000091
求解出相机的内参数矩阵K以及相机之间的相对姿态[R|T]；其中(u,v)分别为图像上的标记点中心的像素坐标，(X,Y,Z)为标记点的三维坐标。
完成第一相机1和第二相机3标定之后，将需要重建的人体4部位放置在第一相机1和第二相机3的公共视野，并且在相机的景深范围内。
S3、参考状态图像采集：将相机采集到的并用于划分计算区域的第一张图像认为是参考状态图像；打开散斑投射器2，向人体4表面投射人工散斑5，通过硬件触发的方式，同时采集第一相机1和第二相机3拍摄的人体散斑5图像；
S4、散斑区域划分：根据左图像上的散斑分布区域和人体分布区域，划分出待计算的区域，用于确定左右图像匹配以及重建人体的范围；划分参考状态散斑计算区域；在人机交互界面中，采用矩形，椭圆和多边形三种基本形状的选择工具在图像上划分子区，通过对已划分区域与新建区域之间的交集、并集等布尔运算操作；在参考状态时左相机图像上，选择出形状复杂的待计算的散斑区域，用于后续图像匹配与点扩散的计算范围。
S5、参考状态三维重建：首先在左图像上选取种子点，然后利用极线约束的思想，在极线上下一定条带范围内搜索种子点的匹配点，之后采用种子点扩散的思路快速完成S4中划分的子区中的所有数据点的匹配，最后利用S2中标定的(R,T)，重建出参考状态下的人体三维点云。
采用种子点匹配与扩散的思路完成参考状态时散斑划分区域内节点的三维重建，所述散斑划分区域为步骤S4中划分的“待计算的散斑区域”。
S6、时间序列上的图像采集：通过硬件触发的方式，同时采集第一相机和第二相机拍摄的人体散斑的图像流；
S7、时间序列上的三维重建：针对S6步骤中拍摄的图像流，根据人体动态运动的连续性，将前一时刻的散斑数据点相对于参考状态的变形参数直接作为当前时刻对应数据点的对应初值，在GPU上完成每一个数据点的精匹配过程，将匹配结果在CPU上完成GPU匹配结果的校验和修复精匹配失败的点。最后根据步骤S5中的重建方法，重建出当前状态的人体的三维点云；
根据变形的连续性，采用散斑划分区域内数据点追踪的思路，完成时间序列上人体的三维重建，其详细步骤如下：
S71、采用t0、t1、t2、…tn序列表示相机采集图像的时间序列，其中t0时刻对应图像为所述步骤S3中描述的参考状态的图像；t1时刻及其之后的对应图像为所述步骤S6中的时间序列上连续采集人体动态的图像。
S72、完成t0时刻图像到t1时刻图像的数据点匹配与变形参数的求解，算法流程为所述步骤S52～S55；
S73、ti+1时刻图像数据点初值数据获取，将ti时刻图像上所有计算节点的位置作为ti+1时刻图像上对应节点的精匹配初值，同时将ti时刻图像上所有数据节点的变形参数作为ti+1时刻图像上对应节点的变形参数的迭代初值；
S74、数据拷贝，将所述S73步骤中的初值数据拷贝到GPU的全局内存(globalmemory)中，将左右图像数据拷贝到GPU的纹理内存(texture memory)中，将第一相机和第二相机的相对姿态(R,T)以及畸变模型系数拷贝到GPU的常量内存(Constant menory)中；
S75、执行核函数，在GPU核函数中完成数据点的精匹配过程，输出精匹配后的数据点对，GPU完成匹配后，通过验证四项验证项，a、迭代中的方程无解、迭代次数过多导致的迭代不收敛；b、图像对应子区灰度残差过大；c、重建三维点的重投影误差大于阈值；d、重建三维点坐标深度大于景深；并对数据点匹配正确的标志位赋值1，数据点匹配失败的标志位赋值-1，输出精匹配正确的数据点和重建的三维数据点；
S76、数据拷贝，将所述S75步骤中求解的数据点对以及点对的变形参数，以及三维点坐标，拷贝回CPU内存中；
S77、针对所述S76步骤中拷贝回CPU的数据点对，在CPU中根据GPU拷贝回的匹配失败标志位来判断匹配失败点并修复部分精匹配失败的节点数据，并重建出该修复点的三维点坐标；
S78、将S77步骤中修复后的点对数据赋值给ti+2时刻的图像中的数据点的初值，循环执行所述步骤S73～S77，直到用户停止程序。
S8、输出人体的三维点云数据。
实施例1：
本实施例的动态人体实时重建的流程如图1所示，具体步骤包括：
S1、将两个相机、散斑投射器、相机与散斑投射器控制箱、电缆等连接完毕，如图2所示。
示例所使用的两台相机组建立体成像系统，相机与工作转通讯接口为Basler(巴斯勒)Usb3.0型接口，图像的分辨率为200万像素(1920pixel×1200pixel)，图像传感器的像元尺寸为5.86um/pixel(微米每像素)，配备12mm的RICOH(理光)型镜头。
S2、第一相机1和第二相机3标定，采用典型的8步法和光束平差的方法，标定相机的内外参数。将标定板依次放置在相机景深范围内的8个不同方位，第一相机1和第二相机3同时依次对这8个位置的标定板采集，共生成16张图像，在本实施例中，相机a为第一相机1，相机b为第二相机3。
分别对采集的16张标定板图像进行图像处理，解算标定板上的非编码点的中心位置，以及编码点中心位置和编号，编码点与非编码点的解算效果如图4a1-4c2所示，表示在相机标定过程中，标定板放置在不同的位置，第一相机1和第二相机3采集的标定板的图像(部分位置)，及标记点的识别结果，编码标记点有编号，非编码标记点使用十字线表示。
在实施例中，分别对采集的16张标定板图像进行图像处理，解算标定板上的非编码点的中心位置，以及编码点中心位置和编号，编码点与非编码点的解算效果如图4a1、4a2、4b1、4b2、4c1、4c2所示，图4a1、4a2分别是第一相机1和第二相机3标定状态1示意图，图4b1、4b2分别是第一相机1和第二相机3标定状态2示意图，图4c1、4c2分别是第一相机1和第二相机3标定状态8示意图。
采用光束平差算法，利用图像上的像素坐标以及标定板上标记点的三维坐标之间的投影关系，利用
Figure BDA0003766228070000121
的投影模型，构建的误差修正函数如公式所示。
Figure BDA0003766228070000122
其中
Figure BDA0003766228070000123
为三维点(标定板上的编码点和非编码点)在二维图像上的投影点，
Figure BDA0003766228070000124
为编码点与非编码点的图像点坐标，m为相机编号，k为第m个相机拍摄到的所有标记点中第k个标记点。
相机a和相机b的标定结果如下表所示：
Figure BDA0003766228070000125
Figure BDA0003766228070000131
其中f0为选用镜头的焦距，f为相机标定后的焦距，cx、cy分别为相机在x、y两方向上的主点偏差。K1、K2、K3分别为径向畸变模型中的3个参数，B1、B2分别为切向即便模型中的2个参数，E1、E2分别为薄棱镜畸变中的2个参数。
将相机a的相机坐标系作为世界坐标系，相机b到相机a的坐标变换矩阵为：
Figure BDA0003766228070000132
完成第一相机1和第二相机3标定之后，将需要重建的人体部位放置在第一相机1和第二相机3的公共视野，并且在相机的景深范围内。
S3、参考状态图像采集；打开散斑投射器2，向人体表面投射人工散斑5，同时采集相机a和相机b拍摄的人体散斑5图像，采集到的参考状态下的图像如图5a、5b所示；其中左图像图5a为相机a采集的图像，右图像图5b为相机b采集的图像，其中F0：相机采集图像的帧率；F1：GPU计算的帧率；F2：重建的点数。
S4、划分参考状态散斑计算区域；通过多边形、矩形等基本图形工具选择计算区域，本实施例选择的计算区域的结果如图6a、6b所示，其中左图像图6a为相机a采集的图像，右图像图6b为相机b采集的图像。
S5、采用种子点匹配与扩散的思路完成参考状态时散斑划分区域内节点的三维重建，通过在S4中选择的计算区域中采用行列等间隔的策略自动确定种子点，左右图像上的种子点的匹配与扩散过程在CPU上完成。种子点的匹配与扩散过程如图7a、7b所示，其中图7a为相机a图像上种子点的扩散过程示意图，图7b为扩散过程中相机b图像上成功匹配的子区位置与形状示意图。因为存在立体角和透视变换，所以相机b图像上对应子区的形状并非矩形，因为使用的是一阶变形系数，所以形状为平行四边形。
上述种子点是人为选择的，种子点的匹配与扩散过程如图7a、7b所示，首先进行粗精匹配的点，在种子点匹配完成后，会输出种子的变形系数，其中包含6个参数，变形系数描述了相机b图像上种子点成功匹配的子区的形状和位置。扩散的过程描述为利用相邻区域散斑的连续性，将种子点的变形系数作赋值给上下左右一定步长的4个邻域节点，并作为精匹配的初值。重复上述步骤，完成划定散斑区域的节点匹配。
参考状态下种子点的匹配与扩散完成之后，将匹配点对数据拷贝到GPU全局内存中，将相机a和相机b的相对姿态(R,T)以及畸变模型系数拷贝到GPU的常量内存中，编写GPU去畸变和重建计算用的核函数，在GPU上完成对数据点的三维重建，最后将三维点数据拷贝回CPU中。CPU与GPU之间的数据传输过程如图8所示，CPU将时间t时刻的匹配完成的图像坐标点和变形系数传入到GPU的全局内存中，作为t+1时刻图像匹配的初值和变形系数，相机a,b拍摄的t+1时刻的图像数据传入到GPU的纹理内存中，其中图像数据包括灰度信息和梯度信息；相机的姿态(R,T)(12个)，两相机内参数(分别10个)共32个double型(双精度浮点型)数据传入GPU的常量内存中。数据点在GPU上完成并行匹配后，并根据相机的姿态和内参数完成匹配点的三维重建，将三维点坐标拷贝回CPU；同时将t+1时刻两图像上匹配的节点图像坐标，拷贝回CPU，并在CPU上完成缺陷检查与修复后作为t+2时刻的初值，其中Grid、Block、Registers、Thread、Local M等单词是GPU计算时用到的术语。
在步骤S5中，采用种子点匹配与扩散的思路完成参考状态时散斑划分区域内节点的三维重建，所述散斑划分区域为步骤S4中划分的“待计算的散斑区域”。该详细的步骤描述为：
S51、种子点选取，根据种子点的分布的间隔步长参数在第一相机采集图像上自动选择种子点阵列，种子点阵列表示为(xLij，yLij)，其中i＝0,1…n；j＝0,1…n；根据种子点的分布的间隔步长参数在第一相机图像上自动选择种子点阵列；
步骤S52、种子点的粗匹配，根据所述步骤S2中相机标定的第一相机和第二相机的相对姿态(R,T)，利用双视几何中的极线约束，求解出种子点(xLij,yLij)在第二相机采集图像(右图像)上的估计位置(xRij,yRij)，该位置在右图像上对应于一条线，其中第二相机具体是指右相机，第二相机采集的图像为右图像；
根据对极几何的映射关系可得如下公式：
Figure BDA0003766228070000151
axR0+byR0+c＝0 (2)
其中a、b、c为公式经过简化后的值，公式中的TΛ表示平移向量对应的反对称矩阵。比如向量[t1 t2 t3]对应的反对称矩阵为
Figure BDA0003766228070000152
考虑到系统误差与随机噪声的存在，在公式确定的极线上下一定条带范围内搜索选取的种子点在右图像上的对应点的整像素坐标。
采用左右图像子区的相关性策略，如归一化互相关函数(NCC)，在极线的条带范围内进行整像素搜索，选取相关系数最大的点作为匹配点，得到种子点阵列匹配的粗匹配像素坐标(x'Rij,y'Rij)。
S53、种子点的精匹配。在步骤S52的基础上，以获得的(x'Rij,y'Rij)为初值，进行精匹配，首先利用亚像素插值算法对搜索域进行灰度插值，得到亚像素级别的坐标和对应灰度值，常采用的插值算法为双线性插值算法、双三次样条插值算法等。下式为双线性插值算法，根据周围(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)四个整像素灰度值插值出四个点之间的亚像素的灰度值，其中亚像素是存在于两个实际物理像素之间的像素。
g(x,y)＝a11(x-j)(y-i)+a21(x-j)(i+1-y)+
a12(j+1-x)(y-i)+a22(j+1-x)(i+1-y)
j＜x＜j+1,i＜y＜i+1 (3)
其中g(x,y)为右图像上点(x,y)对应的灰度值，a11，a21，a12，a22分别为g(i,j),g(i+1,j),g(i,j+1),g(i+1,j+1)，对应于(x,y)周围的四个整像素点的灰度值。双线性插值计算量小，具有较高的精度，可以满足动态人体重建的精度要求。
完成亚像素插值之后，采用零均值归一化最小距离平方和系数(ZNSSD)作为精匹配相关系数计算式，进行子区亚像素搜索和匹配，即
Figure BDA0003766228070000161
式中fm，gm分别为左右图像上匹配子区的灰度均值；Δf，Δg分别表示左右图像上匹配子区局部灰度与平均灰度的差值的平方和。
通过亚像素的搜索，在右图像上选取相关系数最大的搜索区域中心为匹配点，即得到亚像素匹配坐标(xRij,yRij)。
S54、进行种子点的扩散，根据步骤S53中的种子点在右图像上对应点坐标相对于左图像上种子点的坐标，求解种子点(xLij,yLij)在左右图像上像素坐标增量(Δuij,Δvij)，具体公式如下：
Δuij＝u+uxdx+uydy
Δvij＝v+vxdx+vydy (5)
以种子点为中心，向种子点的上下左右四个方向扩散固定步长，得到四个图像点，根据图像的连续性，将种子点的(Δuij,Δvij)赋值给所述四个图像点的粗匹配坐标增量；以(xLij,yLij)周围的四个图像点之一(u1,v1)为例，则(u1,v1)在右图像上的粗匹配后的值为(u1+Δuij,v1+Δvij)；
然后(u1+Δuij,v1+Δvij)作为精匹配的初始位置，通过迭代计算，求解出(u1,v1)在右图像上的精匹配结果，采用相同的思路，完成对所述S54步骤中散斑划分区域内的所有数据点的匹配。
S55、散斑区域内数据点的三维重建，将所述步骤S54中得到的所有匹配点对在GPU上完成三维重建。将匹配点对数据拷贝到GPU全局内存中，将第一相机和第二相机的相对姿态(R、T)以及畸变模型系数拷贝到GPU的常量内存中，编写GPU去畸变和重建计算用的核函数，在GPU上完成对数据点的三维重建，最后将三维点数据拷贝回CPU中。
S6、采集时间序列上的人体散斑图像，通过时间序列上的图像数据点的匹配，完成时间序列上各个状态上的数据点的三维重建。
时间序列上的图像匹配以及匹配结果的验证过程如图9所示。将ti时刻图像上所有计算节点的位置作为ti+1时刻图像上对应节点的精匹配初值，同时将ti时刻图像上所有数据节点的变形参数作为ti+1时刻图像上对应节点的变形参数的迭代初值。时间序列上的图像匹配过程为将时间t时刻图点坐标作为时间t+1时刻匹配的初值，并进行精匹配过程，精匹配过程可以参考s53，
时间t+1时刻，GPU完成匹配后，验证的内容主要包括：a、迭代中的方程是否无解、迭代是否收敛；b、图像子区灰度残差；c、重建三维点的重投影误差；d、重建三维点坐标深度；验证失败的标志位赋值-1，并将匹配的t+1时刻的图像点坐标拷贝回CPU，通过验证标志位，对于匹配失败的点，根据周围成功匹配的点向该点扩散，在CPU上完成匹配，匹配示意图如图10所示。
S7、将精匹配初值与迭代初值数据拷贝到GPU的全局内存(global memory)中，将左右图像数据拷贝到GPU的纹理内存(texture memory)中，将第一相机和第二相机的相对姿态(R,T)以及畸变模型系数拷贝到GPU的常量内存(Constant menory)中。执行精匹配核函数，在GPU核函数中完成数据点的精匹配过程，GPU完成匹配后，并验证以下四项验证项：
a、迭代中的方程无解、迭代次数大于100导致的迭代不收敛；
b、图像对应子区灰度残差大于10.0；
c、重建三维点的重投影误差大于0.8pixel；
d、重建三维点坐标深度大于物距±0.5倍物距；
并对数据点匹配正确的标志位赋值1，数据点匹配失败的标志位赋值-1，输出精匹配正确的数据点和重建的三维数据点，并完成三维重建过程。
将精匹配后的数据点对以及点对的变形参数，拷贝回CPU内存中，在CPU中根据GPU拷贝回的匹配失败标志位来判断匹配失败点并修复部分精匹配失败的节点数据，通过失败点周围成功匹配的数据点向该失败点扩散。针对匹配失败的点，修复过程的示意图如图10所示。其中的实心点表示GPU精匹配成功后的数据点，空心点表示匹配失败后的点，图中的箭头表示在CPU上修复该缺失点时周围数据点的扩散方向。匹配失败点修复完成后，在CPU上完成该点的三维重建。
S8、输出重建后的人体的三维点云数据，其中三个状态的点云数据如图12所示，其中6是参考状态的人体三维点云数据，7是t1状态的人体三维点云数据,8是t2状态的人体三维点云数据。
实验例1：
在实验例中，针对相同数目数据点的某人体图像，分别利用单纯CPU计算和本发明实施例提出的GPU+CPU协作计算，散斑区域实时计算的数据点的数量为3200个。通过相机的拍摄帧率以及GPU+CPU协作计算帧率与CPU多线程计算平均帧率(相同数据量的离线计算)，两种方式的计算效率图如图11所示。
基于数字图像相关法进行点云重建，现有技术使用CPU进行离线测量，即先将人体运动过程采集到的图像记录下来，在经过种子点的粗匹配、精匹配、扩散、三维重建过程完成人体的点云重建。
针对相同数目数据点的计算，如图11中，CPU多线程的计算效率平均为2.3帧/秒，远远不能满足相机的采集速率(20帧/秒)。而采用本专利提出的GPU+CPU协作计算的思路，计算人体点云数据的可达到20帧/秒，可以得出在数据点充分得到修复的前提下，计算效率大大提高，其中计算帧率的跳动为CPU修复的数据量不同导致的。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (12)

1.一种动态人体的实时重建方法，其特征在于，所述方法的步骤包括：
S1、连接人体测量装置，其中包括第一相机和第二相机；
S2、第一相机和第二相机标定，求解相机内参数和两相机之间的相对姿态(R,T)；
其中R和T为第二相机的相机坐标系到第一相机相机坐标系的旋转矩阵和平移向量；
S3、参考状态图像采集：将相机采集到的并用于划分计算区域的第一张图像认为是参考状态图像；打开散斑投射器，向人体表面投射散斑，同时采集人体散斑图像；
S4、散斑区域划分：根据左图像上的散斑分布区域和人体分布区域，划分出待计算的区域，用于确定左右图像匹配以及重建人体的范围；
S5、参考状态三维重建：首先在左图像上选取种子点，然后在极线上下设定条带范围内搜索种子点的匹配点，之后完成S4中划分的子区中的所有数据点的匹配，最后利用S2中标定的(R,T)，重建出参考状态下的人体三维点云；
S6、时间序列上的图像采集：同时采集人体散斑的图像流；
S7、时间序列上人体散斑的三维重建：针对S6步骤中采集的图像流，根据人体动态运动的连续性，将前一时刻的散斑数据点相对于参考状态的变形参数直接作为当前时刻对应数据点的对应初值，在GPU上完成每一个数据点的精匹配过程，将匹配结果在CPU上完成GPU匹配结果的校验和修复精匹配失败的点；最后根据步骤S5中的重建方法，重建出当前状态的人体的三维点云；
S8、实时输出时间序列上的人体重建后的三维点云。
2.如权利要求1所述的动态人体的实时重建方法，其特征在于，所述步骤S1中，人体测量装置还包括工作站、散斑投射器、相机与散斑投射器控制箱；通过指令脉冲控制散斑投射器中的LED光源工作，LED光源产生短波长蓝光，散斑投射器使所述光源按照光路设计要求透过散斑片投影在人体表面产生散斑图案。
3.如权利要求1所述的动态人体的实时重建方法，其特征在于，所述步骤S2中，所述第一相机和第二相机标定的步骤为：
S21、针对标定所用的依次放置在相机景深范围内的多个不同方位的标定板，使第一相机和第二相机同时依次对这多个位置的标定板进行采集，共生成多张图像；
S22、对采集图像进行图像处理，计算标定板上编码点和非编码点的像素坐标，利用各张图像上的坐标以及标定板上的三维坐标，根据光束平差算法，求解出相机的内参数以及相机之间的相对姿态。
4.如权利要求1所述的动态人体的实时重建方法，其特征在于，所述步骤S4中，散斑区域划分步骤详细为：
采用矩形、椭圆和多边形三种基本形状工具，以及三种形状之间的交集、并集布尔运算操作，在参考状态时左相机图像上，选择出形状复杂的待计算的散斑区域，用于后续图像匹配的计算范围。
5.如权利要求1所述的动态人体的实时重建方法，其特征在于，所述步骤S5中，参考状态三维重建的步骤为：
S51、种子点选取，根据种子点的分布的间隔步长参数在第一相机采集图像上自动选择种子点阵列，种子点阵列表示为(xLij,yLij)，其中i＝0,1…n；j＝0,1…n；
S52、种子点的粗匹配，根据S2中相机标定的第一相机和第二相机的相对姿态(R,T)，利用双视几何中的极线约束，求解出种子点(xLij,yLij)在第二相机采集图像(右图像)上的估计位置(xRij,yRij)，该位置在右图像上对应于一条线；
采用左右图像子区的相关性策略，如归一化互相关函数(NCC)，在极线的条带范围内进行整像素搜索，选取相关系数最大的点作为匹配点，得到种子点匹配的整像素坐标(x'Rij,y'Rij)；
S53、种子点的精匹配，在步骤S52的基础上，以获得的(x'Rij,y'Rij)为初值，进行精匹配，首先利用亚像素插值算法对搜索域进行灰度插值，得到亚像素级别的坐标和对应灰度值；
完成亚像素插值之后，采用精匹配相关系数计算函数进行亚像素匹配，通过亚像素的搜索，在右图像上选取相关系数最大的搜索区域中心为匹配点，即得到亚像素匹配坐标(xRij,yRij)；
S54、种子点的扩散，根据步骤S53中的种子点阵列在右图像上对应点坐标相对于左图像上种子点的坐标，求解种子点阵列在右图像上对应的点的坐标增量(Δuij,Δvij)；
以种子点为中心，向种子点的上下左右四个方向扩散一定步长，得到四个图像点，将种子点的(Δuij,Δvij)赋值给这四个图像点的粗匹配坐标增量，然后直接进行所述S53步骤中的精匹配过程，求出这四个点在右图像上的精匹配坐标以及坐标增量；之后再依次以这四个点为中心，采用相同的思路，完成对所述S54步骤中散斑区域内的所有数据点的匹配；
S55、散斑区域内数据点的三维重建，将步骤S54中得到的所有匹配点对在GPU上完成三维重建。
6.如权利要求1所述的动态人体的实时重建方法，其特征在于，步骤S7中，时间序列上的三维重建，其详细步骤如下：
S71、采用t0、t1、t2、t3…tn序列表示相机采集图像的时间序列；
S72、完成t0时刻到t1时刻图像的数据点匹配与变形参数的求解；
S73、ti+1时刻图像数据点初值数据获取，将ti时刻图像上所有计算节点的位置作为ti+1时刻图像上对应节点的精匹配初值，同时将ti时刻图像上所有数据节点的变形参数作为ti+1时刻图像上对应节点的变形参数的迭代初值；
S74、数据拷贝，将步骤S72中的初值数据拷贝到GPU的全局内存global memory中，将左右图像数据拷贝到GPU的纹理内存texture memory中，将第一相机和第二相机的相对姿态(R,T)以及畸变模型系数拷贝到GPU的常量内存Constant menory中；
S75、执行核函数，在GPU核函数中完成数据点的精匹配过程，重建精匹配后的同名点，GPU完成匹配后，通过验证区分标志匹配正确的与匹配错误的数据点，输出精匹配后正确的数据点和重建的三维数据点；
S76、数据拷贝，将步骤S74中求解的数据点对以及点对的变形参数，三维点坐标，拷贝回CPU内存中；
S77、针对步骤S75中拷贝回CPU的数据点对，在CPU中根据GPU拷贝回的匹配失败标志位来判断匹配失败点并修复部分精匹配失败的节点数据，并在CPU上重建修复点坐标；
S78、将步骤S77中修复后的点对数据赋值给ti+2时刻的图像中的数据点的初值，循环执行步骤S73～S77，直到用户停止程序。
7.如权利要求6所述的动态人体的实时重建方法，其特征在于，步骤S75中，所述验证区分标志匹配正确的与匹配错误的数据点，具体包括：对验证项进行验证，并对数据点匹配正确的标志位赋值1，数据点匹配失败的标志位赋值-1；所述验证项包括：
a、迭代中的方程无解、迭代次数过多导致的迭代不收敛；
b、图像对应子区灰度残差过大；
c、重建三维点的重投影误差大于阈值；
d、重建三维点坐标深度大于景深。
8.如权利要求1所述的动态人体的实时重建方法，其特征在于，步骤S8中，实时输出人体的三维点云数据。
9.如权利要求1所述的动态人体的实时重建方法，其特征在于，步骤S2中所述内参数包括焦距、主点偏差以及畸变模型系数，第一相机和第二相机标定采用多步法和光束平差的方法，所述多步法具体为：在第一相机与第二相机的公共视场中，分别将标定板放置在不同的多个位置，两相机同时采集多对图像。
10.如权利要求1所述的动态人体的实时重建方法，其特征在于，步骤S5中，所述设定条带范围为极线上下3个像素范围。
11.如权利要求3所述的动态人体的实时重建方法，其特征在于，
步骤S21中所述的标定板为环形编码标记点与圆形非编码标记点有规律的分布的平面板，标定中使用的标定板的大小与相机的测量幅面相符合，即在相机的景深范围内，标定板在相机中的成像占据图像的近80％区域。
12.如权利要求5所述的动态人体的实时重建方法，其特征在于，步骤S53中，采用零均值归一化最小距离平方和系数ZNSSD进行子区亚像素搜索和匹配；步骤S55中，将匹配点对数据拷贝到GPU全局内存中，将第一相机和第二相机的相对姿态(R,T)以及畸变模型系数拷贝到GPU的常量内存中，利用GPU去畸变和重建计算用的核函数，在GPU上完成对数据点的三维重建，最后将三维点数据拷贝回CPU中。
CN202210887400.3A 2022-07-26 2022-07-26 一种动态人体的实时重建方法 Pending CN115272573A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210887400.3A CN115272573A (zh) 2022-07-26 2022-07-26 一种动态人体的实时重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210887400.3A CN115272573A (zh) 2022-07-26 2022-07-26 一种动态人体的实时重建方法

Publications (1)

Publication Number Publication Date
CN115272573A true CN115272573A (zh) 2022-11-01

Family

ID=83768112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210887400.3A Pending CN115272573A (zh) 2022-07-26 2022-07-26 一种动态人体的实时重建方法

Country Status (1)

Country Link
CN (1) CN115272573A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310217A (zh) * 2023-03-15 2023-06-23 精创石溪科技(成都)有限公司 基于三维数字图像相关法的人体运动中肌肉动态评估方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310217A (zh) * 2023-03-15 2023-06-23 精创石溪科技(成都)有限公司 基于三维数字图像相关法的人体运动中肌肉动态评估方法
CN116310217B (zh) * 2023-03-15 2024-01-30 精创石溪科技(成都)有限公司 基于三维数字图像相关法的人体运动中肌肉动态评估方法

Similar Documents

Publication Publication Date Title
US8208029B2 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
CN104408732B (zh) 一种基于全向结构光的大视场深度测量系统及方法
CN104835158B (zh) 基于格雷码结构光与极线约束的三维点云获取方法
WO2018076154A1 (zh) 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法
CN103649674B (zh) 测量设备以及信息处理设备
JP5999615B2 (ja) カメラ較正情報生成装置、カメラ較正情報生成方法およびカメラ較正情報生成プログラム
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
JP2009017480A (ja) カメラキャリブレーション装置およびそのプログラム
CN108225216A (zh) 结构光系统标定方法及装置、结构光系统及移动设备
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
CN111028280B (zh) 井字结构光相机系统及进行目标有尺度三维重建的方法
CN113706619B (zh) 一种基于空间映射学习的非合作目标姿态估计方法
CN106485207A (zh) 一种基于双目视觉图像的指尖检测方法及系统
CN104976968A (zh) 一种基于led标签跟踪的三维几何测量方法及系统
CN115797461A (zh) 基于双目视觉的火焰空间定位系统标定与校正方法
CN108010125A (zh) 基于线结构光和图像信息的真实尺度三维重建系统及方法
CN114152217A (zh) 基于监督学习的双目相位展开方法
CN115345942A (zh) 空间标定方法、装置、计算机设备和存储介质
CN115272573A (zh) 一种动态人体的实时重建方法
CN113446957A (zh) 基于神经网络标定和散斑追踪的三维轮廓测量方法及装置
CN108269234A (zh) 一种全景相机镜头姿态估计方法及全景相机
CN116625258A (zh) 链条间距测量系统及链条间距测量方法
CN117579753A (zh) 三维扫描方法、装置、计算机设备以及存储介质
Kurillo et al. Framework for hierarchical calibration of multi-camera systems for teleimmersion
CN115761116A (zh) 一种基于单目相机的透视投影下三维人脸重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination