CN110880186A - 一种基于一次投影结构光平行条纹图案的实时人手三维测量方法 - Google Patents

一种基于一次投影结构光平行条纹图案的实时人手三维测量方法 Download PDF

Info

Publication number
CN110880186A
CN110880186A CN201811034847.6A CN201811034847A CN110880186A CN 110880186 A CN110880186 A CN 110880186A CN 201811034847 A CN201811034847 A CN 201811034847A CN 110880186 A CN110880186 A CN 110880186A
Authority
CN
China
Prior art keywords
stripe
stripes
ordinate
clustering
human hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811034847.6A
Other languages
English (en)
Inventor
王振洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Technology
Original Assignee
Shandong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Technology filed Critical Shandong University of Technology
Priority to CN201811034847.6A priority Critical patent/CN110880186A/zh
Publication of CN110880186A publication Critical patent/CN110880186A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于一次投影结构光平行条纹图案的实时人手三维测量方法。通过结构光投影装置，将单幅黑白或者彩色结构光平行条纹图案投影到被测人手表面，通过单个摄像装置记录变形的黑白或者彩色结构光条纹图案，通过图像处理技术自动检测出各个手指部分条纹与手掌区域条纹。通过条纹聚类技术分别对各个手指部分条纹与手掌区域条纹进行独立的条纹聚类。在所有的条纹被聚类之后，通过手掌区域聚类条纹的长度变化，计算出各个手指部分聚类条纹与手掌区域聚类条纹的连接位置。根据计算的连接位置，将各个手指部分的聚类条纹与手掌区域的聚类条纹合并在一副图像中。并且从下至上依次标识每一条聚类条纹。依次提取聚类条纹的骨架以及骨架上点的纵坐标，生成一个纵坐标矩阵。通过样条函数内插的方法将纵坐标矩阵的分辨率提高到与摄像装置图像分辨率一致，生成纵坐标图。基于相邻纵坐标差分布与最小二乘直线拟合，校正纵坐标图的失真。通过失真校正后的人手纵坐标图与标定好的系统参数实时计算出三维人手。本发明可以在暗室也可以在正常光照室内场景中对静止，运动或者变形人手进行实时鲁棒测量。

Description

一种基于一次投影结构光平行条纹图案的实时人手三维测量 方法
技术领域
本发明涉及光学三维传感技术，特别是涉及通过投影单幅平行黑白条纹或者彩色条纹组成的图案，通过针对人手特征的图像处理方法，实现对人手表面三维形状的实时测量。
背景技术
本发明涉及一种基于一次投影结构光的实时三维人手测量方法。基于一次投影结构光的三维测量技术既能测量静态人手的三维数据，也能测量动态人手的三维数据。静态人手的三维测量在人类工程学、辅助人手手术等领域起着重要作用。而动态人手的三维测量在机器人手设计与生物机械分析、手势识别、人机交互等领域有着广泛的需求与应用。目前可以用于人手三维测量的技术主要包括立体摄影测量技术，多次投影结构光技术，数据手套技术，基于二维图像的人手建模技术，双目视觉技术，一次投影实时结构光技术,飞行时间技术以及三维激光扫描技术等。其中，立体摄影测量技术与多次投影结构光技术的优点是测量精度高，缺点是测量过程麻烦效率低，并且要求测量过程中人手保持绝对静止，请参见文献I.A. Hoevenaren, J. Meulstee, E. Krikken, S.J. Berge, D.J.O. Ulrich,T. J. Maal, "Development of a Three-Dimensional Hand Model Using Three-Dimensional Stereophotogrammetry: Assessment of Image Reproducibility," plos one, 10(9), e0136710 (2015)与J. Geng, “Structured light 3D surface imaging: atutorial,” Adv Opt Photonics, Vol. 3 No. 2, pp.128-160, (2011)。数据手套技术的优点是加入了触觉与力学的反馈，缺点是操作笨重，不自然以及精度不高，请参见文献R.Rosales, V. Athitsos, L. Sigal, and S. Scarloff, "3D Hand Pose ReconstructionUsing Specialized Mappings," Proc. Eighth Int’l Conf. Computer Vision, I,378-385, (2001)。基于二维图像的人手建模技术与双目视觉技术的优点是简单灵活成本低，缺点是复杂度高，很难达到实时的要求，而且鲁棒性差，容易受人脸纹理或者光照条件的影响,请参见文献B. Stenger, A. Thayananthan, P.H. Torr and R. Cipolla,"Model-based hand tracking using a hierarchical bayesian filter," IEEE Trans.Pattern Anal. Mach. Intell., 28, 1372–1384, (2006)。一次投影实时结构光技术与飞行时间技术的优点是实时性强，缺点是鲁棒性差与分辨率低，请参见文献M. Takeda, Q.Gu, M. Kinoshita, H. Takai and Y. Takahashi, “Frequency-multiplex Fourier-transform profilometry: a single-shot three-dimensional shape measurement ofobjects with large height discontinuities and/or surface isolations”, AppliedOpt., Vol. 36, No. 22, pp. 5347, (1997)；G. Hackenberg, R. McCall, W. Broll, "Lightweight palm and finger tracking for real-time 3D gesture control," the2011 IEEE Virtual Reality Conference (VR), Singapore, 19–26, (2011)；K.T. Kim,J.G. Kim, J.S. Choi, J. Y. Kim and S.Y. Lee, " Depth Camera-Based 3D HandGesture Controls with Immersive Tactile Feedback for Natural Mid-Air GestureInteractions," Sensors, 15, 1022-1046, (2015)。三维激光扫描技术的优点是鲁棒性与实时性强，缺点是成本高以及价格昂贵，请参考一款典型产品FARO Focus3D 120的报价。
上述技术多数都采用通用方法，而没有考虑人手的特征。相比之下，本发明充分利用人手的特征，提出了针对人手特征的图像处理方法，通过单幅图像就可以计算出高精度纵坐标图(y p )，测量精度与相移法的精度相当。而相移法是一种传统的结构光三维测量技术，它的优点包括测量精度高，测量速度快以及成本低等，请参见文献Z.Z. Wang, "Robustmeasurement of the diffuse surface by phase shift profilometry," Journal ofoptics, 16 (10), 105407, (2014)。目前基于相移法的三维测量技术已经成为三维测量市场的主流产品。然而它需要至少向被测物体投影三幅以上的相位图案，并且要求被测物体保持完全的静止状态。因此相移法及其相关产品都无法对运动或者动态的人手进行鲁棒测量。此外，相移法用到的结构光图案是连续的相位，因此它抵抗外界光线干扰的能力非常差。如何通过单幅图像求解出相移法至少需要三幅图像才能求解的纵坐标图(y p )，从而达到对运动或变形物体进行精确的测量，在发明人的前期研究中已经得到解决，请参阅文献Z.Z. Wang and Y.M. Yang, "Single shot three-dimensional reconstruction basedon structured light line pattern," Opt. Lasers in Engineering, 106, 10-16,(2018)。如何通过单幅人手图像精确求解人手纵坐标图(y p )，从而达到对动态人手的精确测量，是应用本发明可以解决的问题。同时，本发明采用的条纹编码是二进制编码，比连续的相位更加容易抵抗外界光线与噪音的干扰,请参见文献Z.Z. Wang, unsupervisedrecognition and characterization of the reflected laser lines for roboticsgas metal arc welding, IEEE Transactions on industrial informatics, 13(4),1866-1876, (2017)。 因此，本发明可以在暗室中也可以在正常光照的室内场景中对静止或动态人手进行实时的三维测量。而本发明有效地结合了人手的特征，并且根据人手特征提出专门的图像处理方法对不同手指与手掌区域进行独立地条纹聚类计算。最终通过单幅图像计算出一个精确的纵坐标图(y p )以及三维人手。与现有技术相比，本发明在对人手的三维测量方面，具有实时性高，鲁棒性强与成本低等优点。
发明内容
本发明的目的是针对现有的实时结构光三维测量技术无法对动态人手进行鲁棒的三维测量，并且抵抗外界光线干扰能力较差等缺陷，提供一种基于一次投影结构光平行条纹的三维人手测量方法，该方法结合人手特征进行有效地图像处理，利用单幅图像计算出传统相移法需要通过三幅以上图像才能计算出的人手纵坐标图(y p )，既满足了人手三维测量的实时性，又保证了人手测量精度非常接近传统相移法的三维测量精度。同时，也解决了传统相移法无法精确测量动态人手的问题。
为了实现上述发明的目的，本发明采用下述技术方案实现：
使用结构光投影装置，将单幅黑白或者彩色结构光平行条纹图案投影到被测人手表面，该黑白或者彩色结构光平行条纹图案，是指通过二进制编码或者余弦函数编码生成若干条平行条纹，相邻平行条纹间隔相同。使用单个摄像装置记录被人手表面形状扭曲的变形条纹图案，通过人手图像处理技术分割出每一条变形条纹，该人手图像处理技术通过条纹梯度检测的方式，减少图像中的噪音与不均匀背景，通过基于斜率差的阈值选取方式进行全局分割。再通过计算人手不同区域中分割条纹的面积变化情况，微调选取的阈值对人手条纹进行高精度迭代分割。通过人手条纹聚类技术首先根据分割条纹的面积变化情况，检测出手指区域和手掌区域。根据手指区域中条纹的横坐标分布情况，将手指区域条纹分为拇指部分条纹，食指部分条纹，中指部分条纹，无名指部分条纹与小指部分条纹。分别对手掌区域条纹以及各个手指部分条纹进行基于条纹上各个点最大纵坐标值的从下至上条纹聚类。根据聚类后的手掌区域条纹的长度变化情况，计算出各个手指部分条纹与手掌区域条纹的连接之处，从而合并各个手指部分的聚类条纹与手掌区域的聚类条纹为人手聚类条纹。每条聚类条纹的标识数字从下至上依次为1，2,…,N,其中N为条纹的总数。从下至上依次提取聚类条纹的骨架(skeleton)。
提取每条骨架在图像中的所有点的纵坐标，生成纵坐标矩阵。该纵坐标矩阵的分辨率(N×N Y )低于摄像装置捕获图像的分辨率(N X ×N Y )，因此需要通过样条函数内插方法提高纵坐标矩阵的分辨率至(N X ×N Y )，得到纵坐标图。通过基于纵坐标纵向变化斜率的校正方法，去除纵坐标图中的由样条函数内插引起的失真。通过标定板的纵坐标图与标定板上的标志点，标定出人手三维测量系统的系统参数。在实时人手测量的时候，摄像装置捕获一副人手条纹图像，通过上述方法计算出人手的纵坐标图与标定好的系统参数，就可以实时计算出三维人手。
本发明与现有技术相比，有如下优点：
本发明投影的结构光图案为明暗相间的黑白条纹，或者RGB三色组成的彩色条纹。在抓取的变形条纹图像中，条纹的对比度明显，再加上提出的条纹梯度检测的方法，可以有效减少图像中的噪音与不均匀背景光的影响。因此本发明的外界干扰光线抵抗能力比现有技术要强。本发明通过针对人手特征的条纹聚类方法，样条函数内插方法与纵坐标图失真校正方法，可以计算出光滑连续的人手纵坐标图。重构的人手在边缘没有失真。因此，本发明的人手测量精度比现有的一次投影三维测量技术高。同时，本发明的重构精度与分辨率和传统相移法的重构精度与分辨率基本相同，然而传统相移法是多次投影无法实时测量或者无法测量动态的人手，而本发明是一次投影，除了测量效率高，更可以测量动态的人手。
附图说明
图1为本发明的系统结构图。
图2 为本发明的各个手指部分的条纹与手掌区域的条纹聚类流程图。
图3 为本发明的人手条纹聚类流程图。
图4为本发明的实时三维人手测量技术流程图。
具体实施方式
下面根据附图与工作原理，对本发明进行详细说明。
附图1是本发明的系统结构图。包括一台工业相机，一台工业投影仪与一台高性能计算机。为了保证三维重构结果的分辨率，工业相机与工业投影仪的分辨率分别选为1280×1024与1920×1200或者更高。相机的图像捕捉帧率与投影仪的投影帧率都大于10帧/秒。因为条纹图案生成，图像捕捉，图像处理与三维重构都是由计算机完成，因此为了达到实时的要求，计算机选为i7-6700 CPU@ 3.4GHz 16G ram或者更高性能的配置。
附图2是本发明的各个手指部分的条纹与手掌区域的条纹聚类流程图。具体实施如下。
如图2所示，首先将人手条纹图像通过条纹梯度检测，阈值选取进行分割，得到分割后人手条纹图像。假设纵坐标方向的所有坐标索引的集合为Y={1,2,…, N Y }，横坐标方向的所有坐标索引的集合为X={1,2,…, N X }。本发明通过如下方法，将条纹分为手指区域条纹与手掌区域条纹。
步骤1：对所有分割条纹进行自动标识，生成一副标识图像L。每条条纹都有一个唯一标识的数字i，i=1,2,…,N。N是图像中的条纹总数。每条标识条纹上所有点的坐标集合(X i , Y i )由下式计算：
Figure 877078DEST_PATH_IMAGE001
(1)
步骤2：由下式计算出一个区分手指区域条纹与手掌区域的面积阈值：
Figure 11387DEST_PATH_IMAGE002
(2)
步骤3：手指区域条纹上所有点的坐标集合(X F , Y F )由下式计算：
Figure 296875DEST_PATH_IMAGE003
(3)
手掌区域条纹上所有点的坐标集合(X P , Y P )由下式计算：
Figure 565045DEST_PATH_IMAGE004
(4)
步骤4：由下式初始化一副分辨率为N X ×N Y 的手指图像F：
Figure 478643DEST_PATH_IMAGE005
(5)
通过坐标集合(X F , Y F )，更新初始化的手指图像F：
Figure 908488DEST_PATH_IMAGE006
(6)
步骤5：由下式初始化一副分辨率为N X ×N Y 的手掌图像P：
Figure 681272DEST_PATH_IMAGE007
(7)
通过坐标集合(X P , Y P )，更新初始化的手指图像P：
Figure 362920DEST_PATH_IMAGE008
(8)
在手指图像中包含且仅包含所有手指区域条纹，在手掌图像中包含且仅包含所有手掌区域条纹。
人手的一个重要的特征就是非常光滑，因此分割出的条纹在手掌区域内或某个手指部分内都是连续的。根据这一特征，本发明对手掌图像中的条纹通过如下从下至上的方法，进行聚类。
步骤1: 生成一副分辨率为N X ×N Y 的聚类图像C P ，将其所有像素值初始化为0。对所有分割条纹进行自动标识，生成一副标识图像L P 。每条条纹都有一个唯一标识的数字i，i= 1,2,…,N P 。N P 是手掌图像中的条纹总数。
步骤2: 对于手掌图像P中第1条条纹，首先计算手指图像P中大于零的最下面的点，也就是拥有纵坐标最大值的条纹上点(x b , y b )：
Figure 271970DEST_PATH_IMAGE009
(9)
再计算在标识图像L P 中所有与(x b , y b )具有相同像素值的坐标集合(X b , Y b )：
Figure 138295DEST_PATH_IMAGE010
(10)
在手掌图像P中将坐标集合(X b , Y b )对应的点赋值0：
Figure 991850DEST_PATH_IMAGE011
(11)
在手掌聚类图像C P 中将坐标集合(X b , Y b )对应的点赋值1：
Figure 601823DEST_PATH_IMAGE012
(12)
步骤3：对于手掌图像P中第i条条纹，通过公式(9)计算拥有纵坐标最大值的条纹上点(x b , y b )。再通过公式(10)计算所有与(x b , y b )具有相同像素值的坐标集合(X b , Y b )。手掌聚类图像C P 中第i条聚类条纹，由下式计算：
Figure 365380DEST_PATH_IMAGE013
(13)
通过公式(11),将在手掌图像P中将坐标集合(X b , Y b )对应的点赋值0。
步骤 4: 重复步骤3，直到手掌图像P中所有的条纹被移到手掌聚类图像C P 中，并且所有条纹被从下至上依次标识。
在手指图像中，包括五个手指部分的条纹，本发明通过如下方法，区分各个手指部分的条纹。
步骤1：对所有手指图像F中所有分割条纹进行自动标识，生成一副标识图像L F 。每条条纹都有一个唯一标识的数字i，i=1,2,…,N F 。N F 是手指图像中的条纹总数。第i条标识条纹上所有点的坐标集合(X i F , Y i F )由下式计算：
Figure 277972DEST_PATH_IMAGE014
(14)
在标识图像L F 中，第i条标识条纹的平均横坐标由下式计算：
Figure 759769DEST_PATH_IMAGE015
(15)
手指图像F中的所有条纹的平均横坐标由下式计算：
Figure 907854DEST_PATH_IMAGE016
(16)
其中，N F 是手指图像中的条纹总数。本发明将手指区域细分为五个部分： (1) 小指部分; (2) 无名指部分; (3) 中指部分 (4) 食指部分; (5) 拇指部分。为了区分这五个部分的条纹，本发明计算相邻条纹平均横坐标的差：
Figure 650551DEST_PATH_IMAGE017
(17)
本发明利用相邻平均横坐标差分布中，四个峰值对应的位置来区分五个手指部分的条纹。四个峰值位置p 1 ,p 2 ,p 3 与p 4 分别由下列公式计算：
Figure 858678DEST_PATH_IMAGE018
(18)
Figure 562192DEST_PATH_IMAGE019
(19)
Figure 654913DEST_PATH_IMAGE020
(20)
Figure 127482DEST_PATH_IMAGE021
(21)
Figure 506511DEST_PATH_IMAGE022
(22)
Figure 697321DEST_PATH_IMAGE023
(23)
Figure 580351DEST_PATH_IMAGE024
(24)
区分食指与拇指的位置P 4 ,由下列公式计算：
Figure 173006DEST_PATH_IMAGE025
(25)
Figure 457357DEST_PATH_IMAGE026
(26)
Figure 276408DEST_PATH_IMAGE027
(27)
区分中指与食指的位置P 3 ,由下列公式计算：
Figure 569987DEST_PATH_IMAGE028
(28)
Figure 17148DEST_PATH_IMAGE029
(29)
Figure 862614DEST_PATH_IMAGE030
(30)
区分无名指与中指的位置P 2 ,由下列公式计算：
Figure 762436DEST_PATH_IMAGE031
(31)
Figure 594126DEST_PATH_IMAGE032
(32)
Figure 302319DEST_PATH_IMAGE033
(33)
区分小指与无名指的位置P 1 ,由下列公式计算：
Figure 194052DEST_PATH_IMAGE034
(34)
Figure 581171DEST_PATH_IMAGE035
(35)
小指部分所有条纹的点坐标集合(X f1 , Y f1 )由下式计算：
Figure 216552DEST_PATH_IMAGE036
(36)
无名指部分所有条纹的点坐标集合(X f2 , Y f2 )由下式计算：
Figure 762939DEST_PATH_IMAGE037
(37)
中指部分所有条纹的点坐标集合(X f3 , Y f3 )由下式计算：
Figure 825573DEST_PATH_IMAGE038
(38)
食指部分所有条纹的点坐标集合(X f4 , Y f4 )由下式计算：
Figure 965568DEST_PATH_IMAGE039
(39)
拇指部分所有条纹的点坐标集合(X f5 , Y f5 )由下式计算：
Figure 14426DEST_PATH_IMAGE040
(40)
生成一副分辨率为N X ×N Y 的小指图像F 1 ，将其所有像素值初始化为0:
Figure 290687DEST_PATH_IMAGE041
(41)
再将小指图像F 1 中坐标集合(X f1 , Y f1 )对应的点赋值1：
Figure 524222DEST_PATH_IMAGE042
(42)
生成一副分辨率为N X ×N Y 的无名指图像F 2 ，将其所有像素值初始化为0:
Figure 885933DEST_PATH_IMAGE043
(43)
再将无名指图像F 2 中坐标集合(X f2 , Y f2 )对应的点赋值1：
Figure 987750DEST_PATH_IMAGE044
(44)
生成一副分辨率为N X ×N Y 的中指图像F 3 ，将其所有像素值初始化为0:
Figure 384097DEST_PATH_IMAGE045
(45)
再将中指图像F 3 中坐标集合(X f3 , Y f3 )对应的点赋值1：
Figure 788533DEST_PATH_IMAGE046
(46)
生成一副分辨率为N X ×N Y 的食指图像F 4 ，将其所有像素值初始化为0:
Figure 512907DEST_PATH_IMAGE047
(47)
再将中指图像F 4 中坐标集合(X f4 , Y f4 )对应的点赋值1：
Figure 293781DEST_PATH_IMAGE048
(48)
生成一副分辨率为N X ×N Y 的拇指图像F 5 ，将其所有像素值初始化为0:
Figure 279054DEST_PATH_IMAGE049
(49)
再将拇指图像F 5 中坐标集合(X f5 , Y f5 )对应的点赋值1：
Figure 854392DEST_PATH_IMAGE050
(50)
对于五副手指图像中的条纹，通过公式(9)-(13),分别进行从下至上基于纵坐标最大值的条纹聚类。生成五副对应的聚类图像，F C1 ,F C2 ,F C3 ,F C4 和F C5 。
附图3是本发明的人手条纹聚类流程图。具体实施如下：
如图3所示，首先通过如下方法计算各个手指部分的聚类条纹与手掌区域聚类条纹的连接位置。
手掌聚类图像C P 中的第i条聚类条纹的最大横坐标由下式计算：
Figure 583838DEST_PATH_IMAGE051
(51)
手掌聚类图像C P 中的第i条聚类条纹的最小横坐标由下式计算：
Figure 902824DEST_PATH_IMAGE052
(52)
手掌聚类图像C P 中的第i条聚类条纹的长度由下式计算：
Figure 8183DEST_PATH_IMAGE053
(53)
其中，N P 是手掌聚类图像中的条纹总数。相邻条纹的长度差，由下式计算：
Figure 629789DEST_PATH_IMAGE054
(54)
在相邻条纹长度差分布中，峰值发生位置对应手指部分聚类条纹与手掌区域聚类条纹的连接位置。根据峰值的个数，某峰值发生位置可能对于多个连接位置。如果有四个峰值，那么四个位置从左至右分别对应于拇指，小指，无名指与食指的连接位置。而中指的连接位置是N P 。如果有三个峰值，那么三个位置从左至右分别对应于拇指，小指与无名指的连接位置。而中指与食指的连接位置都是N P 。如果有两个峰值，那么两个位置从左至右分别对应于拇指与小指的连接位置。而无名指，中指与食指的连接位置都是N P 。对于有三个峰值的情况，具体对应位置计算如下：
假设三个峰值对应的位置分别为p 1 ’ ，p 2 ’ ，p 3 ’ , 分别由下列公式计算：
Figure 453388DEST_PATH_IMAGE055
(55)
Figure 576065DEST_PATH_IMAGE056
(56)
Figure 660565DEST_PATH_IMAGE057
(57)
Figure 843284DEST_PATH_IMAGE058
(58)
Figure 888601DEST_PATH_IMAGE059
(59)
无名指聚类条纹与手掌聚类条纹的连接位置P 3 ’ ，由下列公式计算：
Figure 690335DEST_PATH_IMAGE060
(60)
Figure 770286DEST_PATH_IMAGE061
(61)
Figure 858328DEST_PATH_IMAGE062
(62)
小指聚类条纹与手掌聚类条纹的连接位置P 2 ’ ，由下列公式计算：
Figure 390940DEST_PATH_IMAGE063
(63)
Figure 980053DEST_PATH_IMAGE064
(64)
Figure 180091DEST_PATH_IMAGE065
(65)
拇指聚类条纹与手掌聚类条纹的连接位置P 1 ’ ，由下列公式计算：
Figure 439034DEST_PATH_IMAGE066
(66)
Figure 334308DEST_PATH_IMAGE067
(67)
中指聚类条纹与手掌聚类条纹的连接位置P 4 ’ ，由下式计算：
Figure 336900DEST_PATH_IMAGE068
(68)
食指聚类条纹与手掌聚类条纹的连接位置P 5 ’ ，由下式计算：
Figure 125864DEST_PATH_IMAGE069
(69)
小指聚类条纹的标识数字由下列公式更新：
Figure 211501DEST_PATH_IMAGE070
(70)
Figure 718705DEST_PATH_IMAGE071
(71)
无名指聚类条纹的标识数字由下列公式更新：
Figure 259408DEST_PATH_IMAGE072
(72)
Figure 168458DEST_PATH_IMAGE073
(73)
中指聚类条纹的标识数字由下列公式更新：
Figure 910149DEST_PATH_IMAGE074
(74)
Figure 904650DEST_PATH_IMAGE075
(75)
食指聚类条纹的标识数字由下列公式更新：
Figure 249044DEST_PATH_IMAGE076
(76)
Figure 405743DEST_PATH_IMAGE077
(77)
拇指聚类条纹的标识数字由下列公式更新：
Figure 442969DEST_PATH_IMAGE078
(78)
Figure 659187DEST_PATH_IMAGE079
(79)
通过下列公式，合并手掌聚类条纹与更新后的手指部分聚类条纹，为人手聚类条纹H C ：
Figure 948217DEST_PATH_IMAGE080
(80)
Figure 566280DEST_PATH_IMAGE081
(81)
Figure 774408DEST_PATH_IMAGE082
(82)
Figure 602555DEST_PATH_IMAGE083
(83)
附图4是本发明的实时三维人手测量技术流程图。具体实施如下。
如图4所示，通过如下方法计算人手纵坐标图以及三维人手：
步骤1: 生成一副分辨率为N×N Y 的纵坐标矩阵M，将其所有像素值初始化为0:
Figure 288751DEST_PATH_IMAGE084
(84)
其中，X N ={1,2,…,N}。
步骤 2: 生成一副分辨率为N X ×N Y 的条纹图像t，将其所有像素值初始化为0:
Figure 26900DEST_PATH_IMAGE085
(85)
将人手聚类图像中的第i条聚类条纹移至条纹图像t中：
Figure 405929DEST_PATH_IMAGE086
(86)
Figure 472105DEST_PATH_IMAGE087
(87)
计算第i条聚类条纹的骨架：
Figure 227571DEST_PATH_IMAGE088
(88)
其中B是结构元素，N B 是结构元素的大小。纵坐标矩阵M的第i行由下式更新：
Figure 554648DEST_PATH_IMAGE089
(89)
步骤 3: 从i=1开始，重复步骤2，直至i=N。
本发明通过样条函数内插的方法把纵坐标矩阵的分辨率从N×N Y 提高到N X ×N Y ，生成纵坐标图y p 。
本发明通过如下方法对纵坐标图中的纵坐标失真进行校正。
步骤1:对于纵坐标图的每一列,都可以看作为一个向量。求其相邻纵坐标的差，并且检测纵坐标差分布中的波峰。假设在K i， i=1,2,…,N K 处检测到N K 个主波峰。那么在每个主波峰的两侧存在两个副波峰，其与主波峰位置的距离分别为l i 与r i 。
步骤2: 对于纵坐标图中某列V的第(K i -l i +j)个点(K i -l i +j，V(K i -l i +j))，选择其左边10个最临近点，通过下列公式拟合一条直线：
Figure 229211DEST_PATH_IMAGE090
(90)
Figure 907317DEST_PATH_IMAGE091
(91)
Figure 200896DEST_PATH_IMAGE092
(92)
Figure 648057DEST_PATH_IMAGE093
(93)
第(K i -l i +j)个点的纵坐标通过下式更新：
Figure 978676DEST_PATH_IMAGE094
(94)
步骤3: 从j等于0开始，直至j等于l i ，重复步骤2。
步骤4: 对于纵坐标图中某列V的第(K i +r i -j)个点(K i +r i -j，V(K i +r i -j))，选择其右边10个最临近点，通过下列公式拟合一条直线：
Figure 409657DEST_PATH_IMAGE095
(95)
Figure 241347DEST_PATH_IMAGE096
(96)
Figure 933228DEST_PATH_IMAGE097
(97)
Figure 559382DEST_PATH_IMAGE098
(98)
第(K i +r i -j)个点的纵坐标通过下式更新：
Figure 212080DEST_PATH_IMAGE099
(99)
步骤 5:从j等于0开始，直至j等于r i ，重复步骤4。
通过公式(1)-(99)及本发明的方法，计算得到一副失真校正后的人手纵坐标图。
通过标定板的纵坐标图与标定板上的标志点计算得到人手测量系统参数，包括相机仿射变换矩阵M WC 与纵坐标仿射变换矩阵M WP 。
如图4所示，通过人手纵坐标图与标定获得的人手测量系统参数，就可以实时重构三维人手：
Figure 988406DEST_PATH_IMAGE100
(100)
其中，(X W ,Y W ,Z W )是人手的世界坐标。(x c , y c , y p )是人手的相机坐标与纵坐标图中的对应值。

Claims (11)

1.一种使用单幅黑白或者彩色结构光条纹图案与实时图像处理技术的实时人手三维测量方法，其特征是使用结构光投影装置，将单幅黑白或者彩色结构光平行条纹图案投影到被测人手表面，使用单个摄像装置记录变形的结构光条纹图案，通过图像处理技术自动检测出各个手指部分条纹与手掌区域条纹，通过条纹聚类技术分别对各个手指部分条纹与手掌区域条纹进行独立的条纹聚类，通过人手条纹合并方法，生成一副人手聚类条纹图，其中聚类条纹被从下至上依次唯一标识，依次提取聚类条纹的骨架以及骨架上点的纵坐标，生成一个纵坐标矩阵，通过样条函数内插的方法将纵坐标矩阵的分辨率提高到与摄像装置图像分辨率一致，生成纵坐标图，基于相邻纵坐标差分布与最小二乘直线拟合，校正纵坐标图的失真，通过失真校正后的人手纵坐标图与标定好的系统参数实时计算出三维人手。
2.按照权利要求1所述的方法，其特征在于所描述的黑白或者彩色结构光平行条纹图案，是指通过二进制编码或者余弦函数编码生成若干条平行条纹，相邻平行条纹间隔相同。
3.按照权利要求1所述的方法，其特征在于所描述的图像处理技术是根据自动标识人手条纹的面积变化，将人手条纹区分为手指区域条纹与手掌区域条纹。
4.按照权利要求1所述的方法，其特征在于所描述的图像处理技术是根据自动标识手指区域条纹的横坐标变化，将手指区域条纹区分为小指部分条纹，无名指部分条纹，中指部分条纹，食指部分条纹以及拇指部分条纹。
5.按照权利要求1所述的方法，其特征在于所描述的条纹聚类技术是根据图像中条纹上点的最大纵坐标，从下至上依次聚类的方法。
6.按照权利要求1所述的方法，其特征在于所描述的人手条纹合并方法是根据手掌区域聚类条纹的长度变化，计算出各个手指部分聚类条纹与手掌区域聚类条纹的连接位置，再根据计算的连接位置，将各个手指部分的聚类条纹与手掌区域的聚类条纹合并在一副条纹聚类图像中。
7.按照权利要求1所述的方法，其特征在于所描述的纵坐标图失真是由纵坐标矩阵进行样条函数内插时，所引起的纵坐标失真。
8.按照权利要求1所述的方法，其特征在于所描述的纵坐标图失真校正方法是根据每列纵坐标向量的相邻纵坐标差分布中主波峰与对应副波峰的位置，通过最小二乘法拟合直线变化时的纵坐标值，并用其替换失真的纵坐标。
9.按照权利要求1所述的方法，其特征在于所说的纵坐标矩阵对应所有条纹的骨架上各点的纵向坐标，纵坐标图对应人手表面上各点的纵向坐标，纵坐标图与人手的三维坐标的对应关系由系统参数决定，需要通过系统标定获得。
10.按照权利要求1所述的方法，其特征在于所说的系统参数由纵坐标仿射变换矩阵与相机仿射变换矩阵组成，系统参数需要通过系统标定获得。
11.按照权利要求1所述的方法，其特征在于系统标定之后，通过从单幅人手条纹图像中计算出的人手纵坐标图，实时计算出三维人手。
CN201811034847.6A 2018-09-06 2018-09-06 一种基于一次投影结构光平行条纹图案的实时人手三维测量方法 Withdrawn CN110880186A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811034847.6A CN110880186A (zh) 2018-09-06 2018-09-06 一种基于一次投影结构光平行条纹图案的实时人手三维测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811034847.6A CN110880186A (zh) 2018-09-06 2018-09-06 一种基于一次投影结构光平行条纹图案的实时人手三维测量方法

Publications (1)

Publication Number Publication Date
CN110880186A true CN110880186A (zh) 2020-03-13

Family

ID=69727425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811034847.6A Withdrawn CN110880186A (zh) 2018-09-06 2018-09-06 一种基于一次投影结构光平行条纹图案的实时人手三维测量方法

Country Status (1)

Country Link
CN (1) CN110880186A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110926339A (zh) * 2018-09-19 2020-03-27 山东理工大学 一种基于一次投影结构光平行条纹图案的实时三维测量方法
CN112489193A (zh) * 2020-11-24 2021-03-12 江苏科技大学 一种基于结构光的三维重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105759967A (zh) * 2016-02-19 2016-07-13 电子科技大学 一种基于深度数据的手部全局姿态检测方法
CN105937887A (zh) * 2016-04-21 2016-09-14 复旦大学 基于三值化三色交叉网格条纹的三维面形测量方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105759967A (zh) * 2016-02-19 2016-07-13 电子科技大学 一种基于深度数据的手部全局姿态检测方法
CN105937887A (zh) * 2016-04-21 2016-09-14 复旦大学 基于三值化三色交叉网格条纹的三维面形测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHENZHOU WANG ETC.: ""Single-shot three-dimensional reconstruction based on structured light line pattern"", 《SINGLE-SHOT THREE-DIMENSIONAL RECONSTRUCTION BASED ON STRUCTURED LIGHT LINE PATTERN》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110926339A (zh) * 2018-09-19 2020-03-27 山东理工大学 一种基于一次投影结构光平行条纹图案的实时三维测量方法
CN112489193A (zh) * 2020-11-24 2021-03-12 江苏科技大学 一种基于结构光的三维重建方法

Similar Documents

Publication Publication Date Title
Wöhler 3D computer vision: efficient methods and applications
Mueggler et al. Continuous-time trajectory estimation for event-based vision sensors
Fechteler et al. Adaptive colour classification for structured light systems
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
US20120176478A1 (en) Forming range maps using periodic illumination patterns
CN112053447B (zh) 一种增强现实三维注册方法及装置
CN110926339A (zh) 一种基于一次投影结构光平行条纹图案的实时三维测量方法
Li et al. RGB line pattern-based stereo vision matching for single-shot 3-D measurement
CN110415304B (zh) 一种视觉标定方法及系统
Shuang et al. Active stereo vision three-dimensional reconstruction by RGB dot pattern projection and ray intersection
CN103735269A (zh) 一种基于视频多目标跟踪的高度测量方法
CN114792345B (zh) 一种基于单目结构光系统的标定方法
CN110880186A (zh) 一种基于一次投影结构光平行条纹图案的实时人手三维测量方法
CN113642397A (zh) 一种基于手机视频的物体长度测量方法
JP2001101419A (ja) 画像特徴追跡処理方法、画像特徴追跡処理装置、３次元データ作成方法
Ran et al. High-precision human body acquisition via multi-view binocular stereopsis
CN107424194A (zh) 键盘轮廓度的检测方法
CN110879947A (zh) 一种基于一次投影结构光平行条纹图案的实时人脸三维测量方法
Shi et al. Depth sensing with coding-free pattern based on topological constraint
WO2023102646A1 (en) A method to register facial markers
Fong et al. High-resolution three-dimensional sensing of fast deforming objects
Delmas et al. Stereo camera visual odometry for moving urban environments
JP2002352231A (ja) 人体端点検出方法及び装置
CN111640084A (zh) 一种基于lk光流的高速像素匹配方法
Long et al. Robust and efficient decoding scheme for line structured light

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200313