CN110930448B - 基于手部图像的参数测量方法与装置 - Google Patents

Abstract

一种基于手部图像的参数测量方法与装置，属于医学应用研究领域。该方法与装置主要包括图像采集系统、数据处理与显示界面系统，其特征在于：该装置的图像采集系统包括补光高清摄像头、遮光箱子、USB传输线；数据处理与显示界面系统包括计算机、数据处理以及界面显示软件。本发明根据预处理后的手部图像以及标定好的摄像头参数，采用交互式鼠标取点进行手部参数测量。本发明提出的方法成本低、测量方便、测量计算速度快、测量精度高，能为制备烧伤烫伤患者治疗用弹力手套提供准确手部测量数据，在医学图像处理、医疗设备检测等领域有着广泛的应用。

Description

基于手部图像的参数测量方法与装置

技术领域

本发明涉及的是一种数字图像处理以及参数测量应用研究领域的方法，具体是一种基于手部图像的参数测量方法与装置。

背景技术

近十几年来，科技飞速发展，计算机图像技术应用日益广泛，形成了一门新的测量技术——图像测量技术。图像测量技术是以现代光学为基础，融合光电子学、计算机图像学、信息处理、激光技术等多种科学技术为一体的现代测量方法，是集光、电、算和控制技术于一体的综合测量系统。图像测量是今年来发展起来的测量技术，它利用获取的物体图像，经过计算机处理实现对物体的几何尺寸、形状的测量。图像测量是测量被测对象时，把图像当作检测和传递信息的手段或载体加以利用的测量方法，它广泛应用于物体几何量的尺寸测量、航空遥感测量、精密复杂零件的微尺寸测量和物体的外观三维测量、光波干涉图等和图像相关的技术领域。

基于图像处理的测量技术是一种发展迅速的非接触式测量方法，在国内外都受到深入研究，在几何测量领域航空遥感、精密复杂仪器的微小尺寸测量、医学图像测量等已受到广泛应用。基于图像的尺寸测量有点颇多，成本低、安装方便、非接触式、自动化程度高等。实时性、灵活性、非接触式等优点避免了传统检测方法存在的不足。

在图像测量方面进行研究的国家中，德国、美国、日本等工业国家位于前列，并且提出较多图像测量的原理与方法，相对而言我们国家在图像方面研究起步较晚，研究图像测量技术是从80年代中期开始的，当时主要应用是使用线阵电荷耦合器(CCD)测量长度，测量钢丝直径，但精度不高。加之CCD价格偏高，所以基于图像测量方法没有得到普及。

近年来，随着半导体、微电子的发展，国内外在图像测量技术方面发展迅速，究其原因是市场应用需求不断扩大和计算机技术和数字图像处理技术的发展。因为CCD制作工艺和IC技术的发展，CCD图像测量系统性能提高的同时成本下降，低成本高性能更能促进这项技术的发展。

目前，在已发表的文献中，利用单幅图像进行测量，由一空间平面(参考平面)与其图像间的变换性矩阵不仅可测量参考平面上的距离,而且可以测量与此参考平面垂直的平面上的距离或者任意一对分别参考平面和垂直平面上的点之间的距离。利用三维重建进行测量，对物体进行重建并提取三维重建结果的表面特征，通过其进行参数测量计算。利用多幅图像进行测量，对获得的多幅图像进行轮廓提取，进而直接尺寸测量。然而，在现有文献的方法中，单幅图像和多幅图像测量仅仅通过提取的轮廓进行参数测量，存在较大误差，三维重建参数测量需要处理的数据量巨大，处理时间较长，成本高。

为了准确获取较为精确的手部的尺寸信息，用于制备烧伤烫伤患者治疗的弹力手套，因此，本发明使用两幅手部图像，一幅主要测量，另外一幅辅助测量，对获得的图像进行滤波及边缘提取后，鼠标取得测量点的坐标，根据变换矩阵以及经验拟合方法计算出手部关键部位的尺寸。本发明建立了成本低、精度高、计算速度快的手部参数测量系统，该系统对于烧伤烫伤患者治疗的弹力手套的制备有重要实际意义。

发明内容

本发明鉴于上述问题，其目的在于：提供一种不需要手工测量并使用计算机系统对手部图像关键参数进行测量的方法及装置。

本发明所采取的技术方案，具体结构参见图1，该装置主要包括图像采集系统1、数据处理与显示界面系统2，其特征在于：该装置的图像采集系统1包括补光高清摄像头A1、遮光箱子A2、USB传输线A3；数据处理与显示界面系统2包括计算机B1、数据处理以及界面显示软件B2；其中，补光摄像头A1安装在遮光箱顶部中心的孔槽A2拍摄方向向下，并且通过数据传输线A3与计算机B1连接，数据处理以及界面显示软件B2运行计算机B1上，通过USB传输线A3控制补光摄像头的采集。

根据本发明，能够在不需要手工进行测量，并使用计算机系统对手部图像关键参数进行测量，测量参数准确，可识别率高。

应用所述装置的一种基于手部图像的参数测量方法，其特征在于，步骤如下：

步骤1)：读取摄像头捕获的图像数据，图像的大小为640×480像素。

待测量的手部图像由补光摄像头(A1)采集，数据通过数据线存入到计算机(B1)中。

步骤2)：对图像进行标定获取所需参数；

确定物理尺寸和像素间的换算关系；以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型。通过相机拍摄带有固定间距图案阵列平板、经过标定算法的计算，可以得出相机的几何模型，从而得到高精度的测量和重建结果。获取手部所处平面标定板格图像，在测量前先进行视觉标定，主要标定摄像头参数以及空间中手部所处平面与图像平面之间的变换矩阵。如下：

(1)两张图像中的对应点对的齐次坐标分别为(x′,y′,1)和(x,y,1)，变换矩阵H定义为：

其中，H是一个3×3的矩阵，则有：

一幅图像平面中所有的点都通过线性方程式(1)转换到另一幅图像平面上，由式(1)可得式(2)与式(3)：

根据式(2)和式(3)可得：

h₁₁x+h₁₂y+h₁₃-h₃₁xx′-h₃₂yx′-h₃₃x′＝0 (4)

h₂₁x+h₂₂y+h₂₃-h₃₁xy′-h₃₂yy′-h₃₃y′＝0 (5)

若两幅图像中有N对对应点，那么将所有形如式(4)和(5)的方程合在一起表示为线性方程组：

应用SVD分解方法可以求方程的最小二乘解，最小特征值对应的特征向量即为h_ij，对h_ij元素重新排列成矩阵形式，通过EM算法不断迭代，算法收敛时，得到的H即为需要的结果。

步骤3)：对手部图像进行鼠标取点测量处理；

获得空间中手部所处平面与图像平面之间的变换矩阵H之后，根据该变换矩阵H计算手部图像平面上的像素点对应的空间坐标点，进而由空间坐标点估计出希望测量的量值。如下所示：

①手指周长的计算公式：

C₁＝R×D₁×PI+2×D₁(1-R₁)

C₂＝R×D₂×PI+2×D₂(1-R₂)

其中C₁为手指尖周长,C₂为手指根部周长。PI取3.14，R₁为手指尖部拟合的椭圆短半轴与长半轴的比，R₂为手指根部拟合的椭圆短半轴与长半轴的比，D₁为手指尖图像上取两点对应实际空间两点间的距离，D₂为手指根部图像上取两点对应实际空间两点间的距离。

②手掌周长的计算公式：

C₃＝(D₃-2)×2+PI×2+0.6

其中C₃为手掌周长。PI取3.14，D₃为手掌图像上取两点对应实际空间两点间的距离，可以认为是手掌中间较平部分为矩形，两边弧形合成的圆；手掌周长为矩形两条边加圆的周长。

③手腕周长的计算公式：

L₁＝R₃×D₄×PI+2×D₄(1-R₃)

L₂＝R₄×D₅×PI+2×D₅(1-R₄)

其中L₁为手腕关节处周长、L₂为距离手腕关节6cm处的周长。PI取3.14，R₃为手腕关节处拟合的椭圆短半轴与长半轴的比，R₄为距离手腕关节6厘米处拟合的椭圆短半轴与长半轴的比，D₄为手腕关节处图像上取两点对应实际空间两点间的距离，D₅为图像上距离手腕关节6cm处取两点对应实际空间两点间的距离。

步骤4)：测量参数以及图像的显示；

每测量完一个参数都会显示在界面上，相应图像操作线的也会显示在界面的手部图像上，最后把全部测量结果显示到文本框上，相应的在图像上的操作线显示在图像上。

步骤5)：参数以及图像的保存；

将步骤4)得到的参数及图像保存到计算机(B1)。

本发明能够获得手部所需的关键部位数据，手指周长、手指长度、手掌围长、手掌长度、手腕周长等。本发明对手部图像进行获取设计的图像采集系统能够消除背景环境对手部图像的影响，提高手部数据测量的准确度。本发明对手部图像进行数据处理与显示界面系统能够直观显示出手部关键部位参数，方便患者治疗用弹力手套的制备。

附图说明

图1本发明系统结构图；

图中：A1、补光高清摄像头，A2、遮光箱子，A3、USB传输线，B1、计算机，B2、数据处理以及界面显示软件。图3是使用鼠标取手部边缘两点间的位置进行测量距离图。图4是在图像上的操作线。

具体实施方式

本实施方式的具体结构，参见图1，该装置主要包括图像采集系统1、数据处理与显示界面系统2，其特征在于：该装置的图像采集系统1包括补光高清摄像头、遮光箱子A2、USB传输线A3；数据处理与显示界面系统2包括计算机B1、数据处理以及界面显示软件B2、超声背向散射信号处理单元B3；其中，补光摄像头A1安装在遮光箱顶部中心的孔槽A2拍摄方向向下，并且通过USB传输线A3与计算机B1连接，数据处理以及界面显示软件B2运行计算机B1上，通过USB传输线A3控制补光摄像头的采集。

以下结合具体实例对本发明的基于手部图像的参数测量方法内容做进一步的详细说明：

步骤1)：读取摄像头捕获的图像数据；

获取测量物体所处平面标定板图像，对人的手部，提取其自然伸展图像，如图2所示。

步骤2)：对图像进行标定获取所需参数；

处理摄像头拍摄获得标定板图像，即先检测图片中标定板的特征点即角点，然后对粗提取的角点亚像素精确化得到精确的角点坐标。因为标定板中所有角点的空间坐标是已知的，这些角点对应的像素坐标通过提取得到后，就可以计算出变换矩阵。由于得到N＞4对匹配点，就可以计算出变换矩阵H：

步骤3)：对手部图像进行鼠标取点测量处理；

根据变换矩阵以及预处理后的手部图像，使用鼠标取手部边缘两点间的位置进行测量距离如图3,并由距离和拟合得函数估算出需要测量的数据，并将数据及显示到界面上，结果如表1所示：

表1测量结果与误差分析

其中实际值是由医生使用卷尺对病人进行测量多次取均值而得，测量值为本文方法测量得到。

本发明对于拍摄的手部图像进行了多次测量测试，相对误差在0.17％～5％之间。

步骤4)：测量得到的参数以及图像的显示；

测量完一个参数都显示到文本框上，相应的在图像上的操作线显示在图像上，如图4。

Claims (2)

1.一种基于手部图像的参数测量方法，其特征在于：该方法所用装置包括图像采集系统(1)、数据处理与显示界面系统(2)，该装置的图像采集系统(1)包括补光高清摄像头、遮光箱子(A2)、USB传输线(A3)；数据处理与显示界面系统(2)包括计算机(B1)、数据处理以及界面显示软件(B2)；其中，补光摄像头(A1)安装在遮光箱顶部中心的孔槽(A2)拍摄方向向下，并且通过USB传输线(A3)与计算机(B1)连接，通过USB传输线(A3)控制补光摄像头的采集；

步骤如下:

步骤1)：读取摄像头捕获的图像数据；

待测量的手部图像由补光摄像头(A1)采集，数据通过数据线存入到计算机(B1)中；

步骤2)：对图像进行标定获取所需参数；

确定物理尺寸和像素间的换算关系；以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型；通过相机拍摄带有固定间距图案阵列平板、经过标定算法的计算，得出相机的几何模型，从而得到测量和重建结果；获取手部所处平面标定板格图像，在测量前先进行视觉标定，标定摄像头参数以及空间中手部所处平面与图像平面之间的变换矩阵；如下：

两张图像中的对应点对的齐次坐标分别为(x′,y′,1)和(x,y,1)，变换矩阵H定义为：

其中，H是一个3×3的矩阵，则有：

一个视图平面中所有的点都通过线性方程式(1)转换到另一个视图上，式(1)得式(2)与式(3)：

由式(2)和(3)知已知两幅图像之间的对应点，估计出变换矩阵H；根据式(2)和式(3)得：

h₁₁x+h₁₂y+h₁₃-h₃₁xx′-h₃₂yx′-h₃₃x′＝0 (4)

h₂₁x+h₂₂y+h₂₃-h₃₁xy′-h₃₂yy′-h₃₃y′＝0 (5)

若两幅图像中有N对对应点，那么将所有形如式(4)和(5)的方程合在一起表示为线性方程组：

应用SVD分解方法求方程的最小二乘解，最小特征值对应得特征向量即为h_ij，对h_ij元素重新排列成矩阵形式，通过EM算法不断迭代，算法收敛时，得到的H即为需要的结果；

步骤3)：对手部图像进行鼠标取点测量处理；

获得空间中手部所处平面与图像平面之间的变换矩阵，这个变换矩阵计算这两个平面间点的对应点；利用双目摄像头获取手部的图像，在图像平面上鼠标选取两点，然后根据变换矩阵计算这两点在空间手部平面的坐标，进而计算出实际两点之间的距离；

如下：

①手指周长的计算公式：

C₁＝(D₁-0.7)×PI+1.4

C₂＝2×PI×0.95×0.5×D₂+4×((0.5×D₂)-(0.95×0.5×D₂))

其中C₁为手指尖周长,C₂为手指根部周长；PI等于3.14，D₁为图像上待测手指尖位置两点间的像素距离，D₂为图像上待测手指根部两点间的像素距离；

②手掌周长的计算公式：

C₃＝(D₃-2)×2+PI×2+0.6

其中C₃为手掌周长；PI等于3.14，D₃为图像上待测手掌位置两点间的像素距离；

③手腕周长的计算公式：

L_AB＝(D₄-2)×2+PI×2+0.7

L_AC＝(D₅-2)×2+PI×2+0.8

其中L_AB为手腕关节处周长、L_AC为距离手腕关节6cm处的周长；PI等于3.14；D₄为图像上待测手腕关节处两点间的像素距离，D₅为图像上距离手腕关节6cm处待测两点间的像素距离。

2.根据权利要求1所述的方法，其特征在于：

上述对手部图像进行鼠标取点测量处理中是根据手部各个部位的不同进行选择拟合椭圆函数x²+Axy+By²+Cx+Dy+E＝0；

其中(x₁,y₁),(x₂,y₂),(x₃,y₃),(x₄,y₄),(x₅,y₅)为图像上手指边缘点的像素坐标；

将N(N>5)个测量点代入即计算求得椭圆系数：A,B,C,D,E，并将计算所得系数A,B,C,D,E代入C₁,C₂,C₃,L_AB,L_AC计算公式。