CN103322928A

CN103322928A - 基于网格点阵的相似模型位移场测量系统及方法

Info

Publication number: CN103322928A
Application number: CN2013102460039A
Authority: CN
Inventors: 杨克虎; 杨胜利; 袁志宝
Original assignee: China University of Mining and Technology Beijing CUMTB
Current assignee: China University of Mining and Technology Beijing CUMTB
Priority date: 2013-06-20
Filing date: 2013-06-20
Publication date: 2013-09-25
Anticipated expiration: 2033-06-20
Also published as: CN103322928B

Abstract

本发明涉及一种相似模型位移场测量系统，包括：布置于相似模型表面的网格点阵、摄像机阵列或位姿精确可控的单摄像机组成的图像采集装置、用于数据处理的计算机，网格点上标有由数字、字母等符号组成的身份编码。基于本发明的测量系统，本发明还涉及如下的测量方法：通过分区域采集的方式获取相似模型表面的图像；网格点以其几何形状为特征来提取；以网格点的几何中心作为网格点的坐标；利用摄像机坐标系相对于测量坐标系的位姿关系，将网格点坐标变换至统一的坐标系；识别网格点区域内的身份编码，并以此为依据对网格点进行匹配；通过对比网格点坐标在测量坐标系中的变化，获取相似模型的位移场。

Description

基于网格点阵的相似模型位移场测量系统及方法

技术领域

本发明涉及相似模型位移场测量和摄影测量领域，具体地说，是一种利用图像处理技术对相似模型表面的位移场进行测量的非接触式全自动测量系统及方法。

背景技术

相似模型试验是研究矿山压力及岩层活动规律的主要技术手段之一。相对于理论分析和数值模拟方法，相似模型试验能定性或定量地反映出岩层的受力特性，可以较全面地模拟地下工程结构、地质构造以及岩层组合关系等。因此，相似模型试验可以探索许多目前用数学、力学方法尚不易解决的问题，在矿产资源开采、水利水电工程、交通、城市建设等领域得到了大规模的应用。自上世纪 60 年代以来，相似模型试验在我国煤矿院校和相关科研院所得到了广泛的应用，是研究采动后采场岩层的破裂、冒落和移动规律及巷道围岩的应力分布、位移变化等物性特征的强有力的工具，对于保证我国地下矿井的安全生产，最大限度地开采矿产资源、保护矿区环境和地面设施起到了极其重要的作用。

相似模型在加载和采动过程中的位移场测量是相似模型试验的一项主要内容。网格法是目前我国煤矿相关院校及科研院所常用的一种位移场测量方法。网格法又分为传统网格法和自动网格法，传统网格法是在相似模型表面放置网格点，通过人工记录和识别网格点在试验过程中的移动，确定其对应区域的位移，这种方法具有原理简单、可测大变形等优点，虽然工作量大、测量精度低，仍然在广泛使用；自动网格法利用图像传感器记录位移或变形前后相似模型表面的图像，根据像素的灰度值采用阈值分割的方法将网格点从背景中提取出并计算其灰度重心，最后利用网格点重心在前后图像中的变化计算模型表面的位移，这种方法具有测量精度高、速度快、自动化程度高等优点，但是在光照发生变化、模型表面出现裂缝、网格点损坏等情况时，需要人工的干预才能正确处理，并不是一种真正意义上的全自动测量方法。

从已公开的文献资料来看，目前尚没有完全自动化的位移场测量方法应用于采矿相似模型试验的报道；从煤炭行业所了解的实际情况来看，目前还在大量使用传统网格法或者半自动的自动网格法，需要人工的干预严重影响了位移场测量的效率及精确度，因此，采矿相似模型试验位移场的全自动测量方法有很高的实际应用价值和广阔的应用前景。

发明内容

本发明要解决自动网格法在光照发生变化、模型表面出现裂缝、网格点损坏等情况时需要人工干预的问题，提供一种基于图像识别和计算机视觉技术的位移场测量系统及方法，该系统及方法在出现上述情况时仍然能够实现位移场的全自动测量。

为达成所述目的，本发明相似模型位移场测量系统及方法采用以下技术手段来克服自动网格法的缺陷：

1.网格点阵中的每一网格点上有标识其身份的身份编码（可以是数字、字母、数字和字母的组合、条形码、二维码或其他任意一种可供计算机自动识别的几何图形及其组合）；

2.以网格点的几何形状为特征信息，通过图形识别技术提取网格点。与自动网格法采用灰度阈值分割提取网格点的方法相比，本发明采取的技术手段受光照变化、图像噪声的影响较小，即使在模型表面出现裂缝时，由于裂缝是不规则的曲线，而网格点是规则的几何图形，二者能够很好地区分出来，实现网格点的可靠提取；

3.计算网格点区域的几何中心作为网格点坐标。与自动网格法计算网格点区域灰度重心作为网格点坐标相比，本发明采取的技术手段由于采取了曲线拟合的方式，计算得到的几何中心位置受噪声、光照变化等因素影响较小，具有很好的稳定性，有利于提高位移场测量的精度；

4.识别网格点区域内的身份编码作为每个网格点的编码，并以此编码为依据在采集的图像序列中对网格点进行匹配。与自动网格法现有的编码手段相比，本发明采取的技术手段在模型表面发生大位移和大变形时不会导致误匹配，即使在网格点损坏缺失时，属于该网格点的身份识别码不会被识别到，可以认为此网格点已缺失，只需要将该网格点删除即可，不会影响到其他网格点的匹配，从而避免了误匹配；

5.通过对相似模型表面图像分区域采集提高网格点区域图像的分辨率和质量，保证身份编码的可靠识别。由于身份编码的唯一性，通过拍摄各图像时摄像机坐标系与测量坐标系之间的相对位姿关系，将分区域采集得到的部分网格点坐标变换到统一的测量坐标系下进行描述。

本发明的相似模型位移场测量系统及方法与自动网格法相比，由于采用了网格点的几何形状特征而不是灰度值作为网格点分割的依据，能够有效地避免因光照变化、裂缝的影响而导致网格点的误识别；同时通过对网格点区域内的身份编码的识别，解决了自动网格法在出现裂缝、网格点损坏时容易产生误匹配的问题。在出现上述情况时，无需人工的干预，能够实现位移场的全自动测量，提高位移场测量的效率和准确度。此外，由于使用了网格点几何中心而不是灰度重心作为网格点坐标，大大减小了噪声和光照变化对中心位置计算的影响，提高了网格点坐标的稳定性和精确度，有利于提高位移场测量的精度。

附图说明

图1为本发明相似模型位移场测量系统网格点的示意图。

图2 为本发明相似模型位移场测量系统第一实施例的示意图。

图3 为本发明相似模型位移场测量系统第二实施例的示意图。

图4 为本发明相似模型位移场测量方法的流程图。

具体实施方式

下面就本发明所采用的技术方案给出一些具体的实施例，应当指出的是，所描述的实施例仅旨在便于对本发明的理解，而不对其起任何限定作用。

如图1所示为本发明相似模型位移场测量系统网格点的两个实施例示意图。图1a所示网格点形状为矩形，图1b所示网格点形状为圆形，网格点上有标识其身份的身份编码“A21”，网格点的制作方式可以通过打印机将身份编码打印至纸片上，然后通过粘贴的方式固定在相似模型表面。网格点形状除了图1a和图1b所示的矩形和圆形之外，任意一种可供计算机自动识别的形状都可以使用，身份编码可以是数字、字母、数字和字母的组合、条形码、二维码或其他任意一种可供计算机自动识别的几何图形及其组合。

如图2所示为本发明相似模型位移场测量系统的第一实施例的示意图，在不影响理解与实施的前提下，省略了诸如供电部分、摄像机阵列固定部件等常规部件。该实施例中，网格点11采用了如图1b所示的形式，网格点阵由若干个网格点11组成，布置在相似模型10表面，摄像机C1、C2、C3、C4组成的图像采集装置安装在固定部件上，其视场将相似模型表面分成四个子区域。摄像机C1、C2、C3、C4分别采集其对应子区域的图像，为了保证覆盖整个相似模型表面，各摄像机的视场可以有部分重合。摄像机C1、C2、C3、C4与计算机12之间采用有线或无线的通信方式，在计算机12的控制下，摄像机C1、C2、C3、C4采集相似模型表面的图像，并将图像数据传给计算机12。

图2中将相似模型表面分成了四个子区域，在实际中，可以根据相似模型的尺寸大小、摄像机的视场、测量距离的远近等情况选择合适的子区域数量及摄像机数量，以所有子区域图像的并集刚好能够覆盖整个相似模型表面为准。所述摄像机可以是网络摄像机、模拟摄像机、数字摄像机中的任意一种。当采用网络摄像机时，所述摄像机与所述计算机之间的通信方式可以采用有线以太网或无线wifi等；当采用模拟摄像机时，通过内置或外置于所述计算机12的图像采集卡来完成模拟视频信号的数字化；当采用数字摄像机时，所述数字摄像机与所述计算机12之间的通信接口可以采用USB、1394、HDMI等接口方式。所述计算机12既可以是通常意义上的PC机，也可以是服务器、工作站等，运算部件可以是通用CPU或者图形处理器（GPU），还可以是各种由嵌入式处理器（例如ARM、DSP、FPGA等）构成的处理系统。所述计算机12运行可执行指令，所述可执行指令包括：用于图像采集的指令、网格点提取的指令、网格点坐标计算的指令、网格点编码的指令、网格点匹配的指令、位移场计算的指令，所述指令将在下面关于本发明相似模型位移场测量方法的实施例中进行更加详细的描述。

如图3所示为本发明相似模型位移场测量系统的第二实施例的示意图，与第一实施例不同之处在于，图像采集装置由摄像机C1、控制部件13和执行部件14组成。所述摄像机C1、所述计算机12、所述摄像机C1与所述计算机12之间的通信方式以及所述计算机12运行的可执行指令可以与实施例一中相同。所述执行部件14为多关节机械手臂，摄像机C1固定在其末端的抓手上，执行部件14在控制部件13的控制下可以在空间中一定范围内自由运动，从而将摄像机12运动至指定位姿。所述指定位姿及其数量可以根据具体的试验条件（例如相似模型的实际大小、测量距离、摄像机的视场范围等）事先通过人工的方式确定，以所拍摄的所有子区域图像的并集刚好能够覆盖整个相似模型表面为准。具体的图像采集方式如下：事先通过人工的方式确定n个指定位姿；首先通过控制部件13将摄像机C1运动至第一个指定位姿，拍摄所对应的子区域的图像，然后控制部件13将摄像机C1运动至第二个指定位姿，拍摄所对应的子区域的图像，如此反复下去，直至采集完第n个指定位姿所对应的子区域的图像。在此n个指定位姿下，摄像机坐标系与测量坐标系之间的变换关系可以通过以下方式获得：首先通过摄像机标定确定初始位姿下摄像机坐标系与测量坐标系之间的变换关系，在试验过程中，摄像机运动至每一个指定位姿时相对于初始位姿的变换关系都可以通过控制部件13给出。对于尺寸很大的相似模型，单个摄像机及执行部件14可能无法覆盖整个相似模型表面，这种情况下，可以采用多套摄像机及执行部件。

如图4所示为本发明相似模型位移场测量方法的流程图，包括以下主要步骤：分区域采集模型表面的图像集合；对图像集合中的每一幅图像进行预处理和边缘提取；以几何形状为特征对图像中的网格点进行识别；计算网格点的几何中心作为网格点坐标；对网格点区域内的身份编码进行识别并以此为网格点编码；利用摄像机坐标系相对于测量坐标系的位姿关系将所有网格点中心位置变换到测量坐标系下描述；试验结束，根据编码相同的网格点坐标在试验过程中所有测量时刻点上的位置变化计算其位移，得到整个模型表面位移场在试验过程中随时间的变化情况。

下面结合本发明测量系统的第一和第二实施例，对本发明测量方法流程图中各步骤的具体实施细节进行描述：

步骤S1：在试验过程中的每个测量时刻，采用分区域采集的方式得到模型表面子区域的图像集合IMG₁, IMG₂…IMG_n，确保IMG₁, IMG₂…IMG_n的并集能覆盖整个相似模型表面。相似模型表面图像的分区域采集可以采用如下两种方式：

方式一：多摄像机同步采集：如图2所示为本发明测量系统第一实施例的示意图，相似模型表面划分为四个子区域，摄像机C1、摄像机C2、摄像机C3和摄像机C4各负责一个子区域的图像采集任务，为了保证覆盖整个模型表面，各摄像机的视场可以有部分重合。在每个测量时刻，四个摄像机在触发信号的控制下同时采集相应区域的图像。

方式二：单摄像机异步采集：如图3所示为本发明测量系统第二实施例的示意图，摄像机C1由执行部件14（本实施例中为多关节机械手臂）控制，其位姿由控制部件13通过执行部件14精确可控。在每个测量时刻，控制部件13触发摄像机C1拍摄第一个指定位姿所对应的子区域的图像，然后执行部件14将摄像机运动到第二个指定位姿，拍摄对应子区域的图像，重复此过程，直至完成n个指定位姿下的图像采集，此时，所有图像的并集能覆盖整个模型表面。

步骤S2：对步骤S1采集到的图像集合IMG₁, IMG₂…IMG_n中的每一幅图像分别进行预处理和边缘提取，并根据几何形状特征对网格点进行识别。采用中值滤波对图像进行预处理，利用已有的边缘检测技术（例如Canny算子）提取图像边缘；如果采用如图1a所示的矩形网格点标识，则利用矩形检测算法检测图像中的矩形，将所有检测到的矩形标记为网格点；如果采用如图1b所示的圆形网格点标识，则利用广义Hough变换对图像中的圆和椭圆进行检测，将所有检测到的圆和椭圆标记为网格点。

步骤S3：对步骤S2中识别到的网格点，计算其几何中心作为网格点坐标。如果网格点为圆形则以其圆心为中心，如果为椭圆形则以其长短轴的交点为中心，如果为矩形则以其对角线交点为中心。在某些情况下，步骤S3中计算几何中心的过程可能在步骤S2中就已经完成，例如进行圆形检测时一般都能同时给出圆心坐标。

步骤S4：对步骤S2中识别到的网格点，对其区域内的身份编码进行识别，并以此作为网格点的身份编码。对所有识别到的网格点，利用已有的字符识别算法对位于网格点区域内的身份编码进行识别，并以此作为网格点的身份编码，例如图1所示的网格点的编码为“A21”。

步骤S5：根据拍摄各分区域图像的摄像机坐标系关于测量坐标系的位姿关系将所有识别到的网格点坐标变换到测量坐标系下统一描述。如图2本发明测量系统的第一实施例所示，测量坐标系为O-XYZ，摄像机C1、C2、C3、C4的坐标系分别为O₁-X₁Y₁Z₁、O₂-X₂Y₂Z₂、O₃-X₃Y₃Z₃、O₄-X₄Y₄Z₄，相对于测量坐标系O-XYZ的位姿关系分别为(R₁, t ₁)、(R₂, t ₂)、(R₃, t ₃)、(R₄, t ₄)。R和t分别是旋转矩阵和平移向量，又称为摄像机的外参数，可以通过事先的摄像机标定来得到。如果采用如图3本发明测量系统的第二实施例所示的单摄像机异步采集的方式，则R和t可以由控制部件13给出。假定在摄像机坐标系O₁-X₁Y₁Z₁中，某个网格点坐标为(x₁,y₁,z₁)^T，那么该网格点在测量坐标系O-XYZ中的描述可以由如下的变换来求出：R₁·(x₁,y₁,z₁)^T+ t ₁。用同样的方法可以将摄像机坐标系O₂-X₂Y₂Z₂、O₃-X₃Y₃Z₃、O₄-X₄Y₄Z₄中的网格点坐标变换到测量坐标系O-XYZ中统一描述。

步骤S6：重复步骤S1至步骤S5对下一个测量时刻模型模型表面的图像进行处理，直至试验结束。

步骤S7：对具有相同身份编码的网格点，对比其中心位置在试验过程中所有测量时刻点上的变化来计算其位移，得到整个模型表面位移场在试验过程中随时间的变化情况。

步骤S2中涉及的中值滤波、Canny算子、广义Hough变换、矩形检测等算法、步骤S4中涉及的字符识别算法、步骤S5中涉及的摄像机标定均为本领域技术人员所掌握的现有技术，在不影响实施的前提下，本实施例中不再对此做进一步的阐述。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种相似模型位移场测量系统，包括：

网格点阵，所述网格点阵布置于相似模型表面，其位移与模型表面的位移一致；

图像采集装置，所述图像采集装置在测量时刻点上采集相似模型表面的图像，所述图像中包含有所述网格点阵；

计算机，所述计算机执行计算机可执行指令，所述计算机可执行指令包括用于如下操作的指令：图像采集、网格点提取、网格点坐标计算、网格点编码、网格点匹配、位移场计算；

其特征在于，所述网格点阵中的每一网格点上都标有身份编码。

2.根据权利要求1所述的测量系统，其特征在于，所述身份编码为数字、字母、数字和字母的组合、条形码或二维码。

3.根据权利要求1或2 所述的测量系统，其特征在于，所述图像采集装置包括：

摄像机阵列，所述摄像机阵列中的每一摄像机采集其视场范围内包含所述网格点阵中部分网格点的子图像，所有子图像的并集包含所述网格点阵中的所有网格点；

固定部件，用于固定所述摄像机阵列中的每一摄像机。

4.根据权利要求1或2所述的测量系统，其特征在于，所述图像采集装置包括：

摄像机，所述摄像机采集其视场范围内包含所述网格点阵中部分网格点的子图像；

执行部件，所述执行部件用于固连所述摄像机，且能够将所述摄像机运动至指定的位姿；

控制部件，所述控制部件与所述执行部件连接，控制执行部件将摄像机运动至指定的位姿。

5.一种相似模型位移场测量方法，包括以下步骤：

图像采集，从图像采集装置获取相似模型表面包含有网格点阵的图像；

网格点提取，对所述网格点阵中的每一网格点，将其从背景图像中分离出来；

网格点坐标计算，对所述网格点阵中的每一网格点，用一个坐标来表示其在测量坐标系中的位置；

网格点编码，对所述网格点阵中的每一网格点，用一个唯一的编码来标识其身份；

网格点匹配，对所述网格点阵中的每一网格点，以网格点编码为依据在后续图像中找到与其对应的网格点；

位移场计算，对所述网格点阵中的每一网格点，通过对比其坐标在测量坐标系中的变化，获取相似模型的位移场；

其特征在于，所述网格点编码采取如下技术手段：识别网格点上的身份编码，以此身份编码作为网格点的编码。

6.根据权利要求5所述的测量方法，其特征在于，所述图像采集采用分区域多摄像机同步采集或分区域单摄像机异步采集的方式。

7.根据权利要求5所述的测量方法，其特征在于，所述网格点提取以网格点的几何形状为特征。

8.根据权利要求5所述的测量方法，其特征在于，所述网格点坐标为网格点的几何中心。

9.根据权利要求5或6所述的测量方法，其特征在于，所述位移场计算利用摄像机坐标系和测量坐标系的相对位姿关系，将网格点坐标从摄像机坐标系变换至测量坐标系。

10.根据权利要求9所述的测量方法，其特征在于，所述相对位姿关系通过事先的标定获得或由精确控制摄像机位姿的控制部件给出。