CN114135272B - 一种激光与视觉相结合的地质钻孔三维可视化方法及装置 - Google Patents
一种激光与视觉相结合的地质钻孔三维可视化方法及装置 Download PDFInfo
- Publication number
- CN114135272B CN114135272B CN202111449002.5A CN202111449002A CN114135272B CN 114135272 B CN114135272 B CN 114135272B CN 202111449002 A CN202111449002 A CN 202111449002A CN 114135272 B CN114135272 B CN 114135272B
- Authority
- CN
- China
- Prior art keywords
- image
- matrix
- scanning
- ranging
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005553 drilling Methods 0.000 title claims abstract description 92
- 238000007794 visualization technique Methods 0.000 title claims description 15
- 238000005259 measurement Methods 0.000 claims abstract description 35
- 239000000523 sample Substances 0.000 claims abstract description 35
- 238000012800 visualization Methods 0.000 claims abstract description 34
- 230000005540 biological transmission Effects 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 202
- 238000012545 processing Methods 0.000 claims description 26
- 230000010354 integration Effects 0.000 claims description 23
- 230000000670 limiting effect Effects 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 11
- 238000005520 cutting process Methods 0.000 claims description 9
- 230000008521 reorganization Effects 0.000 claims description 8
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000003491 array Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 28
- 239000011435 rock Substances 0.000 description 12
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 6
- 235000017491 Bambusa tulda Nutrition 0.000 description 6
- 241001330002 Bambuseae Species 0.000 description 6
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 6
- 239000011425 bamboo Substances 0.000 description 6
- 230000001681 protective effect Effects 0.000 description 6
- 230000003068 static effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013079 data visualisation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 229910001220 stainless steel Inorganic materials 0.000 description 2
- 239000010935 stainless steel Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 229930040373 Paraformaldehyde Natural products 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000696 magnetic material Substances 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000005272 metallurgy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- -1 polyoxymethylene Polymers 0.000 description 1
- 229920006324 polyoxymethylene Polymers 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 239000002002 slurry Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E21—EARTH OR ROCK DRILLING; MINING
- E21B—EARTH OR ROCK DRILLING; OBTAINING OIL, GAS, WATER, SOLUBLE OR MELTABLE MATERIALS OR A SLURRY OF MINERALS FROM WELLS
- E21B47/00—Survey of boreholes or wells
- E21B47/002—Survey of boreholes or wells by visual inspection
- E21B47/0025—Survey of boreholes or wells by visual inspection generating an image of the borehole wall using down-hole measurements, e.g. acoustic or electric
-
- E—FIXED CONSTRUCTIONS
- E21—EARTH OR ROCK DRILLING; MINING
- E21B—EARTH OR ROCK DRILLING; OBTAINING OIL, GAS, WATER, SOLUBLE OR MELTABLE MATERIALS OR A SLURRY OF MINERALS FROM WELLS
- E21B47/00—Survey of boreholes or wells
- E21B47/04—Measuring depth or liquid level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Geology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Environmental & Geological Engineering (AREA)
- Geochemistry & Mineralogy (AREA)
- Data Mining & Analysis (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Fluid Mechanics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geophysics (AREA)
- Mathematical Optimization (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
本发明公开了一种激光与视觉相结合的地质钻孔三维可视化装置,包括深度绞车,还包括孔内探头、传输电缆和工控机,传输电缆一端与孔内探头连接,另一端缠绕在深度绞车上并与工控机连接,本发明还公开了一种激光与视觉相结合的地质钻孔三维可视化方法,本发明结合激光测距技术、光学摄像技术、动态扫描技术以及精准定位技术的一种激光与视觉相结合的地质钻孔三维可视化方法及装置,从根本上解决了地质钻孔精细测量和可视化的技术难题。该方法和装置构思新颖、实施容易,是地质钻孔测量技术的新方法和新一代装置,具有广阔的应用前景。
Description
技术领域
本发明涉及地质钻孔勘测领域,具体涉及一种激光与视觉相结合的地质钻孔三维可视化装置,还涉及一种激光与视觉相结合的地质钻孔三维可视化方法,适用于对地质各类领域中钻孔结构观测、变形测量和可视化,获取地质钻孔的轮廓形态和岩壁图像信息,能够实现地质钻孔的精确测量和三维可视化。
背景技术
地质钻孔是石油、煤炭、地矿、冶金、水文等行业探求底层结构,获取地下空间信息的主要技术手段。以往的钻孔信息主要是通过钻孔柱状图、钻连线图等图件要素进行表达,信息的表述是一种静态的、固定视角的、单向的展示。随着计算机软件硬件水平的提高,特别是三维可视化技术的逐步发展,对钻孔数据从一个生动的、多角度的、交互的平台进行多方位的三维解析显得尤为重要。这不仅能够直观的表征钻孔及其表示的地质构造,更能为进一步的定量分析和发展地质资源的成藏规律等提供有效的数据支持。此外,地质钻孔的轮廓特征能够反映地应力的分布变化,精准测量地质钻孔的轮廓特征也具有重要意义。在钻孔可视化数据获取方法,主要是通过钻孔电视获取钻孔岩壁的图像信息,在钻孔可视化方面,主要是将钻孔电视获取的二维图像信息卷曲形成虚拟的三维钻孔图像,不能有效反应钻孔轮廓的差异性特征。传统的钻孔轮廓测量通常采用井径仪,由于井径仪展臂的数量有限,导致在钻孔同一断面轮廓上采集的点数较少,容易产生较大的误差。而激光测距技术能够获得较高的测距数据,采样效率高,同时,技术成熟,设备成本低。
为此,鉴于目前地质钻孔轮廓测量困难、三维可视化有待改善的问题,本发明借助现在比较成熟的高科技手段(激光测距技术和光学摄像技术等),提出了一种激光与视觉相结合的地质钻孔三维可视化方法及装置,从根本上解决了地质钻孔高精度测量的难题,同步实现了地质钻孔的三维直观可视化。该装置将激光测距技术、光学摄像技术、动态扫描技术以及精准定位技术相结合,实现地质钻孔的轮廓精细扫描和内部岩壁光学拍照,最后,通过将扫描测量数据与光学图像数据有机配对与融合,实现地质钻孔的三维精细测量与可视化。
一种激光与视觉相结合的地质钻孔三维可视化方法及装置的优点在于:1)探测精度高。通过选择高精度测量的激光测距模块、旋转模块和其它定位模块,能够有效实时测量和扫描出地质钻孔在不同深度上的断面轮廓,在增加采样点数的情况下,能够有效改善测量精度;2)适应能力强。通过巧妙的结构设计和算法补偿,整套装置在钻孔内采集数据时,不受孔内探头是否居中的问题影响;在孔内探头不居中的情况下,整套装置也能够正常采集到有效数据,确保装置能够正常完成测试工作,改善了传统不居中容易导致测量失败的情况,大幅度提高整套装置的适应能力;3)可视化更真实。通过将大量的三维扫描点数据与光学图片数据相匹配,能够实现地质钻孔的内壁真实纹理与内壁真实轮廓相结合,形成的可视化图像能够同步反映钻孔的形态与形貌特征,可视化结果更真实、更准确;4)测量方式简单。仅通过传输电缆下放孔内探头到钻孔内部需要测量的区域,即可实现钻孔轮廓和岩壁特征数据的快速采集,结合后续的数据处理方法,即可实现地质钻孔的三维可视化;5)结构小巧,布局灵活,连接简洁,易于实施。
发明内容
本发明的目的就是为了解决地质钻孔轮廓精细化测量难和三维可视化程度低的问题,提出一种激光与视觉相结合的地质钻孔三维可视化装置,还提供一种激光与视觉相结合的地质钻孔三维可视化方法,结合激光测距技术、光学摄像技术、动态扫描技术以及精准定位技术的一种激光与视觉相结合的地质钻孔三维可视化方法及装置,从根本上解决了地质钻孔精细测量和可视化的技术难题。该方法和装置构思新颖、实施容易,是地质钻孔测量技术的新方法和新一代装置,具有广阔的应用前景。
为了实现上述目的,本发明采用以下技术措施:
一种激光与视觉相结合的地质钻孔三维可视化装置,包括深度绞车,还包括孔内探头、传输电缆和工控机,
传输电缆一端与孔内探头连接,另一端缠绕在深度绞车上并与工控机连接,
孔内探头包括保护壳体,保护壳体的内部从上到下分别布设有数据整合模块、数据控制模块、扫描旋转模块、固定装配盘、激光测距模块、图像拍摄模块、以及电子罗盘,激光测距模块和图像拍摄模块固定设置在尺寸限位筒中,保护壳体的下部与尺寸限位筒对应的位置布设有透射窗,尺寸限位筒与电子罗盘固定连接,图像拍摄模块包括数字光学摄像头。
如上所述的扫描旋转模块包含步进电机驱动控制器和步进电机,扫描旋转模块安装在固定装配盘的正上方,扫描旋转模块的步进电机与空心旋转轴轴接,空心旋转轴穿过固定装配盘的通孔与尺寸限位筒连接。
如上所述的激光测距模块、图像拍摄模块以及电子罗盘所连接的线缆穿过空心旋转轴与数据控制模块连接,数据控制模块与数据整合模块连接,数据整合模块与传输电缆连接。
如上所述的尺寸限位筒上与激光测距模块的测量采集窗口以及图像拍摄模块的测量采集窗口对应的位置均布设有矩形窗。
一种激光与视觉相结合的地质钻孔三维可视化方法,包括以下步骤:
步骤1、测距数据d、图像数据f、角度信息a和深度数据h的采集;
步骤2、构建测距矩阵D1、方位矩阵A1和深度矩阵H1,方位矩阵和测距矩阵重组,具体为:
步骤2.1:构建测距矩阵D1,测距矩阵D1有I行J列,测距矩阵D1的每行对应一个钻孔的采集深度,同一行的各列对应同一采样深度下的各个扫描方位,用D1[i][j]表示测距矩阵D1中的第i行第j列元素对应的值,将测距数据d映射到测距矩阵D1中;
步骤2.2:构建方位矩阵A1,方位矩阵A1有I行J列,方位矩阵A1的每行对应一个钻孔的采集深度,同一行的各列对应同一采样深度下的各个扫描方位,用A1[i][j]表示方位矩阵A1中的第i行第j列元素对应的值,将角度信息a映射到方位矩阵A1;
步骤2.3:构建深度矩阵H1,深度矩阵H1有I行J列,深度矩阵H1的每行对应一个钻孔的采集深度,同一行的各列对应同一采样深度下的各个扫描方位,用H1[i][j]表示深度矩阵H1中的第i行第j列元素对应的值;将深度数据h映射到深度矩阵H1;
步骤2.4:构建方位矩阵A2,方位矩阵A2有I行J列,用A2[i][j]表示方位矩阵A2中的第i行第j列元素对应的值;将方位矩阵A1的每一行进行数值大小由小到大重新排列,重新排列后的方位矩阵A1每行的元素的列号作为方位矩阵A2中相同行列号的元素的值;
步骤2.5:构建测距矩阵D2,测距矩阵D2有I行J列,用D2[i][j]表示测距矩阵D2中的第i行第j列元素对应的值;测距矩阵D2中第i行第j列的数值等于测距矩阵D1中的第i行第A2[i][j]列的数值。
一种激光与视觉相结合的地质钻孔三维可视化方法,还包括:
步骤3、图像数据重组步骤,具体为:
步骤3.1:构建图像矩阵F1,图像矩阵F1有I行J列,图像矩阵F1的每行对应一个钻孔的采集深度,同一行的各列对应同一采样深度下的各个扫描方位对应的图像阵列,用F1[i][j]表示图像矩阵F1中的第i行第j列元素对应的图像阵列;即图像的高为M,宽为N;将图像数据f映射到图像矩阵F1中;
步骤3.2:构建图像矩阵F2,图像矩阵F2有I行J列,用F2[i][j]表示图像矩阵F2中的第i行第j列元素对应的图像阵列;图像矩阵F2中第i行第j列的图像阵列等于图像矩阵F1中的第i行第A2[i][j]列的图像阵列。
一种激光与视觉相结合的地质钻孔三维可视化方法,还包括:
步骤4、测距数据处理步骤,具体为:
构建测距修正矩阵D3,测距修正矩阵D3有I行J列,
对于1<i<I,1<j<J的情况:
若D2[i][j]>2*mean(D2[i-1][j-1],D2[i-1][j],D2[i-1][j+1],D2[i][j-1],D2[i][j+1],D2[i+1][j-1],D2[i+1][j],D2[i+1][j+1])或者D2[i][j]<0.5*mean(D2[i-1][j-1],D2[i-1][j],D2[i-1][j+1],D2[i][j-1],D2[i][j+1],D2[i+1][j-1],D2[i+1][j],D2[i+1][j+1])
则D3[i][j]=mean(D2[i-1][j-1],D2[i-1][j],D2[i-1][j+1],D2[i][j-1],D2[i][j+1],D2[i+1][j-1],D2[i+1][j],D2[i+1][j+1])
否则,D3[i][j]=D2[i][j];
对于i=1,i=I,j=1,J=1的情况,D3[i][j]=D2[i][j],
上述mean()表示取平均值。
一种激光与视觉相结合的地质钻孔三维可视化方法,还包括:
步骤5、图像数据处理步骤,具体为:
构建图像矩阵F4,F4[i][j]为图像矩阵F4第i行第j列的元素对应的图像阵列,
图像矩阵F2中第i行j列元素对应的图像阵列表示的实际尺寸宽为Fw[i][j],高为Fh[i][j],其中:
其中,W为图像拍摄模块对应的矩形窗的宽度,d3为激光测距模块和图像拍摄模块的测量采集窗口到中心轴线之间的距离,d2为尺寸限位筒的外侧半径,V1为数字光学摄像头的可视角度,
以图像阵列F2[i][j]的垂直中心轴线为图像放大基准,将图像阵列F2[i][j]在水平方向放大n[i][j]倍,得到图像阵列F3[i][j],以图像阵列F3[i][j]垂直中心轴线与图像阵列上边缘交点左侧N/2的位置作为图像裁剪起点,向下选取尺寸为M,向右选取尺寸为N的图像阵列,将该图像阵列传递给图像阵列F4[i][j];
以图像阵列F2[i][j]的图像阵列上边缘为图像放大基准,将图像阵列F2[i][j]在垂直方向放大m[i][j]倍,得到图像阵列F3[i][j],以图像阵列F3[i][j]的左上角作为图像裁剪起点,向下选取尺寸为M,向右选取尺寸为N的图像阵列,将该图像阵列传递给图像阵列F4[i][j];
以图像阵列F2[i][j]的图像阵列上边缘为图像放大基准,将图像阵列F2[i][j]在垂直方向放大m[i][j]倍,得到图像阵列F3[i][j],以图像阵列F3[i][j]的垂直中心轴线为图像放大基准,将图像阵列F3[i][j]在水平方向放大n[i][j]倍,以图像阵列F3[i][j]垂直中心轴线与图像阵列上边缘交点左侧N/2的位置作为图像裁剪起点,向下选取尺寸为M,向右选取尺寸为N的图像阵列,将该图像阵列传递给图像阵列F4[i][j]。
一种激光与视觉相结合的地质钻孔三维可视化方法,还包括:
步骤6激光轮廓可视化,具体为:
步骤6.1:建立三维坐标系;以钻孔中心轴线上的深度编码器显示0处的位置作为坐标原点,指向地理正北方向为x轴正方向,指向地理正东方向为y轴正方向,指向钻孔底部为z轴正方向;
步骤6.2:三维坐标变换;将测距矩阵D2和深度矩阵H1转化成三维坐标系中的x轴矩阵X、y轴矩阵Y、以及z轴矩阵Z,x轴矩阵X有I行J列,y轴矩阵Y有I行J列,z轴矩阵Z有I行J列,x轴矩阵X表示地质钻孔上激光扫描点对应的x轴坐标,y轴矩阵Y表示地质钻孔上激光扫描点对应的y轴坐标,z轴矩阵Z表示地质钻孔上激光扫描点对应的z轴坐标,X[i][j]为x轴矩阵X的第i行第j列的元素的值,Y[i][j]为y轴矩阵Y的第i行第j列的元素的值,Z[i][j]为z轴矩阵Z的第i行第j列的元素的值;
X[i][j]=(D2[i][j]+d3)*cos[j*2*π/J],
Y[i][j]=(D2[i][j]+d3)*sin[j*2*π/J],
Z[i][j]=H1[i][j];
P点在第u个水平扫描断面的第v个扫描点上,那么P点的三维坐标为(X[u][v],Y[u][v],Z[u][v]);
步骤6.3:三维轮廓重构;将同一水平扫描断面上的各个激光扫描点依次首尾连接,形成各个水平扫描断面封闭的折线环;将各个水平扫描断面相同扫描方位的各个激光扫描点依次连接,形成连续的折线段。
一种激光与视觉相结合的地质钻孔三维可视化方法,还包括:
步骤7、视觉图像可视化,具体包括:
步骤7.1:将图像矩阵F4中的I*J个图像矩阵按照顺序排列,组成尺寸为(M*I)*(N*J)大小的图像FF;对图像FF进行数字图像滤波处理以及图像增强处理,得到图像FFF;
步骤7.2:将图像FFF顺序划分为图像FA和图像FB两幅图像,图像FA的尺寸大小为(M*I)*(N/2),图像FB的尺寸大小为(M*I)*(N*J-N/2),将FA平移到FB右侧,重新拼接成图像FFFF;
步骤7.3:将图像FFFF划分成I*J个M*N大小的图像矩阵F5,用F5[i][j]表示图像矩阵F5中的第i行第j列元素对应的图像阵列;
步骤7.4、三维可视化:
在由第u-1个水平扫描断面的第v个扫描点Pu-1,v、第u-1个水平扫描断面的第v-1个扫描点Pu-1,v-1、第u个水平扫描断面的第v-1个扫描点Pu,v-1、第u个水平扫描断面的第v个扫描点Pu,v形成的空间四边形上贴上图像F5[u-1][v-1];
在由第u个水平扫描断面的第v+1个扫描点Pu,v+1、第u个水平扫描断面的第v个扫描点Pu,v、第u+1个水平扫描断面的第v个扫描点Pu+1,v、第u+1个水平扫描断面的第v+1个扫描点Pu+1,v+1形成的空间四边形上贴上图像F5[u][v];
在由第u+1个水平扫描断面的第v+2个扫描点Pu+1,v+2、第u+1个水平扫描断面的第v+1个扫描点Pu+1,v+1、第u+2个水平扫描断面的第v+1个扫描点Pu+2,v+1、第u+2个水平扫描断面的第v+2个扫描点Pu+2,v+2形成的空间四边形上贴上图像F5[u+1][v+1];
u∈[1,I-1],v∈[1,J-1]时,由第u个水平扫描断面的第1个扫描点Pu,1、第u个水平扫描断面的第J个扫描点Pu,J、第u+1个水平扫描断面的第J个扫描点Pu+1,J、第u+1个水平扫描断面的第1个扫描点Pu+1,1形成的空间四边形上分别贴上一一对应的图像阵列F5[u][J]。
本发明相对于现有技术具有以下有益效果:
1、本发明将激光技术和视觉技术相结合起来,既实现了地质钻孔内壁的几何轮廓扫描,又实现了地质钻孔岩壁的形貌可视化,能够快速捕获地质钻孔的轮廓信息和岩壁图像信息,实现几何轮廓和形貌特征的同步测量;
2、本发明所采用基础依托技术原理和装置简单,激光测距技术、光学摄像技术、动态扫描技术以及精准定位技术所对应的传感器成本较低,且通用性较强,装置局部损坏之后容易更换;
3、本发明在数据处理方面效率较高,通过少量的数据处理,即可快速实现地质钻孔的三维可视化,同步呈现地质钻孔的三维轮廓信息和图像信息;
4、本发明装置操作方便,容易实现,获得的数据更加丰富,取得的结果更加可靠,大大地提高了测量效率;
本发明的结构体系和总体布局简单,易于实施。
总之,本发明提供了一种利用激光测距技术、光学摄像技术、动态扫描技术以及精准定位技术的激光与视觉相结合的地质钻孔三维可视化方法及装置,从根本上解决了地质钻孔精细测量和可视化的技术难题,通过将激光技术和视觉技术相结合起来,既实现了地质钻孔内壁的几何轮廓扫描,又实现了地质钻孔岩壁的形貌可视化,能够快速捕获地质钻孔的轮廓信息和岩壁图像信息,实现几何轮廓和形貌特征的同步测量;此外,本发明通过巧妙的结构设计和算法补偿,整套装置在钻孔内采集数据时,不受孔内探头是否居中的问题影响,改善了传统不居中容易导致测量失败的情况,大幅度提高整套装置的适应能力。本方法及装置设计巧妙,构思严密,结构体系简单,易于实施。
附图说明
图1为本发明装置结构框图;
图2为孔内探头结构示意图;
图3为部分结构装配示意图;
图4为部分结构几何尺寸标准示意图;
图5为图像宽度裁剪示意图;
图6为图像高度裁剪示意图;
图7为图像宽度和高度裁剪示意图;
图8为三维坐标示意图;
图9为三维轮廓重构示意图;
图10为图像排列示意图;
图11为图像重组示意图;
图12为图像划分示意图;
图中:1-孔内探头;2-传输电缆;3-深度绞车;4-工控机;5-电源;1.1-保护壳体;1.2-数据整合模块;1.3-数据控制模块;1.4-扫描旋转模块;1.5-固定装配盘;1.6-透射窗;1.7-激光测距模块;1.8-图像拍摄模块;1.9-尺寸限位窗;1.10-电子罗盘;1.11-中心轴线;1.4.1-空心旋转轴;1.5.1-电机旋转轴;1.7.1-激光发射传感器;1.7.2-激光接收传感器;1.8.1-LED白炽光源;1.8.2-数字光学摄像头;1.9.1-矩形窗;
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
实施例1:
如图1所示,一种激光与视觉相结合的地质钻孔三维可视化装置,包括孔内探头1、传输电缆2、深度绞车3、工控机4、电源5,孔内探头1用于采集地质钻孔三维轮廓扫描数据,孔内探头1放置于地质钻孔中,孔内探头1通过传输电缆2下放到地质钻孔中,并通过传输电缆2将采集的扫描数据上传到地面上的工控机4,深度绞车3用来控制传输电缆2上下移动,电源5为孔内探头1、深度绞车3和工控机4供电;孔内探头1从钻孔孔口下放的同时,处于深度绞车3上的深度编码器开始工作,用于记录孔内探头1下放深度,从而计算出地质钻孔各轮廓扫描点所处的位置深度,深度绞车3上的深度编码器直接与工控机4相连,深度信息直接进入工控机4,工控机4用来实时控制、采集、存储、显示和后期分析计算。
如图2-3所示,一种激光与视觉相结合的地质钻孔三维可视化装置,包括孔内探头1,孔内探头1包括保护壳体1.1、数据整合模块1.2、数据控制模块1.3、扫描旋转模块1.4、固定装配盘1.5、透射窗1.6、激光测距模块1.7、图像拍摄模块1.8、尺寸限位筒1.9、电子罗盘1.10。
保护壳体1.1的内部从上到下分别布设有数据整合模块1.2、数据控制模块1.3、扫描旋转模块1.4、固定装配盘1.5、激光测距模块1.7、图像拍摄模块1.8、以及电子罗盘1.10,激光测距模块1.7和图像拍摄模块1.8设置在尺寸限位筒1.9中,保护壳体1.1的下部与尺寸限位筒1.9对应的位置布设有透射窗1.6,尺寸限位筒1.9与电子罗盘1.10固定连接,激光测距模块1.7和图像拍摄模块1.8在尺寸限位筒1.9中的位置固定。保护壳体1.1为不带磁的材料,通常选择不锈钢或者聚甲醛材料。
保护壳体1.1,呈圆筒状,为不带磁的材料,通常选择不锈钢材料,它具有保护内部元器件的作用,同时也是支撑内部元器件搭建的平台,保护壳体1.1具有各种密封装置,防止地质钻孔内部的液体介质进入孔内探头1内部,保护壳体1.1的上端与传输拉力电缆连接。
数据整合模块1.2,一方面用于与传输电缆2之间实时接收和传递信息,另一方面实时与数据控制模块1.3、激光测距模块1.7、图像拍摄模块1.8、电子罗盘1.10之间进行通讯,数据整合模块1.2实现对数据控制模块1.3的控制,数据控制模块1.3实现对激光测距模块1.7、图像拍摄模块1.8、电子罗盘1.10获取数据的整合。
数据控制模块1.3,用于执行数据整合模块1.2的控制命令,数据控制模块1.3在接收到数据整合模块1.2的控制命令后,分别驱动和结束扫描旋转模块1.4、激光测距模块1.7、图像拍摄模块1.8、电子罗盘1.10工作。
扫描旋转模块1.4,扫描旋转模块1.4包含顶部的步进电机驱动控制器和底部的步进电机,扫描旋转模块1.4安装在固定装配盘1.5的正上方,扫描旋转模块1.4的步进电机与空心旋转轴1.4.1轴接,空心旋转轴1.4.1穿过固定装配盘1.5的通孔与尺寸限位筒1.9连接,空心旋转轴1.4.1用于带动尺寸限位筒1.9水平周向旋转,进而带动激光测距模块1.7、图像拍摄模块1.8、电子罗盘1.10水平周向旋转,空心旋转轴1.4.1的内部用于激光测距模块1.7、图像拍摄模块1.8、电子罗盘1.10的电源及控制线走线,激光测距模块1.7、图像拍摄模块1.8以及电子罗盘1.10所连接的线缆穿过空心旋转轴1.4.1与数据控制模块1.3连接。
固定装配盘1.5,呈圆盘状,固定装配盘1.5正中心布设有通孔,固定装配盘1.5正中心的通孔和空心旋转轴1.4.1都与中心轴线1.11重合,固定装配盘1.5与保护壳体1.1的上部形成静态腔,即静态腔内部的数据整合模块1.2、数据控制模块1.3、扫描旋转模块1.4(除空心旋转轴1.4.1以外)与保护壳体1.1保存相对静止;定装配盘1.5与透射窗1.6、保护壳体1.1的下部形成动态腔,即动态腔内部的激光测距模块1.7、图像拍摄模块1.8、尺寸限位筒1.9、电子罗盘1.10在扫描旋转模块1.4的驱动下,与保护壳体1.1保存相对周向旋转。
透射窗1.6,呈圆筒状,为有机透明玻璃,能够承受5MPa以上的围压,透射窗1.6确保激光测距模块1.7和图像拍摄模块1.8能够正常采集到地质钻孔的轮廓信息,透射窗1.6与保护壳体1.1之间保存相对静止连接,透射窗1.6与保护壳体1.1能够形成一个完整不漏水的封闭空间,确保数据整合模块1.2、数据控制模块1.3、扫描旋转模块1.4、激光测距模块1.7、图像拍摄模块1.8、电子罗盘1.10能够始终保存干燥环境。
激光测距模块1.7,能够实时测量激光测距模块1.7发射面到指向地质钻孔岩壁之间的垂直距离,激光测距模块1.7测量的数据实时通过数据控制模块1.3传递给数据整合模块1.2,激光测距模块1.7包含上部的激光发射传感器1.7.1和下部的激光接收传感器1.7.2。
图像拍摄模块1.8,能够实时拍摄图像拍摄模块1.8拍摄面到指向地质钻孔的岩壁图像,图像拍摄模块1.8拍摄的图像数据实时通过数据控制模块1.3传递给数据整合模块1.2,图像拍摄模块1.8包含上下布设的LED白炽光源1.8.1和中部布设的数字光学摄像头1.8.2,数字光学摄像头1.8.2位于上下布设的两个LED白炽光源1.8.1之间。LED白炽光源1.8.1能够为图像拍摄模块1.8的拍摄提供光线照明,数字光学摄像头1.8.2用于实时拍摄地质钻孔对应区域的岩壁图像,数字光学摄像头1.8.2的可视角度为V1。
尺寸限位筒1.9,呈圆柱状,尺寸限位筒1.9内部安装有激光测距模块1.7和图像拍摄模块1.8,尺寸限位筒1.9上与激光测距模块1.7的测量采集窗口以及图像拍摄模块1.8的测量采集窗口对应的位置均布设有矩形窗1.9.1;矩形窗1.9.1为通孔;激光测距模块1.7的采集指向和图像拍摄模块1.8的采集指向一致;其中一个矩形窗1.9.1确保激光测距模块1.7能够正常工作,另一个矩形窗1.9.1实现图像拍摄模块1.8拍摄区域大小的控制。
电子罗盘1.10,呈圆柱状,电子罗盘1.10能够实时获取孔内探头1的二维状态信息,即孔内探头1特定点的地理方位。电子罗盘1.10的方位指向与激光测距模块1.7的采集指向和图像拍摄模块1.8的采集指向一致,或者保持相对一致。
空心旋转轴1.4.1与激光测距模块1.7、图像拍摄模块1.8、尺寸限位筒1.9、以及电子罗盘1.10保持相对固定,空心旋转轴1.4.1能够带动激光测距模块1.7、图像拍摄模块1.8、尺寸限位筒1.9、以及电子罗盘1.10同步旋转。
保护壳体1.1和圆筒状的透射窗1.6的中心线与中心轴线1.11重合。
如图4所示,上述地质钻孔直径为D;上述透射窗1.6的外侧半径为d1;上述尺寸限位筒1.9的外侧半径为d2;上述激光测距模块1.7和图像拍摄模块1.8的测量采集窗口到中心轴线1.11之间的距离相同且为d3;上述激光测距模块1.7和图像拍摄模块1.8的测量采集窗口到地质钻孔岩壁的距离为d;上述图像拍摄模块1.8对应的矩形窗1.9.1的宽度为W;上述激光测距模块1.7和图像拍摄模块1.8中心点之间的纵向距离为h1;数字光学摄像头1.8.2的中心位置到对应的矩形窗1.9.1底端的距离为h2;为了保证孔内探头1在贴紧钻孔壁时也能正常采集到有效数据。
矩形窗1.9.1的宽度W应满足:
W≤2*(d2-d3)*tan(V1/2)
激光测距模块1.7和图像拍摄模块1.8中心点之间的纵向距离为h1应满足:
h1=(d1-d3)*tan(V1/2)
数字光学摄像头1.8.2的中心位置到对应的矩形窗1.9.1底端的距离为h2应满足:
h2≥(d2-d3)*tan(V1/2)。
实施例2:
一种激光与视觉相结合的地质钻孔三维可视化测量方法,利用实施例1所述的一种激光与视觉相结合的地质钻孔三维可视化装置,包括
步骤1、测距数据d、图像数据f、角度信息a和深度数据h的采集,具体以下步骤:
步骤1.1:在实施例1所述激光与视觉相结合的地质钻孔三维可视化装置组装完成之后,将孔内探头1放入需要进行三维可视化的地质钻孔中,孔内探头1位于孔口处时,深度绞车3上的深度编码器清零,即设为深度0位;LED白炽光源1.8.1点亮,进入步骤1.2,
步骤1.2:工控机4通过传输电缆2向孔内探头1中发送开始扫描指令,孔内探头1中的数据整合模块1.2接收到开始扫描指令之后,数据整合模块1.2解译信息,数据整合模块1.2向数据控制模块1.3发送扫描指令;数据控制模块1.3驱动扫描旋转模块1.4工作,进入步骤1.3,
步骤1.3:扫描旋转模块1.4开启,空心旋转轴1.4.1带动激光测距模块1.7、图像拍摄模块1.8、尺寸限位筒1.9、电子罗盘1.10同步旋转一个角度z,进入步骤1.4,
步骤1.4:激光测距模块1.7开启,激光测距模块1.7完成一次测距,获取激光测距模块1.7的测量采集窗口到地质钻孔岩壁的测距数据d;图像拍摄模块1.8开启,图像拍摄模块1.8拍摄一副照片,获得图像数据f,同时,电子罗盘1.10开启,电子罗盘1.10获取激光测距模块1.7和图像拍摄模块1.8的采集指向的地理方位角度,获得角度数据a,进入步骤1.5,
步骤1.5:激光测距模块1.7、图像拍摄模块1.8和电子罗盘1.10分别将采集的测距数据、拍摄的图像数据和角度数据通过数据控制模块1.3传递给数据整合模块1.2,数据整合模块1.2通过传输电缆2,将测距数据d、图像数据f和角度信息a传递给工控机4,同时,工控机4获取深度绞车3上深度编码器对应的深度数据h,工控机4将测距数据d、图像数据f、角度信息a和深度数据h进行同步采集、显示、处理并保存数据,进入步骤1.2,直至完成地质钻孔水平断面一圈的扫描,完成一圈(360度)的地质钻孔水平断面扫描之后,进入步骤1.6,
步骤1.6:深度绞车3通过传输电缆2缓慢下放孔内探头1设定下放深度δh,若地质钻孔轮廓数据采集未结束,进入步骤1.2,若扫描结束,进入步骤1.7;
步骤1.7:存储扫描数据,关闭激光与视觉相结合的地质钻孔三维可视化装置的电源5,通过深度绞车3缓慢提升孔内探头1,结束本次地质钻孔轮廓数据采集。
实施例3:
在上述工作过程中,由于泥浆环境无法进行光学照相,即需要对可视化的地质钻孔进行清空处理,确保地质钻孔内部处于清水环境或者无水环境;
一种激光与视觉相结合的地质钻孔三维可视化测量方法,利用实施例1所述的一种激光与视觉相结合的地质钻孔三维可视化装置,主要包括数据重组步骤、数据处理步骤和数据可视化步骤,
所述的激光测距模块1.7、图像拍摄模块1.8、电子罗盘1.10、深度绞车3上深度编码器分别同步采集测距数据d、图像数据f、角度信息a和深度数据h,分别用矩阵d[]、f[]、a[]、h[]表示,d[n1]表示激光测距模块1.7采集的第n1个测距数据,f[n2]表示像拍摄模块1.8采集的第n2个图像数据,a[n3]表示电子罗盘1.10采集的第n3个角度信息,h[n4]表示深度绞车3上深度编码器采集的第n4个深度数据;令每个水平断面测距模块1.7采集的扫描点数为J,即J=2π/z;采集的水平断面数为I,那么采集的总深度为I*δh;
在以下技术方案中,测距矩阵D1、方位矩阵A1、深度矩阵H1、方位矩阵A2、测距矩阵D2、图像矩阵F1、图像矩阵F1、测距修正矩阵D3均为总行数为I且总列数为J的矩阵,因此,统一用i,j分别表示行号和列号。
所述的数据重组包括:测距数据重组和图像数据重组,
步骤2、构建测距矩阵D1、方位矩阵A1、深度矩阵H1,方位矩阵和测距矩阵重组,步骤主要包括:
步骤2.1:构建测距矩阵D1,测距矩阵D1有I行J列,测距矩阵D1的每行对应一个钻孔的采集深度,同一行的各列对应同一采样深度下的各个扫描方位,用D1[i][j]表示测距矩阵D1中的第i行第j列元素对应的值;将d[1]~d[J]分别映射到D1[1][1]~D1[1][J]中,将d[J+1]~d[2J]分别映射到D1[2][1]~D1[2][J]中,依次类推,将d[(I-1)*J+1]~d[I*J]分别映射到D1[I-1][1]~D1[I][J]中;
步骤2.2:构建方位矩阵A1,方位矩阵A1有I行J列,方位矩阵A1每行对应一个钻孔的采集深度,同一行的各列对应同一采样深度下的各个扫描方位,用A1[i][j]表示方位矩阵A1中的第i行第j列元素对应的值;将a[1]~a[J]分别映射到A1[1][1]~A1[1][J]中,将a[J+1]~a[2J]分别映射到A1[2][1]~A1[2][J]中,依次类推,将a[(I-1)*J+1]~a[I*J]分别映射到A1[I-1][1]~A1[I][J]中;
步骤2.3:构建深度矩阵H1,深度矩阵H1有I行J列,深度矩阵H1的每行对应一个钻孔的采集深度,同一行的各列对应同一采样深度下的各个扫描方位,用H1[i][j]表示深度矩阵H1中的第i行第j列元素对应的值;将h[1]~h[J]分别映射到H1[1][1]~H1[1][J]中,将h[J+1]~h[2J]分别映射到H1[2][1]~H1[2][J]中,依次类推,将h[(I-1)*J+1]~h[I*J]分别映射到H1[I-1][1]~H1[I][J]中;
步骤2.4:构建方位矩阵A2,方位矩阵A2有I行J列,用A2[i][j]表示方位矩阵A2中的第i行第j列元素对应的值;将方位矩阵A1的每一行进行数值大小由小到大重新排列,重新排列后的方位矩阵A1每行的元素的列号作为方位矩阵A2中相同行列号的元素的值,若用No.表示方位矩阵A1中元素对应的列号,那么A2[i][1]=No.(A1[i][min])表示方位矩阵A2第i行第一列的数值等于方位矩阵A1中第i行数值最小元素对应的列数编号,A2[i][J]=No.(A1[i][max])表示方位矩阵A2第i行第J列的数值等于方位矩阵A1中第i行数值最大元素对应的列数编号,依次完成I行J列的方位矩阵A1到I行J列的方位矩阵A2的转换;
步骤2.5:构建测距矩阵D2,测距矩阵D2有I行J列,用D2[i][j]表示测距矩阵D2中的第i行第j列元素对应的值;测距矩阵D2中第i行第j列的数值等于测距矩阵D1中的第i行第A2[i][j]列的数值,即D2[i][j]=D1[i][(A2[i][j])];
步骤3、图像数据重组的步骤主要包括:
步骤3.1:构建图像矩阵F1,图像矩阵F1有I行J列,用F1[i][j]表示图像矩阵F1中的第i行第j列元素对应的图像阵列;图像阵列尺寸为M*N,即图像阵列的高为M,宽为N;将f[1]~f[J]分别映射到F1[1][1]~F1[1][J]中,将f[J+1]~f[2J]分别映射到F1[2][1]~F1[2][J]中,依次类推,将f[(I-1)*J+1]~f[I*J]分别映射到F1[I-1][1]~F1[I][J]中;
步骤3.2:构建图像矩阵F2,图像矩阵F2有I行J列,用F2[i][j]表示图像矩阵F2中的第i行第j列元素对应的图像阵列;图像矩阵F2中第i行第j列的图像阵列等于图像矩阵F1中的第i行第A2[i][j]列的图像阵列,即F2[i][j]=F1[i][(A2[i][j])];
所述的数据处理包括:测距数据处理和图像数据处理,
步骤4、测距数据处理:为了消除激光测距模块1.7采集数据的偶然误差,需要对测距数据进行处理,减少误差影响,构建测距数据修正后的测距修正矩阵D3,测距修正矩阵D3有I行J列;测距数据修正后的测距修正矩阵D3中的某个元素值不能明显大于或者小于周围元素的数值,为此,通过判断测距矩阵D2[i][j]与其上下左右数值的关系进行数据处理;
对于1<i<I,1<j<J的情况:
若D2[i][j]>2*mean(D2[i-1][j-1],D2[i-1][j],D2[i-1][j+1],D2[i][j-1],D2[i][j+1],D2[i+1][j-1],D2[i+1][j],D2[i+1][j+1])或者D2[i][j]<0.5*mean(D2[i-1][j-1],D2[i-1][j],D2[i-1][j+1],D2[i][j-1],D2[i][j+1],D2[i+1][j-1],D2[i+1][j],D2[i+1][j+1])
则D3[i][j]=mean(D2[i-1][j-1],D2[i-1][j],D2[i-1][j+1],D2[i][j-1],D2[i][j+1],D2[i+1][j-1],D2[i+1][j],D2[i+1][j+1])
否则,D3[i][j]=D2[i][j];
对于i=1,i=I,j=1,J=1的情况,D3[i][j]=D2[i][j];
上述mean()表示取平均值;
步骤5、图像数据处理:为了消除图像拍摄模块1.8拍摄过程中同一位置的部分重叠,需要对图像数据进行处理,裁决多余的图像信息,由原来的图像矩阵F2转换成处理后的图像矩阵F3,在图像矩阵F3的基础上裁剪成图像矩阵F4,F4[i][j]为图像矩阵F4第i行第j列的元素对应的图像阵列,图像矩阵F2中第i行j列元素对应的图像阵列表示的实际尺寸宽为Fw[i][j],高为Fh[i][j],其中:
其中,W为图像拍摄模块1.8对应的矩形窗1.9.1的宽度,d3为激光测距模块1.7和图像拍摄模块1.8的测量采集窗口到中心轴线之间的距离,d2为尺寸限位筒1.9的外侧半径,V1为数字光学摄像头1.8.2的可视角度,
若且Fh[i][j]≤δh,其中D为地质钻孔直径,δh为设定下放深度,则说明图像拍摄模块1.8拍摄的实际尺寸宽度比需要的阵列图像宽度小,图像拍摄模块1.8拍摄的实际尺寸高度比需要的阵列图像高度小,宽度不需要进行图像裁剪处理,高度不需要进行图像裁剪处理,
则图像阵列F4[i][j]等于图像阵列F2[i][j];
若且Fh[i][j]≤δh,则说明图像拍摄模块1.8拍摄的实际尺寸宽度比需要的阵列图像宽度大,图像拍摄模块1.8拍摄的实际尺寸高度比需要的阵列图像高度小,宽度需要进行图像裁剪处理,高度不需要进行图像裁剪处理,
如图5所示,以图像阵列F2[i][j]的垂直中心轴线为图像放大基准,将图像阵列F2[i][j]在水平方向放大n[i][j]倍,得到图像阵列F3[i][j],以图像阵列F3[i][j]垂直中心轴线与图像阵列上边缘交点左侧N/2的位置作为图像裁剪起点,向下选取尺寸为M,向右选取尺寸为N的图像阵列,将该图像阵列传递给图像阵列F4[i][j];
若且Fh[i][j]>δh,则说明图像拍摄模块1.8拍摄的实际尺寸宽度比需要的阵列图像宽度小,图像拍摄模块1.8拍摄的实际尺寸高度比需要的阵列图像高度大,宽度不需要进行图像裁剪处理,高度需要进行图像裁剪处理,
如图6所示,以图像阵列F2[i][j]的图像阵列上边缘为图像放大基准,将图像阵列F2[i][j]在垂直方向放大m[i][j]倍,得到图像阵列F3[i][j],以图像阵列F3[i][j]的左上角作为图像裁剪起点,向下选取尺寸为M,向右选取尺寸为N的图像阵列,将该图像阵列传递给图像阵列F4[i][j];
若且Fh[i][j]>δh,则说明图像拍摄模块1.8拍摄的实际尺寸宽度比需要的阵列图像宽度大,图像拍摄模块1.8拍摄的实际尺寸高度比需要的阵列图像高度大,宽度需要进行图像裁剪处理,高度需要进行图像裁剪处理,如图7所示,以图像阵列F2[i][j]的图像阵列上边缘为图像放大基准,将图像阵列F2[i][j]在垂直方向放大m[i][j]倍,得到图像阵列F3[i][j],/>以图像阵列F3[i][j]的垂直中心轴线为图像放大基准,将图像阵列F3[i][j]在水平方向放大n[i][j]倍,/>以图像阵列F3[i][j]垂直中心轴线与图像阵列上边缘交点左侧N/2的位置作为图像裁剪起点,向下选取尺寸为M,向右选取尺寸为N的图像阵列,将该图像阵列传递给图像阵列F4[i][j];
所述的数据可视化包括:激光轮廓可视化、视觉图像可视化和三维可视化理,激光轮廓可视化:
步骤6激光轮廓可视化具体包括以下步骤:
如图8所示,步骤6.1:建立三维坐标系;以钻孔中心轴线上的深度编码器显示0处的位置作为坐标原点,指向地理正北方向为x轴正方向,指向地理正东方向为y轴正方向,指向钻孔底部为z轴正方向;
步骤6.2:三维坐标变换;将测距矩阵D2和深度矩阵H1转化成三维坐标系中的x轴矩阵X、y轴矩阵Y、以及z轴矩阵Z,x轴矩阵X有I行J列,y轴矩阵Y有I行J列,z轴矩阵Z有I行J列,x轴矩阵X表示地质钻孔上激光扫描点对应的x轴坐标,y轴矩阵Y表示地质钻孔上激光扫描点对应的y轴坐标,z轴矩阵Z表示地质钻孔上激光扫描点对应的z轴坐标,X[i][j]为x轴矩阵X的第i行第j列的元素的值,Y[i][j]为y轴矩阵Y的第i行第j列的元素的值,Z[i][j]为z轴矩阵Z的第i行第j列的元素的值;
X[i][j]=(D2[i][j]+d3)*cos[j*2*π/J],
Y[i][j]=(D2[i][j]+d3)*sin[j*2*π/J],
Z[i][j]=H1[i][j];
P点在第u个水平扫描断面的第v个扫描点上,那么P点的三维坐标为(X[u][v],Y[u][v],Z[u][v]);
步骤6.3:三维轮廓重构;用Pu,v表示地质钻孔上激光扫描点中的第u个水平扫描断面的第v个扫描点,将同一水平扫描断面上(矩阵的同一行)的各个激光扫描点依次首尾连接,形成各个水平扫描断面封闭的折线环;将各个水平扫描断面相同扫描方位的各个激光扫描点依次连接,形成连续的折线段;
步骤7、视觉图像可视化,具体包括以下步骤:如图10所示,
步骤7.1:将图像矩阵F4中的I*J个图像矩阵按照顺序排列,组成尺寸为(M*I)*(N*J)大小的图像FF;在图像FF的基础上,采用数字图像滤波处理,如:均值滤波和中值滤波等,随后,进行图像增强处理,如:线性变换和非线性变换等,得到优化后的图像FFF;
如图11所示,步骤7.2:由于激光测距模块1.7获得的测距值为点状信息,图像拍摄模块1.8获得的图像为面状信息,为了一一对应,需要对图像FFF进行位置修正处理,将图像FFF顺序划分为图像FA和图像FB两幅图像,图像FA的尺寸大小为(M*I)*(N/2),图像FB的尺寸大小为(M*I)*(N*J-N/2),将FA平移到FB右侧,重新拼接成图像FFFF;
如图12所示,步骤7.3:将图像FFFF划分成I*J个M*N大小的图像矩阵F5,用F5[i][j]表示图像矩阵F5中的第i行第j列元素对应的图像阵列;
步骤7.4、三维可视化:
在由第u-1个水平扫描断面的第v个扫描点Pu-1,v、第u-1个水平扫描断面的第v-1个扫描点Pu-1,v-1、第u个水平扫描断面的第v-1个扫描点Pu,v-1、第u个水平扫描断面的第v个扫描点Pu,v形成的空间四边形上贴上图像F5[u-1][v-1];
在由第u个水平扫描断面的第v+1个扫描点Pu,v+1、第u个水平扫描断面的第v个扫描点Pu,v、第u+1个水平扫描断面的第v个扫描点Pu+1,v、第u+1个水平扫描断面的第v+1个扫描点Pu+1,v+1形成的空间四边形上贴上图像F5[u][v];
在由第u+1个水平扫描断面的第v+2个扫描点Pu+1,v+2、第u+1个水平扫描断面的第v+1个扫描点Pu+1,v+1、第u+2个水平扫描断面的第v+1个扫描点Pu+2,v+1、第u+2个水平扫描断面的第v+2个扫描点Pu+2,v+2形成的空间四边形上贴上图像F5[u+1][v+1];
以此类推,u∈[1,I-1],v∈[1,J-1],由第u个水平扫描断面的第1个扫描点Pu,1、第u个水平扫描断面的第J个扫描点Pu,J、第u+1个水平扫描断面的第J个扫描点Pu+1,J、第u+1个水平扫描断面的第1个扫描点Pu+1,1形成的空间四边形上分别贴上一一对应的图像阵列F5[u][J],
即将图像F5中的各矩形图像映射到对应的四边形上,在地质钻孔三维轮廓的基础上实现纹理映射,尺寸不匹配时,通过缩放、插值的方式进行纹理映射,从而地质钻孔三维可视化。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (1)
1.一种激光与视觉相结合的地质钻孔三维可视化方法,利用一种激光与视觉相结合的地质钻孔三维可视化装置,该装置包括深度绞车(3)、孔内探头(1)、传输电缆(2)和工控机(4),
传输电缆(2)一端与孔内探头(1)连接,另一端缠绕在深度绞车(3)上并与工控机(4)连接,
孔内探头(1)包括保护壳体(1.1),保护壳体(1.1)的内部从上到下分别布设有数据整合模块(1.2)、数据控制模块(1.3)、扫描旋转模块(1.4)、固定装配盘(1.5)、激光测距模块(1.7)、图像拍摄模块(1.8)、以及电子罗盘(1.10),激光测距模块(1.7)和图像拍摄模块(1.8)固定设置在尺寸限位筒(1.9)中,保护壳体(1.1)的下部与尺寸限位筒(1.9)对应的位置布设有透射窗(1.6),尺寸限位筒(1.9)与电子罗盘(1.10)固定连接,图像拍摄模块(1.8)包括数字光学摄像头(1.8.2),
扫描旋转模块(1.4)包含步进电机驱动控制器和步进电机,扫描旋转模块(1.4)安装在固定装配盘(1.5)的正上方,扫描旋转模块(1.4)的步进电机与空心旋转轴(1.4.1)轴接,空心旋转轴(1.4.1)穿过固定装配盘(1.5)的通孔与尺寸限位筒(1.9)连接,
激光测距模块(1.7)、图像拍摄模块(1.8)以及电子罗盘(1.10)所连接的线缆穿过空心旋转轴(1.4.1)与数据控制模块(1.3)连接,数据控制模块(1.3)与数据整合模块(1.2)连接,数据整合模块(1.2)与传输电缆(2)连接,
尺寸限位筒(1.9)上与激光测距模块(1.7)的测量采集窗口以及图像拍摄模块(1.8)的测量采集窗口对应的位置均布设有矩形窗(1.9.1),
其特征在于,上述方法包括以下步骤:
步骤1、测距数据d、图像数据f、角度信息a和深度数据h的采集;
步骤2、构建测距矩阵D1、方位矩阵A1和深度矩阵H1,方位矩阵和测距矩阵重组,具体为:
步骤2.1:构建测距矩阵D1,测距矩阵D1有I行J列,测距矩阵D1的每行对应一个钻孔的采集深度,同一行的各列对应同一采样深度下的各个扫描方位,用D1[i][j]表示测距矩阵D1中的第i行第j列元素对应的值,将测距数据d映射到测距矩阵D1中;
步骤2.2:构建方位矩阵A1,方位矩阵A1有I行J列,方位矩阵A1的每行对应一个钻孔的采集深度,同一行的各列对应同一采样深度下的各个扫描方位,用A1[i][j]表示方位矩阵A1中的第i行第j列元素对应的值,将角度信息a映射到方位矩阵A1;
步骤2.3:构建深度矩阵H1,深度矩阵H1有I行J列,深度矩阵H1的每行对应一个钻孔的采集深度,同一行的各列对应同一采样深度下的各个扫描方位,用H1[i][j]表示深度矩阵H1中的第i行第j列元素对应的值;将深度数据h映射到深度矩阵H1;
步骤2.4:构建方位矩阵A2,方位矩阵A2有I行J列,用A2[i][j]表示方位矩阵A2中的第i行第j列元素对应的值;将方位矩阵A1的每一行进行数值大小由小到大重新排列,重新排列后的方位矩阵A1每行的元素的列号作为方位矩阵A2中相同行列号的元素的值;
步骤2.5:构建测距矩阵D2,测距矩阵D2有I行J列,用D2[i][j]表示测距矩阵D2中的第i行第j列元素对应的值;测距矩阵D2中第i行第j列的数值等于测距矩阵D1中的第i行第A2[i][j]列的数值,
步骤3、图像数据重组步骤,具体为:
步骤3.1:构建图像矩阵F1,图像矩阵F1有I行J列,图像矩阵F1的每行对应一个钻孔的采集深度,同一行的各列对应同一采样深度下的各个扫描方位对应的图像阵列,用F1[i][j]表示图像矩阵F1中的第i行第j列元素对应的图像阵列;即图像的高为M,宽为N;将图像数据f映射到图像矩阵F1中;
步骤3.2:构建图像矩阵F2,图像矩阵F2有I行J列,用F2[i][j]表示图像矩阵F2中的第i行第j列元素对应的图像阵列;图像矩阵F2中第i行第j列的图像阵列等于图像矩阵F1中的第i行第A2[i][j]列的图像阵列,
步骤4、测距数据处理步骤,具体为:
构建测距修正矩阵D3,测距修正矩阵D3有I行J列,
对于1<i<I,1<j<J的情况:
若D2[i][j]>2*mean(D2[i-1][j-1],D2[i-1][j],D2[i-1][j+1],D2[i][j-1],D2[i][j+1],D2[i+1][j-1],D2[i+1][j],D2[i+1][j+1])或者D2[i][j]<0.5*mean(D2[i-1][j-1],D2[i-1][j],D2[i-1][j+1],D2[i][j-1],D2[i][j+1],D2[i+1][j-1],D2[i+1][j],D2[i+1][j+1])
则D3[i][j]=mean(D2[i-1][j-1],D2[i-1][j],D2[i-1][j+1],D2[i][j-1],D2[i][j+1],D2[i+1][j-1],D2[i+1][j],D2[i+1][j+1])
否则,D3[i][j]=D2[i][j];
对于i=1,i=I,j=1,J=1的情况,D3[i][j]=D2[i][j],
上述mean()表示取平均值,
步骤5、图像数据处理步骤,具体为:
构建图像矩阵F4,F4[i][j]为图像矩阵F4第i行第j列的元素对应的图像阵列,
图像矩阵F2中第i行j列元素对应的图像阵列表示的实际尺寸宽为Fw[i][j],高为Fh[i][j],其中:
其中,W为图像拍摄模块(1.8)对应的矩形窗(1.9.1)的宽度,d3为激光测距模块(1.7)和图像拍摄模块(1.8)的测量采集窗口到中心轴线之间的距离,d2为尺寸限位筒(1.9)的外侧半径,V1为数字光学摄像头(1.8.2)的可视角度,
则图像阵列F4[i][j]等于图像阵列F2[i][j];
以图像阵列F2[i][j]的垂直中心轴线为图像放大基准,将图像阵列F2[i][j]在水平方向放大n[i][j]倍,得到图像阵列F3[i][j],以图像阵列F3[i][j]垂直中心轴线与图像阵列上边缘交点左侧N/2的位置作为图像裁剪起点,向下选取尺寸为M,向右选取尺寸为N的图像阵列,将该图像阵列传递给图像阵列F4[i][j];
以图像阵列F2[i][j]的图像阵列上边缘为图像放大基准,将图像阵列F2[i][j]在垂直方向放大m[i][j]倍,得到图像阵列F3[i][j],以图像阵列F3[i][j]的左上角作为图像裁剪起点,向下选取尺寸为M,向右选取尺寸为N的图像阵列,将该图像阵列传递给图像阵列F4[i][j];
以图像阵列F2[i][j]的图像阵列上边缘为图像放大基准,将图像阵列F2[i][j]在垂直方向放大m[i][j]倍,得到图像阵列F3[i][j],以图像阵列F3[i][j]的垂直中心轴线为图像放大基准,将图像阵列F3[i][j]在水平方向放大n[i][j]倍,以图像阵列F3[i][j]垂直中心轴线与图像阵列上边缘交点左侧N/2的位置作为图像裁剪起点,向下选取尺寸为M,向右选取尺寸为N的图像阵列,将该图像阵列传递给图像阵列F4[i][j],
步骤6激光轮廓可视化,具体为:
步骤6.1:建立三维坐标系;以钻孔中心轴线上的深度编码器显示0处的位置作为坐标原点,指向地理正北方向为x轴正方向,指向地理正东方向为y轴正方向,指向钻孔底部为z轴正方向;
步骤6.2:三维坐标变换;将测距矩阵D2和深度矩阵H1转化成三维坐标系中的x轴矩阵X、y轴矩阵Y、以及z轴矩阵Z,x轴矩阵X有I行J列,y轴矩阵Y有I行J列,z轴矩阵Z有I行J列,x轴矩阵X表示地质钻孔上激光扫描点对应的x轴坐标,y轴矩阵Y表示地质钻孔上激光扫描点对应的y轴坐标,z轴矩阵Z表示地质钻孔上激光扫描点对应的z轴坐标,X[i][j]为x轴矩阵X的第i行第j列的元素的值,Y[i][j]为y轴矩阵Y的第i行第j列的元素的值,Z[i][j]为z轴矩阵Z的第i行第j列的元素的值;
X[i][j]=(D2[i][j]+d3)*cos[j*2*π/J],
Y[i][j]=(D2[i][j]+d3)*sin[j*2*π/J],
Z[i][j]=H1[i][j];
P点在第u个水平扫描断面的第v个扫描点上,那么P点的三维坐标为(X[u][v],Y[u][v],Z[u][v]);
步骤6.3:三维轮廓重构;将同一水平扫描断面上的各个激光扫描点依次首尾连接,形成各个水平扫描断面封闭的折线环;将各个水平扫描断面相同扫描方位的各个激光扫描点依次连接,形成连续的折线段,
步骤7、视觉图像可视化,具体包括:
步骤7.1:将图像矩阵F4中的I*J个图像矩阵按照顺序排列,组成尺寸为(M*I)*(N*J)大小的图像FF;对图像FF进行数字图像滤波处理以及图像增强处理,得到图像FFF;
步骤7.2:将图像FFF顺序划分为图像FA和图像FB两幅图像,图像FA的尺寸大小为(M*I)*(N/2),图像FB的尺寸大小为(M*I)*(N*J-N/2),将FA平移到FB右侧,重新拼接成图像FFFF;
步骤7.3:将图像FFFF划分成I*J个M*N大小的图像矩阵F5,用F5[i][j]表示图像矩阵F5中的第i行第j列元素对应的图像阵列;
步骤7.4、三维可视化:
在由第u-1个水平扫描断面的第v个扫描点Pu-1,v、第u-1个水平扫描断面的第v-1个扫描点Pu-1,v-1、第u个水平扫描断面的第v-1个扫描点Pu,v-1、第u个水平扫描断面的第v个扫描点Pu,v形成的空间四边形上贴上图像F5[u-1][v-1];
在由第u个水平扫描断面的第v+1个扫描点Pu,v+1、第u个水平扫描断面的第v个扫描点Pu,v、第u+1个水平扫描断面的第v个扫描点Pu+1,v、第u+1个水平扫描断面的第v+1个扫描点Pu+1,v+1形成的空间四边形上贴上图像F5[u][v];
在由第u+1个水平扫描断面的第v+2个扫描点Pu+1,v+2、第u+1个水平扫描断面的第v+1个扫描点Pu+1,v+1、第u+2个水平扫描断面的第v+1个扫描点Pu+2,v+1、第u+2个水平扫描断面的第v+2个扫描点Pu+2,v+2形成的空间四边形上贴上图像F5[u+1][v+1];
u∈[1,I-1],v∈[1,J-1]时,由第u个水平扫描断面的第1个扫描点Pu,1、第u个水平扫描断面的第J个扫描点Pu,J、第u+1个水平扫描断面的第J个扫描点Pu+1,J、第u+1个水平扫描断面的第1个扫描点Pu+1,1形成的空间四边形上分别贴上一一对应的图像阵列F5[u][J]。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111449002.5A CN114135272B (zh) | 2021-11-29 | 2021-11-29 | 一种激光与视觉相结合的地质钻孔三维可视化方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111449002.5A CN114135272B (zh) | 2021-11-29 | 2021-11-29 | 一种激光与视觉相结合的地质钻孔三维可视化方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114135272A CN114135272A (zh) | 2022-03-04 |
CN114135272B true CN114135272B (zh) | 2023-07-04 |
Family
ID=80386344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111449002.5A Active CN114135272B (zh) | 2021-11-29 | 2021-11-29 | 一种激光与视觉相结合的地质钻孔三维可视化方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114135272B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115707858A (zh) * | 2022-09-29 | 2023-02-21 | 金川集团股份有限公司 | 一种地质勘探钻孔质量检测方法 |
CN116696321A (zh) * | 2023-07-07 | 2023-09-05 | 天河道云(北京)科技有限公司 | 一种用于隐覆空区的三维激光钻孔扫描探测装置及方法 |
CN116858834A (zh) * | 2023-07-07 | 2023-10-10 | 中冶路桥建设有限公司 | 一种用于隐覆空区的钻孔巡检装置及方法 |
CN118274769B (zh) * | 2024-05-27 | 2024-09-17 | 东北大学 | 一种岩体钻孔高精度摄像与计米装置及使用方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5099115A (en) * | 1989-06-29 | 1992-03-24 | Universal Vision Company | Tubular members inspection apparatus having an inspection window and means for correllating reflected light to window damage |
CN102081787A (zh) * | 2009-12-01 | 2011-06-01 | 株式会社其恩斯 | 图像处理设备、图像处理方法和计算机程序 |
CN102713980A (zh) * | 2010-02-01 | 2012-10-03 | 英特尔公司 | 从地理参考图像提取及映射三维特征 |
CN105971583A (zh) * | 2016-06-27 | 2016-09-28 | 中国矿业大学(北京) | 一种获取钻孔全息模型的设备与方法 |
CN111608644A (zh) * | 2020-05-06 | 2020-09-01 | 中国科学院武汉岩土力学研究所 | 一种阵列式声波扫描的高精度钻孔成像方法及装置 |
CN113532322A (zh) * | 2021-07-29 | 2021-10-22 | 中国科学院武汉岩土力学研究所 | 一种多源扫描式钻孔灌注桩扩大头轮廓扫描装置及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10970814B2 (en) * | 2018-08-30 | 2021-04-06 | Halliburton Energy Services, Inc. | Subsurface formation imaging |
-
2021
- 2021-11-29 CN CN202111449002.5A patent/CN114135272B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5099115A (en) * | 1989-06-29 | 1992-03-24 | Universal Vision Company | Tubular members inspection apparatus having an inspection window and means for correllating reflected light to window damage |
CN102081787A (zh) * | 2009-12-01 | 2011-06-01 | 株式会社其恩斯 | 图像处理设备、图像处理方法和计算机程序 |
CN102713980A (zh) * | 2010-02-01 | 2012-10-03 | 英特尔公司 | 从地理参考图像提取及映射三维特征 |
CN105971583A (zh) * | 2016-06-27 | 2016-09-28 | 中国矿业大学(北京) | 一种获取钻孔全息模型的设备与方法 |
CN111608644A (zh) * | 2020-05-06 | 2020-09-01 | 中国科学院武汉岩土力学研究所 | 一种阵列式声波扫描的高精度钻孔成像方法及装置 |
CN113532322A (zh) * | 2021-07-29 | 2021-10-22 | 中国科学院武汉岩土力学研究所 | 一种多源扫描式钻孔灌注桩扩大头轮廓扫描装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114135272A (zh) | 2022-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114135272B (zh) | 一种激光与视觉相结合的地质钻孔三维可视化方法及装置 | |
Gallay et al. | Large-scale and high-resolution 3-D cave mapping by terrestrial laser scanning: a case study of the Domica Cave, Slovakia | |
James et al. | Straightforward reconstruction of 3D surfaces and topography with a camera: Accuracy and geoscience application | |
CN104330074B (zh) | 一种智能测绘平台及其实现方法 | |
CN105971583B (zh) | 一种获取钻孔全息模型的设备与方法 | |
JP2694152B2 (ja) | ボアホールスキャナー | |
CN110132183B (zh) | 一种深水水域水下机器人型沉水植物盖度仪 | |
CN102980510A (zh) | 一种激光光尺影像测树装置及其测树方法 | |
CN113532322B (zh) | 一种多源扫描式钻孔灌注桩扩大头轮廓扫描装置及方法 | |
CN111927434A (zh) | 一种地质勘探钻孔成像系统及方法 | |
JP2001524211A (ja) | レーザーを用いた3次元物体計測システム | |
CN103364399A (zh) | 作物根系生长探测系统及探测方法 | |
CN112284294A (zh) | 一种水下多波段交叉线阵激光三维扫描系统 | |
CN114283255A (zh) | 一种与工况时序匹配的地下工程巡查全景影像处理方法 | |
CN112067619B (zh) | 用于地质微孔表面裂纹检测的视觉窥视仪及裂纹检测方法 | |
CN106846477B (zh) | 一种编录野外地质影像的地质标记解译建模方法 | |
Kocak et al. | A 3-D laser line scanner for outcrop scale studies of seafloor features | |
CN109540094B (zh) | 基于摄影全站仪的建筑物无接触式沉降监测方法 | |
CN116929709A (zh) | 一种基于双目视觉的越浪量测量方法 | |
CN114894167B (zh) | 一种基于多传感器技术的洞穴自动测绘系统及方法 | |
CN210774767U (zh) | 一种可视化水下箱式采样器 | |
CN113139661A (zh) | 一种基于深度学习和多目遥感影像的地物深度预测方法 | |
Lingenauber et al. | In-Situ close-range imaging with plenoptic cameras | |
CN113112218A (zh) | 一种园林景观工程测量系统 | |
Lepère et al. | Laser Scanning of Damaged Historical Icons |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |