CN112734640B - 钻爆洞用图像采集装置、处理系统及全景图像拼接方法 - Google Patents
钻爆洞用图像采集装置、处理系统及全景图像拼接方法 Download PDFInfo
- Publication number
- CN112734640B CN112734640B CN202011622485.XA CN202011622485A CN112734640B CN 112734640 B CN112734640 B CN 112734640B CN 202011622485 A CN202011622485 A CN 202011622485A CN 112734640 B CN112734640 B CN 112734640B
- Authority
- CN
- China
- Prior art keywords
- image
- surrounding rock
- drilling
- distortion
- fisheye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005553 drilling Methods 0.000 title claims abstract description 59
- 238000012545 processing Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000004880 explosion Methods 0.000 title description 2
- 239000011435 rock Substances 0.000 claims abstract description 92
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 56
- 238000005422 blasting Methods 0.000 claims abstract description 55
- 238000012937 correction Methods 0.000 claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 230000007246 mechanism Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000001681 protective effect Effects 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000013016 damping Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000013523 data management Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000013501 data transformation Methods 0.000 claims description 4
- 238000011946 reduction process Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 241001441571 Hiodontidae Species 0.000 claims description 2
- 230000009471 action Effects 0.000 claims description 2
- 230000004075 alteration Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 claims description 2
- 230000036544 posture Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G06T5/70—
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明提供了一种钻爆洞用图像采集装置、处理系统及全景图像拼接方法，本发明能够实时拍摄钻爆洞围岩图像并进行存储，通过球面投影模型结合线性畸变矫正模型对鱼眼相机采集的图像进行畸变矫正，然后利用配准算法、融合算法、球面展开算法等实现钻爆洞围岩全景图拼接，有利于提高隧道围岩素描的速度和准确度。
Description
技术领域
本发明属于岩土工程技术领域，具体涉及一种钻爆洞用图像采集装置、处理系统及全景图像拼接方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
地质编录是隧道施工中一项必不可少的工作环节与重要的风险控制手段，而地质素描是地质编录的核心内容。在隧道施工中，由于地下工程前期地勘工作中技术、经济、工期等问题的限制，勘探程度往往是不够的，并不能全面真实地反映整个隧道各里程段及掌子面的地质情况。而地质素描工作能弥补此不足，并能够很大程度上完善洞内情况，从而为隧道支护提供较为准确详尽的参数。
地质素描工作通过在施工现场直接观测各种地质现象，以文字、图表以及照片的方式进行收集，并综合归纳整理及编录。传统的地质素描方法主要借助地质罗盘等工具对隧道进行监控，依赖于素描人员的工作经验，且工作量大，而对于与隧道夹角较大的结构面又容易漏报。
为实现计算机辅助作业和信息化管理，数字成像逐步应用于隧道地质素描的工作中。针对隧道施工的特点，尤其是钻爆法施工，借助相机拍摄可以实现围岩图像数字化。通过对图像图形的几何处理、校准和拼接，钻爆洞围岩全景图像可以实现岩层产状、地质编录信息的提取、编辑及运算一体化，从而实现对岩体裂隙的识别分析，有效提高隧道地质素描的工作质量。
据发明人了解，近年来国内外学者借助数字成像技术对隧道地质素描开展了一系列研究，但尚未建立较为完善的钻爆洞用图像采集系统，缺乏针对钻爆洞的围岩图像采集装置及控制方法，同时在对围岩全景图进行拼接时速度和准确度都有待提高。
发明内容
本发明为了解决上述问题，提出了一种钻爆洞用图像采集装置、处理系统及全景图像拼接方法，本发明能够实时拍摄钻爆洞围岩图像并进行存储，通过球面投影模型结合线性畸变矫正模型对鱼眼相机采集的图像进行畸变矫正，然后利用配准算法、融合算法、球面展开算法等实现钻爆洞围岩全景图拼接，有利于提高隧道围岩素描的速度和准确度。
根据一些实施例，本发明采用如下技术方案：
一种钻爆洞用图像采集装置，包括移动机构、多目鱼眼拍摄装置、球形相机保护外壳和激光测距仪，其中，所述多目鱼眼拍摄装置包括多个鱼眼相机、云台和控制器：
所述球形相机保护外壳搭载于移动机构上；
所述球形相机保护外壳内中心设置有支撑机构，所述支撑机构上设置有多个云台，各个云台呈正多面体布局设置，每个云台上设置有一鱼眼相机，用于采集不同角度的围岩图像，通过调节各个云台的姿态，调整鱼眼相机拍摄角度和方位；
所述球形相机保护外壳内设置激光测距仪，用于记录各个鱼眼相机的拍摄位置；
所述控制器与各个鱼眼相机通信，控制各个鱼眼相机的动作。
上述技术方案能够保证鱼眼相机在成像球面的内接正N面体的N个顶点，作为N台鱼眼相机光轴与成像球面的交点，可以很好的满足不同角度下围岩图像的拍摄及全景图的拼接要求；通过云台在一定范围内调整鱼眼相机的拍摄角度和姿态，提高拍摄效果；控制器控制鱼眼相机同时或顺序拍照，满足图像要求。
作为可选择的实施方式，所述移动机构上还设置有可升降机构，所述多目鱼眼拍摄装置设置于可升降机构上。
作为可选择的实施方式，所述移动机构上设置有若干照明装置。可以根据现场环境调整光照情况，保证拍摄时光源充足。
作为可选择的实施方式，所述球形相机保护外壳上设置有多个可开闭闸门，开闭闸门的位置与鱼眼相机设置位置相对应；所述可开闭闸门的开关受所述控制器控制。可开闭闸门打开时，球形保护外壳内的鱼眼相机完全暴露视野，可以进行工作；未接受指令之前全程保证闸门关闭，确保鱼眼相机不受隧道内落石、粉尘等不良地质的影响。
一种钻爆洞用图像处理系统，包括：
图像采集装置，用于不同角度进行围岩图像拍摄，从而获取一组围岩图像；
图像畸变矫正系统，被配置为对钻爆洞围岩图像进行优化和畸变矫正；
围岩全景图拼接系统，被配置为通过配准算法、融合算法和球面展开算法对钻爆洞同一位置不同角度围岩图像进行拼接，获取钻爆洞围岩全景图；
数据管理系统，被配置为对钻爆洞围岩全景图进行数据存储和管理。
作为可选择的实施方式，所述图像畸变矫正系统，包括图像优化模块和畸形矫正模块，其中：
所述图像优化模块，被配置为对图像进行增强处理和降噪处理；
所述畸形矫正模块，被配置为利用经纬矫正模型和球面透视模型相结合对鱼眼相机拍摄的围岩图像进行畸变矫正。
作为可选择的实施方式，所述围岩全景图拼接系统包括配准模块、融合模块和球面拼接模块，其中：
所述配准模块，被配置为通过视觉中心转换将各个鱼眼相机的坐标进行统一，确定拼接的大致位置后进行精准配准；
所述融合模块，被配置为通过ISP处理和权值函数消除各幅图像间的色差以及曝光不统一所带来的影响；
所述球面拼接模块，被配置为采用经纬展开算法为3D球面贴图，采用摩尔维特算法进行人机交互，反映全景信息，将已完成拼接的球面展开至平面中。
作为进一步的限定，所述配准模块，被配置为采用基于SIFT描述子的特征匹配算法，利用高斯模糊算子卷积图像建立图像的尺度金字塔，通过Harris矩阵探测角点，特征点为根据相邻尺度图像拟合曲线的极值点的关系筛选出待匹配的特征点，通过灰度阶梯计算特征点以及特征点周围点的灰度梯度方向以及模长确定特征点的n维描述子，比较待配准两图像中特征点描述子的欧拉距离，实现对图像的精确配准。
一种钻爆洞用全景图像拼接方法，包括以下步骤：
获取不同角度的围岩图像，获取一组围岩图像，确定图像采集时间和位置；
对钻爆洞围岩图像进行优化和畸变矫正；
通过配准算法、融合算法和球面展开算法对钻爆洞同一位置不同角度围岩图像进行拼接，获取钻爆洞围岩全景图；
对钻爆洞围岩全景图进行数据存储、管理及编录。
所述图像优化步骤的具体过程包括：对图像进行增强处理和降噪处理，增强处理通过对原始图像附加信息或数据变换；降噪处理利用均值滤波、中值滤波等算法消除图像噪声。
作为可选择的实施方式，对钻爆洞围岩图像进行优化和畸变矫正的具体过程包括：
对图像进行增强处理和降噪处理；
利用经纬矫正模型和球面透视模型相结合对鱼眼相机拍摄的围岩图像进行畸变矫正，在经纬矫正模型中鱼眼图像水平方向的坐标值表征像点在实际空间中的经度信息，垂直方向的坐标值表征像点在实际空间中的纬度信息；
在球面透视模型中，将空间上的点投影到球面再投影到鱼眼镜头完成最终畸变矫正。
作为可选择的实施方式，通过配准算法、融合算法和球面展开算法对钻爆洞同一位置不同角度围岩图像进行拼接的具体过程包括：
采用基于SIFT描述子的特征匹配算法，利用高斯模糊算子卷积图像建立图像的尺度金字塔，通过Harris矩阵探测角点，特征点为根据相邻尺度图像拟合曲线的极值点的关系筛选出待匹配的特征点，进而通过灰度阶梯计算特征点以及特征点周围点的灰度梯度方向以及模长确定特征点的n维描述子，比较待配准两图像中特征点描述子的欧拉距离，实现对图像的精确配准；
进行融合处理，通过ISP处理和权值函数消除各幅图像间的色差以及曝光不统一所带来的影响；
利用3D球面贴图和摩尔维特算法相结合，将完成拼接的球面展开至平面中。
与现有技术相比，本发明的有益效果为：
本发明采集装置整体可以移动，在工作过程中不影响现场施工，通过移动机构、可升降机构能够调整鱼眼相机高度，自动化程度高，减少劳动量；
本发明采集装置能够保证鱼眼相机在成像球面的内接正N面体的N个顶点，作为N台鱼眼相机光轴与成像球面的交点，可以很好的满足不同角度下围岩图像的拍摄及全景图的拼接要求；通过云台在一定范围内调整鱼眼相机的拍摄角度和姿态，提高拍摄效果；控制器控制鱼眼相机同时或顺序拍照，满足图像要求。
本发明利用配准算法、融合算法和球面展开算法对钻爆洞同一位置不同角度围岩图像进行拼接，获取钻爆洞围岩全景图，可实现钻爆洞围岩三维可视化，有利于提高隧道围岩素描的速度和准确度。
本发明在图像数据处理过程中，对图像进行增强处理和降噪处理；增强处理通过对原始图像附加信息或数据变换，改善图像质量、丰富信息量；降噪处理用于消除图像噪声，利用均值滤波、中值滤波等算法减少图像在数字化和传输过程中受到成像设备与外部环境噪声干扰等的影响；将各个鱼眼相机的坐标进行统一后，确定拼接的大致位置后再进行精准配准，消除机械误差带来的影响，保证了最终结果的准确性。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本实施例的整体结构图；
图2为本实施例的四目鱼眼拍摄装置结构图。
图3(a)、图3(b)为本实施例的四目鱼眼相机分布图。
图4为本实施例系统结构图。
图中：1、四目鱼眼拍摄装置；2、卡车；3、伸缩支架；4、作业台；5、地撑；
1-1、鱼眼相机；1-2、三角支架；1-3、球形相机保护外壳；1-4、可开闭闸门；1-5、云台；1-6、控制器。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
正如背景技术所介绍的，现有技术中存在不足，为了解决如上的技术问题，本申请提出了一种钻爆洞用图像采集装置及全景图像拼接方法，解决了以往研究中尚未建立较为完善的钻爆洞用图像采集系统，缺乏针对钻爆洞的围岩图像采集装置及全景图拼接方法的这一技术难题。
本申请的一种典型的实施方式中，如图4所示，一种钻爆洞用图像处理系统，包括围岩图像采集系统、图像畸变矫正系统、围岩全景图拼接系统及数据管理系统。
其中：围岩图像采集系统，在本实施例中，如图1所示，为车载式移动，当然，在其他实施例中，可以是其他移动机构，如机器人搭载等。
如图2所示，在本实施例中，一台搭载有伸缩支架3的卡车2作为图像采集系统的载体，可应对不同钻爆洞型的高度，且钻爆洞较常见的TBM洞型具有高空高、无搭载载体等特点，采用车载式可实现移动方便、选点自由，且作业台4由伸缩支架连接，可按需求调节鱼眼相机距离围岩距离，人为控制拍摄高度；选定拍摄点后，采用地撑5定点。
作业台上设置四目鱼眼拍摄装置1，由三角支架1-2连接并可通过云台1-5调整鱼眼相机拍摄角度和位置。四目鱼眼拍摄装置1将成像球面的内接正四面体的4个顶点作为4台鱼眼相机光轴与成像球面的交点，可以很好的满足不同角度下围岩图像的拍摄及全景图的拼接要求；鱼眼相机置于减震装置上，通过云台与三角支架1-2相连，并可通过云台调节拍摄角度和相机方位。
在本实施例中，减震装置可以是柔性机构或弹性机构上，减震机构为现有机械结构，在此不再赘述。
相机外设计球形保护外壳1-3、激光测距仪、可开闭闸门1-4和减震装置，方便进行拼装、更换、拆卸及多次利用。4个可开闭闸门，打开时，球形保护外壳内的鱼眼相机完全暴露视野；未接受指令之前全程保证闸门关闭，确保鱼眼相机不受隧道内落石、粉尘等不良地质的影响。
当然，四目鱼眼拍摄装置1的各个设备均设置在卡车2上，卡车2上还设置有可升降降机构，以承载四目鱼眼拍摄装置1。
球形相机保护外壳为不透明高强材料，可适应钻爆洞内不良地质条件，防止相机受潮或被落石损坏；同时确保在选定拍摄点之前可开闭闸门为关闭状态，通过发出指令打开闸门，使相机拍摄视野完全暴露。
控制器被配置为存储和管理围岩图像，同时控制车载式伸缩移动平台、可开闭闸门，并通过硬件触发装置与鱼眼相机相连，通过输出触发信号实现相机的自动拍摄。
车体平台护栏处设置若干照明装置，被配置为根据现场环境调整光照情况，保证拍摄时光源充足。
如图3(a)、图3(b)所示，四目鱼眼相机1-1呈正四面体分布，分别位于c1、c2、c3和c4点，其中Zn(n＝1，2，3，4)为光轴方向，Yn,Xn为传感器Y轴方向和X轴方向。4台鱼眼相机通过控制器1-6控制同时曝光，每个相机对应一个可开闭闸门。
激光测距仪固定在球形保护外壳顶端，调整好拍摄角度后通过测量鱼眼相机位置进行标定；减震装置与鱼眼相机相连，用于减少车辆行进过程中产生的震动。
计算机放置在作业台，被配置为存储图像，控制伸缩移动平台和在鱼眼相机自动对焦后发出曝光指令；照明装置搭载在护栏两侧，通过光敏电阻自动调节照灯的光照强度，确保拍摄时光源充足。
如图4所示，将围岩图像传输到图像畸变矫正系统，包括图像优化模块和畸形矫正模块；
图像优化模块包括对图像进行增强处理和降噪处理；增强处理通过对原始图像附加信息或数据变换，改善图像质量、丰富信息量；降噪处理用于消除图像噪声，利用均值滤波、中值滤波等算法减少图像在数字化和传输过程中受到成像设备与外部环境噪声干扰等的影响。
畸形矫正模块利用经纬矫正模型和球面透视模型相结合对鱼眼相机拍摄的围岩图像进行畸变矫正。在经纬矫正模型中鱼眼图像水平方向的坐标值表征像点在实际空间中的经度信息，垂直方向的坐标值表征像点在实际空间中的纬度信息，经纬角转像素坐标如下式：
其中，p为空间一物点，其在鱼眼图像上的像点为pi，p′为p在过鱼眼中心且与鱼眼水平方向坐标轴平行的平面上的投影，∠pop′即为p点的维度角，p″为p在对应纬度平面的投影，p处于左半球k＝-1，反之k＝1。
由于采用经纬矫正模型，畸变图像中像素点纵坐标不变，仅横坐标进行拉伸变换，这种通过线性的方式对应至矫正图的方式不能完全符合人眼视物规律，因此结合采用球面透视模型。
在球面透视模型中，将空间上的点投影到球面再投影到鱼眼镜头完成最终畸变矫正。其中，球面透视模型包括径向畸变和切向畸变，径向畸变与径向参数r呈正比，而忽略切向畸变的情况下，球面位置参数θ由径向畸变表示，得到球面位置与r的表达式：
其中空间上一点p′与鱼眼图像中心的距离为r，径向畸变由f(r)表示，切向方向与径向方向垂直。由于鱼眼镜头图像半径R与鱼眼镜头的视场角ω满足(3)式，任意像点到投影球面的转换关系式为：
当需要对鱼眼镜头的畸变做更为精确的标定时，引入关于r的多项式，通过直线标定得出多项式的各个系数从而拟合鱼眼镜头的畸变曲线：
f(r)＝c1r+c2r2+c3r3+…(6)
将畸变矫正后的围岩图像传输到围岩全景图拼接系统，包括配准模块、融合模块和球面拼接模块，利用配准算法、融合算法和球面展开算法对钻爆洞同一位置不同角度围岩图像进行拼接，获取钻爆洞围岩全景图。
配准模块通过视觉中心转换将4个鱼眼相机的坐标进行统一后，确定拼接的大致位置后再进行精准配准，消除机械误差带来的影响。采用基于SIFT描述子的特征匹配算法，利用高斯模糊算子卷积图像建立图像的尺度金字塔，通过Harris矩阵探测角点，特征点为根据相邻尺度图像拟合曲线的极值点的关系筛选出待匹配的特征点，进而通过灰度阶梯计算特征点以及特征点周围点的灰度梯度方向以及模长确定特征点的n维描述子，比较待配准两图像中特征点描述子的欧拉距离，最终实现对图像的精确配准。
在本实施例中，融合模块通过ISP处理和权值函数消除各幅图像间的色差以及曝光不统一所带来的影响。4台鱼眼相机的内置参数和摄像时的光照条件均不相同，导致每台相机的ISP芯片会设置不同曝光、白平衡等参数，因此拍摄图像具有明暗和颜色差异。ISP处理通过再次比较模块间的RGB三通道关系，将其中一图设为标准模块，重新建立非标准模块的矫正系数，如下式：
其中c＝1，2，3分别对应图像的RGB三通道，k(c)为相应图像的三通道矫正系数。
对于较复杂的情况采用多项式矫正拟合曲线，选取n个ORB检测时的特征点，通过比对特征点在彩色空间的差异计算出多项式的各项参数，如下式：
权值函数根据像素点所处位置分配其采用各幅图像的权值大小，使亮度色彩渐变达到统一。采取的权值函数由像素点关于每个相机的视场角决定，视场角越小，说明此点在相机中的位置越靠近中心位置，得到的权重越大，如下式：
其中ωi为某点对于相机i的视场角，通过权值函数可以解决ISP统一过程中曝光导致图像质量下降的问题，使RGB三通道相对比例保持一致。
在本实施例中，球面拼接模块采用经纬展开算法为3D球面贴图，采用摩尔维特算法用于人机交互，直接展示在用户界面中，反映全景信息，通过两种算法的结合将已完成拼接的球面展开至平面中。
经纬展开算法根据角度来确定像素点的位置，具体投影公式如下：
其中(x，y，z)为球面上一点的坐标，为球面半径，θ为纬度值，σ为经度值。
摩尔维特投影算法无面积形变，用于处理图像边缘，其投影公式如下：
其中σ0为经度偏移，其他参数意义同式(10)。
将拼接完成的围岩全景图传输到数据管理系统，导入围岩全景图像，将工程号、工程位置和图号进行叠加显示并进行编录，并保存在专有数据库中，实现信息快速检索、编辑和管理。
具体实现围岩全景图拼接的过程，在本实施例中，如图4所示，包括以下步骤：
(1)在钻爆洞围岩图像采集开始前，将车载式伸缩移动平台、鱼眼相机、球形相机保护外壳、照明装置等设备安置、组装好，并调整好现场光源；
(2)记录里程和时间，并通过激光测距仪对4台鱼眼相机进行标定，通过计算机控制可开闭闸门自动打开；
(3)调整三角支架连接的云台，使鱼眼相机摄像头对准拍摄位置围岩；
(4)待鱼眼相机自动对焦后，通过硬件触发相机曝光，采集得到一组钻爆洞围岩图像；
(5)将围岩图像传输到图像畸变矫正系统；
(6)对图像进行优化和畸变矫正；
(7)将畸变矫正完成的围岩图像传输到围岩全景图拼接系统，通过配准算法、融合算法和球面展开算法对钻爆洞不同角度围岩图像进行拼接，获取钻爆洞围岩全景图；
(8)最终，将围岩全景图像建立数据库并进行编录存储，实现数据的远程传输、存储管理、自动检索和实时更新。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (7)
1.一种钻爆洞用图像采集装置，其特征是：包括移动机构、多目鱼眼拍摄装置、球形相机保护外壳和激光测距仪，其中，所述多目鱼眼拍摄装置包括多个鱼眼相机、云台和控制器；
所述多目鱼眼拍摄装置设置为四目鱼眼拍摄装置，所述四目鱼眼拍摄装置将成像球面的内接正四面体的4个顶点作为4台鱼眼相机光轴与成像球面的交点；四目鱼眼相机呈正四面体分布，分别位于c1、c2、c3和c4点，其中Zn为光轴方向，Yn，X n为传感器Y轴方向和X轴方向，n=1,2,3,4；
所述球形相机保护外壳搭载于移动机构上；
所述球形相机保护外壳内中心设置有支撑机构，所述支撑机构上设置有多个云台，各个云台呈正多面体布局设置，每个云台上设置有一鱼眼相机，用于采集不同角度的围岩图像，通过调节各个云台的姿态，调整鱼眼相机拍摄角度和方位；
所述球形相机保护外壳内设置激光测距仪，用于记录各个鱼眼相机的拍摄位置；
鱼眼相机置于减震装置上，通过云台与三角支架相连；减震装置与鱼眼相机相连，用于减少车辆行进过程中产生的震动；
所述控制器与各个鱼眼相机通信，控制各个鱼眼相机的动作；所述控制器被配置为存储和管理围岩图像，同时控制车载式伸缩移动平台、可开闭闸门，并通过硬件触发装置与鱼眼相机相连，通过输出触发信号实现相机的自动拍摄；
所述球形相机保护外壳上设置有多个可开闭闸门，开闭闸门的位置与鱼眼相机设置位置相对应；所述可开闭闸门的开关受所述控制器控制；
4台鱼眼相机通过控制器控制同时曝光，每个相机对应一个可开闭闸门，4个可开闭闸门打开时，球形保护外壳内的鱼眼相机完全暴露视野；未接受指令之前全程保证闸门关闭；
利用所述图像采集装置获取不同角度的围岩图像，获取一组围岩图像，确定图像采集时间和位置；
对钻爆洞围岩图像进行优化和畸变矫正；其中，对钻爆洞围岩图像进行优化和畸变矫正的具体过程包括：
对图像进行增强处理和降噪处理；
利用经纬矫正模型和球面透视模型相结合对鱼眼相机拍摄的围岩图像进行畸变矫正，在经纬矫正模型中鱼眼图像水平方向的坐标值表征像点在实际空间中的经度信息，垂直方向的坐标值表征像点在实际空间中的纬度信息；
在球面透视模型中，将空间上的点投影到球面再投影到鱼眼镜头完成最终畸变矫正；球面透视模型包括径向畸变和切向畸变，径向畸变与径向参数r呈正比，当需要对鱼眼镜头的畸变做更为精确的标定时，引入关于r的多项式，通过直线标定得出多项式的各个系数从而拟合鱼眼镜头的畸变曲线；
通过配准算法、融合算法和球面展开算法对钻爆洞同一位置不同角度围岩图像进行拼接，获取钻爆洞围岩全景图。
2.如权利要求1所述的一种钻爆洞用图像采集装置，其特征是：所述移动机构上还设置有可升降机构，所述多目鱼眼拍摄装置设置于可升降机构上；
或，所述移动机构上设置有若干照明装置。
3.一种钻爆洞用图像处理系统，其特征是：包括：
权利要求1-2中任一项所述的图像采集装置，用于不同角度进行围岩图像拍摄，从而获取一组围岩图像；
图像畸变矫正系统，被配置为对钻爆洞围岩图像进行优化和畸变矫正；
其中，所述图像畸变矫正系统，包括图像优化模块和畸形矫正模块，其中：
所述图像优化模块，被配置为对图像进行增强处理和降噪处理；
所述畸形矫正模块，被配置为利用经纬矫正模型和球面透视模型相结合对鱼眼相机拍摄的围岩图像进行畸变矫正；在经纬矫正模型中鱼眼图像水平方向的坐标值表征像点在实际空间中的经度信息，垂直方向的坐标值表征像点在实际空间中的纬度信息；
在球面透视模型中，将空间上的点投影到球面再投影到鱼眼镜头完成最终畸变矫正；球面透视模型包括径向畸变和切向畸变，径向畸变与径向参数r呈正比，当需要对鱼眼镜头的畸变做更为精确的标定时，引入关于r的多项式，通过直线标定得出多项式的各个系数从而拟合鱼眼镜头的畸变曲线；
围岩全景图拼接系统，被配置为通过配准算法、融合算法和球面展开算法对钻爆洞同一位置不同角度围岩图像进行拼接，获取钻爆洞围岩全景图；
数据管理系统，被配置为对钻爆洞围岩全景图进行数据存储和管理。
4.如权利要求3所述的一种钻爆洞用图像处理系统，其特征是：所述围岩全景图拼接系统包括配准模块、融合模块和球面拼接模块，其中：
所述配准模块，被配置为通过视觉中心转换将各个鱼眼相机的坐标进行统一，确定拼接的大致位置后进行精准配准；
所述融合模块，被配置为通过ISP处理和权值函数消除各幅图像间的色差以及曝光不统一所带来的影响；
所述球面拼接模块，被配置为采用经纬展开算法为3D球面贴图，采用摩尔维特算法进行人机交互，反映全景信息，将已完成拼接的球面展开至平面中。
5.如权利要求4所述的一种钻爆洞用图像处理系统，其特征是：所述配准模块，被配置为采用基于SIFT描述子的特征匹配算法，利用高斯模糊算子卷积图像建立图像的尺度金字塔，通过Harris矩阵探测角点，特征点为根据相邻尺度图像拟合曲线的极值点的关系筛选出待匹配的特征点，通过灰度阶梯计算特征点以及特征点周围点的灰度梯度方向以及模长确定特征点的n维描述子，比较待配准两图像中特征点描述子的欧拉距离，实现对图像的精确配准。
6.一种钻爆洞用全景图像拼接方法，其特征是：包括以下步骤：
利用权利要求1-2中任一项所述的图像采集装置获取不同角度的围岩图像，获取一组围岩图像，确定图像采集时间和位置；
对钻爆洞围岩图像进行优化和畸变矫正；
其中，对钻爆洞围岩图像进行优化和畸变矫正的具体过程包括：
对图像进行增强处理和降噪处理；
利用经纬矫正模型和球面透视模型相结合对鱼眼相机拍摄的围岩图像进行畸变矫正，在经纬矫正模型中鱼眼图像水平方向的坐标值表征像点在实际空间中的经度信息，垂直方向的坐标值表征像点在实际空间中的纬度信息；
在球面透视模型中，将空间上的点投影到球面再投影到鱼眼镜头完成最终畸变矫正；球面透视模型包括径向畸变和切向畸变，径向畸变与径向参数r呈正比，当需要对鱼眼镜头的畸变做更为精确的标定时，引入关于r的多项式，通过直线标定得出多项式的各个系数从而拟合鱼眼镜头的畸变曲线；
通过配准算法、融合算法和球面展开算法对钻爆洞同一位置不同角度围岩图像进行拼接，获取钻爆洞围岩全景图；
对钻爆洞围岩全景图进行数据存储、管理及编录；
所述图像优化步骤的具体过程包括：对图像进行增强处理和降噪处理，增强处理通过对原始图像附加信息或数据变换；降噪处理利用均值滤波、中值滤波等算法消除图像噪声。
7.如权利要求6所述的一种钻爆洞用全景图像拼接方法，其特征是：通过配准算法、融合算法和球面展开算法对钻爆洞同一位置不同角度围岩图像进行拼接的具体过程包括：
采用基于SIFT描述子的特征匹配算法，利用高斯模糊算子卷积图像建立图像的尺度金字塔，通过Harris矩阵探测角点，特征点为根据相邻尺度图像拟合曲线的极值点的关系筛选出待匹配的特征点，进而通过灰度阶梯计算特征点以及特征点周围点的灰度梯度方向以及模长确定特征点的n维描述子，比较待配准两图像中特征点描述子的欧拉距离，实现对图像的精确配准；
进行融合处理，通过ISP处理和权值函数消除各幅图像间的色差以及曝光不统一所带来的影响；
利用3D球面贴图和摩尔维特算法相结合，将完成拼接的球面展开至平面中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011622485.XA CN112734640B (zh) | 2020-12-30 | 2020-12-30 | 钻爆洞用图像采集装置、处理系统及全景图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011622485.XA CN112734640B (zh) | 2020-12-30 | 2020-12-30 | 钻爆洞用图像采集装置、处理系统及全景图像拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112734640A CN112734640A (zh) | 2021-04-30 |
| CN112734640B true CN112734640B (zh) | 2023-12-22 |
Family
ID=75609033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011622485.XA Active CN112734640B (zh) | 2020-12-30 | 2020-12-30 | 钻爆洞用图像采集装置、处理系统及全景图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112734640B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114742797A (zh) * | 2022-04-12 | 2022-07-12 | 清华大学 | 排水管道内壁全景图像的缺陷检测方法和图像采集机器人 |
| CN114529808B (zh) * | 2022-04-21 | 2022-07-19 | 南京北控工程检测咨询有限公司 | 一种管道检测全景拍摄处理系统及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101825840A (zh) * | 2010-05-06 | 2010-09-08 | 浙江大学 | 一种多镜头实时全景成像系统 |
| CN102298771A (zh) * | 2011-08-16 | 2011-12-28 | 淮安盈科伟力科技有限公司 | 全景泊车辅助系统的鱼眼图像快速校正方法 |
| CN102620672A (zh) * | 2011-12-01 | 2012-08-01 | 中国人民解放军63653部队 | 图像拼接技术在隧道围岩变形非接触测量中的应用 |
| CN105488775A (zh) * | 2014-10-09 | 2016-04-13 | 东北大学 | 一种基于六摄像机环视的柱面全景生成装置及方法 |
| CN106683045A (zh) * | 2016-09-28 | 2017-05-17 | 深圳市优象计算技术有限公司 | 一种基于双目像机的全景图像拼接方法 |
| CN106993142A (zh) * | 2017-04-14 | 2017-07-28 | 深圳市派虎科技有限公司 | 摄像支架装置及全景摄像系统 |
| CN207465260U (zh) * | 2017-11-16 | 2018-06-08 | 深圳市智能现实科技有限公司 | 一种具有全景视觉图像和三维信息采集功能的机器人 |
| CN209717726U (zh) * | 2019-02-01 | 2019-12-03 | 浪潮通用软件有限公司 | 一种粮库园区内使用的远程替身机器人 |
-
2020
- 2020-12-30 CN CN202011622485.XA patent/CN112734640B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101825840A (zh) * | 2010-05-06 | 2010-09-08 | 浙江大学 | 一种多镜头实时全景成像系统 |
| CN102298771A (zh) * | 2011-08-16 | 2011-12-28 | 淮安盈科伟力科技有限公司 | 全景泊车辅助系统的鱼眼图像快速校正方法 |
| CN102620672A (zh) * | 2011-12-01 | 2012-08-01 | 中国人民解放军63653部队 | 图像拼接技术在隧道围岩变形非接触测量中的应用 |
| CN105488775A (zh) * | 2014-10-09 | 2016-04-13 | 东北大学 | 一种基于六摄像机环视的柱面全景生成装置及方法 |
| CN106683045A (zh) * | 2016-09-28 | 2017-05-17 | 深圳市优象计算技术有限公司 | 一种基于双目像机的全景图像拼接方法 |
| CN106993142A (zh) * | 2017-04-14 | 2017-07-28 | 深圳市派虎科技有限公司 | 摄像支架装置及全景摄像系统 |
| CN207465260U (zh) * | 2017-11-16 | 2018-06-08 | 深圳市智能现实科技有限公司 | 一种具有全景视觉图像和三维信息采集功能的机器人 |
| CN209717726U (zh) * | 2019-02-01 | 2019-12-03 | 浪潮通用软件有限公司 | 一种粮库园区内使用的远程替身机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112734640A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110136208B (zh) | 一种机器人视觉伺服系统的联合自动标定方法及装置 | |
| CN112734640B (zh) | 钻爆洞用图像采集装置、处理系统及全景图像拼接方法 | |
| CN104330074B (zh) | 一种智能测绘平台及其实现方法 | |
| JP5100360B2 (ja) | 画像処理装置 | |
| CN109387186B (zh) | 测绘信息获取方法、装置、电子设备及存储介质 | |
| KR101347248B1 (ko) | 수치지도 수정제작 정확도 확보를 위한 기준점 조정 및 gps 정보 기반을 활용한 영상도화 처리시스템 | |
| CN112598755B (zh) | 一种基于凿岩台车的掌子面智能分析方法 | |
| CN108919367B (zh) | 基于电流磁场的交流输电线路反演方法 | |
| US7711507B2 (en) | Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium | |
| CN113340277B (zh) | 一种基于无人机倾斜摄影的高精度定位方法 | |
| CN108227929A (zh) | 基于bim技术的增强现实放样系统及实现方法 | |
| CN111436208A (zh) | 一种测绘采样点的规划方法、装置、控制终端及存储介质 | |
| US10724963B2 (en) | Device and method for calculating area to be out of inspection target of inspection system | |
| CN112629431A (zh) | 土木结构变形监测方法及相关设备 | |
| CN113031462A (zh) | 无人机用港机巡检航线规划系统及方法 | |
| CN112785709A (zh) | Tbm搭载式围岩裂隙重建识别方法、装置、存储介质及设备 | |
| CN108225563B (zh) | 野外环境天空偏振建模对准测量装置 | |
| CN109931889B (zh) | 基于图像识别技术的偏差检测系统及方法 | |
| CN210033427U (zh) | 一种掘进机截割头复合定位系统 | |
| CN116295058A (zh) | 一种列车轮对几何参数在线检测方法及系统 | |
| CN109269495B (zh) | 动态星图生成方法和设备 | |
| CN100416466C (zh) | 单目视觉半实物仿真系统及方法 | |
| CN111425183B (zh) | 一种地质勘探孔位定位方法及定位机器人 | |
| CN102890821A (zh) | 红外摄像机标定方法及系统 | |
| CN107492124A (zh) | 鱼眼摄像头的平面标定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |