CN112419482A - 深度点云融合的矿井液压支架群位姿三维重建方法 - Google Patents
深度点云融合的矿井液压支架群位姿三维重建方法 Download PDFInfo
- Publication number
- CN112419482A CN112419482A CN202011321360.3A CN202011321360A CN112419482A CN 112419482 A CN112419482 A CN 112419482A CN 202011321360 A CN202011321360 A CN 202011321360A CN 112419482 A CN112419482 A CN 112419482A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- dimensional
- hydraulic support
- support group
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 55
- 238000001914 filtration Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000009616 inductively coupled plasma Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 208000013860 rhabdoid tumor of the kidney Diseases 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000001502 supplementing effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000005065 mining Methods 0.000 abstract description 11
- 239000003245 coal Substances 0.000 abstract description 9
- 230000019771 cognition Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000008439 repair process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种深度点云融合的矿井液压支架群位姿三维重建方法，步骤包括：使用HoloLens2设备对矿井液压支架群进行整体扫描与三维重建，得到带有相对位置信息的支架群初步三维点云模型；使用多台Azure Kinect DK设备对液压支架群进行局部扫描，获取各台液压支架关键部位三维点云；定位扫描与修补扫描两阶段点云经滤波与两阶段配准处理后拼接融合，得到液压支架群的完整点云模型；使用点云分割算法对支架群完整三维点云模型划分，采用CVT算法进行点云三角网格化处理和纹理映射，得到支架群三维模型。本发明可兼顾液压支架群三维模型的定位精度与外观真实度，实现对液压支架群的三维认知，如对液压支架位置、姿态、运动等的识别，为煤矿智能化开采提供必要的信息。
Description
技术领域
本发明涉及视觉三维重建技术领域，更具体地说，涉及一种深度点云融合的矿井液压支架群位姿三维重建方法。
背景技术
三维重建技术是计算机视觉技术、图形图像处理领域中一个重要的研究方向,其在自动驾驶、机器人自主导航、文物保护、建筑设计、临床医疗等方面有着广泛的应用前景。工业4.0离不开智能制造，智能制造离不开计算机视觉，而三维重建技术又是计算机视觉技术的灵魂。在煤矿领域，智能化开采也非常迫切地要求计算机视觉技术的应用。从物体辨识、产品检测、外观尺寸测量到设备定位，都是机器视觉技术可以发挥的舞台。
目前，三维重建技术在矿井中有一定程度的应用，但主要应用于矿井环境如巷道等的三维重建，且大多采用的是基于普通数码摄像机的双目视觉系统。事实上，对综采装备的三维认知，如对三机形状、位置、姿态、运动等的识别，也是十分重要的，可为煤矿智能化开采提供必要的信息；而普通数码相机在井下应用时，受水汽、灰尘等影响，三维重建效果严重下降。深度摄像头设备如Kinect等采用的是Time-of-Flight的单目视觉原理，即通过从投射的红外线脉冲反射回来的时间来获得深度信息，受井下恶劣环境影响较小，但其在井下三维重建领域的应用还较为空缺。
公开论文“基于立体视觉的煤矿巷道三维重建方法研究”，利用数字图像处理技术根据摄像机拍摄的巷道断面照片对井下巷道进行三维重建。提出一种基于中心线-断面属性的局部建模方法。该方法能实现平巷、斜坡道、竖井等地下工厂的三维实体建模。
公开号CN109166134A的“基于多Kinect的人体动态三维重建方法”，先采集每一个Kinect中的深度数据，通过算法将采集到的深度数据转换为点云数据，对每一个Kinect进行准确的标定；再对点云数据进行人体检测和背景消除得到人体点云数据，对人体点云数据进行几何配准得到三维人体点云信息,该方法实现了多Kinect的人体动态三维重建。
公开号CN110111416A的“基于HoloLens眼镜的矿井内部模型采集建立方法”，采用HoloLens眼镜的空间映射功能采集矿井内部结构信息,HoloLens眼镜将其存储的多组矿井内部结构信息网格以及照片信息传输给数据处理计算机；数据处理计算机对多组矿井内部结构信息网格和矿井内壁照片信息进行分析处理，得到矿井内部3D模型。
上述方法涉及点云拼接技术在三维重建中的应用或三维重建技术在煤矿领域的应用，但仍存在一定的局限性，主要在于：1）提出了一种基于立体视觉的煤矿巷道三维重建方法，但采用普通数码摄像机进行照片拍摄，成像效果易受井下恶劣环境影响，进而影响三维重建质量；2）提出了基于多Kinect的人体动态三维重建方法，但由于单台设备扫描范围较小，点云拼接时单台设备获取的局部点云相对于重建目标整体的相对位置信息较难获取，故对大型场景三维重建的适用性较差；3）提出了基于HoloLens眼镜的矿井内部模型采集建立方法，但仅采用第一代HoloLens设备的空间映射功能采集矿井内部结构信息，受限于第一代HoloLens较小的视场角与较低的运算能力，采集到的结构信息精度较低，误差较大；4）上述方法均未将计算机视觉技术应用到煤矿综采装备的三维重建中，大多为对井下物理环境的重建，事实上，对综采装备进行三维重建可为煤矿智能化开采提供很多必要的信息。
发明内容
本发明的目的是针对现有技术中存在的不足，提供一种深度点云融合的矿井液压支架群位姿三维重建方法，目的在于解决背景技术中提出的对综采装备的三维重建问题。采用将HoloLens2的定位扫描点云与Azure Kinect DK的修补扫描点云相结合的方式进行矿井液压支架群三维重建，兼顾液压支架群三维模型的定位精度与外观真实度，实现对液压支架群的三维认知，如对液压支架形状、位置、姿态、运动等的识别，为煤矿智能化开采提供必要的信息。
本发明解决其技术问题所采用的技术方案是：构造一种深度点云融合的矿井液压支架群位姿三维重建方法，包括：
定位扫描阶段，利用HoloLens2的SpatialAwareness功能对液压支架群进行扫描并进行三维重建，获取三维点云模型；
修补扫描阶段，使用多台Azure Kinect DK设备对液压支架群进行扫描并获取关键部位点云模型；
点云注册融合，对定位扫描阶段获取的点云与修补扫描阶段获取的点云进行拼接；
点云逆向建模，以支架群三维点云为基础建立支架群三维模型。
其中，在利用HoloLens2的SpatialAwareness功能对液压支架群进行扫描并进行三维重建，获取三维点云模型的步骤中，包括步骤：
步骤101：在计算机中利用Unity3D 2019中MRTK工具编写三维重建程序，为预制体添加C#手势操作脚本作为扫描事件的触发条件；通过C#参数设置脚本设定扫描频率及扫描精细程度；
步骤102：在Visual Studio 2019中编译步骤101中所述三维重建程序并部署至HoloLens2设备中；
步骤103：操作者佩戴HoloLens2设备运行步骤101中所述三维重建程序，通过手势操作触发扫描，围绕液压支架群行走并观察液压支架，以使Hololens2能够对液压支架群进行扫描与重建；
步骤104：扫描重建完成后，通过步骤101中所述计算机访问设备门户，在3D视图界面更新重建结果并保存为.obj格式三维模型；
步骤105：经pcl处理将.obj格式三维模型转化为.pcd格式三维点云。
其中，在使用多台Azure Kinect DK设备对液压支架群进行扫描并获取三维点云的步骤中，包括步骤：
步骤201：在液压支架群中第5k（k=1，2，3，…）台支架顶梁下架设多台Azure Kinect DK设备，放置于旋转云台上；将多Azure Kinect DK设备以菊花链配置方式通过音频线完成设备连接，设置每台深度相机捕获的时间差至少有160微秒，以确保不会相互干扰；
步骤202：在控制台中，利用Azure Kinect SDK工具k4ARecorder录制RGB-D视频流，以.mkv格式保存；
步骤203：提取步骤202中所述视频流中关键帧，得到RGB图像和深度图像组；
步骤204：将步骤203中所述RGB图像和深度图像组转化为xyz点云坐标，保存为.pcd格式点云；
步骤205：利用pcl点云库对步骤204中所述点云进行滤波降噪处理，得到每台支架的关键部位点云模型。
其中，旋转云台是液压支架上原有的监控相机所配置的旋转云台，将AzureKinect DK设备与之绑定；
菊花链配置是多Azure Kinect DK设备的连接方式，即以第一台Azure Kinect DK设备为主设备，其余为从属设备，依次连接，最后一个设备只连接一根线缆，其输出同步端口为空；主设备连接到计算机，负责提供从属设备的触发信号；录制时，先启动从属设备，再启动主设备。
其中，点云滤波的步骤包括：
利用直通滤波算法去除支架群外的多余点，采用统计滤波算法去除离群点和噪声，采用体素滤波算法进行点云下采样处理。
其中，关键部位点云模型是处于顶梁下的Azure Kinect DK设备扫描到的立柱、掩护梁内表面、四连杆以及顶梁部分内表面点云。
其中，在对定位扫描阶段获取的点云与修补扫描阶段获取的点云进行拼接的步骤中，包括步骤：
步骤301：对定位扫描阶段获取的三维点云模型进行滤波处理，得到支架群的初步三维点云模型，作为目标点云；
步骤302：将修补扫描阶段单台Azure Kinect DK设备得到的关键部位点云模型作为原点云，进行点云粗配准；
步骤303：将步骤302中经过粗配准且已具有较好初始位置的点云进行点云精配准；
步骤304：将步骤303中经过精配准的点云与步骤301中所述目标点云进行点云注册融合，得到高密度高精度的支架群三维点云模型。
其中，在对定位扫描阶段获取的点云与修补扫描阶段获取的点云进行拼接的步骤中，
所述粗配准采用SAC-IA算法，即采样一致性初始配准算法，实现所述原点云的初始变换，使其具有相对较好的初始位姿；
所述精配准采用ICP算法，即迭代最近点算法，并使用K-D Tree加速搜索和双向查找对应点；
所述点云注册融合是以定位扫描阶段获取的液压支架群点云为基准，修补扫描阶段每台Azure Kinect DK设备获取的经配准后的点云作补充，逐步配准拼接完善液压支架群点云模型。
其中，在以支架群三维点云为基础建立支架群三维模型的步骤中，包括步骤：
步骤401：对步骤304中构建的支架群三维点云模型进行点云分割处理；
步骤402：对点云分割处理后的支架群三维点云模型进行点云三角网格化处理，得到支架群的完整三维曲面模型；
步骤403：使用Unity3D 2019中的Unity Shader组件进行纹理映射，得到外观逼真的支架群三维模型。
其中，点云分割处理是指首先采用欧几里得算法对支架群的三维点云模型进行各支架划分，然后采用K-D Tree最近邻算法进行单台支架区域分割，划分出支架顶梁、立柱、掩护梁和底座结构；
三角网格化处理采用CVT算法，即Centroidal Voronoi Tessellation算法，该算法用于使三角化具有较好的同构性。
区别于现有技术，本发明的深度点云融合的矿井液压支架群位姿三维重建方法，通过HoloLens2设备中集成的SLAM算法，即Kinect Fusion三维重建技术，可自主对液压支架群整体完成重建，建模范围广，覆盖区域大，能精确反映单台液压支架在液压支架群中的位置；而Azure Kinect DK设备经扫描并提取关键帧后得到的RGB图像+深度图像组转换为三维点云后密度较高，可较为真实地反映形状特征；以定位扫描阶段HoloLens2设备获取的点云为基准，以修补扫描阶段Azure Kinect DK设备获取的点云为补充，可得到定位较为准确、精细度较高且外观较为真实的液压支架群三维模型。
附图说明
图1是本发明提供的一种深度点云融合的矿井液压支架群位姿三维重建方法的流程示意图。
图2是本发明提供的一种深度点云融合的矿井液压支架群位姿三维重建方法中多Azure Kinect DK设备连接方式配置示意图。
具体实施方式
下面结合附图，通过实施例来对本发明的具体实施方式做出进一步的说明，但不局限于以下实施例。
参阅图1，本发明提供了一种深度点云融合的矿井液压支架群位姿三维重建方法，包括：
定位扫描阶段，利用HoloLens2的SpatialAwareness功能对液压支架群进行扫描并进行三维重建，获取三维点云模型；
修补扫描阶段，使用多台Azure Kinect DK设备对液压支架群进行扫描并获取关键部位点云模型；
点云注册融合，对定位扫描阶段获取的点云与修补扫描阶段获取的点云进行拼接；
点云逆向建模，以支架群三维点云为基础建立支架群三维模型。
其中，在利用HoloLens2的SpatialAwareness功能对液压支架群进行扫描并进行三维重建，获取三维点云模型的步骤中，具体实施方式为：
步骤101：在Unity3D 2019中新建名为SpatialScan的新项目，选择Universal WindowsPlatform（UWP）平台为目标发布平台，在Deprecated Settings中勾选Virtual RealitySupport开启虚拟现实支持。在Assets选项卡中导入Microsoft.MixedReality.Toolkit.Unity.Foundation.2.5.0。建立新场景，打开Mixed Reality Toolkit选项卡，点击Add ToScene And Configuration，将MRTK工具添加到场景中。在Hierarchy视图中添加Sphere预制体，为其添加PointerHandler.cs脚本，在脚本中添加On Pointer Clicked类型事件，将Sphere作为事件触发载体，触发方式为手势操作中的点击操作。添加ClearSpatialObservations.cs脚本，选择ClearSpatialObservations.ToogleObservers功能，即空间扫描功能，作为触发的事件。点击Hierarchy视图中的MixedRealityToolkit，添加WindowsMixedRealitySpatialMeshObserver.cs脚本, 将Update Interval设为5.0，使得HoloLens2每5秒扫描一次并更新模型。将Spatial Mesh Observer Settings下的Level Of Detail设为Custom以自定义扫描精细程度，并将Triangles/Cubic Meter的值设为1000，即每平方米生成1000个三角形Mesh。在Spatial Mesh Observer Settings下的Display Settings中将Display Option设为Visible，将Visible Material设为MRTK_Wireframe，这可以在被扫描实体的表面上添加网格效果，使得用户能够可视化整个扫描过程；
步骤102：程序编写完成后，生成Visual Studio解决方案，用Visual Studio 2019打开解决方案，将解决方案配置设为Release，将解决方案平台设为ARM64，进行编译，通过USB连接方式部署至HoloLens2设备中；
步骤103：操作者佩戴Hololens2，在Hololens2中打开SpatialScan应用程序，进入扫描界面，用手势操作单击视野中的球体，触发扫描。操作者围绕液压支架群行走并观察液压支架，以使Hololens2能够扫描并构建液压支架的全貌。扫描过程中操作者可以借助视野中的网格效果判断哪些区域已被扫描，被扫描到的区域会覆盖一层网格；
步骤104：扫描重建完成后，在计算机浏览器中输入当前所在网络的IPv4地址，访问Windows Device Portal设备门户。点击Views选项卡下的3Dview选项，进入3D视图界面，点击Surface reconstruction下的Update选项，把Hololens2中的扫描结果更新至视图中，可以在视图中观察到扫描的模型。点击Surface reconstruction下的Save选项，将模型保存为.obj格式；
步骤105：经pcl处理将.obj格式三维模型转化为.pcd格式三维点云。
定位扫描阶段是在Unity3D引擎和HoloLens2设备的基础上实现的，在Unity3D2019中利用C#脚本和MRTK工具编写用于HoloLens2的三维重建程序，在该程序中可通过C#脚本的API接口控制扫描的启停、三维模型的更新频率及三维模型的精细程度，且可为被扫描物体添加可视化网格用于判断扫描是否完成。将编写完毕的三维重建程序通过VisualStudio 2019进行编译并通过USB连接方式或Wifi连接方式将程序部署至HoloLens2中。操作者佩戴HoloLens2，运行上述三维重建程序，通过手势操作触发扫描，围绕液压支架群行走并观察液压支架，以使Hololens2能够对液压支架群进行扫描并重建。操作者通过视野中的可视化网格判断扫描是否完成。当扫描重建完成后，使HoloLens2与计算机处于同一局域网络中，开启计算机与HoloLens2的开发者模式，在计算机中访问Windows Device Portal设备门户并在3D视图界面更新重建结果并保存为.obj格式三维模型。最后将.obj格式三维模型转化为.pcd格式三维点云。
其中，在使用多台Azure Kinect DK设备对液压支架群进行扫描并获取三维点云的步骤中，具体实施方式为：
步骤201：首先在第5k（k=1，2，3，...）台支架顶梁下架设Azure Kinect DK相机，每一台都放置于液压支架顶梁下原有的监控相机所配置的旋转云台上，将Azure Kinect DK相机与之绑定。将多Azure Kinect DK设备通过长度小于10米的3.5 毫米立体声或单声道公对公音频线，以菊花链配置方式完成设备连接。其中，第一台Azure Kinect DK相机为主设备，其余为从属设备，线缆插入主设备的输出同步端口，以及下一个设备的输入同步端口，依次连接，直到所有设备都已连接，最后一个设备只连接一根线缆，其输出同步端口为空。主设备负责提供从属设备的触发信号，主设备连接到主机，先启动从属设备，再启动主设备。设置每台深度相机之间至少有160微秒的间隔，以确保它们不会相互干扰；
步骤202：在控制台中利用Azure Kinect SDK工具k4ARecorder进行RGB-D视频流录制；
步骤203：利用 Azure Kinect DK的 C++ API 中的playback工具类来读取.mkv视频，通过OpenCV来播放RGB-D 视频流，并通过playback捕获提取关键帧，得到RGB图像和深度图像组；
步骤204：从工程目录下读取对应的RGB图和深度图，之后通过整合加权将二者生成点云到一个目录文件下，保存为.pcd或.ply格式；
步骤205：利用pcl点云库进行点云滤波降噪处理，首先选用直通滤波算法去除支架群外的多余点，然后采用统计滤波算法去除离群点和噪声，最后采用体素滤波算法进行点云下采样处理，得到每台支架立柱、掩护梁内表面、四连杆以及顶梁部分内表面点云。
修补扫描是在Azure Kinect DK设备和Azure Kinect SDK工具的基础上实现的，首先在第5k（k=1，2，3，...）台支架顶梁下架设多台Azure Kinect DK设备，每一台都放置于液压支架顶梁下原有的监控相机所配置的旋转云台上，将Azure Kinect DK相机与之绑定。将多Azure Kinect DK设备以菊花链配置方式完成连接，主设备连接到主机，负责提供从属设备的触发信号，先启动从属设备，再启动主设备；在控制台中利用Azure Kinect SDK工具k4ARecorder进行RGB-D视频流录制。提取视频中关键帧，得到RGB图像和深度图像组，并转化为xyz点云坐标，保存为.pcd或.ply格式；利用pcl点云库进行点云滤波降噪处理，首先选用直通滤波算法去除支架群外的多余点，然后采用统计滤波算法去除离群点和噪声，最后采用体素滤波算法进行点云下采样处理，得到每台支架立柱、掩护梁内表面、四连杆以及顶梁部分内表面点云。
其中，在对定位扫描阶段获取的点云与修补扫描阶段获取的点云进行拼接的步骤中，具体实施方式为：
步骤301：对定位扫描阶段HoloLens2设备获取的点云进行滤波处理，采用直通滤波算法去除支架群外的多余点，得到支架群的初步三维点云模型，作为目标点云；
步骤302：将修补扫描阶段单台Azure Kinect DK得到的点云作为原点云，采用SAC-IA算法，即采样一致性初始配准算法进行点云粗配准，该算法可实现本步骤中所述原点云的初始变换,使其具有相对较好的初始位姿；
步骤303：将步骤302中经过粗配准且已具有较好初始位置的点云采用ICP算法，即迭代最近点算法进行点云精配准，并使用K-D Tree加速搜索和双向查找对应点，提高配准过程的速度与精度；
步骤304：将步骤303中所述修补扫描阶段每台Azure Kinect DK设备获取的经过配准后的原点云与步骤301中所述目标点云进行点云注册融合，即以目标点云为基准，原点云作补充，逐步配准拼接完善，得到高密度高精度的支架群三维点云模型。
点云注册融合是在SAC-IA算法和ICP算法的基础上实现的，采用直通滤波算法对定位扫描阶段HoloLens2获取的点云进行滤波处理，去除支架群外的多余点，得到支架群的初步三维点云模型，以此作为目标点云；修补扫描阶段每台Azure Kinect DK设备获取的支架部分点云作补充。首先采用SAC-IA算法进行粗配准，然后再用ICP算法进行精配准，从第一台支架开始，逐步配准拼接完善液压支架群点云模型。
其中，在以支架群三维点云为基础建立支架群三维模型的步骤中，具体实施方式为：
步骤401：对步骤304中所述支架群三维点云进行点云分割处理，首先采用欧几里得算法对支架群的三维点云模型进行各支架划分，然后采用K-D Tree最近邻算法进行单台支架区域分割，划分出支架顶梁、立柱、掩护梁和底座结构；
步骤402：采用CVT算法，即Centroidal Voronoi Tessellation算法对上述支架群三维点云进行点云三角网格化处理，得到支架群的完整三维曲面模型，该算法可使三角化具有较好的同构性，网格质量显著高于传统方法；
步骤403：使用Unity3D 2019中的Unity Shader组件进行纹理映射，得到外观较为逼真的支架群三维模型。
点云逆向建模是在欧几里得算法、K-D Tree最近邻算法、CVT算法和Unity3D引擎的基础上实现的，首先采用欧几里得算法对支架群的三维点云模型进行各支架划分，然后采用K-D Tree最近邻算法进行单台支架区域分割，划分出支架顶梁、立柱、掩护梁和底座结构，然后用CVT算法进行点云三角网格化处理，得到支架群的完整三维曲面模型，最后使用Unity3D的Unity Shader组件进行纹理映射。
如附图2所示为多Azure Kinect DK设备连接方式配置图，将多Azure Kinect DK设备通过音频线连接，其中，第一台Azure Kinect DK相机为主设备，其余为从属设备，线缆插入主设备的输出同步端口，以及下一个设备的输入同步端口，依次连接。直到所有设备都已连接，最后一个设备只连接一根线缆，其输出同步端口为空。
本方法提供了一种深度点云融合的矿井液压支架群位姿三维重建方法，与现有技术相比，具有如下的有益效果：
HoloLens2与Azure Kinect DK均采用RGB相机+ToF深度相机+惯性测量单元IMU的传感器模组，与现有基于普通数码相机的双目视觉三维重建技术在矿井下的应用相比，可有效地降低井下恶劣环境对扫描效果造成的负面影响。
现有技术大多对矿井巷道、矿井内壁等井下环境进行三维重建，而本方法属于对综采装备进行三维重建，可为智能化开采提供更多必要信息。
充分利用了HoloLens2基于Kinect Fusion技术的SpatialAwareness功能，在定位扫描进行过程中可同步完成液压支架群三维重建，可以有效地减少三重建的时间。
将Hololens2与Azure Kinect DK二者获取的三维点云注册融合，发挥各自优势，可有效避免单台液压支架三维模型在液压支架群整体三维模型中的定位误差，兼顾液压支架群三维模型的定位精度与外观真实度。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (10)
1.一种深度点云融合的矿井液压支架群位姿三维重建方法，其特征在于，包括：
定位扫描阶段，利用HoloLens2的SpatialAwareness功能对液压支架群进行扫描并进行三维重建，获取三维点云模型；
修补扫描阶段，使用多台Azure Kinect DK设备对液压支架群进行扫描并获取关键部位点云模型；
点云注册融合，对定位扫描阶段获取的点云与修补扫描阶段获取的点云进行拼接；
点云逆向建模，以支架群三维点云为基础建立支架群三维模型。
2.根据权利要求1所述的深度点云融合的矿井液压支架群位姿三维重建方法，其特征在于，在利用HoloLens2的SpatialAwareness功能对液压支架群进行扫描并进行三维重建，获取三维点云模型的步骤中，包括步骤：
步骤101：在计算机中利用Unity3D 2019中MRTK工具编写三维重建程序，为预制体添加C#手势操作脚本作为扫描事件的触发条件；通过C#参数设置脚本设定扫描频率及扫描精细程度；
步骤102：在Visual Studio 2019中编译步骤101中所述三维重建程序并部署至HoloLens2设备中；
步骤103：操作者佩戴HoloLens2设备运行步骤101中所述三维重建程序，通过手势操作触发扫描，围绕液压支架群行走并观察液压支架，以使Hololens2能够对液压支架群进行扫描与重建；
步骤104：扫描重建完成后，通过步骤101中所述计算机访问设备门户，在3D视图界面更新重建结果并保存为.obj格式三维模型；
步骤105：经pcl处理将.obj格式三维模型转化为.pcd格式三维点云。
3.根据权利要求1所述的深度点云融合的矿井液压支架群位姿三维重建方法，其特征在于，在使用多台Azure Kinect DK设备对液压支架群进行扫描并获取三维点云的步骤中，包括步骤：
步骤201：在液压支架群中第5k（k=1，2，3，…）台支架顶梁下架设多台Azure Kinect DK设备，放置于旋转云台上；将多Azure Kinect DK设备以菊花链配置方式通过音频线完成设备连接，设置每台深度相机捕获的时间差至少有160微秒，以确保不会相互干扰；
步骤202：在控制台中，利用Azure Kinect SDK工具k4ARecorder录制RGB-D视频流，以.mkv格式保存；
步骤203：提取步骤202中所述视频流中关键帧，得到RGB图像和深度图像组；
步骤204：将步骤203中所述RGB图像和深度图像组转化为xyz点云坐标，保存为.pcd格式点云；
步骤205：利用pcl点云库对步骤204中所述点云进行滤波降噪处理，得到每台支架的关键部位点云模型。
4.根据权利要求3所述的深度点云融合的矿井液压支架群位姿三维重建方法，其特征在于，所述旋转云台是液压支架上原有的监控相机所配置的旋转云台，将Azure Kinect DK设备与之绑定；
所述菊花链配置是多Azure Kinect DK设备的连接方式，即以第一台Azure Kinect DK设备为主设备，其余为从属设备，依次连接，最后一个设备只连接一根线缆，其输出同步端口为空；主设备连接到计算机，负责提供从属设备的触发信号；录制时，先启动从属设备，再启动主设备。
5.根据权利要求3所述的深度点云融合的矿井液压支架群位姿三维重建方法，其特征在于，点云滤波的步骤包括：
利用直通滤波算法去除支架群外的多余点，采用统计滤波算法去除离群点和噪声，采用体素滤波算法进行点云下采样处理。
6.根据权利要求3所述的深度点云融合的矿井液压支架群位姿三维重建方法，其特征在于，所述关键部位点云模型是处于顶梁下的Azure Kinect DK设备扫描到的立柱、掩护梁内表面、四连杆以及顶梁部分内表面点云。
7.根据权利要求1所述的深度点云融合的矿井液压支架群位姿三维重建方法，其特征在于，在对定位扫描阶段获取的点云与修补扫描阶段获取的点云进行拼接的步骤中，包括步骤：
步骤301：对定位扫描阶段获取的三维点云模型进行滤波处理，得到支架群的初步三维点云模型，作为目标点云；
步骤302：将修补扫描阶段单台Azure Kinect DK设备得到的关键部位点云模型作为原点云，进行点云粗配准；
步骤303：将步骤302中经过粗配准且已具有较好初始位置的点云进行点云精配准；
步骤304：将步骤303中经过精配准的点云与步骤301中所述目标点云进行点云注册融合，得到高密度高精度的支架群三维点云模型。
8.根据权利要求7所述的深度点云融合的矿井液压支架群位姿三维重建方法，其特征在于，在对定位扫描阶段获取的点云与修补扫描阶段获取的点云进行拼接的步骤中，
所述粗配准采用SAC-IA算法，即采样一致性初始配准算法，实现所述原点云的初始变换，使其具有相对较好的初始位姿；
所述精配准采用ICP算法，即迭代最近点算法，并使用K-D Tree加速搜索和双向查找对应点；
所述点云注册融合是以定位扫描阶段获取的液压支架群点云为基准，修补扫描阶段每台Azure Kinect DK设备获取的经配准后的点云作补充，逐步配准拼接完善液压支架群点云模型。
9.根据权利要求5所述的深度点云融合的矿井液压支架群位姿三维重建方法，其特征在于，在以支架群三维点云为基础建立支架群三维模型的步骤中，包括：
步骤401：对步骤304中构建的支架群三维点云模型进行点云分割处理；
步骤402：对点云分割处理后的支架群三维点云模型进行点云三角网格化处理，得到支架群的完整三维曲面模型；
步骤403：使用Unity3D 2019中的Unity Shader组件进行纹理映射，得到外观逼真的支架群三维模型。
10.根据权利要求9所述的深度点云融合的矿井液压支架群位姿三维重建方法，其特征在于，所述点云分割处理是指首先采用欧几里得算法对支架群的三维点云模型进行各支架划分，然后采用K-D Tree最近邻算法进行单台支架区域分割，划分出支架顶梁、立柱、掩护梁和底座结构；
所述三角网格化处理采用CVT算法，即Centroidal Voronoi Tessellation算法，该算法用于使三角化具有较好的同构性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011321360.3A CN112419482B (zh) | 2020-11-23 | 2020-11-23 | 深度点云融合的矿井液压支架群位姿三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011321360.3A CN112419482B (zh) | 2020-11-23 | 2020-11-23 | 深度点云融合的矿井液压支架群位姿三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112419482A true CN112419482A (zh) | 2021-02-26 |
| CN112419482B CN112419482B (zh) | 2023-12-01 |
Family
ID=74777321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011321360.3A Active CN112419482B (zh) | 2020-11-23 | 2020-11-23 | 深度点云融合的矿井液压支架群位姿三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112419482B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113096094A (zh) * | 2021-04-12 | 2021-07-09 | 成都市览图科技有限公司 | 三维物体表面缺陷检测方法 |
| CN114170400A (zh) * | 2021-11-24 | 2022-03-11 | 太原理工大学 | 基于三维点云的液压支架群空间直线度测量与调整方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170092008A1 (en) * | 2015-09-24 | 2017-03-30 | California Institute Of Technology | Systems and Methods for Data Visualization Using Three-Dimensional Displays |
| CN108537876A (zh) * | 2018-03-05 | 2018-09-14 | 清华-伯克利深圳学院筹备办公室 | 基于深度相机的三维重建方法、装置、设备及存储介质 |
| CN109214076A (zh) * | 2018-08-28 | 2019-01-15 | 太原理工大学 | 一种支撑综采工作面地理环境及装备的虚拟规划方法 |
| US20190213778A1 (en) * | 2018-01-05 | 2019-07-11 | Microsoft Technology Licensing, Llc | Fusing, texturing, and rendering views of dynamic three-dimensional models |
| CN110232736A (zh) * | 2019-06-18 | 2019-09-13 | 中国矿业大学 | 一种井下综采工作面三维场景快速构建方法 |
| CN110415342A (zh) * | 2019-08-02 | 2019-11-05 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
| CN111879244A (zh) * | 2020-07-28 | 2020-11-03 | 中煤科工开采研究院有限公司 | 综采工作面液压支架支撑高度和顶梁倾角测量方法 |
-
2020
- 2020-11-23 CN CN202011321360.3A patent/CN112419482B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170092008A1 (en) * | 2015-09-24 | 2017-03-30 | California Institute Of Technology | Systems and Methods for Data Visualization Using Three-Dimensional Displays |
| US20190213778A1 (en) * | 2018-01-05 | 2019-07-11 | Microsoft Technology Licensing, Llc | Fusing, texturing, and rendering views of dynamic three-dimensional models |
| CN108537876A (zh) * | 2018-03-05 | 2018-09-14 | 清华-伯克利深圳学院筹备办公室 | 基于深度相机的三维重建方法、装置、设备及存储介质 |
| CN109214076A (zh) * | 2018-08-28 | 2019-01-15 | 太原理工大学 | 一种支撑综采工作面地理环境及装备的虚拟规划方法 |
| CN110232736A (zh) * | 2019-06-18 | 2019-09-13 | 中国矿业大学 | 一种井下综采工作面三维场景快速构建方法 |
| CN110415342A (zh) * | 2019-08-02 | 2019-11-05 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
| CN111879244A (zh) * | 2020-07-28 | 2020-11-03 | 中煤科工开采研究院有限公司 | 综采工作面液压支架支撑高度和顶梁倾角测量方法 |
Non-Patent Citations (2)
| Title |
|---|
| YIYI SHAO等: "IoT Avatars: Mixed Reality Hybrid Objects for CoRe Ambient Intelligent Environments", PROCEDIA COMPUTER SCIENCE, vol. 155, pages 433 - 440, XP085825006, DOI: 10.1016/j.procs.2019.08.060 * |
| 谢嘉成;王学文;杨兆建;李娟莉;刘阳;葛星;: "综采工作面煤层装备联合虚拟仿真技术构想与实践", 煤炭科学技术, no. 05, pages 168 - 174 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113096094A (zh) * | 2021-04-12 | 2021-07-09 | 成都市览图科技有限公司 | 三维物体表面缺陷检测方法 |
| CN113096094B (zh) * | 2021-04-12 | 2024-05-17 | 吴俊� | 三维物体表面缺陷检测方法 |
| CN114170400A (zh) * | 2021-11-24 | 2022-03-11 | 太原理工大学 | 基于三维点云的液压支架群空间直线度测量与调整方法 |
| CN114170400B (zh) * | 2021-11-24 | 2024-04-09 | 太原理工大学 | 基于三维点云的液压支架群空间直线度测量与调整方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112419482B (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11222465B2 (en) | Embedded urban design scene emulation method and system | |
| CN110264567B (zh) | 一种基于标记点的实时三维建模方法 | |
| CN101794349B (zh) | 机器人遥操作增强现实实验系统及方法 | |
| CN111932671A (zh) | 基于密集点云数据的三维实体模型重建方法 | |
| Akbarzadeh et al. | Towards urban 3d reconstruction from video | |
| CN103021017B (zh) | 基于gpu加速的三维场景重建方法 | |
| CN111275750B (zh) | 基于多传感器融合的室内空间全景图像生成方法 | |
| CN105678701B (zh) | 一种基于多视角影像与激光扫描的考古发掘探方序列三维可视化方法 | |
| CN105354883B (zh) | 基于点云的3ds Max快速精细三维建模方法及系统 | |
| CN110717983A (zh) | 一种基于背包式三维激光点云数据的建筑物立面三维重建方法 | |
| CN111737790B (zh) | 仿真城市模型的构建方法和设备 | |
| CN114998536A (zh) | 基于新型基础测绘的模型生成方法、装置及存储介质 | |
| CN112419482B (zh) | 深度点云融合的矿井液压支架群位姿三维重建方法 | |
| CN113298944A (zh) | 一种基于无人机倾斜摄影的自动化三维建模测量方法 | |
| CN111060924A (zh) | 一种slam与目标跟踪方法 | |
| CN113096250A (zh) | 基于无人机航拍影像序列的三维建筑模型库系统构建方法 | |
| Rüther et al. | From point cloud to textured model, the zamani laser scanning pipeline in heritage documentation | |
| CN104751479A (zh) | 基于tin数据的建筑物提取方法和装置 | |
| Gulch | Digital systems for automated cartographic feature extraction | |
| Agouris et al. | Automation and digital photogrammetric workstations | |
| Laing et al. | Monuments visualization: from 3D scanned data to a holistic approach, an application to the city of Aberdeen | |
| CN113362458B (zh) | 模拟多视角成像的三维模型解译方法、终端及存储介质 | |
| CN112505723A (zh) | 一种基于导航点选择的三维地图重建方法 | |
| CN117523111B (zh) | 三维实景点云模型的生成方法及系统 | |
| Rau et al. | Geometrical building modeling and its application to the ortho-rectification for aerial images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |