CN114187409A - 基于视频图像与激光雷达点云融合建立船舶模型的方法 - Google Patents
基于视频图像与激光雷达点云融合建立船舶模型的方法 Download PDFInfo
- Publication number
- CN114187409A CN114187409A CN202111542134.2A CN202111542134A CN114187409A CN 114187409 A CN114187409 A CN 114187409A CN 202111542134 A CN202111542134 A CN 202111542134A CN 114187409 A CN114187409 A CN 114187409A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- data
- cloud data
- video image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000001228 spectrum Methods 0.000 claims abstract description 32
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 12
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 5
- 238000006243 chemical reaction Methods 0.000 claims abstract description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 23
- 230000000694 effects Effects 0.000 claims description 15
- 230000003595 spectral effect Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000013329 compounding Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000008014 freezing Effects 0.000 claims description 3
- 238000007710 freezing Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 2
- 238000002310 reflectometry Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 5
- UXOWGYHJODZGMF-QORCZRPOSA-N Aliskiren Chemical compound COCCCOC1=CC(C[C@@H](C[C@H](N)[C@@H](O)C[C@@H](C(C)C)C(=O)NCC(C)(C)C(N)=O)C(C)C)=CC=C1OC UXOWGYHJODZGMF-QORCZRPOSA-N 0.000 description 3
- 229960004601 aliskiren Drugs 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明涉及一种基于视频图像与激光雷达点云融合建立船舶模型的方法，S1通过摄像机和激光雷达分别获取港口过往船舶的视频图像数据和点云数据，存储完毕后通过无线网络传输给阿里云数据处理服务器，进行数据初步处理；S2阿里云数据处理服务器将点云数据与视频图像数据按照时间差值进行双向数据匹配，获得在同一时间节点的匹配数据集；S3、使用加权融合法对点云数据和正向视频图像数据进行融合，获得附带光谱特质的点云数据；S4、将附带光谱特质的点云数据进行格式转换输入建模软件，进行点云数据截取，开启点云捕捉，逆向建模。本发明利用视频图像与激光雷达点云数据融合建立船舶模型的方法，提高了船舶模型的建模精度，减少了人工建模的工作量。
Description
技术领域
本发明涉及船舶测绘图像技术领域，具体涉及一种基于视频图像与激光雷达点云融合建立船舶模型的方法。
背景技术
激光雷达Lidar(Light Detection And Ranging)是将现代光学技术应用到遥感技术当中的产物，由于激光的本质是电磁波，具备高亮度性、高方向性以及高相干性等特点，所以激光雷达相较于传统的雷达技术，在角分辨率、距离分辨率、速度分辨率与测速范围等方面都具有一定的优势，并且还能抓取多种目标的图像数据以及不易受外界的干扰。激光雷达的信息可以通过观测的振幅、相位与偏振来搭建获取，因此激光雷达不仅能在测量距离的时候做到精确，还能在测量速度与跟踪目标时减少误差。
激光雷达应用于船舶航行检测，保证船舶安全航行由来已久。激光雷达点云信息精度较高，具有多次回波和反射强度信息，是船舶建模的优良数据来源，但由于其不具备光谱特征信息，无法表明船舶特征。随着影像技术的发展，影像信息的像素不断提高，光谱信息丰富，能较好得到观察对象的连续特征信息，弥补了仅依靠激光雷达建模的光谱信息缺乏问题。
随着测绘技术的不断发展，单一数据的模型建设难以涵盖区域的所有信息特点，难以满足众多重点监控水域的船舶信息监测。在此前提下，有必要对激光雷达点云数据和图像数据进行融合，建立附带光谱特质的船舶3D模型，丰富船舶模型数据库，为航行监管提供更多的依据。
发明内容
本发明要解决的技术问题在于针对上述现有技术存在的不足，提供一种基于视频图像与激光雷达点云融合建立船舶模型的方法，解决了单一数据的模型建设难以涵盖区域的所有信息特点，难以满足众多重点监控水域的船舶信息需求的问题，丰富了船舶模型数据库，为航行监管提供更多数据。
本发明为解决上述提出的技术问题所采用的技术方案为：
一种基于视频图像与激光雷达点云融合建立船舶模型的方法，包括以下步骤：
S1、将摄像机安装于港口正视船舶位置，摄像机正视水面定时拍摄水面过往船舶图片，并进行视频图像数据存储；同时，将激光雷达布设于港口定点位置，定时扫描水面过往船舶获得点云数据，并进行点云数据存储；视频图像数据及点云数据存储完毕后，通过无线网络传输给阿里云数据处理服务器，进行数据初步处理；
S2、阿里云数据处理服务器定时接收到激光雷达一帧点云数据和摄像机拍摄的一帧视频图像数据，数据接收完毕后将点云数据与视频图像数据按照时间差值进行双向数据匹配，获得在同一时间节点的匹配数据集；
S3、当阿里云数据处理服务器创建匹配数据集后，已获得正向视频图像数据与点云数据，使用加权融合法对激光雷达点云数据和正向视频图像数据进行融合，在振幅上对图像结果进行突出处理，达到图像增强的效果，获得附带光谱特质的点云数据；
S4、将附带光谱特质的点云数据进行格式转换后输入到建模软件，进行点云数据截取，开启点云捕捉，进行数据截取，根据用户自身需求，最终生成船舶3D模型。
上述方案中，步骤S1中阿里云数据处理服务器对所接收数据进行初步处理包括：
(1)对视频图像数据进行初步处理：删除具有航标、桥墩及其余障碍物的图像区域；用预处理过后的当前帧图像进行区域增强，对视频图像进行边缘补足，获得船舶的视频图像数据；
(2)对点云数据进行初步处理：对点云数据进行点云精简，删除不属于目标范围内的点云数据，获得船舶的点云数据。
上述方案中，步骤S2具体包括以下分步：
S2.1、原始点云数据通过滤波处理，获得基础点云数据，通过内插DEM完成点云图形区分；
S2.2、在利用软件获取DEM的基础上，DEM与视频图像数据进行配准，综合双向数据即可得到正向视频图像数据，完成了影像的数字微分纠正过程；
S2.3、原始点云数据经过边缘增强、阈值处理的图像预处理过程后，剔除了激光雷达点云数据中的粗差，完成了数据的融合配准处理，点云数据与正向视频图像数据按照时间差值可进行双向数据匹配，获得完整的在同一时间节点的匹配数据集。
上述方案中，步骤S3具体包括以下步骤：
S3.1、在建立匹配数据集后，对图像进行线性复合，从振幅上对图像结果进行突出化处理，从而达到图像增强的效果；
S3.2、增强结束后，进行加权融合的方法为灰度值加权融合，加权融合公式为：F(i,j)＝c1A(i,j)+c2B(i,j)，其中，i,j分别为图像中像素的行列表达，i＝1，2，3......n，j＝1,2,3......n；c1、c2为图像信息的加权系数，c1+c2＝1，针对光谱信息c1＝0,c2＝1，针对空间信息c1＝1,c2＝0；A为雷达点云数据、B为视频图像数据，A(i,j)为激光雷达点云数据像素行列表示，B(i,j)为视频图像数据像素行列表示，F(i,j)为像素行列叠加终值；
S3.3、完成融合后，获得附带光谱特质的船舶点云数据。
上述方案中，步骤S4具体包括以下步骤：
S4.1、将附带光谱特质的点云数据进行格式转换，转换为“*.rcs”格式或“*.rcp”格式，检查点云数据完整度，完成建模准备工作；
S4.2、矫正图像坐标系后，按需求进行点云切片，选定点云区域；进行点云数据分析并进行预处理，过滤后查看特征是否完整，是否符合建模需求；完成后，在点云对正后截取数据，察看处理效果；
S4.3、判断点云数据结构完整，特征明确后，对图像特征分级、拟合，并编辑关键尺寸；
S4.4、处理完成后，确认总体特征是否符合建模要求，使用点云捕捉功能精确捕捉点云数据的三维点坐标，完成船舶模型构建。
上述方案中，所述步骤S4.1具体包括：
(1)取得附带光谱特质的点云数据；
(2)转换数据格式，将点云数据导入Rhino软件平台。
上述方案中，所述步骤S4.2具体包括：
(3)检查点云数据是否完整，是否符合建模需求，根据具体要求进行判断；如点云数据符合建模要求则进入下一步，进行点云数据提取及捕捉，否则返回第(1)步，重新取得点云数据；
(4)矫正导入数据坐标系，统一需求坐标，进行点云切割；
(5)数据分析，去除点云数据噪点，并对粗值过滤；
(6)得到初步处理点云数据，要求点云数据剩余70％以上，且特征保存良好，如点云数据符合要求则进入下一步，否则返回第(5)步，重新进行数据分析步骤；
(7)点云对正，并进行点云截取，察看效果。
上述方案中，所述步骤S4.3具体包括：
(8)点云细化处理；
(9)经细化处理后，检查点云特征是否完好，如点云特征完好则进入下一步，否则返回第(7)步，重新进行点云对正步骤；
(10)对所采集的点云数据进行特征分析、特征分级，确定特征形态，并划分特征重要级别；
(11)进行光谱特征拟合，在匹配前影像像元光谱与参考光谱要经过连续统去除处理，然后用最小二乘法拟合像元光谱和参考光谱经连续统去除后的曲线，并进行误差分析，减小误差程度；若结果误差过大，则返回特征拟合步骤，重新拟合特征，如结果误差属于可接受范围，则进入下一步；
(12)图形区域分割后进行关键尺寸编辑、调整；
(13)图形其余特征导入，修饰；
(14)图形基本构件完成，检查总体特征，是否符合建模需求，如符合则完成图形保存，并对模型评分；如评分不合格或建模需求不符合，则回到图形关键尺寸编辑步骤。
上述方案中，所述步骤S4.4具体包括：
(15)点云捕捉，保存数据，如能顺利保存点云数据则进入建模，否则返回关键尺寸编辑步骤；
(16)冻结模型数据，输出，建模完毕。
上述方案中，步骤S1中的摄像机采用海康威视星光级超低照度高清网络摄像机，该摄像机在白天或黑夜都能识别出船舶图像；所述摄像机安装于港口支架，且摄像机与水面平行设置，摄像机正视水面拍摄水面过往船舶图片；步骤S1中的激光雷达采用VelodyneVLP16线激光雷达，该激光雷达测量范围100m，扫描角度达360°，可实时反馈三维距离和校准反射率测量；所述激光雷达安装于港口定点位置，设定扫描角度为270°，扫描范围100m，定时扫描水面过往船舶获得点云数据，并进行点云数据存储。
本发明的有益效果在于：
本发明利用激光雷达点云数据和视频图像数据相融合的方法，将视频图像光谱特质赋予船舶点云数据，建立附带光谱特质的船舶3D模型，来解决船舶模型数据库实际船舶数据缺乏的问题，丰富了船舶模型数据库。在实施过程中，通过阿里云服务器完成了点云数据及视频图像数据的初步处理，解决了以往数据重复载入、处理的过程；接下来根据时间，建立了双向匹配数据集，解决了数据重复对照、纠正问题，最终根据加权融合法增强了图像效果，为建模提供了特征明确的附带光谱特质的点云数据，提升了船舶建模效率，并为之后多源数据融合的航行监管提供更多的数据支持，保障了航行安全。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明方法的流程示意图；
图2是本发明方法中激光雷达及摄像头布设示意图；
图3是本发明方法中船舶点云数据与视频图像数据对照图；
图4是本发明方法中影像数据与点云数据的处理流程示意图；
图5是本发明方法实施例中建模流程示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
本发明提供了一种基于视频图像与激光雷达点云融合建立船舶模型的方法，该方法需提供一种船舶图像采集系统和一种激光雷达图像采集系统，所述船舶图像采集系统包括摄像机、存储卡、阿里云数据处理服务器，所述激光雷达图像采集系统包括激光雷达、存储卡、阿里云数据处理服务器，所述摄像机、激光雷达通过通信网络与阿里云数据处理服务器进行通信。如图1所示，本发明方法包括以下步骤：
S1、将摄像机安装于港口正视船舶位置，摄像机正视水面定时拍摄水面过往船舶图片，并进行视频图像数据存储；同时，将激光雷达布设于港口定点位置，定时扫描水面过往船舶获得点云数据，并进行点云数据存储；视频图像数据及点云数据存储完毕后，通过无线网络传输给阿里云数据处理服务器，进行数据初步处理。
摄像机位置及激光雷达位置参见图2。其中，摄像机安装于港口支架，且摄像机与水面平行设置，摄像机正视水面连续拍摄水面过往船舶图片，本实施例中，摄像机采用海康威视星光级超低照度高清网络摄像机，该摄像机在白天或黑夜都能识别出船舶图像。同时，在港口定点位置安装两个Velodyne VLP16线激光雷达，设定测量范围为100m，扫描角度为270°，以补足角度问题对激光雷达造成的点云图像缺失的问题，定时扫描水面过往船舶获得点云数据，并进行点云数据存储，因激光雷达测量距离有限，其位置可随船舶距离远近进行调整，以最大程度获得完整点云图像。
拍摄的激光雷达点云图像及摄像机图像如图3所示，其匹配结果较为优良，保证了点云图像的局部特征、全局特征。为保证得到的是同时间段内、同一区域的激光雷达点云数据和视频图像数据，故两数据使用同一POS(Position and Orientation System，定姿定位系统)及同一时间匹配段。
阿里云数据处理服务器对所接收数据进行初步处理包括：(1)对视频图像数据进行初步处理：删除具有航标、桥墩及其余障碍物的图像区域；用预处理过后的当前帧图像进行区域增强，对视频图像进行边缘补足，获得船舶的视频图像数据；(2)对点云数据进行初步处理：对点云数据进行点云精简，删除不属于目标范围内的点云数据，获得船舶的点云数据。
S2、阿里云数据处理服务器定时接收到激光雷达一帧点云数据和摄像机拍摄的一帧视频图像数据，数据接收完毕后将点云数据与视频图像数据按照时间差值进行双向数据匹配，获得在同一时间节点的匹配数据集。阿里云数据处理服务器进行双向数据匹配的具体方法为：
S2.1、原始点云数据通过滤波处理，获得基础点云数据，通过内插DEM(DigitalElevation Model，数字高程模型)完成点云图形区分；
S2.2、在利用软件获取DEM的基础上，DEM与视频图像数据进行配准，综合双向数据即可得到正向视频图像数据，完成了影像的数字微分纠正过程；
S2.3、原始点云数据经过边缘增强、阈值处理的图像预处理过程后，剔除了激光雷达点云数据中的粗差，完成了数据的融合配准处理，点云数据与正向视频图像数据按照时间差值可进行双向数据匹配，获得完整的在同一时间节点的匹配数据集。由于两数据使用同一坐标系及同一匹配时间段，所以采用时间匹配法进行数据配准。在阿里云数据处理服务器中，根据相同时间段调整点云数据角度，即可在正向视频图像中完成数据匹配工作，同时查看数据配准效果，以决定是否进行下一步数据输出。
S3、当阿里云数据处理服务器创建匹配数据集后，已获得正向视频图像数据与点云数据，使用加权融合法对激光雷达点云数据和正向视频图像数据进行融合，在振幅上对图像结果进行突出处理，达到图像增强的效果，获得附带光谱特质的点云数据。获得附带光谱特质的点云数据的具体方法为：
S3.1、在建立匹配数据集后，对图像进行线性复合，从振幅上对图像结果进行突出化处理，从而达到图像增强的效果；
S3.2、增强结束后，进行加权融合的方法为灰度值加权融合，加权融合公式为：F(i,j)＝c1A(i,j)+c2B(i,j)，其中，i,j分别为图像中像素的行列表达，i＝1，2，3......n，j＝1,2,3......n；c1、c2为图像信息的加权系数，c1+c2＝1，针对光谱信息c1＝0,c2＝1，针对空间信息c1＝1,c2＝0；A为雷达点云数据、B为视频图像数据，A(i,j)为激光雷达点云数据像素行列表示，B(i,j)为视频图像数据像素行列表示，F(i,j)为像素行列叠加终值；
S3.3、完成融合后，获得附带光谱特质的船舶点云数据。
S4、将附带光谱特质的点云数据进行格式转换后输入到建模软件，进行点云数据截取，开启点云捕捉，进行数据截取，根据用户自身需求，最终生成船舶3D模型。建模流程如图5所示：
S4.1、将附带光谱特质的点云数据进行格式转换，转换为“*.rcs”格式或“*.rcp”格式，检查点云数据完整度，完成建模准备工作。本步骤具体包括以下操作流程：
(1)取得附带光谱特质的点云数据；
(2)转换数据格式，将点云数据导入Rhino软件平台。
S4.2、矫正图像坐标系后，按需求进行点云切片，选定点云区域；进行点云数据分析并进行预处理，过滤后查看特征是否完整，是否符合建模需求；完成后，在点云对正后截取数据，察看处理效果。本步骤具体包括以下操作流程：
(3)检查点云数据是否完整，是否符合建模需求，根据具体要求进行判断；如点云数据符合建模要求则进入下一步，进行点云数据提取及捕捉，否则返回第(1)步，重新取得点云数据；
(4)矫正导入数据坐标系，统一需求坐标，进行点云切割；
(5)数据分析，去除点云数据噪点，并对粗值过滤；
(6)得到初步处理点云数据，要求点云数据剩余70％以上，且特征保存良好，如点云数据符合要求则进入下一步，否则返回第(5)步，重新进行数据分析步骤；
(7)点云对正，并进行点云截取，察看效果。
S4.3、判断点云数据结构完整，特征明确后，对图像特征分级、拟合，并编辑关键尺寸。本步骤具体包括以下操作流程：
(8)点云细化处理；
(9)经细化处理后，检查点云特征是否完好，如点云特征完好则进入下一步，否则返回第(7)步，重新进行点云对正步骤；
(10)对所采集的点云数据进行特征分析、特征分级，确定特征形态，并划分特征重要级别；
(11)进行光谱特征拟合，在匹配前影像像元光谱与参考光谱要经过连续统去除处理，然后用最小二乘法拟合像元光谱和参考光谱经连续统去除后的曲线，并进行误差分析，减小误差程度；若结果误差过大，则返回特征拟合步骤，重新拟合特征，如结果误差属于可接受范围，则进入下一步；
(12)图形区域分割后进行关键尺寸编辑、调整；
(13)图形其余特征导入，修饰；
(14)图形基本构件完成，检查总体特征，是否符合建模需求，如符合则完成图形保存，并对模型评分；如评分不合格或建模需求不符合，则回到图形关键尺寸编辑步骤。
S4.4、处理完成后，确认总体特征是否符合建模要求，使用点云捕捉功能精确捕捉点云数据的三维点坐标，完成船舶模型构建。本步骤具体包括以下操作流程：
(15)点云捕捉，保存数据，如能顺利保存点云数据则进入建模，否则返回关键尺寸编辑步骤；
(16)冻结模型数据，输出，建模完毕。
本发明利用视频图像与激光雷达点云数据融合建立船舶模型的方法，解决了单航行系统中船舶3D模型缺乏的问题，提高了船舶模型的建模精度，减少了人工建模的工作量，提升了重点区域的船舶类型感知水平，为之后的航行监管提供了稳定可靠的数据源。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (10)
1.一种基于视频图像与激光雷达点云融合建立船舶模型的方法，其特征在于，包括以下步骤：
S1、将摄像机安装于港口正视船舶位置，摄像机正视水面定时拍摄水面过往船舶图片，并进行视频图像数据存储；同时，将激光雷达布设于港口定点位置，定时扫描水面过往船舶获得点云数据，并进行点云数据存储；视频图像数据及点云数据存储完毕后，通过无线网络传输给阿里云数据处理服务器，进行数据初步处理；
S2、阿里云数据处理服务器定时接收到激光雷达一帧点云数据和摄像机拍摄的一帧视频图像数据，数据接收完毕后将点云数据与视频图像数据按照时间差值进行双向数据匹配，获得在同一时间节点的匹配数据集；
S3、当阿里云数据处理服务器创建匹配数据集后，已获得正向视频图像数据与点云数据，使用加权融合法对激光雷达点云数据和正向视频图像数据进行融合，在振幅上对图像结果进行突出处理，达到图像增强的效果，获得附带光谱特质的点云数据；
S4、将附带光谱特质的点云数据进行格式转换后输入到建模软件，进行点云数据截取，开启点云捕捉，进行数据截取，根据用户自身需求，最终生成船舶3D模型。
2.根据权利要求1所述的基于视频图像与激光雷达点云融合建立船舶模型的方法，其特征在于，步骤S1中阿里云数据处理服务器对所接收数据进行初步处理包括：
(1)对视频图像数据进行初步处理：删除具有航标、桥墩及其余障碍物的图像区域；用预处理过后的当前帧图像进行区域增强，对视频图像进行边缘补足，获得船舶的视频图像数据；
(2)对点云数据进行初步处理：对点云数据进行点云精简，删除不属于目标范围内的点云数据，获得船舶的点云数据。
3.根据权利要求1所述的基于视频图像与激光雷达点云融合建立船舶模型的方法，其特征在于，步骤S2具体包括以下分步：
S2.1、原始点云数据通过滤波处理，获得基础点云数据，通过内插DEM完成点云图形区分；
S2.2、在利用软件获取DEM的基础上，DEM与视频图像数据进行配准，综合双向数据即可得到正向视频图像数据，完成了影像的数字微分纠正过程；
S2.3、原始点云数据经过边缘增强、阈值处理的图像预处理过程后，剔除了激光雷达点云数据中的粗差，完成了数据的融合配准处理，点云数据与正向视频图像数据按照时间差值可进行双向数据匹配，获得完整的在同一时间节点的匹配数据集。
4.根据权利要求1所述的基于视频图像与激光雷达点云融合建立船舶模型的方法，其特征在于，步骤S3具体包括以下步骤：
S3.1、在建立匹配数据集后，对图像进行线性复合，从振幅上对图像结果进行突出化处理，从而达到图像增强的效果；
S3.2、增强结束后，进行加权融合的方法为灰度值加权融合，加权融合公式为：F(i,j)＝c1A(i,j)+c2B(i,j)，其中，i,j分别为图像中像素的行列表达，i＝1，2，3......n，j＝1,2,3......n；c1、c2为图像信息的加权系数，c1+c2＝1，针对光谱信息c1＝0,c2＝1，针对空间信息c1＝1,c2＝0；A为雷达点云数据、B为视频图像数据，A(i,j)为激光雷达点云数据像素行列表示，B(i,j)为视频图像数据像素行列表示，F(i,j)为像素行列叠加终值；
S3.3、完成融合后，获得附带光谱特质的船舶点云数据。
5.根据权利要求1所述的基于视频图像与激光雷达点云融合建立船舶模型的方法，其特征在于，步骤S4具体包括以下步骤：
S4.1、将附带光谱特质的点云数据进行格式转换，转换为“*.rcs”格式或“*.rcp”格式，检查点云数据完整度，完成建模准备工作；
S4.2、矫正图像坐标系后，按需求进行点云切片，选定点云区域；进行点云数据分析并进行预处理，过滤后查看特征是否完整，是否符合建模需求；完成后，在点云对正后截取数据，察看处理效果；
S4.3、判断点云数据结构完整，特征明确后，对图像特征分级、拟合，并编辑关键尺寸；
S4.4、处理完成后，确认总体特征是否符合建模要求，使用点云捕捉功能精确捕捉点云数据的三维点坐标，完成船舶模型构建。
6.根据权利要求5所述的基于视频图像与激光雷达点云融合建立船舶模型的方法，其特征在于，所述步骤S4.1具体包括：
(1)取得附带光谱特质的点云数据；
(2)转换数据格式，将点云数据导入Rhino软件平台。
7.根据权利要求6所述的基于视频图像与激光雷达点云融合建立船舶模型的方法，其特征在于，所述步骤S4.2具体包括：
(3)检查点云数据是否完整，是否符合建模需求，根据具体要求进行判断；如点云数据符合建模要求则进入下一步，进行点云数据提取及捕捉，否则返回第(1)步，重新取得点云数据；
(4)矫正导入数据坐标系，统一需求坐标，进行点云切割；
(5)数据分析，去除点云数据噪点，并对粗值过滤；
(6)得到初步处理点云数据，要求点云数据剩余70％以上，且特征保存良好，如点云数据符合要求则进入下一步，否则返回第(5)步，重新进行数据分析步骤；
(7)点云对正，并进行点云截取，察看效果。
8.根据权利要求7所述的基于视频图像与激光雷达点云融合建立船舶模型的方法，其特征在于，所述步骤S4.3具体包括：
(8)点云细化处理；
(9)经细化处理后，检查点云特征是否完好，如点云特征完好则进入下一步，否则返回第(7)步，重新进行点云对正步骤；
(10)对所采集的点云数据进行特征分析、特征分级，确定特征形态，并划分特征重要级别；
(11)进行光谱特征拟合，在匹配前影像像元光谱与参考光谱要经过连续统去除处理，然后用最小二乘法拟合像元光谱和参考光谱经连续统去除后的曲线，并进行误差分析，减小误差程度；若结果误差过大，则返回特征拟合步骤，重新拟合特征，如结果误差属于可接受范围，则进入下一步；
(12)图形区域分割后进行关键尺寸编辑、调整；
(13)图形其余特征导入，修饰；
(14)图形基本构件完成，检查总体特征，是否符合建模需求，如符合则完成图形保存，并对模型评分；如评分不合格或建模需求不符合，则回到图形关键尺寸编辑步骤。
9.根据权利要求8所述的基于视频图像与激光雷达点云融合建立船舶模型的方法，其特征在于，所述步骤S4.4具体包括：
(15)点云捕捉，保存数据，如能顺利保存点云数据则进入建模，否则返回关键尺寸编辑步骤；
(16)冻结模型数据，输出，建模完毕。
10.根据权利要求1所述的基于视频图像与激光雷达点云融合建立船舶模型的方法，其特征在于，步骤S1中的摄像机采用海康威视星光级超低照度高清网络摄像机，该摄像机在白天或黑夜都能识别出船舶图像；所述摄像机安装于港口支架，且摄像机与水面平行设置，摄像机正视水面拍摄水面过往船舶图片；
步骤S1中的激光雷达采用Velodyne VLP16线激光雷达，该激光雷达测量范围100m，扫描角度达360°，可实时反馈三维距离和校准反射率测量；所述激光雷达安装于港口定点位置，设定扫描角度为270°，扫描范围100m，定时扫描水面过往船舶获得点云数据，并进行点云数据存储。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111542134.2A CN114187409A (zh) | 2021-12-16 | 2021-12-16 | 基于视频图像与激光雷达点云融合建立船舶模型的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111542134.2A CN114187409A (zh) | 2021-12-16 | 2021-12-16 | 基于视频图像与激光雷达点云融合建立船舶模型的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114187409A true CN114187409A (zh) | 2022-03-15 |
Family
ID=80605314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111542134.2A Pending CN114187409A (zh) | 2021-12-16 | 2021-12-16 | 基于视频图像与激光雷达点云融合建立船舶模型的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114187409A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419260A (zh) * | 2022-03-30 | 2022-04-29 | 山西建筑工程集团有限公司 | 利用复合式点云网进行三维地形测绘土方工程量的方法 |
-
2021
- 2021-12-16 CN CN202111542134.2A patent/CN114187409A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419260A (zh) * | 2022-03-30 | 2022-04-29 | 山西建筑工程集团有限公司 | 利用复合式点云网进行三维地形测绘土方工程量的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443836A (zh) | 一种基于平面特征的点云数据自动配准方法及装置 | |
| CN111060924B (zh) | 一种slam与目标跟踪方法 | |
| CN110675418A (zh) | 一种基于ds证据理论的目标轨迹优化方法 | |
| CN106780712B (zh) | 联合激光扫描和影像匹配的三维点云生成方法 | |
| CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| CN109544628B (zh) | 一种指针式仪表的准确读数识别系统及方法 | |
| CN113409459B (zh) | 高精地图的生产方法、装置、设备和计算机存储介质 | |
| CN114638909A (zh) | 基于激光slam和视觉融合的变电站语义地图构建方法 | |
| CN115937288A (zh) | 一种变电站三维场景模型构建方法 | |
| CN112819066A (zh) | 一种Res-UNet单木树种分类技术 | |
| CN110889899A (zh) | 一种数字地表模型的生成方法及装置 | |
| CN114998545A (zh) | 一种基于深度学习的三维建模阴影识别系统 | |
| CN116402942A (zh) | 一种融合多尺度图像特征的大规模建筑物三维重建方法 | |
| CN112050793A (zh) | 一种WorldView-2立体双介质水深探测方法 | |
| CN114187409A (zh) | 基于视频图像与激光雷达点云融合建立船舶模型的方法 | |
| CN113223065A (zh) | Sar卫星图像与光学图像自动匹配方法 | |
| CN110580468B (zh) | 一种基于影像匹配点云的单木结构参数提取的方法 | |
| CN116824079A (zh) | 基于全信息摄影测量的三维实体模型构建方法和装置 | |
| CN113532424B (zh) | 一种获取多维信息的一体化设备与协同测量方法 | |
| CN115236643A (zh) | 一种传感器标定方法、系统、装置、电子设备及介质 | |
| CN115909183B (zh) | 一种燃气输送外部环境监测系统与监测方法 | |
| CN117523111B (zh) | 三维实景点云模型的生成方法及系统 | |
| CN112652064B (zh) | 海陆一体三维模型构建方法、装置、存储介质和电子设备 | |
| CN112014393B (zh) | 一种基于目标视觉效果的介质能见度识别方法 | |
| CN117911539A (zh) | 基于线性交叉点引导的雷达与相机联合自标定方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |