CN117636173A - 一种目标检测方法、装置及设备 - Google Patents
一种目标检测方法、装置及设备 Download PDFInfo
- Publication number
- CN117636173A CN117636173A CN202311694525.5A CN202311694525A CN117636173A CN 117636173 A CN117636173 A CN 117636173A CN 202311694525 A CN202311694525 A CN 202311694525A CN 117636173 A CN117636173 A CN 117636173A
- Authority
- CN
- China
- Prior art keywords
- image data
- real
- time state
- point cloud
- fog
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000007499 fusion processing Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 16
- 238000005286 illumination Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 5
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种目标检测方法、装置及设备，涉及计算机信息处理技术领域，方法包括：获取海上目标的第一实时状态图像数据和第二实时状态图像数据，并进行对齐处理；对处理后的第一实时状态图像数据进行分类处理，得到无雨雾图像数据和含雨雾图像数据；基于去雾模型，对含雨雾图像数据进行去雾处理，得到无雾图像数据；对无雾图像数据和处理后的第二实时状态图像数据进行融合处理，得到融合点云结果。本发明的方案通过神经网络去雾模型对可见光图像数据实现去雾处理，通过点云去雾算法对激光雷达数据去噪处理，在深度融合目标检测网络模块中对处理过的两类数据进行融合检测，提高了雨雾天气下海上目标检测效果。
Description
技术领域
本发明涉及计算机信息处理技术领域，特别涉及一种目标检测方法、装置及设备。
背景技术
海面上经常会有雨雾产生，雨雾天气下，在对海面目标检测识别过程中，单一传感器只能提供有限的感知范围。例如，相机的视野受限于焦距和视角，在光照不足或强烈背光条件下可能失真或丢失细节信息；雷达难以捕捉目标的细节特征和形态信息。导致获取的目标图像很容易受雨、雾等干扰，造成目标轮廓模糊、颜色失真、对比度低等现象，船舶在行驶过程中识别目标的难度增加，且检测到目标的检测效率低，漏检率高。
发明内容
本发明要解决的技术问题是提供一种目标检测方法、装置及设备，解决现有的雨雾天气下海上目标检测困难的问题。
为解决上述技术问题，本发明的技术方案如下：
本发明的实施例提供一种目标检测方法，方法包括：
通过光电传感器获取海上目标的第一实时状态图像数据；
通过激光雷达获取海上目标的第二实时状态图像数据；
对所述第一实时状态图像数据和第二实时状态图像数据进行对齐处理，得到处理后的第一实时状态图像数据和处理后的第二实时状态图像数据；
对处理后的所述第一实时状态图像数据进行分类处理，得到无雨雾图像数据和含雨雾图像数据；
基于去雾模型，对所述含雨雾图像数据进行去雾处理，得到无雾图像数据；
对所述无雾图像数据和处理后的所述第二实时状态图像数据进行融合处理，得到融合点云结果。
可选的，所述通过光电传感器获取海上目标的第一实时状态图像数据，包括：
通过可见光图像传感器获取海上目标的第一实时状态图像数据。
可选的，所述对处理后的所述第一实时状态图像数据进行分类处理，得到无雨雾图像数据和含雨雾图像数据，包括：
根据处理后的所述第一实时状态图像数据的像素值，对处理后的所述第一实时状态图像数据进行分类处理，得到无雨雾图像数据和含雨雾图像数据。
可选的，所述基于去雾模型，对所述含雨雾图像数据进行去雾处理，得到无雾图像数据，包括：
将所述含雨雾图像数据输入去雾模型的神经网络预测模型进行预测处理，得到所述含雨雾图像数据对应的变量特征图K(x)；
根据去雾模型的计算模型J(x)＝K(x)I(x)-K(x)+b得到无雾图像数据；
其中，J(x)为无雾图像数据，I(x)为含雨雾图像数据，K(x)为变量特征图，b为偏置项。
可选的，所述对所述无雾图像数据和处理后的所述第二实时状态图像数据进行融合处理，得到融合点云结果，包括：
对所述第二实时状态图像数据进行去雾处理，得到激光雷达点云数据；
对所述无雾图像数据和所述激光雷达点云数据进行特征融合，得到融合点云结果。
可选的，所述对所述第二实时状态图像数据进行去雾处理，得到激光雷达点云数据，包括：
在所述激光雷达数据中，选取光照强度大于或者等于光照强度阈值的激光雷达数据，得到激光雷达点云数据。
可选的，所述对所述无雾图像数据和所述激光雷达点云数据进行特征融合，得到融合点云结果，包括：
对所述无雾图像数据进行特征提取，得到图像特征；
对所述图像特征进行处理，得到伪点云数据；
对所述伪点云数据进行去噪处理，得到去噪伪点云数据；
对所述激光雷达点云数据和去噪伪点云数据进行特征融合，得到融合检测结果。
本发明还提供一种目标检测装置，包括：
获取模块，用于通过光电传感器获取海上目标的第一实时状态图像数据；通过激光雷达获取海上目标的第二实时状态图像数据；
处理模块，用于对所述第一实时状态图像数据和第二实时状态图像数据进行对齐处理，得到处理后的第一实时状态图像数据和处理后的第二实时状态图像数据；对处理后的所述第一实时状态图像数据进行分类处理，得到无雨雾图像数据和含雨雾图像数据；基于去雾模型，对所述含雨雾图像数据进行去雾处理，得到无雾图像数据；对所述无雾图像数据和处理后的所述第二实时状态图像数据进行融合处理，得到融合点云结果。
本发明还提供一种计算设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上所述的方法。
本发明还提供一种计算机可读取存储介质，存储有指令，当所述指令在计算机上运行时，使得计算机执行如上所述的方法。
本发明的上述方案至少包括以下有益效果：
本发明的上述方案，通过光电传感器获取海上目标的第一实时状态图像数据；通过激光雷达获取海上目标的第二实时状态图像数据；对所述第一实时状态图像数据和第二实时状态图像数据进行对齐处理，得到处理后的第一实时状态图像数据和处理后的第二实时状态图像数据；对处理后的所述第一实时状态图像数据进行分类处理，得到无雨雾图像数据和含雨雾图像数据；基于去雾模型，对所述含雨雾图像数据进行去雾处理，得到无雾图像数据；对所述无雾图像数据和处理后的所述第二实时状态图像数据进行融合处理，得到融合点云结果。本发明的方案通过神经网络去雾模型对可见光图像数据实现去雾处理，通过点云去雾算法对所述激光雷达数据去噪处理，在深度融合目标检测网络模块中对处理过的两类数据进行融合检测，提高了雨雾天气下海上目标检测效果。本发明融合以上传感器在不同场景下的优势，构建去雨雾模型，设计自适应深度融合检测网络，提升雨雾环境下目标检测的准确性。
附图说明
图1是本发明的雨雾环境下海上目标检测方法流程图；
图2是本发明的基于多传感器的目标数据预处理流程图；
图3是本发明的神经网络去雾模型结构图；
图4是本发明的神经网络预测模块结构图；
图5是本发明的多尺度特征提取模块结构图；
图6是本发明的深度融合目标检测网络模块检测框架图；
图7是目标检测装置的示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
如图1和图2所示，本发明的实施例提出一种目标检测方法，方法包括：
S1、通过光电传感器获取海上目标的第一实时状态图像数据；
S2、通过激光雷达获取海上目标的第二实时状态图像数据；
S3、对所述第一实时状态图像数据和第二实时状态图像数据进行对齐处理，得到处理后的第一实时状态图像数据和处理后的第二实时状态图像数据；
S4、对处理后的所述第一实时状态图像数据进行分类处理，得到无雨雾图像数据和含雨雾图像数据；
S5、基于去雾模型，对所述含雨雾图像数据进行去雾处理，得到无雾图像数据；
S6、对所述无雾图像数据和处理后的所述第二实时状态图像数据进行融合处理，得到更加稠密的融合点云结果。
具体的，针对由于雨雾天目标遮挡及信号丢失等导致点云形状缺失造成的目标检测精度较低的问题，将上述融合后的点云结果，送进BtcDet目标检测器补充完整目标形状，提高了目标检测结果；
该实施例中，使用多传感器获取海上的目标信息，对采集的数据进行时间和空间上的数据对齐；通过对采集到的图像进行分类制作数据集，将其标注为有雾和无雾两类；并基于去雾神经网络实现图像数据去雾处理；使用基于光照强度的点云去雾算法对激光雷达点云进行去噪；将上述经过处理的两类数据进行融合之后输入检测网络进行检测，提高了雨雾天气下海上目标检测准确性。
本发明的一可选的实施例中，步骤S1可以包括：
通过可见光图像传感器获取海上目标的第一实时状态图像数据。
该实施例中，光电传感器包括可见光图像传感器，所述第一实时状态图像数据包括可见光图像数据。
本发明的一可选的实施例中，步骤S2中，所述第二实时状态图像数据包括激光雷达数据。
本发明的一可选的实施例中，步骤S3可以包括：
对第一实时状态图像数据(可包括可见光图像数据)和激光雷达数据进行时间和空间上的数据对齐；
具体实现时，时间上的数据对齐可以包括：将可见光传感器和雷达传感器采集的数据进行时间上的数据对齐，具体的：以相机传感器和雷达传感器中采集频率最低的传感采集时间为准，获取其他传感器同一时刻的数据。
空间上的对齐可以包括：对相机与激光雷达的空间坐标进行转换，建立相机与激光雷达之间的映射关系。
本发明的一可选的实施例中，步骤S4可以包括：
根据处理后的所述第一实时状态图像数据的像素值，对处理后的所述第一实时状态图像数据进行分类处理，得到无雨雾图像数据和含雨雾图像数据。
该实施例中，无雨雾图像数据的暗通道的灰度值集中在0-15，可以表达为：
其中，J(x)是无雨雾图像数据，k代表图像中的一个点坐标，遍历r，g，b通道，每个通道中以k为中心的局部窗口wk里，找一个最小值，分别是最后从三者中找一个最小值。
如图3所示，本发明的一可选的实施例中，步骤S5可以包括：
S51、将所述含雨雾图像数据输入去雾模型的神经网络预测模型进行预测处理，得到所述含雨雾图像数据对应的变量特征图K(x)；
S52、根据去雾模型的计算模型J(x)＝K(x)I(x)-K(x)+b得到无雾图像数据；
其中，J(x)为无雾图像数据，I(x)为含雨雾图像数据，K(x)为变量特征图，b为偏置项。
该实施例中，基于可嵌入去雾神经网络，去雾神经网络模型通过另一网络对大气散射模型中传输图和大气光成分的混合变量进行预测，再根据大气散射模型的变换公式，最终得到无雨雾图像。
大气散射模型为I(x)＝J(x)t(x)+A(1-t(x))，其中I(x)为探测到的有雾图像，J(x)为处理后的无雾图像。
进一步得到无雾图像：
其中，J(x)为处理后的无雾图像，I(x)为探测到的有雾图像，t(x)为透射率图像，A为大气成分。
将含雨雾图像数据作为去雾模型的输入进行训练和测试，进一步包括：
S511，本发明提出的神经网络去雾模型包括神经网络预测模型和计算模型。其中，将透射率图像t(x)和大气成分A变换成一个未知量K(x)进行预测，简化网络的同时减少误差。
S512，神经网络预测模型作为变量K(x)的神经网络预测模块，神经网络预测模型是根据公式J(x)＝K(x)I(x)-K(x)+b构造的无雨雾图片生成部分。该部分将神经网络预测模型预测所得特征图与含雨雾图像进行公式计算，并加上偏置项，b是偏置项，最终得到无雨雾图像。
S513，神经网络预测模型DefogNet-K的输入图像为含雨雾图像，其输出为输入图像对应的变量特征图K(x)。在卷积方式上，神经网络预测模型网络全部采用相同卷积，使得输入图像与输出图像的宽高相同，符合网络的需求。
S514，如图4所示，神经网络预测模型的主体结构由两个微型密集网络模块和一个多尺度特征提取模块组成。两个微型密集网络模块进行特征提取，两个模块之间采用1×1卷积进行通道的调整，模块的最终输出特征图同样进行通道调整，可有效避免参数量和计算量过大的问题，保证了网络的实时性。
其中，所述通过神经网络预测模块对所述含雨雾图像数据进行预测，得到变量K(x)，包括：
对所述含雨雾图像数据通过1×1的卷积层进行卷积，得到第一卷积含雨雾图像数据；
通过第一微型密集网络模块对所述第一卷积含雨雾图像数据进行特征提取，得到第二卷积函数图像数据；
通过第二微型密集网络模块对所述第二卷积含雨雾图像数据进行特征提取，得到第三卷积函数图像数据；
通过多尺度特征提取模块对所述第三卷积函数图像数据进行特征提取，得到多尺度的特征信息，对所述多尺度的特征信息进行级联，得到变量K(x)。
如图6所示，本发明的一可选的实施例中，步骤S6可以包括：
S61、对所述第二实时状态图像数据进行去雾处理，得到激光雷达点云数据；
S62、对所述无雾图像数据和所述激光雷达点云数据进行特征融合，得到融合点云结果。
该实施例中，如图5所示，接着融入多尺度特征提取模块，采用3×3，5×5和7×7三种不同尺度的卷积，卷积层的输出通道数均为1，并将卷积结果的特征图级联在一起，此时的特征图具有不同尺度的特征信息，有效的实现了特征的空间融合。
本发明的一可选的实施例中，步骤S61可以包括：
在所述激光雷达数据中，选取光照强度大于或者等于光照强度阈值的激光雷达数据，得到激光雷达点云数据。
该实施例中，利用基于光照强度的点云去雾算法对激光雷达点云进行去雾处理，基于“雾点云”的强度值低于相同距离上其他点的强度值，通过删除强度值低于阈值的点，来实现雾天激光点云去噪，得到后续融合检测需要的激光雷达点云数据。
本发明的一可选的实施例中，步骤S62可以包括：
S621，对所述无雾图像数据添加通道注意力赋予权重之后进行特征提取，得到图像特征；
S622，对所述图像特征进行处理，得到伪点云数据；
S623，对所述伪点云数据进行去噪处理，得到去噪伪点云数据；
S624，对所述激光雷达点云数据和去噪伪点云数据进行特征融合，得到融合检测结果。
该实施例中，通过主干网络对所述无雾图像数据进行特征提取，并添加通道注意力机制赋予权重信息，得到图像有效特征；同时，通过卷积层和池化层的逐层叠加，不断增加每层通道数减少特征图尺寸；通过立体视差法对所述图像特征进行处理，得到伪点云数据；对所述伪点云数据进行去噪处理，得到去噪伪点云数据；对所述激光雷达点云数据和去噪伪点云数据进行特征融合，得到融合检测结果。
S622可以包括：
利用立体视差法估计像素深度，以建立图像像素点对应深度图，其次将深度图反投影到三维空间中，生成伪点云；
本发明的一可选的实施例中，S623可以包括：
通过体素滤波器对所述伪点云数据进行下采样处理，滤除噪声，得到去噪伪点云数据。
本发明的一可选的实施例中，S624可以包括：
S6241，对所述激光雷达点云数据和去噪伪点云数据进行特征融合，得到融合点云数据；
具体的，采用最近邻匹配算法确定去噪伪点云数据与激光雷达点云之间的匹配关系。对于每个去噪伪点云数据，找到距离最近的激光雷达点云，并将其匹配为一对成功的匹配点；
基于稠密度信息对匹配成功的去噪伪点云数据对其位置和深度信息进行加权平均，将周围点的位置和深度信息整合到一个点的融合结果中，此时的融合点云包含更准确的位置和深度信息；
S6242，将所述融合点云数据输入BtcDet检测网络中检测，得到更加稠密的融合点云结果。
下面结合具体流程说明上述方法的具体实现过程，包括以下步骤：
S100，获取海上目标的多传感器数据，所述多传感器数据包括可见光图像数据和激光雷达数据。
S200，以上述传感器获取的数据为例，完成相机和激光雷达进行时间和空间对齐，所述方法包括以下步骤：
S201，将传感器组中各传感器采集的数据进行时间上的数据对齐，包括：以可见光和激光雷达中采集频率最低的传感采集时间为准，获取其他传感器同一时刻的数据。
S202，使用标定工具完成相机与激光雷达的空间坐标转换，建立相机与激光雷达之间的映射关系；
S300，将捕获的目标图像数据分为两类：无雨雾、含雨雾图像，并作类别标注；
S400，建立神经网络去雾模型，对雾天环境获取的图片进行处理；另外，对激光雷达点云进行过滤去噪。具体步骤包括：
S401，提出一种基于大气散射模型的可嵌入去雾神经网络(DefogNet)，DefogNet网络模型通过DefogNet-K网络对大气散射模型中传输图和大气光成分的混合变量进行预测，再根据大气散射模型的变换公式，最终得到无雾图像。
大气散射模型的核心公式为I(x)＝J(x)t(x)+A(1-t(x))，其中I(x)为探测到的有雾图像，J(x)为处理后的无雾图像。根据此公式进一步得到无雾图像的公式如：
将含雨雾图像作为图像去雾模型的输入进行训练和测试，进一步包括：
S411，神经网络去雾模型分为两部分，包括DefogeNet-K、DefogNet-J。其中，将透射率图像t(x)和大气成分A变换成一个未知量K(x)进行预测，简化网络的同时减少误差。
S421，DefogeNet-K作为变量K(x)的神经网络预测模块，DefogNet-J是根据公式J(x)＝K(x)I(x)-K(x)+b构造的无雾图片生成部分。该部分将DefogNet-K预测所得特征图与有雾图像进行公式计算，并加上偏置项，b是偏置项，最终得到无雾图像。
S431，DefogNet-K的输入图像为有雾图像，其输出为输入图像对应的变量特征图K(x)。在卷积方式上，DefogNet-K网络全部采用Same卷积，使得输入图像与输出图像的宽高相同，符合网络的需求。
S441，DefogNet-K的主体结构由两个微型密集网络模块和一个多尺度特征提取模块组成。两个微型密集网络模块进行特征提取，两个模块之间采用1×1卷积进行通道的调整，模块的最终输出特征图同样进行通道调整，可有效避免参数量和计算量过大的问题，保证了网络的实时性。
S451，接着融入多尺度特征提取模块，采用3×3，5×5和7×7三种不同尺度的卷积，卷积层的输出通道数均为1，并将卷积结果的特征图级联在一起，此时的特征图具有不同尺度的特征信息，有效的实现了特征的空间融合。
S500，利用基于光照强度的点云去雾算法对激光雷达点云进行去雾处理，该方法基于“雾点云”的强度值低于相同距离上其他点的强度值，通过删除强度值低于阈值的点，来实现雾天激光点云去噪，得到后续融合检测需要的激光雷达点云数据。
S600，建立深度融合目标检测网络模块，利用连续卷积在多模态和多尺度下融合不同的特征信息，包括以下步骤：
S601，对经过去雾图像进行特征提取，得到图像特征图，同时，通过卷积层和池化层的逐层叠加，不断增加每层通道数减少特征图尺寸；
S602，针对不同层的特征图携带的信息是不一样的，本发明特征融合结构引入权重的方式，对每一个输入特征层都添加了权重信息，使网络能够学习到每一个特征信息，提高了多尺度融合的利用率。
S603，将去雾后的图像特征生成伪点云，其次对伪点云进行去噪等数据处理，最终与激光点云融合形成稠密点云；将融合点云数据输入检测网络进行检测，得到雾天目标检测结果。进一步地步骤如下：
S613，利用立体视差法估计像素深度，以建立图像像素点对应深度图，其次将深度图反投影到三维空间中，生成伪点云；
S623，使用体素滤波器对伪点云进行下采样处理，最后对处理后的伪点云与激光点云融合，得到更为密集的融合点云。
本发明的上述实施例，使用多传感器获取海上的目标信息，对采集的数据进行时间和空间上的数据对齐；通过对采集到的图像进行分类制作数据集，将其标注为有雾和无雾两类；构建一种基于大气散射模型的可嵌入去雾神经网络实现图像数据去雾处理；使用基于光照强度的点云去雾算法对激光雷达点云进行去噪；将上述经过处理的两类数据进行融合之后输入检测网络进行检测；能够充分利用多传感器数据融合的目标检测系统，以提高目标检测的准确性和鲁棒性。
如图7所示，本发明的实施例还提供一种目标检测装置7，包括：
获取模块71，用于通过光电传感器获取海上目标的第一实时状态图像数据；通过激光雷达获取海上目标的第二实时状态图像数据；
处理模块72，用于对所述第一实时状态图像数据和第二实时状态图像数据进行对齐处理，得到处理后的第一实时状态图像数据和处理后的第二实时状态图像数据；对处理后的所述第一实时状态图像数据进行分类处理，得到无雨雾图像数据和含雨雾图像数据；基于去雾模型，对所述含雨雾图像数据进行去雾处理，得到无雾图像数据；对所述无雾图像数据和处理后的所述第二实时状态图像数据进行融合处理，得到融合点云结果。
可选的，所述通过光电传感器获取海上目标的第一实时状态图像数据，包括：
通过可见光图像传感器获取海上目标的第一实时状态图像数据。
可选的，所述对处理后的所述第一实时状态图像数据进行分类处理，得到无雨雾图像数据和含雨雾图像数据，包括：
根据处理后的所述第一实时状态图像数据的像素值，对处理后的所述第一实时状态图像数据进行分类处理，得到无雨雾图像数据和含雨雾图像数据。
可选的，所述基于去雾模型，对所述含雨雾图像数据进行去雾处理，得到无雾图像数据，包括：
将所述含雨雾图像数据输入去雾模型的神经网络预测模型进行预测处理，得到所述含雨雾图像数据对应的变量特征图K(x)；
根据去雾模型的计算模型J(x)＝K(x)I(x)-K(x)+b得到无雾图像数据；
其中，J(x)为无雾图像数据，I(x)为含雨雾图像数据，K(x)为变量特征图，b为偏置项。
可选的，所述对所述无雾图像数据和处理后的所述第二实时状态图像数据进行融合处理，得到融合点云结果，包括：
对所述第二实时状态图像数据进行去雾处理，得到激光雷达点云数据；
对所述无雾图像数据和所述激光雷达点云数据进行特征融合，得到融合点云结果。
可选的，所述对所述第二实时状态图像数据进行去雾处理，得到激光雷达点云数据，包括：
在所述激光雷达数据中，选取光照强度大于或者等于光照强度阈值的激光雷达数据，得到激光雷达点云数据。
可选的，所述对所述无雾图像数据和所述激光雷达点云数据进行特征融合，得到融合点云结果，包括：
对所述无雾图像数据进行特征提取，得到图像特征；
对所述图像特征进行处理，得到伪点云数据；
对所述伪点云数据进行去噪处理，得到去噪伪点云数据；
对所述激光雷达点云数据和去噪伪点云数据进行特征融合，得到融合检测结果。
需要说明的是，该装置的实施例是与上述方法实施例对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上所述的方法。上述方法的实施例均适用于该实施例中，也能达到相同的技术效果。
本发明的示例还提供一种计算机可读取存储介质，存储有指令，当所述指令在计算机上运行时，使得计算机执行如上所述的方法。上述方法的实施例均适用于该实施例中，也能达到相同的技术效果。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种目标检测方法，其特征在于，方法包括：
通过光电传感器获取海上目标的第一实时状态图像数据；
通过激光雷达获取海上目标的第二实时状态图像数据；
对所述第一实时状态图像数据和第二实时状态图像数据进行对齐处理，得到处理后的第一实时状态图像数据和处理后的第二实时状态图像数据；
对处理后的所述第一实时状态图像数据进行分类处理，得到无雨雾图像数据和含雨雾图像数据；
基于去雾模型，对所述含雨雾图像数据进行去雾处理，得到无雾图像数据；
对所述无雾图像数据和处理后的所述第二实时状态图像数据进行融合处理，得到融合点云结果。
2.根据权利要求1所述的目标检测方法，其特征在于，所述通过光电传感器获取海上目标的第一实时状态图像数据，包括：
通过可见光图像传感器获取海上目标的第一实时状态图像数据。
3.根据权利要求1所述的目标检测方法，其特征在于，所述对处理后的所述第一实时状态图像数据进行分类处理，得到无雨雾图像数据和含雨雾图像数据，包括：
根据处理后的所述第一实时状态图像数据的像素值，对处理后的所述第一实时状态图像数据进行分类处理，得到无雨雾图像数据和含雨雾图像数据。
4.根据权利要求1所述的目标检测方法，其特征在于，所述基于去雾模型，对所述含雨雾图像数据进行去雾处理，得到无雾图像数据，包括：
将所述含雨雾图像数据输入去雾模型的神经网络预测模型进行预测处理，得到所述含雨雾图像数据对应的变量特征图K(x)；
根据去雾模型的计算模型J(x)＝K(x)I(x)-K(x)+b得到无雾图像数据；
其中，J(x)为无雾图像数据，I(x)为含雨雾图像数据，K(x)为变量特征图，b为偏置项。
5.根据权利要求1所述的目标检测方法，其特征在于，所述对所述无雾图像数据和处理后的所述第二实时状态图像数据进行融合处理，得到融合点云结果，包括：
对所述第二实时状态图像数据进行去雾处理，得到激光雷达点云数据；
对所述无雾图像数据和所述激光雷达点云数据进行特征融合，得到融合点云结果。
6.根据权利要求5所述的目标检测方法，其特征在于，所述对所述第二实时状态图像数据进行去雾处理，得到激光雷达点云数据，包括：
在所述激光雷达数据中，选取光照强度大于或者等于光照强度阈值的激光雷达数据，得到激光雷达点云数据。
7.根据权利要求6所述的目标检测方法，其特征在于，所述对所述无雾图像数据和所述激光雷达点云数据进行特征融合，得到融合点云结果，包括：
对所述无雾图像数据进行特征提取，得到图像特征；
对所述图像特征进行处理，得到伪点云数据；
对所述伪点云数据进行去噪处理，得到去噪伪点云数据；
对所述激光雷达点云数据和去噪伪点云数据进行特征融合，得到融合检测结果。
8.一种目标检测装置，其特征在于，包括：
获取模块，用于通过光电传感器获取海上目标的第一实时状态图像数据；通过激光雷达获取海上目标的第二实时状态图像数据；
处理模块，用于对所述第一实时状态图像数据和第二实时状态图像数据进行对齐处理，得到处理后的第一实时状态图像数据和处理后的第二实时状态图像数据；对处理后的所述第一实时状态图像数据进行分类处理，得到无雨雾图像数据和含雨雾图像数据；基于去雾模型，对所述含雨雾图像数据进行去雾处理，得到无雾图像数据；对所述无雾图像数据和处理后的所述第二实时状态图像数据进行融合处理，得到融合点云结果。
9.一种计算设备，计算设备，其特征在于，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如权利要求1至7任一项所述的方法。
10.一种计算机可读取存储介质，其特征在于，存储有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311694525.5A CN117636173A (zh) | 2023-12-08 | 2023-12-08 | 一种目标检测方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311694525.5A CN117636173A (zh) | 2023-12-08 | 2023-12-08 | 一种目标检测方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117636173A true CN117636173A (zh) | 2024-03-01 |
Family
ID=90032018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311694525.5A Pending CN117636173A (zh) | 2023-12-08 | 2023-12-08 | 一种目标检测方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117636173A (zh) |
-
2023
- 2023-12-08 CN CN202311694525.5A patent/CN117636173A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110675418B (zh) | 一种基于ds证据理论的目标轨迹优化方法 | |
| Shortis et al. | Design and calibration of an underwater stereo-video system for the monitoring of marine fauna populations | |
| Wang et al. | Real-time underwater onboard vision sensing system for robotic gripping | |
| CN110689562A (zh) | 一种基于生成对抗网络的轨迹回环检测优化方法 | |
| CN110969670B (zh) | 基于显著特征的多光谱相机动态立体标定方法 | |
| CN115761550A (zh) | 一种基于激光雷达点云和相机图像融合的水面目标检测方法 | |
| CN111753698A (zh) | 一种多模态三维点云分割系统和方法 | |
| CN109191513B (zh) | 基于全局优化的电力设备立体匹配方法 | |
| CN115861601B (zh) | 一种多传感器融合感知方法及装置 | |
| CN110910456B (zh) | 基于Harris角点互信息匹配的立体相机动态标定方法 | |
| CN112561996A (zh) | 一种自主水下机器人回收对接中目标检测方法 | |
| CN115379123B (zh) | 一种用无人机巡检的变压器故障检测方法 | |
| CN114399882A (zh) | 一种用于消防机器人的火源探测识别并预警方法 | |
| CN113591592A (zh) | 水上目标识别方法、装置、终端设备及存储介质 | |
| CN113989143B (zh) | 一种基于推扫式水下高光谱原始图像的高精度快速检焦方法 | |
| CN114842340A (zh) | 一种机器人双目立体视觉障碍物感知方法与系统 | |
| Zhuang et al. | A dense stereo matching method based on optimized direction-information images for the real underwater measurement environment | |
| CN117079117B (zh) | 水下图像处理及目标识别的方法及装置、存储介质及电子设备 | |
| CN112767267B (zh) | 基于仿真偏振带雾场景数据集的图像去雾方法 | |
| CN111260735B (zh) | 一种单次拍摄的lidar与全景相机的外参数标定方法 | |
| CN117636173A (zh) | 一种目标检测方法、装置及设备 | |
| CN113763261B (zh) | 一种海雾气象条件下的远小目标实时检测方法 | |
| CN115236643A (zh) | 一种传感器标定方法、系统、装置、电子设备及介质 | |
| Qiao et al. | Visibility enhancement for underwater robots based on an improved underwater light model | |
| CN113888420A (zh) | 一种基于修正模型的水下图像复原方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |