CN116579967B - 一种基于计算机视觉的三维点云图像融合系统 - Google Patents
一种基于计算机视觉的三维点云图像融合系统 Download PDFInfo
- Publication number
- CN116579967B CN116579967B CN202310850898.0A CN202310850898A CN116579967B CN 116579967 B CN116579967 B CN 116579967B CN 202310850898 A CN202310850898 A CN 202310850898A CN 116579967 B CN116579967 B CN 116579967B
- Authority
- CN
- China
- Prior art keywords
- fusion
- image
- segmentation
- task
- lines
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 151
- 230000011218 segmentation Effects 0.000 claims abstract description 93
- 238000012545 processing Methods 0.000 claims abstract description 83
- 238000004458 analytical method Methods 0.000 claims abstract description 41
- 238000003709 image segmentation Methods 0.000 claims abstract description 30
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 23
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 230000001172 regenerating effect Effects 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 description 11
- 238000013433 optimization analysis Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像融合领域，涉及图像分割技术，用于解决现有的基于计算机视觉的三维点云图像融合方法应用在目标追踪领域时，目标追踪的输出结果精确性会受到图像分割处理方式影响的问题，具体是一种基于计算机视觉的三维点云图像融合方法及系统，包括服务器，所述服务器通信连接有融合分析模块、分割处理模块、目标追踪模块以及存储模块；所述融合分析模块用于对点云图像融合方法进行决策分析；本发明可以对点云图像融合方法进行决策分析，通过对融合任务的各项处理参数进行综合分析与计算得到决策系数，从而通过决策系数的数值对融合任务的融合时机进行判定，通过适合的融合时机执行对应的融合任务来提高图像融合处理的效率。
Description
技术领域
本发明属于图像融合领域，涉及图像分割技术，具体是一种基于计算机视觉的三维点云图像融合方法及系统。
背景技术
不同类型的传感器各有优劣，单一传感器无法实现精确高效的检测。为此，将具有互补特性的多种传感器融合以增强感知能力，成为新兴的研究主题，目前，三维目标检测领域常用的融合数据有图像和点云，融合时机可分为早期、中期和晚期融合。
现有的基于计算机视觉的三维点云图像融合方法在进行图像融合之前，无法根据数据类型与特征选择合适的融合时机，导致图像融合处理效率低下，同时无法高效的对图像进行分割处理，图像特征参数可能会受到图像分割处理方式的影响，导致图像融合质量低下，在通过图像融合进行目标追踪时，目标追踪的输出结果精确性会受到影响。
针对以上技术问题，本申请提出一种解决方案。
发明内容
本发明的目的在于提供一种基于计算机视觉的三维点云图像融合方法及系统，用于解决现有的基于计算机视觉的三维点云图像融合方法应用在目标追踪领域时，目标追踪的输出结果精确性会受到图像分割处理方式影响的问题；
本发明需要解决的技术问题为：如何提供一种图像特征参数不受图像分割处理方式影响的基于计算机视觉的三维点云图像融合方法及系统。
本发明的目的可以通过以下技术方案实现：
一种基于计算机视觉的三维点云图像融合系统，包括服务器，所述服务器通信连接有融合分析模块、分割处理模块、目标追踪模块以及存储模块；
所述融合分析模块用于对点云图像融合方法进行决策分析：服务器接收到点云图像融合任务时获取融合任务的处理数据CL、增强数据ZQ以及中间数据ZJ，对处理数据CL、增强数据ZQ以及中间数据ZJ进行数值计算得到决策系数JC，通过决策系数JC将融合任务的融合模式标记为早期融合或晚期融合；
所述分割处理模块用于对点云图像融合任务的图像进行分割处理分析：将融合任务的图像标记为处理对象，将处理对象放大为像素格图像并进行灰度变换，随机选取一种分割模式对处理对象进行图像分割并进行图像特征提取，将提取到的图像特征通过服务器发送至目标追踪模块，分割模式包括中心分割模式、网格分割模式以及随机分割模式；
所述目标追踪模块用于对点云图像融合任务进行目标追踪分析：采用数据模态分析模型通过图像特征对点云图像融合任务中的目标物体进行标记，数据模态分析模型包括YOLO3D 、F-PointNet 、3D-SSD 、VoteNet以及PointFusion。
作为本发明的一种优选实施方式，处理数据CL为融合任务的数据处理量，增强数据ZQ为图像进行数据扩充的次数，数据扩充包括翻转、旋转、尺度变换、随机抠取、色彩抖动、高斯噪声、随机模糊以及随机擦除；中间数据ZJ为融合任务的中间特征数量。
作为本发明的一种优选实施方式，将融合任务的融合模式标记为早期融合或晚期融合的过程包括：通过存储模块获取到决策阈值JCmax，将融合任务的决策系数JC与决策阈值JCmax进行比较：若决策系数JC小于决策阈值JCmax，则将融合任务的融合模式标记为早期融合；若决策系数JC大于等于决策阈值JCmax，则将融合任务的融合模式标记为晚期融合。
作为本发明的一种优选实施方式，采用中心分割模式对处理对象进行图像分割的具体过程包括：将处理对象的中心点标记为标记点，以标记点为n条分割线，相邻分割线所形成的夹角角度值均为3600/n，由分割线与处理对象的边界线构成n个封闭区域，获取对封闭区域中的图像特征进行提取，并对图像特征与封闭区域所有边界线的距离值进行求和取平均值得到切割系数，通过存储模块获取到切割阈值，将切割系数与切割阈值进行比较：若切割系数小于切割阈值，则将对应的图像特征标记为切割特征；若切割系数大于等于切割阈值，则将对应的图像特征标记为独立特征；若所有的图像特征均为独立特征，则判定分割完成，将图像特征发送至服务器，服务器接收到图像特征后将图像特征发送至目标追踪模块；否则，判定分割未完成，将所有的分割线以标记点为中心逆时针旋转600/n，旋转完成后再次对封闭区域中的图像特征进行提取，以此类推，直至分割完成。
作为本发明的一种优选实施方式，采用网格分割模式对处理对象进行图像分割的具体过程包括：在处理对象中生成若干条横切线与纵切线，相邻横切线的距离值相等，相邻纵切线的距离值相等，由横切线与纵切线将处理对象分割为若干个网格区域，对网格区域中的图像特征进行提取，并对图像特征与网格区域所有边界线的距离值进行求和取平均值得到分割系数，将分割系数与分割阈值进行比较：若分割系数小于分割阈值，则将对应的图像特征标记为分割特征；若分割系数大于等于分割阈值，则将对应的图像特征标记为独立特征；若所有的图像特征均为独立特征，则判定分割完成，将图像特征发送至服务器，服务器接收到图像特征后将图像特征发送至目标追踪模块；否则，判定分割未完成，对相邻横切线与相邻纵切线的距离值进行等比例放大之后再次对网格区域的图像特征进行提取，直至分割完成。
作为本发明的一种优选实施方式，采用随机分割模式对处理对象进行图像分割的具体过程包括：随机生成若干条分割线并由分割线与处理对象的边界线构成若干个分割区域，分割区域中的图像特征均为独立特征时将图像特征通过服务器发送至目标追踪模块，分割区域中包含有分割特征时重新生成随机的分割线。
一种基于计算机视觉的三维点云图像融合方法，包括以下步骤：
步骤一：对点云图像融合方法进行决策分析：服务器接收到点云图像融合任务时获取融合任务的处理数据CL、增强数据ZQ以及中间数据ZJ并进行数值计算得到决策系数JC，通过决策系数JC将融合模式标记为早期融合或晚期融合；
步骤二：对点云图像融合任务的图像进行分割处理分析：将融合任务的图像标记为处理对象，将处理对象放大为像素格图像并进行灰度变换，随机选取一种分割模式对处理对象进行图像分割并提取图像特征；
步骤三：对点云图像融合任务进行目标追踪分析：采用数据模态分析模型通过图像特征对点云图像融合任务中的目标物体进行标记；目标追踪模块将标记的目标物体坐标发送至服务器。
本发明具备下述有益效果：
1、通过融合分析模块可以对点云图像融合方法进行决策分析，通过对融合任务的各项处理参数进行综合分析与计算得到决策系数，从而通过决策系数的数值对融合任务的融合时机进行判定，通过适合的融合时机执行对应的融合任务来提高图像融合处理的效率；
2、通过分割处理模块可以对点云图像融合任务的图像进行分割处理分析，通过三种分割模式随机切换的方式来避免单一方式无法获得标准图像特征参数的问题，同时在图像特征提取过程中加入切割特征判定操作，保证输出的图像特征均为独立特征，从而排除分割方式对图像特征参数的影响，提高图像融合质量，保证目标物体检测结果的精确性；
3、通过分割优化模块可以对点云图像融合处理过程进行优化分析，通过对融合任务的特征参数与时长参数进行数值计算得到优化系数，从而通过不同分割模式处理的融合特征的优化系数得到中心值、网格值以及随机值，根据中心值、网格值以及随机值对图像分割模式的选取权重进行调整，提高图像分割处理的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一的系统框图；
图2为本发明实施例二的方法流程图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一：如图1所示，一种基于计算机视觉的三维点云图像融合系统，包括服务器，服务器通信连接有融合分析模块、分割处理模块、分割优化模块、目标追踪模块以及存储模块。
融合分析模块用于对点云图像融合方法进行决策分析：服务器接收到点云图像融合任务时获取融合任务的处理数据CL、增强数据ZQ以及中间数据ZJ，处理数据CL为融合任务的数据处理量，增强数据ZQ为图像进行数据扩充的次数，数据扩充包括翻转、旋转、尺度变换、随机抠取、色彩抖动、高斯噪声、随机模糊以及随机擦除；中间数据ZJ为融合任务的中间特征数量，通过公式JC=（α1*CL+α2*ZQ）/（α3*ZQ）得到融合任务的决策系数JC，其中α1、α2以及α3均为比例系数，且α1＞α2＞α3＞1；通过存储模块获取到决策阈值JCmax，将融合任务的决策系数JC与决策阈值JCmax进行比较：若决策系数JC小于决策阈值JCmax，则将融合任务的融合模式标记为早期融合；若决策系数JC大于等于决策阈值JCmax，则将融合任务的融合模式标记为晚期融合；将融合任务的融合模式发送至服务器；对点云图像融合方法进行决策分析，通过对融合任务的各项处理参数进行综合分析与计算得到决策系数，从而通过决策系数的数值对融合任务的融合时机进行判定，通过适合的融合时机执行对应的融合任务来提高图像融合处理的效率。
需要说明的是，早期融合与晚期融合是对三维点云图像融合时机（数据处理方式）的把控，其中，早期融合主要融合原始或预处理的传感器数据，可充分利用数据的原始信息，对计算量要求较低，但因为它联合处理多个数据模态，不够灵活，若输入数据扩充，需要重新训练网络结构，早期融合的过程是先将基础数据模态融合成中间层，最后将中间层的最终处理结果作为网络输出；晚期融合结合不同数据模态网络结构的决策输出，具有较高的灵活性和模块化，当引入新的感知模态时，只需要单独训练结构而不影响其它网络，但计算成本较高，会丢失很多中间特征，晚期融合的过程是先对基础数据进行中间层计算，最后对所有中间层数据进行融合；因此针对不同类型、处理量的数据，采用合适的融合时机进行数据处理可以提高图像融合处理效率。
分割处理模块用于对点云图像融合任务的图像进行分割处理分析：将融合任务的图像标记为处理对象，将处理对象放大为像素格图像并进行灰度变换，随机选取一种分割模式对处理对象进行图像分割，分割模式包括中心分割模式、网格分割模式以及随机分割模式；采用中心分割模式对处理对象进行图像分割的具体过程包括：将处理对象的中心点标记为标记点，以标记点为n条分割线，相邻分割线所形成的夹角角度值均为3600/n，由分割线与处理对象的边界线构成n个封闭区域，获取对封闭区域中的图像特征进行提取，并对图像特征与封闭区域所有边界线的距离值进行求和取平均值得到切割系数，通过存储模块获取到切割阈值，将切割系数与切割阈值进行比较：若切割系数小于切割阈值，则将对应的图像特征标记为切割特征；若切割系数大于等于切割阈值，则将对应的图像特征标记为独立特征；若所有的图像特征均为独立特征，则判定分割完成，将图像特征发送至服务器，服务器接收到图像特征后将图像特征发送至目标追踪模块；否则，判定分割未完成，将所有的分割线以标记点为中心逆时针旋转600/n，旋转完成后再次对封闭区域中的图像特征进行提取，以此类推，直至分割完成；采用网格分割模式对处理对象进行图像分割的具体过程包括：在处理对象中生成若干条横切线与纵切线，相邻横切线的距离值相等，相邻纵切线的距离值相等，由横切线与纵切线将处理对象分割为若干个网格区域，对网格区域中的图像特征进行提取，并对图像特征与网格区域所有边界线的距离值进行求和取平均值得到分割系数，将分割系数与分割阈值进行比较：若分割系数小于分割阈值，则将对应的图像特征标记为分割特征；若分割系数大于等于分割阈值，则将对应的图像特征标记为独立特征；若所有的图像特征均为独立特征，则判定分割完成，将图像特征发送至服务器，服务器接收到图像特征后将图像特征发送至目标追踪模块；否则，判定分割未完成，对相邻横切线与相邻纵切线的距离值进行等比例放大之后再次对网格区域的图像特征进行提取，距离值的放大比例为t1，1.05≤t1≤1.15，直至分割完成；采用随机分割模式对处理对象进行图像分割的具体过程包括：随机生成若干条分割线并由分割线与处理对象的边界线构成若干个分割区域，分割区域中的图像特征均为独立特征时将图像特征通过服务器发送至目标追踪模块，分割区域中包含有分割特征时重新生成随机的分割线；对点云图像融合任务的图像进行分割处理分析，通过三种分割模式随机切换的方式来避免单一方式无法获得标准图像特征参数的问题，同时在图像特征提取过程中加入切割特征判定操作，保证输出的图像特征均为独立特征，从而排除分割方式对图像特征参数的影响，提高图像融合质量。
分割优化模块用于对点云图像融合处理过程进行优化分析：将融合任务的图像特征数量标记为特征数据TZ，将融合任务的图像分割时长标记为时长数据SC，通过公式YH=（β1*TZ）/（β2*SC）得到融合任务的优化系数YH，其中β1与β2均为比例系数，且β1＞β2＞1；对采用中心分割模式进行图像分割的所有融合任务的优化系数YH进行求和取平均值得到中心值；对采用网格分割模式进行图像分割的所有融合任务的优化系数YH进行求和取平均值得到网格值；对采用随机分割模式进行图像分割的所有融合任务的优化系数YH进行求和取平均值得到随机值；将中心值、网格值以及随机值的和值标记为优化值，将中心值、网格值、随机值与优化值的比值分别标记为中心权重、网格权重以及随机权重，将中心权重、网格权重以及随机权重分别设置为中心分割模式、网格分割模式以及随机分割模式的随机选取权重；对点云图像融合处理过程进行优化分析，通过对融合任务的特征参数与时长参数进行数值计算得到优化系数，从而通过不同分割模式处理的融合特征的优化系数得到中心值、网格值以及随机值，根据中心值、网格值以及随机值对图像分割模式的选取权重进行调整，提高图像分割处理的效率。
目标追踪模块用于对点云图像融合任务进行目标追踪分析：采用数据模态分析模型通过图像特征对点云图像融合任务中的目标物体进行标记，数据模态分析模型包括YOLO3D 、F-PointNet 、3D-SSD 、VoteNet以及PointFusion；目标追踪模块将标记的目标物体坐标发送至服务器。
实施例二：如图2所示，一种基于计算机视觉的三维点云图像融合方法，包括以下步骤：
步骤一：对点云图像融合方法进行决策分析：服务器接收到点云图像融合任务时获取融合任务的处理数据CL、增强数据ZQ以及中间数据ZJ并进行数值计算得到决策系数JC，通过决策系数JC将融合模式标记为早期融合或晚期融合；
步骤二：对点云图像融合任务的图像进行分割处理分析：将融合任务的图像标记为处理对象，将处理对象放大为像素格图像并进行灰度变换，随机选取一种分割模式对处理对象进行图像分割并提取图像特征；
步骤三：对点云图像融合处理过程进行优化分析并得到中心值、网格值以及随机值，将中心值、网格值、随机值与优化值的比值分别标记为中心权重、网格权重以及随机权重，将中心权重、网格权重以及随机权重分别设置为中心分割模式、网格分割模式以及随机分割模式的随机选取权重；
步骤四：对点云图像融合任务进行目标追踪分析：采用数据模态分析模型通过图像特征对点云图像融合任务中的目标物体进行标记，将标记的目标物体坐标发送至服务器。
一种基于计算机视觉的三维点云图像融合方法及系统，工作时，服务器接收到点云图像融合任务时获取融合任务的处理数据CL、增强数据ZQ以及中间数据ZJ并进行数值计算得到决策系数JC，通过决策系数JC将融合模式标记为早期融合或晚期融合；将融合任务的图像标记为处理对象，将处理对象放大为像素格图像并进行灰度变换，随机选取一种分割模式对处理对象进行图像分割并提取图像特征；对点云图像融合处理过程进行优化分析并得到中心值、网格值以及随机值，将中心值、网格值、随机值与优化值的比值分别标记为中心权重、网格权重以及随机权重，将中心权重、网格权重以及随机权重分别设置为中心分割模式、网格分割模式以及随机分割模式的随机选取权重；采用数据模态分析模型通过图像特征对点云图像融合任务中的目标物体进行标记。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
上述公式均是采集大量数据进行软件模拟得出且选取与真实值接近的一个公式，公式中的系数是由本领域技术人员根据实际情况进行设置；如：公式JC=（α1*CL+α2*ZQ）/（α3*ZQ）；由本领域技术人员采集多组样本数据并对每一组样本数据设定对应的决策系数；将设定的决策系数和采集的样本数据代入公式，任意三个公式构成三元一次方程组，将计算得到的系数进行筛选并取均值，得到α1、α2以及α3的取值分别为3.25、2.84和2.16；
系数的大小是为了将各个参数进行量化得到的一个具体的数值，便于后续比较，关于系数的大小，取决于样本数据的多少及本领域技术人员对每一组样本数据初步设定对应的决策系数；只要不影响参数与量化后数值的比例关系即可，如决策系数与增强数据的数值成正比。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (2)
1.一种基于计算机视觉的三维点云图像融合系统，其特征在于，包括服务器，所述服务器通信连接有融合分析模块、分割处理模块、目标追踪模块以及存储模块；
所述融合分析模块用于对点云图像融合方法进行决策分析：服务器接收到点云图像融合任务时获取融合任务的处理数据CL、增强数据ZQ以及中间数据ZJ，对处理数据CL、增强数据ZQ以及中间数据ZJ进行数值计算得到决策系数JC，通过决策系数JC将融合任务的融合模式标记为早期融合或晚期融合；
所述分割处理模块用于对点云图像融合任务的图像进行分割处理分析：将融合任务的图像标记为处理对象，将处理对象放大为像素格图像并进行灰度变换，随机选取一种分割模式对处理对象进行图像分割并进行图像特征提取，将提取到的图像特征通过服务器发送至目标追踪模块，分割模式包括中心分割模式、网格分割模式以及随机分割模式；
所述目标追踪模块用于对点云图像融合任务进行目标追踪分析：采用数据模态分析模型通过图像特征对点云图像融合任务中的目标物体进行标记，数据模态分析模型包括YOLO3D 、F-PointNet 、3D-SSD 、VoteNet以及PointFusion；目标追踪模块将标记的目标物体坐标发送至服务器；
处理数据CL为融合任务的数据处理量，增强数据ZQ为图像进行数据扩充的次数，数据扩充包括翻转、旋转、尺度变换、随机抠取、色彩抖动、高斯噪声、随机模糊以及随机擦除；中间数据ZJ为融合任务的中间特征数量；
融合任务的决策系数JC的计算公式为：JC=（α1*CL+α2*ZQ）/（α3*ZQ），其中α1、α2以及α3均为比例系数，且α1＞α2＞α3＞1；
采用中心分割模式对处理对象进行图像分割的具体过程包括：将处理对象的中心点标记为标记点，以标记点为中心点生成n条分割线，相邻分割线所形成的夹角角度值均为3600/n，由分割线与处理对象的边界线构成n个封闭区域，获取对封闭区域中的图像特征进行提取，并对图像特征与封闭区域所有边界线的距离值进行求和取平均值得到切割系数，通过存储模块获取到切割阈值，将切割系数与切割阈值进行比较：若切割系数小于切割阈值，则将对应的图像特征标记为切割特征；若切割系数大于等于切割阈值，则将对应的图像特征标记为独立特征；若所有的图像特征均为独立特征，则判定分割完成，将图像特征发送至服务器，服务器接收到图像特征后将图像特征发送至目标追踪模块；否则，判定分割未完成，将所有的分割线以标记点为中心逆时针旋转600/n，旋转完成后再次对封闭区域中的图像特征进行提取，以此类推，直至分割完成；
采用网格分割模式对处理对象进行图像分割的具体过程包括：在处理对象中生成若干条横切线与纵切线，相邻横切线的距离值相等，相邻纵切线的距离值相等，由横切线与纵切线将处理对象分割为若干个网格区域，对网格区域中的图像特征进行提取，并对图像特征与网格区域所有边界线的距离值进行求和取平均值得到分割系数，将分割系数与分割阈值进行比较：若分割系数小于分割阈值，则将对应的图像特征标记为分割特征；若分割系数大于等于分割阈值，则将对应的图像特征标记为独立特征；若所有的图像特征均为独立特征，则判定分割完成，将图像特征发送至服务器，服务器接收到图像特征后将图像特征发送至目标追踪模块；否则，判定分割未完成，对相邻横切线与相邻纵切线的距离值进行等比例放大之后再次对网格区域的图像特征进行提取，直至分割完成；
采用随机分割模式对处理对象进行图像分割的具体过程包括：随机生成若干条分割线并由分割线与处理对象的边界线构成若干个分割区域，分割区域中的图像特征均为独立特征时将图像特征通过服务器发送至目标追踪模块，分割区域中包含有分割特征时重新生成随机的分割线。
2.根据权利要求1所述的一种基于计算机视觉的三维点云图像融合系统，其特征在于，将融合任务的融合模式标记为早期融合或晚期融合的过程包括：通过存储模块获取到决策阈值JCmax，将融合任务的决策系数JC与决策阈值JCmax进行比较：若决策系数JC小于决策阈值JCmax，则将融合任务的融合模式标记为早期融合；若决策系数JC大于等于决策阈值JCmax，则将融合任务的融合模式标记为晚期融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310850898.0A CN116579967B (zh) | 2023-07-12 | 2023-07-12 | 一种基于计算机视觉的三维点云图像融合系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310850898.0A CN116579967B (zh) | 2023-07-12 | 2023-07-12 | 一种基于计算机视觉的三维点云图像融合系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116579967A CN116579967A (zh) | 2023-08-11 |
| CN116579967B true CN116579967B (zh) | 2023-09-12 |
Family
ID=87545684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310850898.0A Active CN116579967B (zh) | 2023-07-12 | 2023-07-12 | 一种基于计算机视觉的三维点云图像融合系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116579967B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111898442A (zh) * | 2020-06-29 | 2020-11-06 | 西北大学 | 一种基于多模态特征融合的人体动作识别方法及装置 |
| CN114463825A (zh) * | 2022-04-08 | 2022-05-10 | 北京邮电大学 | 基于多模态融合的人脸预测方法及相关设备 |
| CN116229408A (zh) * | 2022-11-22 | 2023-06-06 | 重庆邮电大学 | 一种图像信息与激光雷达点云信息融合的目标识别方法 |
| CN116403174A (zh) * | 2022-12-12 | 2023-07-07 | 深圳市大数据研究院 | 一种端到端自动驾驶方法、系统、仿真系统及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10991156B2 (en) * | 2018-12-05 | 2021-04-27 | Sri International | Multi-modal data fusion for enhanced 3D perception for platforms |
| US20230176219A1 (en) * | 2021-12-07 | 2023-06-08 | Beijing Voyager Technology Co., Ltd. | Lidar and ambience signal fusion in lidar receiver |
-
2023
- 2023-07-12 CN CN202310850898.0A patent/CN116579967B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111898442A (zh) * | 2020-06-29 | 2020-11-06 | 西北大学 | 一种基于多模态特征融合的人体动作识别方法及装置 |
| CN114463825A (zh) * | 2022-04-08 | 2022-05-10 | 北京邮电大学 | 基于多模态融合的人脸预测方法及相关设备 |
| CN116229408A (zh) * | 2022-11-22 | 2023-06-06 | 重庆邮电大学 | 一种图像信息与激光雷达点云信息融合的目标识别方法 |
| CN116403174A (zh) * | 2022-12-12 | 2023-07-07 | 深圳市大数据研究院 | 一种端到端自动驾驶方法、系统、仿真系统及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于视觉和激光数据融合的3D多目标跟踪;房建武 等;无人系统技术;第2卷(第5期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116579967A (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112102472B (zh) | 稀疏三维点云稠密化方法 | |
| CN113408423B (zh) | 适用于tx2嵌入式平台的水产品目标实时检测方法 | |
| CN112541532B (zh) | 基于密集连接结构的目标检测方法 | |
| CN112287832A (zh) | 一种基于高分辨率遥感影像的城镇违法建筑物检测方法 | |
| CN111343182B (zh) | 一种基于灰度图的异常流量检测方法 | |
| CN112818969A (zh) | 一种基于知识蒸馏的人脸姿态估计方法及系统 | |
| CN111798469A (zh) | 基于深度卷积神经网络的数字图像小数据集语义分割方法 | |
| CN112991362B (zh) | 一种基于混合高斯模型的色选机粘连物料图像分割方法 | |
| CN112561881A (zh) | 基于评价模型的红外图像自适应数据增强方法 | |
| CN110047077B (zh) | 一种用于以太坊共识机制的图像处理方法 | |
| CN113469951A (zh) | 一种基于级联区域卷积神经网络的轮毂缺陷检测方法 | |
| CN112381299A (zh) | 一种确定空气质量的方法及装置 | |
| CN112364881B (zh) | 一种进阶采样一致性图像匹配方法 | |
| CN114972759A (zh) | 基于分级轮廓代价函数的遥感图像语义分割方法 | |
| CN112053383A (zh) | 一种机器人实时定位的方法及装置 | |
| CN113269805B (zh) | 降水事件引导的遥感降水反演训练样本自适应选取方法 | |
| CN116579967B (zh) | 一种基于计算机视觉的三维点云图像融合系统 | |
| CN112488983A (zh) | 缺陷识别网络的获得方法、缺陷识别方法和等级确定方法 | |
| CN111696147B (zh) | 一种基于改进YOLOv3模型的深度估计方法 | |
| CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
| CN111985439A (zh) | 人脸检测方法、装置、设备和存储介质 | |
| CN116503760A (zh) | 基于自适应边缘特征语义分割的无人机巡航检测方法 | |
| CN116030292A (zh) | 基于改进ResNext的混凝土表面粗糙度检测方法 | |
| CN115457001A (zh) | 基于vgg网络的光伏板异物检测方法、系统、装置及介质 | |
| CN112613521B (zh) | 基于数据转换的多层次数据分析系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |