CN113781315B - 一种基于多视角的同源传感器数据融合滤波方法 - Google Patents
一种基于多视角的同源传感器数据融合滤波方法 Download PDFInfo
- Publication number
- CN113781315B CN113781315B CN202110822344.0A CN202110822344A CN113781315B CN 113781315 B CN113781315 B CN 113781315B CN 202110822344 A CN202110822344 A CN 202110822344A CN 113781315 B CN113781315 B CN 113781315B
- Authority
- CN
- China
- Prior art keywords
- data
- view
- transformation
- sensor
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000009466 transformation Effects 0.000 claims abstract description 47
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 238000011426 transformation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明涉及机器视觉技术领域，一种基于多视角的同源传感器数据融合滤波方法，首先从布置于不同方位的传感器获取同一规则物体的多视角原始数据，再基于传感器的姿态信息，利用配准算法分别计算出各个视角数据的坐标变换关系，利用相应的变换关系将对应数据转换至同一坐标系后，分别对坐标转化之后不同视角的数据单独进行最邻近特征提取，利用各视角最邻近特征之间的几何关系，计算得到规则货物的俯视边界信息，利用该俯视边界信息剔除该边界之外的噪声点，得到更加接近真实位置的规则物体边界。本方法能准确提取规则物体边界信息，能有效过滤规则物体噪声点，避免过度滤波和欠滤波，并可充分利用货物几何特征，自适应强，无调参过程。
Description
技术领域
本发明涉及机器视觉技术领域，一种基于多视角的同源传感器数据融合滤波方法。
背景技术
点云滤波通常为点云预处理的第一步，只有将噪声点、离群点、数据压缩等做相关处理后，才能更好地进行配准、曲面重建、可视化等应用。点云数据集中每一个点表达一定的信息量，某个区域点越密集有用的信息量越大。孤立的离群点信息量较小，其表达的信息量可以忽略不计。目前常用的滤波器有以下几种：
1、直通滤波器：对于在空间分布有一定空间特征的点云数据，比如使用线结构光扫描的方式采集点云，沿z向分布较广，但x,y向的分布处于有限范围内。此时可使用直通滤波器，确定点云在x或y方向上的范围，可较快剪除离群点，达到第一步粗处理的目的。
2、体素滤波器：使用轴对齐包围盒(AABB)或者有向包围盒(OBB)将点云数据体素化，一般体素越密集的地方信息越多，噪音点及离群点可通过体素网格去除。另一方面如果使用高分辨率相机等设备对点云进行采集，往往点云会较为密集。过多的点云数量会对后续分割工作带来困难。体素滤波器可以达到向下采样同时不破坏点云本身几何结构的功能。
3、统计滤波器：考虑离群点的分布特征，则可以定义某处点云小于某个密度，既点云无效。计算每个点到其邻近点的平均距离，假设邻域内所有点的距离构成高斯分布，可以计算出均值μ与方差σ。这个邻域点集中所有点与其邻域距离大于μ+std_mul*σ区间之外的点都可以被视为离群点，并可从点云数据中剔除。std_mul是标准差倍数的一个阈值，可以人为设定。
4、条件滤波：条件滤波器通过设定滤波条件进行分段滤波，如果点云满足滤波条件则保留，不满足则舍弃。
5、半径滤波器：半径滤波器与统计滤波器相比更加直接，以某点为中心统计半径r邻域范围内点的数量，当数量大于阈值时，则保留该点，数量小于给定值则剔除该点。此算法运行速度快，依序迭代留下的点一定是最密集的，但是圆的半径和圆内点的数目都需要人工指定。
现有技术具有如下不足：
不足1：直通滤波器和条件滤波器适合噪声点分布均匀或者对称的情况，但是融合数据往往不具备这种分布特点，如果阈值设置过大会导致过度滤波，过小则对导致欠滤波，不能有效滤掉噪声点。而且滤波阈值需要反复测试才能确定，场景适应性不稳定。
不足2：体素滤波器只能起到降采样的作用，不能有效去噪。
不足3：半径滤波器不能有效保留边界信息，容易出现模糊边界的现象，从而不能有效过滤边界噪声点。
发明内容
为解决上述问题，本发明提出一种基于多视角的同源传感器数据融合滤波方法，本方法充分利用单视角数据与融合数据的不同特征，选取单视角最邻近特征特点；数据分拆处理，减轻整体数据处理过程中噪声点对几何特征的影响；自适应能力强，避免了其它滤波方法的调参繁琐过程。
为实现上述目的，本发明采用的技术方案是：
一种基于多视角的同源传感器数据融合滤波方法，步骤如下：首先从布置于不同方位的传感器获取同一规则物体的多视角原始数据，再基于传感器的姿态信息，利用匹配算法分别计算出各视角数据的坐标变换关系，利用相应的变换关系将对应数据转换至同一坐标系，完成同一物体的数据融合，分别对坐标转化之后不同视角的数据单独进行最邻近特征提取，利用各个视角最邻近特征之间的几何关系，计算得到规则货物的俯视边界信息，利用该俯视边界信息剔除该边界之外的噪声点，得到更加接近真实位置的规则物体边界。
作为优选的，所述视角数据的坐标变换关系的匹配方法采用频域变换法，进行变换前首先需要利用图像技术包括刚体变换、仿射变换、透视变换其中的一种或其组合，将视角数据转换成正射图像再进行匹配。
作为优选的，所述邻近特征包括物体的角点和边界，所述角点表示规则货物俯视图的矩形框角点，边界表示与角点关联的货物俯视图矩形框边界，最邻近标准是角点与传感器的距离最短。
作为优选的，将对应数据转换至同一坐标系时，计算每个传感器的外参矩阵，利用外参矩阵完成同一物体的数据融合。
作为优选的，将对应数据转换至同一坐标系时，首先选取其中一个传感器作为基准坐标系，该传感器的外参矩阵为单位矩阵，然后利用匹配算法将其它传感器得到数据转换到基准坐标系中，从而计算出相应传感器的外参矩阵，
作为优选的，所述匹配算法包括特征匹配、迭代最近点算法ICP和正态分布变换NDT。
本发明的有益效果是：
本数据融合滤波方法能准确提取规则物体边界信息，能有效过滤规则物体噪声点，避免过度滤波和欠滤波，并可充分利用货物几何特征，自适应强，无调参过程。
附图说明
图1为本发明基于多视角的同源传感器数据融合滤波方法的流程图。
图2为本发明基于多视角的同源传感器数据融合滤波方法单视角图。
图3为本发明基于多视角的同源传感器数据融合滤波方法多视角融合图。
图4为本发明基于多视角的同源传感器数据融合滤波方法物体融合数据立体图。
具体实施方式
以下结合附图对本发明进行详细的描述。
如图1-图4所示，本实施例中的一种基于多视角的同源传感器数据融合滤波方法，步骤如下：首先从布置于不同方位的传感器获取同一规则物体的多视角原始数据，再基于传感器的姿态信息，利用配准算法分别计算出各个视角数据的坐标变换关系，利用相应的变换关系将对应数据转换至同一坐标系，完成同一物体的数据融合，分别对坐标转化之后不同视角的数据单独进行最邻近特征提取，利用各个视角最邻近特征之间的几何关系，计算得到规则货物的俯视边界信息，利用该俯视边界信息剔除该边界之外的噪声点，得到更加接近真实位置的规则物体边界。
作为优选的，视角数据的坐标变换关系的匹配算法包括频域变换，以及刚体变换、仿射变换、透视变换其中的一种或其组合。
邻近特征包括物体的角点和边界，角点表示规则货物俯视图的矩形框角点，边界表示与角点关联的货物俯视图矩形框边界，最邻近标准是角点与传感器的距离最短。
将对应数据转换至同一坐标系时，计算每个传感器的外参矩阵，利用外参矩阵完成同一物体的数据融合。具体为，将对应数据转换至同一坐标系时，首先选取其中一个传感器作为基准坐标系，该传感器的外参矩阵为单位矩阵，然后利用匹配算法将其它传感器得到数据转换到基准坐标系中，从而计算出相应传感器的外参矩阵。
上述的匹配算法包括特征匹配、频域变换、迭代最近点算法ICP和正态分布变换NDT。
实施例1
本实施例提出的一种基于多视角的同源传感器数据融合滤波方法。本方法首先从布置于不同方位的传感器获取同一规则物体的多视角原始数据，再基于传感器的姿态信息，利用配准算法分别计算出各个视角数据的坐标变换关系，包括涉及频域变换、刚体变换、仿射变换和/或透视变换等，利用相应的变换关系将对应数据转换至同一坐标系。如此完成同一物体的数据融合，也即得到了多视角同源传感器的数据融合关系。其次分别对坐标转化之后不同视角的数据单独进行最邻近特征提取：角点和边界，角点表示规则货物俯视图的矩形框角点，边界表示与角点关联的货物俯视图矩形框边界，最邻近标准是角点与传感器，即相机坐标系原点的距离最短。该邻近特征为该视角中距离传感器最近的特征信息，如此可以得到能确定规则物体几何边界的角点和边界信息。然后利用各视角最邻近特征之间的几何关系，计算得到规则货物的俯视边界信息。最后利用该俯视边界信息剔除该边界之外的噪声点，得到更加接近真实位置的规则物体边界。融合滤波流程如图1所示。
具体的，本实施例提出的一种基于多视角的同源传感器数据融合滤波方法，以立方体形的货物为例，详细说明本方法的过程。
视角数据的坐标变换关系的匹配方法采用频域变换法，进行变换前首先需要利用图像技术包括刚体变换、仿射变换、透视变换其中的一种或其组合，将视角数据转换成正射图像再进行匹配。
数据获取：本方法对于不同安装方位的深度传感器组合都适用，为满足应用场景，所有深度传感器视角会瞄准同一目标区域，获取相应视角原始深度图数据。
统一坐标系：该步骤的核心工作在于计算每个传感器的外参矩阵(也即旋转矩阵R和平移矩阵T，两者构成4x4变换矩阵)。首先选取其中一个传感器作为基准坐标系，该传感器的外参矩阵为单位矩阵，然后利用匹配算法，比如特征匹配、频域变换、迭代最近点算法ICP(Iterative Closest Point)和正态分布变换NDT(Normal Distribution Transform)将其它传感器得到数据转换到基准坐标系中，从而计算出相应传感器的外参矩阵，得到的融合数据如货物融合数据立体图所示。
最邻近特征提取：如图1所示，每个视角获取的点云数据都能很好保留距相机最近的货物角点及其两条邻边信息，基本不受噪声点干扰。因此基于其二维平面投影数据计算出每个传感器数据的外接矩形，保留最邻近特征，即角点和两条邻边。最邻近角点取外接矩形四个角点中距离相机最近的角点。
完整货物边界构建：在上一步提取出货物所有关键的最邻近特征后，再根据传感器的外参矩阵将其坐标统一至基准坐标系中。根据角点和邻边的位置关系计算出剩余角点信息，最后构成货物的完整边界，如图2所示。
噪声点过滤：基于上步骤计算得到的边界信息，保留落在边界内的点，剔除边界外的噪声点，最后得到融合滤波结果，如图3所示。
以上内容仅为本发明的较佳实施例，对于本领域的普通技术人员，依据本发明的思想，在具体实施方式及应用范围上可以作出许多变化，只要这些变化未脱离本发明的构思，均属于本发明的保护范围。
Claims (2)
1.一种基于多视角的同源传感器数据融合滤波方法，其特征在于：步骤如下：首先从布置于不同方位的传感器获取同一规则物体的多视角原始数据，再基于传感器的姿态信息，利用配准算法分别计算出各个视角数据的坐标变换关系，利用相应的变换关系将对应数据转换至同一坐标系，完成同一物体的数据融合，分别对坐标转化之后不同视角的数据单独进行最邻近特征提取，利用各视角最邻近特征之间的几何关系，计算得到规则货物的俯视边界信息，利用该俯视边界信息剔除该边界之外的噪声点，得到更加接近真实位置的规则物体边界；
所述基于多视角的同源传感器数据融合滤波方法还包括：计算每个传感器的坐标系转换矩阵，利用该转换矩阵将对应数据转换至同一坐标系中，完成同一物体的不同视角数据的融合；
将对应数据转换至同一坐标系时，首先选取其中一个传感器作为基准坐标系，该传感器的外参矩阵为单位矩阵，然后利用匹配算法将其它传感器得到数据转换到基准坐标系中，从而计算出相应传感器的外参矩阵；
所述匹配算法包括特征匹配、迭代最近点算法ICP和正态分布变换NDT；
所述邻近特征包括物体的角点和边界，所述角点表示规则货物俯视图的矩形框角点，边界表示与角点关联的货物俯视图矩形框边界，最邻近标准是角点与传感器的距离最短；
提取出货物所有关键的最邻近特征后，再根据传感器的外参矩阵将其坐标统一至基准坐标系中，根据角点和邻边的位置关系计算出剩余角点信息，最后构成货物的完整边界。
2.根据权利要求1所述的基于多视角的同源传感器数据融合滤波方法，其特征在于：所述视角数据的坐标变换关系的配准算法采用频域变换法，在进行变换前首先需要利用图像技术包括刚体变换、仿射变换、透视变换其中的一种或其组合，将视角数据转换成正射图像后再进行匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110822344.0A CN113781315B (zh) | 2021-07-21 | 2021-07-21 | 一种基于多视角的同源传感器数据融合滤波方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110822344.0A CN113781315B (zh) | 2021-07-21 | 2021-07-21 | 一种基于多视角的同源传感器数据融合滤波方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113781315A CN113781315A (zh) | 2021-12-10 |
| CN113781315B true CN113781315B (zh) | 2024-06-18 |
Family
ID=78836126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110822344.0A Active CN113781315B (zh) | 2021-07-21 | 2021-07-21 | 一种基于多视角的同源传感器数据融合滤波方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113781315B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117236247B (zh) * | 2023-11-16 | 2024-01-23 | 零壹半导体技术(常州)有限公司 | 一种用于芯片测试的信号屏蔽线生成方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109087388A (zh) * | 2018-07-12 | 2018-12-25 | 南京邮电大学 | 基于深度传感器的物体三维建模方法 |
| CN109556511A (zh) * | 2018-11-14 | 2019-04-02 | 南京农业大学 | 一种基于多视角rgb-d融合技术的悬架式高通量温室植物表型测量系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE602007003849D1 (de) * | 2007-10-11 | 2010-01-28 | Mvtec Software Gmbh | System und Verfahren zur 3D-Objekterkennung |
| US9053571B2 (en) * | 2011-06-06 | 2015-06-09 | Microsoft Corporation | Generating computer models of 3D objects |
| US20130004059A1 (en) * | 2011-07-01 | 2013-01-03 | Amir Said | Aligning stereoscopic images |
| CN104036279B (zh) * | 2014-06-12 | 2017-04-05 | 北京联合大学 | 一种智能车行进控制方法及系统 |
| EP3192057A4 (en) * | 2014-09-10 | 2018-03-21 | Vangogh Imaging Inc. | Real-time dynamic three-dimensional adaptive object recognition and model reconstruction |
| CN108896547A (zh) * | 2018-03-14 | 2018-11-27 | 浙江大学山东工业技术研究院 | 基于机器视觉的耐火砖测量系统 |
| CN110472658B (zh) * | 2019-07-05 | 2023-02-14 | 哈尔滨工程大学 | 一种动目标多源探测的层次融合与提取方法 |
| CN111310740B (zh) * | 2020-04-14 | 2023-03-28 | 深圳市异方科技有限公司 | 一种运动情况下行人行李体积测量装置 |
| CN111986115A (zh) * | 2020-08-22 | 2020-11-24 | 王程 | 激光点云噪声和冗余数据的精准剔除方法 |
-
2021
- 2021-07-21 CN CN202110822344.0A patent/CN113781315B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109087388A (zh) * | 2018-07-12 | 2018-12-25 | 南京邮电大学 | 基于深度传感器的物体三维建模方法 |
| CN109556511A (zh) * | 2018-11-14 | 2019-04-02 | 南京农业大学 | 一种基于多视角rgb-d融合技术的悬架式高通量温室植物表型测量系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113781315A (zh) | 2021-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2206090B1 (de) | Verfahren und vorrichtung zum darstellen eines virtuellen objekts in einer realen umgebung | |
| EP2206089B1 (de) | Verfahren und vorrichtung zum darstellen eines virtuellen objekts in einer realen umgebung | |
| Oehler et al. | Efficient multi-resolution plane segmentation of 3D point clouds | |
| CN111507390A (zh) | 一种基于轮廓特征的仓储箱体识别与定位方法 | |
| CN113178009A (zh) | 一种利用点云分割和网格修补的室内三维重建方法 | |
| CN107767456A (zh) | 一种基于rgb‑d相机的物体三维重建方法 | |
| CN107680168B (zh) | 三维重建中基于平面拟合的网格简化方法 | |
| CN112307553B (zh) | 一种对三维道路模型进行提取与简化的方法 | |
| CN112164145B (zh) | 基于点云数据快速提取室内三维线段结构的方法 | |
| CN110827408B (zh) | 一种基于深度传感器的实时三维重建方法 | |
| CN113362385A (zh) | 一种基于深度图像的货物体积测量方法及设备 | |
| CN113781315B (zh) | 一种基于多视角的同源传感器数据融合滤波方法 | |
| CN115359083A (zh) | 障碍物的轮廓获取方法、系统、介质及电子设备 | |
| CN116921932A (zh) | 焊接轨迹识别方法、装置、设备及存储介质 | |
| Böhm et al. | Model refinement by integrated processing of laser scanning and photogrammetry | |
| CN117934515A (zh) | 一种生成包括道路分割信息的栅格地图方法及相关装置 | |
| CN116758217A (zh) | 一种基于固定传感器的物体表面三维重建方法 | |
| CN113111741A (zh) | 一种基于三维特征点的装配状态识别方法 | |
| CN113409242A (zh) | 一种轨交弓网点云智能监测方法 | |
| CN110969650B (zh) | 一种基于中心投影的强度图像与纹理序列间的配准方法 | |
| CN116878524A (zh) | 一种基于金字塔l-k光流与多视角几何约束的动态slam稠密地图构建方法 | |
| CN116486015A (zh) | 一种格子柜的三维尺寸自动检测和cad数模重建方法 | |
| CN111445571B (zh) | 一种用于室内设计多种效果图一次生成方法及系统 | |
| CN115578314A (zh) | 基于连续边缘提取的眼镜框识别及抓取上料方法 | |
| CN115131459A (zh) | 平面布置图重建方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |