CN115034988A - 一种基于rgbd相机的两阶段主体点云滤波方法 - Google Patents
一种基于rgbd相机的两阶段主体点云滤波方法 Download PDFInfo
- Publication number
- CN115034988A CN115034988A CN202210634535.9A CN202210634535A CN115034988A CN 115034988 A CN115034988 A CN 115034988A CN 202210634535 A CN202210634535 A CN 202210634535A CN 115034988 A CN115034988 A CN 115034988A
- Authority
- CN
- China
- Prior art keywords
- image
- point cloud
- pixel
- camera
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于RGBD相机的两阶段点云滤波方法,其涉及点云滤波技术领域,包括:读取包含拍摄主体的RGBD相机数据,获取对齐的RGB图和深度图图像对;根据相机标定内参及对齐的RGB和深度图像对,生成原始三维点云图;采用基于学习的前景抠图技术对所述图像对中的RGB图像进行前景提取并生成前景对象的透明度图像。本发明能准确的提取拍摄主体的点云,克服了传统滤波算法无法有效去除由RGBD相机制造工艺和测量原理而导致的点云深度域上不连续处的边缘噪声的缺陷,且可应用于任意深度相机及任意主体的点云滤波任务中。
Description
技术领域
本发明涉及点云滤波技术领域,尤其涉及一种基于RGBD相机的两阶段主体点云滤波方法。
背景技术
随着3D扫描技术的最新进展,使得可实时获取对齐的RGB图像和深度图像的RGBD相机已经被广泛应用于三维视觉领域。但是,由于相机制造工艺、测量原理以及外界环境的影响,使得由RGBD相机所获取的深度图像而生成的点云存在较为严重的噪声数据,特别是深度域上不连续的边缘处噪声数据尤为明显。只有在有效的滤波处理中将此类噪声数据去除,才能够更好的完成后续的点云相关任务。
现有的大多数滤波需求都是通过传统的点云滤波方式,如直通滤波、体素滤波、统计滤波等,或直接基于已广泛使用的数字图像处理的相关算法,如均值滤波、中值滤波、双边滤波等来完成滤波操作。但以上算法存在两个明显的弊端,首先它们通常需要搭配使用,才能确保大部分噪声的有效去除。此外,此类方法的第二个缺点也是最为致命的缺点,即这类方法无法对深度域上不连续处的边缘噪声奏效,这类噪声依附于主体点云的边缘,与主体点云贴近且数量较多,以上所述方法对这类噪声的去除都具有明显的缺陷。
发明内容
本发明的内容是提供一种基于RGBD相机的两阶段主体点云滤波方法,其通用性强并克服了现有技术的部分缺陷。
本发明采用以下技术方案:
一种基于RGBD相机的两阶段主体点云滤波方法,包括以下具体步骤:
步骤1,读取包含拍摄主体的RGBD相机图像数据,获得由对齐的RGB图像和深度图像构成的图像对;
步骤2,根据相机内参数据及对齐的RGB和深度图像对,还原像素点至三维空间中,生成相机坐标系下的待滤波的原始三维点云图,图像与点云间的映射公式为:
步骤3,采用基于学习的前景抠图技术对所述图像对中的RGB图像进行前景提取并生成前景对象的透明度图像;
步骤4,基于所述的透明度图像确定主体对象所属像素的空间邻域R及空间邻域权重集合W,对主体对象进行空间域上的深度修复,获得完整的主体点云。主体对象所属像素的空间邻域R构成具体如下:
步骤6,在第一阶段粗滤波的结果上叠加由透明度图像所指示的第二阶段的精滤波,得到最终的主体点云滤波结果;
作为本发明的进一步优化方案,步骤3的具体步骤如下:
利用前景抠图网络对所获取的RGB图像进行前景分割,其网络输出与输入图像相同分辨率的透明度图S且与原图像逐像素对齐,其各像素位置所存储元素a表示为当前像素前景与背景的混合程度。
作为本发明的进一步优化方案,步骤5的具体步骤如下:
其次再根据当前主体对象Z方向上的尺寸先验信息b,便得到以下粗滤波公式:
作为本发明的进一步优化方案,步骤6的具体步骤如下:
利用前景抠图网络对所获取的RGB图像进行前景分割,其网络输出与输入图像相同分辨率的透明度图S,S中各像素位置所存储元素a表示为当前像素前景与背景的混合程度。
与现有技术相比,本发明算法流程清晰有效,在仅利用先验信息的条件下对整体非主体噪声做到了有效去除,并首次结合抠图技术作为后续深度修复及边缘噪声去除的指导,克服了传统滤波算法无法有效去除点云深度域上不连续处边缘噪声的缺陷,能够准确的提取出主体点云且针对于任意RGBD相机及任意主体的点云提取均具有可复制性。
附图说明
图1是本发明的方法流程图;
图2是RGBD相机获取的对齐的RGB图像和深度图像;
图3是待滤波的原始带颜色信息的三维点云图;
图4是RGB图像前景抠图结果;
图5是粗滤波后的带颜色信息的三维点云图;
图6是精滤波后带颜色信息的三维点云图;
具体实施方式
下面结合附图和实施例对本发明作进一步的说明。
如图1所示,本发明提供一种基于RGBD相机的两阶段主体点云滤波方法,包括以下具体步骤:
步骤1,读取包含拍摄主体的RGBD相机图像数据,获得由对齐的RGB图像和深度图像构成的图像对,如图2所示;其中RGB图像和深度图像对齐的操作由相机原厂或相机开发SDK中提供的相机位姿参数实现。
步骤2,根据相机内参数据及对齐的RGB和深度图像对,还原像素点至三维空间中,生成相机坐标系下的待滤波的原始三维点云图,如图3所示,图像与点云间的映射公式为:
步骤3,采用基于学习的前景抠图技术对所述图像对中的RGB图像进行前景提取并生成前景对象的透明度图像,如图4所示。
步骤4,基于所述的透明度图像确定主体对象所属像素的空间邻域R及空间邻域权重集合W,对主体对象进行空间域上的深度修复,获得完整的主体点云。主体对象所属像素的空间邻域R构成具体如下:
步骤5,以拍摄时确保主体目标与相机间无遮挡及主体尺寸的先验信息,确定相机坐标系中轴方向上的点云滤波区间,完成对主体点云第一阶段的粗滤波,如图5所示;由于主体点云滤波任务中所拍摄主体是已知的,因此,只需要对主体目标在Z轴方向上(即深度方向)的尺寸做粗略的预设就可以结合该步骤内的内容得到该主体目标的Z方向上的具体滤波范围。
步骤6,在第一阶段粗滤波的结果上叠加由分割结果所指导的第二阶段的精滤波,用于有效去除点云深度域上不连续处的边缘噪声,得到最终的主体点云滤波结果;因为透明度值越大,则代表当前像素中前景物体颜色更为明显,反之则背景颜色更加明显(透明度的过渡区域理论上应出现在前后景的分离区域)。因此以透明度值作为属于前景物体的置信度,即透明度值越高,则该像素属于前景物体的概率就越大,以此来过滤掉前后景分离区域中的不确定像素(即边缘噪声),最后两阶段滤波操作叠加后的结果,就是最终滤波后主体的点云,如图6所示。
本实施例中,步骤2中相机内参的标定通过RGBD相机拍摄多幅包含完整平面棋盘标定板图像,使用张正友平面标定法对其计算得来。这个标定过程对于任意所用的RGBD相机只需特定执行一次。
本实施例中,步骤3的具体步骤如下:
利用前景抠图网络对所获取的RGB图像进行前景分割,其网络输出与输入图像相同分辨率的透明度图S且与原图像逐像素对齐,其各像素位置所存储元素a表示为当前像素前景与背景的混合程度。
本实施例中,步骤5的具体步骤如下:
其次再根据当前主体对象Z方向上的尺寸先验信息b,便得到以下粗滤波公式:
本实施例中,步骤6的具体步骤如下:
以上仅对本发明及其实施方式进行了示意性的描述,但本发明保护的范围并不局限于此。任何熟悉本领域的相关技术人员受其启示,在不脱离本发明创造宗旨的情况下,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (4)
1.一种基于RGBD相机的两阶段主体点云滤波方法,其特征在于,该方法包含以下具体步骤:
步骤1,读取包含拍摄主体的RGBD相机图像数据,获得由对齐的RGB图像和深度图像构成的图像对;
步骤2,根据相机内参数据及对齐的RGB和深度图像对,还原像素点至三维空间中,生成相机坐标系下的待滤波的原始三维点云图,图像与点云间的映射公式为:
步骤3,采用基于学习的前景抠图技术对所述图像对中的RGB图像进行前景提取并生成前景对象的透明度图像;
步骤4,基于所述的透明度图像确定主体对象所属像素的空间邻域R及空间邻域权重集合W,对主体对象进行空间域上的深度修复,获得完整的主体点云,
主体对象所属像素的空间邻域R构成具体如下:
步骤6,在第一阶段粗滤波的结果上叠加由透明度图像所指示的第二阶段的精滤波,得到最终的主体点云滤波结果。
2.根据权利要求1所述的一种基于RGBD相机的两阶段主体点云滤波方法,其特征在于,步骤3的具体步骤如下:
利用前景抠图网络对所获取的RGB图像进行前景分割,其网络输出与输入图像相同分辨率的透明度图S且与原图像逐像素对齐,其各像素位置所存储元素a表示为当前像素前景与背景的混合程度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210634535.9A CN115034988A (zh) | 2022-06-06 | 2022-06-06 | 一种基于rgbd相机的两阶段主体点云滤波方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210634535.9A CN115034988A (zh) | 2022-06-06 | 2022-06-06 | 一种基于rgbd相机的两阶段主体点云滤波方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115034988A true CN115034988A (zh) | 2022-09-09 |
Family
ID=83122572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210634535.9A Pending CN115034988A (zh) | 2022-06-06 | 2022-06-06 | 一种基于rgbd相机的两阶段主体点云滤波方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115034988A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116704125A (zh) * | 2023-06-02 | 2023-09-05 | 深圳市宗匠科技有限公司 | 一种基于三维点云的映射方法、装置、芯片及模组设备 |
-
2022
- 2022-06-06 CN CN202210634535.9A patent/CN115034988A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116704125A (zh) * | 2023-06-02 | 2023-09-05 | 深圳市宗匠科技有限公司 | 一种基于三维点云的映射方法、装置、芯片及模组设备 |
CN116704125B (zh) * | 2023-06-02 | 2024-05-17 | 深圳市宗匠科技有限公司 | 一种基于三维点云的映射方法、装置、芯片及模组设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111066065B (zh) | 用于混合深度正则化的系统和方法 | |
TWI729995B (zh) | 基於場景之拍攝圖像而產生合併、融合三維點雲 | |
KR101121034B1 (ko) | 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품 | |
TWI441095B (zh) | 距離估算方法及其距離估算裝置,及其機器可讀取媒體 | |
JP2016513320A (ja) | 少なくとも1つの追加イメージを用いたイメージ改善及びエッジ検証のための方法及び装置 | |
JP2016505186A (ja) | エッジ保存・ノイズ抑制機能を有するイメージプロセッサ | |
WO2014044569A1 (en) | Depth image enhancement method | |
JP2015231220A (ja) | 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム | |
JP2020129276A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
EP3798975A1 (en) | Method and apparatus for detecting subject, electronic device, and computer readable storage medium | |
CN111107337B (zh) | 深度信息补全方法及其装置、监控系统和存储介质 | |
Serna et al. | Data fusion of objects using techniques such as laser scanning, structured light and photogrammetry for cultural heritage applications | |
CN115035235A (zh) | 三维重建方法及装置 | |
CN115034988A (zh) | 一种基于rgbd相机的两阶段主体点云滤波方法 | |
CN107004274B (zh) | 估计未聚焦全光数据的深度的方法和装置 | |
KR102327304B1 (ko) | 깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법 | |
JP5906696B2 (ja) | 車両周辺撮影装置および車両周辺画像の処理方法 | |
CN117058183A (zh) | 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质 | |
CN114359414A (zh) | 镜头脏污识别方法、装置、计算机设备及存储介质 | |
CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
JP5891751B2 (ja) | 画像間差分装置および画像間差分方法 | |
JP7421273B2 (ja) | 画像処理装置及びその制御方法及びプログラム | |
CN111080689B (zh) | 确定面部深度图的方法和装置 | |
CN112581411B (zh) | 一种图像去雾的方法及终端 | |
JP6314281B1 (ja) | 画像処理方法及び前景領域取得方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |