CN112102345A - 一种基于深度相机和Lidar的绿幕抠像方法 - Google Patents

一种基于深度相机和Lidar的绿幕抠像方法 Download PDF

Info

Publication number
CN112102345A
CN112102345A CN202010974404.6A CN202010974404A CN112102345A CN 112102345 A CN112102345 A CN 112102345A CN 202010974404 A CN202010974404 A CN 202010974404A CN 112102345 A CN112102345 A CN 112102345A
Authority
CN
China
Prior art keywords
image
boundary
point
points
dsm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010974404.6A
Other languages
English (en)
Inventor
张赐
吕云
胡雨森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Weiai New Economic And Technological Research Institute Co ltd
Original Assignee
Chengdu Weiai New Economic And Technological Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Weiai New Economic And Technological Research Institute Co ltd filed Critical Chengdu Weiai New Economic And Technological Research Institute Co ltd
Priority to CN202010974404.6A priority Critical patent/CN112102345A/zh
Publication of CN112102345A publication Critical patent/CN112102345A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本发明公开了一种基于深度相机和Lidar的绿幕抠像方法，涉及图像处理技术领域。本发明包括如下步骤：S1：深度相机采用绿幕图像，用滤波后得到nDSM数据点来生成DSM深度影像；S2：对DSM深度影像进行处理；S3：使用Canny算子进行边界检测提取图形初始边界；S4：检测出初始边界的角点；S5：根据角点进行边界的最小二乘拟合，得到规则的图形边界；S6：使用最小二乘拟合图形边界，将图像抠出。本发明通过nDSM数据点生产DSM深度影像，对影像进行处理，采用基于阈值分割的二值化并剔除小面积粒子，得到图像区域，最后使用边界检测算法将原始边界提取出来，并检测其角点，利用最小二乘法进行拟合，得到最终的图像边界并进行抠图，提高了抠像效率、降低了成本。

Description

一种基于深度相机和Lidar的绿幕抠像方法
技术领域
本发明属于图像处理技术领域，特别是涉及一种基于深度相机和Lidar的绿幕抠像方法。
背景技术
得益于大规模集成电路的高速发展，摄像头的像素级别越来越高，对于高清视频的处理需求在不断增长。早期的人物的抠像技术效率低下，已经无法在高分辨率的视频流中保持良好的实时性。并且只有在简单特定背景下，才能够达到较好的抠像效果。对于复杂背景，大多数抠像算法需要在多次人机交互的情况下才能够得到令人满意的结果，计算复杂度高，在很大程度上限制了抠像算法的实际应用。当然，当前流行的深度学习算法，可得到较好的抠图效果，但是依赖GPU，使用成本昂贵。
抠像技术在信息时代普遍应用到各行各业，在商城图片展示、视频剪辑、电影制作、直播平台、虚拟现实、增强现实等众多科技产业中扮演重要的角色；现有技术中对于包括人物抠像在内的各种抠像，主要采用Grabcut算法即图割算法，该算法是基于MRF(MarkovRandom Field马尔可夫随机场)能量最小化框架兴起的一个研究热点，该理论结合多种理论知识进行全局最优求解。Grabcut算法是对图割算法的改进与发展，是目前图割理论应用于图像分割领域的成熟运用的代表之一。对该算法的改进也有很多，如构建颜色、纹理等信息模型来优化能量函数，增加预处理和迭代步骤以提高效率等，这些方法虽然提高了目标提取结果的精度，但计算量非常庞大，处理大型图片处理速度更加缓慢，大部分算法需要依靠价格昂贵的显卡支持。
发明内容
本发明的目的在于提供一种基于深度相机和Lidar的绿幕抠像方法，通过nDSM数据点生产DSM深度影像，对影像进行处理，采用基于阈值分割的二值化并剔除小面积粒子，得到图像区域，最后使用边界检测算法将原始边界提取出来，得到最终的图像边界并进行抠图，解决了现有的抠像耗时长、成本高、算法复杂度高问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为一种基于深度相机和Lidar的绿幕抠像方法，包括如下步骤：
步骤S1：深度相机采用绿幕图像，用滤波后得到nDSM数据点来生成DSM深度影像；
步骤S2：对DSM深度影像进行处理；
步骤S3：使用Canny算子进行边界检测提取图形初始边界；
步骤S4：检测出初始边界的角点；
步骤S5：根据角点进行边界的最小二乘拟合，得到规则的图形边界；
步骤S6：使用最小二乘拟合图形边界，将图像抠出。
优选地，所述步骤S1中，将原始的Li-DAR点云和滤波后得到nDSM数据点，将nDSM数据点云数据内插成规则格网，然后按照灰度值与高程值比例的原则，得到每个像素的灰度值，根据灰度值情况生成DSM深度影像。
优选地，所述插成规则格网具体采用最邻近点插值法进行插值，将距格网点最近点的高程值作为格网点的高程值，从而生成规则格网DSM；然后搜索所有格网点，得到高程的最大值Zmax和最小值Zmin；利用下方公式，计算出每个格网点在256灰度图上的；
Figure BDA0002685265390000031
式中，Pixel(i)表示该点的灰度值，Zi表示格网中该点的高程值。
优选地，所述DSM深度影像的处理流程包括：
滤波平滑处理，采用中值滤波处理方法，用于在剔除噪声点的同时减弱图像边界的模糊程度；
形态学图像处理，依次对图像进行腐蚀、膨胀，用于将图像中不均匀的灰度值剔除；
图像二值化，对图像进行阈值分割并二值化处理，并剔除二值化图像中的小面积区域来剔除；
剔除小面积粒子，根据最小采集图像的面积作为判断标准，设定面积阈值，将小于阈值的区域剔除掉。
优选地，所述步骤S4中，初始边界角点的检测采用Harris角点检测，若图像是规则形状的图像，则检测出四个拐点处的角点，则完成角点的构建；若图像是不规则图像，则设置多个角点。
优选地，所述步骤S6中，角点将初始边界分段并标号，记录线段的总段数以及每条线段上的点号；若相邻两直线段的夹角接近90°，则将两线段按垂直处理；若相邻两直线段的夹角接近180°，则将这两条线段进行合并，并标记线段上的点号；采用最小二乘法对各线段分别进行直线拟合。
优选地，所述线段的拟合方程如下：
yi＝aixi+bi；
式中，i为不同的线段，ai、bi为方程系数。
本发明具有以下有益效果：
本发明通过nDSM数据点生产DSM深度影像，对影像进行处理，采用基于阈值分割的二值化并剔除小面积粒子，得到图像区域，最后使用边界检测算法将原始边界提取出来，并检测其角点，利用最小二乘法进行拟合，得到最终的图像边界并进行抠图，提高了抠像效率、降低了成本。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种基于深度相机和Lidar的绿幕抠像方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种基于深度相机和Lidar的绿幕抠像方法，包括如下步骤：
步骤S1：深度相机采用绿幕图像，用滤波后得到nDSM数据点来生成DSM深度影像；
步骤S2：对DSM深度影像进行处理；
步骤S3：使用Canny算子进行边界检测提取图形初始边界；
步骤S4：检测出初始边界的角点；
步骤S5：根据角点进行边界的最小二乘拟合，得到规则的图形边界；
步骤S6：使用最小二乘拟合图形边界，将图像抠出。
其中，步骤S1中，将原始的Li-DAR点云和滤波后得到nDSM数据点，将nDSM数据点云数据内插成规则格网，然后按照灰度值与高程值比例的原则，得到每个像素的灰度值，根据灰度值情况生成DSM深度影像。
其中，插成规则格网具体采用最邻近点插值法进行插值，将距格网点最近点的高程值作为格网点的高程值，从而生成规则格网DSM；然后搜索所有格网点，得到高程的最大值Zmax和最小值Zmin；利用下方公式，计算出每个格网点在256灰度图上的；
Figure BDA0002685265390000051
式中，Pixel(i)表示该点的灰度值，Zi表示格网中该点的高程值；公式Pixel(i)能够计算出每个格网在256灰度图上的灰度值，将格网三维点坐标中的X、Y坐标转化为DSM深度影像的横、纵坐标，一个坐标点与一个像素点相对应，便生成了与DSM规则格网大小相投的DSM深度影像。
其中，DSM深度影像的处理流程包括：
滤波平滑处理，采用中值滤波处理方法，用于在剔除噪声点的同时减弱图像边界的模糊程度；由于机载LiDAR点云数据本身存在一些噪声点，nDSM数据主要含有多种地物信息，需要进行图像处理。
形态学图像处理，依次对图像进行腐蚀、膨胀，用于将图像中不均匀的灰度值剔除；这一步的目的主要是提出植被点，由于植被点的高程值是散乱的，在图像中显示为灰度值不连续的点簇，因此对图像进行腐蚀和膨胀，可以实现图像中不俊园灰度值的剔除，从而将大部分植被剔除。
图像二值化，对图像进行阈值分割并二值化处理，并剔除二值化图像中的小面积区域来剔除，目的是剔除面积相对较小的地物；
剔除小面积粒子，根据最小采集图像的面积作为判断标准，设定面积阈值，将小于阈值的区域剔除掉。
其中，步骤S4中，初始边界角点的检测采用Harris角点检测，若图像是规则形状的图像，则检测出四个拐点处的角点，则完成角点的构建；若图像是不规则图像，则设置多个角点，利用最小二乘拟合方法将边界规则化，便能得到较为规则的建筑物边界。
其中，步骤S6中，角点将初始边界分段并标号，记录线段的总段数以及每条线段上的点号；若相邻两直线段的夹角接近90°，则将两线段按垂直处理；若相邻两直线段的夹角接近180°，则将这两条线段进行合并，并标记线段上的点号；采用最小二乘法对各线段分别进行直线拟合。
通过nDSM数据点生产DSM深度影像，对影像进行处理，采用基于阈值分割的二值化并剔除小面积粒子，得到图像区域，最后使用边界检测算法将原始边界提取出来，并检测其角点，利用最小二乘法进行拟合，得到最终的图像边界并进行抠图，提高了抠像效率、降低了成本。
其中，线段的拟合方程如下：
yi＝aixi+bi；
式中，i为不同的线段，ai、bi为方程系数。
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.一种基于深度相机和Lidar的绿幕抠像方法，其特征在于，包括如下步骤：
步骤S1：深度相机采用绿幕图像，用滤波后得到nDSM数据点来生成DSM深度影像；
步骤S2：对DSM深度影像进行处理；
步骤S3：使用Canny算子进行边界检测提取图形初始边界；
步骤S4：检测出初始边界的角点；
步骤S5：根据角点进行边界的最小二乘拟合，得到规则的图形边界；
步骤S6：使用最小二乘拟合图形边界，将图像抠出。
2.根据权利要求1所述的一种基于深度相机和Lidar的绿幕抠像方法，其特征在于，所述步骤S1中，将原始的Li-DAR点云和滤波后得到nDSM数据点，将nDSM数据点云数据内插成规则格网，然后按照灰度值与高程值比例的原则，得到每个像素的灰度值，根据灰度值情况生成DSM深度影像。
3.根据权利要求2所述的一种基于深度相机和Lidar的绿幕抠像方法，其特征在于，所述插成规则格网具体采用最邻近点插值法进行插值，将距格网点最近点的高程值作为格网点的高程值，从而生成规则格网DSM；然后搜索所有格网点，得到高程的最大值Zmax和最小值Zmin；利用下方公式，计算出每个格网点在256灰度图上的；
Figure FDA0002685265380000011
式中，Pixel(i)表示该点的灰度值，Zi表示格网中该点的高程值。
4.根据权利要求1所述的一种基于深度相机和Lidar的绿幕抠像方法，其特征在于，所述DSM深度影像的处理流程包括：
滤波平滑处理，采用中值滤波处理方法，用于在剔除噪声点的同时减弱图像边界的模糊程度；
形态学图像处理，依次对图像进行腐蚀、膨胀，用于将图像中不均匀的灰度值剔除；
图像二值化，对图像进行阈值分割并二值化处理，并剔除二值化图像中的小面积区域来剔除；
剔除小面积粒子，根据最小采集图像的面积作为判断标准，设定面积阈值，将小于阈值的区域剔除掉。
5.根据权利要求1所述的一种基于深度相机和Lidar的绿幕抠像方法，其特征在于，所述步骤S4中，初始边界角点的检测采用Harris角点检测，若图像是规则形状的图像，则检测出四个拐点处的角点，则完成角点的构建；若图像是不规则图像，则设置多个角点。
6.根据权利要求1所述的一种基于深度相机和Lidar的绿幕抠像方法，其特征在于，所述步骤S6中，角点将初始边界分段并标号，记录线段的总段数以及每条线段上的点号；若相邻两直线段的夹角接近90°，则将两线段按垂直处理；若相邻两直线段的夹角接近180°，则将这两条线段进行合并，并标记线段上的点号；采用最小二乘法对各线段分别进行直线拟合。
7.根据权利要求6所述的一种基于深度相机和Lidar的绿幕抠像方法，其特征在于，所述线段的拟合方程如下：
yi＝aixi+bi；
式中，i为不同的线段，ai、bi为方程系数。
CN202010974404.6A 2020-09-16 2020-09-16 一种基于深度相机和Lidar的绿幕抠像方法 Pending CN112102345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010974404.6A CN112102345A (zh) 2020-09-16 2020-09-16 一种基于深度相机和Lidar的绿幕抠像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010974404.6A CN112102345A (zh) 2020-09-16 2020-09-16 一种基于深度相机和Lidar的绿幕抠像方法

Publications (1)

Publication Number Publication Date
CN112102345A true CN112102345A (zh) 2020-12-18

Family

ID=73759313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010974404.6A Pending CN112102345A (zh) 2020-09-16 2020-09-16 一种基于深度相机和Lidar的绿幕抠像方法

Country Status (1)

Country Link
CN (1) CN112102345A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274353A1 (en) * 2010-05-07 2011-11-10 Hailong Yu Screen area detection method and screen area detection system
CN110930321A (zh) * 2019-11-06 2020-03-27 杭州恩玖软件有限公司 一种能够自动选取目标区域的蓝/绿幕数字图像抠取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274353A1 (en) * 2010-05-07 2011-11-10 Hailong Yu Screen area detection method and screen area detection system
CN110930321A (zh) * 2019-11-06 2020-03-27 杭州恩玖软件有限公司 一种能够自动选取目标区域的蓝/绿幕数字图像抠取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈光州: ""基于DSM深度影像的机载LiDAR建筑物边界提取"", 《勘察科学技术》 *

Similar Documents

Publication Publication Date Title
CN106780576B (zh) 一种面向rgbd数据流的相机位姿估计方法
CN108961271B (zh) 一种彩色3d点云超体素凹凸分割算法
CN110223387A (zh) 一种基于深度学习的三维模型重建技术
CN106919257B (zh) 基于图像亮度信息力触觉交互纹理力再现方法
CN112164145B (zh) 基于点云数据快速提取室内三维线段结构的方法
CN112115875A (zh) 一种基于动静态结合区域层叠策略森林火灾烟雾根检测方法
CN104992176B (zh) 一种面向碑文的汉字提取方法
CN113657264A (zh) 基于暗通道和knn算法融合的森林火灾烟雾根节点检测方法
CN103914825A (zh) 一种基于图像分割的三维模型纹理着色方法
CN112102345A (zh) 一种基于深度相机和Lidar的绿幕抠像方法
CN107784269A (zh) 一种3d视频帧特征点提取的方法及系统
CN113838199B (zh) 一种三维地形生成方法
CN112884026B (zh) 一种图像识别辅助的输电线路激光LiDAR点云分类方法
CN112749713B (zh) 一种基于人工智能的大数据图像识别系统及方法
CN115273080A (zh) 一种面向动态场景的轻量级视觉语义里程计方法
CN115063485A (zh) 三维重建方法、装置及计算机可读存储介质
CN112002019B (zh) 一种基于mr混合现实的模拟人物阴影的方法
CN110276260B (zh) 一种基于深度摄像头的商品检测方法
Jin et al. Filtering processing of LIDAR point cloud data
CN108171771A (zh) 一种结合外部边缘信息和内部聚合笔道的线描画生成算法
Shi et al. An improved method of removing fog and haze effect from images
Fang et al. Detail Maintained Low-Light Video Image Enhancement Algorithm
CN112348853A (zh) 基于红外显著性特征融合的粒子滤波跟踪的方法
Weng et al. Rapid reconstruction of 3D building models from aerial images and LiDAR data
Wang et al. Identifying and filling occlusion holes on planar surfaces for 3-D scene editing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination