CN110930411A - 一种基于深度相机的人体分割方法及系统 - Google Patents

一种基于深度相机的人体分割方法及系统 Download PDF

Info

Publication number
CN110930411A
CN110930411A CN201911138531.6A CN201911138531A CN110930411A CN 110930411 A CN110930411 A CN 110930411A CN 201911138531 A CN201911138531 A CN 201911138531A CN 110930411 A CN110930411 A CN 110930411A
Authority
CN
China
Prior art keywords
depth
image
point
projection
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911138531.6A
Other languages
English (en)
Other versions
CN110930411B (zh
Inventor
余小欢
徐勇军
凌晨
陈嵩
白云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Guangbo Intelligent Technology Co Ltd
Original Assignee
Hangzhou Guangbo Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Guangbo Intelligent Technology Co Ltd filed Critical Hangzhou Guangbo Intelligent Technology Co Ltd
Priority to CN201911138531.6A priority Critical patent/CN110930411B/zh
Publication of CN110930411A publication Critical patent/CN110930411A/zh
Application granted granted Critical
Publication of CN110930411B publication Critical patent/CN110930411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本发明公开了基于深度相机的人体分割方法，所述方法包括：对获取的前N帧深度图像进行求平均，得到一平均深度图像；对当前帧的深度图像进行平面检测，获取到对应的地面模型；根据所述平均深度图像、地面模型以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图；在所述投影深度图中进行像素点遍历，得到一局部极值点集合；对所述投影深度图进行流形聚类算法，以所述局部极值点集合作为初始聚类中心，获取所述投影深度图中的人体分割信息。相应的，本发明还公开了基于深度相机的人体分割系统。通过本发明，提供鲁棒性好准确率高的人体分割技术方案。

Description

一种基于深度相机的人体分割方法及系统
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于深度相机的人体分割方法及系统。
背景技术
传统的人体分割的方案一般是基于2D图像实现的。比较通用的实现技术方案是人工特征结合图像分割算法，人工特征主要有颜色特征、SIFT(Scale-invariant FeatureTransform)、LBP(Local Binary Pattern)特征、HOG(Histogram of Orient Gradient)特征等。图像分割算法的主要思路是使用人工特征定义像素间的相似度，然后通过求解图的最小分割问题得到分割的结果。这种思路简单容易实施，但计算开销非常大，很难满足实时性，并且精度也很难保证。
随着深度学习技术的快速发展，申请公布号为CN108198192A的专利提出了使用深度学习的技术方案来改善人体分割的精度，该方案根据人体的统计比例确定输入图像的尺寸，采用定制化的对称神经网络---卷积网络和反卷积网络，通过学习大量人体细节的图像进行训练来得到人体图像分割的能力。该方案理论上会提高分割的精度，但基于深度学习的方案泛化特性很难保证，很容易出现在训练集上精度很高但在实际场景中效果很差的情况，并且在环境非常拥挤导致大量的人体被遮挡的情况下，很难有效的进行人体的分割。
区别于传统2D图像的思路，深度相机能提供场景的3D深度信息，能有效的解决2D方案中很难解决的出现人体遮挡的情况。申请公布号为CN07204000A的专利提出了基于Kinect深度相机的人体分割方法，其在图优化的框架下联合利用RGBD信息和骨架信息来产生更好的分割结果。但该方案依赖于骨骼信息的提取，在复杂场景下人体的骨骼信息很难准确全部提取出来，实际的效果也因此很难保证。另外采用图优化的方式联合RGBD信息和骨骼信息会导致计算的成本非常高，在一般的边缘计算设备上不具备实时运行的可行性。
和传统的人工特征结合图像分割算法，现有技术中基于深度学习的技术方案存在如下技术问题：
(1)、鲁棒性差，在场景很复杂的情况下(比如出现大量的遮挡或头发、皮肤、背景等很相似的情况)分割精度的退化非常严重；
(2)、计算成本非常大，人工特征的提取、深度学习的多层卷积、人体骨骼信息的提取等都是计算量非常大的操作，很难在一般的边缘计算设备上实时运行；
(3)、泛化特性差，尤其是深度学习的技术方案严重依赖训练集的规模和覆盖度，经常会出现在训练集效果很好而在实际场景中运行时效果很差的情况。
发明内容
基于此，本发明的目的在于提供一种基于深度相机的人体分割方法及系统，解决上述技术问题，提供鲁棒性好准确率高的人体分割技术方案。
为实现上述目的，本发明提供了一种基于深度相机的人体分割方法，所述方法包括：
S1、对获取的前N帧深度图像进行求平均，得到一平均深度图像；
S2、对当前帧的深度图像进行平面检测，获取到对应的地面模型；
S3、根据所述平均深度图像、地面模型以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图；
S4、在所述投影深度图中进行像素点遍历，得到一局部极值点集合；
S5、对所述投影深度图进行流形聚类算法，以所述局部极值点集合作为初始聚类中心，获取所述投影深度图中的人体分割信息。
优选的，所述步骤S1包括：
获取所述前N帧深度图像中每一帧深度图像中的深度数据，根据公式(1)，计算得到所述平均深度图像；
Figure BDA0002280212080000031
其中，i、j为图像坐标系下的横坐标和纵坐标，Da(i，j)为所述平均深度图像在图像坐标系中i、j处的深度值，Dl(i，j)为第l帧深度图像在图像坐标系中i、j处的深度值。
优选的，所述步骤S2包括:
获取所述当前帧的深度图像中每一个像素点的3D坐标信息，所述坐标信息的计算公式为式(2)，得到一3D坐标信息数据集；
Figure BDA0002280212080000032
其中，Xworld、Yworld、Zworld对应为单个像素点的3D坐标信息，x、y是图像坐标系下的横坐标和纵坐标，deep为图像坐标系下(x，y)点处的深度值，cx、cy分别为图像坐标系相机中心点处的x轴和y轴的坐标值，Tx、Ty分别为单个像素点x方向和y方向的大小(以毫米为单位)，fx、fy分别为x方向和y方向上的焦距信息；
根据RANSAC算法和所述3D坐标信息数据集，计算得到所述当前帧的深度图像中的地面方程a*x+b*y+c*z+d＝0中的a、b、c、d参数信息.
优选的，所述RANSAC算法的步骤具体包括：
从所述3D坐标信息数据集中随机选取若干组数据，根据所述若干组数据得到一初始地面方程；
根据所述初始地面方程，测试所述3D坐标信息数据集，并根据一预设的阈值信息，获取到对应的局内点和局外点信息；
重复迭代上述过程，得到包含最多局内点信息所对应的地面方程a*x+b*y+c*z+d＝0；
根据所述地面方程，计算得到a、b、c、d参数信息。
优选的，所述步骤S3包括：
根据所述地面方程a*x+b*y+c*z+d＝0、a、b、c、d参数信息以及所述平均深度图像，利用公式(3)得到所述当前帧的深度图像对应的前景图；
Figure BDA0002280212080000041
其中，F(i，j)为所述前景图在图像坐标系下(x，y)点处的像素值，Da(i，j)为所述平均深度图像在图像坐标系中i、j处的深度值，H和α为深度相机的安装高度和角度，所述H和α的计算公式为式(4)；
Figure BDA0002280212080000042
其中，a、b、c、d为所述地面方程的参数信息。
优选的，所述步骤S3还包括：
基于所述地面方程和所述前景图，将所述当前帧的深度图像通过俯视角投影方法得到对应的投影深度图，所述俯视角投影方法的计算公式为式(5)；
Figure BDA0002280212080000051
其中，Dp(i，j)为所述投影深度图图像坐标系下(x，y)点处的深度值，F(i，j)为所述前景图在图像坐标系下(x，y)点处的像素值，D(i，j)为所述当前帧的深度图像在图像坐标系下(x，y)点处的像素值。
优选的，所述步骤S4包括：
从所述投影深度图中的左上角开始遍历，以列优先的方式逐行逐列对每一个像素点进行遍历，计算当前遍历的像素点的深度值与该像素点相邻的L*L区域内的每一个像素点的深度值进行比较，若当前遍历的像素点的深度值比所述L*L区域内的每一个像素点的深度值均小，则将当前遍历的像素点作为极值点，以此类推，对每一个遍历的像素点进行计算，得到局部极值点集合。
优选的，所述步骤S4包括：
对所述局部极值点集合进行非极值压缩方法，得到约束后的局部极值点集合，其中，所述非极值压缩的步骤具体包括：
计算所述局部极值点集合中个的每一个点与该集合中的其它点的欧式距离，若所述欧式距离小于一预设距离阈值，则将值较小的点加入到约束后的局部极值点集合中；
若所述欧式距离大于所述距离阈值时，则将该点加入到约束后的局部极值点集合中。
优选的，所述步骤S5包括：
以所述约束后的局部极值点集合中的每一个聚类点集的初始中心点作为初始聚类中心，计算所述投影深度图中每一个像素点(xi，xj)与每一个聚类点集的初始中心点的流形距离，所述流形距离的计算公式为式(6)；
Figure BDA0002280212080000061
其中，Pij表示述投影深度图上一条连接点Pi和Pj的路径；
将每一个像素点归入到其流形距离最小的所对应的聚类点集中；
更新每一个聚类点集的聚类中心；
重复上述步骤，当聚类误差的变化率小于误差阈值或者迭代次数达到一上限值时，结束迭代过程；
获取所述投影深度图中的各个聚类点集。
为实现上述目的，本发明提供了一种基于深度相机的人体分割系统，所述系统包括：
平均模块，用于对获取的前N帧深度图像进行求平均，得到一平均深度图像；
地面模型模块，用于对当前帧的深度图像进行平面检测，获取到对应的地面模型；
投影深度图模块，用于根据所述平均深度图像、地面模型以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图；
局部极值点模块，用于在所述投影深度图中进行像素点遍历，得到一局部极值点集合；
聚类模块，用于对所述投影深度图进行流形聚类算法，以所述局部极值点集合作为初始聚类中心，获取所述投影深度图中的人体分割信息。
与现有技术相比，本发明一种基于深度相机的人体分割方法及系统，所带来的有益效果为：本发明具有很好的鲁棒性，能够在复杂的场景下，比如出现大量的遮挡或头发、皮肤、背景等很相似的情况，人体分割的效果依然很好；人体分割的准确率较高，基于3D深度图像的人体数据分析克服了传统2D图像数据分析所带来的歧义信息；其计算成本低，本发明提出的技术方案的计算成本非常的低，运行在主流的边缘计算设备上没有资源压力；具有泛化特性好，本发明不依赖于训练集获取图像分割的能力，适用于所有的场景。
附图说明
图1是根据本发明的一个实施例的基于深度相机的人体分割方法的流程示意图。
图2是根据本发明的一个实施例的基于深度相机的人体分割系统的系统示意图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述，但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
如图1所示的本发明的一实施例，本发明提供一种基于深度相机的人体分割方法，所述方法包括：
S1、对获取的前N帧深度图像进行求平均，得到一平均深度图像；
S2、对当前帧的深度图像进行平面检测，获取到对应的地面模型；
S3、根据所述平均深度图像、地面模型以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图；
S4、在所述投影深度图中进行像素点遍历，得到一局部极值点集合；
S5、对所述投影深度图进行流形聚类算法，以所述局部极值点集合作为初始聚类中心，获取所述投影深度图中的人体分割信息。
在所述步骤S1中，利用深度相机采集深度图像，对采集到的前N帧深度图像进行求平均，得到一平均深度图像。根据本发明的一具体实施例，所述N取值为10。具体地，获取所述前N帧深度图像中每一帧深度图像中的深度数据，根据公式(1)，计算得到所述平均深度图像，
Figure BDA0002280212080000081
其中，i、j为图像坐标系下的横坐标和纵坐标，Da(i，j)为所述平均深度图像在图像坐标系中i、j处的深度值，Dl(i，j)为第l帧深度图像在图像坐标系中i、j处的深度值。
在所述步骤S2中，对当前帧的深度图像进行平面检测，获取到对应的地面模型。具体地，获取所述当前帧的深度图像中每一个像素点的3D坐标信息，所述坐标信息的计算公式为式(2)，得到一3D坐标信息数据集；
Figure BDA0002280212080000082
其中，Xworld、Yworld、Zworld对应为单个像素点的3D坐标信息，x、y是图像坐标系下的横坐标和纵坐标，deep为图像坐标系下(x，y)点处的深度值，cx、cy分别为图像坐标系深度相机中心点处的x轴和y轴的坐标值，Tx、Ty分别为单个像素点x方向和y方向的大小(以毫米为单位)，fx、fy分别为x方向和y方向上的焦距信息；根据RANSAC(Random Sample Consensus,随机采用一致)算法和所述3D坐标信息数据集，计算得到所述当前帧的深度图像中的地面方程a*x+b*y+c*z+d＝0中的a、b、c、d参数信息，所述RANSAC算法的步骤具体包括：从所述3D坐标信息数据集中随机选取若干组数据，根据所述若干组数据得到一初始地面方程；根据所述初始地面方程，测试所述3D坐标信息数据集，并根据一预设的阈值信息，获取到对应的局内点和局外点信息，重复迭代上述过程，得到包含最多局内点信息所对应的地面方程a*x+b*y+c*z+d＝0；根据所述地面方程，计算得到a、b、c、d参数信息。
在所述步骤S3中，根据所述平均深度图像、地面模型以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图。具体地，根据所述地面方程a*x+b*y+c*z+d＝0、a、b、c、d参数信息以及所述平均深度图像中每一个像素点的深度值信息，利用公式(3)得到所述当前帧的深度图像对应的前景图，
Figure BDA0002280212080000091
其中，F(i，j)为所述前景图在图像坐标系下(x，y)点处的像素值，Da(i，j)为所述平均深度图像在图像坐标系中i、j处的深度值,H和α为深度相机的安装高度和角度，所述H和α的计算公式为式(4)，
Figure BDA0002280212080000092
其中，a、b、c、d为所述地面方程的参数信息。根据上述计算公式，得到没有地面的前景图。基于所述地面方程和前景图，将所述当前帧的深度图像通过俯视角投影方法得到对应的投影深度图，所述俯视角投影方法的计算公式为式(5)，
Figure BDA0002280212080000093
其中，Dp(i，j)为所述投影深度图图像坐标系下(x，y)点处的深度值，F(i，j)为所述前景图在图像坐标系下(x，y)点处的像素值，D(i，j)为所述当前帧的深度图像在图像坐标系下(x，y)点处的像素值。根据地面方程信息和当前帧的深度图像中的每一个像素点的深度值信息，将前景图与当前帧的深度图像进行对应，得到投影深度图。
在所述步骤S4中，在所述投影深度图中进行像素点遍历，得到一局部极值点集合。具体地，从所述投影深度图中的左上角开始遍历，以列优先的方式逐行逐列对每一个像素点进行遍历，计算当前遍历的像素点的深度值与该像素点相邻的L*L区域内的每一个像素点的深度值进行比较，若当前遍历的像素点的深度值比所述L*L区域内的每一个像素点的深度值都小，则将当前遍历的像素点作为极值点，以此类推，对每一个遍历的像素点进行计算，得到局部极值点集合。比如，所述L值为15。所述局部极值点集合包括多个点集，与所述当前帧的深度图像中人体分类有关。
根据本发明的一具体实施例，对所述局部极值点集合进行非极值压缩方法，得到约束后的局部极值点集合，所述非极值压缩的步骤具体包括：计算所述局部极值点集合中个的每一个点与该集合中的其它点的欧式距离，若所述欧式距离小于一预设距离阈值，则将值较小的点加入到约束后的局部极值点集合中，若所述欧式距离大于所述距离阈值时，则将该点加入到约束后的局部极值点集合中。所述距离阈值取值为20。所述约束后的局部极值点集合包括多个点集。若当前帧的深度图像中有多个人体，则所述约束后的局部极值点集合具有多个点集。
在所述步骤S5中，对所述投影深度图进行流形聚类算法，以所述局部极值点集合作为初始聚类中心，获取所述投影深度图中的人体分割信息。根据本发明的一具体实施例，以所述约束后的局部极值点集合中的每一个聚类点集的初始中心点作为初始聚类中心，计算所述投影深度图中每一个像素点(xi，xj)与每一个聚类点集的初始中心点的流形距离，所述流形距离的计算公式为式(6)，
Figure BDA0002280212080000111
其中，Pij表示述投影深度图上一条连接点Pi和Pj的路径；将每一个像素点归入到其流形距离最小的所对应的聚类点集中；更新每一个聚类点集的聚类中心，重复上述步骤，当聚类误差的变化率小于误差阈值或者迭代次数达到一上限值时，结束迭代过程，获取所述投影深度图中的各个聚类点集，每一个聚类点集构成一人体类型，进而获取所述投影深度图中的人体分割信息。比如，所述误差阈值为0.0001，迭代次数达到一上限值为300次。
根据该技术方案，能够在复杂的场景下，比如出现大量的遮挡或头发、皮肤、背景等很相似的情况，人体分割的效果依然很好，鲁棒性好；人体分割的准确率较高，基于3D深度图像的人体数据分析克服了传统2D图像数据分析所带来的歧义信息；具有泛化特性好，本发明不依赖于训练集获取图像分割的能力，适用于所有的场景。
如图2所示的本发明的一实施例，本发明提供一种基于深度相机的人体分割系统，所述系统包括：
平均模块20，用于对获取的前N帧深度图像进行求平均，得到一平均深度图像；
地面模型模块21，用于对当前帧的深度图像进行平面检测，获取到对应的地面模型；
投影深度图模块22，用于根据所述平均深度图像、地面模型以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图；
局部极值点模块23，用于在所述投影深度图中进行像素点遍历，得到一局部极值点集合；
聚类模块24，用于对所述投影深度图进行流形聚类算法，以所述局部极值点集合作为初始聚类中心，获取所述投影深度图中的人体分割信息。
所述平均模块利用深度相机采集深度图像，对采集到的前N帧深度图像进行求平均，得到一平均深度图像。具体地，获取所述前N帧深度图像中每一帧深度图像中的深度数据，根据上述方法步骤中公式(1)，计算得到所述平均深度图像。
所述地面模型模块对当前帧的深度图像进行平面检测，获取到对应的地面模型。具体地，所述地面模型模块获取所述当前帧的深度图像中每一个像素点的3D坐标信息，根据公式(2)，得到一3D坐标信息数据集。所述地面模型模块根据RANSAC算法和所述3D坐标信息数据集，计算得到所述当前帧的深度图像中的地面方程a*x+b*y+c*z+d＝0中的a、b、c、d参数信息。
所述投影深度图模块根据所述地面方程a*x+b*y+c*z+d＝0、a、b、c、d参数信息以及所述平均深度图像，利用公式(3)得到所述当前帧的深度图像对应的前景图。所述投影深度图模块根据a、b、c、d参数信息，将所述当前帧的深度图像通过俯视角投影方法得到对应的投影深度图。
所述局部极值点模块从所述投影深度图中的左上角开始遍历，以列优先的方式逐行逐列对每一个像素点进行遍历，计算当前遍历的像素点的深度值与该像素点相邻的L*L区域内的每一个像素点的深度值进行比较，若当前遍历的像素点的深度值比所述L*L区域内的每一个像素点的深度值都小，则将当前遍历的像素点作为极值点，以此类推，对每一个遍历的像素点进行计算，得到局部极值点集合。根据本发明的一具体实施例，所述局部极值点模块对所述局部极值点集合进行非极值压缩方法，得到约束后的局部极值点集合。
所述聚类模块以所述约束后的局部极值点集合中的每一个聚类点集的初始中心点作为初始聚类中心，计算所述投影深度图中每一个像素点(xi，xj)与每一个聚类点集的初始中心点的流形距离，所述流形距离的计算公式为式(6)。将每一个像素点归入到其流形距离最小的所对应的聚类点集中；更新每一个聚类点集的聚类中心，重复上述步骤，当聚类误差的变化率小于误差阈值或者迭代次数达到一上限值时，结束迭代过程，获取所述投影深度图中的各个聚类点集，进而获取所述投影深度图中的人体分割信息。
根据该技术方案，能够在复杂的场景下，人体分割的效果依然很好，其鲁棒性好；人体分割的准确率较高；具有泛化特性好。
尽管为示例目的，已经公开了本发明的优选实施方式，但是本领域的普通技术人员将意识到，在不脱离由所附的权利要求书公开的本发明的范围和精神的情况下，各种改进、增加以及取代是可能的。

Claims (10)

1.一种基于深度相机的人体分割方法，其特征在于，所述方法包括：
S1、对获取的前N帧深度图像进行求平均，得到一平均深度图像；
S2、对当前帧的深度图像进行平面检测，获取到对应的地面模型；
S3、根据所述平均深度图像、地面模型以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图；
S4、在所述投影深度图中进行像素点遍历，得到一局部极值点集合；
S5、对所述投影深度图进行流形聚类算法，以所述局部极值点集合作为初始聚类中心，获取所述投影深度图中的人体分割信息。
2.如权利要求1所述的基于深度相机的人体分割方法，其特征在于，所述步骤S1包括：
获取所述前N帧深度图像中每一帧深度图像中的深度数据，根据公式(1)，计算得到所述平均深度图像；
Figure FDA0002280212070000011
其中，i、j为图像坐标系下的横坐标和纵坐标，Da(i，j)为所述平均深度图像在图像坐标系中i、j处的深度值，Dl(i，j)为第l帧深度图像在图像坐标系中i、j处的深度值。
3.如权利要求2所述的基于深度相机的人体分割方法，其特征在于，所述步骤S2包括：
获取所述当前帧的深度图像中每一个像素点的3D坐标信息，所述坐标信息的计算公式为式(2)，得到一3D坐标信息数据集；
Figure FDA0002280212070000012
其中，Xworld、Yworld、Zworld对应为单个像素点的3D坐标信息，x、y是图像坐标系下的横坐标和纵坐标，deep为图像坐标系下(x，y)点处的深度值，cx、cy分别为图像坐标系深度相机中心点处的x轴和y轴的坐标值，Tx、Ty分别为单个像素点x方向和y方向的大小，fx、fy分别为x方向和y方向上的焦距信息；
根据RANSAC算法和所述3D坐标信息数据集，计算得到所述当前帧的深度图像中的地面方程a*x+b*y+c*z+d＝0中的a、b、c、d参数信息。
4.如权利要求3所述的基于深度相机的人体分割方法，其特征在于，所述RANSAC算法的步骤具体包括：
从所述3D坐标信息数据集中随机选取若干组数据，根据所述若干组数据得到一初始地面方程；
根据所述初始地面方程，测试所述3D坐标信息数据集，并根据一预设的阈值信息，获取到对应的局内点和局外点信息；
重复迭代上述过程，得到包含最多局内点信息所对应的地面方程a*x+b*y+c*z+d＝0；
根据所述地面方程，计算得到a、b、c、d参数信息。
5.如权利要求3所述的基于深度相机的人体分割方法，其特征在于，所述步骤S3包括：
根据所述地面方程a*x+b*y+c*z+d＝0、a、b、c、d参数信息以及所述平均深度图像，利用公式(3)得到所述当前帧的深度图像对应的前景图；
Figure FDA0002280212070000021
其中，F(i，j)为所述前景图在图像坐标系下(x，y)点处的像素值，Da(i，j)为所述平均深度图像在图像坐标系中i、j处的深度值，H和α为深度相机的安装高度和角度，所述H和α的计算公式为式(4)；
Figure FDA0002280212070000031
其中，a、b、c、d为所述地面方程的参数信息。
6.如权利要求5所述的基于深度相机的人体分割方法，其特征在于，所述步骤S3还包括：
基于所述地面方程和前景图，将所述当前帧的深度图像通过俯视角投影方法得到对应的投影深度图，所述俯视角投影方法的计算公式为式(5)；
Figure FDA0002280212070000032
其中，Dp(i，j)为所述投影深度图图像坐标系下(x，y)点处的深度值，F(i，j)为所述前景图在图像坐标系下(x，y)点处的像素值，D(i，j)为所述当前帧的深度图像在图像坐标系下(x，y)点处的像素值。
7.如权利要求1所述的基于深度相机的人体分割方法，其特征在于，所述步骤S4包括：
从所述投影深度图中的左上角开始遍历，以列优先的方式逐行逐列对每一个像素点进行遍历；
计算当前遍历的像素点的深度值与该像素点相邻的L*L区域内的每一个像素点的深度值进行比较；
若当前遍历的像素点的深度值比所述L*L区域内的每一个像素点的深度值都小，则将当前遍历的像素点作为极值点；
以此类推，对每一个遍历的像素点进行计算，得到局部极值点集合。
8.如权利要求7所述的基于深度相机的人体分割方法，其特征在于，所述步骤S4包括：
对所述局部极值点集合进行非极值压缩方法，得到约束后的局部极值点集合，其中，所述非极值压缩的步骤具体包括：
计算所述局部极值点集合中个的每一个点与该集合中的其它点的欧式距离，若所述欧式距离小于一预设距离阈值，则将值较小的点加入到约束后的局部极值点集合中；
若所述欧式距离大于所述距离阈值时，则将该点加入到约束后的局部极值点集合中。
9.如权利要求8所述的基于深度相机的人体分割方法，其特征在于，所述步骤S5包括：
以所述约束后的局部极值点集合中的每一个聚类点集的初始中心点作为初始聚类中心，计算所述投影深度图中每一个像素点(xi，xj)与每一个聚类点集的初始中心点的流形距离，所述流形距离的计算公式为式(6)；
Figure FDA0002280212070000041
其中，Pij表示述投影深度图上一条连接点Pi和Pj的路径；
将每一个像素点归入到其流形距离最小的所对应的聚类点集中；
更新每一个聚类点集的聚类中心；
重复上述步骤，当聚类误差的变化率小于误差阈值或者迭代次数达到一上限值时，结束迭代过程；
获取所述投影深度图中的各个聚类点集。
10.一种基于深度相机的人体分割系统，其特征在于，所述系统包括：
平均模块，用于对获取的前N帧深度图像进行求平均，得到一平均深度图像；地面模型模块，用于对当前帧的深度图像进行平面检测，获取到对应的地面模型；
投影深度图模块，用于根据所述平均深度图像、地面模型以及当前帧的深度图像，获取所述当前帧的深度图像对应的前景图以及对应的投影深度图；
局部极值点模块，用于在所述投影深度图中进行像素点遍历，得到一局部极值点集合；
聚类模块，用于对所述投影深度图进行流形聚类算法，以所述局部极值点集合作为初始聚类中心，获取所述投影深度图中的人体分割信息。
CN201911138531.6A 2019-11-20 2019-11-20 一种基于深度相机的人体分割方法及系统 Active CN110930411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911138531.6A CN110930411B (zh) 2019-11-20 2019-11-20 一种基于深度相机的人体分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911138531.6A CN110930411B (zh) 2019-11-20 2019-11-20 一种基于深度相机的人体分割方法及系统

Publications (2)

Publication Number Publication Date
CN110930411A true CN110930411A (zh) 2020-03-27
CN110930411B CN110930411B (zh) 2023-04-28

Family

ID=69850354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911138531.6A Active CN110930411B (zh) 2019-11-20 2019-11-20 一种基于深度相机的人体分割方法及系统

Country Status (1)

Country Link
CN (1) CN110930411B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652889A (zh) * 2020-06-04 2020-09-11 深圳市瓴鹰智能科技有限公司 基于智能检测设备的边缘计算处理方法、装置、及设备
CN112256753A (zh) * 2020-10-13 2021-01-22 山东三木众合信息科技股份有限公司 一种数据的加密安全传输方法
CN112256752A (zh) * 2020-10-13 2021-01-22 山东三木众合信息科技股份有限公司 一种基于数据挖掘的数据预测处理方法
CN112508995A (zh) * 2020-12-04 2021-03-16 太原理工大学 一种基于tof相机的煤流量实时动态计量方法
CN113744338A (zh) * 2021-10-29 2021-12-03 青岛影创信息科技有限公司 一种深度视频空间平面检测方法及系统
WO2021244364A1 (zh) * 2020-06-03 2021-12-09 苏宁易购集团股份有限公司 基于深度图像的行人检测方法及装置

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978504A (en) * 1997-02-19 1999-11-02 Carnegie Mellon University Fast planar segmentation of range data for mobile robots
CN102316352A (zh) * 2011-08-08 2012-01-11 清华大学 一种基于区域连通图的立体视频深度图的制作方法和装置
CN102750327A (zh) * 2012-05-30 2012-10-24 合肥工业大学 流形表面上基于测地距离的K-means聚类多样化检索方法
CN103413347A (zh) * 2013-07-05 2013-11-27 南京邮电大学 基于前景背景融合的单目图像深度图提取方法
CN103617609A (zh) * 2013-10-24 2014-03-05 上海交通大学 基于图论的k-means非线性流形聚类与代表点选取方法
CN104268851A (zh) * 2014-09-05 2015-01-07 浙江捷尚视觉科技股份有限公司 一种基于深度信息的atm自助营业厅行为分析方法
CN106778813A (zh) * 2016-11-24 2017-05-31 金陵科技学院 深度图像的自适应聚类分割算法
CN106780618A (zh) * 2016-11-24 2017-05-31 周超艳 基于异构深度摄像机的三维信息获取方法及其装置
CN107016697A (zh) * 2017-04-11 2017-08-04 杭州光珀智能科技有限公司 一种高度测量方法及装置
US9965865B1 (en) * 2017-03-29 2018-05-08 Amazon Technologies, Inc. Image data segmentation using depth data
CN108021857A (zh) * 2017-08-21 2018-05-11 哈尔滨工程大学 基于无人机航拍图像序列深度恢复的建筑物检测方法
CN108413864A (zh) * 2017-02-10 2018-08-17 菜鸟智能物流控股有限公司 物体尺寸测量方法及相关设备
CN108596938A (zh) * 2018-04-25 2018-09-28 杭州光珀智能科技有限公司 一种客流统计方法及装置
CN109271944A (zh) * 2018-09-27 2019-01-25 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、电子设备、车辆及存储介质
CN109344690A (zh) * 2018-08-09 2019-02-15 上海青识智能科技有限公司 一种基于深度相机的人数统计方法
CN110136174A (zh) * 2019-05-22 2019-08-16 北京华捷艾米科技有限公司 一种目标对象跟踪方法和装置
CN110349195A (zh) * 2019-06-25 2019-10-18 杭州汇萃智能科技有限公司 一种基于深度图像的目标物体3d测量参数获取方法、系统和存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978504A (en) * 1997-02-19 1999-11-02 Carnegie Mellon University Fast planar segmentation of range data for mobile robots
CN102316352A (zh) * 2011-08-08 2012-01-11 清华大学 一种基于区域连通图的立体视频深度图的制作方法和装置
CN102750327A (zh) * 2012-05-30 2012-10-24 合肥工业大学 流形表面上基于测地距离的K-means聚类多样化检索方法
CN103413347A (zh) * 2013-07-05 2013-11-27 南京邮电大学 基于前景背景融合的单目图像深度图提取方法
CN103617609A (zh) * 2013-10-24 2014-03-05 上海交通大学 基于图论的k-means非线性流形聚类与代表点选取方法
CN104268851A (zh) * 2014-09-05 2015-01-07 浙江捷尚视觉科技股份有限公司 一种基于深度信息的atm自助营业厅行为分析方法
CN106778813A (zh) * 2016-11-24 2017-05-31 金陵科技学院 深度图像的自适应聚类分割算法
CN106780618A (zh) * 2016-11-24 2017-05-31 周超艳 基于异构深度摄像机的三维信息获取方法及其装置
CN108413864A (zh) * 2017-02-10 2018-08-17 菜鸟智能物流控股有限公司 物体尺寸测量方法及相关设备
US9965865B1 (en) * 2017-03-29 2018-05-08 Amazon Technologies, Inc. Image data segmentation using depth data
CN107016697A (zh) * 2017-04-11 2017-08-04 杭州光珀智能科技有限公司 一种高度测量方法及装置
CN108021857A (zh) * 2017-08-21 2018-05-11 哈尔滨工程大学 基于无人机航拍图像序列深度恢复的建筑物检测方法
CN108596938A (zh) * 2018-04-25 2018-09-28 杭州光珀智能科技有限公司 一种客流统计方法及装置
CN109344690A (zh) * 2018-08-09 2019-02-15 上海青识智能科技有限公司 一种基于深度相机的人数统计方法
CN109271944A (zh) * 2018-09-27 2019-01-25 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、电子设备、车辆及存储介质
CN110136174A (zh) * 2019-05-22 2019-08-16 北京华捷艾米科技有限公司 一种目标对象跟踪方法和装置
CN110349195A (zh) * 2019-06-25 2019-10-18 杭州汇萃智能科技有限公司 一种基于深度图像的目标物体3d测量参数获取方法、系统和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ISABEL N. FIGUEIREDO ET AL: "Unsupervised segmentation of colonic polyps in narrow-band imaging data based on manifold representation of images and Wasserstein distance", 《BIOMEDICAL SIGNAL PROCESSING AND CONTROL》 *
RUIPING WANG ET AL: "Manifold–Manifold Distance and its Application to Face Recognition With Image Sets", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
杜磊: "核磁共振图像中的3D胰腺分割", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
王朝阳: "三维点云数据区域分割的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021244364A1 (zh) * 2020-06-03 2021-12-09 苏宁易购集团股份有限公司 基于深度图像的行人检测方法及装置
CN111652889A (zh) * 2020-06-04 2020-09-11 深圳市瓴鹰智能科技有限公司 基于智能检测设备的边缘计算处理方法、装置、及设备
CN112256753A (zh) * 2020-10-13 2021-01-22 山东三木众合信息科技股份有限公司 一种数据的加密安全传输方法
CN112256752A (zh) * 2020-10-13 2021-01-22 山东三木众合信息科技股份有限公司 一种基于数据挖掘的数据预测处理方法
CN112256752B (zh) * 2020-10-13 2021-05-14 山东三木众合信息科技股份有限公司 一种基于数据挖掘的数据预测处理方法
CN112256753B (zh) * 2020-10-13 2021-05-18 山东三木众合信息科技股份有限公司 一种数据的加密安全传输方法
CN112508995A (zh) * 2020-12-04 2021-03-16 太原理工大学 一种基于tof相机的煤流量实时动态计量方法
CN112508995B (zh) * 2020-12-04 2023-07-07 太原理工大学 一种基于tof相机的煤流量实时动态计量方法
CN113744338A (zh) * 2021-10-29 2021-12-03 青岛影创信息科技有限公司 一种深度视频空间平面检测方法及系统

Also Published As

Publication number Publication date
CN110930411B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN110930411B (zh) 一种基于深度相机的人体分割方法及系统
CN110598610B (zh) 一种基于神经选择注意的目标显著性检测方法
CN106780576B (zh) 一种面向rgbd数据流的相机位姿估计方法
CN110222787B (zh) 多尺度目标检测方法、装置、计算机设备及存储介质
Lee et al. Local disparity estimation with three-moded cross census and advanced support weight
WO2021008019A1 (zh) 姿态跟踪方法、装置及计算机可读存储介质
US10521919B2 (en) Information processing device and information processing method for applying an optimization model
CN110910421B (zh) 基于分块表征和可变邻域聚类的弱小运动目标检测方法
CN112184759A (zh) 一种基于视频的运动目标检测与跟踪方法及系统
CN109974743B (zh) 一种基于gms特征匹配及滑动窗口位姿图优化的视觉里程计
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN108257155B (zh) 一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法
CN105809716B (zh) 融合超像素与三维自组织背景减除法的前景提取方法
CN112364865B (zh) 一种复杂场景中运动小目标的检测方法
CN105427333A (zh) 视频序列图像的实时配准方法、系统及拍摄终端
CN108629301B (zh) 一种人体动作识别方法
CN109472770B (zh) 一种印刷电路板检测中的图像特征点快速匹配方法
CN107392211B (zh) 基于视觉稀疏认知的显著目标检测方法
Sun et al. Adaptive image dehazing and object tracking in UAV videos based on the template updating Siamese network
CN111161348A (zh) 一种基于单目相机的物体位姿估计方法、装置及设备
CN116433822B (zh) 一种神经辐射场训练方法、装置、设备及介质
CN113436251A (zh) 一种基于改进的yolo6d算法的位姿估计系统及方法
CN110322479B (zh) 一种基于时空显著性的双核kcf目标跟踪方法
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置
CN116310095A (zh) 一种基于深度学习的多视图三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 323000 room 303-5, block B, building 1, No. 268, Shiniu Road, nanmingshan street, Liandu District, Lishui City, Zhejiang Province

Applicant after: Zhejiang Guangpo Intelligent Technology Co.,Ltd.

Address before: Hangzhou City, Zhejiang province 310030 Xihu District three Town Shi Xiang Road No. 859 Zijin and building 3 building 1301-1 room

Applicant before: HANGZHOU GENIUS PROS TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant