CN110599407B - 基于向下倾角方向的多台tof相机人体降噪方法及系统 - Google Patents
基于向下倾角方向的多台tof相机人体降噪方法及系统 Download PDFInfo
- Publication number
- CN110599407B CN110599407B CN201910544083.3A CN201910544083A CN110599407B CN 110599407 B CN110599407 B CN 110599407B CN 201910544083 A CN201910544083 A CN 201910544083A CN 110599407 B CN110599407 B CN 110599407B
- Authority
- CN
- China
- Prior art keywords
- human body
- depth image
- dimensional
- image
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000009467 reduction Effects 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 20
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 230000000877 morphologic effect Effects 0.000 claims abstract description 7
- 230000036544 posture Effects 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims 2
- 238000001514 detection method Methods 0.000 abstract description 11
- 238000002366 time-of-flight method Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 10
- 230000010339 dilation Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000003628 erosive effect Effects 0.000 description 6
- 230000007797 corrosion Effects 0.000 description 5
- 238000005260 corrosion Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开一种基于向下倾角方向的多台TOF相机人体降噪方法，包括获取多台TOP相机的人体的三维点云数据；将所有人体的三维点云数据映射到二维图像中；对所有二维图像进行形态学滤波处理，得到滤波后的二维图像；将滤波后的二维图像进行背景差分处理，得到只有人体的深度图像；对每张只有人体的深度图像进行端点识别处理，得到各个端点；通过各个端点，对人体进行姿态识别，得到具体的概率分类，进而实现对深度图像中人体的降噪。本发明解决三维人体姿态识别算法复杂度较高，耗时较多的问题；解决单个TOF存在固有的检测精度不高，噪声较多，像素分辨率低，视野范围也存在局限性，对于更大角度空间或更大范围空间的深度信息结合在一起问题。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于向下倾角方向的多台TOF相机人体降 噪方法及系统。
背景技术
现有技术中，TOF相机的工作原理如图1所示，TOF是Time of flight的简写，直译为飞 行时间的意思。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接 收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离信息就是深度图 像(以下简称深度图像)。
目前，通过TOF相机对人体进行检测也是计算机视觉领域一个重要的研究方向，目前对 于人体姿态检测的方法大多基于2D图像。相比于2D图像，深度图像因具有的三维空间特征 从而为消除人体检测的光照变化、表观近似和遮挡阴影等干扰因素提供了可能，其中TOF相 机以其性能和原理的特点被采用较多，而用TOF相机采集深度图像又以单个TOF正面拍摄 研究为主(如图1)。对于TOF相机拍摄的深度图像，人体姿态检测的方法多采用提取人体骨 架的方式。
但是，在现有技术中，还存在很多技术缺陷：
一般情况下，现有技术中研究的TOF相机多数要求相机必须正对物体拍摄，在特殊的场 合不适用；
再者，既要保持较高的姿势识别正确率，又要减少算法的复杂度以实现嵌入式技术还不 成熟，而且算法复杂度高，导致耗时较多，对于需要高帧率的检测场景也不适用；
目前，单个TOF存在固有的检测精度不高，噪声较多，像素分辨率低等缺点，而且单个 TOF的拍摄角度和视野范围也存在局限性，对于360度空间或更大范围空间的深度信息结合 在一起目前尚没有完整的解决方案。
发明内容
本发明针对现有技术中的缺点，提供了一种基于向下倾角方向的多台TOF相机人体降噪 方法及系统。
为了解决上述技术问题，本发明通过下述技术方案得以解决：
一种基于向下倾角方向的多台TOF相机人体降噪方法，包括以下步骤：
获取多台TOP相机的人体的三维点云数据；
将所有人体的三维点云数据映射到二维图像中，得到多台TOP相机对应的映射二维图像；
对所有二维图像进行形态学滤波处理，采用开运算方式处理，去除人体边缘的噪声，得 到滤波后的二维图像；
将滤波后的二维图像进行背景差分处理，得到只有人体的深度图像；
对每张只有人体的深度图像进行端点识别处理，得到深度图像中人体的各个端点；
通过深度图像中人体的各个端点，对人体进行姿态识别，得到具体的概率分类，进而实 现对深度图像中人体的降噪。
作为一种可实施方式，所述对每张只有人体的深度图像进行端点识别处理，得到深度图 像中人体的各个端点，具体为：
对只有人体的深度图像进行腐蚀处理，可以得到二维图像的人体的骨架线条；
通过人体的骨架线条得到对于人体骨架线条映射的三维点云数据；
遍历所有映射的三维点云数据得到人体中心的质点，标记为a；
遍历人体中心的质点，得到离人体中心的质点距离最远的n个点设置为人体的各个端点， 对其他只有人体的深度图像也进行相同处理，并计算出各个端点的中心坐标。
作为一种可实施方式，所述通过深度图像中人体的各个端点，对人体进行姿态识别，得 到具体的概率分类，具体为：
基于得到的n个端点，计算出人体端点的长宽比，对人体姿态进行初步分类，得到初步 分类结果；
再采用朴素贝叶斯算法对初步分类结果中的大量数据的端点的概率进行具体的概率分 类。
作为一种可实施方式，所述将滤波后的二维图像进行背景差分处理，得到只有人体的深 度图像，具体为：
将有人体的前景深度图像和背景深度图像进行相减，公式如下：
deep人＝||deep场景-deep背景||
其中，deep人表示只有人体的深度图像，deep场景表示有人体的前景深度图像，deep背景表 示背景深度图像。
作为一种可实施方式，所述获取多台TOP相机的人体的三维点云数据，具体为：
获取多台TOP相机的人体的三维点云数据，得到人体高度的平均值，历遍所有高度数据， 若90％的点云数据在高度中心以上，则为第一类别数据，剩余归为第二类别数据。
一种基于向下倾角方向的多台TOF相机人体降噪系统，包括获取模块、映射模块、滤波 模块、差分模块、端点识别模块和分类模块：
所述获取模块，用于获取多台TOP相机的人体的三维点云数据；
所述映射模块，用于将所有人体的三维点云数据映射到二维图像中，得到多台TOP相机 对应的映射二维图像；
所述滤波模块，用于对所有二维图像进行形态学滤波处理，采用开运算方式处理，去除 人体边缘的噪声，得到滤波后的二维图像；
所述差分模块，用于将滤波后的二维图像进行背景差分处理，得到只有人体的深度图像；
所述端点识别模块，用于对每张只有人体的深度图像进行端点识别处理，得到深度图像 中人体的各个端点；
所述分类模块，通过深度图像中人体的各个端点，对人体进行姿态识别，得到具体的概 率分类，进而实现对深度图像中人体的降噪。
作为一种可实施方式，所述端点识别模块被设置为：
对只有人体的深度图像进行腐蚀处理，可以得到二维图像的人体的骨架线条；
通过人体的骨架线条得到对于人体骨架线条映射的三维点云数据；
遍历所有映射的三维点云数据得到人体中心的质点，标记为a；
遍历人体中心的质点，得到离人体中心的质点距离最远的n个点设置为人体的各个端点， 对其他只有人体的深度图像也进行相同处理，并计算出各个端点的中心坐标。
作为一种可实施方式，所述分类模块被设置为：
基于得到的n个端点，计算出人体端点的长宽比，对人体姿态进行初步分类，得到初步 分类结果；
再采用朴素贝叶斯算法对初步分类结果中的大量数据的端点的概率进行具体的概率分 类。
作为一种可实施方式，所述差分模块被设置为：
将有人体的前景深度图像和背景深度图像进行相减，公式如下：
deep人＝||deep场景-deep背景||
其中，deep人表示只有人体的深度图像，deep场景表示有人体的前景深度图像，deep背景表 示背景深度图像。
作为一种可实施方式，所述获取模块被设置为：
获取多台TOP相机的人体的三维点云数据，得到人体高度的平均值，历遍所有高度数据， 若90％的点云数据在高度中心以上，则为第一类别数据，剩余归为第二类别数据。
本发明由于采用了以上技术方案，具有显著的技术效果：
本发明解决向下倾角方向的拍摄角度对于TOF相机算法的问题；解决三维人体姿态识 别算法复杂度较高，耗时较多的问题；解决单个TOF存在固有的检测精度不高，噪声较多， 像素分辨率低，视野范围也存在局限性，对于更大角度空间或更大范围空间的深度信息结合 在一起问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一 些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这 些附图获得其他的附图。
图1为TOF相机工作原理图；
图2是本发明的实验相机位置及角度三视图；
图3-图5分别为采集的深度图像示意图；
图6为本发明的整体流程示意图；
图7为本发明中的膨胀操作示例图；
图8为本发明中的膨胀的数学公式；
图9为本发明中的腐蚀示例图；
图10为本发明中的腐蚀数学公式；
图11为本发明中的骨架原图；
图12为本发明中的处理后骨架图；
图13是本发明系统的整体结构示意图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明 并不局限于以下实施例。为了解决现有技术中的问题，本发明适用的相机的位置及角度三视 图如图2所示。得到的深度图像每个像素值是相机到物体的距离，深度图像如图3-5所示。 其中图3是中间相机拍摄的图像，图5是边缘相机拍摄的图像。出现问题是：深度图像有2 中情况，一是拍摄到全身或上半身，二是只拍到肩膀以上部分。所以本发明的方法适合以上 的情况或者分类清楚后各个处理。
实施例1：
一种基于向下倾角方向的多台TOF相机人体降噪方法，如图6所示，包括以下步骤：
S100、获取多台TOP相机的人体的三维点云数据；
S200、将所有人体的三维点云数据映射到二维图像中，得到多台TOP相机对应的映射二 维图像；
S300、对所有二维图像进行形态学滤波处理，采用开运算方式处理，去除人体边缘的噪 声，得到滤波后的二维图像；
S400、将滤波后的二维图像进行背景差分处理，得到只有人体的深度图像；
S500、对每张只有人体的深度图像进行端点识别处理，得到深度图像中人体的各个端点；
S600、通过深度图像中人体的各个端点，对人体进行姿态识别，得到具体的概率分类， 进而实现对深度图像中人体的降噪。
本发明解决向下倾角方向的拍摄角度对于TOF相机算法的问题；解决三维人体姿态识 别算法复杂度较高，耗时较多的问题；解决单个TOF存在固有的检测精度不高，噪声较多， 像素分辨率低，视野范围也存在局限性，对于更大角度空间或更大范围空间的深度信息结合 在一起问题。
本发明可用于向下倾角的TOF相机检测项目；用三维深度图像映射到二维图像进行需要 的处理，避开三维点云数据的滤波，平滑，数据处理等时间复杂度较大的算法，最终才用三 维数据做分类；另外，多台TOF同步处理，变相提高TOF数据的精度，拓展物理空间应用。
在步骤S200中，涉及的数学公式：y＝x/t*255。(t:深度上限，对于TOF相机可是个定值， x:TOF相机得到深度图像的该点的深度值)。
在步骤S500中，所述对每张只有人体的深度图像进行端点识别处理，得到深度图像中人 体的各个端点，具体为：
对只有人体的深度图像进行腐蚀处理，可以得到二维图像的人体的骨架线条；
通过人体的骨架线条得到对于人体骨架线条映射的三维点云数据；
遍历所有映射的三维点云数据得到人体中心的质点，标记为a；
遍历人体中心的质点，得到离人体中心的质点距离最远的n个点设置为人体的各个端点， 对其他只有人体的深度图像也进行相同处理，并计算出各个端点的中心坐标。
结合附图来详细解释，在步骤S500中，用较大的核对图像进行腐蚀，可以得到二维图像 的骨架线条，原图和骨架图如图11和12，得到对于骨架线条映射的三维点云数据，用端点 识别算法识别端点：先计算人体中心的质点(遍历所有点，计算三维点云的x,y,z的质点)， 标记为a，再遍历人体所有点，计算离中心的质点距离最大的4个点为人体端点(头，左手， 右手，腰部或脚)，这时从第二个TOF相机的数据同样会经过上述算法得到4个端点，计算 各个端点的中心坐标，从而尽可能消除TOF相机的数据精度不高，噪声较多，像素分辨率低， 视野范围也存在局限性的缺点。
在步骤S600中，所述通过深度图像中人体的各个端点，对人体进行姿态识别，得到具体 的概率分类，具体为：基于得到的n个端点，计算出人体端点的长宽比，对人体姿态进行初 步分类，得到初步分类结果；再采用朴素贝叶斯算法对初步分类结果中的大量数据的端点的 概率进行具体的概率分类。结合具体地比例，以双手伸开和直立为例：可采集到4个端点， 计算人体端点的长宽比，双手伸开大约1.2∶1左右，直立大约1∶3.5左右，即可初步分别，然 后采用朴素贝叶斯算法对大量数据的端点的概率计算具体分类。
在步骤S400中，所述将滤波后的二维图像进行背景差分处理，得到只有人体的深度图像， 具体为：
将有人体的前景深度图像和背景深度图像进行相减，公式如下：
deep人＝||deep场景-deep背景||
其中，deep人表示只有人体的深度图像，deep场景表示有人体的前景深度图像，deep背景表 示背景深度图像，在此实施例中，背景差分意思是计算前景图像(没有人)和后景图像(有 人)的差。因为图像的每个像素映射表示深度数据，所以相减后得到有人像素的二维图像， 而没有人的像素因为数值相同，相减后得到0。
在步骤S100中，所述获取多台TOP相机的人体的三维点云数据，具体为：获取多台TOP 相机的人体的三维点云数据，得到人体高度的平均值，历遍所有高度数据，若90％的点云数 据在高度中心以上，则为第一类别数据，剩余归为第二类别数据。
对于第一类别的数据和第二类别的数据，在步骤S600中采用的比例和概率不同，剩下所 有的处理步骤都是相同的。
另外，在步骤S300中，对二维图像进行形态学滤波，采用开运行(先腐蚀，后膨胀)的 方法，消除噪声，保留边缘信息。具体原理如下：膨胀是求局部最大值的操作，从数学角度 老说膨胀或者腐蚀操作是讲图像(或图像的一部分区域，称之为A))与核(称之为B)进行卷积。核可以是任何大小形状，多数情况下，核是一个小的正方形或者圆。而膨胀就是就局部最大值的操作，核B与图像卷积，即计算和B覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点制定的像素，这样就会使图像的高亮区域增长，膨胀操作示例图如图7。膨胀的数学公式如图8。2)腐蚀：和膨胀是一对反操作，是求局部最小值的操作。腐蚀示例图如图9，数学公式如图10。
实施例2：
一种基于向下倾角方向的多台TOF相机人体降噪系统，如图13所示，包括 获取模块100、映射模块200、滤波模块300、差分模块400、端点识别模块500 和分类模块500：
所述获取模块100，用于获取多台TOP相机的人体的三维点云数据；
所述映射模块200，用于将所有人体的三维点云数据映射到二维图像中，得到多台TOP 相机对应的映射二维图像；
所述滤波模块300，用于对所有二维图像进行形态学滤波处理，采用开运算方式处理， 去除人体边缘的噪声，得到滤波后的二维图像；
所述差分模块400，用于将滤波后的二维图像进行背景差分处理，得到只有人体的深度 图像；
所述端点识别模块500，用于对每张只有人体的深度图像进行端点识别处理，得到深度 图像中人体的各个端点；
所述分类模块600，通过深度图像中人体的各个端点，对人体进行姿态识别，得到具体 的概率分类，进而实现对深度图像中人体的降噪。
本发明解决向下倾角方向的拍摄角度对于TOF相机算法的问题；解决三维人体姿态识 别算法复杂度较高，耗时较多的问题；解决单个TOF存在固有的检测精度不高，噪声较多， 像素分辨率低，视野范围也存在局限性，对于更大角度空间或更大范围空间的深度信息结合 在一起问题。
本发明可用于向下倾角的TOF相机检测项目；用三维深度图像映射到二维图像进行需要 的处理，避开三维点云数据的滤波，平滑，数据处理等时间复杂度较大的算法，最终才用三 维数据做分类；另外，多台TOF同步处理，变相提高TOF数据的精度，拓展物理空间应用。
在映射模块200中，涉及的数学公式：y＝x/t*255。(t:深度上限，对于TOF相机可是个 定值，x:TOF相机得到深度图像的该点的深度值)。
所述端点识别模块500被设置为：
对只有人体的深度图像进行腐蚀处理，可以得到二维图像的人体的骨架线条；
通过人体的骨架线条得到对于人体骨架线条映射的三维点云数据；
遍历所有映射的三维点云数据得到人体中心的质点，标记为a；
遍历人体中心的质点，得到离人体中心的质点距离最远的n个点设置为人体的各个端点， 对其他只有人体的深度图像也进行相同处理，并计算出各个端点的中心坐标。
结合附图来详细解释，在端点识别模块500中，用较大的核对图像进行腐蚀，可以得到 二维图像的骨架线条，原图和骨架图如图11和12，得到对于骨架线条映射的三维点云数据， 用端点识别算法识别端点：先计算人体中心的质点(遍历所有点，计算三维点云的x，y，z的 质点)，标记为a，再遍历人体所有点，计算离中心的质点距离最大的4个点为人体端点(头， 左手，右手，腰部或脚)，这时从第二个TOF相机的数据同样会经过上述算法得到4个端点， 计算各个端点的中心坐标，从而尽可能消除TOF相机的数据精度不高，噪声较多，像素分辨 率低，视野范围也存在局限性的缺点。
所述分类模块600被设置为：
基于得到的n个端点，计算出人体端点的长宽比，对人体姿态进行初步分类，得到初步 分类结果；再采用朴素贝叶斯算法对初步分类结果中的大量数据的端点的概率进行具体的概 率分类。结合具体地比例，以双手伸开和直立为例：可采集到4个端点，计算人体端点的长 宽比，双手伸开大约1.2∶1左右，直立大约1∶3.5左右，即可初步分别，然后采用朴素贝叶斯 算法对大量数据的端点的概率计算具体分类。
更进一步地，所述差分模块400被设置为：
将有人体的前景深度图像和背景深度图像进行相减，公式如下：
deep人＝||deep场景-deep背景||
其中，deep人表示只有人体的深度图像，deep场景表示有人体的前景深度图像，deep背景表 示背景深度图像。在此实施例中，背景差分意思是计算前景图像(没有人)和后景图像(有 人)的差。因为图像的每个像素映射表示深度数据，所以相减后得到有人像素的二维图像， 而没有人的像素因为数值相同，相减后得到0。
所述获取模块100被设置为：
获取多台TOP相机的人体的三维点云数据，得到人体高度的平均值，历遍所有高度数据， 若90％的点云数据在高度中心以上，则为第一类别数据，剩余归为第二类别数据。对于第一 类别的数据和第二类别的数据，在步骤S600中采用的比例和概率不同，剩下所有的处理步骤 都是相同的。
另外，在所述滤波模块300中，对二维图像进行形态学滤波，采用开运行(先腐蚀，后 膨胀)的方法，消除噪声，保留边缘信息。具体原理如下：膨胀是求局部最大值的操作，从数学角度老说膨胀或者腐蚀操作是讲图像(或图像的一部分区域，称之为A))与核(称之为B)进行卷积。核可以是任何大小形状，多数情况下，核是一个小的正方形或者圆。而膨胀 就是就局部最大值的操作，核B与图像卷积，即计算和B覆盖的区域的像素点的最大值，并 把这个最大值赋值给参考点制定的像素，这样就会使图像的高亮区域增长，膨胀操作示例图如图7。膨胀的数学公式如图8。2)腐蚀：和膨胀是一对反操作，是求局部最小值的操作。 腐蚀示例图如图9，数学公式如图10。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处 参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实 施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。 因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的 形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储 介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形 式。
本发明是参照根据本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或 方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方 框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用 计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机 器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流 程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方 式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置 的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框 中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算 机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或 其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图 一个方框或多个方框中指定的功能的步骤。
需要说明的是：
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特 性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例” 或“实施例”并不一定均指同一个实施例。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念， 则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例 以及落入本发明范围的所有变更和修改。
此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称 等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括 于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做 各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要 求书所定义的范围，均应属于本发明的保护范围。
Claims (8)
1.一种基于向下倾角方向的多台TOF相机人体降噪方法，其特征在于，包括以下步骤：
获取多台TOF 相机的人体的三维点云数据；
将所有人体的三维点云数据映射到二维图像中，得到多台TOF 相机对应的映射二维图像；
对所有二维图像进行形态学滤波处理，采用开运算方式处理，去除人体边缘的噪声，得到滤波后的二维图像；
将滤波后的二维图像进行背景差分处理，得到只有人体的深度图像；
对每张只有人体的深度图像进行端点识别处理，得到深度图像中人体的各个端点；
通过深度图像中人体的各个端点，对人体进行姿态识别，得到具体的概率分类，进而实现对深度图像中人体的降噪；
得到深度图像中人体的各个端点，具体为：
对只有人体的深度图像进行腐蚀处理，可以得到二维图像的人体的骨架线条；
通过人体的骨架线条得到对于人体骨架线条映射的三维点云数据；
遍历所有映射的三维点云数据得到人体中心的质点；
遍历人体中心的质点，得到离人体中心的质点距离最远的n个点设置为人体的各个端点，对其他只有人体的深度图像也进行相同处理，并计算出各个端点的中心坐标。
2.根据权利要求1所述的基于向下倾角方向的多台TOF相机人体降噪方法，其特征在于，所述通过深度图像中人体的各个端点，对人体进行姿态识别，得到具体的概率分类，具体为：
基于得到的n个端点，计算出人体端点的长宽比，对人体姿态进行初步分类，得到初步分类结果；
再采用朴素贝叶斯算法对初步分类结果中的大量数据的端点的概率进行具体的概率分类。
3.根据权利要求1所述的基于向下倾角方向的多台TOF相机人体降噪方法，其特征在于，所述将滤波后的二维图像进行背景差分处理，得到只有人体的深度图像，具体为：
将有人体的前景深度图像和背景深度图像进行相减，公式如下：
其中，deep 人 表示只有人体的深度图像，deep 场景 表示有人体的前景深度图像，deep 背景 表示背景深度图像。
4.根据权利要求1-3任意一项所述的基于向下倾角方向的多台TOF相机人体降噪方法，其特征在于，所述获取多台TOF 相机的人体的三维点云数据，具体为：
获取多台TOF 相机的人体的三维点云数据，得到人体高度的平均值，历遍所有高度数据，若90%的点云数据在高度中心以上，则为第一类别数据，剩余归为第二类别数据。
5.一种基于向下倾角方向的多台TOF相机人体降噪系统，其特征在于，包括获取模块、映射模块、滤波模块、差分模块、端点识别模块和分类模块：
所述获取模块，用于获取多台TOF 相机的人体的三维点云数据；
所述映射模块，用于将所有人体的三维点云数据映射到二维图像中，得到多台TOF 相机对应的映射二维图像；
所述滤波模块，用于对所有二维图像进行形态学滤波处理，采用开运算方式处理，去除人体边缘的噪声，得到滤波后的二维图像；
所述差分模块，用于将滤波后的二维图像进行背景差分处理，得到只有人体的深度图像；
所述端点识别模块，用于对每张只有人体的深度图像进行端点识别处理，得到深度图像中人体的各个端点；
包括：
对只有人体的深度图像进行腐蚀处理，可以得到二维图像的人体的骨架线条；
通过人体的骨架线条得到对于人体骨架线条映射的三维点云数据；
遍历所有映射的三维点云数据得到人体中心的质点；
遍历人体中心的质点，得到离人体中心的质点距离最远的n个点设置为人体的各个端点，对其他只有人体的深度图像也进行相同处理，并计算出各个端点的中心坐标；
所述分类模块，通过深度图像中人体的各个端点，对人体进行姿态识别，得到具体的概率分类，进而实现对深度图像中人体的降噪。
6.根据权利要求5所述的基于向下倾角方向的多台TOF相机人体降噪系统，其特征在于，所述分类模块被设置为：
基于得到的n个端点，计算出人体端点的长宽比，对人体姿态进行初步分类，得到初步分类结果；
再采用朴素贝叶斯算法对初步分类结果中的大量数据的端点的概率进行具体的概率分类。
7.根据权利要求5所述的基于向下倾角方向的多台TOF相机人体降噪系统，其特征在于，所述差分模块被设置为：
将有人体的前景深度图像和背景深度图像进行相减，公式如下：
其中，deep 人 表示只有人体的深度图像，deep 场景 表示有人体的前景深度图像，deep 背景 表示背景深度图像。
8.根据权利要求5-7任意一项所述的基于向下倾角方向的多台TOF相机人体降噪系统，其特征在于，所述获取模块被设置为：
获取多台TOF 相机的人体的三维点云数据，得到人体高度的平均值，历遍所有高度数据，若90%的点云数据在高度中心以上，则为第一类别数据，剩余归为第二类别数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910544083.3A CN110599407B (zh) | 2019-06-21 | 2019-06-21 | 基于向下倾角方向的多台tof相机人体降噪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910544083.3A CN110599407B (zh) | 2019-06-21 | 2019-06-21 | 基于向下倾角方向的多台tof相机人体降噪方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110599407A CN110599407A (zh) | 2019-12-20 |
| CN110599407B true CN110599407B (zh) | 2022-04-05 |
Family
ID=68852650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910544083.3A Active CN110599407B (zh) | 2019-06-21 | 2019-06-21 | 基于向下倾角方向的多台tof相机人体降噪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110599407B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111238370A (zh) * | 2020-02-20 | 2020-06-05 | 中国科学院声学研究所东海研究站 | 一种kit板的智能检测方法及装置 |
| CN111539361B (zh) * | 2020-04-28 | 2023-09-05 | 北京小马慧行科技有限公司 | 噪点的识别方法、装置、存储介质、处理器和运载工具 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485690A (zh) * | 2015-08-25 | 2017-03-08 | 南京理工大学 | 基于点特征的点云数据与光学影像的自动配准融合方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200199B (zh) * | 2014-08-27 | 2017-04-05 | 合肥工业大学 | 基于tof相机的不良驾驶行为检测方法 |
| CN104463146B (zh) * | 2014-12-30 | 2018-04-03 | 华南师范大学 | 基于近红外tof相机深度信息的姿势识别方法和装置 |
| CN106408011B (zh) * | 2016-09-09 | 2020-04-17 | 厦门大学 | 基于深度学习的激光扫描三维点云树木自动分类方法 |
| CN106951860A (zh) * | 2017-03-20 | 2017-07-14 | 河南腾龙信息工程有限公司 | 一种基于点云的三维数据智能识别方法 |
-
2019
- 2019-06-21 CN CN201910544083.3A patent/CN110599407B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485690A (zh) * | 2015-08-25 | 2017-03-08 | 南京理工大学 | 基于点特征的点云数据与光学影像的自动配准融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110599407A (zh) | 2019-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110702111B (zh) | 使用双事件相机的同时定位与地图创建（slam） | |
| CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| CN109903331B (zh) | 一种基于rgb-d相机的卷积神经网络目标检测方法 | |
| JP6125188B2 (ja) | 映像処理方法及び装置 | |
| CN110276317B (zh) | 一种物体尺寸检测方法、物体尺寸检测装置及移动终端 | |
| JP6955783B2 (ja) | 情報処理方法、装置、クラウド処理デバイス及びコンピュータプログラム製品 | |
| CN107025660B (zh) | 一种确定双目动态视觉传感器图像视差的方法和装置 | |
| KR20180054487A (ko) | Dvs 이벤트 처리 방법 및 장치 | |
| WO2018227216A1 (en) | Learning-based matching for active stereo systems | |
| WO2018133119A1 (zh) | 基于深度相机进行室内完整场景三维重建的方法及系统 | |
| CN110599407B (zh) | 基于向下倾角方向的多台tof相机人体降噪方法及系统 | |
| WO2021098576A1 (zh) | 手部姿态估计方法、装置及计算机存储介质 | |
| Li et al. | Road markings extraction based on threshold segmentation | |
| CN113888639A (zh) | 基于事件相机与深度相机的视觉里程计定位方法及系统 | |
| CN111127556B (zh) | 基于3d视觉的目标物体识别和位姿估算方法以及装置 | |
| EP3035242B1 (en) | Method and electronic device for object tracking in a light-field capture | |
| CN109872343B (zh) | 弱纹理物体姿态跟踪方法、系统及装置 | |
| JP2010262576A (ja) | 対象物検出装置及びプログラム | |
| CN114981845A (zh) | 图像扫描方法及装置、设备、存储介质 | |
| WO2021098666A1 (zh) | 手部姿态检测方法和装置、及计算机存储介质 | |
| CN109443319A (zh) | 基于单目视觉的障碍物测距系统及其测距方法 | |
| CN111368883B (zh) | 基于单目摄像头的避障方法、计算装置及存储装置 | |
| CN110514140B (zh) | 一种三维成像方法、装置、设备以及存储介质 | |
| KR101733288B1 (ko) | 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법 | |
| US10861174B2 (en) | Selective 3D registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Human body noise reduction method and system for multiple TOF cameras based on downward tilt direction Effective date of registration: 20221110 Granted publication date: 20220405 Pledgee: Xiaoshan sub branch of Hangzhou United Rural Commercial Bank Co.,Ltd. Pledgor: Hangzhou YiYuQianXiang Technology Co.,Ltd. Registration number: Y2022330003021 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |