CN111652889A - 基于智能检测设备的边缘计算处理方法、装置、及设备 - Google Patents

基于智能检测设备的边缘计算处理方法、装置、及设备 Download PDF

Info

Publication number
CN111652889A
CN111652889A CN202010498026.9A CN202010498026A CN111652889A CN 111652889 A CN111652889 A CN 111652889A CN 202010498026 A CN202010498026 A CN 202010498026A CN 111652889 A CN111652889 A CN 111652889A
Authority
CN
China
Prior art keywords
human body
depth image
data
segmentation data
body segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010498026.9A
Other languages
English (en)
Inventor
路振旺
符长虹
陈浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lingying Intelligent Technology Co ltd
Original Assignee
Shenzhen Lingying Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lingying Intelligent Technology Co ltd filed Critical Shenzhen Lingying Intelligent Technology Co ltd
Priority to CN202010498026.9A priority Critical patent/CN111652889A/zh
Publication of CN111652889A publication Critical patent/CN111652889A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本申请涉及基于智能检测设备的边缘计算处理方法、装置、及设备，方法包括：获取当前环境深度图像；根据当前环境深度图像，采用帧间差分法和背景差分法相结合方式从深度图像中获取人体分割数据；根据获取的人体分割数据，计算其质心点到相机的距离，得到人体与人形检测设备之间的距离信息；将所述深度图像、所述人体分割数据、所述距离信息进行数据类型转换，输出加载了人体检测信息的标准H.264/H.265数据流。本发明从深度图像中获取人体分割数据，输出加载了检测信息的标准数据流，将标准数据用于终端客户；终端客户只需要获取到标准的数据流，结合自己的需求使用即可，改善了终端客户上位机计算能力不足，后期维护困难的问题。

Description

基于智能检测设备的边缘计算处理方法、装置、及设备
技术领域
本申请涉及基于智能人形检测技术领域，特别是涉及一种基于智能检测设备的边缘计算处理方法及装置、计算机设备、可读存储介质。
背景技术
在大型工厂生产车间，越来越多的企业开始使用AGV小车，码垛机，产线物体拾取等机器人设备进行货物的搬运，拾取等功能，进一步解放了人力，其在设备上面增加了传感器和上位机，利用上位机和多传感器融合技术，完成路径规划，避障，货物搬取等整体功能。
随着传感器的增多，上位机对各类传感器的算法和硬件计算能力要求增加，随之而来的是整个上位机的功耗，散热，价格增加。同时，对设备维护带来隐形的影响，如若设备出现问题，在寻找解决方案的过程中由于涉及的外围电路和传感器较多，使得寻找和解决问题的效率低下，影响设备工作。
现有技术基于3D视觉、激光雷达、碰撞条、声光报警等多级安全措施，与上位机配合完成话务检测、识别、定位、抓取、码放、的一系列动作，设备核心的中枢控制均在上位机完成。在工厂智能化过程中，最核心的一点是检测人，也最关键的部分，运行的设备在与人有冲突的环境中只要检测到人，必须马上停止工作，以保证人员安全。现有技术中随着多传感器的融合，存在各类凸显问题如下：
1).上位机计算能力要求越来越高，设计和制造成本增高；
2).多传感器融合算法越来越复杂，其出现风险的概率加大；
3).人体检测要求越来越高，其消耗的硬件资源加大；
4).维护设备难度加大，由于多传感器中枢是一个，后期出现问题使得寻找和解决问题的效率降低，难度加大。
因此，现有技术有待改进。
发明内容
本发明要解决的技术问题是，提供一种基于智能检测设备的边缘计算处理方法及装置、计算机设备、可读存储介质，本发明维护简单，解决问题效率高，实现容易，硬件实现成本低，并可以降低风险概率。
一种基于智能检测设备的边缘计算处理方法，其中，所述方法包括：
获取当前环境深度图像；
根据当前环境深度图像，采用帧间差分法和背景差分法相结合方式从深度图像中获取人体分割数据；
根据获取的人体分割数据，计算其质心点到相机的距离，得到人体与人形检测设备之间的距离信息；
将所述深度图像、所述人体分割数据、所述距离信息进行数据类型转换，输出加载了人体检测信息的标准H.264/H.265数据流至客户终端。
所述基于智能检测设备的边缘计算处理方法，其中，所述获取当前环境深度图像的步骤包括：
通过智能人形检测设备中的深度测量模组获取当前环境深度图像。
所述基于智能检测设备的边缘计算处理方法，其中，所述根据当前环境深度图像，采用帧间差分法和背景差分法相结合方式从深度图像中获取人体分割数据的步骤包括：
预先选取深度图像中的一帧作为背景帧，基于各像素点的深度值建立其高斯模型；
运用帧间差分法对相邻两帧图像进行差分处理，区分出背景区域和运动变化的区域；
对变化区域的各像素点进行模型拟合区分出物体残留区和运动物体；
在运动物体中去除边缘处阴影，分割出不带阴影的人体分割数据。
所述基于智能检测设备的边缘计算处理方法，其中，所述根据当前环境深度图像，从深度图像中获取人体分割数据的步骤还包括：
背景更新时将帧间差分确定为是背景的点，则以一定的规则进行更新；
背景差分时确定为是物体残留区的点，则以预定的更新频率更新背景帧，运动物体对应的区域不进行更新。
所述基于智能检测设备的边缘计算处理方法，其中，所述根据获取的人体分割数据，计算其质心点到相机的距离的步骤包括的步骤包括：
根据获取的人体分割数据，计算人体分割数据的质心点像素；
获取质心点像素的深度值，得到人体与人形检测设备之间的距离。
所述基于智能检测设备的边缘计算处理方法，其中，所述将所述深度图像、所述人体分割数据、所述距离信息进行数据类型转换，输出加载了检测信息的标准H.264/H.265数据流至客户终端的步骤包括：
将所述深度图像、所述人体分割数据、所述距离信息通过CPU转换为加载了人体检测信息的标准H.264/H.265数据流；
通过网口输出包含人体检测信息的标准H.264/H.265数据流至上位机。
一种基于智能检测设备的边缘计算处理装置，其中，所述装置包括：
获取模块，用于获取当前环境深度图像；
人体数据分割模块，用于根据当前环境深度图像，采用帧间差分法和背景差分法相结合方式从深度图像中获取人体分割数据；
计算模块，用于根据获取的人体分割数据，计算其质心点到相机的距离，得到人体与人形检测设备之间的距离信息；
转换与输出控制模块，用于将所述深度图像、所述人体分割数据、所述距离信息进行数据类型转换，输出加载了人体检测信息的标准H.264/H.265数据流至客户终端。
所述的基于智能检测设备的边缘计算处理装置，其中，所述人体数据分割模块包括：
背景帧处理单元，用于预先选取深度图像中的一帧作为背景帧，基于各像素点的深度值建立其高斯模型；
差分处理单元，用于运用帧间差分法对相邻两帧图像进行差分处理，区分出背景区域和运动变化的区域；
拟合单元，用于对变化区域的各像素点进行模型拟合区分出物体残留区和运动物体；
分割单元，用于在运动物体中去除边缘处阴影，分割出不带阴影的人体分割数据。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现任一项所述基于智能检测设备的边缘计算处理方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现任一项所述基于智能检测设备的边缘计算处理方法的步骤。
与现有技术相比，本发明实施例具有以下优点：
本发明实施方式提供一种基于智能检测设备的边缘计算处理的方法。本发明申请，针对人体检测，将人体检测和3D sensing结合，经数据处理，输出加载了检测信息的标准H.264/H.265数据流，将标准数据用于终端客户；终端客户只需要获取到标准的数据流，结合自己的需求使用即可，改善了终端客户上位机计算能力不足，后期维护困难的问题。本发明申请，尤其可以用于存量设备，即现有设备升级中，因现有的设备由于早先的设计限制，其上位机计算能力不足现象普遍存在。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种基于智能检测设备的边缘计算处理方法的流程示意图。
图2为本发明实施例中一种基于智能检测设备的边缘计算处理方法的需要测试示例流程示意图。
图3为本发明实施例中一种基于智能检测设备的边缘计算处理装置的结构示意图；
图4为本发明实施例中计算机设备的内部结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
发明人经过研究发现，现有技术中随着传感器的增多，上位机对各类传感器的算法和硬件计算能力要求增加，随之而来的是整个上位机的功耗，散热，价格增加。同时，对设备维护带来隐形的影响，如若设备出现问题，在寻找解决方案的过程中由于涉及的外围电路和传感器较多，使得寻找和解决问题的效率低下，影响设备工作。
为了解决上述问题，在本发明实施例中，针对人体检测，将人体检测和3D sensing结合，经数据处理，输出加载了检测信息的标准H.264/H.265数据流，将标准数据用于终端客户；终端客户只需要获取到标准的数据流，结合自己的需求使用即可，改善了终端客户上位机计算能力不足，后期维护困难的问题。本发明申请，尤其可以用于存量设备，即现有设备升级中，因现有的设备由于早先的设计限制，其上位机计算能力不足现象普遍存在。
下面结合附图，详细说明本发明的各种非限制性实施方式。
请参阅图1，图1示出了本发明实施例中基于智能检测设备的边缘计算处理方法，所述方法包括：
步骤S100、获取当前环境深度图像；
本发明实施例中，可以通过智能人形检测设备中的深度测量模组获取当前环境深度图像。深度图像(depth image)也被称为距离影像(range image)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。
其中，RGB摄像头，由三根不同的线缆给出了三个基本彩色成分。这种类型的摄像头通常是用三个独立的CCD传感器来获取三种彩色信号。RGB摄像头经常被用来做非常精确的彩色图像采集。
而RGBD深度相机是在RGB普通摄像头的功能上添加了一个深度测量。
本发明通过智能人形检测设备中的深度测量模组获取当前环境深度图像方便后步骤对图像中的人体图像数据进行分割。
步骤S200、根据当前环境深度图像，采用帧间差分法和背景差分法相结合方式从深度图像中获取人体分割数据；
本发明中，根据当前环境深度图像，采用帧间差分法和背景差分法相结合方式从深度图像中获取人体分割数据，以把重要的人体分割数据提取出来。
其中，帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。
背景差分法是采用图像序列中的当前帧和背景参考模型比较来检测运动物体的一种方法,其性能依赖于所使用的背景建模技术。
本发明采用帧间差分法和背景差分法相结合方式从深度图像中获取人体分割数据，这样检测运动目标速度快，检测准确，易于实现。
其中，所述根据当前环境深度图像，采用帧间差分法和背景差分法相结合方式从深度图像中获取人体分割数据在具体实施时包括以下步骤：
S1、预先选取深度图像中的一帧作为背景帧，基于各像素点的深度值建立其高斯模型；
高斯模型就是用高斯概率密度函数(正态分布曲线)精确地量化事物，将一个事知物分解为若干的基于高斯概率密度函数(正态分布曲线)形成的模型。
对图像背景建立高斯模型的原理及过程:图像深度直方图反映的是在深度图像中某个深度值出现的频次，也可以以为是图像深度概率密度的估计。如果图像所包含的目标区域和背景区域相差比较大，且背景区域和目标区域在深度上有一定的差异，那么该图像的深度直方图呈现双峰-谷形状，其中一个峰对应于目标，另一个峰对应于背景。
本发明中在边缘端预先选取深度图像中的一帧作为背景帧，基于各像素点的深度值建立其高斯模型，方便后面步骤区别动的人体图像数据。
当比较一段视频的相邻帧时，可以看到背景像素值随着时间的推移变化缓慢，并且在一段时间内几乎没有变化，而对应于物体运动区域的像素值则非常大。基于这种特性，可以对背景图像帧的每一个像素点建立高斯模型。假设一段时间t内,图像中同一位置的像素点组成的集合服从各自的高斯分布,均值为μ(i,j)和标准方差为σ(i,j)(i,j是像素点在图像中的横坐标和纵坐标)。
像素点的高斯模型为：
Figure BDA0002523678890000071
其中Z(i,j,t)为图像序列中所有横坐标为i，纵坐标为j的像素点组成的集合，e为自然对数的底数。
S2、运用帧间差分法对相邻两帧图像进行差分处理，区分出背景区域和运动变化的区域；
便于提取图像中变化的区域；
S3、对变化区域的各像素点进行模型拟合区分出物体残留区和运动物体；
分割出的运动变化区域包括物体残留区和运动物体。物体残留区即运动物体在前一帧中所占有的区域。
参考上述步骤S1的公式所示，对分割出的运动变化区域中的每一个像素，用高斯模型与其拟合(使用深度值Z来度量这个像素点(i,j)的特性)，设置一概率阈值T，如果P(Z(i,j,t))≤T，则判断为物体残留区，否则为运动物体。Z(i,j,t)为图像序列中所有横坐标为i，纵坐标为j的像素点组成的集合。
在实际的应用中用等价的阈值代替概率阈值,记d(i,j,t)＝|z(i,j,t)-μ(i,j)|,则可设置相应的前景检测阈值为σ(i,j),检测规则如下：
如果d(i,j,t)≤σ(i,j)，则判断为物体残留区，否则为运动物体。
S4、在运动物体中去除边缘处阴影，分割出不带阴影的人体分割数据。
此处的阴影区域应当理解为运动物体边缘区域处毗邻的点集。在得到运动物体区域后，使用sobel算法或其他边缘检测算法进行边缘检测来获取轮廓。
这样处理后图像中只剩下运动物体，减小了背景区域的影响，提升后处理速度。
本发明中，背景更新时将帧间差分确定为是背景的点，则以一定的规则进行更新；
对确定为背景的点，更新规则为：
μt+1＝(1-a1)*μt+a1*z
σ2＝(1-a1)*σ2+a1*d(i,j,t)2
对物体残留区的点，更新规则为：
μt+1＝(1-a2)*μt+a2*z
σ2＝(1-a2)*σ2+a2*d(i,j,t)2
其中a1,a2为更新率,z表示新帧中的像素点深度值。a1,a2的取值不同。由于物体残留区的点在当前帧本不应该存在，所以a2会比a1大，一般可以取0.2以上。,遵循这种更新规则，在建立背景模型时，图像中即使存在运动物体，它的影响也会随着运动物体的移动而消除，最终得到干净的背景模型。对最终检测为运动物体的区域不予更新。
背景差分时确定为是物体残留区的点，则以较大的更新频率(预定的更新率)更新背景帧，运动物体对应的区域不进行更新。
步骤S300、根据获取的人体分割数据，计算其质心点到相机的距离，得到人体与人形检测设备之间的距离信息；
本发明中，根据获取的人体分割数据，计算其质心点到相机的距离，得到人体与人形检测设备之间的距离信息，具体为：
根据获取的人体分割数据，计算人体分割数据的质心点像素；质心坐标为人形区域所有像素点坐标的算术平均值。
获取质心点像素的深度值，得到人体与人形检测设备之间的距离。
步骤S400、将所述深度图像、所述人体分割数据、所述距离信息进行数据类型转换，输出加载了人体检测信息的标准H.264/H.265数据流至客户终端。
本发明中，在具体实施时，会将所述深度图像、所述人体分割数据、所述距离信息进行数据类型转换，输出加载了检测信息的标准H.264/H.265数据流至客户终端。
例如将所述深度图像、所述人体分割数据、所述距离信息通过CPU转换为加载了人体检测信息的标准H.264/H.265数据流；
通过网口输出包含人体检测信息的标准H.264/H.265数据流至上位机
由上可见，本发明实施例中采用通过智能人形检测设备中的深度测量模组获取当前环境深度图像；步骤S20、基于当前环境深度图像，获取人体检测数据；基于获取的人体数据，计算其质心点到相机的距离；使用网口将检测结果、距离等数据通过标准的H.264/H.265数据流推送至上位机。
本发明针对人体检测，将人体检测和3D sensing结合，输出加载了检测信息的标准H.264/H.265数据流，将标准数据用于终端客户，终端客户只需要获取到标准的数据流，结合自己的需求使用即可，改善了现有技术中终端客户上位机计算能力不足，后期维护困难的问题；本发明，可以用于存量设备，即现有设备升级中，因现有的设备由于早先的设计限制，其上位机计算能力不足现象普遍存在。
3D sensing即在获取当前区域平面图像的同时，还获取了深度信息。目前实现3Dsensing共有三种技术，分别为双目立体成像、结构光和ToF，目前已经比较成熟的方案是结构光和TOF。
以下通过一具体应用实施例对本发明做进一步详细描述，
本发明具体应用实施例中，如图2所示，所述基于智能检测设备的边缘计算处理方法，包括以下步骤：
第一步骤，基于智能人形检测设备，获取深度图像与数据处理；
第二步骤，通过算法进行距离、人物特征、人物形态检测。分为以下步骤：
1).初始化环境；
2).基于智能人形检测设备中的深度模组，在板端获取当前环境的深度图像；
3).从深度图像中获取人体分割数据：采用帧间差分法和背景差分法相结合起来的方法来分割运动人体，预先选取深度图像中的一帧作为背景帧，基于各像素点的深度值建立其高斯模型，再运用帧间差分法对相邻两帧图像进行差分处理，区分出背景区域和运动变化的区域(在当前帧中变化的区域包括物体残留区和运动物体)，然后对变化区域的各像素点进行模型拟合区分出物体残留区和运动物体，最后在运动物体中去除阴影，这样将不带阴影的运动物体分割出来。背景更新时将帧间差分确定为是背景的点，则以一定的规则进行更新；背景差分时确定为是物体残留区的点，则以较大的更新率更新背景帧，运动物体对应的区域不进行更新。该法可以得到较理想的分割目标。
4).在获取人体分割数据后，计算这一部分数据的质心点像素并获取该点的深度值，即为人体与人形检测设备之间的距离；
第三步，CPU进行数据处理。将获取到的图像、距离信息进行数据类型转换，最终通过标准的H.264/H.265数据流格式传输。
第四步，使用网口输出包含人体信息的标准的H.264/H.265数据流。
第五步，结束。
在一个实施例中，本发明还提供了一种基于智能检测设备的边缘计算处理装置，如图3所示，所述装置包括：
获取模块41，用于获取当前环境深度图像；
人体数据分割模块42，用于根据当前环境深度图像，采用帧间差分法和背景差分法相结合方式从深度图像中获取人体分割数据；
计算模块43，用于根据获取的人体分割数据，计算其质心点到相机的距离，得到人体与人形检测设备之间的距离信息；
转换与输出控制模块44，用于将所述深度图像、所述人体分割数据、所述距离信息进行数据类型转换，输出加载了人体检测信息的标准H.264/H.265数据流至客户终端。
其中，所述人体数据分割模块包括：
背景帧处理单元，用于预先选取深度图像中的一帧作为背景帧，基于各像素点的深度值建立其高斯模型；
差分处理单元，用于运用帧间差分法对相邻两帧图像进行差分处理，区分出背景区域和运动变化的区域；
拟合单元，用于对变化区域的各像素点进行模型拟合区分出物体残留区和运动物体；
分割单元，用于在运动物体中去除边缘处阴影，分割出不带阴影的人体分割数据；具体如上所述。
在一个实施例中，本发明提供了一种计算机设备，该设备可以是终端，内部结构如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种自然语言模型的生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4所示的仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取当前环境深度图像；
根据当前环境深度图像，采用帧间差分法和背景差分法相结合方式从深度图像中获取人体分割数据；
根据获取的人体分割数据，计算其质心点到相机的距离，得到人体与人形检测设备之间的距离信息；
将所述深度图像、所述人体分割数据、所述距离信息进行数据类型转换，输出加载了人体检测信息的标准H.264/H.265数据流至客户终端，具体如上所述。
其中，所述获取当前环境深度图像的步骤包括：
通过智能人形检测设备中的深度测量模组获取当前环境深度图像。
其中，所述根据当前环境深度图像，采用帧间差分法和背景差分法相结合方式从深度图像中获取人体分割数据的步骤包括：
预先选取深度图像中的一帧作为背景帧，基于各像素点的深度值建立其高斯模型；
运用帧间差分法对相邻两帧图像进行差分处理，区分出背景区域和运动变化的区域；
对变化区域的各像素点进行模型拟合区分出物体残留区和运动物体；
在运动物体中去除边缘处阴影，分割出不带阴影的人体分割数据。
其中，所述根据当前环境深度图像，从深度图像中获取人体分割数据的步骤还包括：
背景更新时将帧间差分确定为是背景的点，则以一定的规则进行更新；
背景差分时确定为是物体残留区的点，则以预定的更新频率更新背景帧，运动物体对应的区域不进行更新。
其中，所述根据获取的人体分割数据，计算其质心点到相机的距离的步骤包括的步骤包括：
根据获取的人体分割数据，计算人体分割数据的质心点像素；
获取质心点像素的深度值，得到人体与人形检测设备之间的距离。
其中，所述将所述深度图像、所述人体分割数据、所述距离信息进行数据类型转换，输出加载了检测信息的标准H.264/H.265数据流至客户终端的步骤包括：
将所述深度图像、所述人体分割数据、所述距离信息通过CPU转换为加载了人体检测信息的标准H.264/H.265数据流；
通过网口输出包含人体检测信息的标准H.264/H.265数据流至上位机，具体如上所述。
综上所述，与现有技术相比，本发明实施例具有以下优点：
本发明实施方式提供一种基于智能检测设备的边缘计算处理的方法。本发明申请，针对人体检测，将人体检测和3D sensing结合，经数据处理，输出加载了检测信息的标准H.264/H.265数据流，将标准数据用于终端客户；终端客户只需要获取到标准的数据流，结合自己的需求使用即可，改善了终端客户上位机计算能力不足，后期维护困难的问题。本发明申请，尤其可以用于存量设备，即现有设备升级中，因现有的设备由于早先的设计限制，其上位机计算能力不足现象普遍存在。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于智能检测设备的边缘计算处理方法，其特征在于，所述方法包括：
获取当前环境深度图像；
根据当前环境深度图像，采用帧间差分法和背景差分法相结合方式从深度图像中获取人体分割数据；
根据获取的人体分割数据，计算其图像质心点到相机的距离，得到人体与人形检测设备之间的距离信息；
将所述深度图像、所述人体分割数据、所述距离信息进行数据类型转换，输出加载了人体检测信息的标准H.264/H.265数据流至客户终端。
2.根据权利要求1所述基于智能检测设备的边缘计算处理方法，其特征在于，所述获取当前环境深度图像的步骤包括：
通过智能人形检测设备中的深度测量模组获取当前环境深度图像。
3.根据权利要求1所述基于智能检测设备的边缘计算处理方法，其特征在于，所述根据当前环境深度图像，采用帧间差分法和背景差分法相结合方式从深度图像中获取人体分割数据的步骤包括：
预先选取深度图像中的一帧作为背景帧，基于各像素点的深度值建立其高斯模型；
运用帧间差分法对相邻两帧图像进行差分处理，区分出背景区域和运动变化的区域；
对变化区域的各像素点进行模型拟合区分出物体残留区和运动物体；
在运动物体中去除边缘处阴影，分割出不带阴影的人体分割数据。
4.根据权利要求3所述基于智能检测设备的边缘计算处理方法，其特征在于，所述根据当前环境深度图像，从深度图像中获取人体分割数据的步骤还包括：
背景更新时将帧间差分确定为是背景的点，则以一定的规则进行更新；
背景差分时确定为是物体残留区的点，则以预定的更新频率更新背景帧，运动物体对应的区域不进行更新。
5.根据权利要求1所述基于智能检测设备的边缘计算处理方法，其特征在于，所述根据获取的人体分割数据，计算其质心点到相机的距离的步骤包括的步骤包括：
根据获取的人体分割数据，计算人体分割数据的质心点像素；
获取质心点像素的深度值，得到人体与人形检测设备之间的距离。
6.根据权利要求1所述基于智能检测设备的边缘计算处理方法，其特征在于，所述将所述深度图像、所述人体分割数据、所述距离信息进行数据类型转换，输出加载了检测信息的标准H.264/H.265数据流至客户终端的步骤包括：
将所述深度图像、所述人体分割数据、所述距离信息通过CPU转换为加载了人体检测信息的标准H.264/H.265数据流；
通过网口输出包含人体检测信息的标准H.264/H.265数据流至上位机。
7.一种基于智能检测设备的边缘计算处理装置，其特征在于，所述装置包括：
获取模块，用于获取当前环境深度图像；
人体数据分割模块，用于根据当前环境深度图像，采用帧间差分法和背景差分法相结合方式从深度图像中获取人体分割数据；
计算模块，用于根据获取的人体分割数据，计算其质心点到相机的距离，得到人体与人形检测设备之间的距离信息；
转换与输出控制模块，用于将所述深度图像、所述人体分割数据、所述距离信息进行数据类型转换，输出加载了人体检测信息的标准H.264/H.265数据流至客户终端。
8.根据权利要求7所述的基于智能检测设备的边缘计算处理装置，其特征在于，所述人体数据分割模块包括：
背景帧处理单元，用于预先选取深度图像中的一帧作为背景帧，基于各像素点的深度值建立其高斯模型；
差分处理单元，用于运用帧间差分法对相邻两帧图像进行差分处理，区分出背景区域和运动变化的区域；
拟合单元，用于对变化区域的各像素点进行模型拟合区分出物体残留区和运动物体；
分割单元，用于在运动物体中去除边缘处阴影，分割出不带阴影的人体分割数据。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述基于智能检测设备的边缘计算处理方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述基于智能检测设备的边缘计算处理方法的步骤。
CN202010498026.9A 2020-06-04 2020-06-04 基于智能检测设备的边缘计算处理方法、装置、及设备 Withdrawn CN111652889A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010498026.9A CN111652889A (zh) 2020-06-04 2020-06-04 基于智能检测设备的边缘计算处理方法、装置、及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010498026.9A CN111652889A (zh) 2020-06-04 2020-06-04 基于智能检测设备的边缘计算处理方法、装置、及设备

Publications (1)

Publication Number Publication Date
CN111652889A true CN111652889A (zh) 2020-09-11

Family

ID=72344996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010498026.9A Withdrawn CN111652889A (zh) 2020-06-04 2020-06-04 基于智能检测设备的边缘计算处理方法、装置、及设备

Country Status (1)

Country Link
CN (1) CN111652889A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203722736U (zh) * 2013-10-02 2014-07-16 哈尔滨理工大学 基于云视觉的铁路异常物体检测装置
CN107335192A (zh) * 2017-05-26 2017-11-10 深圳奥比中光科技有限公司 运动辅助训练方法、装置及存储装置
US20180108143A1 (en) * 2016-03-18 2018-04-19 Boe Technology Group Co., Ltd. Height measuring system and method
CN109828267A (zh) * 2019-02-25 2019-05-31 国电南瑞科技股份有限公司 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法
CN110457980A (zh) * 2018-05-08 2019-11-15 上海梓琰信息科技有限公司 一种人体影像识别方法
CN110930411A (zh) * 2019-11-20 2020-03-27 杭州光珀智能科技有限公司 一种基于深度相机的人体分割方法及系统
CN111127481A (zh) * 2019-12-20 2020-05-08 上海吉七物联网科技有限公司 基于tof图像联通区域的图像识别方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203722736U (zh) * 2013-10-02 2014-07-16 哈尔滨理工大学 基于云视觉的铁路异常物体检测装置
US20180108143A1 (en) * 2016-03-18 2018-04-19 Boe Technology Group Co., Ltd. Height measuring system and method
CN107335192A (zh) * 2017-05-26 2017-11-10 深圳奥比中光科技有限公司 运动辅助训练方法、装置及存储装置
CN110457980A (zh) * 2018-05-08 2019-11-15 上海梓琰信息科技有限公司 一种人体影像识别方法
CN109828267A (zh) * 2019-02-25 2019-05-31 国电南瑞科技股份有限公司 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法
CN110930411A (zh) * 2019-11-20 2020-03-27 杭州光珀智能科技有限公司 一种基于深度相机的人体分割方法及系统
CN111127481A (zh) * 2019-12-20 2020-05-08 上海吉七物联网科技有限公司 基于tof图像联通区域的图像识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曾星: ""基于深度图像的坐姿识别技术及应用研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
EP2858008B1 (en) Target detecting method and system
Boniardi et al. Robot localization in floor plans using a room layout edge extraction network
CN109559330B (zh) 运动目标的视觉跟踪方法、装置、电子设备及存储介质
Black et al. Multi-camera image measurement and correspondence
EP2352128B1 (en) Mobile body detection method and mobile body detection apparatus
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
Lee et al. An intelligent depth-based obstacle detection system for visually-impaired aid applications
CN110782483A (zh) 基于分布式相机网络的多视图多目标跟踪方法及系统
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
WO2020062546A1 (zh) 目标跟踪处理方法、电子设备
CN116740126A (zh) 目标跟踪方法、高速相机及存储介质
CN112785492A (zh) 图像处理方法、装置、电子设备和存储介质
CN110207702B (zh) 目标定位的方法及装置
Yu et al. Drso-slam: A dynamic rgb-d slam algorithm for indoor dynamic scenes
CN111665490B (zh) 目标跟踪方法和装置、存储介质及电子装置
CN111368883B (zh) 基于单目摄像头的避障方法、计算装置及存储装置
CN112509126A (zh) 三维物体检测的方法、装置、设备及存储介质
JP6659095B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20230005162A1 (en) Image processing system, image processing method, and storage medium
CN111652889A (zh) 基于智能检测设备的边缘计算处理方法、装置、及设备
Park et al. Depth image correction for intel realsense depth camera
Suttasupa et al. Plane detection for Kinect image sequences
CN114723809A (zh) 估计物体姿态的方法和装置、电子设备
CN112561995A (zh) 一种实时高效的6d姿态估计网络、构建方法及估计方法
JP2021077177A (ja) 動作認識装置、動作認識方法及び動作認識プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200911

WW01 Invention patent application withdrawn after publication