CN114782984B - 一种基于tof相机的坐姿识别遮挡判定方法及智能台灯 - Google Patents

一种基于tof相机的坐姿识别遮挡判定方法及智能台灯 Download PDF

Info

Publication number
CN114782984B
CN114782984B CN202210300273.2A CN202210300273A CN114782984B CN 114782984 B CN114782984 B CN 114782984B CN 202210300273 A CN202210300273 A CN 202210300273A CN 114782984 B CN114782984 B CN 114782984B
Authority
CN
China
Prior art keywords
image
depth
sitting posture
depth interval
calculation result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210300273.2A
Other languages
English (en)
Other versions
CN114782984A (zh
Inventor
潘颢文
张勇
赵荣杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Shixi Technology Co Ltd
Original Assignee
Zhuhai Shixi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Shixi Technology Co Ltd filed Critical Zhuhai Shixi Technology Co Ltd
Priority to CN202210300273.2A priority Critical patent/CN114782984B/zh
Publication of CN114782984A publication Critical patent/CN114782984A/zh
Application granted granted Critical
Publication of CN114782984B publication Critical patent/CN114782984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21VFUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V33/00Structural combinations of lighting devices with other articles, not otherwise provided for
    • F21V33/0004Personal or domestic articles
    • F21V33/0052Audio or video equipment, e.g. televisions, telephones, cameras or computers; Remote control devices therefor
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请公开了一种基于TOF相机的坐姿识别遮挡判定方法及智能台灯,用于判定拍摄人体坐姿的深度图像中是否存在遮挡,从而在坐姿识别过程中排除遮挡带来干扰。本申请方法包括:获取人体坐姿的深度图像;在所述深度图像中提取目标深度区间图像,所述目标深度区间图像为人体所在的深度区间图像;在所述目标深度区间图像中确定主体区域;通过目标公式对所述主体区域进行有效点离散程度计算,得到第一计算结果;判断所述第一计算结果是否大于第一阈值;若所述第一计算结果大于第一阈值,则确定存在遮挡。

Description

一种基于TOF相机的坐姿识别遮挡判定方法及智能台灯
技术领域
本申请涉及图像处理领域,尤其涉及一种基于TOF相机的坐姿识别遮挡判定方法及智能台灯。
背景技术
不同的坐姿能够表达用户的不同状态,通过坐姿识别技术能够识别出人们的坐姿种类和坐姿状态,并反馈给用户,实现坐姿干预。
坐姿识别的技术有很多,以前主要是通过传感器来实现,通过传感器实现的方法具有准确度高的优点,但安装传感器过程麻烦,成本高,容易让用户感到不适;随着科技的发展,近些年主要通过机器学习的方法来实现,但机器学习的方法需要大量的人力物力,检测的准确性与训练集的优质程度相关,如果出现一些样本中没有涉及的情况就可能会出现误判,并且机器学习要实现精度高,就可能要更多的卷积层,意味着更高的算力消耗,运算时间可能会更长,实时性低。
基于这些问题,现有技术中还提出了基于深度图像进行坐姿识别的方法,采用深度图像进行坐姿识别,这样不仅能够有效保护用户的个人隐私,并且还能够节省算力,提高识别效率。但是在基于深度图像进行坐姿识别时,由于人体姿势多变,或者衣服以及其他因素造成镜头遮挡的干扰,容易导致误判,影响坐姿识别结果。
发明内容
本申请提供了一种基于TOF相机的坐姿识别遮挡判定方法及智能台灯,用于判定拍摄人体坐姿的深度图像中是否存在遮挡,从而在坐姿识别过程中排除遮挡带来干扰。
本申请第一方面提供了一种基于TOF相机的坐姿识别遮挡判定方法,包括:
获取人体坐姿的深度图像;
在所述深度图像中提取目标深度区间图像,所述目标深度区间图像为人体所在的深度区间图像;
在所述目标深度区间图像中确定主体区域;
通过目标公式对所述主体区域进行有效点离散程度计算,得到第一计算结果;
判断所述第一计算结果是否大于第一阈值;
若所述第一计算结果大于第一阈值,则确定存在遮挡。
可选的,所述在所述目标深度区间图像中确定主体区域包括:
在所述目标深度区间图像中确定主体区域及边缘区域;
所述若所述第一计算结果大于第一阈值,则确定存在遮挡包括:
若所述第一计算结果大于第一阈值,则对所述边缘区域进行有效点占比统计,得到第二计算结果;
判断所述第二计算结果是否小于第二阈值;
若是,则确定存在遮挡。
可选的,所述在所述深度图像中提取目标深度区间图像包括:
去除所述深度图像中的背景部分;
对所述深度图像进行深度划分,得到若干深度区间图像;
分别计算所述若干深度区间图像中的有效点占比;
将所述有效点占比最高的两个深度区间图像确定为目标深度区间图像。
可选的,在所述目标深度区间图像中确定主体区域和边缘区域之前,所述方法还包括:
对所述目标深度区间图像进行去噪处理。
可选的,所述去噪处理包括侵蚀和膨胀处理。
可选的,所述目标公式为:
var=∑(x-average(x))2/n;
average(x)=∑x/n;
其中,var表示所述第一计算结果,x表示所述主体区域中有效点的横坐标,n表示所述主体区域中有效点的数量。
可选的,在所述判断所述第一计算结果是否大于第一阈值之后,所述方法还包括:
若所述第一计算结果小于第一阈值,则确定不存在遮挡,并根据所述深度图像进行坐姿识别。
可选的,在所述确定所述深度图像中存在遮挡之后,所述方法还包括:
发送提示信息,所述提示信息用于提示用户去除遮挡。
本申请第二方面提供了一种智能台灯,所述智能台灯包括台灯、控制单元和TOF相机,所述智能台灯执行第一方面以及第一方面中任一项可选的基于TOF相机的坐姿识别遮挡判定方法。
本申请第三方面提供了一种基于TOF相机的坐姿识别遮挡判定的装置,包括:
获取单元,用于获取人体坐姿的深度图像;
提取单元,用于在所述深度图像中提取目标深度区间图像,所述目标深度区间图像为人体所在的深度区间图像;
区域确定单元,用于在所述目标深度区间图像中确定主体区域;
计算单元,用于通过目标公式对所述主体区域进行有效点离散程度计算,得到第一计算结果;
判断单元,用于判断所述第一计算结果是否大于第一阈值;
遮挡判定单元,用于当所述判断单元的判断结果为是时,确定存在遮挡。
可选的,所述区域确定单元具体用于:
在所述目标深度区间图像中确定主体区域及边缘区域;
所述遮挡判定单元包括:
统计模块,用于当所述判断单元的判断结果为是时,对所述边缘区域进行有效点占比统计,得到第二计算结果;
判断模块,用于判断所述第二计算结果是否小于第二阈值;
确定模块,用于当所述判断模块的判断结果为是时,确定存在遮挡。
可选的,所述提取单元具体用于:
去除所述深度图像中的背景部分;
对所述深度图像进行深度划分,得到若干深度区间图像;
分别计算所述若干深度区间图像中的有效点占比;
将所述有效点占比最高的两个深度区间图像确定为目标深度区间图像。
可选的,所述装置还包括:
处理单元,用于对所述目标深度区间图像进行去噪处理。
可选的,所述去噪处理包括侵蚀和膨胀处理。
可选的,所述目标公式为:
var=∑(x-average(x))2/n;
average(x)=∑x/n;
其中,var表示所述第一计算结果,x表示所述主体区域中有效点的横坐标,n表示所述主体区域中有效点的数量。
可选的,所述遮挡判定单元还用于:
当所述判断单元的判断结果为否时,确定不存在遮挡,并根据所述深度图像进行坐姿识别。
可选的,所述装置还包括:
发送单元,用于发送提示信息,所述提示信息用于提示用户去除遮挡。
本申请第四方面提供了一种基于TOF相机的坐姿识别遮挡判定的装置,所述装置包括:
处理器、存储器、输入输出单元以及总线;
所述处理器与所述存储器、所述输入输出单元以及所述总线相连;
所述存储器保存有程序,所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的基于TOF相机的坐姿识别遮挡判定方法。
本申请第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质上保存有程序,所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的基于TOF相机的坐姿识别遮挡判定方法。
从以上技术方案可以看出,本申请具有以下优点:
通过本申请提供的一种基于TOF相机的坐姿识别遮挡判定方法,提取拍摄人体坐姿的深度图像中人体所在的区间图像(目标深度区间图像),再对目标深度区间图像中的主体区域进行离散程度计算,并通过计算结果判定该深度图像中是否存在遮挡,从而在基于深度图像的坐姿识别过程中排除遮挡带来的干扰,提高坐姿识别的抗干扰能力及识别的准确率。
附图说明
为了更清楚地说明本申请中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的基于TOF相机的坐姿识别遮挡判定方法一个实施例流程示意图;
图2为本申请提供的基于TOF相机的坐姿识别遮挡判定方法中终端的摆放示意图;
图3为本申请提供的目标深度区间图像中主体区域的示意图;
图4为本申请提供的基于TOF相机的坐姿识别遮挡判定方法另一个实施例流程示意图;
图5为本申请提供的目标深度区间图像中主体区域、边缘区域及外部区域的示意图;
图6为本申请提供的基于TOF相机的坐姿识别遮挡判定装置一个实施例结构示意图;
图7为本申请提供的基于TOF相机的坐姿识别遮挡判定装置另一个实施例结构示意图;
图8为本申请提供的基于TOF相机的坐姿识别遮挡判定实体装置一个实施例结构示意图。
具体实施方式
本申请提供了一种基于TOF相机的坐姿识别遮挡判定方法及智能台灯,用于判定拍摄人体坐姿的深度图像中是否存在遮挡,从而在坐姿识别过程中排除遮挡带来干扰。
需要说明的是,本申请提供的基于TOF相机的坐姿识别遮挡判定方法,可以应用于终端,还可以应用于服务器上,例如终端可以是智能台灯、深度相机、手机或电脑、平板电脑、智能电视、智能手表、便携计算机终端也可以是台式计算机等固定终端。为方便阐述,本申请中以终端为执行主体进行举例说明。
请参阅图1,图1为本申请提供的基于TOF相机的坐姿识别遮挡判定方法的一个实施例,该方法包括:
101、获取人体坐姿的深度图像;
在本实施例中,利用深度图像来进行坐姿识别,相较于使用RGB彩色图像,深度图像中没有色彩和内容细节,这样能够有效保护用户的个人隐私。但是正是由于深度图像中没有内容细节,如果用户的衣服以及其他因素造成镜头遮挡的干扰,容易导致误识别甚至无法识别,因此有必要在确定用户的坐姿识别结果之前先进行当前是否存在遮挡的判定。
在终端进行坐姿识别时,终端通过深度镜头来拍摄用户的坐姿,以获取用户坐姿的深度图像。
在一些具体的实施例中,例如终端为智能台灯,台灯在使用过程中摆放在桌面上,台灯上搭载的深度镜头则主要是对准用户的上半身进行拍摄,具体的摆放位置如图2所示,深度镜头与人体的距离大约在700-1000mm,获取的深度图像主要为包含人体上半身的深度图像。进一步的,可以将深度镜头的区间长度设置为1m,将所获取的深度图像的起始点设置为摄像头正前方400mm,终止点设置为摄像头正前方1400mm,能够满足大部分的应用场景。
102、在深度图像中提取目标深度区间图像,目标深度区间图像为人体所在的深度区间图像;
终端对深度图像进行深度选通,具体是对图像进行深度划分以提取图像特征,然后根据图像特征分辨出人体所在的深度区间,也就是目标深度区间,然后从深度图像中提取目标深度区间对应的目标深度区间图像。
需要说明的是,由于在实际进行坐姿识别的场景中,人与终端的距离较近,所以深度图像中的很大一部分区域会被人体占据,终端可以通过这个特征来分辨人体所在的深度区间。具体的,终端先将深度图像划分为若干深度区间,得到若干张深度区间图像,深度区间的长度具体此处不做限定,优选为100mm,然后根据不同深度区间图像的图像特征可以分辨出人体所在的目标深度区间,再提取对应的目标深度区间图像。
103、在目标深度区间图像中确定主体区域;
对于包含人体大部分特征的目标深度区间图像,终端需要进行区域分割的处理,以确定目标深度区间图像中的主体区域,该主体区域是指人体胸口到腹部的区域,也是进行坐姿识别的关键区域。
如图3所示,终端在目标深度区间图像中进行横向的分割,将人体胸口到腹部的区域确定为主体区域。
104、通过目标公式对主体区域进行离散程度计算,得到第一计算结果;
在确定了目标深度区间图像中的主体区域后,终端则对该主体区域进行有效点的离散程度计算,需要说明的是,本申请中的有效点是指像素值非0的点。
105、判断第一计算结果是否大于第一阈值,若是,则执行步骤106;
目标深度区间图像是通过对深度图像进行深度划分得到,该目标深度区间图像对应人体所在的深度区间,深度镜头面向用户进行拍摄,在不存在遮挡的条件下,深度镜头能够拍摄出相对完整的人体,反映在目标深度区间图像上就表现为主体区域的有效点是连成一片的,即主体区域的离散程度较小。但是当存在遮挡的条件下,人体被遮挡的部分将不会被拍摄到,遮挡的位置会导致深度分离,体现在目标深度区间图像上就表现为存在空白的区域,主体区域的有效点不能连成一片,离散程度较大。因此主体区域的离散程度能够反映该目标深度区间图像是否存在深度分离,即是否存在遮挡。
终端判断该主体区域的离散程度,即第一计算结果是否大于第一阈值,若大于第一阈值,则执行步骤106。需要说明的是,该第一阈值的具体数值此处不做限定,在不同的应用场景下该第一阈值的数值不同,具体需要通过测试确定,该第一阈值为能把遮挡后人身体的点(有效点)的离散程度和遮挡前区分开来的临界点。
106、确定存在遮挡。
如果终端确定目标深度区间中主体区域的离散程度大于第一阈值,则说明目标深度区间中主体区域存在深度分离,从而可以确定该深度图像中存在遮挡,此时如果根据该深度图像进行坐姿识别,大概率会导致误识别甚至无法识别。在确定当前存在遮挡后,终端则可以进行进一步的处理以排除遮挡带来的影响提高识别准确率,例如提醒用户去除遮挡或者通过图像技术智能消除遮挡等。
在本实施例中,通过提取拍摄人体坐姿的深度图像中人体所在的区间图像(目标深度区间图像),再对目标深度区间图像中的主体区域进行离散程度计算,并通过计算结果判定该深度图像中是否存在遮挡,从而在基于深度图像的坐姿识别过程中排除遮挡带来的干扰,提高坐姿识别的抗干扰能力及识别的准确率。
下面对本申请提供的基于TOF相机的坐姿识别遮挡判定方法进行详细说明,请参阅图4,图4为本申请提供的基于TOF相机的坐姿识别遮挡判定方法另一个实施例:
401、获取人体坐姿的深度图像;
本实施例中步骤401与前述实施例步骤101类似,此处不再赘述。
402、去除深度图像中的背景部分;
终端在获取人体坐姿的深度图像后,则初步进行深度选通去除该深度图像中的背景部分,以排除其它背景因素带来的干扰。终端具体可以将背景部分的像素点置0,以达到去除背景的效果。
403、对深度图像进行深度划分,得到若干深度区间;
终端对选通后的深度图像进行更为细致的深度划分,划分出若干个深度区间,深度区间的长度具体此处不做限定,人体会被划分到其中一小部分深度区间。
在一些具体的实施例中,以终端获取深度距离为1000mm的深度图像、深度区间设置为100mm为例:终端会将1000mm的深度图像切成10份,得到10个深度区间,对应为10张100mm的深度区间图像。
404、分别计算若干深度区间中的有效点占比;
由于在坐姿识别的大部分应用中,例如智能台灯,人与终端的距离相对较近,所以人的像素点占比较高,因此通过计算上述若干个深度区间中的有效点占比,可以反推出人体所在的深度区间。
405、将有效点占比最高的两个深度区间确定为目标深度区间,提取目标深度区间图像;
在具体应用中,经过多次测试,人体的大部分像素点会包含在有效点占比最高的两个深度区间中,因此将有效点占比最高的两个深度区间确定为目标深度区间,提取对应的两张目标深度区间图像,记为image1,image2。
406、对目标深度区间图像进行去噪处理;
终端对于步骤405中划分出的目标深度区间图像image1,image2进行去噪处理,能够消除掉目标深度区间图像中一些像小树枝一样的区域,这些区域主要是由于衣服褶皱引起,这些小树枝会造成深度图像中有效点更加离散。
具体的,可以对目标深度区间进行侵蚀再膨胀的处理,通过侵蚀及膨胀的处理去除掉这些小树枝能够降低一些特殊情况对遮挡判定带来的干扰。将对image1,image2进行侵蚀及膨胀处理后的图像记为image1_2,image2_2。
其中,侵蚀和膨胀是图像形态学操作,即基于形状的一系列图像处理操作,通过侵蚀和膨胀能够消除图像中的噪声,分割独立的图像元素,以及连接相邻的元素。侵蚀主要是指针对深度图像中的前景色,就是像素值为1的那些像素点。当遍历到某一个像素点时,如果这个像素点以核为单位的周围的像素点都是白色,那么这个点的颜色就保持不变(仍然为1,白色),如果这个像素点在核的范围之内存在黑色点,那就将这个点设置为黑色。与侵蚀对应,膨胀的原理就是遍历当前的像素点某一范围内,如果黑点内有白色点,那么就将其变为白色。
406、在目标深度区间图像中确定主体区域和边缘区域;
终端对于步骤406中处理得到的image1_2,image2_2进行横向的区域分割,分割出主体区域和边缘区域,分别记为image1_2_main、image1_2_edg和image2_2_main,image2_2_edg。终端所划分的主体区域和边缘区域如图5所示,其中主体区域是指人体胸口到腹部的区域,边缘区域则是指人体胸口以上肩膀以下,以及腹部以下的区域。需要说明的是,如图4所示,区域划分还包括外部区域,外部区域是指人体肩膀至头部的区域,通过在目标深度区间图像中排除外部区域和主体区域可以确定边缘区域的位置。
407、通过目标公式对主体区域进行离散程度计算,得到第一计算结果;
本实施例中,步骤407与前述实施例步骤104类似,此处不再赘述。
具体的,目标公式为:
var=∑(x-average(x))2/n;
average(x)=∑x/n;
其中,var表示第一计算结果,也就是主体区域中有效点的方差,x表示主体区域中有效点的横坐标,n表示主体区域中有效点的数量。
终端具体是通过计算主体区域中有效点的方差大小,反映出有效点的离散程度,终端计算主体区域中每个有效点的横坐标减去主体区域中有效点平均横坐标的平方和除以总的有效点个数,计算得到的有效点方差越小,说明有效点离散程度小,反之亦然。
408、判断第一计算结果是否大于第一阈值,若是,则执行步骤409,若否,则执行步骤413;
目标深度区间图像是通过对深度图像进行深度划分得到,该目标深度区间图像对应人体所在的深度区间,深度镜头面向用户进行拍摄,在不存在遮挡的条件下,深度镜头能够拍摄出相对完整的人体,反映在目标深度区间图像上就表现为主体区域的有效点是连成一片的,即主体区域的离散程度较小。但是当存在遮挡的条件下,人体被遮挡的部分将不会被拍摄到,遮挡的位置会导致深度分离,体现在目标深度区间图像上就表现为存在空白的区域,主体区域的有效点不能连成一片,离散程度较大。因此主体区域的离散程度能够反映该目标深度区间图像是否存在深度分离,即是否存在遮挡。
但由于用户穿着较厚时,衣服的褶皱也可能会造成主体区域的离散程度过大,因此终端判断该主体区域的离散程度,即第一计算结果是否大于第一阈值,若大于第一阈值,表明当前可能存在遮挡,此时执行步骤409以进行进一步的判断。若小于或等于第一阈值,表明当前不存在遮挡,此时执行步骤413。
需要说明的是,该第一阈值的具体数值此处不做限定,在不同的应用场景下该第一阈值的数值不同,具体需要通过测试确定,该第一阈值为能把遮挡后人身体的点(有效点)的离散程度和遮挡前区分开来的临界点。
需要说明的是,由于步骤405中提取的目标深度区间图像为2张,对应的第一计算结果也有2个,只要有任意1个第一计算结果大于第一阈值,就执行步骤409。
409、对边缘区域进行有效点占比统计,得到第二计算结果;
衣服的褶皱在主体区域上的效果和遮挡相似,但通过目标深度区间图像中的边缘区域可以区分这两种情况。因此若步骤408中判断为可能存在遮挡,则对该边缘区域进行有效点占比的统计,得到第二计算结果。
第二计算结果η=边缘区域有效点数量/区域总点数;
410、判断第二计算结果是否小于第二阈值;
终端判断边缘区域的有效点占比,即第二计算结果是否小于第二阈值,若第二计算结果小于第二阈值,则执行步骤411。若第二计算结果大于或等于第二阈值,说明可能不存在遮挡,仅是衣服褶皱带来的影响,不影响坐姿识别结果,此时执行步骤413。
需要说明的是,由于步骤405中提取的目标深度区间图像为2张,对应的第二计算结果也有2个,只要有任意1个第二计算结果小于第二阈值,就执行步骤411。
411、确定存在遮挡;
如果终端确定主体区域的离散程度大于第一阈值,且边缘区域的有效点占比小于第二阈值,则确定当前存在遮挡。
412、发送提示信息,提示信息用于提示用户去除遮挡;
在终端确定当前存在遮挡情况后,则向用户发送提示信息,来提示用户检查并去除遮挡,以实现更为准确的坐姿识别,提高用户体验。
413、确定不存在遮挡,并根据深度图像进行坐姿识别。
在终端确定第一计算结果小于或等于第一阈值时,或第一计算结果大于第一阈值但第二计算结果大于或等于第二阈值时,则可确定当前不存在遮挡,此时终端可以直接根据深度图像进行坐姿识别,由此排除了遮挡对识别结果的影响,能够获得更为准确的坐姿识别结果。
在本实施例中,在获取人体坐姿的深度图像后,去除深度图像中的背景部分,再通过深度划分提取拍摄人体坐姿的深度图像中人体所在的区间图像(目标深度区间图像),对目标深度区间图像进行侵蚀及膨胀处理,并提取主体区域和边缘区域。对主体区域进行离散程度计算,对边缘区域进行有效点占比统计,最后结合两个计算结果共同判定该深度图像中是否存在遮挡。
通过侵蚀及膨胀处理,以及结合边缘区域的有效点占比统计,能够使得遮挡的判定能够排除衣服褶皱及其它因素带来的干扰,遮挡判定结果更加准确,并且在确定当前存在遮挡的情况下提醒用户去除遮挡,从而在基于深度图像的坐姿识别过程中排除遮挡带来的干扰,提高坐姿识别的抗干扰能力及识别的准确率。
请参阅图6,图6为本申请提供的基于TOF相机的坐姿识别遮挡判定装置一个实施例,该装置包括:
获取单元601,用于获取人体坐姿的深度图像;
提取单元602,用于在深度图像中提取目标深度区间图像,目标深度区间图像为人体所在的深度区间图像;
区域确定单元603,用于在目标深度区间图像中确定主体区域;
计算单元604,用于通过目标公式对主体区域进行有效点离散程度计算,得到第一计算结果;
判断单元605,用于判断第一计算结果是否大于第一阈值;
遮挡判定单元606,用于当判断单元605的判断结果为是时,确定存在遮挡。
在本实施例中,获取单元601和提取单元602提取拍摄人体坐姿的深度图像中人体所在的区间图像(目标深度区间图像),区域确定单元603和计算单元604对目标深度区间图像中的主体区域进行离散程度计算,判断单元605和遮挡判定单元606通过计算结果判定该深度图像中是否存在遮挡,从而在基于深度图像的坐姿识别过程中排除遮挡带来的干扰,提高坐姿识别的抗干扰能力及识别的准确率。
下面对本申请提供的基于TOF相机的坐姿识别遮挡判定装置进行详细说明,请参阅图7,图7为本申请提供的基于TOF相机的坐姿识别遮挡判定装置另一个实施例,该装置包括:
获取单元701,用于获取人体坐姿的深度图像;
提取单元702,用于在深度图像中提取目标深度区间图像,目标深度区间图像为人体所在的深度区间图像;
区域确定单元703,用于在目标深度区间图像中确定主体区域;
计算单元704,用于通过目标公式对主体区域进行有效点离散程度计算,得到第一计算结果;
判断单元705,用于判断第一计算结果是否大于第一阈值;
遮挡判定单元706,用于当判断单元705的判断结果为是时,确定存在遮挡。
可选的,区域确定单元703具体用于:
在目标深度区间图像中确定主体区域及边缘区域;
遮挡判定单元706包括:
统计模块7061,用于当判断单元的判断结果为是时,对边缘区域进行有效点占比统计,得到第二计算结果;
判断模块7062,用于判断第二计算结果是否小于第二阈值;
确定模块7063,用于当判断模块的判断结果为是时,确定存在遮挡。
可选的,提取单元702具体用于:
去除深度图像中的背景部分;
对深度图像进行深度划分,得到若干深度区间图像;
分别计算若干深度区间图像中的有效点占比;
将有效点占比最高的两个深度区间图像确定为目标深度区间图像。
可选的,装置还包括:
处理单元707,用于对目标深度区间图像进行去噪处理。
可选的,去噪处理包括侵蚀和膨胀处理。
可选的,目标公式为:
var=∑(x-average(x))2/n;
average(x)=∑x/n;
其中,var表示第一计算结果,x表示主体区域中有效点的横坐标,n表示主体区域中有效点的数量。
可选的,遮挡判定单元706还用于:
当判断单元705的判断结果为否时,确定不存在遮挡,并根据深度图像进行坐姿识别。
可选的,装置还包括:
发送单元708,用于发送提示信息,提示信息用于提示用户去除遮挡。
本实施例装置中,各单元及模块的功能与前述图4所示方法实施例中的步骤对应,此处不再赘述。
本申请还提供了一种基于TOF相机的坐姿识别遮挡判定的装置,请参阅图8,图8为本申请提供的基于TOF相机的坐姿识别遮挡判定装置一个实施例,该装置包括:
处理器801、存储器802、输入输出单元803、总线804;
处理器801与存储器802、输入输出单元803以及总线804相连;
存储器802保存有程序,处理器801调用程序以执行如上任一基于TOF相机的坐姿识别遮挡判定方法。
本申请还涉及一种智能台灯,智能台灯包括台灯、控制单元和TOF相机,智能台灯执行第一方面以及第一方面中任一项可选的基于TOF相机的坐姿识别遮挡判定方法。
本申请还涉及一种计算机可读存储介质,计算机可读存储介质上保存有程序,其特征在于,当程序在计算机上运行时,使得计算机执行如上任一基于TOF相机的坐姿识别遮挡判定方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-onlymemory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (11)

1.一种基于TOF相机的坐姿识别遮挡判定方法,其特征在于,所述方法包括:
获取人体坐姿的深度图像;
在所述深度图像中提取目标深度区间图像,所述目标深度区间图像为人体所在的深度区间图像;
在所述目标深度区间图像中确定主体区域及边缘区域;
通过目标公式对所述主体区域进行有效点离散程度计算,得到第一计算结果;
若所述第一计算结果大于第一阈值,则对所述边缘区域进行有效点占比统计,得到第二计算结果;
判断所述第二计算结果是否小于第二阈值;
若是,则确定存在遮挡。
2.根据权利要求1所述的方法,其特征在于,所述在所述深度图像中提取目标深度区间图像包括:
去除所述深度图像中的背景部分;
对所述深度图像进行深度划分,得到若干深度区间图像;
分别计算所述若干深度区间图像中的有效点占比;
将所述有效点占比最高的两个深度区间图像确定为目标深度区间图像。
3.根据权利要求1所述的方法,其特征在于,在所述目标深度区间图像中确定主体区域和边缘区域之前,所述方法还包括:
对所述目标深度区间图像进行去噪处理。
4.根据权利要求3所述的方法,其特征在于,所述去噪处理包括侵蚀和膨胀处理。
5.根据权利要求1所述的方法,其特征在于,所述目标公式为:
var=∑(x-average(x))2/n;
average(x)=∑x/n;
其中,var表示所述第一计算结果,x表示所述主体区域中有效点的横坐标,n表示所述主体区域中有效点的数量。
6.根据权利要求1所述的方法,其特征在于,在所述判断所述第一计算结果是否大于第一阈值之后,所述方法还包括:
若所述第一计算结果小于第一阈值,则确定不存在遮挡,并根据所述深度图像进行坐姿识别。
7.根据权利要求1至6中任一项所述的方法,其特征在于,在所述确定存在遮挡之后,所述方法还包括:
发送提示信息,所述提示信息用于提示用户去除遮挡。
8.一种智能台灯,其特征在于,所述智能台灯包括台灯、控制单元和TOF相机,所述智能台灯执行如权利要求1至7中任一项所述方法。
9.一种基于TOF相机的坐姿识别遮挡判定的装置,其特征在于,所述装置包括:
获取单元,用于获取人体坐姿的深度图像;
提取单元,用于在所述深度图像中提取目标深度区间图像,所述目标深度区间图像为人体所在的深度区间图像;
区域确定单元,用于在所述目标深度区间图像中确定主体区域及边缘区域;
计算单元,用于通过目标公式对所述主体区域进行有效点离散程度计算,得到第一计算结果;
判断单元,用于判断所述第一计算结果是否大于第一阈值;
遮挡判定单元,用于当所述判断单元的判断结果为是时,确定存在遮挡;
所述遮挡判定单元包括:
统计模块,用于当所述判断单元的判断结果为是时,对所述边缘区域进行有效点占比统计,得到第二计算结果;
判断模块,用于判断所述第二计算结果是否小于第二阈值;
确定模块,用于当所述判断模块的判断结果为是时,确定存在遮挡。
10.一种基于TOF相机的坐姿识别遮挡判定的装置,其特征在于,所述装置包括:
处理器、存储器、输入输出单元以及总线;
所述处理器与所述存储器、所述输入输出单元以及所述总线相连;
所述存储器保存有程序,所述处理器调用所述程序以执行如权利要求1至7中任一项所述方法。
11.一种计算机可读存储介质,所述计算机可读存储介质上保存有程序,所述程序在计算机上执行时执行如权利要求1至7中任一项所述方法。
CN202210300273.2A 2022-03-25 2022-03-25 一种基于tof相机的坐姿识别遮挡判定方法及智能台灯 Active CN114782984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210300273.2A CN114782984B (zh) 2022-03-25 2022-03-25 一种基于tof相机的坐姿识别遮挡判定方法及智能台灯

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210300273.2A CN114782984B (zh) 2022-03-25 2022-03-25 一种基于tof相机的坐姿识别遮挡判定方法及智能台灯

Publications (2)

Publication Number Publication Date
CN114782984A CN114782984A (zh) 2022-07-22
CN114782984B true CN114782984B (zh) 2022-11-25

Family

ID=82425975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210300273.2A Active CN114782984B (zh) 2022-03-25 2022-03-25 一种基于tof相机的坐姿识别遮挡判定方法及智能台灯

Country Status (1)

Country Link
CN (1) CN114782984B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311217B (zh) * 2022-07-26 2023-10-31 珠海视熙科技有限公司 相机镜头遮挡的监测方法、装置、系统及介质
CN114943938B (zh) * 2022-07-26 2022-11-15 珠海视熙科技有限公司 客流统计方法、装置、系统及介质
CN115909394B (zh) * 2022-10-25 2024-04-05 珠海视熙科技有限公司 一种坐姿识别的方法、装置、智能台灯及计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310218A (zh) * 2013-05-21 2013-09-18 常州大学 一种重叠遮挡果实精确识别方法
CN106599783A (zh) * 2016-11-09 2017-04-26 浙江宇视科技有限公司 一种视频遮挡检测方法及装置
CN108197571A (zh) * 2018-01-02 2018-06-22 联想(北京)有限公司 一种面罩遮挡检测方法及电子设备
CN110738076A (zh) * 2018-07-19 2020-01-31 郑州大学 一种图像中的人数统计方法及系统
CN112598628A (zh) * 2020-12-08 2021-04-02 影石创新科技股份有限公司 一种图像遮挡检测方法、装置、拍摄设备及介质
CN114187498A (zh) * 2021-12-08 2022-03-15 上海商汤智能科技有限公司 遮挡检测方法及装置、电子设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410066B2 (en) * 2015-05-29 2019-09-10 Arb Labs Inc. Systems, methods and devices for monitoring betting activities
WO2020087019A1 (en) * 2018-10-26 2020-04-30 Evolv Technologies, Inc. Personnel inspection with threat detection and discrimination
CN110207702B (zh) * 2019-04-22 2022-01-07 北京云迹科技有限公司 目标定位的方法及装置
CN113902785B (zh) * 2021-09-15 2022-04-15 珠海视熙科技有限公司 一种深度图像的处理方法、系统、装置及计算机存储介质
CN114037892A (zh) * 2021-10-09 2022-02-11 江苏眸视机器人科技有限公司 一种用于目标识别的方法、装置、设备和可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310218A (zh) * 2013-05-21 2013-09-18 常州大学 一种重叠遮挡果实精确识别方法
CN106599783A (zh) * 2016-11-09 2017-04-26 浙江宇视科技有限公司 一种视频遮挡检测方法及装置
CN108197571A (zh) * 2018-01-02 2018-06-22 联想(北京)有限公司 一种面罩遮挡检测方法及电子设备
CN110738076A (zh) * 2018-07-19 2020-01-31 郑州大学 一种图像中的人数统计方法及系统
CN112598628A (zh) * 2020-12-08 2021-04-02 影石创新科技股份有限公司 一种图像遮挡检测方法、装置、拍摄设备及介质
CN114187498A (zh) * 2021-12-08 2022-03-15 上海商汤智能科技有限公司 遮挡检测方法及装置、电子设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Depth video based human model reconstruction resolving self-occlusion;In Yeop Jang 等;《 IEEE Transactions on Consumer Electronics》;20100831;第56卷(第3期);1933-1941 *
基于模型约束的人体姿态视觉识别算法研究;刘今越 等;《仪器仪表学报》;20200430;第41卷(第4期);208-217 *
基于深度图像利用随机森林实现遮挡检测;张世辉 等;《光学学报》;20140930;第34卷(第9期);0915003-1-12 *

Also Published As

Publication number Publication date
CN114782984A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN114782984B (zh) 一种基于tof相机的坐姿识别遮挡判定方法及智能台灯
CN105893920B (zh) 一种人脸活体检测方法和装置
RU2711050C2 (ru) Качество изображения и признака, улучшение изображения и выделение признаков для распознавания по сосудам глаза и лицам и объединение информации о сосудах глаза с информацией о лицах и/или частях лиц для биометрических систем
CN110569731B (zh) 一种人脸识别方法、装置及电子设备
EP1255225A2 (en) Method for detecting eye and mouth positions in a digital image
US11138695B2 (en) Method and device for video processing, electronic device, and storage medium
WO2020029518A1 (zh) 一种监控视频处理方法、装置及计算机可读介质
CN106529406B (zh) 一种获取视频摘要图像的方法和装置
CN112861661B (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
WO2019011073A1 (zh) 人脸活体检测方法及相关产品
CN108369644B (zh) 一种定量检测人脸抬头纹的方法、智能终端和存储介质
CN106258009A (zh) 一种采集指纹的方法、指纹采集器以及终端
CN111401315A (zh) 基于视频的人脸识别方法、识别装置及存储装置
CN111444555B (zh) 一种测温信息显示方法、装置及终端设备
CN107291238B (zh) 一种数据处理方法与装置
EP3200092A1 (en) Method and terminal for implementing image sequencing
CN113158773B (zh) 一种活体检测模型的训练方法及训练装置
CN111274851A (zh) 一种活体检测方法及装置
CN111881846B (zh) 图像处理方法和相关装置、设备、存储介质
CN116506724A (zh) 拍照辅助方法、装置、介质及终端
CN109040604A (zh) 拍摄图像的处理方法、装置、存储介质及移动终端
CN110363192A (zh) 物件影像辨识系统及物件影像辨识方法
CN112966575B (zh) 一种应用于智慧社区的目标人脸识别方法及装置
CN112232113B (zh) 人员识别方法、人员识别装置、存储介质与电子设备
CN108509853B (zh) 一种基于摄像头视觉信息的手势识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant