CN116030411B - 基于姿态识别的人形隐私遮挡方法、装置及设备 - Google Patents
基于姿态识别的人形隐私遮挡方法、装置及设备 Download PDFInfo
- Publication number
- CN116030411B CN116030411B CN202211699295.7A CN202211699295A CN116030411B CN 116030411 B CN116030411 B CN 116030411B CN 202211699295 A CN202211699295 A CN 202211699295A CN 116030411 B CN116030411 B CN 116030411B
- Authority
- CN
- China
- Prior art keywords
- video image
- gesture
- area
- human
- monitoring object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域，解决了现有技术中无法简单且准确地实现人形隐私遮挡的问题，提供了一种基于姿态识别的人形隐私遮挡方法、装置及设备。所述方法包括：获取监控场景下实时的初始视频图像，再备份所述初始视频图像，记为备份视频图像；依据预设的人体姿态识别规则，分别对所述初始视频图像和备份视频图像进行处理，识别当前监控对象的姿态；预先设置遮挡触发条件，当所述当前监控对象的姿态符合遮挡触发条件时，触发对所述初始视频图像进行风格化处理，将处理后的视频图像与所述初始视频图像叠加，输出叠加后的视频图像，实现人形隐私遮挡。本发明减少了人形隐私遮挡的工作流程，降低了发生误触的概率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于姿态识别的人形隐私遮挡方法、装置及设备。
背景技术
如今，监控摄像机被用于许多不同的应用，无论是在室内还是室外，用于监控各种环境。常用的监控摄像机是通过采集实时画面，将实时画面显示在用户的终端设备上来实现监控，然而在部分实时画面中，例如在室内场景中，用户可能会出现裸体、露点等行为，难以避免地存在一些不适于预览和录像的人形隐私信息，此时，针对人形隐私的遮挡变得至关重要。
现有技术中，可以利用一个具体的用户手势(包括握拳手势、向上手势等)来触发实现人形隐私遮挡，然而，目前常见的手势检测方式是通过手势模型来检测，若要提高手势的检测率，则需要建立非常多的手势模型进行分类，但大量手势模型的建立、分类和检测过程较为复杂，成本较为高昂；若将手势模型的数量减少，则会大大降低手势识别的准确率，容易发生误触导致人形隐私遮挡失败。
为此，如何简单且准确地实现人形隐私遮挡是亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供了基于姿态识别的人形隐私遮挡方法、装置及设备，用以解决现有技术中无法简单且准确地实现人形隐私遮挡的问题。
第一方面，本发明实施例提供了一种基于姿态识别的人形隐私遮挡方法，其特征在于，所述方法包括：
S1：获取监控场景下实时的初始视频图像，再备份所述初始视频图像，记为备份视频图像；
S2：依据预设的人体姿态识别规则，分别对所述初始视频图像和备份视频图像进行处理，识别当前监控对象的姿态；
S3：预先设置遮挡触发条件，当所述当前监控对象的姿态符合遮挡触发条件时，触发对所述初始视频图像进行风格化处理，将处理后的视频图像与所述初始视频图像叠加，输出叠加后的视频图像，实现人形隐私遮挡。
优选地，所述S2包括：
S21：对所述初始视频图像进行人形检测，提取出监控对象对应的人形区域；
S22：在所述人形区域内进行人脸检测，依据在人形区域内的人脸识别结果，识别当前监控对象的人脸朝向；
S23：对所述备份视频图像进行滤波处理和皮肤分割处理提取出手部区域，确定所述人形区域和所述手部区域的相对位置关系，依据所述相对位置关系，识别当前监控对象的手臂状态；
S24：利用虚拟的闭合曲线标注所述手部区域的最小外接椭圆，提取所述最小外接椭圆的特征信息，依据所述最小外接椭圆的特征信息，识别当前监控对象的手掌状态和手势朝向；
S25：综合所述当前监控对象的人脸朝向、手臂状态、手掌状态和手势朝向，得出当前监控对象的姿态。
优选地，所述人形区域包括：当前监控对象的头部、身体和双腿所在的区域；所述手部区域包括：当前监控对象的手掌所在的区域。
优选地，所述S22包括：
S221：在所述人形区域内进行人脸检测，识别在所述人形区域内是否存在监控对象的脸部；
S222：若识别存在监控对象的脸部，则所述人脸朝向为正对朝向；
S223：若识别不存在监控对象的脸部，则所述人脸朝向为背对朝向。
优选地，所述S23包括：
S231：分别获取所述人形区域所在的第一位置信息和所述手部区域所在的第二位置信息；
S232：依据所述第一位置信息和第二位置信息，判断所述手部区域是否在人形区域内；
S233：若所述手部区域在所述人形区域内，则所述手臂状态为向前伸手状态；
S234：若所述手部区域不在所述人形区域内，则进一步计算所述手部区域和人形区域的距离；
S235：依据所述手部区域和人形区域的距离，进一步识别所述手臂状态为倾斜状态或水平伸直状态。
优选地，所述S24包括：
S241：利用虚拟的闭合曲线标记所述手部区域的最小外接椭圆，并计算所述最小外接椭圆的长短轴比；
S242：依据所述最小外接椭圆的长短轴比，判断当前监控对象的手部形状；
S243：依据所述手部形状，识别所述手掌状态为伸展状态或握拳状态；
S244：计算所述最小外接椭圆的长轴斜率，依据所述长轴斜率，识别所述手势朝向为向上或向下。
优选地，所述S3包括：
S31：预先设置目标姿态模型，将所述当前监控对象的姿态输入所述目标姿态模型中，得出当前监控对象的姿态与目标姿态的匹配度；
S32：预先设置匹配度阈值，当所述匹配度大于所述匹配度阈值时，对所述初始视频图像进行风格化处理；
S33：将经过风格化处理后的视频图像与所述初始视频图像叠加，将叠加后的视频图像作为实时画面显示，实现人形隐私遮挡。
第二方面，本发明实施例还提供了一种基于姿态识别的人形隐私遮挡装置，所述装置包括：
视频图像获取模块，用于获取监控场景下实时的初始视频图像，再备份所述初始视频图像，记为备份视频图像；
姿态识别模块，用于依据预设的人体姿态识别规则，分别对所述初始视频图像和备份视频图像进行处理，识别当前监控对象的姿态；
隐私遮挡模块，用于预先设置遮挡触发条件，当所述当前监控对象的姿态符合遮挡触发条件时，触发对所述初始视频图像进行风格化处理，将处理后的视频图像与所述初始视频图像叠加，输出叠加后的视频图像，实现人形隐私遮挡。
第三方面，本发明实施例还提供了一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
第四方面，本发明实施例提供了一种存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
综上所述，本发明的有益效果如下：
本发明实施例提供的基于姿态识别的人形隐私遮挡方法，获取监控场景下实时的初始视频图像，再备份所述初始视频图像，记为备份视频图像；依据预设的人体姿态识别规则，分别对所述初始视频图像和备份视频图像进行处理，识别当前监控对象的姿态；预先设置遮挡触发条件，当所述当前监控对象的姿态符合遮挡触发条件时，触发对所述初始视频图像进行风格化处理，将处理后的视频图像与所述初始视频图像叠加，输出叠加后的视频图像，实现人形隐私遮挡。一方面，对初始视频图像和备份视频图像的同时处理，为后续姿态识别节约了工作时间；同时，通过预设的人体姿态识别规则，先准确识别出监控对象的当前姿态，利用所述监控对象的当前姿态就能触发后续的人形隐私遮挡，而避免了现有技术中建立大量的姿态模型，再通过姿态模型来识别监控对象的姿态，简化了姿态识别的工作流程，从而节约了进行后续人形隐私遮挡的时间。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。
图1是本发明实施例1的基于姿态识别的人形隐私遮挡方法的整体工作的流程示意图；
图2是本发明实施例1的识别监控对象的姿态的流程示意图；
图3是本发明实施例1的识别监控对象的人脸朝向的流程示意图；
图4是本发明实施例1的识别监控对象的手臂状态的流程示意图；
图5是本发明实施例1的向前伸手状态的示意图；
图6是本发明实施例1的倾斜状态的示意图；
图7是本发明实施例1的水平伸直状态的示意图；
图8是本发明实施例1的识别监控对象的手掌状态和手势朝向的流程示意图；
图9是本发明实施例1的触发并进行人形隐私遮挡的流程示意图；
图10是本发明实施例2的基于姿态识别的人形隐私遮挡装置的结构框图；
图11是本发明实施例3的电子设备的结构示意图；
图中编号：1-人形框、10-手部框、12-手部框、13-手部框。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
实施例1
请参见图1，本发明实施例提供了一种基于姿态识别的人形隐私遮挡方法，该方法包括：
S1：获取监控场景下实时的初始视频图像，再备份所述初始视频图像，记为备份视频图像；
具体地，摄像头获取位于通道一的实时视频流，将所述实时视频流分解为多帧图像，记为初始视频图像；同时将所述实时的初始视频图像备份一份放置于通道二，记为备份视频图像。双通道的视频图像同时输入设备进行处理，提高了工作效率，节约了工作时间。
S2：依据预设的人体姿态识别规则，分别对所述初始视频图像和备份视频图像进行处理，识别当前监控对象的姿态；
具体地，通过预设的人体姿态识别规则，准确识别出监控对象的当前姿态，避免了现有技术中建立大量的姿态模型，再通过姿态模型来识别监控对象的姿态，简化了姿态识别的工作流程，从而节约了进行后续人形隐私遮挡的时间。
在一实施例中，请参见图2，所述S2包括：
S21：对所述初始视频图像进行人形检测，提取出监控对象对应的人形区域；
具体地，收集大量监控场景下的图片数据，标注出所述图片数据中的头部、身体和双腿的信息，利用Yolov5s等常用目标检测模型进行训练，预先构建一个人形检测模型，将所述初始视频图像输入所述人形检测模型，输出当前监控对象的人形区域；所述人形区域包括：当前监控对象的头部、身体和双腿所在的区域；所述手部区域包括：当前监控对象的手掌所在的区域。
S22：在所述人形区域内进行人脸检测，依据在人形区域内的人脸识别结果，识别当前监控对象的人脸朝向；
在一实施例中，请参见图3，所述S22包括：
S221：在所述人形区域内进行人脸检测，识别在所述人形区域内是否存在监控对象的脸部；
S222：若识别存在监控对象的脸部，则所述人脸朝向为正对朝向；
S223：若识别不存在监控对象的脸部，则所述人脸朝向为背对朝向。
具体地，将人形区域的最小外接矩形标记为人形框，收集大量监控场景下的图片数据，标注出所述图片数据中的人脸信息，利用Yolov5s等目标检测模型，预先构建一个人脸检测模型，将所述初始视频图像在人形区域内的部分输入所述人脸检测模型中，识别是否存在监控对象的脸部，若识别存在监控对象的脸部，则此时监控对象面向摄像头，即所述人脸朝向为正对朝向；若识别不存在监控对象的脸部，此时监控对象背向摄像头，即所述人脸朝向为背对朝向。利用简单的两个目标检测模型对人形和人脸进行检测，即可判断监控对象的人脸朝向，极大简化了姿态识别的工作流程。
S23：对所述备份视频图像进行滤波处理和皮肤分割处理提取出手部区域，确定所述人形区域和所述手部区域的相对位置关系，依据所述相对位置关系，识别当前监控对象的手臂状态；
具体地，对备份视频首先进行一个高斯滤波和维斯滤波相结合的方法处理图像表面的噪声，增强皮肤的纹理，再采用基于Ycrcb颜色空间的皮肤分割，提取出图片中的皮肤部分，过滤掉人脸，手臂等其他部位对姿态识别的干扰，提取出手部区域，确定所述人形区域和所述手部区域的相对位置关系，依据所述相对位置关系，识别当前监控对象的手臂状态。
在一实施例中，请参见图4，所述S23包括：
S231：分别获取所述人形区域所在的第一位置信息和所述手部区域所在的第二位置信息；
具体地，如图5中标号1所示，将人形区域的最小外接矩形作为人形框，根据摄像机采集画面中的坐标系，分别获取所述人形框的左上角坐标P_LT(p_lt_x,p_lt_y)和右下角坐标P_RB(p_rb_x,p_rb_y)，如图5中标号13、图6中标号12和图7中标号10所示，将所述手部区域的最小外接矩形作为手部框，分别获取手部框的左上角点坐标H_A(h_x_a,h_y_a)和右下角点坐标H_C(h_x_c,h_y_c)。
S232：依据所述第一位置信息和第二位置信息，判断所述手部区域是否在人形区域内；
S233：若所述手部区域在所述人形区域内，则所述手臂状态为向前伸手状态；
S234：若所述手部区域不在所述人形区域内，则进一步计算所述手部区域和人形区域的距离；
S235：依据所述手部区域和人形区域的距离，进一步识别所述手臂状态为倾斜状态或水平伸直状态。
具体地，计算得出手部框中心点坐标Hander(h_x，h_y)，其中h_x＝(h_x_c-h_x_a)/2，h_y＝(h_y_c-h_y_a)/2。若满足p_lt_x<＝h_x<＝p_rb_x且p_rb_y<＝h_y<＝p_lt_y,如图5，此时手臂为向前伸手状态；若满足(p_lt_x-h_x)<(p_rb_x-p_lt_x)/2，如图6，此时手臂为倾斜状态；若都不满足,如图7，手臂为水平伸直状态。通过对手臂倾斜、向前伸手和水平伸直的状态的分类和识别，准确地实现了对于监控对象的手臂姿态的全面评估。
S24：利用虚拟的闭合曲线标注所述手部区域的最小外接椭圆，提取所述最小外接椭圆的特征信息，依据所述最小外接椭圆的特征信息，识别当前监控对象的手掌状态和手势朝向；
在一实施例中，请参见图8，所述S24包括：
S241：利用虚拟的闭合曲线标记所述手部区域的最小外接椭圆，并计算所述最小外接椭圆的长短轴比；
S242：依据所述最小外接椭圆的长短轴比，判断当前监控对象的手部形状；
S243：依据所述手部形状，识别所述手掌状态为伸展状态或握拳状态；
S244：计算所述最小外接椭圆的长轴斜率，依据所述长轴斜率，识别所述手势朝向为向上或向下。
具体地，利用虚拟的闭合曲线标记所述手部区域的最小外接椭圆，在摄像机的电子坐标系中，获取所述最小外接椭圆与x轴的左交点坐标(x_b_x，y_b_y)，右交点坐标(x_a_x，y_a_y)和与y轴的上交点坐标(x_c_x，y_c_y)，计算矩形的长轴为Len_A＝√(x_b_x-x_a_x)^2+(y_a_y-y_b_y)^2，短轴Len_B＝√(x_b_x-x_c_x)^2+(y_b_y-y_c_y)^2，再计算长短轴比e为Len_B/Len_A，设定手掌状态判定阈值，以0.3为例，若e小于0.3，则判定当前手掌为伸平状态；否则，判定当前手掌为握拳状态。选取所述长轴线上的任意两点A(x_d_x，y_d_y)和B((x_e_x，y_e_y)，计算长轴线的斜率K，计算公式为K＝|y_e_y-y_d_y|/|x_e_x-x_d_x|，判断斜率K的正负，若K为负，则手势朝下；否则，手势朝上。将监控对象的手掌看做一个近似的椭圆形，通过对所述椭圆形的特征提取和识别，准确识别当前监控对象的手掌状态和手势朝向。
S25：综合所述当前监控对象的人脸朝向、手臂状态、手掌状态和手势朝向，得出当前监控对象的姿态。
具体地，人脸朝向为正对或者背对；手臂状态为向前伸手、倾斜或者水平伸直；手掌状态为握拳或者伸展；手势朝向为向上或者向下，通过对上述识别结果进行不同的组合，可以得出24种不同的组合结果，从而针对实时画面中的监护对象的姿态有一个全面而准确的判断，进一步降低了发生人形遮挡被误触发的概率。
S3：预先设置遮挡触发条件，当所述当前监控对象的姿态符合遮挡触发条件时，触发对所述初始视频图像进行风格化处理，将处理后的视频图像与所述初始视频图像叠加，输出叠加后的视频图像，实现人形隐私遮挡。
在一实施例中，请参见图9，所述S3包括：
S31：预先设置目标姿态模型，将所述当前监控对象的姿态输入所述目标姿态模型中，得出当前监控对象的姿态与目标姿态的匹配度；
具体地，收集大量监控场景下的图像数据，预先标注出所述图像数据中用户根据个人喜好或者实际需要设置的目标姿态，所述目标姿态是属于上述24种姿态中的一种，利用Yolov5s等目标检测模型，对所述目标姿态进行深度学习，输出一个目标姿态模型，将所述当前监控对象的姿态输入所述目标姿态模型中，得出当前监控对象的姿态与目标姿态的匹配度。
S32：预先设置匹配度阈值，当所述匹配度大于所述匹配度阈值时，对所述初始视频图像进行风格化处理；
具体地，预先设定匹配度阈值，匹配度阈值的大小取经实际测试不同场景下的匹配均值，以匹配阈值为0.8为例，若当前监控对象的姿态与目标姿态的匹配度达到0.8，则认为需要对人形隐私进行遮挡，此时将初始视频图像传入，利用CycleGan算法进行图像风格化处理。CycleGan算法自动将初始视频图像转换为另一类视频图像，用户可通过预先对CycleGan算法进行设置实现对初始视频图像的人形进行模糊处理。
S33：将经过风格化处理后的视频图像与所述初始视频图像叠加，将叠加后的视频图像作为实时画面显示，实现人形隐私遮挡。
具体地，将人形经过模糊处理后的视频图像与所述初始视频图像叠加，此时实时画面中无法观看到人形，避免了不方便预览人形时出现人形，有效地实现人形隐私遮挡。
实施例2
请参见图10，本发明实施例还提供了一种基于姿态识别的人形隐私遮挡装置，所述装置包括：
视频图像获取模块，用于获取监控场景下实时的初始视频图像，再备份所述初始视频图像，记为备份视频图像；
姿态识别模块，用于依据预设的人体姿态识别规则，分别对所述初始视频图像和备份视频图像进行处理，识别当前监控对象的姿态；
在一实施例中，所述姿态识别模块包括：
人形识别单元，用于对所述初始视频图像进行人形检测，提取出监控对象对应的人形区域；
人脸朝向识别单元，用于在所述人形区域内进行人脸检测，依据在人形区域内的人脸识别结果，识别当前监控对象的人脸朝向；
在一实施例中，所述人脸朝向识别单元包括：
脸部识别子单元，用于在所述人形区域内进行人脸检测，识别在所述人形区域内是否存在监控对象的脸部；
正对朝向识别子单元，用于若识别存在监控对象的脸部，则所述人脸朝向为正对朝向；
背对朝向识别子单元，用于若识别不存在监控对象的脸部，则所述人脸朝向为背对朝向。
手臂状态识别单元，用于对所述备份视频图像进行滤波处理和皮肤分割处理提取出手部区域，确定所述人形区域和所述手部区域的相对位置关系，依据所述相对位置关系，识别当前监控对象的手臂状态；
在一实施例中，所述手臂状态识别单元包括：
位置信息获取子单元，用于分别获取所述人形区域所在的第一位置信息和所述手部区域所在的第二位置信息；
手部位置判断子单元，用于依据所述第一位置信息和第二位置信息，判断所述手部区域是否在人形区域内；
向前伸手状态识别子单元，用于若所述手部区域在所述人形区域内，则所述手臂状态为向前伸手状态；
距离计算子单元，用于若所述手部区域不在所述人形区域内，则进一步计算所述手部区域和人形区域的距离；
倾斜状态或水平伸直状态识别子单元，用于依据所述手部区域和人形区域的距离，进一步识别所述手臂状态为倾斜状态或水平伸直状态。
手掌状态和手势朝向识别单元，用于利用虚拟的闭合曲线标注所述手部区域的最小外接椭圆，提取所述最小外接椭圆的特征信息，依据所述最小外接椭圆的特征信息，识别当前监控对象的手掌状态和手势朝向；
在一实施例中，所述手掌状态和手势朝向识别单元包括：
长短轴比计算子单元，用于利用虚拟的闭合曲线标记所述手部区域的最小外接椭圆，并计算所述最小外接椭圆的长短轴比；
手部形状识别子单元，用于依据所述最小外接椭圆的长短轴比，判断当前监控对象的手部形状；
伸展状态或握拳状态识别子单元，用于依据所述手部形状，识别所述手掌状态为伸展状态或握拳状态；
向上或向下朝向识别子单元，用于计算所述最小外接椭圆的长轴斜率，依据所述长轴斜率，识别所述手势朝向为向上或向下。
综合识别单元，用于综合所述当前监控对象的人脸朝向、手臂状态、手掌状态和手势朝向，得出当前监控对象的姿态。
隐私遮挡模块，用于预先设置遮挡触发条件，当所述当前监控对象的姿态符合遮挡触发条件时，触发对所述初始视频图像进行风格化处理，将处理后的视频图像与所述初始视频图像叠加，输出叠加后的视频图像，实现人形隐私遮挡。
在一实施例中，所述隐私遮挡模块包括：
匹配度获取单元，用于预先设置目标姿态模型，将所述当前监控对象的姿态输入所述目标姿态模型中，得出当前监控对象的姿态与目标姿态的匹配度；
图像风格化处理单元，用于预先设置匹配度阈值，当所述匹配度大于所述匹配度阈值时，对所述初始视频图像进行风格化处理；
图像叠加单元，用于将经过风格化处理后的视频图像与所述初始视频图像叠加，将叠加后的视频图像作为实时画面显示，实现人形隐私遮挡。
具体地，本发明实施例提供的基于姿态识别的人形隐私遮挡装置，视频图像获取模块，用于获取监控场景下实时的初始视频图像，再备份所述初始视频图像，记为备份视频图像；姿态识别模块，用于依据预设的人体姿态识别规则，分别对所述初始视频图像和备份视频图像进行处理，识别当前监控对象的姿态；隐私遮挡模块，用于预先设置遮挡触发条件，当所述当前监控对象的姿态符合遮挡触发条件时，触发对所述初始视频图像进行风格化处理，将处理后的视频图像与所述初始视频图像叠加，输出叠加后的视频图像，实现人形隐私遮挡。一方面，对初始视频图像和备份视频图像的同时处理，为后续姿态识别节约了工作时间；同时，通过预设的人体姿态识别规则，先准确识别出监控对象的当前姿态，利用所述监控对象的当前姿态就能触发后续的人形隐私遮挡，而避免了现有技术中建立大量的姿态模型，再通过姿态模型来识别监控对象的姿态，简化了姿态识别的工作流程，从而节约了进行后续人形隐私遮挡的时间。
实施例3
另外，结合图1描述的本发明实施例的基于姿态识别的人形隐私遮挡方法可以由电子设备来实现。图11示出了本发明实施例提供的电子设备的硬件结构示意图。
电子设备可以包括处理器以及存储有计算机程序指令的存储器。
具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种基于姿态识别的人形隐私遮挡方法。
在一个示例中，电子设备还可包括通信接口和总线。其中，如图11所示，处理器、存储器、通信接口通过总线连接并完成相互间的通信。
通信接口，主要用于实现本发明实施例中各模块、装置、单元或设备之间的通信。
总线包括硬件、软件或两者，将设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
实施例4
另外，结合上述实施例中的基于姿态识别的人形隐私遮挡方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于姿态识别的人形隐私遮挡方法。
综上所述，本发明实施例提供了一种基于姿态识别的人形隐私遮挡方法、装置及设备。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于姿态识别的人形隐私遮挡方法，其特征在于，所述方法包括：
S1：获取监控场景下实时的初始视频图像，再备份所述初始视频图像，记为备份视频图像；
S2：依据预设的人体姿态识别规则，分别对所述初始视频图像和备份视频图像进行处理，识别当前监控对象的姿态；
S3：预先设置遮挡触发条件，当所述当前监控对象的姿态符合遮挡触发条件时，触发对所述初始视频图像进行风格化处理，将处理后的视频图像与所述初始视频图像叠加，输出叠加后的视频图像，实现人形隐私遮挡；
所述S2包括：
S21：对所述初始视频图像进行人形检测，提取出监控对象对应的人形区域；
S22：在所述人形区域内进行人脸检测，依据在人形区域内的人脸识别结果，识别当前监控对象的人脸朝向；
S23：对所述备份视频图像进行滤波处理和皮肤分割处理提取出手部区域，确定所述人形区域和所述手部区域的相对位置关系，依据所述相对位置关系，识别当前监控对象的手臂状态；
S24：利用虚拟的闭合曲线标注所述手部区域的最小外接椭圆，提取所述最小外接椭圆的特征信息，依据所述最小外接椭圆的特征信息，识别当前监控对象的手掌状态和手势朝向；
S25：综合所述当前监控对象的人脸朝向、手臂状态、手掌状态和手势朝向，得出当前监控对象的姿态；
所述S22包括：
S221：在所述人形区域内进行人脸检测，识别在所述人形区域内是否存在监控对象的脸部；
S222：若识别存在监控对象的脸部，则所述人脸朝向为正对朝向；
S223：若识别不存在监控对象的脸部，则所述人脸朝向为背对朝向；
所述S23包括：
S231：分别获取所述人形区域所在的第一位置信息和所述手部区域所在的第二位置信息；
S232：依据所述第一位置信息和第二位置信息，判断所述手部区域是否在人形区域内；
S233：若所述手部区域在所述人形区域内，则所述手臂状态为向前伸手状态；
S234：若所述手部区域不在所述人形区域内，则进一步计算所述手部区域和人形区域的距离；
S235：依据所述手部区域和人形区域的距离，进一步识别所述手臂状态为倾斜状态或水平伸直状态；
所述S24包括：
S241：利用虚拟的闭合曲线标记所述手部区域的最小外接椭圆，并计算所述最小外接椭圆的长短轴比；
S242：依据所述最小外接椭圆的长短轴比，判断当前监控对象的手部形状；
S243：依据所述手部形状，识别所述手掌状态为伸展状态或握拳状态；
S244：计算所述最小外接椭圆的长轴斜率，依据所述长轴斜率，识别所述手势朝向为向上或向下。
2.根据权利要求1所述的基于姿态识别的人形隐私遮挡方法，其特征在于，所述人形区域包括：当前监控对象的头部、身体和双腿所在的区域；所述手部区域包括：当前监控对象的手掌所在的区域。
3.根据权利要求1至2任一项所述的基于姿态识别的人形隐私遮挡方法，其特征在于，所述S3包括：
S31：预先设置目标姿态模型，将所述当前监控对象的姿态输入所述目标姿态模型中，得出当前监控对象的姿态与目标姿态的匹配度；
S32：预先设置匹配度阈值，当所述匹配度大于所述匹配度阈值时，对所述初始视频图像进行风格化处理；
S33：将经过风格化处理后的视频图像与所述初始视频图像叠加，将叠加后的视频图像作为实时画面显示，实现人形隐私遮挡。
4.一种基于姿态识别的人形隐私遮挡装置，其特征在于，所述装置包括：
视频图像获取模块，用于获取监控场景下实时的初始视频图像，再备份所述初始视频图像，记为备份视频图像；
姿态识别模块，用于依据预设的人体姿态识别规则，分别对所述初始视频图像和备份视频图像进行处理，识别当前监控对象的姿态；
隐私遮挡模块，用于预先设置遮挡触发条件，当所述当前监控对象的姿态符合遮挡触发条件时，触发对所述初始视频图像进行风格化处理，将处理后的视频图像与所述初始视频图像叠加，输出叠加后的视频图像，实现人形隐私遮挡；
所述依据预设的人体姿态识别规则，分别对所述初始视频图像和备份视频图像进行处理，识别当前监控对象的姿态包括：
对所述初始视频图像进行人形检测，提取出监控对象对应的人形区域；
在所述人形区域内进行人脸检测，依据在人形区域内的人脸识别结果，识别当前监控对象的人脸朝向；
对所述备份视频图像进行滤波处理和皮肤分割处理提取出手部区域，确定所述人形区域和所述手部区域的相对位置关系，依据所述相对位置关系，识别当前监控对象的手臂状态；
利用虚拟的闭合曲线标注所述手部区域的最小外接椭圆，提取所述最小外接椭圆的特征信息，依据所述最小外接椭圆的特征信息，识别当前监控对象的手掌状态和手势朝向；
综合所述当前监控对象的人脸朝向、手臂状态、手掌状态和手势朝向，得出当前监控对象的姿态；
所述在所述人形区域内进行人脸检测，依据在人形区域内的人脸识别结果，识别当前监控对象的人脸朝向包括：
在所述人形区域内进行人脸检测，识别在所述人形区域内是否存在监控对象的脸部；
若识别存在监控对象的脸部，则所述人脸朝向为正对朝向；
若识别不存在监控对象的脸部，则所述人脸朝向为背对朝向；
所述对所述备份视频图像进行滤波处理和皮肤分割处理提取出手部区域，确定所述人形区域和所述手部区域的相对位置关系，依据所述相对位置关系，识别当前监控对象的手臂状态包括：
分别获取所述人形区域所在的第一位置信息和所述手部区域所在的第二位置信息；
依据所述第一位置信息和第二位置信息，判断所述手部区域是否在人形区域内；
若所述手部区域在所述人形区域内，则所述手臂状态为向前伸手状态；
若所述手部区域不在所述人形区域内，则进一步计算所述手部区域和人形区域的距离；
依据所述手部区域和人形区域的距离，进一步识别所述手臂状态为倾斜状态或水平伸直状态；
所述利用虚拟的闭合曲线标注所述手部区域的最小外接椭圆，提取所述最小外接椭圆的特征信息，依据所述最小外接椭圆的特征信息，识别当前监控对象的手掌状态和手势朝向包括：
利用虚拟的闭合曲线标记所述手部区域的最小外接椭圆，并计算所述最小外接椭圆的长短轴比；
依据所述最小外接椭圆的长短轴比，判断当前监控对象的手部形状；
依据所述手部形状，识别所述手掌状态为伸展状态或握拳状态；
计算所述最小外接椭圆的长轴斜率，依据所述长轴斜率，识别所述手势朝向为向上或向下。
5.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-3中任一项所述的方法。
6.一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-3中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211699295.7A CN116030411B (zh) | 2022-12-28 | 2022-12-28 | 基于姿态识别的人形隐私遮挡方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211699295.7A CN116030411B (zh) | 2022-12-28 | 2022-12-28 | 基于姿态识别的人形隐私遮挡方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116030411A CN116030411A (zh) | 2023-04-28 |
| CN116030411B true CN116030411B (zh) | 2023-08-18 |
Family
ID=86077485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211699295.7A Active CN116030411B (zh) | 2022-12-28 | 2022-12-28 | 基于姿态识别的人形隐私遮挡方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116030411B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102081918A (zh) * | 2010-09-28 | 2011-06-01 | 北京大学深圳研究生院 | 一种视频图像显示控制方法及视频图像显示器 |
| CN102708561A (zh) * | 2012-02-29 | 2012-10-03 | 北京无线电计量测试研究所 | 一种基于毫米波成像的隐私保护装置 |
| CN107340852A (zh) * | 2016-08-19 | 2017-11-10 | 北京市商汤科技开发有限公司 | 手势控制方法、装置和终端设备 |
| CN110334571A (zh) * | 2019-04-03 | 2019-10-15 | 复旦大学 | 一种基于卷积神经网络的毫米波图像人体隐私保护方法 |
| CN110598670A (zh) * | 2019-09-20 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 设置监控区域禁区的方法、装置、存储介质和计算机设备 |
| CN111178294A (zh) * | 2019-12-31 | 2020-05-19 | 北京市商汤科技开发有限公司 | 状态识别方法、装置、设备及存储介质 |
| CN111327821A (zh) * | 2020-02-24 | 2020-06-23 | 珠海格力电器股份有限公司 | 智能摄像装置的控制方法、装置、计算机设备和存储介质 |
| CN112363626A (zh) * | 2020-11-25 | 2021-02-12 | 广州魅视电子科技有限公司 | 基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法 |
| CN113435362A (zh) * | 2021-06-30 | 2021-09-24 | 平安科技（深圳）有限公司 | 异常行为检测方法、装置、计算机设备及存储介质 |
| CN113709519A (zh) * | 2021-08-27 | 2021-11-26 | 上海掌门科技有限公司 | 一种用于确定直播遮挡区域的方法与设备 |
| CN115331304A (zh) * | 2022-08-05 | 2022-11-11 | 盛视科技股份有限公司 | 一种跑步识别方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101933921B1 (ko) * | 2013-06-03 | 2018-12-31 | 삼성전자주식회사 | 포즈 추정 방법 및 장치 |
| CN107239728B (zh) * | 2017-01-04 | 2021-02-02 | 赛灵思电子科技(北京)有限公司 | 基于深度学习姿态估计的无人机交互装置与方法 |
| US20220004949A1 (en) * | 2020-03-30 | 2022-01-06 | Cherry Labs, Inc. | System and method for artificial intelligence (ai)-based activity tracking for protocol compliance |
-
2022
- 2022-12-28 CN CN202211699295.7A patent/CN116030411B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102081918A (zh) * | 2010-09-28 | 2011-06-01 | 北京大学深圳研究生院 | 一种视频图像显示控制方法及视频图像显示器 |
| CN102708561A (zh) * | 2012-02-29 | 2012-10-03 | 北京无线电计量测试研究所 | 一种基于毫米波成像的隐私保护装置 |
| CN107340852A (zh) * | 2016-08-19 | 2017-11-10 | 北京市商汤科技开发有限公司 | 手势控制方法、装置和终端设备 |
| CN110334571A (zh) * | 2019-04-03 | 2019-10-15 | 复旦大学 | 一种基于卷积神经网络的毫米波图像人体隐私保护方法 |
| CN110598670A (zh) * | 2019-09-20 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 设置监控区域禁区的方法、装置、存储介质和计算机设备 |
| CN111178294A (zh) * | 2019-12-31 | 2020-05-19 | 北京市商汤科技开发有限公司 | 状态识别方法、装置、设备及存储介质 |
| CN111327821A (zh) * | 2020-02-24 | 2020-06-23 | 珠海格力电器股份有限公司 | 智能摄像装置的控制方法、装置、计算机设备和存储介质 |
| CN112363626A (zh) * | 2020-11-25 | 2021-02-12 | 广州魅视电子科技有限公司 | 基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法 |
| CN113435362A (zh) * | 2021-06-30 | 2021-09-24 | 平安科技（深圳）有限公司 | 异常行为检测方法、装置、计算机设备及存储介质 |
| CN113709519A (zh) * | 2021-08-27 | 2021-11-26 | 上海掌门科技有限公司 | 一种用于确定直播遮挡区域的方法与设备 |
| CN115331304A (zh) * | 2022-08-05 | 2022-11-11 | 盛视科技股份有限公司 | 一种跑步识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种复杂场景下的视频流人脸隐私保护技术;张驰 等;《电信科学》;第37卷(第01期);94-101 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116030411A (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109508688B (zh) | 基于骨架的行为检测方法、终端设备及计算机存储介质 | |
| CN109657533B (zh) | 行人重识别方法及相关产品 | |
| CN112287866B (zh) | 一种基于人体关键点的人体动作识别方法及装置 | |
| Kuno et al. | Automated detection of human for visual surveillance system | |
| JP4216668B2 (ja) | 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法 | |
| US20060067562A1 (en) | Detection of moving objects in a video | |
| KR101697161B1 (ko) | 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법 | |
| US20130236057A1 (en) | Detecting apparatus of human component and method thereof | |
| CN109727275B (zh) | 目标检测方法、装置、系统和计算机可读存储介质 | |
| CN112287868B (zh) | 一种人体动作识别方法及装置 | |
| CN108647557A (zh) | 信息处理设备、信息处理方法和存储介质 | |
| CN110674680B (zh) | 活体识别的方法、装置、存储介质 | |
| CN110287862B (zh) | 基于深度学习的防偷拍检测方法 | |
| KR101737430B1 (ko) | 동적 배경을 가진 영상의 대상 객체 검출 방법 | |
| CN112287867A (zh) | 一种多摄像头的人体动作识别方法及装置 | |
| CN111263955A (zh) | 一种目标对象的移动轨迹确定方法和装置 | |
| CN110991397A (zh) | 一种行进方向确定方法及相关设备 | |
| CN110580708B (zh) | 一种快速移动检测方法、装置及电子设备 | |
| CN116030411B (zh) | 基于姿态识别的人形隐私遮挡方法、装置及设备 | |
| CN109254663B (zh) | 一种儿童图书辅助阅读机器人的使用方法 | |
| Hadi et al. | Fusion of thermal and depth images for occlusion handling for human detection from mobile robot | |
| CN112166435A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| Harish et al. | New features for webcam proctoring using python and opencv | |
| Castillo et al. | A method to detect victims in search and rescue operations using template matching | |
| Lim et al. | Tooth guard: A vision system for detecting missing tooth in rope mine shovel |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |