CN115440015B - 一种可智能安全管控的视频分析方法及系统 - Google Patents

Abstract

本发明属于视频分析技术领域，具体公开一种可智能安全管控的视频分析方法及系统，包括：安全管控视频获取；安全管控视频处理；安全管控图像提取；安全管控图像处理；目标监测人员获取；目标监测人员行为特征分析；禁烟区域烟雾特征分析；人工确认；语音警醒提示；本发明通过依据安全管控视频中提取的安全管控图像，并从中分析获取目标监测人员，进而对目标监测人员进行针对性行为特征分析，并及时捕捉到具体的吸烟人员，提高了监测时效性，进而能够及时采取合理有效的处理措施，在较大程度上减少了因吸烟所导致的安全事故发生率，同时实现对人员吸烟行为的多个维度分析，因而降低了对人员吸烟行为的误判率，能够实现良好的禁烟管理效果。

Description

一种可智能安全管控的视频分析方法及系统

技术领域

本发明属于视频分析技术领域，具体而言，涉及一种可智能安全管控的视频分析方法及系统。

背景技术

吸烟问题一直以来都是社会关注的焦点，近几年来，随着吸烟人群的不断增加，对吸烟问题进行安全管控的重要性变得尤为凸显，吸烟不仅危害吸烟人员的身体健康，同时，吸烟所产生的二手烟也给其他人员的身体造成了一定程度的健康影响，近年来，由于吸烟所造成的火灾现象频频发生，不仅引起了社会的广泛重视，还造成了严重的人员伤亡，在此情形下，能够快速有效地检测出人员的吸烟行为，进而进行处理的重要性变得尤为突出。

如今，现有技术对吸烟行为的检测具体存在的弊端体现在以下几个方面：

(1)现有技术中对吸烟行为的检测，大多停留于使用烟雾报警器实现对吸烟行为的检测，该检测方式受空气流速的影响较大，因而存在一定的局限性，并且无法及时捕捉到具体的吸烟人员，存在时效性较差的问题，导致无法及时采取合理有效的处理措施，进而在一定程度上提升了因吸烟所导致的安全事故发生率。

(2)现有技术在通过视频对吸烟行为进行检测时，大多仅针对人员的具体行为姿态进行检测，缺乏对人员的手部夹持物特征进行具体分析，分析维度较为单一，针对性分析水平较差，因而提高了对人员吸烟行为的误判率，进而无法实现良好的禁烟管理效果。

发明内容

为了克服背景技术中的缺点，本发明实施例提供了一种可智能安全管控的视频分析方法及系统，能够有效解决上述背景技术中涉及的问题。

本发明的目的可以通过以下技术方案来实现：

本发明第一方面提供了一种可智能安全管控的视频分析方法，包括：

S1.安全管控视频获取：获取禁烟区域对应的安全管控视频；

S2.安全管控视频处理：将禁烟区域对应的安全管控视频进行解码处理，进而获取解码处理完成后的禁烟区域对应的安全管控视频；

S3.安全管控图像提取：获取解码处理完成后的禁烟区域对应的安全管控视频所属时长，并将其按照设定的视频帧数进行划分，进而得到禁烟区域对应各安全管控视频图像，并将其记为禁烟区域对应各安全管控图像；

S4.安全管控图像处理：将禁烟区域对应各安全管控图像进行图像处理，进而获取图像处理完成后的禁烟区域对应各安全管控图像；

S5.目标监测人员获取：依据图像处理完成后的禁烟区域对应各安全管控图像，进而提取禁烟区域对应各安全管控图像所属各人员对应的行为姿态图像，从中分析获取禁烟区域对应各安全管控图像所属各目标监测人员；

S6.目标监测人员行为特征分析：将禁烟区域对应各安全管控图像所属各目标监测人员的行为特征进行分析，由此评估禁烟区域对应各安全管控图像所属各目标监测人员的吸烟行为匹配指数；

S7.禁烟区域烟雾特征分析：依据禁烟区域对应各安全管控图像，进而对禁烟区域存在的烟雾特征进行分析，由此评估禁烟区域对应各安全管控图像所属烟雾风险系数；

S8.人工确认：由管理人员对目标监测人员的吸烟行为和禁烟区域的烟雾风险进行确认；

S9.语音警醒提示：依据人工确认结果，进而对禁烟区域的吸烟行为进行语音警醒提示。

作为本发明进一步的设计，所述步骤S5中分析获取禁烟区域对应各安全管控图像所属各目标监测人员，其具体过程为：

S51:基于禁烟区域对应各安全管控图像所属各人员对应的行为姿态图像，通过人体关键点检测从中定位至各人员对应的手部，判断各人员对应的手部是否存在夹持物，若某人员对应的手部存在夹持物，则初步判定该人员为潜在吸烟人员，并将其标记为目标监测人员，进而获取禁烟区域对应各安全管控图像所属各目标监测人员。

作为本发明进一步的设计，所述步骤S6中将禁烟区域对应各安全管控图像所属各目标监测人员的行为特征进行分析，其具体分析过程为：

S61:依据禁烟区域对应各安全管控图像所属各人员对应的行为姿态图像，从中提取禁烟区域对应各安全管控图像所属各目标监测人员对应的行为姿态图像，进而分别提取禁烟区域对应各安全管控图像所属各目标监测人员对应的手部夹持物所属外形轮廓和顶部颜色；

S62:将禁烟区域对应各安全管控图像所属各目标监测人员对应的手部夹持物所属外形轮廓与设定的香烟参考外形轮廓进行重合对比，进而提取禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的外形轮廓重合面积，并提取香烟参考外形轮廓面积；

S63:将禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的外形轮廓重合面积与香烟参考外形轮廓面积进行对比，据此计算禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物的外形轮廓重合度，其计算公式为：其中ω^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员手部夹持物的外形轮廓重合度，S^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员手部夹持物对应的外形轮廓重合面积，S₀″表示为香烟参考外形轮廓面积，m表示为各安全管控图像的编号，m＝1,2,...,v,f表示为各目标监测人员的编号，f＝1,2,...p；

S64:基于禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的顶部颜色,进而提取禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的顶部RGB颜色值；

S65:将禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的顶部RGB颜色值与设定的香烟顶部燃烧参考RGB颜色值进行匹配对比，据此计算禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的顶部颜色符合系数，其计算公式为：其中σ^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员手部夹持物对应的顶部颜色符合系数，RGB₀″表示为设定的香烟顶部燃烧参考RGB颜色值，rgb^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员手部夹持物对应的顶部RGB颜色值；

S66:基于禁烟区域对应各安全管控图像所属各目标监测人员对应的行为姿态图像，进而聚焦至各目标监测人员的嘴部位置和存在夹持物的手部位置，并勾勒各目标监测人员的嘴部外形轮廓和存在夹持物的手部外形轮廓，从中提取各目标监测人员的嘴部外形轮廓中心点和存在夹持物的手部外形轮廓中心点；

S67:获取各目标监测人员的嘴部外形轮廓中心点和存在夹持物的手部外形轮廓中心点之间的间距，将其标记为各目标监测人员的潜在吸烟间距，并将其与设定的吸烟行为所属参考间距进行对比，计算禁烟区域对应各安全管控图像所属各目标监测人员潜在吸烟间距的匹配系数，其计算公式为：其中μ^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员潜在吸烟间距的匹配系数，L₀表示为设定的吸烟行为所属参考间距，l^m _f禁烟区域对应第m个安全管控图像所属第f个目标监测人员潜在吸烟间距。

作为本发明进一步的设计，所述步骤S6中评估禁烟区域对应各安全管控图像所属各目标监测人员的吸烟行为匹配指数,其具体计算公式为：ξ^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员的吸烟行为匹配指数，γ₁、γ₂和γ₃分别表示为预设的手部夹持物外形轮廓、手部夹持物顶部颜色和潜在吸烟间距对应的吸烟行为匹配权重占比因子，e表示为自然常数。

作为本发明进一步的设计，所述步骤S7中评估禁烟区域对应各安全管控图像所属烟雾风险系数，其具体过程为：

S71:通过设定的烟雾识别模型将禁烟区域对应各安全管控图像中是否存在烟雾进行判断，若存在，则定位至禁烟区域对应各安全管控图像中烟雾所在区域，进而提取禁烟区域对应各安全管控图像所属各烟雾区域面积；

S72:基于禁烟区域对应各安全管控图像所属各烟雾区域面积和预设的烟雾对应单位面积的风险影响因子，进而计算禁烟区域对应各安全管控图像所属烟雾风险系数，其计算公式为：其中η^m表示为第m个安全管控图像所属烟雾风险系数，θ_m ^k和χ₀″分别表示为第m个安全管控图像所属第k个烟雾区域面积和预设的烟雾对应单位面积的风险影响因子，k表示为烟雾区域的编号，k＝1,2,...,q。

作为本发明进一步的设计，所述步骤S8中对目标监测人员的吸烟行为和禁烟区域的烟雾风险进行确认，其具体过程为：

S81:将禁烟区域对应各安全管控图像所属各目标监测人员的吸烟行为匹配指数与设定的人员吸烟行为标准匹配指数进行对比，若禁烟区域对应某安全管控图像所属某目标监测人员的吸烟行为匹配指数大于人员吸烟行为标准匹配指数，则将禁烟区域对应该安全管控图像所属该目标监测人员记为目标吸烟人员，并将目标吸烟人员所在禁烟区域对应的安全管控图像传输至管理人员；

S82:由管理人员依据目标吸烟人员所在禁烟区域对应的安全管控图像对目标吸烟人员是否存在吸烟行为进行确认，若目标吸烟人员存在吸烟行为，则将目标吸烟人员记为确认吸烟人员；

S83:将禁烟区域对应各安全管控图像所属烟雾风险系数与设定的禁烟区域所属烟雾预警风险系数进行对比，若禁烟区域对应某安全管控图像所属烟雾风险系数大于设定的禁烟区域所属烟雾预警风险系数，则将禁烟区域对应该安全管控图像记为烟雾风险图像，并将烟雾风险图像传输至管理人员；

S84:由管理人员依据烟雾风险图像对禁烟区域是否存在吸烟行为进行确认，若存在吸烟行为，则将禁烟区域标记为吸烟行为风险区域。

作为本发明进一步的设计，所述步骤S9中对禁烟区域的吸烟行为进行语音警醒提示，其具体过程为：通过语音提示器对确认吸烟人员所在禁烟区域进行语音警醒提示，并对吸烟行为风险区域进行语音警醒提示。

本发明第二方面提供了一种可智能安全管控的视频分析系统，包括：

安全管控视频获取模块：用于获取禁烟区域对应的安全管控视频；

安全管控视频处理模块：用于将禁烟区域对应的安全管控视频进行解码处理，进而获取解码处理完成后的禁烟区域对应的安全管控视频；

安全管控图像提取模块：用于获取解码处理完成后的禁烟区域对应的安全管控视频所属时长，并将其按照设定的视频帧数进行划分，进而得到禁烟区域对应各安全管控视频图像，并将其记为禁烟区域对应各安全管控图像；

安全管控图像处理模块：用于将禁烟区域对应各安全管控图像进行图像处理，进而获取图像处理完成后的禁烟区域对应各安全管控图像；

目标监测人员获取模块：用于依据图像处理完成后的禁烟区域对应各安全管控图像，进而提取禁烟区域对应各安全管控图像所属各人员对应的行为姿态图像，从中分析获取禁烟区域对应各安全管控图像所属各目标监测人员；

目标监测人员行为特征分析模块：用于将禁烟区域对应各安全管控图像所属各目标监测人员的行为特征进行分析，由此评估禁烟区域对应各安全管控图像所属各目标监测人员的吸烟行为匹配指数；

禁烟区域烟雾特征分析模块：用于依据禁烟区域对应各安全管控图像，进而对禁烟区域存在的烟雾特征进行分析，由此评估禁烟区域对应各安全管控图像所属烟雾风险系数；

人工确认模块：用于由管理人员对目标监测人员的吸烟行为和禁烟区域的烟雾风险进行确认；

语音警醒提示模块：用于依据人工确认结果，进而对禁烟区域的吸烟行为进行语音警醒提示。

相对于现有技术，本发明的实施例至少具有如下有益效果：

(1)本发明通过提供一种可智能安全管控的视频分析方法及系统，能够针对吸烟行为进行实时的智能化视频分析，本发明受空气流速的影响较小，克服了现有技术中因使用烟雾报警器实现对吸烟行为进行检测而存在的局限性，本发明通过依据安全管控视频中提取的安全管控图像，并从中分析获取目标监测人员，进而对目标监测人员进行针对性行为特征分析，能够及时捕捉到具体的吸烟人员，提高了监测时效性，进而能够及时采取合理有效的处理措施，在较大程度上减少了因吸烟所导致的安全事故发生率。

(2)本发明通过对目标监测人员进行吸烟行为分析时，通过对目标监测人员对应的手部夹持物所属外形轮廓和顶部颜色进行分析，并对目标监测人员的潜在吸烟间距进行性分析，既包括对人员的具体行为姿态进行检测，同时也对人员的手部夹持物进行了具体分析，进而实现了对人员吸烟行为的多个维度分析，分析维度较为全面，提高了针对性分析水平，因而降低了对人员吸烟行为的误判率，进而能够实现良好的禁烟管理效果。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1为本发明的方法步骤流程示意图。

图2为本发明的系统结构连接示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1所示，本发明第一方面提供了一种可智能安全管控的视频分析方法，包括：

S1.安全管控视频获取：获取禁烟区域对应的安全管控视频；

S2.安全管控视频处理：将禁烟区域对应的安全管控视频进行解码处理，进而获取解码处理完成后的禁烟区域对应的安全管控视频；

需要说明的是，上述将禁烟区域对应的安全管控视频进行解码处理，其目的在于，用于让禁烟区域对应的安全管控视频能够流畅进行播放，进而为后续安全管控图像的提取提供了便捷性。

S3.安全管控图像提取：获取解码处理完成后的禁烟区域对应的安全管控视频所属时长，并将其按照设定的视频帧数进行划分，进而得到禁烟区域对应各安全管控视频图像，并将其记为禁烟区域对应各安全管控图像；

S4.安全管控图像处理：将禁烟区域对应各安全管控图像进行图像处理，进而获取图像处理完成后的禁烟区域对应各安全管控图像；

需要说明的是，上述将禁烟区域对应各安全管控图像进行图像处理，具体地处理方式包括：边缘增强处理、对比度修正、直方图修正、滤波处理和噪声处理等，通过图像处理能够使禁烟区域对应各安全管控图像得到清晰改善，使画质能够得到精准度显示，进而为后期分析获取各目标监测人员和提取各目标监测人员对应的行为姿态图像提供了可靠性依据。

S5.目标监测人员获取：依据图像处理完成后的禁烟区域对应各安全管控图像，进而提取禁烟区域对应各安全管控图像所属各人员对应的行为姿态图像，从中分析获取禁烟区域对应各安全管控图像所属各目标监测人员；

具体地，所述步骤S5中分析获取禁烟区域对应各安全管控图像所属各目标监测人员，其具体过程为：

S51:基于禁烟区域对应各安全管控图像所属各人员对应的行为姿态图像，通过人体关键点检测从中定位至各人员对应的手部，判断各人员对应的手部是否存在夹持物，若某人员对应的手部存在夹持物，则初步判定该人员为潜在吸烟人员，并将其标记为目标监测人员，进而获取禁烟区域对应各安全管控图像所属各目标监测人员。

S6.目标监测人员行为特征分析：将禁烟区域对应各安全管控图像所属各目标监测人员的行为特征进行分析，由此评估禁烟区域对应各安全管控图像所属各目标监测人员的吸烟行为匹配指数；

具体地，所述步骤S6中将禁烟区域对应各安全管控图像所属各目标监测人员的行为特征进行分析，其具体分析过程为：

S61:依据禁烟区域对应各安全管控图像所属各人员对应的行为姿态图像，从中提取禁烟区域对应各安全管控图像所属各目标监测人员对应的行为姿态图像，进而分别提取禁烟区域对应各安全管控图像所属各目标监测人员对应的手部夹持物所属外形轮廓和顶部颜色；

S62:将禁烟区域对应各安全管控图像所属各目标监测人员对应的手部夹持物所属外形轮廓与设定的香烟参考外形轮廓进行重合对比，进而提取禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的外形轮廓重合面积，并提取香烟参考外形轮廓面积；

S63:将禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的外形轮廓重合面积与香烟参考外形轮廓面积进行对比，据此计算禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物的外形轮廓重合度，其计算公式为：其中ω^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员手部夹持物的外形轮廓重合度，S^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员手部夹持物对应的外形轮廓重合面积，S₀″表示为香烟参考外形轮廓面积，m表示为各安全管控图像的编号，m＝1,2,...,v,f表示为各目标监测人员的编号，f＝1,2,...p；

S64:基于禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的顶部颜色,进而提取禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的顶部RGB颜色值；

S65:将禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的顶部RGB颜色值与设定的香烟顶部燃烧参考RGB颜色值进行匹配对比，据此计算禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的顶部颜色符合系数，其计算公式为：其中σ^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员手部夹持物对应的顶部颜色符合系数，RGB₀″表示为设定的香烟顶部燃烧参考RGB颜色值，rgb^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员手部夹持物对应的顶部RGB颜色值；

S66:基于禁烟区域对应各安全管控图像所属各目标监测人员对应的行为姿态图像，进而聚焦至各目标监测人员的嘴部位置和存在夹持物的手部位置，并勾勒各目标监测人员的嘴部外形轮廓和存在夹持物的手部外形轮廓，从中提取各目标监测人员的嘴部外形轮廓中心点和存在夹持物的手部外形轮廓中心点；

S67:获取各目标监测人员的嘴部外形轮廓中心点和存在夹持物的手部外形轮廓中心点之间的间距，将其标记为各目标监测人员的潜在吸烟间距，并将其与设定的吸烟行为所属参考间距进行对比，计算禁烟区域对应各安全管控图像所属各目标监测人员潜在吸烟间距的匹配系数，其计算公式为：其中μ^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员潜在吸烟间距的匹配系数，L₀表示为设定的吸烟行为所属参考间距，l^m _f禁烟区域对应第m个安全管控图像所属第f个目标监测人员潜在吸烟间距。

进一步地，所述步骤S6中评估禁烟区域对应各安全管控图像所属各目标监测人员的吸烟行为匹配指数,其具体计算公式为：ξ^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员的吸烟行为匹配指数，γ₁、γ₂和γ₃分别表示为预设的手部夹持物外形轮廓、手部夹持物顶部颜色和潜在吸烟间距对应的吸烟行为匹配权重占比因子，e表示为自然常数。

本发明具体实施例中，通过对目标监测人员进行吸烟行为分析时，通过对目标监测人员对应的手部夹持物所属外形轮廓和顶部颜色进行分析，并对目标监测人员的潜在吸烟间距进行性分析，既包括对人员的具体行为姿态进行检测，同时也对人员的手部夹持物进行了具体分析，进而实现了对人员吸烟行为的多个维度分析，分析维度较为全面，提高了针对性分析水平，因而降低了对人员吸烟行为的误判率，进而能够实现良好的禁烟管理效果。

S7.禁烟区域烟雾特征分析：依据禁烟区域对应各安全管控图像，进而对禁烟区域存在的烟雾特征进行分析，由此评估禁烟区域对应各安全管控图像所属烟雾风险系数；

具体地，所述步骤S7中评估禁烟区域对应各安全管控图像所属烟雾风险系数，其具体过程为：

S71:通过设定的烟雾识别模型将禁烟区域对应各安全管控图像中是否存在烟雾进行判断，若存在，则定位至禁烟区域对应各安全管控图像中烟雾所在区域，进而提取禁烟区域对应各安全管控图像所属各烟雾区域面积；

S72:基于禁烟区域对应各安全管控图像所属各烟雾区域面积和预设的烟雾对应单位面积的风险影响因子，进而计算禁烟区域对应各安全管控图像所属烟雾风险系数，其计算公式为：其中η^m表示为第m个安全管控图像所属烟雾风险系数，θ_m ^k和χ₀″分别表示为第m个安全管控图像所属第k个烟雾区域面积和预设的烟雾对应单位面积的风险影响因子，k表示为烟雾区域的编号，k＝1,2,...,q。

S8.人工确认：由管理人员对目标监测人员的吸烟行为和禁烟区域的烟雾风险进行确认；

具体地，所述步骤S8中对目标监测人员的吸烟行为和禁烟区域的烟雾风险进行确认，其具体过程为：

S81:将禁烟区域对应各安全管控图像所属各目标监测人员的吸烟行为匹配指数与设定的人员吸烟行为标准匹配指数进行对比，若禁烟区域对应某安全管控图像所属某目标监测人员的吸烟行为匹配指数大于人员吸烟行为标准匹配指数，则将禁烟区域对应该安全管控图像所属该目标监测人员记为目标吸烟人员，并将目标吸烟人员所在禁烟区域对应的安全管控图像传输至管理人员；

S82:由管理人员依据目标吸烟人员所在禁烟区域对应的安全管控图像对目标吸烟人员是否存在吸烟行为进行确认，若目标吸烟人员存在吸烟行为，则将目标吸烟人员记为确认吸烟人员；

S83:将禁烟区域对应各安全管控图像所属烟雾风险系数与设定的禁烟区域所属烟雾预警风险系数进行对比，若禁烟区域对应某安全管控图像所属烟雾风险系数大于设定的禁烟区域所属烟雾预警风险系数，则将禁烟区域对应该安全管控图像记为烟雾风险图像，并将烟雾风险图像传输至管理人员；

S84:由管理人员依据烟雾风险图像对禁烟区域是否存在吸烟行为进行确认，若存在吸烟行为，则将禁烟区域标记为吸烟行为风险区域。

本发明具体实施例中，通过管理人员对禁烟区域的吸烟行为进行确认，进而大大降低了对人员吸烟行为的误判率，避免因监测的精准度存在一定偏差所导致对人员吸烟行为的误判，不仅降低了因吸烟行为误判所导致的纠纷发生率，且有利于维持和谐稳定的禁烟区域环境。

在一种具体的实施例中，本发明通过将确认吸烟人员的行为特征进行提取，并吸烟行为风险区域的烟雾特征进行提取，进而为后续吸烟行为的视频分析增加了分析的精准度和鲁棒性，并减少了人工识别成本，降低了人工劳动强度，且能够不断适应实际的应用环境。

S9.语音警醒提示：依据人工确认结果，进而对禁烟区域的吸烟行为进行语音警醒提示；

具体地，所述步骤S9中对禁烟区域的吸烟行为进行语音警醒提示，其具体过程为：通过语音提示器对确认吸烟人员所在禁烟区域进行语音警醒提示，并对吸烟行为风险区域进行语音警醒提示。

参照图2所示，本发明第二方面提供了一种可智能安全管控的视频分析系统，包括：安全管控视频获取模块、安全管控视频处理模块、安全管控图像提取模块、安全管控图像处理模块、目标监测人员获取模块、目标监测人员行为特征分析模块、禁烟区域烟雾特征分析模块、人工确认模块和语音警醒提示模块；

所述安全管控视频处理模块分别与安全管控视频获取模块和安全管控图像提取模块相连接，目标监测人员获取模块分别与安全管控图像处理模块和目标监测人员行为特征分析模块相连接，目标监测人员行为特征分析模块和禁烟区域烟雾特征分析模块均分别与安全管控图像处理模块和人工确认模块相连接，语音警醒提示模块和人工确认模块相连接；

所述安全管控视频获取模块用于获取禁烟区域对应的安全管控视频；

所述安全管控视频处理模块用于将禁烟区域对应的安全管控视频进行解码处理，进而获取解码处理完成后的禁烟区域对应的安全管控视频；

所述安全管控图像提取模块用于获取解码处理完成后的禁烟区域对应的安全管控视频所属时长，并将其按照设定的视频帧数进行划分，进而得到禁烟区域对应各安全管控视频图像，并将其记为禁烟区域对应各安全管控图像；

所述安全管控图像处理模块用于将禁烟区域对应各安全管控图像进行图像处理，进而获取图像处理完成后的禁烟区域对应各安全管控图像；

所述目标监测人员获取模块用于依据图像处理完成后的禁烟区域对应各安全管控图像，进而提取禁烟区域对应各安全管控图像所属各人员对应的行为姿态图像，从中分析获取禁烟区域对应各安全管控图像所属各目标监测人员；

所述目标监测人员行为特征分析模块用于将禁烟区域对应各安全管控图像所属各目标监测人员的行为特征进行分析，由此评估禁烟区域对应各安全管控图像所属各目标监测人员的吸烟行为匹配指数；

所述禁烟区域烟雾特征分析模块用于依据禁烟区域对应各安全管控图像，进而对禁烟区域存在的烟雾特征进行分析，由此评估禁烟区域对应各安全管控图像所属烟雾风险系数；

所述人工确认模块用于由管理人员对目标监测人员的吸烟行为和禁烟区域的烟雾风险进行确认；

所述语音警醒提示模块用于依据人工确认结果，进而对禁烟区域的吸烟行为进行语音警醒提示。

本发明具体实施例中，通过提供一种可智能安全管控的视频分析方法及系统，能够针对吸烟行为进行实时的智能化视频分析，本发明受空气流速的影响较小，克服了现有技术中因使用烟雾报警器实现对吸烟行为进行检测而存在的局限性，本发明通过依据安全管控视频中提取的安全管控图像，并从中分析获取目标监测人员，进而对目标监测人员进行针对性行为特征分析，能够及时捕捉到具体的吸烟人员，提高了监测时效性，进而能够及时采取合理有效的处理措施，在较大程度上减少了因吸烟所导致的安全事故发生率。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (4)

1.一种可智能安全管控的视频分析方法，其特征在于，包括：

S1.安全管控视频获取：获取禁烟区域对应的安全管控视频；

S2.安全管控视频处理：将禁烟区域对应的安全管控视频进行解码处理，进而获取解码处理完成后的禁烟区域对应的安全管控视频；

S3.安全管控图像提取：获取解码处理完成后的禁烟区域对应的安全管控视频所属时长，并将其按照设定的视频帧数进行划分，进而得到禁烟区域对应各安全管控视频图像，并将其记为禁烟区域对应各安全管控图像；

S4.安全管控图像处理：将禁烟区域对应各安全管控图像进行图像处理，进而获取图像处理完成后的禁烟区域对应各安全管控图像；

S5.目标监测人员获取：依据图像处理完成后的禁烟区域对应各安全管控图像，进而提取禁烟区域对应各安全管控图像所属各人员对应的行为姿态图像，从中分析获取禁烟区域对应各安全管控图像所属各目标监测人员；

所述步骤S5中分析获取禁烟区域对应各安全管控图像所属各目标监测人员，其具体过程为：

S51:基于禁烟区域对应各安全管控图像所属各人员对应的行为姿态图像，通过人体关键点检测从中定位至各人员对应的手部，判断各人员对应的手部是否存在夹持物，若某人员对应的手部存在夹持物，则初步判定该人员为潜在吸烟人员，并将其标记为目标监测人员，进而获取禁烟区域对应各安全管控图像所属各目标监测人员；

S6.目标监测人员行为特征分析：将禁烟区域对应各安全管控图像所属各目标监测人员的行为特征进行分析，由此评估禁烟区域对应各安全管控图像所属各目标监测人员的吸烟行为匹配指数；

所述步骤S6中将禁烟区域对应各安全管控图像所属各目标监测人员的行为特征进行分析，其具体分析过程为：

S61:依据禁烟区域对应各安全管控图像所属各人员对应的行为姿态图像，从中提取禁烟区域对应各安全管控图像所属各目标监测人员对应的行为姿态图像，进而分别提取禁烟区域对应各安全管控图像所属各目标监测人员对应的手部夹持物所属外形轮廓和顶部颜色；

S62:将禁烟区域对应各安全管控图像所属各目标监测人员对应的手部夹持物所属外形轮廓与设定的香烟参考外形轮廓进行重合对比，进而提取禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的外形轮廓重合面积，并提取香烟参考外形轮廓面积；

S63:将禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的外形轮廓重合面积与香烟参考外形轮廓面积进行对比，据此计算禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物的外形轮廓重合度，其计算公式为：其中ω^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员手部夹持物的外形轮廓重合度，S^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员手部夹持物对应的外形轮廓重合面积，S₀″表示为香烟参考外形轮廓面积，m表示为各安全管控图像的编号，m＝1,2,...,v,f表示为各目标监测人员的编号，f＝1,2,...p；

S64:基于禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的顶部颜色,进而提取禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的顶部RGB颜色值；

S65:将禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的顶部RGB颜色值与设定的香烟顶部燃烧参考RGB颜色值进行匹配对比，据此计算禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的顶部颜色符合系数，其计算公式为：其中σ^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员手部夹持物对应的顶部颜色符合系数，RGB₀″表示为设定的香烟顶部燃烧参考RGB颜色值，rgb^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员手部夹持物对应的顶部RGB颜色值；

S66:基于禁烟区域对应各安全管控图像所属各目标监测人员对应的行为姿态图像，进而聚焦至各目标监测人员的嘴部位置和存在夹持物的手部位置，并勾勒各目标监测人员的嘴部外形轮廓和存在夹持物的手部外形轮廓，从中提取各目标监测人员的嘴部外形轮廓中心点和存在夹持物的手部外形轮廓中心点；

S67:获取各目标监测人员的嘴部外形轮廓中心点和存在夹持物的手部外形轮廓中心点之间的间距，将其标记为各目标监测人员的潜在吸烟间距，并将其与设定的吸烟行为所属参考间距进行对比，计算禁烟区域对应各安全管控图像所属各目标监测人员潜在吸烟间距的匹配系数，其计算公式为：其中μ^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员潜在吸烟间距的匹配系数，L₀表示为设定的吸烟行为所属参考间距，l^m _f禁烟区域对应第m个安全管控图像所属第f个目标监测人员潜在吸烟间距；

所述步骤S6中评估禁烟区域对应各安全管控图像所属各目标监测人员的吸烟行为匹配指数,其具体计算公式为：ξ^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员的吸烟行为匹配指数，γ₁、γ₂和γ₃分别表示为预设的手部夹持物外形轮廓、手部夹持物顶部颜色和潜在吸烟间距对应的吸烟行为匹配权重占比因子，e表示为自然常数；

S7.禁烟区域烟雾特征分析：依据禁烟区域对应各安全管控图像，进而对禁烟区域存在的烟雾特征进行分析，由此评估禁烟区域对应各安全管控图像所属烟雾风险系数；

所述步骤S7中评估禁烟区域对应各安全管控图像所属烟雾风险系数，其具体过程为：

S71:通过设定的烟雾识别模型将禁烟区域对应各安全管控图像中是否存在烟雾进行判断，若存在，则定位至禁烟区域对应各安全管控图像中烟雾所在区域，进而提取禁烟区域对应各安全管控图像所属各烟雾区域面积；

S72:基于禁烟区域对应各安全管控图像所属各烟雾区域面积和预设的烟雾对应单位面积的风险影响因子，进而计算禁烟区域对应各安全管控图像所属烟雾风险系数，其计算公式为：其中η^m表示为第m个安全管控图像所属烟雾风险系数，θ_m ^k和χ₀″分别表示为第m个安全管控图像所属第k个烟雾区域面积和预设的烟雾对应单位面积的风险影响因子，k表示为烟雾区域的编号，k＝1,2,...,q；

S8.人工确认：由管理人员对目标监测人员的吸烟行为和禁烟区域的烟雾风险进行确认；

S9.语音警醒提示：依据人工确认结果，进而对禁烟区域的吸烟行为进行语音警醒提示。

2.根据权利要求1所述的一种可智能安全管控的视频分析方法，其特征在于：所述步骤S8中对目标监测人员的吸烟行为和禁烟区域的烟雾风险进行确认，其具体过程为：

S81:将禁烟区域对应各安全管控图像所属各目标监测人员的吸烟行为匹配指数与设定的人员吸烟行为标准匹配指数进行对比，若禁烟区域对应某安全管控图像所属某目标监测人员的吸烟行为匹配指数大于人员吸烟行为标准匹配指数，则将禁烟区域对应该安全管控图像所属该目标监测人员记为目标吸烟人员，并将目标吸烟人员所在禁烟区域对应的安全管控图像传输至管理人员；

S82:由管理人员依据目标吸烟人员所在禁烟区域对应的安全管控图像对目标吸烟人员是否存在吸烟行为进行确认，若目标吸烟人员存在吸烟行为，则将目标吸烟人员记为确认吸烟人员；

S83:将禁烟区域对应各安全管控图像所属烟雾风险系数与设定的禁烟区域所属烟雾预警风险系数进行对比，若禁烟区域对应某安全管控图像所属烟雾风险系数大于设定的禁烟区域所属烟雾预警风险系数，则将禁烟区域对应该安全管控图像记为烟雾风险图像，并将烟雾风险图像传输至管理人员；

S84:由管理人员依据烟雾风险图像对禁烟区域是否存在吸烟行为进行确认，若存在吸烟行为，则将禁烟区域标记为吸烟行为风险区域。

3.根据权利要求1所述的一种可智能安全管控的视频分析方法，其特征在于：所述步骤S9中对禁烟区域的吸烟行为进行语音警醒提示，其具体过程为：通过语音提示器对确认吸烟人员所在禁烟区域进行语音警醒提示，并对吸烟行为风险区域进行语音警醒提示。

4.一种可智能安全管控的视频分析系统，其特征在于，包括：

安全管控视频获取模块：用于获取禁烟区域对应的安全管控视频；

安全管控视频处理模块：用于将禁烟区域对应的安全管控视频进行解码处理，进而获取解码处理完成后的禁烟区域对应的安全管控视频；

安全管控图像提取模块：用于获取解码处理完成后的禁烟区域对应的安全管控视频所属时长，并将其按照设定的视频帧数进行划分，进而得到禁烟区域对应各安全管控视频图像，并将其记为禁烟区域对应各安全管控图像；

安全管控图像处理模块：用于将禁烟区域对应各安全管控图像进行图像处理，进而获取图像处理完成后的禁烟区域对应各安全管控图像；

目标监测人员获取模块：用于依据图像处理完成后的禁烟区域对应各安全管控图像，进而提取禁烟区域对应各安全管控图像所属各人员对应的行为姿态图像，从中分析获取禁烟区域对应各安全管控图像所属各目标监测人员；

具体的，基于禁烟区域对应各安全管控图像所属各人员对应的行为姿态图像，通过人体关键点检测从中定位至各人员对应的手部，判断各人员对应的手部是否存在夹持物，若某人员对应的手部存在夹持物，则初步判定该人员为潜在吸烟人员，并将其标记为目标监测人员，进而获取禁烟区域对应各安全管控图像所属各目标监测人员；

目标监测人员行为特征分析模块：用于将禁烟区域对应各安全管控图像所属各目标监测人员的行为特征进行分析，由此评估禁烟区域对应各安全管控图像所属各目标监测人员的吸烟行为匹配指数；

具体的，依据禁烟区域对应各安全管控图像所属各人员对应的行为姿态图像，从中提取禁烟区域对应各安全管控图像所属各目标监测人员对应的行为姿态图像，进而分别提取禁烟区域对应各安全管控图像所属各目标监测人员对应的手部夹持物所属外形轮廓和顶部颜色；

将禁烟区域对应各安全管控图像所属各目标监测人员对应的手部夹持物所属外形轮廓与设定的香烟参考外形轮廓进行重合对比，进而提取禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的外形轮廓重合面积，并提取香烟参考外形轮廓面积；

将禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的外形轮廓重合面积与香烟参考外形轮廓面积进行对比，据此计算禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物的外形轮廓重合度，其计算公式为：其中ω^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员手部夹持物的外形轮廓重合度，S^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员手部夹持物对应的外形轮廓重合面积，S₀″表示为香烟参考外形轮廓面积，m表示为各安全管控图像的编号，m＝1,2,...,v,f表示为各目标监测人员的编号，f＝1,2,...p；

基于禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的顶部颜色,进而提取禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的顶部RGB颜色值；

将禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的顶部RGB颜色值与设定的香烟顶部燃烧参考RGB颜色值进行匹配对比，据此计算禁烟区域对应各安全管控图像所属各目标监测人员手部夹持物对应的顶部颜色符合系数，其计算公式为：其中σ^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员手部夹持物对应的顶部颜色符合系数，RGB₀″表示为设定的香烟顶部燃烧参考RGB颜色值，rgb^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员手部夹持物对应的顶部RGB颜色值；

基于禁烟区域对应各安全管控图像所属各目标监测人员对应的行为姿态图像，进而聚焦至各目标监测人员的嘴部位置和存在夹持物的手部位置，并勾勒各目标监测人员的嘴部外形轮廓和存在夹持物的手部外形轮廓，从中提取各目标监测人员的嘴部外形轮廓中心点和存在夹持物的手部外形轮廓中心点；

获取各目标监测人员的嘴部外形轮廓中心点和存在夹持物的手部外形轮廓中心点之间的间距，将其标记为各目标监测人员的潜在吸烟间距，并将其与设定的吸烟行为所属参考间距进行对比，计算禁烟区域对应各安全管控图像所属各目标监测人员潜在吸烟间距的匹配系数，其计算公式为：其中μ^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员潜在吸烟间距的匹配系数，L₀表示为设定的吸烟行为所属参考间距，l^m _f禁烟区域对应第m个安全管控图像所属第f个目标监测人员潜在吸烟间距；

其中，禁烟区域对应各安全管控图像所属各目标监测人员的吸烟行为匹配指数的具体计算公式为：ξ^m _f表示为禁烟区域对应第m个安全管控图像所属第f个目标监测人员的吸烟行为匹配指数，γ₁、γ₂和γ₃分别表示为预设的手部夹持物外形轮廓、手部夹持物顶部颜色和潜在吸烟间距对应的吸烟行为匹配权重占比因子，e表示为自然常数；

禁烟区域烟雾特征分析模块：用于依据禁烟区域对应各安全管控图像，进而对禁烟区域存在的烟雾特征进行分析，由此评估禁烟区域对应各安全管控图像所属烟雾风险系数；

具体的，通过设定的烟雾识别模型将禁烟区域对应各安全管控图像中是否存在烟雾进行判断，若存在，则定位至禁烟区域对应各安全管控图像中烟雾所在区域，进而提取禁烟区域对应各安全管控图像所属各烟雾区域面积；

基于禁烟区域对应各安全管控图像所属各烟雾区域面积和预设的烟雾对应单位面积的风险影响因子，进而计算禁烟区域对应各安全管控图像所属烟雾风险系数，其计算公式为：其中η^m表示为第m个安全管控图像所属烟雾风险系数，θ_m ^k和χ₀″分别表示为第m个安全管控图像所属第k个烟雾区域面积和预设的烟雾对应单位面积的风险影响因子，k表示为烟雾区域的编号，k＝1,2,...,q；

人工确认模块：用于由管理人员对目标监测人员的吸烟行为和禁烟区域的烟雾风险进行确认；

语音警醒提示模块：用于依据人工确认结果，进而对禁烟区域的吸烟行为进行语音警醒提示。