CN113971839A - 检测图像、视频中人体异常行为方法、装置、设备和介质 - Google Patents
检测图像、视频中人体异常行为方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN113971839A CN113971839A CN202111586603.0A CN202111586603A CN113971839A CN 113971839 A CN113971839 A CN 113971839A CN 202111586603 A CN202111586603 A CN 202111586603A CN 113971839 A CN113971839 A CN 113971839A
- Authority
- CN
- China
- Prior art keywords
- human body
- hand
- image
- distance
- smoking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006399 behavior Effects 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 123
- 230000000391 smoking effect Effects 0.000 claims abstract description 87
- 235000019504 cigarettes Nutrition 0.000 claims abstract description 48
- 230000009471 action Effects 0.000 claims abstract description 29
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 18
- 210000003128 head Anatomy 0.000 claims description 31
- 210000001508 eye Anatomy 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 239000000779 smoke Substances 0.000 description 5
- 235000013305 food Nutrition 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000019693 Lung disease Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 241000208125 Nicotiana Species 0.000 description 1
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000000711 cancerogenic effect Effects 0.000 description 1
- 231100000357 carcinogen Toxicity 0.000 description 1
- 239000003183 carcinogenic agent Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理领域，具体涉及检测图像、视频中人体异常行为方法、装置、设备和介质。所述检测图像中人体异常行为的方法包括：对图像中的人体执行姿态检测操作以及烟头检测操作；根据所述姿态检测操作的判定结果和烟头检测操作的判定结果确定所述图像中的人体是否存在吸烟行为；所述姿态检测操作包括：计算所述人体的手部与脸部的距离；计算所述人体的头部与手部的距离；判断所述手部与脸部的距离、所述头部与手部的距离之间的比值是否超过距离阈值，若是，则判定所述人体存在吸烟动作；若否，则判定所述人体不存在吸烟动作；所述距离阈值为预设的值；所述烟头检测操作包括：判断所述人体的手部是否携带香烟。
Description
技术领域
本发明涉及图像处理领域，更具体地，涉及检测图像、视频中人体异常行为方法、装置、设备和介质。
背景技术
医学研究表明，吸烟已是造成肺癌、慢性肺病和冠心病等疾病重要因素，世界卫生组织的国际癌症研究机构已将烟草列入致癌物清单。吸烟不仅危害自身的健康，对于吸入二手烟的人群也会造成更大的健康损害。在通风不良的公共场所，如公共汽车和商场的休息区，被迫吸二手烟的情况尤其严重。此外，因吸烟引起火灾而造成的重大财产损失和人员伤亡的事故屡见不鲜。鉴于吸烟的诸多危害，许多国家已明令禁止在公共场所吸烟，因此出现了各种烟雾探测器。基于传感器的烟雾检测是目前使用最广泛的检测方法，但烟雾传感器受距离影响，难以保证检测准确率。
现发展出利用图像处理算法技术对公共场合进行吸烟行为的检测，现有的吸烟动作识别方法大多使用深度学习，由于整个吸烟动作历时较长，在实验中发现用时间卷积来提取特征并没有很好的效果。现实场景中的应用也会涉及到多人、遮挡等问题。基于深度学习的图像识别方法在多人的情况下存在计算量较大、实时性差等问题。同时还需要对大量数据进行训练来提高识别的准确率。且现有的吸烟动作识别，多是在某个特定的场景应用，如对驾驶舱的司机进行单人正面检测，在其他的检测场景中检测准确率低，容易出现误判、漏判的情况。
发明内容
本发明提供一种检测图像、视频中人体异常行为方法、装置、设备和介质，用于提高吸烟检测的准确性和效率。本发明采取的技术方案包括：一种检测图像中人体异常行为的方法，用于检测图像中的人体是否存在吸烟行为，包括：对图像中的人体执行姿态检测操作以及烟头检测操作；根据所述姿态检测操作的判定结果和烟头检测操作的判定结果确定所述图像中的人体是否存在吸烟行为；所述姿态检测操作包括：利用人体姿态参考模型标定所述图像中人体的手部和头部；利用人脸关键点检测模型标定所述图像中人体的脸部关键点；计算所述人体的手部与脸部关键点的距离；计算所述人体的头部与手部的距离；判断所述手部与脸部关键点的距离、所述头部与手部的距离之间的比值是否超过距离阈值，若是，则判定所述人体存在吸烟动作；若否，则判定所述人体不存在吸烟动作；所述距离阈值为预设的值；所述烟头检测操作包括：判断所述人体的手部是否携带香烟。
所述吸烟动作为公知常识中人体进行吸烟所做的动作，其具有显著的规律性，作为检测吸烟行为的其一重要特征，所述姿态检测操作结合整体骨骼和脸部细微五官进行吸烟动作的检测，分别通过人体姿态参考模型和人脸关键点检测模型进行标定，两个模型的算法相互配合，人体姿态参考模型对肢体方向的处理与人脸关键点检测模型对人脸角度的处理相互印证，人体姿态参考模型对人体躯干范围的划分与人脸关键点检测模型对人体脸部的划分亦相互印证，提高单个部位的标定准确率，并且针对存在多个人体的图像时，可有效判断不同人体在图像中的占比（或不同人体离摄像头的远近），不易发生标定遗漏，更好地完成同一人体的头部、脸部、手部的匹配，不易发生如一个人体的头部匹配了另外一个人体的手部等混淆匹配情况，并且在人体出现部分遮挡时两个模型相互补充，提高鲁棒性。
除此之外，本发明还进一步引入吸烟行为的另一重要特征——香烟的检测步骤，即烟头检测操作。香烟具有显著的图像特征，呈白色细条状，易与其他食物区分，通过模型训练可以达到高检出率。针对图像中同一个人体同时或者先后进行姿态检测操作和烟头检测操作，两种检测操作的判定结果均包括“是”与“否”，通过两个重要特征的判定结果组合，保证检测准确性，有效避免误判、漏检的情况。
在单帧图像中，无法体现动态的、连贯的一系列吸烟行为，吸烟动作具体表现为人体手部（左手或者右手）接近嘴部，计算人体的手部与脸部的距离的优点在于，同时利用了除嘴部外的其他脸部关键点，在难以确定人体嘴部、或者确定人体嘴部出现偏差的情况中，仍可通过其他脸部关键点进行校正，具有较高的鲁棒性。距离阈值的设置与香烟的夹持距离密切相关，所述夹持距离即手指与其夹持的香烟尾部的距离，香烟尾部的过滤嘴部分大多具有固定的距离，并且相较于其他食物的夹持距离较小，具有判别显著性，因此，在得到人体的手部与脸部的平均距离后只需与距离阈值进行单一对比即可得出姿态检测操作的判定结果，既能提高吸烟动作的检测速度，也能保证吸烟动作的检出率。
由于图像中的距离以拍摄该图像的摄像头为参考系，在现实中相同的两段距离也会在图像中呈现不同，为了排除该影响，使用手部与脸部的距离、所述头部与手部的距离之间的比值进行判定，将参考系从绝对参考系（摄像头）转换为人体本身（相对参考系），使所述距离阈值的确定更为容易，适用同一人体在不同图像、不同人体在同一图像的各种检测情景，进一步提高检测结果的鲁棒性。
进一步，所述脸部关键点包括眼睛、嘴巴和鼻子；计算所述人体的手部与脸部的距离，包括：计算所述嘴巴、眼睛、鼻子分别与所述手部之间的距离；根据所述嘴巴、眼睛、鼻子分别与所述手部之间的距离，计算平均值作为所述人体的手部与脸部关键点的距离。
进一步，根据所述嘴巴、眼睛、鼻子分别与所述手部之间的距离，计算所述人体的手部与脸部关键点的距离，包括：获取所标定的所述手部的坐标（x hand ，y hand ）、所述嘴巴的坐标（x i mouth ，y i mouth ）、所述眼睛的坐标（x i eye ，y i eye ）、所述鼻子的坐标（x nose ，y nose ）；根据以下公式计算所述人体的手部与脸部关键点的距离：
dhand_face为所述人体的手部与脸部关键点的距离，len(facepoint)为脸部关键点的个数，i的取值为大于或等于1的整数。
进一步，计算所述人体的头部与手部的距离，包括：获取所标定的所述手部的坐标（x hand ，y hand ）和所述头部的坐标（x head ，y head ）；
根据以下公式计算所述人体的头部与手部的距离hhead_hand：
hhead_hand为所述人体的头部与手部的距离。
进一步，所述根据所述姿态检测操作的判定结果和烟头检测操作的判定结果确定所述图像中的人体是否存在吸烟行为，包括：为所述姿态检测操作不同的判定结果预设不同的概率权重值x，为所述烟头检测操作不同的判定结果的预设不同的概率权重值y；根据概率权重值x和概率权重值y之和，计算总概率：判断总概率是否大于概率阈值，若是，则判定所述图像中的人体存在吸烟行为，若否，则判定所述图像中的人体不存在吸烟行为。
进一步，所述人体姿态参考模型采用OpenPose模型或Realtime Multi-PersonPose Estimation模型或AlphaPose模型，所述人脸关键点检测模型采用RetinaFace模型或MTCNN模型。
基于与上述检测视频中人体异常行为的方法相同的构思，本发明采取的技术方案还包括：一种检测视频中人体异常行为的方法，用于检测视频中的人体是否存在吸烟行为，从所述视频抽取若干帧图像；通过如上所述的检测图像中人体异常行为的方法，检测所抽取的所述图像中的人体是否存在吸烟行为，以确定所述视频中的人体是否存在吸烟行为。
视频由多帧连续的图像组成，相比于单帧图像，视频可记录一系列组成吸烟行为的连贯吸烟动作，通过所述检测图像中人体异常行为的方法可检测每帧图像中的人体是否存在吸烟行为，当多帧图像中的人体满足设置条件时，判定该人体存在吸烟行为。
基于与上述检测视频中人体异常行为的方法相同的构思，本发明采取的技术方案还包括一种吸烟检测装置、一种计算机设备和一种计算机可读存储介质：
所述吸烟检测装置包括姿态检测模块，用于执行如上所述的姿态检测操作；烟头检测模块，用于执行如上所述的烟头检测操作；图像检测模块，根据所述姿态检测操作的判定结果和烟头检测操作的判定结果确定所述图像中的人体是否存在吸烟行为。
所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的检测图像中人体异常行为的方法。
所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的检测图像中人体异常行为的方法。
与现有技术相比，本发明的有益效果为：同时利用构成吸烟行为的动作和物品的重要特征进行检测，具有高检测准确率；判定条件设置适应多种检测场景，判定结果具有高鲁棒性。
附图说明
图1为本发明的实施例1的检测图像中人体异常行为的方法总步骤图。
图2为本发明的实施例1的步骤S1的分解示意图。
图3为本发明的实施例1的步骤S2的分解示意图。
图4为本发明的实施例1的步骤S3的分解示意图。
图5为本发明的实施例1的判定结果组合示意图。
图6为本发明的实施例2的吸烟检测装置的示意图。
附图标号：姿态检测模块1；烟头检测模块2；图像检测模块3。
具体实施方式
本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
实施例1
如图1～4所示，本实施例提供一种检测图像中人体异常行为的方法，用于检测图像的人体中是否存在吸烟行为，包括步骤：
S1.对所述图像中的人体执行姿态检测操作；
S2.对所述图像中的人体执行烟头检测操作；
S3.根据所述姿态检测操作的判定结果和烟头检测操作的判定结果确定所述图像中的人体是否存在吸烟行为；
其中，步骤S1中所述姿态检测操作具体为：判断所述人体是否存在吸烟动作；步骤S2中所述烟头检测操作具体为：判断所述人体是否携带香烟；所述步骤S1和S2可依次执行，或同时进行；
所述吸烟动作为公知常识中人体进行吸烟所做的动作，其具有显著的规律性，作为检测吸烟行为的其一重要特征，但存在与其相似的如进食喝水、扶眼睛、挠头等动作，为了进一步提高检测准确性，引入吸烟行为的另一重要特征——香烟。香烟具有显著的图像特征，呈白色细条状，易与其他食物区分，通过模型训练可以达到高检出率。针对图像中同一个人体同时或者先后进行姿态检测操作和烟头检测操作，两种检测操作的判定结果均包括“是”与“否”，通过两个重要特征的判定结果组合，保证检测准确性，有效避免误判、漏检的情况。
具体地，如图2所示，本实施例的步骤S1分解为以下步骤：
S11.利用人体姿态参考模型在所述图像中标定所述人体的头部的坐标（x head ， y head ）、手部的坐标（x hand ，y hand ），利用人脸关键点检测模型标定所述人体的脸部的眼睛的坐标（x i eye ，y i eye ）、鼻子的坐标（x nose ，y nose ）和嘴巴的坐标（x i mouth ，y i mouth ）；
本实施例具体使用姿态检测模型与人脸模型进行人体各个关键点的标定，所述姿态检测模型可以是OpenPose、Realtime Multi-PersonPose Estimation（实时多人姿态评估模型）和AlphaPose（多人识别框架模型）等模型，所述人脸模型可以是RetinaFace，MTCNN（Multi-task Cascaded Convolutional Networks，多任务级联卷积网络）等模型；所述姿态检测操作结合整体骨骼和脸部细微五官进行吸烟动作的检测，分别通过人体姿态参考模型和人脸关键点检测模型进行标定，两个模型的算法相互配合，人体姿态参考模型对肢体方向的处理与人脸关键点检测模型对人脸角度的处理相互印证，人体姿态参考模型对人体躯干范围的划分与人脸关键点检测模型对人体脸部的划分亦相互印证，提高单个部位的标定准确率，并且针对存在多个人体的图像时，可有效判断不同人体在图像中的占比（或不同人体离摄像头的远近），不易发生标定遗漏，更好地完成同一人体的头部、脸部、手部的匹配，不易发生如一个人体的头部匹配了另外一个人体的手部等混淆匹配情况，并且在人体出现部分遮挡时两个模型相互补充；
S12.计算所述图像中所述人体的手部与脸部的距离dhand_face和所述人体的头部与手部的距离hhead_hand：
len(facepoint)为脸部关键点的个数，i的取值为大于或等于1的整数。
S13.计算所述手部与脸部的距离、所述头部与手部的距离之间的比值d：
S14.判断比值d是否大于距离阈值d0，若是，执行步骤S15a，若否，执行步骤S15b；
在单帧图像中，无法体现动态的、连贯的一系列吸烟行为，吸烟动作具体表现为人体手部（左手或者右手）接近嘴部，计算人体的手部与脸部的距离dhand_face的优点在于，同时利用了除嘴部外的其他脸部关键点，在难以确定人体嘴部、或者确定人体嘴部出现偏差的情况中，仍可通过其他脸部关键点进行校正，具有较高的鲁棒性。
由于图像中的距离以拍摄该图像的摄像头为参考系，在现实中相同的两段距离也会在图像中呈现不同，为了排除该影响，使用手部与脸部的距离、所述头部与手部的距离之间的比值d进行判定，将参考系从绝对参考系（摄像头）转换为人体本身（相对参考系），使所述距离阈值d0的确定更为容易，适用同一人体在不同图像、不同人体在同一图像的各种检测情景，进一步提高检测结果的鲁棒性。距离阈值d0的设置与香烟的夹持距离密切相关，所述夹持距离即手指与其夹持的香烟尾部的距离，香烟尾部的过滤嘴部分大多具有固定的距离，并且相较于其他食物的夹持距离较小，具有判别显著性，因此，在得到人体的手部与脸部的平均距离后只需与距离阈值d0进行单一对比即可得出姿态检测操作的判定结果，既能提高吸烟动作的检测速度，也能保证吸烟动作的检出率；
S15a.判定所述人体存在吸烟动作，以a作为概率权重值x的取值；
S15b.判定所述人体不存在吸烟动作，以b作为概率权重值x的取值；
具体地，如图3所示，本实施例的步骤S2分解为以下步骤：
S21.在所述图像中确定所述人体的手部；
S22.使用目标检测模型检测所述人体的手部是否夹持香烟；
在本实施例中，以步骤S11标定的坐标（x hand ，y hand ）为中心划定预设的范围，以该范围作为所述目标检测模型的检测范围，所述目标检测模型是根据香烟的图像样本对深度学习模型进行训练得到的，用于检测“香烟”，所述目标检测模型为YOLO（You Only LookOnce）模型，更具体地为YOLOv4模型；其他实施方式中，可根据实际应用需求，选用其他目标检测模型，以及，通过其他方式确定所述人体的手部，如：训练检测“人体手部”的目标检测模型，或，合并步骤S21和S22，训练检测“携带香烟的人体手部”的目标检测模型等方式。
S23.判断所述目标检测模型的输出结果是否为“是”，若是，执行步骤S24a；若否，执行步骤S24b；
S24a.判定所述人体携带香烟，以c作为概率权重值y的取值；
S24b.判定所述人体不携带香烟，以d作为概率权重值y的取值；
具体地，如图4所示，本实施例的步骤S3分解为以下步骤：
S31.接收概率权重值x；
S32.接收概率权重值y；
其中，步骤S31和S32可依次执行，或同时进行；
S33.计算总概率p：p=x+y；
S34.判断总概率p是否大于概率阈值p0，若是，执行步骤S35a；若否，执行步骤S35b；
S35a.判定所述图像中的人体存在吸烟行为；
S35b.判定所述图像中的人体不存在吸烟行为。
步骤S14的判定结果“是”与“否”具有不同概率权重值x（“是”对应a，“否”对应b），步骤S23的判定结果“是”与“否”具有不同概率权重值y（“是”对应c，“否”对应d），两个判定结果组合可计算得出不同的数值的总概率p，p用以表征图像中存在吸烟行为的可能性，当总概率p超过预设的概率阈值p0时，判定图像中存在吸烟行为。
由此可见，通过设置判定结果的对应值以及p0的数值，可形成满足不同检测需求的不同方案，如图5所示，本实施例的a为0.7，b为0，c为0.3，d为0，p0为0.6，被检测的人体属于情况一和情况二时被判定存在吸烟行为。在空旷、人流较少的检测场景中，检测捕捉人体携带香烟的难度低，所述烟头检测操作可达到极高的准确率，因此可相应提高c的数值，降低a的取值，若该场景还具有高度防火等检测需求，还可相应降低p0。针对某一固定检测场景，可通过模型训练的方式找出适合该检测场景的最佳a、b、c、d和p0的数值。
以上说明以单帧图像中的一个人体对所述图像的吸烟检测方法进行解释，可以理解的是，本方法可以对单帧图像中的多个人体进行同时或者先后的检测，本领域技术人员可以通过以上说明知悉，故不赘述。
如图6所示，本实施例还提供一种吸烟检测装置，包括：姿态检测模块1，用于执行如上所述的姿态检测操作；烟头检测模块2，用于执行如上所述的烟头检测操作；图像检测模块3，用于根据姿态检测模块1和烟头检测模块2的判定结果确定图像中的人体是否存在吸烟行为。
本实施例还提供一种计算机设备和一种计算机可读存储介质。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述检测图像中人体异常行为的方法。所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述检测图像中人体异常行为的方法。
实施例2
本实施例提供一种检测视频中人体异常行为的方法，用于检测视频中的人体是否存在吸烟行为，通过如上所述的图像的吸烟检测方法确定所述视频存在吸烟行为的图像；根据所述存在吸烟行为的图像确定所述视频是否存在吸烟行为。
具体地，本实施例以30帧/秒对待检测的视频进行图像抽取，在抽取的图像中，判定是否存在连续20帧的被判定为存在吸烟行为的图像，若是，判定待检测的视频存在吸烟行为；若否，判定待检测的视频不存在吸烟行为。
其中，判定出存在吸烟行为的图像的方法具体为实施例1提供的检测图像中人体异常行为的方法。针对实时录制的视频，可待已拍摄的视频时长满足预设帧数后启动所述检测视频中人体异常行为的方法。在其他实施方式中，可根据实际需要修改图像提取的频率以及提取的帧数，如：以50帧/秒对待检测的视频进行图像抽取；并相应修改判定条件，如：判定是否存在20帧的被判定为存在吸烟行为的图像，或，是否存在连续15帧的被判定为存在吸烟行为的图像等。
视频由多帧连续的图像组成，相比于单帧图像，视频可记录一系列组成吸烟行为的连贯吸烟动作，在对多帧图像组成的人体动作进行分析，判定该动作是否为吸烟行为的判定方式中，需模拟人体吸烟过程，分析多帧图像之间的关键点的变化，计算量非常大，检测效率较低，并且无法保证准确率，相比之下，在实施例1图像的检测方法可保证每帧图像的检测准确性的前提下，本发明的视频检测方法将判定条件设为是否存在连续n帧的存在吸烟行为的图像，可有效保证视频检测的准确性的同时，检测效率更高。
显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种检测图像中人体异常行为的方法，用于检测图像中的人体是否存在吸烟行为，其特征在于，包括：
对图像中的人体执行姿态检测操作以及烟头检测操作；
根据所述姿态检测操作的判定结果和烟头检测操作的判定结果确定所述图像中的人体是否存在吸烟行为；
所述姿态检测操作包括：
利用人体姿态参考模型标定所述图像中人体的手部和头部；
利用人脸关键点检测模型标定所述图像中人体的脸部关键点；
计算所述人体的手部与脸部关键点的距离；
计算所述人体的头部与手部的距离；
判断所述手部与脸部关键点的距离、所述头部与手部的距离之间的比值是否超过距离阈值，若是，则判定所述人体存在吸烟动作；若否，则判定所述人体不存在吸烟动作；所述距离阈值为预设的值；
所述烟头检测操作包括：
判断所述人体的手部是否携带香烟。
2.根据权利要求1所述的检测图像中人体异常行为的方法，其特征在于，所述脸部关键点包括眼睛、嘴巴和鼻子；
计算所述人体的手部与脸部的距离，包括：
计算所述嘴巴、眼睛、鼻子分别与所述手部之间的距离；
根据所述嘴巴、眼睛、鼻子分别与所述手部之间的距离，计算平均值作为所述人体的手部与脸部关键点的距离。
3.根据权利要求2所述的检测图像中人体异常行为的方法，其特征在于，根据所述嘴巴、眼睛、鼻子分别与所述手部之间的距离，计算所述人体的手部与脸部关键点的距离，包括：
获取所标定的所述手部的坐标（x hand ，y hand ）、所述嘴巴的坐标（x i mouth ，y i mouth ）、所述眼睛的坐标（x i eye ，y i eye ）、所述鼻子的坐标（x nose ，y nose ）；
根据以下公式计算所述人体的手部与脸部关键点的距离：
dhand_face为所述人体的手部与脸部关键点的距离，len(facepoint)为脸部关键点的个数，i的取值为大于或等于1的整数。
4.根据权利要求1所述的检测图像中人体异常行为的方法，其特征在于，计算所述人体的头部与手部的距离，包括：
获取所标定的所述手部的坐标（x hand ，y hand ）和所述头部的坐标（x head ，y head ）；
根据以下公式计算所述人体的头部与手部的距离hhead_hand：
hhead_hand为所述人体的头部与手部的距离。
5.根据权利要求1所述的检测图像中人体异常行为的方法，其特征在于，判断所述人体的手部是否携带香烟，包括：
使用目标检测模型检测所述人体的手部是否携带香烟，所述目标检测模型是根据图像样本对深度学习模型进行训练得到的。
6.根据权利要求1所述的检测图像中人体异常行为的方法，其特征在于，根据所述姿态检测操作的判定结果和烟头检测操作的判定结果确定所述图像中的人体是否存在吸烟行为，包括：
为所述姿态检测操作不同的判定结果预设不同的概率权重值x，为所述烟头检测操作不同的判定结果的预设不同的概率权重值y；
根据概率权重值x和概率权重值y之和，计算总概率：
判断总概率是否大于概率阈值，若是，则判定所述图像中的人体存在吸烟行为，若否，则判定所述图像中的人体不存在吸烟行为。
7.根据权利要求1~6任一项所述的检测图像中人体异常行为的方法，其特征在于，所述人体姿态参考模型采用OpenPose模型或Realtime Multi-Person Pose Estimation模型或AlphaPose模型，所述人脸关键点检测模型采用RetinaFace模型或MTCNN模型。
8.一种检测视频中人体异常行为的方法，用于检测视频中的人体是否存在吸烟行为，其特征在于，
从所述视频抽取若干帧图像；
通过如权利要求1～7任一项所述的检测图像中人体异常行为的方法，检测所抽取的所述图像中的人体是否存在吸烟行为，以确定所述视频中的人体是否存在吸烟行为。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，
所述处理器执行所述计算机程序时实现权利要求1~7任一项所述的检测图像中人体异常行为的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，
所述计算机程序被处理器执行时实现权利要求1~7任一项所述的检测图像中人体异常行为的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111586603.0A CN113971839A (zh) | 2021-12-23 | 2021-12-23 | 检测图像、视频中人体异常行为方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111586603.0A CN113971839A (zh) | 2021-12-23 | 2021-12-23 | 检测图像、视频中人体异常行为方法、装置、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113971839A true CN113971839A (zh) | 2022-01-25 |
Family
ID=79590727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111586603.0A Pending CN113971839A (zh) | 2021-12-23 | 2021-12-23 | 检测图像、视频中人体异常行为方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113971839A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114783061A (zh) * | 2022-04-26 | 2022-07-22 | 南京积图网络科技有限公司 | 一种吸烟行为检测方法、装置、设备和介质 |
| CN115063740A (zh) * | 2022-06-10 | 2022-09-16 | 嘉洋智慧安全生产科技发展（北京）有限公司 | 安全监测方法、装置、设备及计算机可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734125A (zh) * | 2018-05-21 | 2018-11-02 | 杭州杰视科技有限公司 | 一种开放空间的吸烟行为识别方法 |
| CN111222493A (zh) * | 2020-01-20 | 2020-06-02 | 北京捷通华声科技股份有限公司 | 一种视频处理方法及装置 |
| CN111931653A (zh) * | 2020-08-11 | 2020-11-13 | 沈阳帝信人工智能产业研究院有限公司 | 安全监测方法、装置、电子设备和可读存储介质 |
| CN112036279A (zh) * | 2020-08-22 | 2020-12-04 | 深圳市信诺兴技术有限公司 | 一种楼宇智能监控方法及系统 |
| CN112241647A (zh) * | 2019-07-16 | 2021-01-19 | 青岛点之云智能科技有限公司 | 一种基于深度相机的危险驾驶行为预警装置和方法 |
| CN113011211A (zh) * | 2019-12-19 | 2021-06-22 | 深圳云天励飞技术有限公司 | 一种吸烟行为的检测方法、装置、电子设备及存储介质 |
| CN113380383A (zh) * | 2021-08-11 | 2021-09-10 | 深圳市爱深盈通信息技术有限公司 | 一种医疗监护方法、装置和终端 |
-
2021
- 2021-12-23 CN CN202111586603.0A patent/CN113971839A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734125A (zh) * | 2018-05-21 | 2018-11-02 | 杭州杰视科技有限公司 | 一种开放空间的吸烟行为识别方法 |
| CN112241647A (zh) * | 2019-07-16 | 2021-01-19 | 青岛点之云智能科技有限公司 | 一种基于深度相机的危险驾驶行为预警装置和方法 |
| CN113011211A (zh) * | 2019-12-19 | 2021-06-22 | 深圳云天励飞技术有限公司 | 一种吸烟行为的检测方法、装置、电子设备及存储介质 |
| CN111222493A (zh) * | 2020-01-20 | 2020-06-02 | 北京捷通华声科技股份有限公司 | 一种视频处理方法及装置 |
| CN111931653A (zh) * | 2020-08-11 | 2020-11-13 | 沈阳帝信人工智能产业研究院有限公司 | 安全监测方法、装置、电子设备和可读存储介质 |
| CN112036279A (zh) * | 2020-08-22 | 2020-12-04 | 深圳市信诺兴技术有限公司 | 一种楼宇智能监控方法及系统 |
| CN113380383A (zh) * | 2021-08-11 | 2021-09-10 | 深圳市爱深盈通信息技术有限公司 | 一种医疗监护方法、装置和终端 |
Non-Patent Citations (2)
| Title |
|---|
| P. WU ET AL.: "Human Smoking Event Detection Using Visual Interaction Clues", 《2010 20TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 * |
| 程淑红 等: "基于多任务分类的吸烟行为检测", 《计量学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114783061A (zh) * | 2022-04-26 | 2022-07-22 | 南京积图网络科技有限公司 | 一种吸烟行为检测方法、装置、设备和介质 |
| CN115063740A (zh) * | 2022-06-10 | 2022-09-16 | 嘉洋智慧安全生产科技发展（北京）有限公司 | 安全监测方法、装置、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113971839A (zh) | 检测图像、视频中人体异常行为方法、装置、设备和介质 | |
| AU2021240222B2 (en) | Eye pose identification using eye features | |
| US11227158B2 (en) | Detailed eye shape model for robust biometric applications | |
| CN106372629B (zh) | 一种活体检测方法和装置 | |
| US8824802B2 (en) | Method and system for gesture recognition | |
| CN111401144B (zh) | 一种基于视频监控的手扶电梯乘客行为识别方法 | |
| US8000500B2 (en) | System and method for analyzing of human motion based on silhouettes of real time video stream | |
| CN111033442A (zh) | 用于稳健的生物特征应用的详细的眼睛形状模型 | |
| CN113856186B (zh) | 一种引体向上动作判定与计数的方法、系统及装置 | |
| CN109146917B (zh) | 一种弹性更新策略的目标跟踪方法 | |
| CN110458235B (zh) | 一种视频中运动姿势相似度比对方法 | |
| CN108564067A (zh) | 人脸比对的阈值确定方法及系统 | |
| CN106778576B (zh) | 一种基于sehm特征图序列的动作识别方法 | |
| CN111860453A (zh) | 一种戴口罩的人脸识别方法 | |
| CN114783037A (zh) | 目标重识别方法、目标重识别装置和计算机可读存储介质 | |
| CN112244796A (zh) | 一种智能检测人体生理指标的方法及看护设备 | |
| Senyurek et al. | A comparison of SVM and CNN-LSTM based approach for detecting smoke inhalations from respiratory signal | |
| WO2020155169A1 (zh) | 房颤筛查的方法和装置 | |
| CN114098721B (zh) | 心冲击图信号的提取方法、装置以及设备 | |
| KR102216360B1 (ko) | 근전도 신호를 이용하는 감정 인식 방법 및 장치 | |
| CN111008577A (zh) | 一种基于虚拟人脸的评分方法、系统、装置和存储介质 | |
| CN112651322A (zh) | 脸颊遮挡检测方法、装置及电子设备 | |
| CN111291655A (zh) | 一种针对电商图像中度量2d图像中的头部姿态匹配方法 | |
| CN208225072U (zh) | 一种人脸识别装置 | |
| Wang et al. | Locating the Upper Body of Covered Humans in application to Diagnosis of Obstructive Sleep Apnea. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |