CN113011279A - 粘膜接触动作的识别方法、装置、计算机设备和存储介质 - Google Patents

粘膜接触动作的识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113011279A
CN113011279A CN202110219933.XA CN202110219933A CN113011279A CN 113011279 A CN113011279 A CN 113011279A CN 202110219933 A CN202110219933 A CN 202110219933A CN 113011279 A CN113011279 A CN 113011279A
Authority
CN
China
Prior art keywords
contact action
mucosa
face
mucosa contact
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110219933.XA
Other languages
English (en)
Inventor
刘荔
王琛
席子昂
贺琼澜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Beijing Gridsum Technology Co Ltd
Original Assignee
Tsinghua University
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Beijing Gridsum Technology Co Ltd filed Critical Tsinghua University
Priority to CN202110219933.XA priority Critical patent/CN113011279A/zh
Publication of CN113011279A publication Critical patent/CN113011279A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种粘膜接触动作的识别方法、装置、计算机设备和存储介质，该方法包括：对待检测视频进行解码得到图像帧；对图像帧进行人脸检测，得到人脸数据；将人脸数据输入预先训练的粘膜接触动作识别模型，由粘膜接触动作识别模型识别人脸数据中是否存在粘膜接触动作，其中，粘膜接触动作识别模型由标注有粘膜接触情况的人脸数据样本训练得到。由此，利用深度学习方法将粘膜接触动作转化为图片分类问题，利用监控摄像头捕捉的画面进行分析，可以长时间持续分析，最大程度还原真实场景，通过部署GPU服务器加速计算，实现实时分析的目的。

Description

粘膜接触动作的识别方法、装置、计算机设备和存储介质
技术领域
本发明涉及动作识别技术领域，特别涉及一种粘膜接触动作的识别方法、装置、计算机设备和存储介质。
背景技术
在某些传染性疾病中，粘膜接触(眼耳鼻喉等)是病毒传播的一种重要途径。研究表明，人会无意识地触摸自己的眼鼻嘴等部位，这给病毒的传播创造了大量的机会，同时也增加了感染的风险。在布置了监控的环境中，对粘膜接触动作的有效识别，可以实时提醒相关人群，或者事后进行病毒传播的溯源分析。
目前进行粘膜接触动作的检测主要有两种方法。一种是人工观察法，即通过人工观看监控视频来检查是否有人触摸了粘膜并进行相应统计。另一种是采用模拟方法进行相关研究。如在人手部加装传感器或者荧光材料，一定时间后通过传感器数据或者粘膜部位荧光材料的变化来统计或计算粘膜接触频率，也能获得部分结果。
使用人工方式进行粘膜接触识别时，需要观察者持续观看视频，工作量大，观察者容易产生视觉疲劳，因此，人工的方法不具有可推广性。采用传感器或者荧光材料等模拟方法时，实验人员知道自己处于实验环境中，会产生心理暗示，统计出的结果会受到一定程度的干扰，因此其结果不能较好地反映真实情况。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种粘膜接触动作的识别方法，该方法利用深度学习方法将粘膜接触动作转化为图片分类问题，利用监控摄像头捕捉的画面进行分析，可以长时间持续分析，最大程度还原真实场景，通过部署GPU服务器加速计算，实现实时分析的目的。
本发明的第二个目的在于提出一种粘膜接触动作的识别装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
为达到上述目的，本发明第一方面实施例提出了一种粘膜接触动作的识别方法，包括：
对待检测视频进行解码得到图像帧；
对所述图像帧进行人脸检测，得到人脸数据；
将所述人脸数据输入预先训练的粘膜接触动作识别模型，由所述粘膜接触动作识别模型识别所述人脸数据中是否存在粘膜接触动作，其中，所述粘膜接触动作识别模型由标注有粘膜接触情况的人脸数据样本训练得到。
本发明实施例的粘膜接触动作的识别方法，通过摄像头捕捉实时画面，通过人体检测与人脸检测模型检测出画面中的人脸，一方面进行人脸识别，获取身份信息，另一方面利用所设计的粘膜接触模型来检测该人是否有粘膜接触动作，比如摸侧脸、摸鼻子、摸眼睛等，以此来完成对监控环境中人员是否发生粘膜接触动作的统计。同时，通过GPU的加速，在一台配置较高的服务器上，可以快速完成分析，以达到实时检测的目的。
为达到上述目的，本发明第二方面实施例提出了一种粘膜接触动作的识别装置，包括：
解码模块，用于对待检测视频进行解码得到图像帧；
检测模块，用于对所述图像帧进行人脸检测，得到人脸数据；
识别模块，用于将所述人脸数据输入预先训练的粘膜接触动作识别模型，由所述粘膜接触动作识别模型识别所述人脸数据中是否存在粘膜接触动作，其中，所述粘膜接触动作识别模型由标注有粘膜接触情况的人脸数据样本训练得到。
本发明实施例的粘膜接触动作的识别装置，通过摄像头捕捉实时画面，通过人体检测与人脸检测模型检测出画面中的人脸，一方面进行人脸识别，获取身份信息，另一方面利用所设计的粘膜接触模型来检测该人是否有粘膜接触动作，比如摸侧脸、摸鼻子、摸眼睛等，以此来完成对监控环境中人员是否发生粘膜接触动作的统计。同时，通过GPU的加速，在一台配置较高的服务器上，可以快速完成分析，以达到实时检测的目的。
为达到上述目的，本发明第三方面实施例提出一种计算机设备，包括：至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行如上所述的方法。
为达到上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的粘膜接触动作的识别方法流程图；
图2为根据本发明一个实施例的标注框示意图；
图3为根据本发明一个实施例的粘膜接触动作的识别方法流程框图；
图4为根据本发明一个实施例的粘膜接触动作的识别装置结构示意图；
图5为根据本发明一个实施例的计算机设备一个实施例的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的粘膜接触动作的识别方法、装置、计算机设备和存储介质。
首先将参照附图描述根据本发明实施例提出的粘膜接触动作的识别方法。
图1为根据本发明一个实施例的粘膜接触动作的识别方法流程图。
如图1所示，该粘膜接触动作的识别方法包括以下步骤：
步骤S1，对待检测视频进行解码得到图像帧。
具体地，检测视频可以为道路或商场等需要检测的地方设置的摄像头所记录的视频。作为一种获取图像帧的方式，可以通过对待检测视频进行解码，得到待检测视频的图像帧，一般监控视频每秒有25-30帧图片，解码可以使用开源工具opencv、ffmpeg等，本发明的实施例不进行具体限定。
步骤S2，对图像帧进行人脸检测，得到人脸数据。
具体地，如图2所示，对待检测视频得到的每个图像帧进行人脸检测，得到图像帧中的人脸数据。其中，可以根据实际应用场景选择MTCNN框架、dlib库等人脸检测框架，本发明实施例不进行具体限定。
进一步地，在本发明的一个实施例中，对图像帧进行人脸检测，得到人脸数据包括：
对图像帧进行人体检测得到图像帧中的人体区域，通过人脸检测模型对人体区域进行人脸检测。
可以理解的是，在某些应用场景中，直接进行人脸检测效果不理想，如图3所示，在本发明的一个实施例中，首先，通过检测算法进行检测得到图像帧中的人体区域，再利用人脸检测模型对人体区域进行人脸检测，可以提高人脸检测的准确度。举例而言，通过目标检测算法对图像帧进行识别，将标注框区域确定为图像帧中的人体区域。
具体地，以目标检测算法为例进行说明，对于多个图像帧，通过目标检测模型进行人体识别，识别出每个图像帧中出现的人体区域，在本发明的实施例中，利用标注框标注人体区域，一个代表人体区域的标注框(称为bounding box，缩写为bbox)，bbox用上下左右四个像素坐标数值确定(以左上角为坐标原点)，人体的检测可以使用公开的算法模型FasterRCNN或其他模型，本发明的实施例不进行具体限制。
检测到人体区域后，再对每一个检测到的bbox区域进行人脸检测，获得人脸数据，人脸数据同样通过上下左右四个坐标数值表示。人脸检测模型使用公开的算法MTCNN模型，本发明的实施例不进行具体限制。
需要说明的是，在本发明的实施例中，也可以通过其他检测方法对图像帧进行识别以确定人体区域，上述的目标检测方法仅作为一种示例进行说明。在通过目标检测算法进行识别时，通过bbox标注框进行标注。同时，若采用其他检测算法进行识别，也可以通过其他标注方式进行标注，举例而言，可以标注图像帧中人体的轮廓或骨架线等，本发明的实施例不进行具体限制。
步骤S3，将人脸数据输入预先训练的粘膜接触动作识别模型，由粘膜接触动作识别模型识别人脸数据中是否存在粘膜接触动作，其中，粘膜接触动作识别模型由标注有粘膜接触情况的人脸数据样本训练得到。
进一步地，在本发明的一个实施例中，还包括：
获取初始粘膜接触动作识别模型；
在初始粘膜接触动作识别模型的最后一个全连接层后增加分类层，其中，增加的分类层对应于人脸数据样本标注的粘膜接触情况，且粘膜接触情况包括以下至少之一：触摸面部器官；摸侧脸；未摸脸；模糊类图片；
通过人脸数据样本对增加分类层后的初始粘膜接触动作识别模型进行训练，得到粘膜接触动作识别模型。
需要说明的是，粘膜接触情况中的触摸面部器官为触摸具有粘膜的器官，可以包括眼睛、鼻子和或/嘴巴。通常，粘膜接触动作有几个典型代表，如手摸侧脸、摸嘴巴、摸鼻子和摸眼睛，这些动作对应的图片特征存在一定差异，本发明正式用图片分类的方式来进行区分，从而实现检测并识别粘膜接触动作的目的。由于在实际应用中，受限于监控设备的分别率等因素，摸嘴巴、摸鼻子和摸眼睛的图片往往难以明显区分，因此，在一个实施例中，可以将摸嘴巴、摸鼻子和摸眼睛对应的图片划分为一类。如果硬件条件等因素允许，也可以进一步详细区分触摸不同面部器官的图片。
此外，可以理解的是，在初始粘膜接触动作识别模型的最后一个全连接层后增加一个类层，并通过得到的人脸数据样本对增加分类层后的初始粘膜接触动作识别模型进行训练，得到粘膜接触动作识别模型。其中，初始粘膜接触动作识别模型可以为ResNet、AlexNet、VggNet等框架，本发明的实施例不进行具体限制。
具体地，以ResNet框架为例进行说明，在ResNet框架中，提取到图片特征后，在最后一个全连接层后在加一个分类层。
在对粘膜接触动作识别模型进行训练时，由于收集到的触摸鼻子和眼睛的数据较少，因此将触摸鼻子、眼睛和嘴的动作统一为一类，再加上摸侧脸、未摸脸和模糊类图片，共分成四类。利用标注好的数据，在公开的ResNet模型上进行finetune，训练能用于区分粘膜接触的粘膜接触动作识别模型。
训练完粘膜接触动作识别模型后，将得到的人脸数据输入粘膜接触动作识别模型中，就可以对接触动作进行识别，判断人脸数据中是否有某些接触动作，利用深度学习的方法训练的识别粘膜接触动作的模型，相比于传统方式，高效、可持续、能最大程度还原真实场景，对研究传染性疾病的接触风险具有重要的意义。
进一步地，在本发明的一个实施例中，在对图像帧进行人脸检测之前，还包括：
以预设时间间隔对解码得到的图像帧进行抽样；
并且，在对图像帧进行人脸检测时，对抽样的图像帧进行人脸检测。
可以理解的是，对抽样的图像帧进行人脸检测得到人脸数据，将抽样得到的人脸数据与正常检测时对应的图像帧得到的人脸数据进行比较，可以根据比较结果判断人脸检测结果是否正确，进而确定检测的准确性。
进一步地，在本发明的一个实施例中，还包括：
在识别出任意至少一个图像帧的人脸数据中存在粘膜接触动的情况下，生成警告信息。
具体地，通过训练后的粘膜接触动作识别模型识别出图像帧中存在粘膜接触动作时，可以生成警告信息，如弹出对话框等方式进行提示。
进一步地，在本发明的一个实施例中，还包括：
根据对解码得到的多个图像帧进行粘膜接触动作识别的结果，统计粘膜接触的次数和时长。
可以理解的是，通过训练后的粘膜接触动作识别模型进行识别后，自动化完成信息统计，可以实时提醒，也可以用于时候病毒传播溯源分析。
进一步地，在本发明的一个实施例中，还包括：训练人脸识别模型，通过人脸识别模型识别人脸数据中的人员身份信息。
具体地，如果对一个相对封闭环境中的人员进行接触动作识别，如教室内，可以很容易收集所有人员的面部清晰照片，则可以进行人脸识别。利用收集到的清晰面部照片，可以训练一个Arcface人脸识别模型，再通过设置一定置信度阈值，可以实时获取出现在镜头中的人员身份。
但是如果在一个开放的环境中，如商场中，人员流动较大，不可能有全部人员的面部清晰照片，则人脸识别模型无法使用。
根据本发明实施例提出的粘膜接触动作的识别方法，通过摄像头捕捉实时画面，通过人体检测与人脸检测模型检测出画面中的人脸，一方面进行人脸识别，获取身份信息，另一方面利用所设计的粘膜接触模型来检测该人是否有粘膜接触动作，比如摸侧脸、摸鼻子、摸眼睛等，以此来完成对监控环境中人员是否发生粘膜接触动作的统计。同时，通过GPU的加速，在一台配置较高的服务器上，可以快速完成分析，以达到实时检测的目的。
其次参照附图描述根据本发明实施例提出的粘膜接触动作的识别装置。
图4为根据本发明一个实施例的粘膜接触动作的识别装置结构示意图。
如图4所示，该用于检测识别粘膜接触动作的装置包括：解码模块401、检测模块402和识别模块403。
解码模块401，用于对待检测视频进行解码得到图像帧。
检测模块402，用于对图像帧进行人脸检测，得到人脸数据。
识别模块403，用于将人脸数据输入预先训练的粘膜接触动作识别模型，由粘膜接触动作识别模型识别人脸数据中是否存在粘膜接触动作，其中，粘膜接触动作识别模型由标注有粘膜接触情况的人脸数据样本训练得到。
进一步地，在本发明的一个实施例中，检测模块402进一步用于对图像帧进行人体检测得到图像帧中的人体区域，通过人脸检测模型对人体区域进行人脸检测。
进一步地，在本发明的一个实施例中，还包括：预警模块404，用于在识别出任意至少一个图像帧的人脸数据中存在粘膜接触动的情况下，生成警告信息。
进一步地，在本发明的一个实施例中，还包括：抽样模块405，用于在对图像帧进行人脸检测之前，以预设时间间隔对解码得到的图像帧进行抽样；并且，在对图像帧进行人脸检测时，对抽样的图像帧进行人脸检测。
进一步地，在本发明的一个实施例中，还包括：统计模块406，用于根据对解码得到的多个图像帧进行粘膜接触动作识别的结果，统计粘膜接触的次数和时长。
进一步地，在本发明的一个实施例中，还包括：模型训练模块407，用于获取初始粘膜接触动作识别模型；
在初始粘膜接触动作识别模型的最后一个全连接层后增加分类层，其中，增加的分类层对应于人脸数据样本标注的粘膜接触情况，且粘膜接触情况包括以下至少之一：触摸面部器官；摸侧脸；未摸脸；模糊类图片；
通过人脸数据样本对增加分类层后的初始粘膜接触动作识别模型进行训练，得到粘膜接触动作识别模型。
进一步地，在本发明的一个实施例中，还包括：身份确认模块408，用于训练人脸识别模型，通过人脸识别模型识别人脸数据中的人员身份信息。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
根据本发明实施例提出的粘膜接触动作的识别装置，通过摄像头捕捉实时画面，通过人体检测与人脸检测模型检测出画面中的人脸，一方面进行人脸识别，获取身份信息，另一方面利用所设计的粘膜接触模型来检测该人是否有粘膜接触动作，比如摸侧脸、摸鼻子、摸眼睛等，以此来完成对监控环境中人员是否发生粘膜接触动作的统计。同时，通过GPU的加速，在一台配置较高的服务器上，可以快速完成分析，以达到实时检测的目的。
图5为本发明计算机设备一个实施例的结构示意图，上述计算机设备可以包括：至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，上述处理器执行上述计算机程序时，可以实现本发明实施例提供的粘膜接触动作的识别方法。
图5示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图5显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图5中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本申请实施例提供的粘膜接触动作的识别方法。
本发明实施例还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时可以实现本发明实施例提供的粘膜接触动作的识别方法。
上述非临时性计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read Only Memory；以下简称：ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory；以下简称：EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network；以下简称：LAN)或广域网(Wide Area Network；以下简称：WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种粘膜接触动作的识别方法，其特征在于，包括以下步骤：
对待检测视频进行解码得到图像帧；
对所述图像帧进行人脸检测，得到人脸数据；
将所述人脸数据输入预先训练的粘膜接触动作识别模型，由所述粘膜接触动作识别模型识别所述人脸数据中是否存在粘膜接触动作，其中，所述粘膜接触动作识别模型由标注有粘膜接触情况的人脸数据样本训练得到。
2.根据权利要求1所述的方法，其特征在于，对所述图像帧进行人脸检测，得到人脸数据包括：
对所述图像帧进行人体检测得到图像帧中的人体区域，通过人脸检测模型对人体区域进行人脸检测。
3.根据权利要求1所述的方法，其特征在于，还包括：
在识别出任意至少一个图像帧的人脸数据中存在粘膜接触动的情况下，生成警告信息。
4.根据权利要求1所述的方法，其特征在于，在对所述图像帧进行人脸检测之前，还包括：
以预设时间间隔对解码得到的图像帧进行抽样；
并且，在对所述图像帧进行人脸检测时，对抽样的图像帧进行人脸检测。
5.根据权利要求1所述的方法，其特征在于，还包括：
根据对解码得到的多个图像帧进行粘膜接触动作识别的结果，统计粘膜接触的次数和时长。
6.根据权利要求1所述的方法，其特征在于，还包括：
获取初始粘膜接触动作识别模型；
在所述初始粘膜接触动作识别模型的最后一个全连接层后增加分类层，其中，增加的所述分类层对应于所述人脸数据样本标注的粘膜接触情况，且所述粘膜接触情况包括以下至少之一：触摸面部器官；摸侧脸；未摸脸；模糊类图片；
通过人脸数据样本对增加所述分类层后的初始粘膜接触动作识别模型进行训练，得到所述粘膜接触动作识别模型。
7.根据权利要求1所述的方法，其特征在于，还包括：
训练人脸识别模型，通过人脸识别模型识别所述人脸数据中的人员身份信息。
8.一种粘膜接触动作的识别装置，其特征在于，包括：
解码模块，用于对待检测视频进行解码得到图像帧；
检测模块，用于对所述图像帧进行人脸检测，得到人脸数据；
识别模块，用于将所述人脸数据输入预先训练的粘膜接触动作识别模型，由所述粘膜接触动作识别模型识别所述人脸数据中是否存在粘膜接触动作，其中，所述粘膜接触动作识别模型由标注有粘膜接触情况的人脸数据样本训练得到。
9.一种计算机设备，包括：至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行如权利要求1至7任一项所述的方法。
10.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202110219933.XA 2021-02-26 2021-02-26 粘膜接触动作的识别方法、装置、计算机设备和存储介质 Pending CN113011279A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110219933.XA CN113011279A (zh) 2021-02-26 2021-02-26 粘膜接触动作的识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110219933.XA CN113011279A (zh) 2021-02-26 2021-02-26 粘膜接触动作的识别方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN113011279A true CN113011279A (zh) 2021-06-22

Family

ID=76386719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110219933.XA Pending CN113011279A (zh) 2021-02-26 2021-02-26 粘膜接触动作的识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113011279A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975956A (zh) * 2016-05-30 2016-09-28 重庆大学 一种基于红外全景摄像头的独居老人异常行为识别方法
CN108549849A (zh) * 2018-03-27 2018-09-18 康体佳智能科技（深圳）有限公司 基于神经网络的模式识别系统及识别方法
CN110458038A (zh) * 2019-07-19 2019-11-15 天津理工大学 基于双链深度双流网络的小数据跨域动作识别方法
CN110837778A (zh) * 2019-10-12 2020-02-25 南京信息工程大学 一种基于骨架关节点序列的交警指挥手势识别方法
CN110889325A (zh) * 2019-10-12 2020-03-17 平安科技（深圳）有限公司 多任务面部动作识别模型训练和多任务面部动作识别方法
CN110956060A (zh) * 2018-09-27 2020-04-03 北京市商汤科技开发有限公司 动作识别、驾驶动作分析方法和装置及电子设备
US20200143457A1 (en) * 2017-11-20 2020-05-07 A9.Com, Inc. Compressed content object and action detection
CN111523414A (zh) * 2020-04-13 2020-08-11 绍兴埃瓦科技有限公司 人脸识别方法、装置、计算机设备和存储介质
CN112016457A (zh) * 2020-08-27 2020-12-01 青岛慕容信息科技有限公司 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质
CN112183252A (zh) * 2020-09-15 2021-01-05 珠海格力电器股份有限公司 视频的动作识别方法、装置、计算机设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975956A (zh) * 2016-05-30 2016-09-28 重庆大学 一种基于红外全景摄像头的独居老人异常行为识别方法
US20200143457A1 (en) * 2017-11-20 2020-05-07 A9.Com, Inc. Compressed content object and action detection
CN108549849A (zh) * 2018-03-27 2018-09-18 康体佳智能科技（深圳）有限公司 基于神经网络的模式识别系统及识别方法
CN110956060A (zh) * 2018-09-27 2020-04-03 北京市商汤科技开发有限公司 动作识别、驾驶动作分析方法和装置及电子设备
CN110458038A (zh) * 2019-07-19 2019-11-15 天津理工大学 基于双链深度双流网络的小数据跨域动作识别方法
CN110837778A (zh) * 2019-10-12 2020-02-25 南京信息工程大学 一种基于骨架关节点序列的交警指挥手势识别方法
CN110889325A (zh) * 2019-10-12 2020-03-17 平安科技（深圳）有限公司 多任务面部动作识别模型训练和多任务面部动作识别方法
CN111523414A (zh) * 2020-04-13 2020-08-11 绍兴埃瓦科技有限公司 人脸识别方法、装置、计算机设备和存储介质
CN112016457A (zh) * 2020-08-27 2020-12-01 青岛慕容信息科技有限公司 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质
CN112183252A (zh) * 2020-09-15 2021-01-05 珠海格力电器股份有限公司 视频的动作识别方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
US20190392587A1 (en) System for predicting articulated object feature location
CN105612533B (zh) 活体检测方法、活体检测系统以及计算机程序产品
CN109887234B (zh) 一种防儿童走失方法、装置、电子设备及存储介质
CN109359548A (zh) 多人脸识别监控方法及装置、电子设备及存储介质
CN109670487A (zh) 一种人脸识别方法、装置及电子设备
CN111079554A (zh) 分析学生课堂表现的方法、装置、电子设备、及存储介质
CN107609463B (zh) 活体检测方法、装置、设备及存储介质
CN111563480A (zh) 冲突行为检测方法、装置、计算机设备和存储介质
EP3798900A1 (en) Child state analysis method and apparatus, vehicle, electronic device and storage medium
CN112149615A (zh) 人脸活体检测方法、装置、介质及电子设备
CN108229375B (zh) 用于检测人脸图像的方法和装置
WO2023005403A1 (zh) 呼吸率检测方法、装置、存储介质及电子设备
CN111310605B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN110087143A (zh) 视频处理方法和装置、电子设备及计算机可读存储介质
CN114779922A (zh) 教学设备的控制方法、控制设备、教学系统和存储介质
Oudah et al. Hand gestures for elderly care using a microsoft Kinect
CN112070052A (zh) 一种间距监测方法、装置、系统及存储介质
US20200311962A1 (en) Deep learning based tattoo detection system with optimized data labeling for offline and real-time processing
CN113255516A (zh) 活体检测方法、装置和电子设备
Madrid et al. Recognition of dynamic Filipino Sign language using MediaPipe and long short-term memory
CN111680670B (zh) 一种跨模态人头检测方法及装置
CN111402987B (zh) 基于可见光视频的用药提醒方法、装置、设备及存储介质
CN113011279A (zh) 粘膜接触动作的识别方法、装置、计算机设备和存储介质
CN112580395A (zh) 基于深度信息的3d人脸活体识别方法、系统、设备及介质
JP2007058625A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210622

RJ01 Rejection of invention patent application after publication