CN110765814A - 一种黑板书写行为识别方法、装置及摄像机 - Google Patents

一种黑板书写行为识别方法、装置及摄像机 Download PDF

Info

Publication number
CN110765814A
CN110765814A CN201810835616.9A CN201810835616A CN110765814A CN 110765814 A CN110765814 A CN 110765814A CN 201810835616 A CN201810835616 A CN 201810835616A CN 110765814 A CN110765814 A CN 110765814A
Authority
CN
China
Prior art keywords
human body
preset
key point
video frame
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810835616.9A
Other languages
English (en)
Other versions
CN110765814B (zh
Inventor
吕瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810835616.9A priority Critical patent/CN110765814B/zh
Publication of CN110765814A publication Critical patent/CN110765814A/zh
Application granted granted Critical
Publication of CN110765814B publication Critical patent/CN110765814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种黑板书写行为识别方法、装置及摄像机，其中，所述方法包括：获取当前视频帧；对所述当前视频帧用预设的机器学习算法进行分析，得到所述当前视频帧对应的多张人体关键点热度图；根据所述多张人体关键点热度图确定所述当前视频帧对应的各人体目标的人体关键点信息；根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为。本发明实施例的技术方案可以降低对图像中目标人体漏检的概率，从而提高板书行为的检测准确率。

Description

一种黑板书写行为识别方法、装置及摄像机
技术领域
本发明涉及视频录制技术领域，特别是涉及一种黑板书写行为识别方法、装置及摄像机。
背景技术
在教育教学领域，远程教育、智慧课堂等的出现，使得现代教育更为便捷和高效。其中，课程视频录制是远程教育中的重要环节。随着智能产品在各行各业中的广泛应用，智能录制系统因其使用方便、适用范围广，已经被越来越多地应用在远程教育中课程视频的录制上。智能录制系统在进行课程视频录制时，通常可以根据教师是否存在黑板书写行为来调节摄像机摄像头的拉伸倍数，从而可以拍摄到教师的板书内容。
已知的一种教师黑板书写行为自动识别方法，包括：分析当前视频帧与上一视频帧的帧差图像，根据该帧差图像得到有运动动作的人体像素点，将有运动动作的人体像素点组成的图形作为教师轮廓，根据该教师轮廓的变化情况判断教师是否存在黑板书写行为。
然而，上述方法采用帧差图像分析来提取目标人体像素点，当目标动作变化较小时，相邻帧像素差异很小，此时，从帧差图像中可能无法得到有运动动作的人体像素点，从而容易造成目标人体漏检，导致黑板书写行为的检测准确率较低。
发明内容
本发明实施例的目的在于提供一种黑板书写行为识别方法、装置及摄像机，以降低对图像中目标人体漏检的概率，从而提高板书行为的检测准确率。具体技术方案如下：
第一方面，本发明实施例提供了一种黑板书写行为识别方法，包括：
获取当前视频帧；
对所述当前视频帧用预设的机器学习算法进行分析，得到所述当前视频帧对应的多张人体关键点热度图；所述预设的机器学习算法是通过已标注人体关键点的样本视频帧，以及所述各样本视频帧对应的样本人体关键点热度图训练得到的；任一所述人体关键点热度图包括部位标识以及与该部位标识对应的所述当前视频帧的各像素点的关键点热度值；
根据所述多张人体关键点热度图确定所述当前视频帧对应的各人体目标的人体关键点信息；
根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为。
可选的，所述根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为，包括：
根据所述各人体目标的人体关键点信息，确定所述各人体目标中标记有右手腕标识的关键点、标记有右手肘标识的关键点以及标记有右肩膀标识的关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为。
可选的，所述根据所述各人体目标的人体关键点信息，确定所述各人体目标中标记有右手腕标识的关键点、标记有右手肘标识的关键点以及标记有右肩膀标识的关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为，包括：
针对每个人体目标，根据该人体目标的人体关键点信息，判断该各人体目标中，标记有右手腕标识的关键点位置是否高于标记有右手肘标识的关键点位置，且标记有右手腕标识的关键点与标记有右手肘标识的关键点的水平间距是否小于第一预设阈值，且标记有右手肘标识的关键点与标记有右肩膀标识的关键点的竖直间距是否小于第二预设阈值；
如果是，确定该人体目标存在黑板书写行为。
可选的，所述根据所述多张人体关键点热度图确定所述当前视频帧对应的各人体目标的人体关键点信息，包括：
从各所述人体关键点热度图中，选择关键点热度值中的极大值对应的各极大像素点，将所述各极大像素点的预设信息作为所述当前视频帧对应的各人体目标的人体关键点信息。
可选的，所述根据所述多张人体关键点热度图确定所述当前视频帧对应的各人体目标的人体关键点信息，包括：
根据所述多张人体关键点热度图确定所述当前视频帧对应的初始关键点信息；
对所述初始关键点进行分组，将分在同一组的所述初始关键点信息作为同一人体目标的人体关键点信息。
可选的，所述预设的机器学习算法是通过已标注人体关键点的样本视频帧，以及所述各样本视频帧对应的样本人体关键点热度图和样本部位亲密域PAF热度图训练得到的；任一所述PAF热度图包括与具有预设逻辑关系的两个候选关键点对应的当前视频帧各像素点的PFA值；
相应的，所述对所述初始关键点进行分组，包括：
对所述当前视频帧用所述预设的机器学习算法进行分析，得到所述当前视频帧对应的多张PAF热度图；
根据所述PAF热度图，计算具有预设逻辑关系的两个候选初始关键点的连接关系值；
将满足预设条件的所述连接关系值对应的具有预设逻辑关系的两个候选初始关键点分在同一组。
可选的，所述根据所述PAF热度图，计算具有预设逻辑关系的两个候选初始关键点的连接关系值，包括：
在具有预设逻辑关系的两个候选初始关键点对应的PAF热度图中，查找在所述两个候选初始关键点连线上的各像素点的PAF值；
将在所述两个候选初始关键点连线上的各像素点的PAF值以及所述两个候选初始关键点的坐标，作为预设的关联判断公式的参数，将所述预设的关联判断公式得到的值作为所述两个候选初始关键点的连接关系值。
可选的，所述预设的关联判断公式为：
Figure BDA0001744414370000041
式中，
Figure BDA0001744414370000042
指任意两个候选初始关键点j1到j2形成的向量的单位向量，p(u)是
Figure BDA0001744414370000043
和连线上任意一点，Lc(p(u))指点p(u)在任意两个候选初始关键点j1和j2对应的PAF热度图上的PAF值，E指连接关系值；
所述将满足预设条件的所述连接关系值对应的具有预设逻辑关系的两个候选初始关键点分在同一组，包括：
将不小于连接判断值TC的所述连接关系值对应的具有预设逻辑关系的两个候选初始关键点分在同一组。
可选的，所述根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为前，还包括：
用预设的跟踪算法，选择所述当前视频帧对应的人体目标中与上一视频帧对应的人体目标为同一目标的人体目标，作为动作人体目标；
相应的，所述根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为，包括：
根据所述各动作人体目标的人体关键点信息，确定所述各动作人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各动作人体目标是否存在黑板书写行为。
可选的，所述用预设的跟踪算法，选择所述当前视频帧对应的人体目标中与上一视频帧对应的人体目标为同一目标的人体目标，包括：
用预设的跟踪算法，判断所述当前视频帧对应的人体目标中的多个预设人体关键点对应的预设图形，与上一视频帧对应的人体目标中的多个预设人体关键点对应的预设图形，是否满足预设的重叠条件；
如果是，将所述当前视频帧中与上一视频帧中满足预设的重叠条件的预设图形对应的人体关键点对应的人体目标，作为与上一视频帧对应的人体目标为同一目标的人体目标。
可选的，所述多个预设人体关键点包括：标记有头部标识的关键点、标记有左肩标识的人体关键点以及标记有右肩标识的人体关键点。
可选的，所述用预设的跟踪算法，判断所述当前视频帧对应的人体目标中的多个预设人体关键点对应的预设图形，与上一视频帧对应的人体目标中的多个预设人体关键点对应的预设图形，是否满足预设的重叠条件，包括：
将当前视频帧对应的人体目标中的多个预设人体关键点与上一视频帧对应的人体目标中的多个预设人体关键点作为匹配公式的参数；
判断所述匹配公式得到的匹配值，是否为预设值；
如果是，则确定所述当前视频帧对应的人体目标中的人体关键点对应的预设图形，与上一视频帧对应的人体目标中的人体关键点对应的预设图形满足预设的重叠条件。
可选的，所述匹配公式为：
Figure BDA0001744414370000051
式中，Match为匹配值，Head_rectf,K为当前视频帧中第K个人的多个预设人体关键点围成的外接矩形的面积，Head_rectf-1,K为上一视频帧中第K个人的多个预设人体关键点围成的外接矩形的面积，TM为判断阈值；
相应的，所述预设值为1。
可选的，所述根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为，包括：
判断所述各人体目标的人体关键点坐标是否均在预设的黑板区域内；
当所述各人体目标的人体关键点坐标均在预设的黑板区域内时，根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为。
可选的，所述方法还包括：
从所述各人体目标中选择存在黑板书写行为的书写人体目标，判断从当前视频帧起连续的第一预设数量视频帧内，所述书写人体目标的黑板书写行为出现的帧数是否大于第二预设数量帧；
如果是，控制摄像头对准所述书写人体目标的标记有右手腕标识的关键点位置；
将所述摄像头拉伸预设倍数后，进行视频录制。
可选的，所述机器学习算法的训练过程包括：
获取样本视频帧；
确定各所述样本视频帧的人体关键点标注结果，以及各所述样本视频帧对应的样本人体关键点热度图；
通过已标注人体关键点的样本视频帧、以及各所述样本视频帧对应的样本人体关键点热度图，对预设算法进行训练，得到满足预设条件的所述机器学习算法。
第二方面，本发明实施例提供了一种黑板书写行为识别装置，包括：
视频帧获取单元，用于获取当前视频帧；
视频帧分析单元，用于对所述当前视频帧用预设的机器学习算法进行分析，得到所述当前视频帧对应的多张人体关键点热度图；所述预设的机器学习算法是通过已标注人体关键点的样本视频帧，以及所述各样本视频帧对应的样本人体关键点热度图训练得到的；任一所述人体关键点热度图包括部位标识以及与该部位标识对应的所述当前视频帧的各像素点的关键点热度值；
关键点确定单元，用于根据所述多张人体关键点热度图确定所述当前视频帧对应的各人体目标的人体关键点信息；
行为确定单元，用于根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为。
可选的，所述行为确定单元，具体用于：
根据所述各人体目标的人体关键点信息，确定所述各人体目标中标记有右手腕标识的关键点、标记有右手肘标识的关键点以及标记有右肩膀标识的关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为。
可选的，所述行为确定单元，具体用于：
针对每个人体目标，根据该人体目标的人体关键点信息，判断该各人体目标中，标记有右手腕标识的关键点位置是否高于标记有右手肘标识的关键点位置，且标记有右手腕标识的关键点与标记有右手肘标识的关键点的水平间距是否小于第一预设阈值，且标记有右手肘标识的关键点与标记有右肩膀标识的关键点的竖直间距是否小于第二预设阈值；
如果是，确定该人体目标存在黑板书写行为。
可选的，所述关键点确定单元，具体用于：
从各所述人体关键点热度图中，选择关键点热度值中的极大值对应的各极大像素点，将所述各极大像素点的预设信息作为所述当前视频帧对应的各人体目标的人体关键点信息。
可选的，所述关键点确定单元，包括：
初始关键点确定子单元，用于根据所述多张人体关键点热度图确定所述当前视频帧对应的初始关键点信息；
初始关键点分组子单元，用于对所述初始关键点进行分组，将分在同一组的所述初始关键点信息作为同一人体目标的人体关键点信息。
可选的，所述预设的机器学习算法是通过已标注人体关键点的样本视频帧，以及所述各样本视频帧对应的样本人体关键点热度图和样本部位亲密域PAF热度图训练得到的；任一所述PAF热度图包括与具有预设逻辑关系的两个候选关键点对应的当前视频帧各像素点的PFA值；
相应的，所述初始关键点分组子单元，包括：
PAF热度图确定模块，用于对所述当前视频帧用所述预设的机器学习算法进行分析，得到所述当前视频帧对应的多张PAF热度图；
连接关系值计算模块，用于计算具有预设逻辑关系的两个候选初始关键点的连接关系值；
初始关键点分组模块，用于将满足预设条件的所述连接关系值对应的具有预设逻辑关系的两个候选初始关键点分在同一组。
可选的，所述连接关系值计算模块，具体用于，
在具有预设逻辑关系的两个候选初始关键点对应的PAF热度图中，查找在所述两个候选初始关键点连线上的各像素点的PAF值；将在所述两个候选初始关键点连线上的各像素点的PAF值以及所述两个候选初始关键点的坐标，作为预设的关联判断公式的参数，将所述预设的关联判断公式得到的值作为所述两个候选初始关键点的连接关系值。
可选的，所述预设的关联判断公式为：
Figure BDA0001744414370000081
式中，
Figure BDA0001744414370000082
指任意两个候选初始关键点j1到j2形成的向量的单位向量，p(u)是
Figure BDA0001744414370000083
和
Figure BDA0001744414370000084
连线上任意一点，Lc(p(u))指点p(u)在任意两个候选初始关键点j1和j2对应的PAF热度图上的PAF值，E指连接关系值；
相应的，所述初始关键点分组模块，具体用于，将不小于连接判断值TC的所述连接关系值对应的具有预设逻辑关系的两个候选初始关键点分在同一组。
可选的，所述装置还包括：
动作人体目标确定单元，用于用预设的跟踪算法，选择所述当前视频帧对应的人体目标中与上一视频帧对应的人体目标为同一目标的人体目标，作为动作人体目标；
相应的，所述行为确定单元，具体用于，根据所述各动作人体目标的人体关键点信息，确定所述各动作人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各动作人体目标是否存在黑板书写行为。
可选的，所述动作人体目标确定单元，包括：
重叠判断子单元，用于用预设的跟踪算法，判断所述当前视频帧对应的人体目标中的多个预设人体关键点对应的预设图形，与上一视频帧对应的人体目标中的多个预设人体关键点对应的预设图形，是否满足预设的重叠条件；
同一目标确定子单元，用于当所述重叠判断子单元的判断结果为是时，将所述当前视频帧中与上一视频帧中满足预设的重叠条件的预设图形对应的人体关键点对应的人体目标，作为与上一视频帧对应的人体目标为同一目标的人体目标。
可选的，所述多个预设人体关键点包括：标记有头部标识的关键点、标记有左肩标识的人体关键点以及标记有右肩标识的人体关键点。
可选的，所述重叠判断子单元，包括：
匹配值判断模块，用于将当前视频帧对应的人体目标中的多个预设人体关键点与上一视频帧对应的人体目标中的多个预设人体关键点作为匹配公式的参数，判断所述匹配公式得到的匹配值，是否为预设值；
重叠确定模块，用于当所述匹配值判断模块的判断结果为是时，确定所述当前视频帧对应的人体目标中的人体关键点，与上一视频帧对应的人体目标中的人体关键点满足预设的重叠条件。
可选的，所述匹配公式为：
Figure BDA0001744414370000101
式中，Match为匹配值，Head_rectf,K为当前视频帧中第K个人的多个预设人体关键点围成的外接矩形的面积，Head_rectf-1,K为上一视频帧中第K个人的多个预设人体关键点围成的外接矩形的面积，TM为判断阈值；
相应的，所述预设值为1。
可选的，所述行为确定单元，包括：
关键点位置判断子单元，用于判断所述各人体目标的人体关键点坐标是否均在预设的黑板区域内；
行为确定子单元，用于当所述关键点位置判断子单元的判断结果为是时，根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为。
可选的，所述装置还包括：
帧数判断单元，用于从所述各人体目标中选择存在黑板书写行为的书写人体目标，判断从当前视频帧起连续的第一预设数量视频帧内，所述书写人体目标的黑板书写行为出现的帧数是否大于第二预设数量帧；
摄像头控制单元，用于当所述帧数判断单元的判断结果为是时，控制摄像头对准所述书写人体目标的标记有右手腕标识的关键点位置；
摄像头拉伸单元，用于将所述摄像头拉伸预设倍数后，进行视频录制。
可选的，所述机器学习算法的训练过程包括：
获取样本视频帧；
确定各所述样本视频帧的人体关键点标注结果，以及各所述样本视频帧对应的样本人体关键点热度图；
通过已标注人体关键点的样本视频帧、以及各所述样本视频帧对应的样本人体关键点热度图，对预设算法进行训练，得到满足预设条件的所述机器学习算法。
第三方面，本发明实施例提供了一种摄像机，包括摄像头、处理器和存储器，其中，
所述摄像头，用于拍摄图像；
存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序，实现第一方面任一所述的黑板书写行为识别方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的步骤。
本发明实施例提供的黑板书写行为识别方法、装置及摄像机，通过获取当前视频帧，对当前视频帧用预设的机器学习算法进行分析，得到所述当前视频帧对应的多张人体关键点热度图，根据当前视频帧对应的多张人体关键点热度图确定所述当前视频帧对应的人体关键点，再将分在同一组的各人体关键点组成的目标作为所述当前视频帧对应的人体目标；根据当前视频帧对应的属于同一所述人体目标的，且标记有预设部位标识的人体关键点的相对位置关系，确定所述当前视频帧是否存在黑板书写行为。
本发明实施例通过属于同一人体目标的，且标记有预设部位标识的人体关键点的相对位置关系，来确定当前视频帧是否存在黑板书写行为，由于本发明实施例是根据当前视频帧来判断是否存在黑板书写行为，可以减小因相邻视频帧差异较小而导致的目标漏检，从而提高了黑板书写行为的检测准确率。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的黑板书写行为识别方法的一种流程示意图；
图2为本发明实施例得到的一种人体关键点热度图；
图3为本发明实施例提供的确定人体关键点信息的方法的一种流程示意图；
图4为本发明实施例提供的对初始关键点进行分组的方法的一种流程示意图；
图5为本发明实施例提供的一种PAF热度图；
图6为本发明实施例提供的黑板书写行为识别方法的另一种流程示意图；
图7为本发明实施例提供的动作人体目标的确定方法的一种流程示意图；
图8为本发明实施例提供的确定预设图形是否满足预设的重叠条件的方法的一种流程示意图；
图9为本发明实施例提供的控制摄像机进行视频录制的方法的一种流程示意图；
图10为本发明实施例提供的机器学习算法的训练方法的一种流程示意图；
图11为本发明实施例提供的黑板书写行为识别装置的一种结构示意图；
图12为本发明实施例提供的摄像机的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了下面首先对本发明实施例所提供的黑板书写行为识别方法进行介绍。
需要说明的是，本发明实施例所提供的黑板书写行为识别方法可以应用于视频录制行业。
如图1所示，本发明实施例提供的黑板书写行为识别方法，可以应用于摄像机，该方法可以包括以下步骤：
S110：获取当前视频帧。
在录制视频前，可以在教师讲课的教室内安装摄像机，该摄像机可以安装在教室顶部，上述摄像机的摄像头可以对准黑板区域的位置，本领域技术人员也可以根据实际情况设置上述摄像机与黑板的垂直距离，该垂直具体的选择具体与摄像机的像素、视频录制质量要求等相关。例如，可以选择3米～6米中的任一距离作为上述摄像机与黑板的垂直距离。本发明实施例不具体限定上述垂直距离。在本发明实施例中，可以由人工开启摄像机，也可以由摄像机根据预设开启时间，自动开启摄像机。具体地，可以将教师讲课的预设讲课时间作为上述预设开启时间。
摄像机开启后，可以通过摄像机的摄像头拍摄图像，并从拍摄的图像中获取当前视频帧，来判断当前视频帧中的人体目标是否存在黑板书写行为。
S120：对上述当前视频帧用预设的机器学习算法进行分析，得到上述当前视频帧对应的多张人体关键点热度图；上述预设的机器学习算法是通过已标注人体关键点的样本视频帧，以及上述各样本视频帧对应的样本人体关键点热度图训练得到的；任一上述人体关键点热度图包括部位标识以及与该部位标识对应的上述当前视频帧的各像素点的关键点热度值。
上述预设的机器学习算法可以是能够自动学习数据特征与表达的各类算法，上述预设的机器学习算法可以是深度学习算法。例如，上述预设的机器学习算法可以是卷积神经网络(Convolutional Neural Network，CNN)、深度置信网(DeepBelief Net，DBN)等机器学习算法。
上述人体关键点热度图是可以标识当前视频帧中人体关键点的图片。任一人体关键点热度图可以包括部位标识以及与该部位标识对应的当前视频帧的各像素点的关键点热度值。在关键点热度图中，关键点热度值越大，标识该关键点热度值对应的像素点是人体关键点的概率越大。
上述人体关键点可以是在人体中标识人体关键部位的点，例如，上述人体关键点可以是头部对应的点，肩关节对应的点，膝盖关节对应的点等。上述人体关键点也可以是其他可以标识人体关键部位的点，本发明实施例不作具体限定。
人体关键点热度图的数量可以与人体关键点的种类数相对应，人体关键点的种类例如可以包括头部、右手腕、左臀等种类。例如，当人体关键点的种类为14时，人体关键点热度图的数量也为14张。其中，每一张人体关键点热度图对应一类人体关键点。
在本发明实施例中，上述预设的机器学习算法可以是通过已标注人体关键点的样本视频帧，以及各样本视频帧对应的样本人体关键点热度图训练得到的。对当前视频帧用训练好的机器学习算进行分析，可以得到当前视频帧对应的人体关键点热度图。
如图2上述，为用预设的机器学习算法得到的具体的人体关键点热度图，其中，前15张为关键点热度图，分别对应15类人体关键点，最后一张为可视化效果图。任一人体关键点热度图对应一部位标识，图2中的“头”、“脖子”等标识即为部位标识，任一关键点热度图中关键点热度值极大值对应的点为极亮点，该极亮点即为该部位标识对应的人体关键点。图2中每张热度图中有两个极亮点，说明当前视频帧中可能存在两个人。
S130：根据上述多张人体关键点热度图确定上述当前视频帧对应的各人体目标的人体关键点信息。
在本发明实施例中，确定了当前视频帧对应的人体关键点热度图后，可以从所确定的人体关键点热度图中确定当前视频帧对应的各人体目标的人体关键点信息。该人体关键点信息可以包括人体关键点对应的部位标识，以及人体关键点对应的坐标。
例如，摄像机可以从各人体关键点热度图中，选择关键点热度值中的极大值对应的各极大像素点，将各极大像素点的预设信息作为上述当前视频帧对应的各人体目标的人体关键点信息。上述各极大像素点的预设信息可以包括各极大像素点的坐标以及各极大像素点所对应的部位标识。
在本发明实施例中，摄像机也可以将各人体关键点热度图中极大关键点热度值对应的像素点的坐标，作为当前视频帧对应的人体关键点的坐标，将各人体关键点热度图的部位标识作为各人体关键点对应的部位标识。
可选的，摄像机可以从各人体关键点热度图中，使用八邻域搜索法选择关键点热度值中的极大值对应的各极大像素点。具体地，摄像机可以从各人体关键点热度图中，在每个像素点的八邻域进行极大值搜索，从而搜索到极大关键点热度值对应的各极大像素点。
当出现选择的极大像素点的个数多于视频帧中人体目标的个数的情况，此时，若直接将选择的极大像素点作为人体关键点，会使人体关键点判断出错。为减少人体关键点判断出错的概率，在本发明实施例中，摄像机可以从各人体关键点热度图中，选择关键点热度值中的极大值对应的各极大像素点，从各极大像素点中选择关键点热度值大于预设热度值的像素点，作为目标极大像素点，将各目标极大像素点的预设信息作为上述当前视频帧对应的各人体目标的人体关键点信息。上述预设热度值的具体数值可以根据实际情况确定，本领域技术人员可以根据训练上述预设的机器学习算法时所使用的样本人体关键点热度图中的关键点热度值不同，设置上述预设热度值的具体取值。本发明实施例不具体限定上述预设热度值的取值。
S140：根据上述各人体目标的人体关键点信息，确定上述各人体目标预设关键点之间的相对位置关系，并根据上述相对位置关系确定上述各人体目标是否存在黑板书写行为。
在本发明实施例中，可以通过判断人体目标是否存在预设动作，来判断人体目标是否存在黑板书写行为。而是否存在预设动作可以通过各人体目标预设关键点之间的相对位置关系来判断。因此，在本发明实施例中，摄像机可以根据上述各人体目标的人体关键点信息，确定上述各人体目标预设关键点之间的相对位置关系，并根据上述相对位置关系确定上述各人体目标是否存在黑板书写行为。
例如，摄像机可以根据各人体目标的人体关键点的坐标，以及各人体目标的人体关键点对应的部位标识，确定各人体目标中标记有预设标识的关键点对应的坐标之间的坐标关系，并判断上述坐标关系是否满足预设的坐标条件，如果是，确定各人体目标存在黑板书写行为。
本发明实施例提供的方法通过属于同一人体目标的，且标记有预设部位标识的人体关键点的相对位置关系，来确定当前视频帧是否存在黑板书写行为，由于本发明实施例是根据当前视频帧来判断是否存在黑板书写行为，可以减小因相邻视频帧差异较小而导致的目标漏检，从而提高了黑板书写行为的检测准确率。
人体目标通常可以通过右臂带动右手在黑板上进行书写，因此，在本发明实施例的一种实施方式中，步骤S140中确定各人体目标是否存在黑板书写行为，可以按以下步骤实现：
根据上述各人体目标的人体关键点信息，确定上述各人体目标中标记有右手腕标识的关键点、标记有右手肘标识的关键点以及标记有右肩膀标识的关键点之间的相对位置关系，并根据上述相对位置关系确定上述各人体目标是否存在黑板书写行为。
通过判断与右臂对应的人体关键点的相对位置关系，可以更准确地判断出人体目标是否存在黑板书写行为，且可通过较少的关键点信息，判断出各人体目标是否存在黑板书写行为，是判断的运算量更少，从而提高了判断速度。
在本发明实施例中，可以通过判断人体目标的右手臂是否存在与黑板书写行为相对应动作，来判断人体目标是否存在黑板书写行为。在本发明实施例的一种实施方式中，针对每个人体目标，摄像机可以根据该人体目标的人体关键点信息，判断该各人体目标中，标记有右手腕标识的关键点位置是否高于标记有右手肘标识的关键点位置，且标记有右手腕标识的关键点与标记有右手肘标识的关键点的水平间距是否小于第一预设阈值，且标记有右手肘标识的关键点与标记有右肩膀标识的关键点的竖直间距是否小于第二预设阈值；如果是，确定该人体目标存在黑板书写行为。
上述第一预设阈值和上述第二预设阈值可以根据现实环境中，人在黑板上书写时的具体动作以及人体手臂的尺寸情况来确定，上述第一预设阈值和上述第二预设阈值可以相等，也可以不相等。例如，上述第一预设阈值和上述第二预设阈值均可以取18cm～22cm内的任一值。本领域技术人员可以根据实际情况设置上述第一预设阈值和上述第二预设阈值的具体值，本发明实施例不具体限定。
在一种实施方式中，摄像机可以将标记有右手腕标识的关键点坐标、标记有右手肘标识的关键点坐标、以及标记有右肩膀标识的关键点坐标作为行为判断公式的参数，根据行为判断公式得到的行为判断值是否为预设值，确定人体目标是否存在黑板书写行为。
在一种具体实施方式中，上述行为判断公式可以为以下公式：
Figure BDA0001744414370000171
式中，J1.x、J2.x分别代表标记有右手腕标识的关键点、标记有右手肘标识的关键点的横坐标，J1.y、J2.y、J3.y分别代表标记有右手腕标识的关键点、标记有右手肘标识的关键点、标记有右肩膀标识的关键点的纵坐标，dj、di分别代表第一预设阈值和第二预设阈值，W(J1,J2,J3)行为判断值。
当W(J1,J2,J3)＝1时，则记录为当前视频帧的人体目标出现黑板书写行为。
在本发明实施例中，行为判断值取任意两个不同的值即可，本领域技术人员可以根据实际情况设定行为判断值的具体值，本发明实施例不作具体限定。
教师在讲课时，摄像机录制的视频帧中可能不仅包括讲课教师一个人，还可能包括助教等其他人。在本发明实施例的一种实施方式中，当摄像机录制的视频帧中包括多个人体目标时，如图3所示，步骤S130中的人体关键点信息可以按以下步骤确定：
S131：根据上述多张人体关键点热度图确定当前视频帧对应的初始关键点信息。
当当前视频帧中包括多个人体目标时，当前视频帧对应的关键点热度图中，每一个部位标识对应不止一个初始关键点，本发明实施例为了对同一个人体目标进行分析，可以将各初始关键点进行分组，从而将分在同一组的初始关键点作为同一人体目标的人体关键点。
S132：对上述初始关键点进行分组，将分在同一组的初始关键点信息作为同一人体目标的人体关键点信息。
在本发明实施例中，可以根据初始关键点的位置，对初始关键点进行分组。例如，摄像机可以判断具有预设逻辑关系的两个候选初始关键点是否满足预设的位置关系，如果满足预设的位置关系，则将满足预设的位置关系的两个选初始关键点分在一组。
上述具有预设逻辑关系的两个候选关键点可以是具有人体关节连接关系的两个部位标识对应的两个关键点。例如，人体上头与脖子存在连接关系，那么标记有头标识的关键点与标记有脖子标识的关键点就可以是两个具有预设逻辑关系的候选关键点，又如，人体上右手肘与右手腕存在连接关系，那么标记有右手肘标识的关键点与标记有右手腕标识的关键点就可以是两个具有预设逻辑关系的候选关键点。
上述满足预设的位置关系的两个候选初始关键点可以是连线距离小于预设距离的两个候选初始关键点。上述预设距离可以根据时间人体各部位组织关系确定，本发明实施例不具体限定。例如，对于标记有头标识的关键点与标记有脖子标识的关键点这两个具有预设逻辑关系的候选关键点，对应的预设距离可以为12cm～18cm中的任一值。
对人体关键点热度图中的初始关键点进行分组后，可以对属于同一组的关键点进行分析，从而可以对视频帧中是否存在黑板书写行为进行更准确地分析。
在一种实施方式中，如图4所示，可以按以下步骤对步骤S132中的初始关键点进行分组：
S1321：对上述当前视频帧用上述预设的机器学习算法进行分析，得到上述当前视频帧对应的多张部位亲密域PAF热度图；上述预设的机器学习算法是通过已标注人体关键点的样本视频帧，以及上述各样本视频帧对应的样本人体关键点热度图和样本部位亲密域PAF热度图训练得到的；任一PAF热度图包括与具有预设逻辑关系的两个候选关键点对应的当前视频帧各像素点的PFA值。
上述PAF热度图可以是表示当前视频帧中的任一像素点对于具有预设逻辑关系的两个候选关键点所连接成的肢体的部位亲密域PAF值。由于肢体具有方向性，所以PAF值可以是一个矢量，PAF值可以用x、y两个方向上的投影来表示。因此，一条肢体可以对应两张PAF热度图。任一肢体对应的PAF热度图中PAF值越大，表明该PAF值对应的像素点在该肢体上的概率越大。
如图5所示，为具有14条肢体的人体目标对应的PAF热度图，其中，每一条肢体对应两张PAF热度图，分别为x分量PAF热度图和y分量PAF热度图，14条肢体共对应28张PAF热度图。任一张PAF热度图中，可以表示各像素点的PAF值，具体地，图5中各像素点对应的不同亮度可以表示不同的PAF值。例如，对于胸肢体，x分量的各像素点对应的亮度均较小，其对应的PAF值也均较小，y分量的各像素点对应的亮度中有两处亮度较大位置，两处亮度较大位置对应的像素点的PAF值也较大，说明有两个胸肢体，两个胸肢体说明视频帧中包括两个人体目标。x分量的各像素点对应的PAF值均较小，y分量的各像素点中有两处PAF值较大，说明两个人体目标的胸肢体在x分量上没有投影，在y分量上有投影，若x、y分别代表水平和竖直方向，则图5中胸肢体的PAF热度图可以表示两个人体目标的胸肢体竖直无倾斜。
S1322：根据上述PAF热度图，计算具有预设逻辑关系的两个候选初始关键点的连接关系值。
在本发明实施例中，可以在具有预设逻辑关系的两个候选初始关键点对应的PAF热度图中，查找在上述两个候选初始关键点连线上的各像素点的PAF值；将在上述两个候选初始关键点连线上的各像素点的PAF值以及上述两个候选初始关键点的坐标，作为预设的关联判断公式的参数，将上述预设的关联判断公式得到的值作为上述两个候选初始关键点的连接关系值。
上述预设的关联判断公式可以为：
Figure BDA0001744414370000191
式中，
Figure BDA0001744414370000192
指任意两个候选初始关键点j1到j2形成的向量的单位向量，p(u)是
Figure BDA0001744414370000193
和
Figure BDA0001744414370000194
连线上任意一点，Lc(p(u))指点p(u)在任意两个候选初始关键点j1和j2对应的PAF热度图上的PAF值，E指连接关系值；
S1323：将满足预设条件的上述连接关系值对应的具有预设逻辑关系的两个候选初始关键点分在同一组。
在本发明实施例中，摄像机可以将不小于连接判断值TC的上述连接关系值对应的具有预设逻辑关系的两个候选初始关键点分在同一组。其中，本领域技术人员可以根据实际情况设定TC的具体值，本发明实施例不作具体限定。在本发明实施例中，TC的值可以根据上述PAF值的范围来确定，例如，TC的值可以为上述PAF值的最大值的预设较小倍数，该预设较小倍数可以为小于1的数，具体的，上述预设较小倍数可以为0.08～0.12间的任一倍数。例如，当PAF值的范围为0～1时，PAF值的最大值为1，TC的值可以取0.08～0.12间的任一值，具体例如，TC的值可以取0.1。
通过PAF热度图来分析两个候选初始关键点是否满足预设条件，可以从具体数据的角度进行分析，从而可以更准确地对候选初始关键点进行分组，进一步提高了对视频帧中是否存在黑板书写行为的判断准确度。
在本发明实施例中，当摄像机录制的视频帧中包括多个人体目标时，为使当前视频帧与上一视频帧对同一人体目标进行黑板书写行为的识别，从而使识别过程可以连续针对对同一个人，如图6所示，步骤S140前，还可以包括以下步骤：
S150：用预设的跟踪算法，选择上述当前视频帧对应的人体目标中与上一视频帧对应的人体目标为同一目标的人体目标，作为动作人体目标；
上述预设的跟踪算法可以为多目标追踪算法(Robust Online Multi-objectTracking Based on Tracklet Confidence，CMOT，)，也可以是其他跟踪算法，本发明实施例不具体限定。
相应的，步骤S140中是否存在黑板书写行为，可以按以下步骤进行判断：
S141：根据上述各动作人体目标的人体关键点信息，确定上述各动作人体目标预设关键点之间的相对位置关系，并根据上述相对位置关系确定上述各动作人体目标是否存在黑板书写行为。
例如，摄像机可以根据各动作人体目标的人体关键点的坐标，以及各动作人体目标的人体关键点对应的部位标识，确定各动作人体目标中标记有预设标识的关键点对应的坐标之间的坐标关系，并判断上述坐标关系是否满足预设的坐标条件，如果是，确定各动作人体目标存在黑板书写行为。
通过判断当前视频帧中的人体目标中与上一视频帧对应的人体目标为同一目标的人体目标是否存在黑板书写行为，可以使当前视频帧与上一视频帧对同一人体目标进行黑板书写行为的识别，从而使识别过程可以连续针对对同一个人，进一步减少了所录制的视频的画面跳转，使录制的视频更连续。
在本发明实施例的一种实施方式中，如图7所示，步骤S150可以按以下步骤实现：
S151：用预设的跟踪算法，判断上述当前视频帧对应的人体目标中的多个预设人体关键点对应的预设图形，与上一视频帧对应的人体目标中的多个预设人体关键点对应的预设图形，是否满足预设的重叠条件。
上述多个预设人体关键点可以是能够组成辨识度较强的人体目标轮廓的多个人体关键点。例如，上述多个预设人体关键点可以包括：标记有头部标识的关键点、标记有左肩标识的人体关键点以及标记有右肩标识的人体关键点。这三个关键点所组成的人体目标轮廓可以较好地将人体目标辨识出。本领域技术人员也可以根据实际情况选择其他人体关键点作为预设人体关键点，本发明实施例不作具体限定。
多个预设人体关键点对应的预设图形，可以是连接多个预设人体关键点后形成的图形，也可以是多个预设人体关键点的外接多变形，如外接四边形、五边形等。本发明实施例不具体限定预设图形的具体形状。
S152：如果满足预设的重叠条件，将上述当前视频帧中与上一视频帧中满足预设的重叠条件的预设图形对应的人体关键点对应的人体目标，作为与上一视频帧对应的人体目标为同一目标的人体目标。
通过人体目标的全部人体关键点来判断是否满足预设的重叠条件时，分析过程比较复杂，分析速度也较大，本发明实施例通过选择多个预设人体关键点判断是否满足预设的重叠条件时，可以减少计算量，从而提高了分析速度，进一步提高了判断当前视频帧中是否存在与上一视频帧中的人体目标为同一目标的人体目标的速度。
在本发明实施例的一种实施方式中，如图8所示，上述步骤S151具体可以按以下步骤实现：
S1511：将当前视频帧对应的人体目标中的多个预设人体关键点与上一视频帧对应的人体目标中的多个预设人体关键点作为匹配公式的参数。
上述匹配公式可以为：
Figure BDA0001744414370000221
式中，Match为匹配值，Head_rectf,K为当前视频帧中第K个人的多个预设人体关键点围成的外接矩形的面积，Head_rectf-1,K为上一视频帧中第K个人的多个预设人体关键点围成的外接矩形的面积，TM为判断阈值。上述匹配公式中的匹配值，包括不相等的两个值即可，上述判断阈值TM可以为小于1且大于0的任一值，本发明实施例不作具体限定，在一种实施方式中，TM可以不小于0.5，例如，TM可以为0.6～0.8之间的任一值。
上述匹配公式还可以为：
Figure BDA0001744414370000222
上述匹配公式也可以为：
等形式。本发明实施例不具体限定上述匹配公式的具体形式。
S1512：判断上述匹配公式得到的匹配值，是否为预设值。
上述预设值，是匹配公式中满足匹配条件时对应的值，公式(1)中，匹配条件为
Figure BDA0001744414370000231
当上述匹配公式为公式(1)时，上述预设值可以为1，当上述匹配公式为公式(2)时，上述预设值可以为2，当上述匹配公式为公式(3)时，上述预设值可以为0。
S1513：如果为预设值，则确定上述当前视频帧对应的人体目标中的人体关键点对应的预设图形，与上一视频帧对应的人体目标中的人体关键点对应的预设图形满足预设的重叠条件。
通过具体的运算公式，可以更准确地确定前视频帧中与上一视频帧对应的人体目标为同一目标的人体目标。
教师在黑板上书写时，教师通常位于黑板区域内，黑板区域外的人体目标通常不是具有黑板书写行为的人体目标。在本发明实施例的一种实施方式中，为了减少无效的判断过程，提高对黑白书写行为判断的效率，步骤S140具体可以按以下步骤实现：
判断上述各人体目标的人体关键点坐标是否均在预设的黑板区域内；
当上述各人体目标的人体关键点坐标均在预设的黑板区域内时，根据上述各人体目标的人体关键点信息，确定上述各人体目标预设关键点之间的相对位置关系，并根据上述相对位置关系确定上述各人体目标是否存在黑板书写行为。
上述预设的黑板区域可以是摄像机中预先存储的区域。通过仅判断在黑板区域内的人体目标是否存在黑板书写行为，可以进一步减少无效的判断过程，提高对黑白书写行为判断的效率。
在本发明实施例的一种实施方式中，如图9所示，判断出当前视频帧的人体目标是否存在黑板书写行为后，即步骤S140后，还可以按以下步骤控制摄像机进行视频录制：
S160：从上述各人体目标中选择存在黑板书写行为的书写人体目标，判断从当前视频帧起连续的第一预设数量帧内，上述书写人体目标的黑板书写行为出现的帧数是否大于第二预设数量帧。
上述第二预设数量可以为上述第一预设数量的预设百分比的数量，上述预设百分比，例如可以为70％～100％中的任一百分比。上述预设百分比越大，摄像机越能更连续地拍摄到人体目标的黑板书写行为，上述预设百分比越小，摄像机能更准确地捕捉到人体目标进行的黑板书写行为。本领域技术人员可以根据实际情况设定上述第一预设数量、第二预设数量和预设百分比的具体值。本发明不作具体限定。例如，上述第一预设数量可以为12，上述第二预设数量可以为10。
S170：如果是，控制摄像头对准上述书写人体目标的标记有右手腕标识的关键点位置。
教师通常是通过右手在黑板上写板书，因此，在本发明实施例中，摄像机可以控制摄像头对准上述书写人体目标的标记有右手腕标识的关键点位置，以使摄像头对教师写的板书进行录制。
S180：将上述摄像头拉伸预设倍数后，进行视频录制。
上述预设倍数可以是能够清楚拍摄黑板上的板书的摄像头倍数，本领域技术人员可以根据实际应用中摄像头的不同进行设定，本发明实施例不作具体限定。
本发明实施例当连续的第一预设数量帧内，人体目标的黑板书写行为出现的帧数大于第二预设数量帧时，才调节摄像头的倍数进行视频录制，可以减少因黑板书写行为识别时存在误差而导致的视频录制出错的概率，使摄像机可以更准确地录制教师的黑板书写行为。
为进一步减少因黑板书写行为识别时存在误差而导致的视频录制出错的概率，上述步骤S160，可以按以下步骤实现：从上述各人体目标中选择存在黑板书写行为的书写人体目标，判断从当前视频帧起连续的第一预设数量帧内，上述书写人体目标的黑板书写行为连续出现的帧数是否大于第二预设数量帧。
在本发明实施例的一种实施方式中，如图10所示，上述机器学习算法的训练过程可以包括以下步骤：
S210：获取样本视频帧。
上述样本视频帧可以是摄像机在教室内对黑板区域内及黑板区域附近的场景进行录制并保存的视频帧。
S220：确定各上述样本视频帧的人体关键点标注结果，以及各上述样本视频帧对应的样本人体关键点热度图。
在本发明实施例中，可以通过人工标注的方式，对各样本视频帧的人体关键点进行标注，得到各样本视频帧的人体关键点标注结果。
上述人体关键点热度图可以按以下方式确定：
根据高斯公式确定样本视频帧中各像素点的高斯值：
Figure BDA0001744414370000251
式中，j∈J代表关键点的类别，k∈K代表人的编号，xj,k是指第k个人的第j类关键点在图像中的坐标，p是图像中任意一像素点的坐标，S是高斯函数，σ是高斯系数，
Figure BDA0001744414370000252
是第k个人的第j类关键点所对应的任一像素点的高斯值。
针对第j类关键点，将各像素点所对应的高斯值，标记在将各像素点对应的坐标位置处，得到标记有第j类部位标识的关键点热度图。
在第j类关键点热度图中，高斯峰值对应的像素点为第j类关键点。其中，高斯峰值的计算公式可以为：
Figure BDA0001744414370000253
式中，
Figure BDA0001744414370000254
为第j类关键点，
Figure BDA0001744414370000255
是第k个人的第j类关键点所对应的任一像素点的高斯值。
S230：通过已标注人体关键点的样本视频帧、以及各上述样本视频帧对应的样本人体关键点热度图，对预设算法进行训练，得到满足预设条件的上述机器学习算法。
当上述预设算法为卷积神经网络CNN时，可以在该网络尾部添加人体关键点热度图的损失计算分支，通过已标注人体关键点的样本视频帧、以及各上述样本视频帧对应的样本人体关键点热度图，对添加了损失计算分支的CNN进行训练，以使CNN可以更好地学习样本数据，得到满足预设条件的上述机器学习算法。
损失计算分支的公式可以为：
式中，Sj(p)代表通过网络提取的关键点j在p位置的热度值，
Figure BDA0001744414370000262
代表关键点j在p位置热度值的真值。Loss函数是计算网络提取值与真值的L2泛数。
本发明实施例还提供了一种黑板书写行为识别装置，如图11所示，包括：
视频帧获取单元310，用于获取当前视频帧；
视频帧分析单元320，用于对所述当前视频帧用预设的机器学习算法进行分析，得到所述当前视频帧对应的多张人体关键点热度图；所述预设的机器学习算法是通过已标注人体关键点的样本视频帧，以及所述各样本视频帧对应的样本人体关键点热度图训练得到的；任一所述人体关键点热度图包括部位标识以及与该部位标识对应的所述当前视频帧的各像素点的关键点热度值；
关键点确定单元330，用于根据所述多张人体关键点热度图确定所述当前视频帧对应的各人体目标的人体关键点信息；
行为确定单元340，用于根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为。
本发明实施例提供的装置通过属于同一人体目标的，且标记有预设部位标识的人体关键点的相对位置关系，来确定当前视频帧是否存在黑板书写行为，由于本发明实施例是根据当前视频帧来判断是否存在黑板书写行为，可以减小因相邻视频帧差异较小而导致的目标漏检，从而提高了黑板书写行为的检测准确率。
在本发明实施例的一种实施方式中，所述行为确定单元340，具体用于：
根据所述各人体目标的人体关键点信息，确定所述各人体目标中标记有右手腕标识的关键点、标记有右手肘标识的关键点以及标记有右肩膀标识的关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为。
在本发明实施例的一种实施方式中，所述行为确定单元340，具体用于：
针对每个人体目标，根据该人体目标的人体关键点信息，判断该各人体目标中，标记有右手腕标识的关键点位置是否高于标记有右手肘标识的关键点位置，且标记有右手腕标识的关键点与标记有右手肘标识的关键点的水平间距是否小于第一预设阈值，且标记有右手肘标识的关键点与标记有右肩膀标识的关键点的竖直间距是否小于第二预设阈值；
如果是，确定该人体目标存在黑板书写行为。
在本发明实施例的一种实施方式中，所述关键点确定单元330，具体用于：
从各所述人体关键点热度图中，选择关键点热度值中的极大值对应的各极大像素点，将所述各极大像素点的预设信息作为所述当前视频帧对应的各人体目标的人体关键点信息。
在本发明实施例的一种实施方式中，所述关键点确定单元330，包括：
初始关键点确定子单元，用于根据所述多张人体关键点热度图确定所述当前视频帧对应的初始关键点信息；
初始关键点分组子单元，用于对所述初始关键点进行分组，将分在同一组的所述初始关键点信息作为同一人体目标的人体关键点信息。
在本发明实施例的一种实施方式中，所述预设的机器学习算法是通过已标注人体关键点的样本视频帧，以及所述各样本视频帧对应的样本人体关键点热度图和样本部位亲密域PAF热度图训练得到的；任一所述PAF热度图包括与具有预设逻辑关系的两个候选关键点对应的当前视频帧各像素点的PFA值；
相应的，所述初始关键点分组子单元，包括：
PAF热度图确定模块，用于对所述当前视频帧用所述预设的机器学习算法进行分析，得到所述当前视频帧对应的多张PAF热度图；
连接关系值计算模块，用于计算具有预设逻辑关系的两个候选初始关键点的连接关系值；
初始关键点分组模块，用于将满足预设条件的所述连接关系值对应的具有预设逻辑关系的两个候选初始关键点分在同一组。
在本发明实施例的一种实施方式中，所述连接关系值计算模块，具体用于，
在具有预设逻辑关系的两个候选初始关键点对应的PAF热度图中，查找在所述两个候选初始关键点连线上的各像素点的PAF值；将在所述两个候选初始关键点连线上的各像素点的PAF值以及所述两个候选初始关键点的坐标，作为预设的关联判断公式的参数，将所述预设的关联判断公式得到的值作为所述两个候选初始关键点的连接关系值。
在本发明实施例的一种实施方式中，所述预设的关联判断公式为：
Figure BDA0001744414370000281
式中，
Figure BDA0001744414370000282
指任意两个候选初始关键点j1到j2形成的向量的单位向量，p(u)是
Figure BDA0001744414370000283
和
Figure BDA0001744414370000284
连线上任意一点，Lc(p(u))指点p(u)在任意两个候选初始关键点j1和j2对应的PAF热度图上的PAF值，E指连接关系值；
相应的，所述初始关键点分组模块，具体用于，将不小于连接判断值TC的所述连接关系值对应的具有预设逻辑关系的两个候选初始关键点分在同一组。
在本发明实施例的一种实施方式中，所述装置还包括：
动作人体目标确定单元，用于用预设的跟踪算法，选择所述当前视频帧对应的人体目标中与上一视频帧对应的人体目标为同一目标的人体目标，作为动作人体目标；
相应的，所述行为确定单元340，具体用于，根据所述各动作人体目标的人体关键点信息，确定所述各动作人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各动作人体目标是否存在黑板书写行为。
在本发明实施例的一种实施方式中，所述动作人体目标确定单元，包括：
重叠判断子单元，用于用预设的跟踪算法，判断所述当前视频帧对应的人体目标中的多个预设人体关键点对应的预设图形，与上一视频帧对应的人体目标中的多个预设人体关键点对应的预设图形，是否满足预设的重叠条件；
同一目标确定子单元，用于当所述重叠判断子单元的判断结果为是时，将所述当前视频帧中与上一视频帧中满足预设的重叠条件的预设图形对应的人体关键点对应的人体目标，作为与上一视频帧对应的人体目标为同一目标的人体目标。
在本发明实施例的一种实施方式中，所述多个预设人体关键点包括：标记有头部标识的关键点、标记有左肩标识的人体关键点以及标记有右肩标识的人体关键点。
在本发明实施例的一种实施方式中，所述重叠判断子单元，包括：
匹配值判断模块，用于将当前视频帧对应的人体目标中的多个预设人体关键点与上一视频帧对应的人体目标中的多个预设人体关键点作为匹配公式的参数，判断所述匹配公式得到的匹配值，是否为预设值；
重叠确定模块，用于当所述匹配值判断模块的判断结果为是时，确定所述当前视频帧对应的人体目标中的人体关键点，与上一视频帧对应的人体目标中的人体关键点满足预设的重叠条件。
在本发明实施例的一种实施方式中，所述匹配公式为：
Figure BDA0001744414370000291
式中，Match为匹配值，Head_rectf,K为当前视频帧中第K个人的多个预设人体关键点围成的外接矩形的面积，Head_rectf-1,K为上一视频帧中第K个人的多个预设人体关键点围成的外接矩形的面积，TM为判断阈值；
相应的，所述预设值为1。
在本发明实施例的一种实施方式中，所述行为确定单元340，包括：
关键点位置判断子单元，用于判断所述各人体目标的人体关键点坐标是否均在预设的黑板区域内；
行为确定子单元，用于当所述关键点位置判断子单元的判断结果为是时，根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为。
在本发明实施例的一种实施方式中，所述装置还包括：
帧数判断单元，用于从所述各人体目标中选择存在黑板书写行为的书写人体目标，判断从当前视频帧起连续的第一预设数量视频帧内，所述书写人体目标的黑板书写行为出现的帧数是否大于第二预设数量帧；
摄像头控制单元，用于当所述帧数判断单元的判断结果为是时，控制摄像头对准所述书写人体目标的标记有右手腕标识的关键点位置；
摄像头拉伸单元，用于将所述摄像头拉伸预设倍数后，进行视频录制。
在本发明实施例的一种实施方式中，所述机器学习算法的训练过程包括：
获取样本视频帧；
确定各所述样本视频帧的人体关键点标注结果，以及各所述样本视频帧对应的样本人体关键点热度图；
通过已标注人体关键点的样本视频帧、以及各所述样本视频帧对应的样本人体关键点热度图，对预设算法进行训练，得到满足预设条件的所述机器学习算法。
本发明实施例还提供了一种摄像机，如图12所示，包括摄像头100、存储器200、处理器300，其中，
所述摄像头100，用于拍摄图像；
所述存储器200，用于存放计算机程序；
所述处理器300，用于执行所述存储器上所存放的程序，实现如下步骤：
获取当前视频帧；
对所述当前视频帧用预设的机器学习算法进行分析，得到所述当前视频帧对应的多张人体关键点热度图；所述预设的机器学习算法是通过已标注人体关键点的样本视频帧，以及所述各样本视频帧对应的样本人体关键点热度图训练得到的；任一所述人体关键点热度图包括部位标识以及与该部位标识对应的所述当前视频帧的各像素点的关键点热度值；
根据所述多张人体关键点热度图确定所述当前视频帧对应的各人体目标的人体关键点信息；
根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为。
本发明实施例提供的摄像机通过属于同一人体目标的，且标记有预设部位标识的人体关键点的相对位置关系，来确定当前视频帧是否存在黑板书写行为，由于本发明实施例是根据当前视频帧来判断是否存在黑板书写行为，可以减小因相邻视频帧差异较小而导致的目标漏检，从而提高了黑板书写行为的检测准确率。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取当前视频帧；
对所述当前视频帧用预设的机器学习算法进行分析，得到所述当前视频帧对应的多张人体关键点热度图；所述预设的机器学习算法是通过已标注人体关键点的样本视频帧，以及所述各样本视频帧对应的样本人体关键点热度图训练得到的；任一所述人体关键点热度图包括部位标识以及与该部位标识对应的所述当前视频帧的各像素点的关键点热度值；
根据所述多张人体关键点热度图确定所述当前视频帧对应的各人体目标的人体关键点信息；
根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为。
本发明实施例提供的存储介质，通过属于同一人体目标的，且标记有预设部位标识的人体关键点的相对位置关系，来确定当前视频帧是否存在黑板书写行为，由于本发明实施例是根据当前视频帧来判断是否存在黑板书写行为，可以减小因相邻视频帧差异较小而导致的目标漏检，从而提高了黑板书写行为的检测准确率。
对于装置/摄像机/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (33)

1.一种黑板书写行为识别方法，其特征在于，包括：
获取当前视频帧；
对所述当前视频帧用预设的机器学习算法进行分析，得到所述当前视频帧对应的多张人体关键点热度图；所述预设的机器学习算法是通过已标注人体关键点的样本视频帧，以及所述各样本视频帧对应的样本人体关键点热度图训练得到的；任一所述人体关键点热度图包括部位标识以及与该部位标识对应的所述当前视频帧的各像素点的关键点热度值；
根据所述多张人体关键点热度图确定所述当前视频帧对应的各人体目标的人体关键点信息；
根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为。
2.根据权利要求1所述的方法，其特征在于，所述根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为，包括：
根据所述各人体目标的人体关键点信息，确定所述各人体目标中标记有右手腕标识的关键点、标记有右手肘标识的关键点以及标记有右肩膀标识的关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为。
3.根据权利要求2所述的方法，其特征在于，所述根据所述各人体目标的人体关键点信息，确定所述各人体目标中标记有右手腕标识的关键点、标记有右手肘标识的关键点以及标记有右肩膀标识的关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为，包括：
针对每个人体目标，根据该人体目标的人体关键点信息，判断该各人体目标中，标记有右手腕标识的关键点位置是否高于标记有右手肘标识的关键点位置，且标记有右手腕标识的关键点与标记有右手肘标识的关键点的水平间距是否小于第一预设阈值，且标记有右手肘标识的关键点与标记有右肩膀标识的关键点的竖直间距是否小于第二预设阈值；
如果是，确定该人体目标存在黑板书写行为。
4.根据权利要求1所述的方法，其特征在于，所述根据所述多张人体关键点热度图确定所述当前视频帧对应的各人体目标的人体关键点信息，包括：
从各所述人体关键点热度图中，选择关键点热度值中的极大值对应的各极大像素点，将所述各极大像素点的预设信息作为所述当前视频帧对应的各人体目标的人体关键点信息。
5.根据权利要求1所述的方法，其特征在于，所述根据所述多张人体关键点热度图确定所述当前视频帧对应的各人体目标的人体关键点信息，包括：
根据所述多张人体关键点热度图确定所述当前视频帧对应的初始关键点信息；
对所述初始关键点进行分组，将分在同一组的所述初始关键点信息作为同一人体目标的人体关键点信息。
6.根据权利要求5所述的方法，其特征在于，所述预设的机器学习算法是通过已标注人体关键点的样本视频帧，以及所述各样本视频帧对应的样本人体关键点热度图和样本部位亲密域PAF热度图训练得到的；任一所述PAF热度图包括与具有预设逻辑关系的两个候选关键点对应的当前视频帧各像素点的PFA值；
相应的，所述对所述初始关键点进行分组，包括：
对所述当前视频帧用所述预设的机器学习算法进行分析，得到所述当前视频帧对应的多张PAF热度图；
根据所述PAF热度图，计算具有预设逻辑关系的两个候选初始关键点的连接关系值；
将满足预设条件的所述连接关系值对应的具有预设逻辑关系的两个候选初始关键点分在同一组。
7.根据权利要求6所述的方法，其特征在于，所述根据所述PAF热度图，计算具有预设逻辑关系的两个候选初始关键点的连接关系值，包括：
在具有预设逻辑关系的两个候选初始关键点对应的PAF热度图中，查找在所述两个候选初始关键点连线上的各像素点的PAF值；
将在所述两个候选初始关键点连线上的各像素点的PAF值以及所述两个候选初始关键点的坐标，作为预设的关联判断公式的参数，将所述预设的关联判断公式得到的值作为所述两个候选初始关键点的连接关系值。
8.根据权利要求7所述的方法，其特征在于，所述预设的关联判断公式为：
Figure FDA0001744414360000031
式中，
Figure FDA0001744414360000032
指任意两个候选初始关键点j1到j2形成的向量的单位向量，p(u)是
Figure FDA0001744414360000033
和
Figure FDA0001744414360000034
连线上任意一点，Lc(p(u))指点p(u)在任意两个候选初始关键点j1和j2对应的PAF热度图上的PAF值，E指连接关系值；
所述将满足预设条件的所述连接关系值对应的具有预设逻辑关系的两个候选初始关键点分在同一组，包括：
将不小于连接判断值TC的所述连接关系值对应的具有预设逻辑关系的两个候选初始关键点分在同一组。
9.根据权利要求1所述的方法，其特征在于，所述根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为前，还包括：
用预设的跟踪算法，选择所述当前视频帧对应的人体目标中与上一视频帧对应的人体目标为同一目标的人体目标，作为动作人体目标；
相应的，所述根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为，包括：
根据所述各动作人体目标的人体关键点信息，确定所述各动作人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各动作人体目标是否存在黑板书写行为。
10.根据权利要求9所述的方法，其特征在于，所述用预设的跟踪算法，选择所述当前视频帧对应的人体目标中与上一视频帧对应的人体目标为同一目标的人体目标，包括：
用预设的跟踪算法，判断所述当前视频帧对应的人体目标中的多个预设人体关键点对应的预设图形，与上一视频帧对应的人体目标中的多个预设人体关键点对应的预设图形，是否满足预设的重叠条件；
如果是，将所述当前视频帧中与上一视频帧中满足预设的重叠条件的预设图形对应的人体关键点对应的人体目标，作为与上一视频帧对应的人体目标为同一目标的人体目标。
11.根据权利要求10所述的方法，其特征在于，所述多个预设人体关键点包括：标记有头部标识的关键点、标记有左肩标识的人体关键点以及标记有右肩标识的人体关键点。
12.根据权利要求10所述的方法，其特征在于，所述用预设的跟踪算法，判断所述当前视频帧对应的人体目标中的多个预设人体关键点对应的预设图形，与上一视频帧对应的人体目标中的多个预设人体关键点对应的预设图形，是否满足预设的重叠条件，包括：
将当前视频帧对应的人体目标中的多个预设人体关键点与上一视频帧对应的人体目标中的多个预设人体关键点作为匹配公式的参数；
判断所述匹配公式得到的匹配值，是否为预设值；
如果是，则确定所述当前视频帧对应的人体目标中的人体关键点对应的预设图形，与上一视频帧对应的人体目标中的人体关键点对应的预设图形满足预设的重叠条件。
13.根据权利要求12所述的方法，其特征在于，
所述匹配公式为：
Figure FDA0001744414360000051
式中，Match为匹配值，Head_rectf,K为当前视频帧中第K个人的多个预设人体关键点围成的外接矩形的面积，Head_rectf-1,K为上一视频帧中第K个人的多个预设人体关键点围成的外接矩形的面积，TM为判断阈值；
相应的，所述预设值为1。
14.根据权利要求1至13任一所述的方法，其特征在于，所述根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为，包括：
判断所述各人体目标的人体关键点坐标是否均在预设的黑板区域内；
当所述各人体目标的人体关键点坐标均在预设的黑板区域内时，根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为。
15.根据权利要求1至13任一所述的方法，其特征在于，还包括：
从所述各人体目标中选择存在黑板书写行为的书写人体目标，判断从当前视频帧起连续的第一预设数量视频帧内，所述书写人体目标的黑板书写行为出现的帧数是否大于第二预设数量帧；
如果是，控制摄像头对准所述书写人体目标的标记有右手腕标识的关键点位置；
将所述摄像头拉伸预设倍数后，进行视频录制。
16.根据权利要求1至13任一所述的方法，其特征在于，所述机器学习算法的训练过程包括：
获取样本视频帧；
确定各所述样本视频帧的人体关键点标注结果，以及各所述样本视频帧对应的样本人体关键点热度图；
通过已标注人体关键点的样本视频帧、以及各所述样本视频帧对应的样本人体关键点热度图，对预设算法进行训练，得到满足预设条件的所述机器学习算法。
17.一种黑板书写行为识别装置，其特征在于，包括：
视频帧获取单元，用于获取当前视频帧；
视频帧分析单元，用于对所述当前视频帧用预设的机器学习算法进行分析，得到所述当前视频帧对应的多张人体关键点热度图；所述预设的机器学习算法是通过已标注人体关键点的样本视频帧，以及所述各样本视频帧对应的样本人体关键点热度图训练得到的；任一所述人体关键点热度图包括部位标识以及与该部位标识对应的所述当前视频帧的各像素点的关键点热度值；
关键点确定单元，用于根据所述多张人体关键点热度图确定所述当前视频帧对应的各人体目标的人体关键点信息；
行为确定单元，用于根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为。
18.根据权利要求17所述的装置，其特征在于，所述行为确定单元，具体用于：
根据所述各人体目标的人体关键点信息，确定所述各人体目标中标记有右手腕标识的关键点、标记有右手肘标识的关键点以及标记有右肩膀标识的关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为。
19.根据权利要求18所述的装置，其特征在于，所述行为确定单元，具体用于：
针对每个人体目标，根据该人体目标的人体关键点信息，判断该各人体目标中，标记有右手腕标识的关键点位置是否高于标记有右手肘标识的关键点位置，且标记有右手腕标识的关键点与标记有右手肘标识的关键点的水平间距是否小于第一预设阈值，且标记有右手肘标识的关键点与标记有右肩膀标识的关键点的竖直间距是否小于第二预设阈值；
如果是，确定该人体目标存在黑板书写行为。
20.根据权利要求17所述的装置，其特征在于，所述关键点确定单元，具体用于：
从各所述人体关键点热度图中，选择关键点热度值中的极大值对应的各极大像素点，将所述各极大像素点的预设信息作为所述当前视频帧对应的各人体目标的人体关键点信息。
21.根据权利要求17所述的装置，其特征在于，所述关键点确定单元，包括：
初始关键点确定子单元，用于根据所述多张人体关键点热度图确定所述当前视频帧对应的初始关键点信息；
初始关键点分组子单元，用于对所述初始关键点进行分组，将分在同一组的所述初始关键点信息作为同一人体目标的人体关键点信息。
22.根据权利要求21所述的装置，其特征在于，所述预设的机器学习算法是通过已标注人体关键点的样本视频帧，以及所述各样本视频帧对应的样本人体关键点热度图和样本部位亲密域PAF热度图训练得到的；任一所述PAF热度图包括与具有预设逻辑关系的两个候选关键点对应的当前视频帧各像素点的PFA值；
相应的，所述初始关键点分组子单元，包括：
PAF热度图确定模块，用于对所述当前视频帧用所述预设的机器学习算法进行分析，得到所述当前视频帧对应的多张PAF热度图；
连接关系值计算模块，用于计算具有预设逻辑关系的两个候选初始关键点的连接关系值；
初始关键点分组模块，用于将满足预设条件的所述连接关系值对应的具有预设逻辑关系的两个候选初始关键点分在同一组。
23.根据权利要求22所述的装置，其特征在于，所述连接关系值计算模块，具体用于，
在具有预设逻辑关系的两个候选初始关键点对应的PAF热度图中，查找在所述两个候选初始关键点连线上的各像素点的PAF值；将在所述两个候选初始关键点连线上的各像素点的PAF值以及所述两个候选初始关键点的坐标，作为预设的关联判断公式的参数，将所述预设的关联判断公式得到的值作为所述两个候选初始关键点的连接关系值。
24.根据权利要求23所述的装置，其特征在于，所述预设的关联判断公式为：
Figure FDA0001744414360000081
式中，
Figure FDA0001744414360000082
指任意两个候选初始关键点j1到j2形成的向量的单位向量，p(u)是
Figure FDA0001744414360000083
和
Figure FDA0001744414360000084
连线上任意一点，Lc(p(u))指点p(u)在任意两个候选初始关键点j1和j2对应的PAF热度图上的PAF值，E指连接关系值；
相应的，所述初始关键点分组模块，具体用于，将不小于连接判断值TC的所述连接关系值对应的具有预设逻辑关系的两个候选初始关键点分在同一组。
25.根据权利要求17所述的装置，其特征在于，还包括：
动作人体目标确定单元，用于用预设的跟踪算法，选择所述当前视频帧对应的人体目标中与上一视频帧对应的人体目标为同一目标的人体目标，作为动作人体目标；
相应的，所述行为确定单元，具体用于，根据所述各动作人体目标的人体关键点信息，确定所述各动作人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各动作人体目标是否存在黑板书写行为。
26.根据权利要求25所述的装置，其特征在于，所述动作人体目标确定单元，包括：
重叠判断子单元，用于用预设的跟踪算法，判断所述当前视频帧对应的人体目标中的多个预设人体关键点对应的预设图形，与上一视频帧对应的人体目标中的多个预设人体关键点对应的预设图形，是否满足预设的重叠条件；
同一目标确定子单元，用于当所述重叠判断子单元的判断结果为是时，将所述当前视频帧中与上一视频帧中满足预设的重叠条件的预设图形对应的人体关键点对应的人体目标，作为与上一视频帧对应的人体目标为同一目标的人体目标。
27.根据权利要求26所述的装置，其特征在于，所述多个预设人体关键点包括：标记有头部标识的关键点、标记有左肩标识的人体关键点以及标记有右肩标识的人体关键点。
28.根据权利要求26所述的装置，其特征在于，所述重叠判断子单元，包括：
匹配值判断模块，用于将当前视频帧对应的人体目标中的多个预设人体关键点与上一视频帧对应的人体目标中的多个预设人体关键点作为匹配公式的参数，判断所述匹配公式得到的匹配值，是否为预设值；
重叠确定模块，用于当所述匹配值判断模块的判断结果为是时，确定所述当前视频帧对应的人体目标中的人体关键点，与上一视频帧对应的人体目标中的人体关键点满足预设的重叠条件。
29.根据权利要求28所述的装置，其特征在于，所述匹配公式为：
Figure FDA0001744414360000091
式中，Match为匹配值，Head_rectf,K为当前视频帧中第K个人的多个预设人体关键点围成的外接矩形的面积，Head_rectf-1,K为上一视频帧中第K个人的多个预设人体关键点围成的外接矩形的面积，TM为判断阈值；
相应的，所述预设值为1。
30.根据权利要求17至29任一所述的装置，其特征在于，所述行为确定单元，包括：
关键点位置判断子单元，用于判断所述各人体目标的人体关键点坐标是否均在预设的黑板区域内；
行为确定子单元，用于当所述关键点位置判断子单元的判断结果为是时，根据所述各人体目标的人体关键点信息，确定所述各人体目标预设关键点之间的相对位置关系，并根据所述相对位置关系确定所述各人体目标是否存在黑板书写行为。
31.根据权利要求17至29任一所述的装置，其特征在于，还包括：
帧数判断单元，用于从所述各人体目标中选择存在黑板书写行为的书写人体目标，判断从当前视频帧起连续的第一预设数量视频帧内，所述书写人体目标的黑板书写行为出现的帧数是否大于第二预设数量帧；
摄像头控制单元，用于当所述帧数判断单元的判断结果为是时，控制摄像头对准所述书写人体目标的标记有右手腕标识的关键点位置；
摄像头拉伸单元，用于将所述摄像头拉伸预设倍数后，进行视频录制。
32.根据权利要求17至29任一所述的装置，其特征在于，所述机器学习算法的训练过程包括：
获取样本视频帧；
确定各所述样本视频帧的人体关键点标注结果，以及各所述样本视频帧对应的样本人体关键点热度图；
通过已标注人体关键点的样本视频帧、以及各所述样本视频帧对应的样本人体关键点热度图，对预设算法进行训练，得到满足预设条件的所述机器学习算法。
33.一种摄像机，其特征在于，包括摄像头、存储器和处理器，其中，
所述摄像头，用于拍摄图像；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序，实现权利要求1-16任一所述的黑板书写行为识别方法。
CN201810835616.9A 2018-07-26 2018-07-26 一种黑板书写行为识别方法、装置及摄像机 Active CN110765814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810835616.9A CN110765814B (zh) 2018-07-26 2018-07-26 一种黑板书写行为识别方法、装置及摄像机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810835616.9A CN110765814B (zh) 2018-07-26 2018-07-26 一种黑板书写行为识别方法、装置及摄像机

Publications (2)

Publication Number Publication Date
CN110765814A true CN110765814A (zh) 2020-02-07
CN110765814B CN110765814B (zh) 2023-07-14

Family

ID=69328235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810835616.9A Active CN110765814B (zh) 2018-07-26 2018-07-26 一种黑板书写行为识别方法、装置及摄像机

Country Status (1)

Country Link
CN (1) CN110765814B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753624A (zh) * 2020-03-12 2020-10-09 杭州海康威视数字技术股份有限公司 化学实验的考点分析方法和装置
CN111814587A (zh) * 2020-06-18 2020-10-23 浙江大华技术股份有限公司 人体行为检测方法、教师行为检测方法及相关系统和装置
CN112001236A (zh) * 2020-07-13 2020-11-27 上海翎腾智能科技有限公司 基于人工智能的书写行为的识别方法及装置
CN113469081A (zh) * 2021-07-08 2021-10-01 西南交通大学 一种运动状态识别方法
CN113536857A (zh) * 2020-04-20 2021-10-22 深圳绿米联创科技有限公司 目标动作识别方法、装置、服务器及存储介质
CN114863473A (zh) * 2022-03-29 2022-08-05 北京百度网讯科技有限公司 一种人体关键点检测方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1881417A1 (en) * 2006-07-21 2008-01-23 Infodoc Technology Corporation Process and system for producing an electronic book
CN101699469A (zh) * 2009-11-09 2010-04-28 南京邮电大学 课堂录像中教师黑板书写动作的自动识别方法
JP2010239605A (ja) * 2009-03-13 2010-10-21 Ricoh Co Ltd 映像編集装置
JP2016099941A (ja) * 2014-11-26 2016-05-30 日本放送協会 オブジェクト位置推定システム、及びそのプログラム
CN106228293A (zh) * 2016-07-18 2016-12-14 重庆中科云丛科技有限公司 教学评估方法及系统
CN107609517A (zh) * 2017-09-15 2018-01-19 华中科技大学 一种基于计算机视觉的课堂行为检测系统
WO2018076484A1 (zh) * 2016-10-25 2018-05-03 华南理工大学 一种基于视频的捏合指尖跟踪方法
CN108304819A (zh) * 2018-02-12 2018-07-20 北京易真学思教育科技有限公司 姿态识别系统及方法、存储介质
US20190073177A1 (en) * 2016-03-10 2019-03-07 Shenzhen Skyworth-Rgb Electronic Co., Ltd. Display method and display apparatus

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1881417A1 (en) * 2006-07-21 2008-01-23 Infodoc Technology Corporation Process and system for producing an electronic book
JP2010239605A (ja) * 2009-03-13 2010-10-21 Ricoh Co Ltd 映像編集装置
CN101699469A (zh) * 2009-11-09 2010-04-28 南京邮电大学 课堂录像中教师黑板书写动作的自动识别方法
JP2016099941A (ja) * 2014-11-26 2016-05-30 日本放送協会 オブジェクト位置推定システム、及びそのプログラム
US20190073177A1 (en) * 2016-03-10 2019-03-07 Shenzhen Skyworth-Rgb Electronic Co., Ltd. Display method and display apparatus
CN106228293A (zh) * 2016-07-18 2016-12-14 重庆中科云丛科技有限公司 教学评估方法及系统
WO2018076484A1 (zh) * 2016-10-25 2018-05-03 华南理工大学 一种基于视频的捏合指尖跟踪方法
CN107609517A (zh) * 2017-09-15 2018-01-19 华中科技大学 一种基于计算机视觉的课堂行为检测系统
CN108304819A (zh) * 2018-02-12 2018-07-20 北京易真学思教育科技有限公司 姿态识别系统及方法、存储介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
BIN XIAO ET AL.: "Simple Baselines for Human Pose Estimation and Tracking", 《ARXIV》 *
BIN XIAO ET AL.: "Simple Baselines for Human Pose Estimation and Tracking", 《ARXIV》, 17 April 2018 (2018-04-17), pages 1 - 14 *
ROHIT GIRDHAR ET AL.: "Detect-and-Track: Efficient Pose Estimation in Videos", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
ROHIT GIRDHAR ET AL.: "Detect-and-Track: Efficient Pose Estimation in Videos", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 23 June 2018 (2018-06-23), pages 350 - 359, XP033475995, DOI: 10.1109/CVPR.2018.00044 *
ZHE CAO ET AL.: "Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
ZHE CAO ET AL.: "Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, 9 November 2017 (2017-11-09), pages 1302 - 1308 *
黄志敏等: "基于两方向动态时间规整的无分割手写汉字检测", 《计算机应用研究》, vol. 33, no. 11, pages 3499 - 3502 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753624A (zh) * 2020-03-12 2020-10-09 杭州海康威视数字技术股份有限公司 化学实验的考点分析方法和装置
CN111753624B (zh) * 2020-03-12 2023-08-22 杭州海康威视数字技术股份有限公司 化学实验的考点分析方法和装置
CN113536857A (zh) * 2020-04-20 2021-10-22 深圳绿米联创科技有限公司 目标动作识别方法、装置、服务器及存储介质
CN111814587A (zh) * 2020-06-18 2020-10-23 浙江大华技术股份有限公司 人体行为检测方法、教师行为检测方法及相关系统和装置
CN112001236A (zh) * 2020-07-13 2020-11-27 上海翎腾智能科技有限公司 基于人工智能的书写行为的识别方法及装置
CN113469081A (zh) * 2021-07-08 2021-10-01 西南交通大学 一种运动状态识别方法
CN113469081B (zh) * 2021-07-08 2023-06-06 西南交通大学 一种运动状态识别方法
CN114863473A (zh) * 2022-03-29 2022-08-05 北京百度网讯科技有限公司 一种人体关键点检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110765814B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN111104816B (zh) 一种目标物的姿态识别方法、装置及摄像机
CN110765814B (zh) 一种黑板书写行为识别方法、装置及摄像机
WO2021047232A1 (zh) 交互行为识别方法、装置、计算机设备和存储介质
Sullivan et al. Recognizing and tracking human action
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN108717531B (zh) 基于Faster R-CNN的人体姿态估计方法
CN110264493B (zh) 一种针对运动状态下的多目标对象追踪方法和装置
CN112926410B (zh) 目标跟踪方法、装置、存储介质及智能视频系统
CN109635634B (zh) 一种基于随机线性插值的行人再识别数据增强方法
CN111178120B (zh) 一种基于作物识别级联技术的害虫图像检测方法
CN112001219B (zh) 一种多角度多人脸识别考勤方法及系统
CN111460884A (zh) 基于人体跟踪的多人脸识别方法
KR20200061118A (ko) 영상 내 다중 객체 추적 방법 및 시스템
CN111582126A (zh) 基于多尺度行人轮廓分割融合的行人重识别方法
CN111860297A (zh) 一种应用于室内固定空间的slam回环检测方法
CN107330363B (zh) 一种快速的互联网广告牌检测方法
CN114627553A (zh) 一种基于卷积神经网络的教室场景学生行为检测的方法
CN111444816A (zh) 一种基于Faster RCNN的多尺度密集行人检测方法
CN108230322B (zh) 一种基于弱样本标记的眼底特征检测装置
CN114708645A (zh) 物件辨识装置及物件辨识方法
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN110751163B (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
CN115527083B (zh) 图像标注方法、装置和电子设备
CN108985294B (zh) 一种轮胎模具图片的定位方法、装置、设备及存储介质
CN113688819B (zh) 一种基于标记点的目标物期望点跟踪匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant