CN110895661A - 一种行为识别方法、装置及设备 - Google Patents
一种行为识别方法、装置及设备 Download PDFInfo
- Publication number
- CN110895661A CN110895661A CN201811061037.XA CN201811061037A CN110895661A CN 110895661 A CN110895661 A CN 110895661A CN 201811061037 A CN201811061037 A CN 201811061037A CN 110895661 A CN110895661 A CN 110895661A
- Authority
- CN
- China
- Prior art keywords
- head
- shoulder
- image
- person
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种行为识别方法、装置及设备，方法包括：在包含待识别人员的待处理图像中提取待识别人员的头肩区域；将所提取的头肩区域输入预先训练得到的行为分类模型，得到待识别人员的行为数据；可见，本方案中，通过对图像进行分析，得到待识别人员的行为数据，实现了不依赖人工、自动识别人员行为。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种行为识别方法、装置及设备。
背景技术
在一些场景中，通常需要对人员的行为进行识别。比如，在课堂上，通常需要识别学生是否在听讲、或者自习，还是在睡觉、玩手机；在公司会议中，通常需要识别员工是否在听讲，还是在发呆、玩手机，等等。
现有方案中，大多采用人为识别的方式，比如，讲课老师或者巡逻老师识别学生是否在听讲，会议发言人或者会议记录员识别员工注意力是否集中。可见，目前急需一种不依赖人工的、自动识别人员行为的方案。
发明内容
本发明实施例的目的在于提供一种行为识别方法、装置及设备，以提供一种不依赖人工的、自动识别人员行为的方案。
为达到上述目的，本发明实施例提供了一种行为识别方法，所述方法包括：
获取待识别人员的图像，作为待处理图像；
在所述待处理图像中提取所述待识别人员的头肩区域；
将所提取的头肩区域输入预先训练得到的行为分类模型，得到所述待识别人员的行为数据。
可选的，所述获取待识别人员的图像，作为待处理图像，包括：
对包含待识别人员的原始图像进行以下任意一种或多种预处理：滤波处理、均衡处理，得到待处理图像。
可选的，所述在所述待处理图像中提取所述待识别人员的头肩区域，包括：
通过对所述待处理图像进行头肩检测，得到所述待处理图像中的头肩框；
对所述头肩框进行外扩处理，得到外扩区域；
在所述待处理图像中提取所述外扩区域，作为所述待识别人员的头肩区域。
可选的，所述对所述头肩框进行外扩处理，得到外扩区域，包括：
将所述头肩框的左上角点分别向左和向上两个方向进行外扩，得到外扩后的左上角点；
根据预设外扩系数，计算外扩区域的长度和宽度；
根据所述外扩后的左上角点、以及所述外扩区域的长度和宽度，得到所述外扩区域。
可选的，所述将所述头肩框的左上角点分别向左和向上两个方向进行外扩，得到外扩后的左上角点，包括：
利用如下算式，计算外扩后的左上角点的坐标：
X2＝X1-αW1；Y2＝Y1-βH1；其中，X2表示所述外扩后的左上角点的X轴坐标，X1表示所述头肩框的左上角点的X轴坐标，Y2表示所述外扩后的左上角点的Y轴坐标，Y1表示所述头肩框的左上角点的Y轴坐标，α表示第一预设值，β表示第二预设值，W1表示所述头肩框的宽度，H1表示所述头肩框的高度；
所述根据预设外扩系数，计算外扩区域的长度和宽度，包括：
利用如下算式，计算外扩区域的长度和宽度：
W2＝(1+m)W1，H2＝(1+n)H1；其中，W2表示所述外扩区域的宽度，W1表示所述头肩框的宽度，H2表示所述外扩区域的高度，H1表示所述头肩框的高度，m表示第一预设外扩系数，n表示第二预设外扩系数。
可选的，采用如下步骤训练得到所述行为分类模型：
获取头肩样本图像及其对应的标注信息，所述标注信息包括所述头肩样本图像对应的行为数据；
将所述头肩样本图像输入到预设结构的分类网络，并利用所述标注信息对所述分类网络的参数进行迭代调整，直至满足迭代停止条件时，得到训练完成的行为分类模型。
可选的，在所述得到所述待识别人员的行为数据之后，还包括：
输出所述待识别人员的头肩区域在所述待处理图像中的位置信息及所述待识别人员的行为数据。
可选的，所述输出所述待识别人员的头肩区域在所述待处理图像中的位置信息及所述待识别人员的行为数据，包括：
在所述待处理图像中展示所述待识别人员的头肩框及行为数据，所述头肩框中包括所述待识别人员的头肩区域。
为达到上述目的，本发明实施例还提供了一种行为识别装置，所述装置包括：
第一获取模块，用于获取待识别人员的图像，作为待处理图像；
提取模块，用于在所述待处理图像中提取所述待识别人员的头肩区域；
识别模块，用于将所提取的头肩区域输入预先训练得到的行为分类模型，得到所述待识别人员的行为数据。
可选的，所述第一获取模块，具体用于：
对包含待识别人员的原始图像进行以下任意一种或多种预处理：滤波处理、均衡处理，得到待处理图像。
可选的，所述提取模块，包括：
检测子模块，用于通过对所述待处理图像进行头肩检测，得到所述待处理图像中的头肩框；
外扩子模块，用于对所述头肩框进行外扩处理，得到外扩区域；
提取子模块，用于在所述待处理图像中提取所述外扩区域，作为所述待识别人员的头肩区域。
可选的，所述外扩子模块，具体用于：
将所述头肩框的左上角点分别向左和向上两个方向进行外扩，得到外扩后的左上角点；根据预设外扩系数，计算外扩区域的长度和宽度；根据所述外扩后的左上角点、以及所述外扩区域的长度和宽度，得到所述外扩区域。
可选的，所述外扩子模块，还用于：
利用如下算式，计算外扩后的左上角点的坐标：
X2＝X1-αW1；Y2＝Y1-βH1；其中，X2表示所述外扩后的左上角点的X轴坐标，X1表示所述头肩框的左上角点的X轴坐标，Y2表示所述外扩后的左上角点的Y轴坐标，Y1表示所述头肩框的左上角点的Y轴坐标，α表示第一预设值，β表示第二预设值，W1表示所述头肩框的宽度，H1表示所述头肩框的高度；
利用如下算式，计算外扩区域的长度和宽度：
W2＝(1+m)W1，H2＝(1+n)H1；其中，W2表示所述外扩区域的宽度，W1表示所述头肩框的宽度，H2表示所述外扩区域的高度，H1表示所述头肩框的高度，m表示第一预设外扩系数，n表示第二预设外扩系数。
可选的，所述装置还包括：
第二获取模块，用于获取头肩样本图像及其对应的标注信息，所述标注信息包括所述头肩样本图像对应的行为数据；
训练模块，用于将所述头肩样本图像输入到预设结构的分类网络，并利用所述标注信息对所述分类网络的参数进行迭代调整，直至满足迭代停止条件时，得到训练完成的行为分类模型。
可选的，所述装置还包括：
输出模块，用于输出所述待识别人员的头肩区域在所述待处理图像中的位置信息及所述待识别人员的行为数据。
可选的，所述输出模块，具体用于：
在所述待处理图像中展示所述待识别人员的头肩框及行为数据，所述头肩框中包括所述待识别人员的头肩区域。
为达到上述目的，本发明实施例还提供了一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一种行为识别方法。
应用本发明实施例进行行为识别时，在包含待识别人员的待处理图像中提取待识别人员的头肩区域；将所提取的头肩区域输入预先训练得到的行为分类模型，得到待识别人员的行为数据；可见，本方案中，通过对图像进行分析，得到待识别人员的行为数据，实现了不依赖人工、自动识别人员行为。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的行为识别方法的第一种流程示意图；
图2为本发明实施例提供的头肩框及外扩区域示意图；
图3为本发明实施例提供的分类网络结构示意图；
图4为本发明实施例提供的行为识别方法的第二种流程示意图；
图5为本发明实施例提供的一种行为识别装置的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决上述技术问题，本发明实施例提供了一种行为识别方法、装置及设备。该方法及装置可以应用于各种电子设备，比如手机、电脑等等，具体不做限定。下面首先对本发明实施例提供的一种行为识别方法进行详细说明。
图1为本发明实施例提供的行为识别方法的第一种流程示意图，包括：
S101：获取待识别人员的图像，作为待处理图像。
举例来说，待识别人员可以为学生、员工，等等，具体不做限定。以学生为例来说，可以针对课堂场景进行图像采集，采集到的图像中包括多个学生；可以将每个学生都作为待识别人员，或者，也可以将部分学生作为待识别人员，可以根据实际情况选择待识别人员。
一种实施方式中，可以先获取包含待识别人员的原始图像，然后对原始图像进行预处理，得到S101中所说的待处理图像。预处理可以包括滤波处理、均衡处理、去噪处理等等，具体不做限定。举例来说，滤波处理可以为图像中值滤波处理，均衡处理可以为图像直方图均衡化处理等。
对原始图像进行预处理，可以提高图像质量，后续对图像进行分析时，可以提高分析准确度。
S102：在待处理图像中提取待识别人员的头肩区域。
待处理图像中可以包括一个或多个待识别人员，如果包括多个待识别人员，则分别提取每个待识别人员的头肩区域。
以课堂场景为例来说，可以先识别学生所在区域，然后在学生所在区域中进一步识别学生的头肩区域，这样相比于在整个图像中识别头肩区域，减少了计算量。如果针对课堂场景进行图像采集的相机位置固定，则可以预先在图像中标定学生所在区域。或者，也可以预先学习学生所在区域的图像特征，根据学习到的图像特征，在图像中识别学生所在区域。或者，可以采用YOLO9000检测网络，在图像中识别学生所在区域。
举例来说，可以预先训练得到头肩检测模型，利用该头肩检测模型，识别图像中的头肩区域。具体来说，可以先获取不同场景中的图像样本，仍以课堂场景为例来说，可以获取不同课堂场景中的图像样本。对图像样本中人员的头肩框进行人工标注，然后利用标注后的图像，对深度学习框架进行训练，训练完成后便得到了头肩检测模型。比如，深度学习框架可以为Caffe，或者也可以为其他，具体不做限定。
一种实施方式中，S102可以包括：通过对所述待处理图像进行头肩检测，得到所述待处理图像中的头肩框；对所述头肩框进行外扩处理，得到外扩区域；在所述待处理图像中提取所述外扩区域，作为所述待识别人员的头肩区域。
本实施方式中，对人员的头肩框进行外扩，外扩区域能够涵盖人员的活动范围，对外扩区域进行分析，可以提高行为分析的准确度。
仍以课堂场景为例来说，对学生的头肩框进行外扩，外扩区域能够涵盖课堂、书本等环境信息，这样，外扩区域可以涵盖学生的趴桌子、玩手机等行为的活动范围，可以提高相似行为分类的准确度。比如，学生以相似的姿势趴在桌子上，可能在玩手机，也可能在看书，本实施方式中，对学生的头肩框进行外扩，如果外扩区域包括学生手持手机的画面，则表示该学生在玩手机，如果外扩区域包括学生手持书本的画面，则表示该学生在看书。
作为一种实施方式，对头肩框进行外扩处理，得到外扩区域，可以包括：
将所述头肩框的左上角点分别向左和向上两个方向进行外扩，得到外扩后的左上角点；根据预设外扩系数，计算外扩区域的长度和宽度；根据所述外扩后的左上角点、以及所述外扩区域的长度和宽度，得到所述外扩区域。
参考图2，可以将头肩框的左上角点P1向左和向上移动，将移动后得到的点P2作为外扩后的左上角点；具体的，可以利用如下算式，计算外扩后的左上角点的坐标：X2＝X1-αW1；Y2＝Y1-βH1；其中，X2表示所述外扩后的左上角点的X轴坐标，X1表示所述头肩框的左上角点的X轴坐标，Y2表示所述外扩后的左上角点的Y轴坐标，Y1表示所述头肩框的左上角点的Y轴坐标，α表示第一预设值，β表示第二预设值，W1表示所述头肩框的宽度，H1表示所述头肩框的高度。
另外，将外扩区域的长度和宽度都变大，具体的，可以利用如下算式，计算外扩区域的长度和宽度：W2＝(1+m)W1，H2＝(1+n)H1；其中，W2表示所述外扩区域的宽度，W1表示所述头肩框的宽度，H2表示所述外扩区域的高度，H1表示所述头肩框的高度，m表示第一预设外扩系数，n表示第二预设外扩系数。
上述α、β、m和n可以根据实际情况进行设定，具体数值不做限定。
S103：将所提取的头肩区域输入预先训练得到的行为分类模型，得到待识别人员的行为数据。
举例来说，可以采用如下步骤训练得到所述行为分类模型：
获取头肩样本图像及其对应的标注信息，所述标注信息包括所述头肩样本图像对应的行为数据；
将所述头肩样本图像输入到预设结构的分类网络，并利用所述标注信息对所述分类网络的参数进行迭代调整，直至满足迭代停止条件时，得到训练完成的行为分类模型。
上述一种实施方式中，对待处理图像中的头肩框进行了外扩处理；这种情况下，训练分类模型时的头肩样本图像也包含外扩后的头肩区域。比如，可以先获取整体场景图像，通过对该场景图像进行头肩检测，得到该场景图像中的头肩框；对头肩框进行外扩处理，得到外扩区域；在该场景图像中提取该外扩区域，作为头肩样本图像。
然后可以人工对该头肩样本图像进行标注，标注信息包括该头肩样本图像对应的行为数据，行为数据也就是该头肩样本图像中人员的具体行为，如听讲、阅读、书写、举手、趴桌子、玩手机、站立、发呆等等，具体不做限定。该标注信息也可称为行为标签。
然后利用头肩样本图像及其对应的标注信息，对预设结构的分类网络进行训练。举例来说，该分类网络的结构可以为Inception结构，或者，可以根据实际需求对Inception结构进行改进。利用Inception结构可以提取头肩样本图像中的纹理特征，分类网络中的最后一层可以为全连接层，该全连接层可以是多分支的。训练过程只是对分类网络的参数进行调整，分类网络的结构是不变的，或者说，训练完成的行为分类模型与分类网络的结构是相同的。
参考图3，分类网络及行为分类模型可以以Inception结构作为主干网络，主干网络连接多个行为分支作为最后的全连接层。每个行为分支对应一种人员行为，行为分类模型的分类结果可以如表1所示：
表1
| 标注信息(行为标签) | 听讲 | 书写 | 阅读 | 站立 | …… |
| 头肩样本图像的置信度 | 0.865 | 0.105 | 0.035 | 0.952 | …… |
| 置信度阈值 | 0.5 | 0.5 | 0.5 | 0.8 | …… |
| 判断结果 | 是 | 否 | 否 | 是 | …… |
判断结果也就是分类结果，根据该分类结果可知，待识别人员的行为数据包括听讲和站立。
作为一种实施方式，在得到待识别人员的行为数据之后，还可以输出所述待识别人员的头肩区域在所述待处理图像中的位置信息及所述待识别人员的行为数据。
该位置信息可以为待处理图像中的头肩框的坐标。假设待处理图像中存在多个待识别人员，假设第k个人员的头肩框的坐标为(Xk，Yk，Wk，Hk)，其中，(Xk，Yk)表示头肩框左上角点的坐标，Wk表示头肩框的宽度，Hk表示头肩框的高度；另外，第k个人员的行为数据为：阅读；这种情况下，可以输出如下信息：(Xk，Yk，Wk，Hk)；阅读。
或者，输出的位置信息可以为外扩区域的坐标。假设待处理图像中存在多个待识别人员，假设第k个人员的头肩框的坐标为(Xk，Yk，Wk，Hk)，外扩区域的坐标为(Xk-αWk，Yk-βHk，(1+m)Wk，(1+n)Hk)，其中，(Xk-αWk，Yk-βHk)表示外扩区域左上角点的坐标，(1+m)Wk表示外扩区域的宽度，(1+n)Hk表示外扩区域的高度；另外，第k个人员的行为数据为：阅读；这种情况下，可以输出如下信息：(Xk-αWk，Yk-βHk，(1+m)Wk，(1+n)Hk)；阅读。
作为一种实施方式，可以在所述待处理图像中展示所述待识别人员的头肩框及行为数据，所述头肩框中包括所述待识别人员的头肩区域。
本实施方式中，输出头肩区域在待处理图像中的位置信息的方式为在图像中展示头肩框，并且展示头肩框对应的行为数据，这样，可以更直观地展示人员的行为数据。
一种实施方式中，还可以预先获取每个人员的身份信息，将人员的身份信息与行为数据对应展示。
以课堂场景为例来说，如果针对课堂场景进行图像采集的相机位置固定，则可以将学生的头肩框与学生的身份信息进行绑定，得到学生的行为数据后，可以对应输出学生的身份信息。学生的身份信息可以为名称或学号，具体不做限定。
或者，也可以预先获取学生的人脸图像，从人脸图像中提取人脸特征，将人脸特征与学生的身份信息进行绑定；然后，利用本实施例进行行为识别时，可以基于待处理图像，提取学生的人脸特征，进而确定学生的身份信息，得到学生的行为数据后，可以对应输出学生的身份信息。
应用本发明图1所示实施例，进行行为识别时，在包含待识别人员的待处理图像中提取待识别人员的头肩区域；将所提取的头肩区域输入预先训练得到的行为分类模型，得到待识别人员的行为数据；可见，本方案中，通过对图像进行分析，得到待识别人员的行为数据，实现了不依赖人工、自动识别人员行为。
图4为本发明实施例提供的行为识别方法的第二种流程示意图，包括：
S401：获取包含多个待识别人员的原始图像。
一种情况下，应用场景可以为课堂，该待识别人员可以为学生。
S402：对该原始图像进行以下任意一种或多种预处理：滤波处理、均衡处理，得到待处理图像。
举例来说，滤波处理可以为图像中值滤波处理，均衡处理可以为图像直方图均衡化处理等。对原始图像进行预处理，可以提高图像质量，后续对图像进行分析时，可以提高分析准确度。
S403：通过对待处理图像进行头肩检测，得到待处理图像中的多个头肩框。
以课堂场景为例来说，可以先识别学生所在区域，然后在学生所在区域中进行头肩检测，这样相比于在整个图像中进行头肩检测，减少了计算量。如果针对课堂场景进行图像采集的相机位置固定，则可以预先在图像中标定学生所在区域。或者，也可以预先学习学生所在区域的图像特征，根据学习到的图像特征，在图像中识别学生所在区域。或者，可以采用YOLO9000检测网络，在图像中识别学生所在区域。
可以将得到的多个头肩框存储至头肩检测列表，后续可以根据该列表的顺序，依次对每个头肩框进行处理。该列表中可以存储每个头肩框的坐标，比如，第k个人员的头肩框的坐标可以为(Xk，Yk，Wk，Hk)，其中，(Xk，Yk)表示头肩框左上角点的坐标，Wk表示头肩框的宽度，Hk表示头肩框的高度。
S404：针对每个头肩框，对该头肩框进行外扩处理，得到外扩区域；在待处理图像中提取该外扩区域，作为一个待识别人员的头肩区域。
外扩区域能够涵盖人员的活动范围，对外扩区域进行分析，可以提高行为分析的准确度。
仍以课堂场景为例来说，对学生的头肩框进行外扩，外扩区域能够涵盖课堂、书本等环境信息，这样，外扩区域可以涵盖学生的趴桌子、玩手机等行为的活动范围，可以提高相似行为分类的准确度。比如，学生以相似的姿势趴在桌子上，可能在玩手机，也可能在看书，本实施例中，对学生的头肩框进行外扩，如果外扩区域包括学生手持手机的画面，则表示该学生在玩手机，如果外扩区域包括学生手持书本的画面，则表示该学生在看书。
作为一种实施方式，对头肩框进行外扩处理，得到外扩区域，可以包括：
将所述头肩框的左上角点分别向左和向上两个方向进行外扩，得到外扩后的左上角点；根据预设外扩系数，计算外扩区域的长度和宽度；根据所述外扩后的左上角点、以及所述外扩区域的长度和宽度，得到所述外扩区域。
以一个头肩框为例来说，参考图2，可以将头肩框的左上角点P1向左和向上移动，将移动后得到的点P2作为外扩后的左上角点；具体的，可以利用如下算式，计算外扩后的左上角点的坐标：X2＝X1-αW1；Y2＝Y1-βH1；其中，X2表示所述外扩后的左上角点的X轴坐标，X1表示所述头肩框的左上角点的X轴坐标，Y2表示所述外扩后的左上角点的Y轴坐标，Y1表示所述头肩框的左上角点的Y轴坐标，α表示第一预设值，β表示第二预设值，W1表示所述头肩框的宽度，H1表示所述头肩框的高度。
另外，将外扩区域的长度和宽度都变大，具体的，可以利用如下算式，计算外扩区域的长度和宽度：W2＝(1+m)W1，H2＝(1+n)H1；其中，W2表示所述外扩区域的宽度，W1表示所述头肩框的宽度，H2表示所述外扩区域的高度，H1表示所述头肩框的高度，m表示第一预设外扩系数，n表示第二预设外扩系数。
上述α、β、m和n可以根据实际情况进行设定，具体数值不做限定。
S405：分别将所提取的每个待识别人员的头肩区域输入预先训练得到的行为分类模型，得到每个待识别人员的行为数据。
举例来说，可以采用如下步骤训练得到所述行为分类模型：
获取头肩样本图像及其对应的标注信息，所述标注信息包括所述头肩样本图像对应的行为数据；
将所述头肩样本图像输入到预设结构的分类网络，并利用所述标注信息对所述分类网络的参数进行迭代调整，直至满足迭代停止条件时，得到训练完成的行为分类模型。
本实施例中，对待处理图像中的头肩框进行了外扩处理；这种情况下，训练分类模型时的头肩样本图像也包含外扩后的头肩区域。比如，可以先获取整体场景图像，通过对该场景图像进行头肩检测，得到该场景图像中的头肩框；对头肩框进行外扩处理，得到外扩区域；在该场景图像中提取该外扩区域，作为头肩样本图像。
然后可以人工对该头肩样本图像进行标注，标注信息包括该头肩样本图像对应的行为数据，行为数据也就是该头肩样本图像中人员的具体行为，如听讲、阅读、书写、举手、趴桌子、玩手机、站立、发呆等等，具体不做限定。该标注信息也可称为行为标签。
然后利用头肩样本图像及其对应的标注信息，对预设结构的分类网络进行训练。举例来说，该分类网络的结构可以为Inception结构，或者，可以根据实际需求对Inception结构进行改进。利用Inception结构可以提取头肩样本图像中的纹理特征，分类网络中的最后一层可以为全连接层，该全连接层可以是多分支的。训练过程只是对分类网络的参数进行调整，分类网络的结构是不变的，或者说，训练完成的行为分类模型与分类网络的结构是相同的。
参考图3，分类网络及行为分类模型可以以Inception结构作为主干网络，主干网络连接多个行为分支作为最后的全连接层。每个行为分支对应一种人员行为，行为分类模型的分类结果可以如上述表1所示。
S406：输出每个待识别人员的头肩区域在待处理图像中的位置信息及该待识别人员的行为数据。
输出的位置信息可以为外扩区域的坐标。假设待处理图像中存在多个待识别人员，假设第k个人员的头肩框的坐标为(Xk，Yk，Wk，Hk)，外扩区域的坐标为(Xk-αWk，Yk-βHk，(1+m)Wk，(1+n)Hk)，其中，(Xk，Yk)表示头肩框左上角点的坐标，Wk表示头肩框的宽度，Hk表示头肩框的高度，(Xk-αWk，Yk-βHk)表示外扩区域左上角点的坐标，(1+m)Wk表示外扩区域的宽度，(1+n)Hk表示外扩区域的高度；另外，第k个人员的行为数据为：阅读；这种情况下，可以输出如下信息：(Xk-αWk，Yk-βHk，(1+m)Wk，(1+n)Hk)；阅读。
应用本发明图4所示实施例，第一方面，通过对图像进行分析，得到待识别人员的行为数据，实现了不依赖人工、自动识别人员行为；第二方面，对原始图像进行预处理，提高图像质量，进而提高了图像分析准确度；第三方面，对人员的头肩框进行外扩，外扩区域能够涵盖人员的活动范围及人员所在的环境上下文信息，对外扩区域进行分析，可以提高行为分析的准确度；第四方面，本实施例中的行为分类模型包括多种标注信息(行为标签)，可以识别人员的多种行为，扩展性较好。
本发明实施例还提供了一种行为识别装置，如图5所示，包括：
第一获取模块501，用于获取待识别人员的图像，作为待处理图像；
提取模块502，用于在所述待处理图像中提取所述待识别人员的头肩区域；
识别模块503，用于将所提取的头肩区域输入预先训练得到的行为分类模型，得到所述待识别人员的行为数据。
作为一种实施方式，第一获取模块501，具体用于：
对包含待识别人员的原始图像进行以下任意一种或多种预处理：滤波处理、均衡处理，得到待处理图像。
作为一种实施方式，提取模块502，包括：检测子模块、外扩子模块和提取子模块(图中未示出)，其中，
检测子模块，用于通过对所述待处理图像进行头肩检测，得到所述待处理图像中的头肩框；
外扩子模块，用于对所述头肩框进行外扩处理，得到外扩区域；
提取子模块，用于在所述待处理图像中提取所述外扩区域，作为所述待识别人员的头肩区域。
作为一种实施方式，外扩子模块，具体用于：
将所述头肩框的左上角点分别向左和向上两个方向进行外扩，得到外扩后的左上角点；根据预设外扩系数，计算外扩区域的长度和宽度；根据所述外扩后的左上角点、以及所述外扩区域的长度和宽度，得到所述外扩区域。
作为一种实施方式，外扩子模块，还用于：
利用如下算式，计算外扩后的左上角点的坐标：
X2＝X1-αW1；Y2＝Y1-βH1；其中，X2表示所述外扩后的左上角点的X轴坐标，X1表示所述头肩框的左上角点的X轴坐标，Y2表示所述外扩后的左上角点的Y轴坐标，Y1表示所述头肩框的左上角点的Y轴坐标，α表示第一预设值，β表示第二预设值，W1表示所述头肩框的宽度，H1表示所述头肩框的高度；
利用如下算式，计算外扩区域的长度和宽度：
W2＝(1+m)W1，H2＝(1+n)H1；其中，W2表示所述外扩区域的宽度，W1表示所述头肩框的宽度，H2表示所述外扩区域的高度，H1表示所述头肩框的高度，m表示第一预设外扩系数，n表示第二预设外扩系数。
作为一种实施方式，所述装置还包括：第二获取模块和训练模块(图中未示出)，其中，
第二获取模块，用于获取头肩样本图像及其对应的标注信息，所述标注信息包括所述头肩样本图像对应的行为数据；
训练模块，用于将所述头肩样本图像输入到预设结构的分类网络，并利用所述标注信息对所述分类网络的参数进行迭代调整，直至满足迭代停止条件时，得到训练完成的行为分类模型。
作为一种实施方式，所述装置还包括：
输出模块(图中未示出)，用于输出所述待识别人员的头肩区域在所述待处理图像中的位置信息及所述待识别人员的行为数据。
作为一种实施方式，所述输出模块，具体用于：
在所述待处理图像中展示所述待识别人员的头肩框及行为数据，所述头肩框中包括所述待识别人员的头肩区域。
应用本发明实施例进行行为识别时，在包含待识别人员的待处理图像中提取待识别人员的头肩区域；将所提取的头肩区域输入预先训练得到的行为分类模型，得到待识别人员的行为数据；可见，本方案中，通过对图像进行分析，得到待识别人员的行为数据，实现了不依赖人工、自动识别人员行为。
本发明实施例还提供一种电子设备，如图6所示，包括处理器601和存储器602，
存储器602，用于存放计算机程序；
处理器601，用于执行存储器602上所存放的程序时，实现上述任一种行为识别方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种行为识别方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例以及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (17)
1.一种行为识别方法，其特征在于，所述方法包括：
获取待识别人员的图像，作为待处理图像；
在所述待处理图像中提取所述待识别人员的头肩区域；
将所提取的头肩区域输入预先训练得到的行为分类模型，得到所述待识别人员的行为数据。
2.根据权利要求1所述的方法，其特征在于，所述获取待识别人员的图像，作为待处理图像，包括：
对包含待识别人员的原始图像进行以下任意一种或多种预处理：滤波处理、均衡处理，得到待处理图像。
3.根据权利要求1所述的方法，其特征在于，所述在所述待处理图像中提取所述待识别人员的头肩区域，包括：
通过对所述待处理图像进行头肩检测，得到所述待处理图像中的头肩框；
对所述头肩框进行外扩处理，得到外扩区域；
在所述待处理图像中提取所述外扩区域，作为所述待识别人员的头肩区域。
4.根据权利要求3所述的方法，其特征在于，所述对所述头肩框进行外扩处理，得到外扩区域，包括：
将所述头肩框的左上角点分别向左和向上两个方向进行外扩，得到外扩后的左上角点；
根据预设外扩系数，计算外扩区域的长度和宽度；
根据所述外扩后的左上角点、以及所述外扩区域的长度和宽度，得到所述外扩区域。
5.根据权利要求4所述的方法，其特征在于，所述将所述头肩框的左上角点分别向左和向上两个方向进行外扩，得到外扩后的左上角点，包括：
利用如下算式，计算外扩后的左上角点的坐标：
X2＝X1-αW1；Y2＝Y1-βH1；其中，X2表示所述外扩后的左上角点的X轴坐标，X1表示所述头肩框的左上角点的X轴坐标，Y2表示所述外扩后的左上角点的Y轴坐标，Y1表示所述头肩框的左上角点的Y轴坐标，α表示第一预设值，β表示第二预设值，W1表示所述头肩框的宽度，H1表示所述头肩框的高度；
所述根据预设外扩系数，计算外扩区域的长度和宽度，包括：
利用如下算式，计算外扩区域的长度和宽度：
W2＝(1+m)W1，H2＝(1+n)H1；其中，W2表示所述外扩区域的宽度，W1表示所述头肩框的宽度，H2表示所述外扩区域的高度，H1表示所述头肩框的高度，m表示第一预设外扩系数，n表示第二预设外扩系数。
6.根据权利要求1所述的方法，其特征在于，采用如下步骤训练得到所述行为分类模型：
获取头肩样本图像及其对应的标注信息，所述标注信息包括所述头肩样本图像对应的行为数据；
将所述头肩样本图像输入到预设结构的分类网络，并利用所述标注信息对所述分类网络的参数进行迭代调整，直至满足迭代停止条件时，得到训练完成的行为分类模型。
7.根据权利要求1所述的方法，其特征在于，在所述得到所述待识别人员的行为数据之后，还包括：
输出所述待识别人员的头肩区域在所述待处理图像中的位置信息及所述待识别人员的行为数据。
8.根据权利要求7所述的方法，其特征在于，所述输出所述待识别人员的头肩区域在所述待处理图像中的位置信息及所述待识别人员的行为数据，包括：
在所述待处理图像中展示所述待识别人员的头肩框及行为数据，所述头肩框中包括所述待识别人员的头肩区域。
9.一种行为识别装置，其特征在于，所述装置包括：
第一获取模块，用于获取待识别人员的图像，作为待处理图像；
提取模块，用于在所述待处理图像中提取所述待识别人员的头肩区域；
识别模块，用于将所提取的头肩区域输入预先训练得到的行为分类模型，得到所述待识别人员的行为数据。
10.根据权利要求9所述的装置，其特征在于，所述第一获取模块，具体用于：
对包含待识别人员的原始图像进行以下任意一种或多种预处理：滤波处理、均衡处理，得到待处理图像。
11.根据权利要求9所述的装置，其特征在于，所述提取模块，包括：
检测子模块，用于通过对所述待处理图像进行头肩检测，得到所述待处理图像中的头肩框；
外扩子模块，用于对所述头肩框进行外扩处理，得到外扩区域；
提取子模块，用于在所述待处理图像中提取所述外扩区域，作为所述待识别人员的头肩区域。
12.根据权利要求11所述的装置，其特征在于，所述外扩子模块，具体用于：
将所述头肩框的左上角点分别向左和向上两个方向进行外扩，得到外扩后的左上角点；根据预设外扩系数，计算外扩区域的长度和宽度；根据所述外扩后的左上角点、以及所述外扩区域的长度和宽度，得到所述外扩区域。
13.根据权利要求12所述的装置，其特征在于，所述外扩子模块，还用于：
利用如下算式，计算外扩后的左上角点的坐标：
X2＝X1-αW1；Y2＝Y1-βH1；其中，X2表示所述外扩后的左上角点的X轴坐标，X1表示所述头肩框的左上角点的X轴坐标，Y2表示所述外扩后的左上角点的Y轴坐标，Y1表示所述头肩框的左上角点的Y轴坐标，α表示第一预设值，β表示第二预设值，W1表示所述头肩框的宽度，H1表示所述头肩框的高度；
利用如下算式，计算外扩区域的长度和宽度：
W2＝(1+m)W1，H2＝(1+n)H1；其中，W2表示所述外扩区域的宽度，W1表示所述头肩框的宽度，H2表示所述外扩区域的高度，H1表示所述头肩框的高度，m表示第一预设外扩系数，n表示第二预设外扩系数。
14.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取头肩样本图像及其对应的标注信息，所述标注信息包括所述头肩样本图像对应的行为数据；
训练模块，用于将所述头肩样本图像输入到预设结构的分类网络，并利用所述标注信息对所述分类网络的参数进行迭代调整，直至满足迭代停止条件时，得到训练完成的行为分类模型。
15.根据权利要求9所述的装置，其特征在于，所述装置还包括：
输出模块，用于输出所述待识别人员的头肩区域在所述待处理图像中的位置信息及所述待识别人员的行为数据。
16.根据权利要求15所述的装置，其特征在于，所述输出模块，具体用于：
在所述待处理图像中展示所述待识别人员的头肩框及行为数据，所述头肩框中包括所述待识别人员的头肩区域。
17.一种电子设备，其特征在于，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811061037.XA CN110895661A (zh) | 2018-09-12 | 2018-09-12 | 一种行为识别方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811061037.XA CN110895661A (zh) | 2018-09-12 | 2018-09-12 | 一种行为识别方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110895661A true CN110895661A (zh) | 2020-03-20 |
Family
ID=69785984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811061037.XA Pending CN110895661A (zh) | 2018-09-12 | 2018-09-12 | 一种行为识别方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110895661A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112749677A (zh) * | 2021-01-21 | 2021-05-04 | 高新兴科技集团股份有限公司 | 玩手机行为识别方法、装置和电子设备 |
| CN112966655A (zh) * | 2021-03-29 | 2021-06-15 | 高新兴科技集团股份有限公司 | 一种办公区玩手机行为识别方法、装置和计算设备 |
| CN113298062A (zh) * | 2021-07-28 | 2021-08-24 | 宁波星巡智能科技有限公司 | 婴幼儿睡眠活动状态检测方法、装置、设备及介质 |
| CN113592427A (zh) * | 2021-06-29 | 2021-11-02 | 浙江大华技术股份有限公司 | 工时统计方法、工时统计装置及计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107256386A (zh) * | 2017-05-23 | 2017-10-17 | 东南大学 | 基于深度学习的人类行为分析方法 |
| CN107316261A (zh) * | 2017-07-10 | 2017-11-03 | 湖北科技学院 | 一种基于人脸分析的教学质量评估系统 |
| CN107491717A (zh) * | 2016-06-13 | 2017-12-19 | 科大讯飞股份有限公司 | 考试作弊检测方法和装置 |
| CN108345819A (zh) * | 2017-01-23 | 2018-07-31 | 杭州海康威视数字技术股份有限公司 | 一种发送报警消息的方法和装置 |
-
2018
- 2018-09-12 CN CN201811061037.XA patent/CN110895661A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107491717A (zh) * | 2016-06-13 | 2017-12-19 | 科大讯飞股份有限公司 | 考试作弊检测方法和装置 |
| CN108345819A (zh) * | 2017-01-23 | 2018-07-31 | 杭州海康威视数字技术股份有限公司 | 一种发送报警消息的方法和装置 |
| CN107256386A (zh) * | 2017-05-23 | 2017-10-17 | 东南大学 | 基于深度学习的人类行为分析方法 |
| CN107316261A (zh) * | 2017-07-10 | 2017-11-03 | 湖北科技学院 | 一种基于人脸分析的教学质量评估系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112749677A (zh) * | 2021-01-21 | 2021-05-04 | 高新兴科技集团股份有限公司 | 玩手机行为识别方法、装置和电子设备 |
| CN112966655A (zh) * | 2021-03-29 | 2021-06-15 | 高新兴科技集团股份有限公司 | 一种办公区玩手机行为识别方法、装置和计算设备 |
| CN113592427A (zh) * | 2021-06-29 | 2021-11-02 | 浙江大华技术股份有限公司 | 工时统计方法、工时统计装置及计算机可读存储介质 |
| CN113298062A (zh) * | 2021-07-28 | 2021-08-24 | 宁波星巡智能科技有限公司 | 婴幼儿睡眠活动状态检测方法、装置、设备及介质 |
| CN113298062B (zh) * | 2021-07-28 | 2021-10-29 | 宁波星巡智能科技有限公司 | 婴幼儿睡眠活动状态检测方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110895661A (zh) | 一种行为识别方法、装置及设备 | |
| CN109815932B (zh) | 一种试卷批改方法、装置、电子设备及存储介质 | |
| US20210056251A1 (en) | Automatic Data Extraction and Conversion of Video/Images/Sound Information from a Board-Presented Lecture into an Editable Notetaking Resource | |
| CN110956138B (zh) | 一种基于家教设备的辅助学习方法及家教设备 | |
| CN109767422A (zh) | 基于深度学习的管道检测识别方法、存储介质及机器人 | |
| CN109472249A (zh) | 一种确定书写体优劣等级的方法及装置 | |
| WO2013049374A2 (en) | Photograph digitization through the use of video photography and computer vision technology | |
| CN105427696A (zh) | 一种对目标题目所作答案进行判别的方法 | |
| US10157433B2 (en) | Systems and methods for improved property inspection management | |
| CN111666820B (zh) | 一种讲话状态识别方法、装置、存储介质及终端 | |
| CN106571137A (zh) | 一种终端语音打点控制装置及其方法 | |
| CN110969045B (zh) | 一种行为检测方法、装置、电子设备和存储介质 | |
| CN110399810B (zh) | 一种辅助点名方法及装置 | |
| CN108805519A (zh) | 纸质日程表电子化生成方法、装置及电子日程表生成方法 | |
| CN113537801B (zh) | 板书处理方法、装置、终端和存储介质 | |
| CN111339801A (zh) | 一种人员注意力检测方法、装置、设备及系统 | |
| CN111382655A (zh) | 一种举手行为识别方法及装置、电子设备 | |
| CN106295514A (zh) | 一种图像识别题目显示答案的方法及装置 | |
| CN111061887A (zh) | 一种新闻人物照片提取方法、装置、设备及存储介质 | |
| CN114898460B (zh) | 一种基于图卷积神经网络的教师非言语行为检测方法 | |
| CN113269013B (zh) | 对象行为分析方法、信息显示方法及电子设备 | |
| CN111325082B (zh) | 一种人员专注度分析方法及装置 | |
| CN111611854A (zh) | 一种基于模式识别的课堂情况评价方法 | |
| WO2022205329A1 (zh) | 对象检测方法、对象检测装置及对象检测系统 | |
| CN111199050B (zh) | 一种用于对病历进行自动脱敏的系统及应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |