CN109934182A

CN109934182A - 对象行为分析方法、装置、电子设备及计算机存储介质

Info

Publication number: CN109934182A
Application number: CN201910204669.5A
Authority: CN
Inventors: 廖声洋
Original assignee: Beijing Megvii Technology Co Ltd
Current assignee: Beijing Megvii Technology Co Ltd
Priority date: 2019-03-18
Filing date: 2019-03-18
Publication date: 2019-06-25

Abstract

本申请提供了一种对象行为分析方法、装置、电子设备及计算机存储介质，该方法包括：获取待处理图像，待处理图像中包括待检测对象；将待处理图像输入至对象检测模型，基于对象检测模型的输出得到待处理图像中各个待检测对象的对象行为分析结果。通过本申请的方案，可基于对象检测模型即可获取到待处理图像中各对象的对象行为分析结果，不用采用人工监测的方式，不但节省人力资源，还使得获取对象的对象行为的方式更加智能，采用本申请中的方式，可以对待检测对象的对象行为进行实时监测，并且得到的对象行为相较于人工监测的方式得到的对象行为更加全面，更加准确。

Description

对象行为分析方法、装置、电子设备及计算机存储介质

技术领域

本申请涉及人工智能技术领域，具体而言，本申请涉及一种对象行为分析方法、装置、电子设备及计算机存储介质。

背景技术

现有技术中，为了分析对象的行为信息，通常采用人工分析的方式来实现。但是，通过人工分析的方式不仅浪费人力资源，而且分析效率较低，且容易造成分析遗漏、分析不够客观的问题。

发明内容

为了解决现有技术中所存在的至少一个问题，本申请实施例的目的在于提供一种对象行为分析方法、装置、电子设备及计算机存储介质。

第一方面，本申请实施例提供了一种对象行为分析方法，该方法包括：

获取待处理图像，待处理图像中包括待检测对象；

将待处理图像输入至对象检测模型，基于对象检测模型的输出，得到待处理图像中各个待检测对象的对象行为分析结果。

第一方面的一种可选实施例中，对象行为分析结果包括以下至少一项：

各待检测对象的形态信息，形态信息包括表情信息和姿态信息中的至少一项；

指定形态信息的对象的数量；

待检测对象的数量；

对象出勤情况；

对象缺勤情况。

第一方面的一种可选实施例中，对象检测模型包括对象脸部检测模型和对象姿态检测模型中的至少一项；

其中，若对象检测模型包括对象脸部检测模型，对象关键点包括面部关键点；

若对象检测模型包括对象姿态检测模型，对象关键点包括骨架关键点；

若对象关键点包括面部关键点，对象脸部检测模型的输出为待检测对象的表情信息；

若对象关键点包括骨架关键点，对象姿态检测模型的输出为待检测对象的骨架关键点的位置信息。

第一方面的一种可选实施例中，若形态信息包括姿态信息，基于对象检测模型的输出得到待处理图像中各待检测对象的形态信息，包括：

基于对象检测模型输出的各待检测对象的骨架关键点的位置信息，确定待处理图像中各待检测对象的姿态信息。

第一方面的一种可选实施例中，基于各待检测对象的骨架关键点的位置信息，确定待处理图像中各待检测对象的姿态信息，包括：

基于各待检测对象的骨架关键点中至少两个指定关键点的位置信息，确定至少两个指定关键点的位置关系；

根据至少两个指定关键点的位置关系，确定各待检测对象的姿态信息。

第一方面的一种可选实施例中，根据至少两个指定关键点的位置关系，确定各待检测对象的姿态信息，包括：

基于至少两个指定关键点的位置关系，以及预配置的相对应的骨架关键点的位置关系，确定各待检测对象的姿态信息。

第一方面的一种可选实施例中，基于至少两个指定关键点的位置关系，以及预配置的相对应的骨架关键点的位置关系，确定各待检测对象的姿态信息，包括：

基于至少两个指定关键点的位置关系与预配置的相对应的骨架关键点的位置关系之间的匹配程度，确定各待检测对象的姿态信息。

第一方面的一种可选实施例中，位置关系包括以下至少一项：

至少两个指定关键点中的关键点之间的连线与预设置的参考方向的夹角；

至少两个关键点中的关键点之间的距离。

第一方面的一种可选实施例中，待处理图像为安装在指定场所的图像采集设备所采集的图像，该方法还包括：

基于待处理图像中的待检测对象的数量，确定在待处理图像的图像采集时刻所对应的指定场所内的对象出勤率。

第一方面的一种可选实施例中，该方法还包括：

基于待处理图像以及对象身份数据库，确定待处理图像和对象身份数据库中不匹配的对象。

第一方面的一种可选实施例中，若待处理图像为安装在指定场所的图像采集设备所采集的视频中的视频帧图像，该方法还包括：

根据视频中至少两帧视频帧图像对应的对象行为分析结果，生成综合对象行为分析结果。

第二方面，本申请实施例提供了一种对象行为分析装置，该装置包括：

图像获取模块，用于获取待处理图像，待处理图像中包括待检测对象；

行为分析模块，用于将待处理图像输入至对象检测模型，基于对象检测模型的输出，得到待处理图像中各个待检测对象的对象行为分析结果。

第二方面的一种可选实施例中，对象行为分析结果包括以下至少一项：

指定形态信息的对象的数量；

待检测对象的数量；

对象出勤情况；

对象缺勤情况。

第二方面的一种可选实施例中，对象检测模型包括对象脸部检测模型和对象姿态检测模型中的至少一项；

第二方面的一种可选实施例中，若形态信息包括姿态信息，行为分析模块在基于对象检测模型的输出得到待处理图像中各待检测对象的形态信息时，具体用于：

第二方面的一种可选实施例中，行为分析模块在基于各待检测对象的骨架关键点的位置信息，确定待处理图像中各待检测对象的姿态信息时，具体用于：

第二方面的一种可选实施例中，行为分析模块在根据至少两个指定关键点的位置关系，确定各待检测对象的姿态信息时，具体用于：

第二方面的一种可选实施例中，行为分析模块在基于至少两个指定关键点的位置关系，以及预配置的相对应的骨架关键点的位置关系，确定各待检测对象的姿态信息时，具体用于：

第二方面的一种可选实施例中，位置关系包括以下至少一项：

至少两个关键点中的关键点之间的距离。

第二方面的一种可选实施例中，该装置还包括：

出勤率确定模块，用于在待处理图像为安装在指定场所的图像采集设备所采集的图像时，基于待处理图像中的待检测对象的数量，确定在待处理图像的图像采集时刻所对应的指定场所内的对象出勤率。

第二方面的一种可选实施例中，该装置还包括：

对象匹配模块，用于基于待处理图像以及对象身份数据库，确定待处理图像和对象身份数据库中不匹配的对象。

第二方面的一种可选实施例中，若待处理图像为安装在指定场所的图像采集设备所采集的视频中的视频帧图像，行为分析模块还用于：

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器；存储器中存储有可读指令，可读指令由处理器加载并执行时，实现如上述第一方面或第一方面的任一可选实施例中所示的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，该存储介质中存储有可读指令，可读指令由处理器加载并执行时，实现如上述第一方面或第一方面的任一可选实施例中所示的方法。

本申请提供的技术方案带来的有益效果是：本申请实施例所提供的对象行为分析方法、装置、电子设备及计算机存储介质，可以将获取到的待处理图像输入至对象检测模型中，然后基于该对象检测模型的输出可以得到待处理图像中各待检测对象的对象行为分析结果，通过本申请的方案，不需要采用人工监测的方式即可得到对象的对象行为分析结果，不但节省人力资源，还使得获取对象的对象行为的方式更加智能，采用本申请中的人工智能方式，可以对待检测对象的对象行为进行实时监测，并且获取到的对象行为相较于人工监测的方式获取到的对象行为更加全面，更加准确。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种对象行为分析方法的流程示意图；

图2为本申请实施例提供的人体骨架结构示意图；

图3a为本申请一示例中一种举手姿态的示意图；

图3b为图3a所示的举手姿态所对应的骨节点位置关系的示意图；

图4a为本申请一示例中一种睡眠姿态的示意图；

图4b为图4a所示的瞌睡姿态对应的骨节点位置关系示意图；

图5为本申请一示例中待处理图像的部分图像的示意图；

图6为本申请实施例提供的一种对象行为分析装置的结构示意图；

图7为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

随着科技的快速发展以及实际应用需求的不断提升，在很多的实际应用场景中，需要对对象的行为进行分析，以基于分析结果再进行其他处理。例如，作为一个应用场景，老师或者家长可以通过观察学生的注意力情况(走神、瞌睡、低头、聊天等等)、举手问答情况、回答问题课堂、点头摇头情况、课后作业情况等，去评估学生的课堂听讲、知识理解情况等，学校也可以基于对学生的观察分析，去评价老师的教学情况等等。

目前，对于学生行为信息的捕捉以及分析，主要是依赖人力进行，但是依赖人力去捕捉、分析学生的课堂行为(注意力情况、举手问答情况、点头摇头情况等)，会存在易疲劳、遗漏、不全面客观、不能时刻监测学生的课堂情况等问题。且随着科学技术的发展和技术产业化应用水平的提升，硬件配置的性能越来越好，人工智能技术也正逐步地渗透到各行各业的场景应用，解放工业生产力，提升工作效率也是目前在致力解决的问题之一。

为了解决上述现有技术中所存在的至少一个技术问题，本申请实施例提供了一种对象行为分析处理方法、装置、电子设备及计算机存储介质。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1示出了本申请实施例所提供的一种对象行为分析方法的流程示意图，如图1所示，该方法可以包括以下步骤：

步骤S110，获取待处理图像，待处理图像中包括待检测对象。

其中，待处理图像可以是通过图像采集设备采集的图像，也可以是从其他设备接收的图像，还可以是进行了其他编辑处理后的图像。该待处理图像可以是用户选中的需要进行处理的图像，也可以是需要自动进行处理的图像，例如，在一应用场景中，预配置好了对所有或部分采集到的、接收到的、或者其他方式获取到的图像都自动进行处理，则这些图像的各个图像即为待处理图像。而待检测对象则是待处理图像中存在的对象，需要说明的是，本申请实施例中的待检测对象可以包括但不限于人，例如还可以是动物或其他目标。

步骤S120，将待处理图像输入至对象检测模型，基于对象检测模型的输出，得到待处理图像中各个待检测对象的对象行为分析结果。

其中，基于对象检测模型的输出，可以得到待处理图像中各待检测对象的各种相关信息，基于这些相关信息可以确定出各待检测对象的行为，在实际应用中，具体要分析对象的哪些行为可以根据实际需求配置。

另外，需要说明的是，本申请实施例中，待处理图像中的对象指的是待处理图像中除背景部分之外的图像中的全部或部分主体，也就是图像中的全部或部分前景对象，还可以是图像中符合设定条件的前景对象。可以理解的是，图像中的主体可以包括但不限于图像中的人、动物等。例如，对于一幅人物图像，该图像中的对象则可以包括该图像中的人，而对于一幅包括人和动物的图像，该图像中的对象则可以包括图像中的人和动物中的至少一个，可以是该图像中的指定对象。而上述指定对象则可以是图像中的至少一个对象，可以由用户指定或者由系统预配置。例如，在实际应用中，用户可以指定是对待处理图像中的人进行形态信息的确定，则人物即为指定对象。

另外，图像中前景和背景的界定可以是基于图像内容来界定的，也可以根据配置信息来界定，该配置信息可以是系统预配置，还可以是由用户根据需求配置。例如，配置信息中可以指定哪些属性或类型即类别的信息是图像的前景，则待处理图像中符合配置信息的部分则为图像的前景部分，剩余部分则为图像的背景部分。

本申请实施例所提供的图像处理方法，可以将获取到的待处理图像输入至通过对神经网络进行训练得到的对象检测模型中，直接基于该对象检测模型的输出得到待处理图像中各对象的对象行为分析结果，通过本申请的方案，不需要采用人工监测的方式即可得到对象的对象行为分析结果，不但节省人力资源，还使得获取对象的对象行为的方式更加智能，采用本申请中的人工智能方式，可以对待检测对象的对象行为进行实时监测，并且获取到的对象行为相较于人工监测的方式获取到的对象行为更加客观、全面、准确。

本申请的可选实施例中，对象行为分析结果可以包括以下至少一项：

各待检测对象的形态信息，形态信息可以包括表情信息和姿态信息中的至少一项；

指定形态信息的对象的数量；

待检测对象的数量；

对象出勤情况；

对象缺勤情况。

其中，对象的形态信息指的是可以通过对象的形体动作(即姿态信息)和表情信息中的一项或多项所表达的对象的行为信息。对象检测模型可以为预先配置的神经网络模型，其中，神经网络的具体类型可以根据实际应用需求配置。

在实际应用中，具体需要分析得到对象的哪些形态信息可以根据实际应用需要配置，当然，相应的，对象检测模型的结构、输出等均可以根据实际应用需要进行相应的配置。

作为一可选方案，表情信息可以包括但不限于点头、睡眠、笑脸、平静、摇头中的至少一项，姿态信息可以包括举手、点头、摇头、低头、趴桌子中的至少一项。

其中，在实际应用中，对象的形态信息可以通过不同的表情信息和姿态信息表达，其中，表情为表现在面部或面部姿态上的思想感情，即可表达情感的面部的形态信息均可以为表情，表情也可以为基于实际需求所配置的特定表情。姿态信息则可以是指对象的整体姿态，也可以是指对象的某一部位或某些部位的姿态。

作为一个示例，在指定场所为教室时，对象行为分析结果中可以具体包括但不限于学生的出勤情况(如出勤率、出勤学生数量、出勤学生的相关信息等)、缺勤情况(如缺勤率、缺勤数量、缺勤学生的相关信息)、还可以包括学生中睡觉学生的数量等等。

作为一个示例，可以基于对象检测模型的输出，统计得到待处理图像中待检测对象的形态信息为指定形态信息的对象的数量，其中，指定形态信息可以包括指定表情信息和指定姿态信息中的至少一项，指定形态信息可以基于实际应用需求进行配置，比如，待处理图像为采集的教室中学生的图像，则为了分析学生在教室中的学习情况，可以预先配置指定表情信息为睡眠，则可以基于模型输出得到图像中各个学生的表情信息之后，即可统计得到睡眠的学生的数量，则基于该统计结果可以了解到该学生打瞌睡的情况等，还可以基于模型的输出统计学生的其他相关信息，以使家长和教师能够更好的理解到学生在课堂的实际情况。

本申请的可选实施例中，待处理图像可以为安装在指定场所的图像采集设备所采集的图像。

可以理解的是，图像采集设备指的是具有图像采集功能的设备，比如，电子设备的相机、摄像头等。

本申请的可选实施例中，指定场所可以包括教室、会议室等。

其中，指定场所指的是需要对对象的形态信息进行监控分析的场所，比如，教室、会议室等。当然，指定场所也可以是其他任何需要进行对象监控的场所，本申请实施例中并不限定上述两种指定场所。作为一可选方式，如果指定场所为教室，则图像采集设备具体可以为安装在教室中的图像采集设备，通过图像采集设备可以采集教室中的对象(如老师、学生等)在内的图像。另外，在实际应用中，还可以根据实际所需要分析的对象，对图像采集设备的安装位置、设备的相关参数等进行相应的调整，以获取到所需的待处理图像，例如，如果是需要对教室中的所有学生的行为信息进行分析，则可以通过预先调整教室中的图像采集设备，以使图像采集设备的采集范围能够覆盖到通常情况下教室中所有的学生所在的区域。

当然，图像采集设备的数量可以是一个或多个，如果需要多个图像采集设备才能够获取到所有需要监控的对象在内的图像，则可以控制多个图像采集设备进行不从区域的图像的同步采集，对各图像采集设备到的图像进行预处理(如对象去重、图像合并等等)得到所需要的待处理图像。

本申请的可选实施例中，待处理图像还可以为安装在指定场所的图像采集装置所采集的视频中的视频帧图像。

也就是说，待处理图像可以采集到的视频中的一帧或多帧图像，例如，基于实际需求，可以每隔预设时间间隔从视频中获取多帧图像作为待处理图像，并分别对每帧图像进行相应的处理。其中，预设时间间隔可以基于实际需求配置，另外，还可以将视频中的每帧图像作为待处理图像，或者还可以每隔预设帧数选取视频中的一帧图像作为待处理图像，其中，预设帧数可以基于实际需求配置。

可以理解的是，为了获取到视角开阔的图像，可以基于各对象在指定场所中所处的位置，在指定地点安装图像采集设备，也可以采用可旋转的图像采集设备，通过可旋转的图像采集设备可以获取到视角开阔的图像，其中，图像采集设备的数量可以基于实际需求配置。

本申请的可选实施例中，对象检测模型可以通过以下方式训练得到：

获取包括各种形态信息的对象的原始图像；

根据各种形态信息所对应的对象关键点，对原始图像中的对象进行对象关键点标注，得到训练样本图像；

基于训练样本图像对神经网络进行训练，以获取到满足训练结束条件的神经网络，将满足训练结束条件的神经网络作为对象检测模型。

其中，可以理解的是，在对对象检测模型进行训练时，原始图像中的对象的形态信息可以是与需要检测的待检测图像中的形态信息相对应的，例如，在应用模型时，如果需要基于模型输出得到的待检测对象的表情信息，则训练时所需要获取的原始图像则需要是包括各种表情信息的图像，如果需要基于模型输出得到的待检测对象的表情信息和姿态信息，则训练时所需要获取的原始图像则需要是包括各种表情信息的图像，以及各种姿态信息的图像。

训练结束条件即模型训练结束的条件，可以根据应用需求配置。例如，该条件可以是指模型的损失函数处于收敛状态，还可以是模型的识别准确率大于设定值，或者是模型的召回率大于设定值等。具体的，可以将训练样本数据即训练样本图像输入到神经网络中，通过迭代训练不断更新优化模型参数，当满足训练结束条件时，则可以结束对神经网络的训练，将此时更新参数后的神经网络作为对象检测模型。

在实际应用中，还可基于实际需求指定一些表情和姿态，并以包含指定表情和指定姿态对应的训练样本图像进行模型的训练，从而能够基于训练后的模型的输出，得到待处理图像中是否存在包含指定表情信息和指定姿态信息的对象，可以进一步满足用户的实际需求，并且还可以提升模型的训练效率。

基于本申请实施例的对象检测模型，可以对收集到的各个表情以及各个姿态的图像，通过模型进行处理，基于模型的输出可以确定出对象(待检测对象)的形态信息。其中，模型的直接输出结果可以是根据实际需要设置的，本申请实施例不做限定，只要基于模型的输出能够确定出各检测对象的形态信息即可。例如，在一可选方式中，在对模型进行训练时，模型的输出可以是对象的形态信息，也可以能够表征对象形态信息的相关信息，如模型的输出可以包括对象的骨架关键点的位置信息，基于模型输出的骨架关键点的位置信息，可以确定出对象的姿态信息。

当然，在对模型进行训练时，所采用的数据的种类，即表情种类和姿态种类越多，模型的训练结果越好，在应用模型时，模型的输出结果准确率也就越高。

在实际应用中，作为一种可选方式，基于训练样本图像对神经网络进行训练，以获取到满足训练结束条件的神经网络，具体可以包括：

将训练样本图像划分为训练图像、验证图像和测试图像；

重复执行基于训练图像对神经网络进行训练、基于验证图像对训练后的神经网络进行验证，根据验证结果调整神经网络的参数，直至训练结果和验证结果分别满足训练结束条件，例如，训练结果满足训练结束条件，验证结果满足验证结束条件；

基于测试图像对训练结束后的神经网络进行测试，若测试结果满足训练结束条件，则训练结束后的神经网络作为对象检测模型，若测试结果不满足训练结束条件，则重复执行上一步骤和该步骤，直至测试结果满足训练结束条件。

在模型训练过程中，可基于训练图像，对对象检测模型进行训练，并基于验证图像对训练过程中的中间结果进行验证，以根据验证结果调整模型训练参数，使模型训练的更精确，可以基于测试图像对训练并验证后得到的对象检测模型进行测试，在测试结果满足测试条件时得到的对象检测模型作为最终的对象检测模型，如果测试结果不满足预设的测试条件则可以再重复上述训练、验证、测试的步骤，直至训练后的模型的测试结果符合测试条件。基于该方式，可以得到训练结果、验证结果以及测试结果均满足要求的对象检测模型。

具体的，作为一种可选的方案，可以通过训练图像中对神经网络进行训练，直至训练结果满足训练过程对应的预设条件，如神经网络的损失函数收敛，则此时可以基于验证图像对神经网络进行验证，如果验证结果满足验证条件，则可以再基于测试图像对通过验证的神经网络进行测试，如果验证结果不满足验证条件，则对模型参数进行调整，并重复上述训练、验证、调整模型参数的步骤，直至满足验证条件，再基于测试图像对通过验证的神经网络进行测试，以衡量该模型的性能和能力，如果测试结果符合对应的测试结束条件，则模型训练结束，如果测试结果不符合对应的测试结束条件，则调整模型参数，并重复执行训练、验证、测试的步骤，直至训练、验证、测试各个步骤的结果均满足各自对应的结束条件。

需要说明的是，在训练时，各部分所对应的结束条件，可基于实际需求配置，训练、验证、测试各自对应的结束条件可以相同，也可以不同。

本申请的可选实施例中，对象检测模型可以包括对象脸部检测模型和对象姿态检测模型中的至少一项；

其中，若对象检测模型包括对象脸部检测模型，对象关键点可以包括面部关键点，若对象检测模型包括对象姿态检测模型，对象关键点包括骨架关键点。

本申请的可选实施例中，若对象关键点包括面部关键点，对象脸部检测模型的输出为待检测对象的表情信息，若对象关键点包括骨架关键点，对象姿态检测模型的输出为待检测对象的骨架关键点的位置信息。

在实际应用中，可以基于实际需求，来配置对象检测模型的具体结构。例如，在进行待处理图像处理时，如果需要得到对象的面部信息，则对象检测模型需要包括对象面部检测模型。

对于对象面部检测模型，具体可以基于标注好的不同表情对应的面部关键点，通过前文中的模型训练方式对神经网络进行训练得到最终所需的对象脸部检测模型。在一种可选方式中，对象脸部检测模型的输出具体可以是对象的表情信息。

同样的，对于对象姿态检测模型，可以基于标注好的不同姿态对应的骨架关键点，通过前文中的模型训练方式对神经网络进行训练得到对象姿态检测模型。在一种可选方式中，对象姿态检测模型的输出可以为对象的骨架关键点的位置信息。

可以理解的是，对象检测模型可以同时包括对象脸部检测模型和对象姿态检测模型，以使得可以分别通过上述两个模型得到对应的形态信息。其中，在实际应用，根据实际需求的不同，对象脸部检测模型所对应的神经网络和对象姿态检测模型所对应的神经网络可以相同，也可以不同。

其中，由前文的描述可知，待处理图像中的对象可以包括但不限于人物，还可以是动物。在实际应用中，具体检测哪些面部关键点，以及具体基于哪些骨架关键点获取对应的姿态信息均可以根据实际需求和/或应用场景进行配置。另外，面部关键点和骨架关键点具体包括哪些对象的关键点信息也不是唯一的，均是可以根据需要配置的，面部关键点与骨架关键点还可以包括相同的关键点，例如，均可以包括对象的头部关键点。

本申请的可选实施例中，对象检测模型的输出可以包括对象关键点的标识。

其中，为了便于对对象关键点进行标记和处理，在实际应用中，每个对象关键点可以配置对应的一个唯一标识即关键点索引，基于每个标识，可以唯一确定一个对应的对象关键点。

本申请的可选实施例中，若形态信息包括姿态信息，步骤S120中，基于对象检测模型的输出得到待处理图像中各待检测对象的形态信息，具体可以包括：

其中，骨架关键点的位置信息表示的骨架关节点在待处理图像中的对象中的位置，位置信息可以是骨架关键点在图像中的坐标信息，由于对象的姿态可以由对象的骨架关键点确定，因此，可基于各待检测对象的骨架关键点的位置信息，确定出待处理图像中各待检测对象的姿态信息。

本申请的可选实施例中，基于对象检测模型输出的各待检测对象的骨架关键点的位置信息，确定待处理图像中各待检测对象的姿态信息，可以包括：

基于对象检测模型输出的各待检测对象的骨架关键点中至少两个指定关键点的位置信息，确定待处理图像中各待检测对象的姿态信息。

由于对于对象的姿态而言，哪些姿态是需要基于哪些骨架关键点来确定通常是确定的，即一个姿态对应哪些骨架关键点是能够预先确定即指定的，而一个姿态的确定需要基于至少两个骨架关键点的位置信息才能够实现，因此，可以基于至少两个指定的骨架关键点的位置信息，来判定待处理图像中待检测对象的姿态信息。

作为一个示例，比如，若某个姿态对应的骨架关键点为骨架关键点a和骨架关键点b，则可以基于模型输出的骨架关键点的位置信息中包括骨架关键点a和骨架关键点b在内的关键点的位置信息，来确定待检测图像中待检测对象的当前姿态信息是否为该姿态。

本申请的可选实施例中，基于各待检测对象的骨架关键点的位置信息，确定待处理图像中各待检测对象的姿态信息，可以包括：

其中，由于不同的姿态对应的关键点之间的位置关系不同，因此可以基于至少两个指定关键点的位置信息，确定至少两个指定关键点的位置关系，然后再基于至少两个指定关键点的位置关系，确定各待检测对象的姿态信息。

本申请的可选实施例中，根据至少两个指定关键点的位置关系，确定各待检测对象的姿态信息，可以包括：

其中，预配置的骨架关键点的位置关系可以包括多种不同姿态对应的骨架关键点之间的位置关系，预配置的骨架关键点的位置关系可以基于实际需求配置。在本申请实施例中，可以以预配置的骨架关键点的位置关系作为基础，将至少两个指定关键点的位置关系与其进行比较，以确定各待检测对象的姿态信息。

本申请的可选实施例中，基于至少两个指定关键点的位置关系，以及预配置的相对应的骨架关键点的位置关系，确定各待检测对象的姿态信息，可以包括：

由于在实际应用中，基于对象检测模型的输出得到的各骨架关键点的位置信息与图像中实际的各骨架关键点的位置存在偏差，因此，即使对于同一个姿态，基于该姿态所对应的至少两个指定关键点的位置关系，与预配置的对应的至少两个骨架关键点之间的位置关系也很可能会存在偏差，所以在实际应用中，可以基于至少两个指定关键点的位置关系与预配置的骨架关键点的位置关系之间的匹配程度，来确定各待检测对象的姿态信息。

其中，在实际应用中，匹配程度的具体表示方式可以根据需要配置，作为一种可选方式，匹配程度可以是至少两个指定关键点的位置关系与预配置的对应的骨架关键点的位置关系之间的相似程度，此时，则可以基于至少两个指定关键点的位置关系与预配置的相对应的骨架关键点的位置关系之间的匹配程度来确定各待检测对象的姿态信息。具体的，如果匹配程度在预设的误差允许范围内，则可以将预配置的骨架关键点的位置关系所对应的姿态作为待检测对象的姿态信息，对应地，如果匹配程度不在误差允许范围内，则待检测对象的姿态信息不是当前比较的预配置的骨架关键点的位置关系所对应的姿态信息。

需要说明的是，由于在实际应用中，对象的不同姿态信息很可能会对应相同的骨架关键点，例如，对于人的点头和摇头的动作，可以是基于人的相同的头部骨架关键点来确定的，因此，对于上述至少两个指定关键点之间的位置关系，预配置的相对应的骨架关键点的位置关系可以是一种或多种。例如，预配置位置关系中存在对应相同骨架关键点的多种位置关系，则在至少两个指定关键点为该多种位置关系所对应的骨架关键点，这些相同骨架关键点的多种位置关系均可以认为是与该至少两个指定关键点相对应的骨架关键点的位置关系。

作为一个示例，假设预配置的位置关系包括位置关系A、B、C、D四种，其中，位置关系A和B所对应的骨架关键点均是关键点a、b和c，如果至少两个指定关键点为关键点a、b和c，则位置关系A和B均可以认为是与该至少两个指定关键点之间的位置关系相对应的骨架关键点的位置关系，则在基于待处理图像中的该至少两个指定关键点的位置关系，以及预配置的相对应的骨架关键点的位置关系，确定各待检测对象的姿态信息时，可以将待处理图像中的关键点a、b和c之间的位置关系，分别与位置关系A和B进行匹配，根据位置关系A和B所对应的匹配程度，确定当前待处理图像中的对象的姿态信息是否为位置关系A或B所对应的姿态，例如，可以将位置关系A和B所对应的匹配程度中，匹配程度较高的位置关系所对应的姿态确定为待处理图像中对象的姿态。

本申请的可选实施例中，位置关系可以包括以下至少一项：

至少两个关键点中的关键点之间的距离。

其中，参考方向可以预设置为水平方向或竖直方向，也可以为基于实际需求所配置的指定方向。一个姿态信息可以由两个关键点的连线与参考方向的夹角确定，因此，位置关系可以包括至少两个指定关键点中两个关键点的连线与参考方向的夹角。需要说明的是，至少两个指定关键点中两个关键点的连线与参考方向的夹角，包括至少两个指定关键点中任意两个关键点的连线与参考方向的夹角中的至少一个。例如，指定关键点包括a、b、c三个关键点，则位置关系可以包括a与b之间的连线与参考方向的夹角、a与c之间的连线与参考方向的夹角、b与c之间的连线与参考方向的夹角中的至少一个。

本申请的可选实施例中，在基于至少两个指定关键点的位置关系，以及预配置的相对应的骨架关键点的位置关系，确定各待检测对象的姿态信息时，若位置关系包括上述夹角，可以将至少两个指定关键点中两个关键点的连线与参考方向的夹角记为第一夹角，相应的预配置的相对应的骨架关键点的位置关系中对应两个关键点的连线与参考方向的夹角可以记为第二夹角，则匹配程度可以通过第一夹角与第二夹角之差的绝对值进行标识，若该绝对值不大于设定值，则可以认为至少两个指定关键点的位置关系与预配置的相对应的骨架关键点的位置关系相匹配，将此时预配置的相对应的骨架关键点的位置关系所对应的姿态确定为待处理图像中对象的姿态。其中，设定值可以基于实际需求配置。

需要说明的是，在实际应用中，位置关系可以包括但不限于上述至少两个指定关键点中两个关键点的连线与参考方向的夹角，还可以根据实际需要配置其他的关键点之间的位置关系，比如，不同骨架关键点之间的距离等。当然，位置关系所包括的具体关系越多，所确定出的姿态信息越准确。

本申请的可选实施例中，待处理图像为安装在指定场所的图像采集设备所采集的图像，该方法还可以包括：

由于某些指定场所中的某些时间段的对象数量通常是固定的，例如，在指定场所为教室或会议室时，场所中的特定时间段的对象数量应是一定的，因此，可以基于待处理图像中的待检测对象的数量，确定在待处理图像的图像采集时刻所对应的指定场所内的对象出勤率。

其中，待处理图像中的待检测对象的数量的确定方式本申请实施例不做限定，例如，待处理图像中的待检测对象的数量可以是对图像进行对象检测得到，也可以是基于对象检测模型的输出得到，如模型可以直接输出待处理图像中的待检测对象的数量。

在实际应用中，在图像采集时刻所采集到的待处理图像中可能不能一次性包含对应的指定场所中的所有人，使得基于图像采集时刻对应的待处理图像所得到出勤率可能不够准确，因此，为了使确定的出勤率更加准确，可以对基于多张待处理图像所得到的出勤率进行融合，得到该指定场所对应时段的出勤率。

需要说明的是，出勤率可以基于对象检测模型的输出进一步分析得到，也可以直接基于对象检测模型直接输出，例如，可以将指定场所正常情况下的对象数量预配置到模型中，模型可以基于该预配置的数量与模型检测到的待处理图像中的对象数量，直接输出该出勤率。

本请的可选实施例中，该方法还可以包括：

其中，不匹配的对象可以包括待处理图像中不存在于对象身份数据库中的对象，或者对象身份数据库中不存在于待处理图像中的对象。

另外，在确定出不匹配的对象之后，还可以显示不匹配的对象的相关信息，或者，将匹配的对象的相关信息发送给其他设备。其中，不匹配的对象的相关信息可以是该对象的图像，或者是该对象的身份信息。

其中，对象身份数据库中可以预先存储有可以表征对象身份的信息，如果对象为人，对象的身份信息可以包括人脸图像及对应的姓名信息等可以表明人身份的信息，则可基于待处理图像存在的对象及对象身份数据库，确定出待处理图像与对象身份数据库中不匹配的对象。

作为一个示例，例如指定场所为教室，待处理图像中的对象为学生，对象身份数据库中可以预先存储了该教室中每个学生的人脸图像，则如果检测出待处理图像中存在不存在于对象身份数据库中的人，则很可能说明此时教室中有除学生之外的其他人，可以将这些人的信息发送到指定设备并显示，如发送到教务处的监控设备上显示，另外，如果对象身份数据库中的人不存在于待处理图像中，则表明此时有学生不在教室中，该学生很可能是缺勤，则可以以将这些人的信息发送到指定设备并显示。

本申请的可选实施例中，若待处理图像为安装在指定场所的图像采集设备所采集的视频中的视频帧图像，该方法可以还包括：

其中，为了获取到更加准确的对象行为分析结果，可以基于多帧待处理图像所对应的对象行为分析结果，得到综合对象行为分析结果。

在实际应用中，为了便于用户阅览对象行为分析结果，可以将对象行为分析结果，以报告的形式提供给用户。另外，为了更加直观的显示出对象行为分析结果中的数据，可以采用直方图或者比例分布图或其他图形的相似来呈现对象行为分析结果的内容。

此外，为了便于对对象行为分析结果进行后续处理，如后续查看或分析对象行为分析结果，可以将对象评价报告进行存储，存储时可将对象行为分析结果与对应的标识信息进行关联存储，以便于基于标识信息快速查找到对应的对象评价报告。标识信息可以为根据实际需要设置的与对象行为分析结果相关联的信息，例如，待处理图像为指定场的图像，如教室，则标识信息可以是教室的标识，如果指定场所是会议室，则标识信息可以是会议室的标识。

为了更好的理解以及说明本申请实施例所提供的方案，下面结合具体的应用场景及示例对本申请实施例所提供的方案进行进一步详细的说明。

本示例中，以教室作为应用场景进行说明，对象检测模型包括对象脸部检测模型和对象姿态检测模型，该示例中，对象脸部检测模型具体为人脸检测模型，对象姿态检测模型具体为人体姿态检测模型。基于本申请实施例的方案，可以基于人工智能(神经网络)算法，对图像进行人脸检测，获取图像人脸关键点和表情信息，基于人工智能(神经网络)算法，对图像进行人体骨架的实时检测，获取实时的人体骨架信息，从而基于人脸表情信息和人体骨架信息，可以通过统计得到学生的表情变化、人体骨架变化(举手、点头、摇头等)，从而可以评价学生的课堂情况。

为了保证模型的检测准确性，可以通过对神经网络的训练，得到对象检测模型。下面对本示例中的模型的训练过程进行说明。

本示例中，可以通过以下对神经网络进行训练的方式，得到人脸检测模型：

a)采集相当数量(如10万张，这里仅是示例)的人脸图像(底库)；

b)对步骤a的图像进行人脸关键点精准标注，人脸关键点可以包括但不限于脸的轮廓点、眼睛轮廓点、鼻子轮廓点、眉毛轮廓点、额头轮廓点、上嘴唇轮廓点、下嘴唇轮廓点等等；

c)对步骤b的精准标注数据(即训练样本图像)按一定比例划分为训练集即训练图像、验证集即验证图像、测试集即测试图像；

d)对步骤c的训练集进行模型训练(神经网络训练)，同时用验证集对训练过程中的中间结果进行验证(实时调整训练参数)，当训练精度和验证精度都达到一定阈值时，即训练结果和验证结果均满足对应的预设条件时，可以停止训练过程，得到训练模型；

e)用测试集对步骤d得到的训练模型进行测试，以衡量该模型的性能，如果测试结果满足对应的测试结束条件，则此时的训练模型则可以作为最终的人脸检测模型，如果测试结果不满足对应的测试结束条件，则可以对此时的训练模型进行参数调整，再重复步骤d)和步骤e)，直至测试结果满足对应的测试结束条件。

本示例中，可以通过以下对神经网络进行训练的方式，得到人体姿态检测模型：

A)采集相当数量(如10万张，这里仅是示例)的人体(如全身人体)图像；

B)对步骤A的图像进行人体骨架关键点精准标注，人体骨架关键点可以包括不限于头部、颈部、肩部、手臂、腹部、臀部、腿部、手足等人体部位的骨架关键点；

C)对步骤B的精准标注数据按一定比例划分为训练集、验证集、测试集；

D)对步骤C的训练集进行模型训练(神经网络训练)，同时用验证集对训练过程中的中间结果进行验证(实时调整训练参数)，当训练精度和验证精度都达到一定阈值时，停止训练，得到训练模型；

E)用测试集对步骤D的模型进行测试，衡量该模型的性能，如果测试结果满足对应的测试结束条件，则此时的训练模型则可以作为最终的人脸检测模型，如果测试结果不满足对应的测试结束条件，则可以对此时的训练模型进行参数调整，再重复步骤D)和步骤E)，直至测试结果满足对应的测试结束条件。

作为一个示例，下面以对象是人为例进行骨架关键点的说明，对于人物言，可以通过对象姿态检测模型检测人体的骨架关键点，其中，人体的骨骼姿态对应的骨架关键点可以包括但不限于图2中所示出16个骨架关键点(下文中简称骨节点)。为了描述方便，图2中对各个骨节点进行了编号，下文描述中均以图中所示的编号来表示对应的骨节点，具体如下：

骨节点0为头部位骨节点、骨节点1为颈部位骨节点、骨节点2和骨节点5为肩膀部位骨节点、骨节点3和骨节点6为肘部位骨节点、骨节点4和骨节点7为腕部位骨节点、骨节点8为胃部位骨节点、骨节点9为腹部位骨节点、骨节点10和骨节点13为胯部位骨节点、骨节点11和骨节点14为膝盖部位骨节点、骨节点12和骨节点15为脚踝部位骨节点。

在完成模型的训练之后，即可生成基于本申请实施例所提供的图像处理方法的计算机程序，并可以程序运行于指定电子设备上，该电子设备可运行本申请实施例的方法，并基于由图像采集设备采集到待处理图像(本示例中为教室中学生的图像或视频流中的图像)，实现对学生的形态信息的分析，作为一个示例，整个过程的流程可以如下：

(1)用户开启表情识别和骨骼识别的课堂评价方法，即启动并运行上述指定电子设备中的本申请实施例的方法，也就是打开上述计算机程序；

(2)程序可以加载表情识别的默认参数表以及人体骨骼识别默认参数表，表情识别的默认参数表中可以包括如需要识别哪些表情等(微笑、摇头、点头等各种常见的喜怒哀乐的表情信息)，人体骨骼识别默认参数表中可以包括预设的用于识别学生举手、点头、摇头、低头、瞌睡等骨骼的姿态，预设的姿态即预配置的姿态(也就是骨架关键点之间的位置关系)具体可以为预配置的各个骨骼节点(即骨节点)之间的位移、夹角关系(与水平方向的夹角)等，例如，骨骼节点i和骨骼节点j之间的位移可以表示为d_(i-j)、骨骼节点i和骨骼节点j之间的夹角关系可以记为θ_(i-j)；程序还可以加载预配置的当前的人体骨骼姿态(待识别图像中的学生的姿态)和预设的骨骼的姿态之间的允许误差范围(因为即使同一个姿态(如瞌睡)，不同的人或同一个人不同时刻的该姿态不可能完全一致，允许有误差范围)；

作为一个示例，如图3a中示出了一种举手姿态的示意图，图3b示出了与该姿态对应的人体骨骼姿态的示意图，图3b中所示的骨节点的编号与图2中所示的骨节点的编号对应，作为一种可选方式，可以将图3b所示的骨骼姿态中指定骨节点之间的位置关系预配到程序中，例如，对于该骨骼姿态，可以将骨节点6和骨节点7之间的距离d_(6-7)，以及骨节点6和骨节点7之间的连线与水平方向即X轴正方向的夹角θ_(6-7)作为预配置的举手姿态所对应的骨节点之间的位置关系。在对待处理图像进行处理时，则可以基于模型的输出的骨节点6和骨节点7的坐标，确定出骨节点6和骨节点7之间的距离与d_(6-7)的误差是否在预设距离误差范围内，且骨节点6和骨节点7的连线与X轴正方向的夹角和θ_(6-7)的差值是否在预设角度误差范围内，如果距离误差与角度误差均在各自对应的误差范围内，则可以确定当前对象的姿态信息为举手。

作为另一个示例，图4a中示出了一种睡眠姿态的示意图，图4b示出了与该姿态对应的人体骨骼姿态的示意图，4b中所示的骨节点的编号与图2中所示的骨节点的编号对应，作为一种可选方式，可以将图4b所示的骨骼姿态中指定骨节点之间的位置关系预配到程序中，例如，对于该骨骼姿态，可以将骨节点0和骨节点1之间的距离d_(0-1)，以及骨节点0和骨节点1之间的连线与水平方向即X轴正方向的夹角θ_(0-1)作为预配置的睡眠姿态所对应的骨节点之间的位置关系。在对待处理图像进行处理时，则可以基于模型的输出的骨节点0和骨节点1的坐标，判断出骨节点0和骨节点1之间的距离与d_(0-1)的误差是否在预设距离误差范围内，且骨节点0和1的连线与X轴正方向的夹角和θ_(0-1)的差值是否在预设角度误差范围内，如果距离误差与角度误差均在各自对应的误差范围内，则可以确定当前对象的姿态信息为睡眠。

(3)图像采集设备(如监控摄像头)开启预览视频流，获取预览数据帧(待处理图像)；

(4)将预览数据帧输入人脸检测模型中，模型对待处理图像进行人脸检测，判断待处理图像中是否存在指定数量的人脸(统计学生的数量(出勤率)，判断是否存在学生缺勤的情况，若存在，则显示缺勤学生信息(如编号)；同时输出每个人脸的表情信息，可以存入表情信息队列A；

(5)将预览数据帧输入人体骨架检测模型，模型对预览数据帧进行实时的人体骨架检测，输出每一帧图像的人体骨架数据集合，其中，人体骨架数据集合中可以包括但不限于人体各个骨架节点(即骨节点)的索引、骨架节点的坐标、骨架姿态(各个骨骼节点之间的位移、夹角关系等)等等；

(6)从步骤5的人体骨架数据集合中，可以根据需要重点分离出能表征学生课堂情况的部分骨架节点信息，如头部节点(如图2中所示的骨节点0和1)、上胸部节点(如图2中所示的骨节点1-8)、以及手臂节点(如图2中所示的骨节点2、3、4、5、6、7)的位置即坐标，还可以是骨节点之间的位置关系，如骨节点3和4之间的夹角(即骨节点3和4之间的骨架线段相对于水平方向(如X轴正方向)的夹角)和位移、各节点6和7之间的夹角和位置等；

(7)程序基于表情识别的默认参数表，结合表情信息队列A，对当前帧图像的学生表情进行统计(如统计微笑、摇头、点头等表情的比例分布等)；

基于人体骨骼识别默认参数表，结合节点信息队列B，判断(比对)学生的当前骨骼的姿态与预设的用于识别学生举手、点头、摇头、瞌睡等骨骼的姿态是否在预设的预设误差范围内，从而判断学生是否举手、摇头、点头、低头、趴桌子睡觉等，对当前帧图像的学生骨骼姿态进行统计(如统计举手、摇头、点头、低头、趴桌子睡觉等骨骼姿态的比例分布)，例如，手臂节点3和4之间的距离否在预设距离范围内，手臂节点6和7之间的线段相对于X正方向的夹角是否在预设的夹角范围内；

(8)将学生的出勤率、学生的表情比例分布、学生的骨骼姿态比例分布进行显示，让老师或者家长实时了解学生的整体课堂，同时将这些信息写入数据单元，以便后续使用。

作为一个示例，图5中示出了一种待处理图像的示意图，通过本申请实施例所提供的方案对图5中所示的图像进行处理，可以统计得到该待处理图像中的人脸数量为23，微笑数量为4，平静数量为19，举手人数为9，低头人数为1，瞌睡即睡眠人数为0。

基于本申请实施例所提供的方法，能够无需借助人力、不疲劳遗漏、全面客观、实时地对对象形态信息进行分析，例如，在应用到课堂时，可以基于该方案实现对学生课堂情况进实时的监测，以及实现对学生课堂情况的评价，将显著地提评价客观性、稳定性、可靠性。

基于与图1中所示的方法相同的原理，本申请实施例还提供了一种对象行为分析装置，如图6所示，该对象行为分析装置200可以包括图像获取模块210和行为分析模块220，其中，

图像获取模块210，用于获取待处理图像，待处理图像中包括待检测对象；

行为分析模块220，用于将待处理图像输入至对象检测模型，基于对象检测模型的输出，得到待处理图像中各个待检测对象的对象行为分析结果。

本申请实施例所提供的对象行为分析装置，可以将获取到的待处理图像输入至对象检测模型中，然后基于该对象检测模型的输出可以得到待处理图像中各待检测对象的对象行为分析结果，通过本申请的方案，不需要采用人工监测的方式即可得到对象的对象行为分析结果，不但节省人力资源，还使得获取对象的对象行为的方式更加智能，采用本申请中的人工智能方式，可以对待检测对象的对象行为进行实时监测，并且获取到的对象行为相较于人工监测的方式获取到的对象行为更加全面，更加准确。

可选的，对象行为分析结果可以包括以下至少一项：

指定形态信息的对象的数量；

待检测对象的数量；

对象出勤情况；

对象缺勤情况。

可选的，对象检测模型可以包括对象脸部检测模型和对象姿态检测模型中的至少一项；

可选的，若形态信息包括姿态信息，行为分析模块在基于对象检测模型的输出得到待处理图像中各待检测对象的形态信息时，具体用于：

可选的，行为分析模块在基于各待检测对象的骨架关键点的位置信息，确定待处理图像中各待检测对象的姿态信息时，具体用于：

可选的，行为分析模块在根据至少两个指定关键点的位置关系，确定各待检测对象的姿态信息时，具体用于：

可选的，行为分析模块在基于至少两个指定关键点的位置关系，以及预配置的相对应的骨架关键点的位置关系，确定各待检测对象的姿态信息时，具体用于：

可选的，位置关系可以包括以下至少一项：

至少两个关键点中的关键点之间的距离。

可选的，该装置还可以包括：

可选的，若待处理图像为安装在指定场所的图像采集设备所采集的视频中的视频帧图像，行为分析模块还用于：

由于本申请实施例所提供的装置为可以执行本申请实施例中的方法的装置，故而基于本申请实施例中所提供的方法，本领域所属技术人员能够了解本申请实施例的装置的具体实施方式以及其各种变化形式，所以在此对于该装置如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的方法所采用的装置，都属于本申请所欲保护的范围。

基于与本申请实施例所提供的方法和装置相同的原理，本申请实施例还提供了一种电子设备，该电子设备可以包括处理器和存储器。其中，存储器中存储有可读指令，可读指令由处理器加载并执行时，可以实现本申请任一实施例中所示的方法。

本申请实施例还提供了一种计算机可读存储介质，该存储介质中存储有可读指令，可读指令由处理器加载并执行时，实现本申请任一实施例中所示的方法。

图7示出了本申请实施例所适用的一种电子设备的结构示意图，如图7所示，图7所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。

处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器4003用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims

1.一种对象行为分析方法，其特征在于，包括：

获取待处理图像，所述待处理图像中包括待检测对象；

将所述待处理图像输入至对象检测模型，基于所述对象检测模型的输出，得到所述待处理图像中各个待检测对象的对象行为分析结果。

2.根据权利要求1所述的方法，其特征在于，所述对象行为分析结果包括以下至少一项：

各待检测对象的形态信息，所述形态信息包括表情信息和姿态信息中的至少一项；

指定形态信息的对象的数量；

待检测对象的数量；

对象出勤情况；

对象缺勤情况。

3.根据权利要求2所述的方法，其特征在于，所述对象检测模型包括对象脸部检测模型和对象姿态检测模型中的至少一项；

其中，若所述对象检测模型包括所述对象脸部检测模型，所述对象关键点包括面部关键点；

若所述对象检测模型包括所述对象姿态检测模型，所述对象关键点包括骨架关键点；

若所述对象关键点包括所述面部关键点，所述对象脸部检测模型的输出为所述待检测对象的表情信息；

若所述对象关键点包括所述骨架关键点，所述对象姿态检测模型的输出为所述待检测对象的骨架关键点的位置信息。

4.根据权利要求3所述的方法，其特征在于，若所述形态信息包括所述姿态信息，基于所述对象检测模型的输出得到所述待处理图像中各待检测对象的形态信息，包括：

基于所述对象检测模型输出的所述各待检测对象的骨架关键点的位置信息，确定所述待处理图像中各待检测对象的姿态信息。

5.根据权利要求4所述的方法，其特征在于，所述基于所述各待检测对象的骨架关键点的位置信息，确定所述待处理图像中各待检测对象的姿态信息，包括：

基于所述各待检测对象的骨架关键点中至少两个指定关键点的位置信息，确定所述至少两个指定关键点的位置关系；

根据所述至少两个指定关键点的位置关系，确定所述各待检测对象的姿态信息。

6.根据权利要求5所述的方法，其特征在于，所述根据所述至少两个指定关键点的位置关系，确定所述各待检测对象的姿态信息，包括：

基于所述至少两个指定关键点的位置关系，以及预配置的相对应的骨架关键点的位置关系，确定所述各待检测对象的姿态信息。

7.根据权利要求6所述的方法，其特征在于，所述基于所述至少两个指定关键点的位置关系，以及预配置的相对应的骨架关键点的位置关系，确定所述各待检测对象的姿态信息，包括：

基于所述至少两个指定关键点的位置关系与预配置的相对应的骨架关键点的位置关系之间的匹配程度，确定所述各待检测对象的姿态信息。

8.根据权利要求5所述的方法，其特征在于，所述位置关系包括以下至少一项：

所述至少两个指定关键点中的关键点之间的连线与预设置的参考方向的夹角；

所述至少两个关键点中的关键点之间的距离。

9.根据权利要求1至8中任一项所述的方法，其特征在于，所述待处理图像为安装在指定场所的图像采集设备所采集的图像，所述方法还包括：

基于所述待处理图像中的待检测对象的数量，确定在所述待处理图像的图像采集时刻所对应的所述指定场所内的对象出勤率。

10.根据权利要求1至8中任一项所述的方法，其特征在于，所述方法还包括：

基于所述待处理图像以及对象身份数据库，确定所述待处理图像和所述对象身份数据库中不匹配的对象。

11.根据权利要求1至8中任一项所述的方法，其特征在于，若所述待处理图像为安装在指定场所的图像采集设备所采集的视频中的视频帧图像，所述方法还包括：

根据所述视频中至少两帧视频帧图像对应的对象行为分析结果，生成综合对象行为分析结果。

12.一种对象行为分析装置，其特征在于，包括：

图像获取模块，用于获取待处理图像，所述待处理图像中包括待检测对象；

行为分析模块，用于将所述待处理图像输入至对象检测模型，基于所述对象检测模型的输出，得到所述待处理图像中各个待检测对象的对象行为分析结果。

13.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；

所述存储器中存储有可读指令，所述可读指令由所述处理器加载并执行时，实现如权利要求1至11中任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有可读指令，所述可读指令由处理器加载并执行时，实现如权利要求1至11中任一项所述的方法。