CN112733740A - 一种注意力信息的生成方法、装置、终端设备及存储介质 - Google Patents

Abstract

本申请适用于机器视觉领域，提供了一种注意力信息的生成方法、装置、终端设备及存储介质，该生成方法包括：获取用户的坐姿图像；将该坐姿图像导入坐姿类型识别模型中，输出该用户的坐姿类型；若该坐姿类型为标准坐姿，则将该坐姿图像导入场景对象识别模型中，标记该坐姿图像内的多个预设的场景对象；根据该场景对象以及与该坐姿类型关联的标准对象，生成该用户的注意力信息。本申请在根据用户的坐姿图像识别出用户坐姿为标准的时候，根据该坐姿图像内的场景对象进一步识别用户的注意力信息，解决现有技术中只能判断用户注意力是否集中，描述用户具体的注意力情况时不够清晰，且基于坐姿标准来确定用户注意力集中的方法不够精准的问题。

Description

一种注意力信息的生成方法、装置、终端设备及存储介质

技术领域

本申请属于机器视觉领域，尤其涉及一种注意力信息的生成方法、装置、终端设备及存储介质。

背景技术

随着时代的进步，教育事业也变得越来越智能化，各种智能化的教育产品也随之出现。人们在学习时，未免会有分心的情况，去做学习以外的事情，导致学习效率低下的问题。因此，需要一种监督用户注意力的智能化产品，检测用户的注意力是否集中在学习上，进而提高用户的学习效率，实现对用户学习的监督。

现有技术中，检测用户注意力的方法，一般是通过检测人体关键点来构建坐姿识别模型，以识别用户的坐姿，再根据用户的坐姿是否标准来确定用户的注意力是否集中。但是，仅仅识别用户坐姿是否标准，以此来判断用户注意力是否集中，是不够精准的；而且这种方法只能判断用户注意力是否集中，不能得知用户注意力集中或不集中的缘由，无法清楚描述用户具体的注意力情况，降低了注意力分析的准确性。

发明内容

本申请实施例提供了一种注意力信息的生成方法、装置、终端设备及存储介质，可以在根据用户的坐姿图像识别出用户坐姿为标准的时候，根据该坐姿图像内的场景对象进一步识别用户的注意力信息，解决现有技术中只能判断用户注意力是否集中，描述用户具体的注意力情况时不够清晰，且基于坐姿标准来确定用户注意力集中的方法不够精准的问题。

第一方面，本申请实施例提供了一种注意力信息的生成方法，包括：获取用户的坐姿图像；将所述坐姿图像导入坐姿类型识别模型中，输出所述用户的坐姿类型；若所述坐姿类型为标准坐姿，则将所述坐姿图像导入场景对象识别模型中，标记所述坐姿图像内的多个预设的场景对象；根据所述场景对象以及与所述坐姿类型关联的标准对象，生成所述用户的注意力信息。

在第一方面的一种可能的实现方式中，在生成所述用户的注意力信息之后，还包括：输出该注意力信息和/或将该注意力信息发送至用户终端。

示例性的，上述输出该注意力信息，可以是将该注意力信息通过显示部件进行显示，也可以是将该注意力信息通过声音部件进行播报。上述将该注意力信息发送至用户终端中，该用户终端还可以是该用户的监督者的监督终端，以实现该监督者通过该注意力信息来监督该用户。

应理解，本申请实施例的主要应用场景为学生配合桌椅进行学习活动，上述监督者则为学生的家长和/或教师。

第二方面，本申请实施例提供了一种注意力信息的生成装置，包括：坐姿类型确定模块，用于将所述坐姿图像导入坐姿类型识别模型中，输出所述用户的坐姿类型；场景对象标记模块，用于若所述坐姿类型为标准坐姿，则将所述坐姿图像导入场景对象识别模型中，标记所述坐姿图像内的多个预设的场景对象；注意力信息生成模块，用于根据所述场景对象以及与所述坐姿类型关联的标准对象，生成所述用户的注意力信息。

第三方面，本申请实施例提供了一种终端设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的方法。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

本申请实施例与现有技术相比存在的有益效果是：

本申请提供的方法，相对于现有技术，在根据用户的坐姿图像识别出用户坐姿为标准的时候，根据该坐姿图像内的场景对象进一步生成用户的注意力信息，根据该注意力信息中有关场景对象的相关描述，也即描述该用户在该坐姿图像内的具体姿态(与各个场景对象的互动)，从而更加清晰地描述用户具体的注意力情况，提高注意力分析的准确性，解决现有技术中只能判断用户注意力是否集中，描述用户具体的注意力情况时不够清晰，且基于坐姿标准来确定用户注意力集中的方法不够精准的问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请第一实施例提供的注意力信息的生成方法的实现流程图；

图2是本申请一实施例提供的应用场景示意图；

图3是本申请第二实施例提供的注意力信息的生成方法的实现流程图；

图4是本申请一实施例提供的场景对象识别模型示意图；

图5是本申请第三实施例提供的注意力信息的生成方法的实现流程图；

图6是本申请第四实施例提供的注意力信息的生成方法的实现流程图；

图7是本申请第五实施例提供的注意力信息的生成方法的实现流程图；

图8是本申请一实施例提供的注意力信息的生成装置的结构示意图；

图9是本申请一实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

在本申请实施例中，流程的执行主体为终端设备。该终端设备包括但不限于：服务器、计算机、智能手机以及平板电脑等能够执行本申请提供的生成方法的设备，优选地，该终端设备还可以是台灯，在该台灯的支撑柱上设置有摄像头，以进行照明功能以及本申请功能的整合，节省桌上空间。图1示出了本申请第一实施例提供的注意力信息的生成方法的实现流程图，详述如下:

在S101中，获取用户的坐姿图像。

在本实施例中，一般是通过摄像头来获取用户的坐姿图像。示例性地，该摄像头可以设置在桌子上，也可以设置在台灯的支撑住上，以便获取用户处于坐下状态时的坐姿图像。

在一种可能实现的方式中，上述获取用户的坐姿图像，具体可以为：当接收到用户反馈的监督指令时，通过该摄像头获取该坐姿图像。示例性地，可以按预设的采集周期获取用户在各个采集周期的坐姿图像。应理解，该监督指令可以是用户终端基于用户操作发送至该终端设备的，也可以是智能终端自动发送至该终端设备的，具体地，该智能终端为智能椅子，当该智能终端检测到用户坐上去(具体可以通过力传感器检测到与用户预设体重相匹配的重力，和/或通过温度传感器检测到用户的体温)，则生成该监督指令并发送至该终端设备。

应理解，该摄像头可以是该终端设备内的一个部件，也即该终端设备通过该摄像头获取该坐姿图像；该摄像头还可以是该终端设备之外的部件，上述获取该坐姿图像时，与该摄像头建立通信连接，并通过该摄像头获取该坐姿图像。示例性地，若该终端设备为移动设备，则该终端设备与该摄像头建立通信连接，并基于用户操作向该摄像头发送坐姿图像的获取指令，接收该摄像头基于该获取指令反馈的坐姿图像。

在S102中，将所述坐姿图像导入坐姿类型识别模型中，输出所述用户的坐姿类型。

在本实施例中，该坐姿类型识别模型可以是基于深度学习算法训练好的算法模型，以该坐姿图像为输入，以该坐姿类型为输出，基于该坐姿图像内的特征信息来确定该坐姿类型。具体地，该坐姿类型识别模型是通过多个训练坐姿图像来进行训练的，且每个训练坐姿图像对应有坐姿类型标签。该坐姿类型包括标准坐姿、低头坐姿、头部左倾坐姿以及身体左倾坐姿等坐姿类型，用于表征在该坐姿图像中该用户的坐姿情况。

在一种可能实现的方式中，上述将所述坐姿图像导入坐姿类型识别模型中，输出所述用户的坐姿类型，具体可以为：提取该坐姿图像中的各个预设的人体关键点的特征信息，并根据该坐姿类型识别模型的内参数以及该特征信息进行计算，得到该坐姿类型。示例性地，上述预设的人体关键点包括左眼关键点、右眼关键点、鼻子关键点、左耳关键点、右耳关键点、左肩关键点、右肩关键点以及颈部关键点等人体关键点。

应理解，该坐姿类型识别模型可以是任意以该坐姿图像为输入，以该坐姿类型为输出的分类学习模型，本实施例在此不作限定。

在S103中，若所述坐姿类型为标准坐姿，则将所述坐姿图像导入场景对象识别模型中，标记所述坐姿图像内的多个预设的场景对象。

在本实施例中，所述场景对象为在所述坐姿图像的获取场景中可用于描述用户注意力状态的对象。现有技术中认为，标准坐姿等同于注意力集中，而不会考虑到用户在保持标准坐姿的同时注意力不集中的情况，因此，本实施例在该坐姿类型为标准坐姿的情况下，再进一步识别用户的注意力状态，以进一步确认用户具体的注意力情况。具体地，执行将该坐姿图像导入场景对象识别模型中，标记该坐姿图像内的多个预设的场景对象的步骤，以便后续生成注意力信息。该场景对象是在所述坐姿图像的获取场景中可用于描述用户注意力状态的对象，也即在该用户获取该坐姿图像时的应用场景中，该坐姿图像内可能会出现的各种可以反映该用户的注意力状态的对象，示例性地，该坐姿图像的获取场景为学习场景，则该预设的场景对象包括：手、各类文具(包括笔、尺子以及橡皮擦)、玩具、水杯、手机以及书本等对象；示例性地，该坐姿图像的获取场景为上机场景，则该预设的场景对象包括：键盘、鼠标、手、耳机、玩具以及手机等对象。应理解，该场景对象是预设的对象，且为可以用于描述用户注意力状态的对象，而不是任意对象。

在一种可能实现的方式中，上述将所述坐姿图像导入场景对象识别模型中，标记所述坐姿图像内的多个预设的场景对象，具体可以为：将该坐姿图像导入该场景对象识别模型中，识别出该坐姿图像内包含的所有场景对象，并确定各个场景对象在该坐姿图像内的位置信息。该场景对象识别模型可以是基于深度学习算法训练好的Faster R-CNN分割模型，具体地，获取关于各个场景对象的多个场景训练图像，该场景训练图像与该场景对象一一关联，基于上述多个场景训练图像来训练该场景对象识别模型，具体地，将各个场景训练图像导入Faster R-CNN分割模型中，根据该场景训练图像中场景对象的位置信息计算边框损失，根据该场景训练图像对应的场景对象的类型计算分类损失，根据该边框损失以及该分类损失，调整该Faster R-CNN分割模型的内参数。

应理解，若所述坐姿类型为非标准坐姿，则以该非标准坐姿作为用户注意力不集中的依据，生成用户不集中的注意力信息。示例性地，若该坐姿类型识别模型可以识别出具体的非标准坐姿，例如低头、头部左倾以及身体左倾等非标准坐姿，则将该具体的非标准坐姿封装至注意力信息中。

在S104中，根据所述场景对象以及与所述坐姿类型关联的标准对象，生成所述用户的注意力信息。

在本实施例中，该注意力信息用于描述用户在该坐姿图像中的注意力情况；该注意力信息包括多个注意力状态，该注意力状态指的是用户在该坐姿图像中的姿态，包括用户与预设的上述场景对象之间的互动，例如玩玩具、玩手机、喝水或咬笔等，该姿态能反映出该用户的注意力情况；相较于现有技术，该注意力信息是基于该场景对象生成的，包含了该场景对象的相关描述，根据该场景对象的相关描述，进而描述该用户在该坐姿图像内的具体姿态(包括与各个场景对象的互动)，从而更加清晰地描述用户具体的注意力情况。该注意力信息可用于实时监督该用户的当前注意力，也可用于提醒该用户及时调整自己的注意力状态。

在本实施例中，所述标准对象为预设的与坐姿类型和注意力状态相关联的对象；具体地，该标准对象为在该坐姿类型的识别场景中可用于描述用户注意力状态的对象；该标准对象是与该坐姿类型相关联的，该标准对象是预先设置的，该标准对象指的是当用户处于该坐姿类型时，该用户所处的应用场景中可能出现的，可用于确定用户注意力状态的对象。示例性地，就本实施例来说，该坐姿类型为标准坐姿，也就是说，该用户在该坐姿图像内是处于标准坐姿的状态，则该坐姿图像包含了多个人体关键点，并在上述S102中根据这些人体关键点确定了该坐姿类型为标准坐姿，则此时该标准对象可以包括手、口、眼以及耳等人体关键点相关的对象，也包括笔、书本、玩具、手机以及耳机线等物品对象。

在本实施例中，该坐姿类型不仅与该标准对象相关联，也与多个候选注意力状态相关联，该候选注意力状态与各个标准对象的相对位置关系相关联，例如在标准坐姿类型的关联下，口的标准对象与笔的标准对象在该坐姿图像内重合或距离小于预设的距离阈值，则此时相关联的候选注意力状态为咬笔。该候选注意力状态指的是当用户处于该坐姿类型时，该用户所处的应用场景中所有可能出现的注意力状态。

在一种可能实现的方式中，上述根据所述场景对象以及与所述坐姿类型关联的标准对象，生成所述用户的注意力信息，具体可以为：将各个场景对象与各个标准对象一一进行比对，若比对成功，则识别该场景对象与该标准对象为同一对象；根据该场景对象在该坐姿图像内的相对位置关系，从该坐姿类型关联的多个候选注意力状态中选取目标注意力状态；将选取得到的所有目标注意力状态进行封装，得到该注意力信息。该目标注意力状态为上述多个候选注意力状态中，与该场景对象比对成功的标准对象以及该相对位置关系相关联的一个。

示例性地，该坐姿图像的获取场景为学习场景，该坐姿图像内的场景对象包括耳以及耳机线，该坐姿类型为标准状态，该坐姿类型关联的标准对象也包括耳以及耳机线，也即，将各个场景对象与各个标准对象一一进行比对，会出现两个比对成功的对象，分别为耳以及耳机线；该标准坐姿还关联有多个候选注意力状态，包括与上述两个比对成功的对象(耳以及耳机线)及两者的相对位置关系关联的注意力状态，具体为：与“耳”、“耳机线”以及“重合或距离小于预设的距离阈值”相关联的“正在使用耳机”注意力状态；以这两个比对成功的对象(耳以及耳机线)为基准，若该耳以及该耳机线在该坐姿图像内重合或距离小于预设的距离阈值，也即符合上述预设的“重合或距离小于预设的距离阈值”的相对位置关系，则从该坐姿类型关联的多个候选注意力状态中选取该目标注意力状态(正在使用耳机)；并将该目标注意力状态封装至上述注意力信息中。

应理解，在该坐姿类型为非标准坐姿时，该坐姿类型关联的标准对象也有所不同，例如，该非标准坐姿关联的标准对象包括尺子，也即用户在使用该尺子时，坐姿会处于非标准的状态。

在本实施例中，在根据用户的坐姿图像识别出用户坐姿为标准的时候，根据该坐姿图像内的场景对象进一步识别用户的注意力状态，并生成注意力信息，根据该注意力信息中有关场景对象的相关描述，也即描述该用户在该坐姿图像内的具体姿态(与各个场景对象的互动)，以确定用户在应用场景中与各个标准对象之间是否存在互动，从而更加清晰地描述用户具体的注意力情况；根据该注意力信息进行注意力分析，可以提高注意力分析的准确性，解决了现有技术中只能判断用户注意力是否集中，描述用户具体的注意力情况时不够清晰，且基于坐姿标准来确定用户注意力集中的方法不够精准的问题。

图2示出了本申请一实施例提供的应用场景示意图。参见图2，在该应用场景中，该坐姿图像的获取场景为学习场景，该用户坐在该椅子上，该用户正在玩手机，该摄像头设置在该桌子上，经过本实施例提供的生成方法，通过该摄像头获取该用户的坐姿图像，确定该用户的坐姿类型为标准坐姿，并生成描述该用户用左手以及右手来玩手机的注意力信息。

图3示出了本申请第二实施例提供的注意力信息的生成方法的实现流程图。参见图3，相对于图1所述实施例，本实施例提供的注意力信息的生成方法S103包括S301～S302，具体详述如下：

进一步地，所述将所述坐姿图像导入场景对象识别模型中，标记所述坐姿图像内的多个预设的场景对象，包括：

在S301中，将所述坐姿图像导入所述场景对象识别模型中，在所述坐姿图像上标记出关于所述场景对象的对象边框，并为每个所述场景对象配置对应的对象标签。

在本实施例中，该场景对象识别模型有一个输入以及两个输出，具体地，以该坐姿图像为输入，以该对象边框以及该对象标签为输出。该对象边框用于在该坐姿图像上标记该场景对象，优选地，该对象边框为在该坐姿图像内该场景对象所在的具体最小边框，也即该对象边框恰好能包围住该场景对象。该对象标签用于表征该场景对象的对象类型，例如左手、右手、玩具以及手机等对象类型。

在一种可能实现的方式中，该场景对象识别模型包括特征提取网络、边框提取网络以及标签分类网络，上述将所述坐姿图像导入所述场景对象识别模型中，在所述坐姿图像上标记出关于所述场景对象的对象边框，并为每个所述场景对象边框配置对应的对象标签，具体可以为，将该坐姿图像导入该特征提取网络，得到特征图像；将该特征图像导入该边框提取网络，得到该坐姿图像内各个场景对象的对象边框；将该特征图像导入该标签分类网络，得到该坐姿图像内各个场景对象的对象标签。上述特征提取网络可以是卷积神经网络(Convolutional Neural Networks，CNN)，上述边框提取网络以及标签分类网络可以是Mask-RCNN网络的一部分，也即该边框提取网络的输出为该Mask-RCNN网络经过边框层的输出，该标签分类网络的输出为该Mask-RCNN网络经过分类层的输出。具体可参见图4，图4示出了本申请一实施例提供的场景对象识别模型示意图，示例性地，该坐姿图像内包括左手、右手以及口的场景对象，以该坐姿图像作为该场景对象识别模型的输入，以标记该坐姿图像内各个场景对象，具体地，经过该特征提取网络以及该边框提取网络来确定该坐姿图像内各个场景对象的对象边框，经过该特征提取网络以及该标签分类信息确定该坐姿图像内各个场景对象的对象标签，并基于该对象边框以及对象标签，在该坐姿图像内各个场景对象，具体如图4所述的该场景对象识别模型的输出。

在S302中，根据所述对象边框以及所述对象标签在所述坐姿图像内标记所述场景对象。

在一种可能实现的方式中，上述根据所述对象边框以及所述对象标签在所述坐姿图像内标记所述场景对象，具体可以为：将上述S301得到的对象边框以及对象标签一一关联，并在该坐姿图像内对该场景对象进行标记；具体可参见图4中该场景对象识别模型的输出。

在本实施例中，通过该对象边框以及该对象标签来标记该坐姿图像内的各个场景对象，也即通过该对象边框来限定该场景对象的位置，通过该对象标签来限定该场景对象的对象类型，可以提高后续生成注意力信息的精确性。

进一步地，本实施例提供的方法S104包括S303～S307，具体详述如下：

在S303中，基于所述对象标签，分别将各个所述场景对象与所有所述标准对象进行匹配。

在本实施例中，所述标准对象包括预警对象以及非预警对象；所述预警对象为预设的与注意力状态直接关联的对象；所述非预警对象为预设的与注意力状态间接关联的对象。示例性地，该预警对象用于表征在该坐姿图像的获取场景下，预设的能对用户注意力直接造成影响的标准对象，包括手机以及玩具等在学习场景时出现即破坏学习氛围的对象；该非预警对象用于表征除上述除预警对象以外的其他标准对象，包括左手、右手、笔以及书本等在学习场景中的待观察对象，需要进一步识别这些待观察对象之间的互动性，才能确定用户的注意力状态。

在一种可能实现的方式中，该标准对象也关联有对象标签，上述基于所述对象标签，分别将各个所述场景对象与所有所述标准对象进行匹配，具体可以为：以其中一个场景对象为例进行说明，将该场景对象对应的对象标签，与各个标准对象的对象标签进行比对，若该场景对象对应的对象标签与该标准对象的对象标签相同，则是被为该场景对象与该标准对象匹配成功。

在S304中，若所述场景对象与任一所述预警对象匹配成功，则根据所述预警对象生成所述注意力信息。

在本实施例中，若该场景对象与任一预警对象匹配成功，也即在坐姿图像中存在该预警对象，则此时应直接根据该预警对象生成该注意力信息。在一种可能实现的方式中，上述根据所述预警对象生成所述注意力信息，具体可以为：查询各个匹配成功的预警对象关联的注意力状态，并将所有查询得到的注意力状态封装至该注意力信息中。示例性地，若匹配成功的预警对象为手机，则该预警对象关联的注意力状态为“使用手机”，则将该“使用手机”的注意力状态封装至该注意力信息中。

应理解，上述查询该预警对象关联的注意力状态之前，还可以包括：判断该场景对象是否处于该预警对象关联的预警区域内；该预警区域指的是在该坐姿图像内预设的与该预警对象有关的位置区域；若该场景对象处于该预警对象关联的预警区域，则执行上述查询该预警对象关联的注意力状态的步骤；若该场景对象不处于该预警对象关联的预警区域，则停止执行上述查询该预警对象关联的注意力状态的步骤。示例性地，该坐姿图像内预设的与手机有关的预警区域为桌面区域，若该手机预警对象位于该桌面区域，则查询与该手机关联的注意力状态。通过设置预警区域，可以进一步细化该预警对象直接确定该用户的注意力状态的条件，提高了根据该预警对象生成的注意力信息的准确度。

在S305中，若所述场景对象与任一所述非预警对象匹配成功，则将所有与所述非预警对象匹配成功的所述场景对象识别为非预警场景对象。

在本实施例中，若所述场景对象与任一所述非预警对象匹配成功，则表明需要进行进一步分析来能确定该注意力状态。也即，将该坐姿图像内与非预警对象匹配成功的场景对象识别为该非预警场景对象，以便后续生成该注意力信息。

在S306中，从所述坐姿图像内所有所述非预警场景对象中，选取任意两个存在重叠区域的非预警场景对象，并将选取的两个所述非预警场景对象的组合识别为监测对象组。

在本实施例中，一般来说，该坐姿图像内存在非预警场景对象是正常现象，但是如果该坐姿图像内存在两个存在重叠区域的非预警场景对象，则需要进一步识别，以便后续生成该注意力信息。具体地，从该坐姿图像内所有非预警场景对象中，选取任意两个存在重叠区域的非预警场景对象，组成一个监测对象组；示例性地，若该坐姿图像内存在左手、口以及笔这三个与预警场景对象，左手与笔存在重叠区域，口与笔也存在重叠区域，则得到两个监测对象组，分别为左手与笔的组合，以及口语笔的组合。

在S307中，根据所述坐姿图像内所有所述监测对象组，生成所述注意力信息。

在本实施例中，上述根据所述坐姿图像内所有所述监测对象组，生成所述注意力信息，具体可以为：查询该监测对象组关联的注意力状态，并将该注意力状态封装至该注意力信息中。示例性地，若该坐姿图像内存在两个监测对象组，分别为左手与笔的组合，以及口语笔的组合，则查询得到左手握笔的注意力状态，以及咬笔的注意力状态，将这两个注意力状态封装置该注意力信息中，则该注意力信息可用于标识用户左手握笔且咬笔。

在本实施例中，将该坐姿图像内的场景对象与预警对象或非预警对象进行匹配，可以更精准地识别出该坐姿图像对应的用户的注意力状态，以生成更准确且更详细的注意力状态，以丰富后续生成的注意力信息，基于该注意力信息进行的注意力分析时，提高注意力分析的准确度。

图5示出了本申请第三实施例提供的注意力信息的生成方法的实现流程图。参见图5，相对于图3所述实施例，本实施例提供的注意力信息的生成方法包括S501～S503，具体详述如下：

进一步地，所述生成方法，还包括：

在S501中，将所述坐姿图像以及所述注意力信息发送至用户终端。

在本实施例中，该终端设备与该用户终端建立通信连接后，将该坐姿图像以及该注意力信息发送至该用户终端，以让用户基于该坐姿图像来验证该注意力信息。

在S502中，接收所述用户终端基于所述坐姿图像以及所述注意力信息反馈的验证信息。

在本实施例中，所述验证信息包括关于所述场景对象的真值边框以及真值标签。该用户在查看了发送至该用户终端的该坐姿图像以及该注意力信息后，可对该注意力信息进行验证，基于用户操作在该用户终端内生成关于该注意力信息的验证信息，并将该验证信息反馈至该终端设备。该验证信息可以为正确信息，也可以为异常信息；该正确信息内关于各个场景对象的真值边框以及真值标签是基于该注意力信息确定的，该异常信息内关于各个场景对象的真值边框以及真值标签是基于用户操作确定的，也即用户自定义标记该坐姿图像内各个场景对象的真值边框以及真值标签。

在S503中，基于所述坐姿图像、所述真值边框以及所述真值标签，调整所述场景对象识别模型的学习参数。

在本实施例中，上述基于所述坐姿图像、所述真值边框以及所述真值标签，调整所述场景对象识别模型的学习参数，具体可以为，若所述验证信息为异常信息，则根据该真值边框与该坐姿图像的该对象边框计算边框损失，根据该真值标签与该坐姿图像的该对象标签计算标签损失，并根据该边框损失该标签损失调整该场景对象识别模型的学习参数。具体实现可参考神经网络的损失回归，在此不再赘述。

在本实施例中，提供一种用户反馈验证信息的功能，并根据该验证信息训练该场景对象识别模型，以让该场景对象识别模型随着用户的使用次数增多而提高精准度。

图6示出了本申请第四实施例提供的注意力信息的生成方法的实现流程图。参见图6，相对于图1所述实施例，本实施例提供的注意力信息的生成方法S102之后还包括S601～S602，具体详述如下：

在本实施例中，所述坐姿类型包括不确定坐姿。

进一步地，所述将所述坐姿图像导入坐姿类型识别模型中，输出所述用户的坐姿类型之后，还包括：

在S601中，若所述坐姿类型为不确定坐姿，则将所述坐姿图像导入背景对象识别模型，标记所述坐姿图像内预设的背景对象。

在本实施例中，所述背景对象为所述坐姿图像中除所述用户以外的用于指示用户注意力的其他对象；该坐姿类型为不确定坐姿，则表示该坐姿图像内存在的人脸关键点的数量不足以让该坐姿类型识别模型确定具体的坐姿类型，也即该坐姿图像内的人脸关键点的数量少于该坐姿类型识别模型对应的预设关键点阈值。此时，为了确定用户具体的坐姿情况，也为了确定该用户具体的注意力情况，在该坐姿图像内人脸关键点数量较少的情况下，需要识别该坐姿图像内的背景对象，也即该坐姿图像的获取场景中除用户人脸以外的其他对象；具体地，将该坐姿图像导入背景对象识别模型，标记该坐姿图像内预设的背景对象。

在本实施例中，该背景对象可用于确定预设的注意力状态。该背景对象是根据该坐姿图像的获取场景预先设置的，示例性地，该背景对象包括椅子、头发以及预设墙壁等；该背景对象识别模型是预先训练好的深度学习模型，具体是基于多个背景训练图像进行训练的，该多个背景训练图像中包括，关于该终端设备对应的椅子图像，关于该用户的头发图像，以及关于该终端设备设置位置的墙壁图像；该多个背景训练图像可以是基于上述摄像头获取得到的。上述将所述坐姿图像导入背景对象识别模型，标记所述坐姿图像内预设的背景对象，具体可参照上述S103的相关描述，在此不再赘述。需要说明的是，该背景对象与上述S103的场景对象不完全相同，该场景对象为在所述坐姿图像的获取场景中可用于描述用户注意力状态的对象，而该背景对象为在所述坐姿图像的获取场景中除人脸以外的其他对象。

在S602中，根据所述背景对象以及与所述坐姿类型关联的标准对象，生成所述用户的注意力信息。

在本实施例中，该标准对象是预设的与该坐姿类型和注意力状态相关联的，示例性地，就本实施例而言，该坐姿类型为不确定坐姿，也即该坐姿图像内包含的人脸关键点的数量过少，则需要选取在该坐姿图像内可能出现的且用于反映用户注意力状态的所有对象，识别为该不确定坐姿对应的该标准对象，此时该标准对象包括：预设墙壁、头发、预设椅子、预设桌面、手(考虑到手遮住人脸的情形)等对象。该坐姿类型不仅与该标准对象相关联，也与多个候选注意力状态相关联，该候选注意力状态与各个标准对象的相对位置关系相关联，例如在不确定坐姿类型的关联下，该坐姿图像内识别到该预设椅子以及预设墙壁且该预设椅子位于该预设墙壁的下方，则此时相关联的候选注意力状态为离开。

在一种可能实现的方式中，上述根据所述背景对象以及与所述坐姿类型关联的标准对象，生成所述用户的注意力信息，具体可以为：将各个背景对象与该标准对象一一进行比对，若比对成功，则识别该背景对象与该标准对象为同一对象；根据该背景对象在该坐姿图像内的相对位置关系，从该坐姿类型关联的多个候选注意力状态中选取目标注意力状态，将选取得到的所有目标注意力状态进行封装，得到该注意力信息。该目标注意力状态为上述多个候选注意力状态中，与该场景对象比对成功的标准对象以及该相对位置关系相关联的一个。

示例性地，该坐姿图像的获取场景为学习场景，该坐姿图像内的背景对象包括椅子以及墙壁，该坐姿类型为不确定状态，该坐姿类型关联的标准对象包括椅子、墙壁以及头发，也即将各个背景对象与各个标准对象一一进行比对，会出现两个比对成功的对象，分别为椅子以及墙壁；该不确定坐姿还关联有多个候选注意力状态，包括与上述两个比对成功的对象(椅子以及墙壁)及两者的相对位置关系关联的注意力状态，具体为：与“椅子”、“墙壁”以及“墙壁在椅子上方”相关联的“离开”注意力状态，以这两个比对成功的对象(椅子以及墙壁)为基准，若该椅子以及该墙壁在该坐姿图像内符合该预设的“墙壁在椅子上方”的相对位置关系，则从该坐姿类型关联的多个候选注意力状态中选取该目标注意力状态(墙壁在椅子上方)；

示例性地，该背景对象为头发，也即将各个背景对象与各个标准对象一一进行比对，会出现一个比对成功的对象，为头发；该不确定坐姿关联的候选注意力状态包括与该“头发”以及该“头发”的相对位置关系关联的注意力状态，具体为：与该“头发”以及“该头发处于该坐姿图像的上半区域”相关联的“背身”注意力状态，和，与该“头发”以及“该头发处于该坐姿图像的下半区域”相关联的“趴桌”注意力状态，以该比对成功的对象(头发)为基准，若该背景对象在该坐姿图像内的下半区域，也即符合上述预设的“该头发处于该坐姿图像的下半区域”的相对位置关系，则从该不确定坐姿类型关联的多个候选注意力状态中选取该目标注意力状态(趴桌)，若该背景对象在该坐姿图像内上半区域，也即符合上述预设的“该头发处于该坐姿图像的上半区域”的相对位置关系，则从该不确定坐姿类型关联的多个候选注意力状态中选取该目标注意力状态(背身)。

在本实施例中，增加不确定坐姿的坐姿类型，若该坐姿类型为不确定坐姿，则进一步识别该用户的注意力状态，以完善现有技术中不能识别的坐姿类型。

进一步地，本实施例提供的生成方法S602之后还包括S603～S605，具体详述如下：

所述根据所述背景对象以及与所述坐姿类型关联的标准对象，生成所述用户的注意力信息，包括：

在S603中，若所述坐姿类型为不确定坐姿，则将所述坐姿图像发送至用户终端。

在本实施例中，若该坐姿类型为不确定坐姿，则将该终端设备与该用户终端建立通信连接，并将该坐姿图像发送至该用户终端，以让用户基于该坐姿图像反馈该坐姿图像的真值坐姿类型，也即让用户自行确定该坐姿图像具体的坐姿类型。

在S604中，接收所述用户终端基于所述坐姿图像反馈的真值坐姿类型。

在本实施例中，该真值坐姿类型表示该坐姿图像内用户的真实坐姿类型。示例性地，该用户终端同时显示该坐姿图像以及多个预设的候选坐姿类型，并基于用户操作在多个预设的候选坐姿类型中选取真值坐姿类型；而后，该终端设备接收该用户终端基于该坐姿图像反馈的该真值坐姿类型。

在S605中，基于所述坐姿图像以及所述真值坐姿类型，调整所述坐姿类型识别模型的学习参数。

在本实施例中，上述基于所述坐姿图像以及所述真值坐姿类型，调整所述坐姿类型识别模型的学习参数，具体可参照上述S503的相关描述，在此不再赘述。

在本实施例中，提供一种用户反馈该不正确坐姿的坐姿图像对应的真值坐姿类型的功能，并根据该真值坐姿类型训练该坐姿类型识别模型，以让该坐姿类型识别模型提高精准度。

图7示出了本申请第五实施例提供的注意力信息的生成方法的实现流程图。参见图7，相对于上述任一实施例，本实施例提供的注意力信息的生成方法包括S701～S702，具体详述如下：

进一步地，所述注意力信息的生成方法，还包括：

在S701中，若所述注意力信息内的检测结果为注意力不集中，则在预设时长之后获取用户的标定坐姿图像。

在本实施例中，上述注意力信息内的检测结果为注意力不集中，指的是该注意力信息包含了识别为注意力不集中的注意力状态，例如玩手机，咬笔以及玩玩具等。该预设时长是可以预先设置的，示例性地，该预设时长可以与上述第一实施例所述的采集周期的时长相同。上述在预设时长之后获取用户的标定坐姿图像，具体可参照上述S101的相关描述，在此不再赘述，需要说明的是，本实施例中获取用户的标定坐姿图像，相当于重新执行一次上述S101的步骤。

在S702中，若基于所述标定坐姿图像确定的标定注意力信息与所述注意力信息相同，则输出所述注意力信息，和/或发送所述注意力信息至用户终端。

在本实施例中，上述基于所述标定坐姿图像确定的标定注意力信息的具体实现手段，可参照上述第一实施例的相关描述，在此不再赘述。

在一种可能实现的方式中，上述基于所述标定坐姿图像确定的标定注意力信息与所述注意力信息相同，则输出所述注意力信息，和/或发送所述注意力信息至用户终端，具体可以为：若该标定注意力信息的内容与该注意力信息的内容相同，则输出该注意力信息，和/或将该注意力信息发送至该用户终端。特别地，在另一种可能实现的方式中，提取该标准注意力信息与该注意力信息之间的相同内容，生成新的注意力信息，输出该新的注意力信息，和/或将该新的注意力信息发送至该用户终端。

应理解，上述输出该注意力信息，可以是将该注意力信息通过显示部件进行显示，也可以是将该注意力信息通过声音部件进行播报；上述将该注意力信息发送至该用户终端中，该用户终端还可以是该用户的监督者的监督终端，以实现该监督者通过该注意力信息来监督该用户。

在本实施例中，以至少两张坐姿图像为依据生成该注意力信息，可以提高该注意力信息的准确度。

对应于上文实施例所述的方法，图8示出了本申请一实施例提供的注意力信息的生成装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图8，该生成装置包括：坐姿图像获取模块，用于获取用户的坐姿图像；坐姿类型确定模块，用于将所述坐姿图像导入坐姿类型识别模型中，输出所述用户的坐姿类型；场景对象标记模块，用于若所述坐姿类型为标准坐姿，则将所述坐姿图像导入场景对象识别模型中，标记所述坐姿图像内的多个预设的场景对象；注意力信息生成模块，用于根据所述场景对象以及与所述坐姿类型关联的标准对象，生成所述用户的注意力信息。

可选的，该场景对象标记模块包括：对象边框模块，用于将所述坐姿图像导入所述场景对象识别模型中，在所述坐姿图像上标记出关于所述场景对象的对象边框；对象标签模块，用于为每个所述场景对象边框配置对应的对象标签；该场景对象标记模块，还用于根据所述对象边框以及所述对象标签在所述坐姿图像内标记所述场景对象。

可选的，该注意力信息生成模块包括：标准对象匹配模块，用于基于所述对象标签，分别将各个所述场景对象与所有所述标准对象进行匹配；所述标准对象包括预警对象以及非预警对象；若所述场景对象与任一所述预警对象匹配成功，则根据所述预警对象生成所述注意力信息；非预警场景对象模块，用于若所述场景对象与任一所述非预警对象匹配成功，则将所有与所述非预警对象匹配成功的所述场景对象识别为非预警场景对象；监测对象组选取模块，用于从所述坐姿图像内所有所述非预警场景对象中，选取任意两个存在重叠区域的非预警场景对象，并将选取的两个所述非预警场景对象的组合识别为监测对象组；该注意力信息生成模块，还用于根据所述坐姿图像内所有所述监测对象组，生成所述注意力信息。

可选的，该生成装置包括：发送模块，用于将所述坐姿图像以及所述注意力信息发送至用户终端；验证信息接收模块，用于接收所述用户终端基于所述坐姿图像以及所述注意力信息反馈的验证信息；所述验证信息包括关于所述场景对象的真值边框以及真值标签；场景对象识别模型调整模块，用于基于所述坐姿图像、所述真值边框以及所述真值标签，调整所述场景对象识别模型的学习参数。

可选的，该生成装置包括：背景对象标记模块，用于若所述坐姿类型为不确定坐姿，则将所述坐姿图像导入背景对象识别模型，标记所述坐姿图像内预设的背景对象；该注意力信息生成模块，还用于根据所述背景对象以及与所述坐姿类型关联的标准对象，生成所述用户的注意力信息。

可选的，该生成装置包括：该发送模块，还用于若所述坐姿类型为不确定坐姿，则将所述坐姿图像发送至用户终端；反馈接收模块，用于接收所述用户终端基于所述坐姿图像反馈的真值坐姿类型；坐姿类型识别模型调整模块，用于基于所述坐姿图像以及所述真值坐姿类型，调整所述坐姿类型识别模型的学习参数。

可选的，该生成装置包括：该坐姿图像获取模块，还用于若所述注意力信息内的检测结果为注意力不集中，则在预设时长之后获取用户的标定坐姿图像；注意力信息输出模块，用于若基于所述标定坐姿图像确定的标定注意力信息与所述注意力信息相同，则输出所述注意力信息；和/或该发送模块，还用于若基于所述标定坐姿图像确定的标定注意力信息与所述注意力信息相同，则发送所述注意力信息至用户终端。

需要说明的是，上述装置之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图9示出了本申请一实施例提供的终端设备的结构示意图。如图9所示，该实施例的终端设备9包括：至少一个处理器90(图9中仅示出一个处理器)、存储器91以及存储在所述存储器91中并可在所述至少一个处理器90上运行的计算机程序92，所述处理器90执行所述计算机程序92时实现上述任意各个方法实施例中的步骤。

所述终端设备9可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器90、存储器91。本领域技术人员可以理解，图9仅仅是终端设备9的举例，并不构成对终端设备9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器90可以是中央处理单元(Central Processing Unit，CPU)，该处理器90还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器91在一些实施例中可以是所述终端设备9的内部存储单元，例如终端设备9的硬盘或内存。所述存储器91在另一些实施例中也可以是所述终端设备9的外部存储设备，例如所述终端设备9上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器91还可以既包括所述终端设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种注意力信息的生成方法，其特征在于，包括：

获取用户的坐姿图像；

将所述坐姿图像导入坐姿类型识别模型中，输出所述用户的坐姿类型；

若所述坐姿类型为标准坐姿，则将所述坐姿图像导入场景对象识别模型中，标记所述坐姿图像内的多个预设的场景对象；所述场景对象为用于描述所述用户当前所处的场景，且在所述场景中用于指示用户注意力的对象；

根据所述场景对象以及与所述坐姿类型关联的标准对象，生成所述用户的注意力信息；所述标准对象为预设的与坐姿类型和注意力状态相关联的对象。

2.如权利要求1所述的注意力信息的生成方法，其特征在于，所述将所述坐姿图像导入场景对象识别模型中，标记所述坐姿图像内的多个预设的场景对象，包括：

将所述坐姿图像导入所述场景对象识别模型中，在所述坐姿图像上标记出关于所述场景对象的对象边框，并为每个所述场景对象配置对应的对象标签；

根据所述对象边框以及所述对象标签在所述坐姿图像内标记所述场景对象。

3.如权利要求2所述的注意力信息的生成方法，其特征在于，所述根据所述场景对象以及与所述坐姿类型关联的标准对象，生成所述用户的注意力信息，包括：

基于所述对象标签，分别将各个所述场景对象与所有标准对象进行匹配；所述标准对象包括预警对象以及非预警对象；所述预警对象为预设的与注意力状态直接关联的对象；所述非预警对象为预设的与注意力状态间接关联的对象；

若所述场景对象与任一所述预警对象匹配成功，则根据匹配成功的预警对象生成所述注意力信息；

若所述场景对象与任一所述非预警对象匹配成功，则将匹配成功的场景对象识别为非预警场景对象；

从所述坐姿图像内所有非预警场景对象中，选取任意两个存在重叠区域的非预警场景对象，并将选取的所述两个非预警场景对象的组合识别为监测对象组；

根据所述坐姿图像内所有监测对象组，生成所述注意力信息。

4.如权利要求2所述的注意力信息的生成方法，其特征在于，所述生成方法，还包括：

将所述坐姿图像以及所述注意力信息发送至用户终端；

接收所述用户终端基于所述坐姿图像以及所述注意力信息反馈的验证信息；所述验证信息包括关于所述场景对象的真值边框以及真值标签；

基于所述坐姿图像、所述真值边框以及所述真值标签，调整所述场景对象识别模型的学习参数。

5.如权利要求1所述的注意力信息的生成方法，其特征在于，所述坐姿类型包括不确定坐姿；在所述将所述坐姿图像导入坐姿类型识别模型中，输出所述用户的坐姿类型之后，还包括：

若所述坐姿类型为不确定坐姿，则将所述坐姿图像导入背景对象识别模型，标记所述坐姿图像内预设的背景对象；所述背景对象为所述坐姿图像中除所述用户以外的用于指示用户注意力的其他对象；

根据所述背景对象以及与所述坐姿类型关联的标准对象，生成所述用户的注意力信息。

6.如权利要求5所述的注意力信息的生成方法，其特征在于，在所述根据所述背景对象以及与所述坐姿类型关联的标准对象，生成所述用户的注意力信息之后，还包括：

若所述坐姿类型为不确定坐姿，则将所述坐姿图像发送至用户终端；

接收所述用户终端基于所述坐姿图像反馈的真值坐姿类型；

基于所述坐姿图像以及所述真值坐姿类型，调整所述坐姿类型识别模型的学习参数。

7.如权利要求1-6任一项所述的注意力信息的生成方法，其特征在于，所述注意力信息的生成方法，还包括：

若所述注意力信息内的检测结果为注意力不集中，则在预设时长之后获取用户的标定坐姿图像；所述标定坐姿图像为重新获取的所述用户的坐姿图像；

若基于所述标定坐姿图像确定的标定注意力信息与所述注意力信息相同，则输出所述注意力信息，和/或发送所述注意力信息至用户终端。

8.一种注意力信息的生成装置，其特征在于，包括：

坐姿图像获取模块，用于获取用户的坐姿图像；

坐姿类型确定模块，用于将所述坐姿图像导入坐姿类型识别模型中，输出所述用户的坐姿类型；

场景对象标记模块，用于若所述坐姿类型为标准坐姿，则将所述坐姿图像导入场景对象识别模型中，标记所述坐姿图像内的多个预设的场景对象；

注意力信息生成模块，用于根据所述场景对象以及与所述坐姿类型关联的标准对象，生成所述用户的注意力信息。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

Images