CN116310976A - 学习习惯养成方法、装置、电子设备及存储介质 - Google Patents

学习习惯养成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116310976A
CN116310976A CN202310243693.6A CN202310243693A CN116310976A CN 116310976 A CN116310976 A CN 116310976A CN 202310243693 A CN202310243693 A CN 202310243693A CN 116310976 A CN116310976 A CN 116310976A
Authority
CN
China
Prior art keywords
target
image
video stream
learning
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310243693.6A
Other languages
English (en)
Inventor
胡江宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202310243693.6A priority Critical patent/CN116310976A/zh
Publication of CN116310976A publication Critical patent/CN116310976A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例涉及一种学习习惯养成方法、装置、电子设备及存储介质，上述方法包括：获取目标视频流；对所述目标视频流中的目标面部图像进行面部识别；在所述目标面部图像为所述预设人员的面部图像的情况下，确定所述目标视频流中的目标手部图像是否表示握笔姿势正确；在所述目标手部图像表示握笔姿势正确的情况下，确定所述目标视频流中的目标人体图像是否表示人体状态异常；在所述目标人体图像表示人体状态异常的情况下，生成第一提示信息，其中，所述第一提示信息用于提示人体状态出现异常。这样可以在整个学习期间进行更为全面的学习习惯的监控，减少判断学习习惯正确与否的误判率，进而能够更及时地对异常的学习习惯进行提示。

Description

学习习惯养成方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种学习习惯养成方法、装置、电子设备及存储介质。
背景技术
随着社会工作节奏的加快，现在的家长们愈发没有时间陪伴孩子一起学习。这就容易导致很多孩子不得不独自学习。在独自学习的过程中，孩子往往更容易养成各种异常的学习习惯。例如趴着学习、头部过低学习、疲劳学习和错误握笔等。进一步地，这些异常的学习习惯容易造成孩子驼背、近视、学习效率低下和写字难看等问题。此外，孩子的天性便是好动，精神不容易集中，容易受到环境的干扰。在学习遇到困难时，如果没有父母的帮助，很容易敷衍了事甚至放弃。久而久之会使孩子养成知难而退的习惯，不利于孩子未来的成长。因此，一个既能够帮助家长陪伴孩子，又能帮助孩子养成良好的学习习惯的设备就显得尤为重要了。
现有的用于陪伴孩子学习、帮助孩子养成良好的学习习惯的设备，其功能较为单一，通常仅能够进行单个学习习惯的提示。例如，一些设备仅能够通过头部与书本之间的距离，来判断相应人员的眼部与书本之间的距离是否过近，并在距离过近的情况下，提示增加眼部与书本之间的距离。
然而，上述方案容易出现误判的情况，进而导致对不当学习习惯的提示缺乏及时性。例如，当眼部与书本之间的距离符合要求，但坐姿倾斜的情况下，上述设备可能判断学习习惯正确。再例如，如果宠物在书本上，并且，宠物的眼部与书本之间的距离符合要求，上述设备也可能判断学习习惯正确。
可见，如何更及时地进行不当学习习惯的提示，是一个值得关注的技术问题。
发明内容
鉴于此，为解决上述部分或全部技术问题，本申请实施例提供一种学习习惯养成方法、装置、电子设备及存储介质。
第一方面，本申请实施例提供一种学习习惯养成方法，所述方法包括：
获取目标视频流；
对所述目标视频流中的目标面部图像进行面部识别，以确定所述目标面部图像是否为预设人员的面部图像；
在所述目标面部图像为所述预设人员的面部图像的情况下，确定所述目标视频流中的目标手部图像是否表示握笔姿势正确；
在所述目标手部图像表示握笔姿势正确的情况下，确定所述目标视频流中的目标人体图像是否表示人体状态异常；
在所述目标人体图像表示人体状态异常的情况下，生成第一提示信息，其中，所述第一提示信息用于提示人体状态出现异常。
在一个可能的实施方式中，所述获取目标视频流，包括：
获取深度相机采集的目标视频流；以及
所述对所述目标视频流中的目标面部图像进行面部识别，包括：
从所述目标视频流中提取面部图像，得到目标面部图像；
提取所述目标面部图像的面部关键点，以及确定所述目标面部图像中的像素的第一深度信息；
基于所述面部关键点和所述第一深度信息，对所述目标面部图像进行面部识别。
在一个可能的实施方式中，所述获取目标视频流，包括：
获取深度相机采集的目标视频流；以及
所述确定所述目标视频流中的目标手部图像是否表示握笔姿势正确，包括：
从所述目标视频流中提取手部图像，得到目标手部图像；
提取所述目标手部图像的手部关键点，以及确定所述目标手部图像中的像素的第二深度信息；
基于所述手部关键点和所述第二深度信息，确定所述目标视频流中的目标手部图像是否表示握笔姿势正确。
在一个可能的实施方式中，所述确定所述目标视频流中的目标人体图像是否表示人体状态异常，包括以下至少一项：
确定所述目标视频流中的目标人体图像是否表示人员状态疲惫；
确定所述目标视频流中的目标人体图像是否表示学习姿势异常。
在一个可能的实施方式中，所述在所述目标手部图像表示握笔姿势正确的情况下，确定所述目标视频流中的目标人体图像是否表示人体状态异常，包括：
在所述目标手部图像表示握笔姿势正确的情况下，生成第二提示信息，其中，所述第二提示信息用于提示学习开始；
在生成所述第二提示信息之后，确定所述目标视频流中的目标人体图像是否表示人体状态异常。
在一个可能的实施方式中，在所述生成第一提示信息之后，所述方法还包括：
确定所述第一提示信息的生成次数；
确定所述生成次数是否大于或等于预设次数阈值；
在所述生成次数大于或等于所述预设次数阈值的情况下，向预设终端发送第三提示信息，其中，所述第三提示信息用于提示所述预设终端的用户进行姿态辅助纠正。
在一个可能的实施方式中，所述在所述生成第一提示信息之后，所述方法还包括：
确定当前时刻与学习开始时刻之间的时长，得到学习时长；其中，所述学习开始时刻为：各次确定所述目标手部图像表示握笔姿势正确的时刻中，与所述当前时刻最接近的时刻；
确定所述学习时长是否大于或等于预设时长阈值；
在满足预设条件的情况下，执行第一步骤和第二步骤中的至少一项；其中：
所述预设条件包括：所述学习时长大于或等于所述预设时长阈值，并且，在学习期间所述目标人体图像并未表示人体状态异常；其中，所述学习期间的起始时刻为所述学习开始时刻，并且，所述学习期间的结束时刻为所述当前时刻；
所述第一步骤为：生成第四提示信息；其中，所述第四提示信息用于进行休息提醒；
所述第二步骤为：向预设终端发送所述学习时长。
第二方面，本申请实施例提供一种学习习惯养成装置，所述装置包括：
获取单元，用于获取目标视频流；
识别单元，用于对所述目标视频流中的目标面部图像进行面部识别，以确定所述目标面部图像是否为预设人员的面部图像；
第一确定单元，用于在所述目标面部图像为所述预设人员的面部图像的情况下，确定所述目标视频流中的目标手部图像是否表示握笔姿势正确；
第二确定单元，用于在所述目标手部图像表示握笔姿势正确的情况下，确定所述目标视频流中的目标人体图像是否表示人体状态异常；
生成单元，用于在所述目标人体图像表示人体状态异常的情况下，生成第一提示信息，其中，所述第一提示信息用于提示人体状态出现异常。
在一个可能的实施方式中，所述获取目标视频流，包括：
获取深度相机采集的目标视频流；以及
所述对所述目标视频流中的目标面部图像进行面部识别，包括：
从所述目标视频流中提取面部图像，得到目标面部图像；
提取所述目标面部图像的面部关键点，以及确定所述目标面部图像中的像素的第一深度信息；
基于所述面部关键点和所述第一深度信息，对所述目标面部图像进行面部识别。
在一个可能的实施方式中，所述获取目标视频流，包括：
获取深度相机采集的目标视频流；以及
所述确定所述目标视频流中的目标手部图像是否表示握笔姿势正确，包括：
从所述目标视频流中提取手部图像，得到目标手部图像；
提取所述目标手部图像的手部关键点，以及确定所述目标手部图像中的像素的第二深度信息；
基于所述手部关键点和所述第二深度信息，确定所述目标视频流中的目标手部图像是否表示握笔姿势正确。
在一个可能的实施方式中，所述确定所述目标视频流中的目标人体图像是否表示人体状态异常，包括以下至少一项：
确定所述目标视频流中的目标人体图像是否表示人员状态疲惫；
确定所述目标视频流中的目标人体图像是否表示学习姿势异常。
在一个可能的实施方式中，所述在所述目标手部图像表示握笔姿势正确的情况下，确定所述目标视频流中的目标人体图像是否表示人体状态异常，包括：
在所述目标手部图像表示握笔姿势正确的情况下，生成第二提示信息，其中，所述第二提示信息用于提示学习开始；
在生成所述第二提示信息之后，确定所述目标视频流中的目标人体图像是否表示人体状态异常。
在一个可能的实施方式中，在所述生成第一提示信息之后，所述装置还包括：
第三确定单元，用于确定所述第一提示信息的生成次数；
第四确定单元，用于确定所述生成次数是否大于或等于预设次数阈值；
发送单元，用于在所述生成次数大于或等于所述预设次数阈值的情况下，向预设终端发送第三提示信息，其中，所述第三提示信息用于提示所述预设终端的用户进行姿态辅助纠正。
在一个可能的实施方式中，所述在所述生成第一提示信息之后，所述装置还包括：
第五确定单元，用于确定当前时刻与学习开始时刻之间的时长，得到学习时长；其中，所述学习开始时刻为：各次确定所述目标手部图像表示握笔姿势正确的时刻中，与所述当前时刻最接近的时刻；
第六确定单元，用于确定所述学习时长是否大于或等于预设时长阈值；
在满足预设条件的情况下，执行第一步骤和第二步骤中的至少一项；其中：
所述预设条件包括：所述学习时长大于或等于所述预设时长阈值，并且，在学习期间所述目标人体图像并未表示人体状态异常；其中，所述学习期间的起始时刻为所述学习开始时刻，并且，所述学习期间的结束时刻为所述当前时刻；
所述第一步骤为：生成第四提示信息；其中，所述第四提示信息用于进行休息提醒；
所述第二步骤为：向预设终端发送所述学习时长。
第三方面，本申请实施例提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本申请上述第一方面的学习习惯养成方法中任一实施例的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述第一方面的学习习惯养成方法中任一实施例的方法。
第五方面，本申请实施例提供一种计算机程序，所述计算机程序包括计算机可读代码，当所述计算机可读代码在设备上运行时，使得该设备中的处理器实现如上述第一方面的学习习惯养成方法中任一实施例的方法。
本申请实施例提供的学习习惯养成方法，可以获取目标视频流；之后，对所述目标视频流中的目标面部图像进行面部识别，以确定所述目标面部图像是否为预设人员的面部图像；然后，在所述目标面部图像为所述预设人员的面部图像的情况下，确定所述目标视频流中的目标手部图像是否表示握笔姿势正确；随后，在所述目标手部图像表示握笔姿势正确的情况下，确定所述目标视频流中的目标人体图像是否表示人体状态异常；最后，在所述目标人体图像表示人体状态异常的情况下，生成第一提示信息，其中，所述第一提示信息用于提示人体状态出现异常。由此，首先通过面部识别，来判断当前学习者是否为指定人员，之后，在确定为指定人员后，再确定其是否握笔正确，然后，在确定握笔正确后，进一步判断其人体状态是否异常，当判断人体状态异常后，提示人体状态出现异常。这样可以在整个学习期间进行更为全面的学习习惯的监控，减少判断学习习惯正确与否的误判率，进而能够更及时地对异常的学习习惯进行提示。
附图说明
图1为本申请实施例提供的一种学习习惯养成方法的流程示意图；
图2为本申请实施例提供的另一种学习习惯养成方法的流程示意图；
图3A为本申请实施例提供的又一种学习习惯养成方法的流程示意图；
图3B为本申请实施例提供的一种学习习惯养成方法中确定开始学习时刻的流程示意图；
图3C为本申请实施例提供的再一种学习习惯养成方法的流程示意图；
图4为本申请实施例提供的一种学习习惯养成装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值并不限制本申请的范围。
本领域技术人员可以理解，本申请实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等对象，既不代表任何特定技术含义，也不表示它们之间的逻辑顺序。
还应理解，在本实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本申请实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本申请对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，上述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。为便于对本申请实施例的理解，下面将参考附图并结合实施例来详细说明本申请。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种学习习惯养成方法的流程示意图。本方法可以应用于智能手机、笔记本电脑、台式电脑、便携式计算机、服务器等一个或多个电子设备上。此外，本方法的执行主体可以是硬件，也可以是软件。当上述执行主体为硬件时，该执行主体可以为上述电子设备中的一个或多个。例如，单个电子设备可以执行本方法，或者，多个电子设备可以彼此配合来执行本方法。当上述执行主体为软件时，本方法可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不作具体限定。作为示例，
如图1所示，该方法具体包括：
步骤101，获取目标视频流。
在本实施例中，目标视频流，可以是采用图像拍摄装置实时获取的视频信息。作为示例，上述图像拍摄装置可以是深度相机，也可以是彩色相机。
步骤102，对所述目标视频流中的目标面部图像进行面部识别，以确定所述目标面部图像是否为预设人员的面部图像。
在本实施例中，目标面部图像，可以是目标视频流中的面部图像。
面部识别，也即人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。
作为示例，可以通过对目标面部图像进行灰度直方图分析，遍历图像中的所有灰度值，从而识别出面部信息。之后，通过确定面部信息是否为预设人员的面部信息，来确定目标面部图像是否为预设人员的面部图像。
作为又一示例，还可以采用CNN(Convolutional Neural Networks，卷积神经网络)等人脸识别模型对所述目标视频流中的目标面部图像进行面部识别，以确定所述目标面部图像是否为预设人员的面部图像。
步骤103，在所述目标面部图像为所述预设人员的面部图像的情况下，确定所述目标视频流中的目标手部图像是否表示握笔姿势正确。
在本实施例中，目标手部图像，可以是目标视频流中的手部图像。
作为示例，可以通过灰度识别和边缘检测对目标手部图像进行握笔姿势检测，从而确定所述目标视频流中的目标手部图像是否表示握笔姿势正确。
作为又一示例，还可以对目标手部图像进行分类识别，从而确定所述目标视频流中的目标手部图像是否表示握笔姿势正确。
步骤104，在所述目标手部图像表示握笔姿势正确的情况下，确定所述目标视频流中的目标人体图像是否表示人体状态异常。
在本实施例中，目标人体图像，可以是目标视频流中的人体图像。
人体状态异常，可以包括以下至少一项：人体状态是否疲惫、人体坐姿是否端正、是否驼背、眼镜与书本之间的距离是否位于预设距离范围。
在本实施例的一些可选的实现方式中，可以采用以下至少一项，来确定所述目标视频流中的目标人体图像是否表示人体状态异常：
第一项，确定所述目标视频流中的目标人体图像是否表示人员状态疲惫。
作为示例，可以通过分类模型，来确定所述目标视频流中的目标人体图像是否表示人员状态疲惫。
第二项，确定所述目标视频流中的目标人体图像是否表示学习姿势异常。
作为示例，可以通过分类模型，来确定所述目标视频流中的目标人体图像是否表示学习姿势异常。
可以理解，上述可选的实现方式中，通过判断是否存在人员状态疲惫、学习姿势异常，来确定人体状态是否异常。进一步地，一旦确定人员状态疲惫或学习姿势异常，则可以提示人体状态出现异常。这样，通过后续步骤，可以更及时地对异常的学习习惯进行提示。
此处，在所述目标手部图像表示握笔姿势正确的情况下，可以采用如下方式，来确定所述目标视频流中的目标人体图像是否表示人体状态异常：按照目标频率，确定所述目标视频流中的目标人体图像是否表示人体状态异常。
作为示例，上述目标频率可以是预先确定且固定不变的频率值。
作为又一示例，上述目标频率还可以基于状态正常时长、当前时刻、本次学习开始时刻来确定。
其中，所述状态正常时长为：所述预设人员在历史时间维持人体状态正常的时长。
在历史时间维持人体状态正常的时长，可以是：历史时间段内所述预设人员学习开始时刻，到学习开始时刻之后的首次确定人体状态异常的时刻之间的时长。
本次学习开始时刻，可以是在当前时刻之前，并且，距离当前时刻最近一次确定所述目标手部图像表示握笔姿势正确的时刻。
进一步地，可以采用如下方式，来基于所述状态正常时长、当前时刻、本次学习开始时刻，确定目标频率：
第一步，确定所述当前时刻与所述本次学习开始时刻之间的时长，是否小于或等于所述状态正常时长的预设百分比。
其中，所述预设百分比小于100％。
第二步，在所述当前时刻与所述本次学习开始时刻之间的时长，小于或等于所述状态正常时长的预设百分比的情况下，将所述目标频率确定为第一频率；在所述当前时刻与所述本次学习开始时刻之间的时长，大于所述状态正常时长的预设百分比的情况下，将所述目标频率确定为第二频率。
其中，所述第二频率大于所述第一频率。
进一步地，所述状态正常时长，可以采用如下方式确定：
首先，获取异常时刻序列。
其中，所述异常时刻序列中的异常时刻为：在历史时间段内，确定所述预设人员存在人体状态异常的时刻。所述异常时刻序列中的异常时刻按照时间先后顺序排列。
作为示例，异常时刻序列可以为“8:00、10:00、17:00”。
之后，确定所述异常时刻序列对应的学习开始时刻序列。
其中，所述学习开始时刻序列中的学习开始时刻，为确定所述目标手部图像表示握笔姿势正确的时刻。所述异常时刻序列中的第n个异常时刻，与所述学习开始时刻序列中的第n个学习开始时刻相对应。所述第n个异常时刻位于所述第n个学习开始时刻之后，并且，所述第n个异常时刻与所述第n个学习开始时刻之间不存在异常时刻和学习开始时刻。n为大于0且小于或等于N的正整数。N表示所述学习开始时刻序列中包括的学习开始时刻的数量。
然后，确定所述异常时刻序列中的每个异常时刻i，与所述学习开始时刻序列中的每个学习开始时刻i之间的时间差，得到时间差序列。i用于标识异常时刻及学习开始时刻，并且，i的取值由1至N递增。
随后，确定所述时间差序列对应的权重序列。其中，所述时间差序列中的时间差与所述权重序列中的权重一一对应。所述异常时刻序列中的异常时刻与当前时刻之间的时间差，与所述权重序列中的权重呈负相关。换言之，异常时刻距离当前时刻越近，则所述时间差序列中该异常时刻对应的时间差的权重越大。
接下来，采用所述权重序列，计算所述时间差序列的加权均值，得到计算结果，将所述计算结果，确定为状态正常时长。
步骤105，在所述目标人体图像表示人体状态异常的情况下，生成第一提示信息，其中，所述第一提示信息用于提示人体状态出现异常。
在本实施例中，第一提示信息，可以为用于提示人体状态出现异常文本、语音、图像等。
在本实施例的一些可选的实现方式中，可以采用如下方式，来执行上述步骤104，以便在所述目标手部图像表示握笔姿势正确的情况下，确定所述目标视频流中的目标人体图像是否表示人体状态异常：
第一步，在所述目标手部图像表示握笔姿势正确的情况下，生成第二提示信息。
其中，所述第二提示信息用于提示学习开始。第二提示信息可以是文本、语音、图像等。
第二步，在生成所述第二提示信息之后，确定所述目标视频流中的目标人体图像是否表示人体状态异常。
可以理解，上述可选的实现方式中，在判断目标手部图像表示握笔姿势正确后，即可判定相关人员开始学习，这样可以更准确地确定出实际开始学习的时间。
在本实施例的一些可选的实现方式中，在执行上述步骤105后，还可以执行如下步骤：
首先，确定所述第一提示信息的生成次数。
其中，上述生成次数，可以是人体状态出现异常的次数。
之后，确定所述生成次数是否大于或等于预设次数阈值。
然后，在所述生成次数大于或等于所述预设次数阈值的情况下，向预设终端发送第三提示信息。
其中，所述第三提示信息用于提示所述预设终端的用户进行姿态辅助纠正。第三提示信息，可以是文本、语音、图像等。
上述预设终端可以为预先确定的终端。例如，可以通过与上述学习习惯养成方法的执行主体建立关联关系，来设定预设终端。
可以理解，上述可选的实现方式中，可以在多次提示人体状态出现异常后，向预设终端发送第三提示信息，以使所述预设终端的用户进行姿态辅助纠正，由此提高了学习习惯纠正的有效性。
在本实施例的一些可选的实现方式中，在执行上述步骤105后，还可以执行如下步骤：
首先，确定当前时刻与学习开始时刻之间的时长，得到学习时长。
其中，所述学习开始时刻为：各次确定所述目标手部图像表示握笔姿势正确的时刻中，与所述当前时刻最接近的时刻。
学习时长，可以是当前时刻与学习开始时刻之间的时长。
之后，确定所述学习时长是否大于或等于预设时长阈值。
然后，在满足预设条件的情况下，执行第一步骤和第二步骤中的至少一项。
其中，所述预设条件包括：所述学习时长大于或等于所述预设时长阈值，并且，在学习期间所述目标人体图像并未表示人体状态异常。
所述学习期间的起始时刻为所述学习开始时刻，并且，所述学习期间的结束时刻为所述当前时刻。
所述第一步骤为：生成第四提示信息。其中，所述第四提示信息用于进行休息提醒。
所述第二步骤为：向预设终端发送所述学习时长。
可以理解，上述可选的实现方式中，可以在学习时长较长的情况下，提醒相关人员进行休息，和/或，向预设终端的用户反馈上述学习时长。
本申请实施例提供的学习习惯养成方法，可以获取目标视频流；之后，对所述目标视频流中的目标面部图像进行面部识别，以确定所述目标面部图像是否为预设人员的面部图像；然后，在所述目标面部图像为所述预设人员的面部图像的情况下，确定所述目标视频流中的目标手部图像是否表示握笔姿势正确；随后，在所述目标手部图像表示握笔姿势正确的情况下，确定所述目标视频流中的目标人体图像是否表示人体状态异常；最后，在所述目标人体图像表示人体状态异常的情况下，生成第一提示信息，其中，所述第一提示信息用于提示人体状态出现异常。由此，首先通过面部识别，来判断当前学习者是否为指定人员，之后，在确定为指定人员后，再确定其是否握笔正确，然后，在确定握笔正确后，进一步判断其人体状态是否异常，当判断人体状态异常后，提示人体状态出现异常。这样可以在整个学习期间进行更为全面的学习习惯的监控，减少判断学习习惯正确与否的误判率，进而能够更及时地对异常的学习习惯进行提示。
图2为本申请实施例提供的另一种学习习惯养成方法的流程示意图。
如图2所示，该方法具体包括：
步骤201，获取深度相机采集的目标视频流。
在本实施例中，可以经由深度相机采集的目标视频流，之后，获取深度相机采集的目标视频流。
除此之外，步骤201与图1对应实施例中的步骤101基本一致，这里不再赘述。
步骤202，从所述目标视频流中提取面部图像，得到目标面部图像。
在本实施例中，目标面部图像，可以是从目标视频流中提取的面部图像。
步骤203，提取所述目标面部图像的面部关键点，以及确定所述目标面部图像中的像素的第一深度信息。
在本实施例中，第一深度信息，可以表示目标面部图像中的像素(例如表示面部关键点的像素)的深度。
作为示例，可以使用ASM(active shape model)算法对人脸关键点进行提取。并采用深度相机的内置算法，来确定所述目标面部图像中的像素的第一深度信息。
步骤204，基于所述面部关键点和所述第一深度信息，对所述目标面部图像进行面部识别，以确定所述目标面部图像是否为预设人员的面部图像。
在本实施例中，可以采用DFPC(Deep Face Points CNN)人脸识别模型，进行面部识别。
其中，DFPC可以基于第一深度信息和面部关键点，对CNN(Convolutional NeuralNetwork，卷积神经网络)网络进行训练，得到最终的识别模型。该模型通过面部关键点坐标定位面部位置。同时定位出面部的关键区域，例如，上述关键区域包括眉毛、眼睛和鼻子等。第一深度信息可以反映相机到面部各关键点的距离信息，将距离信息进行处理则可以映射出人脸的三维表示形式。将这些信息作为数据，对CNN网络进行训练，最终实现人脸识别功能。
进一步地，在训练得到DFPC之后，可以将面部关键点信息与第一深度信息作为输入数据，通过CNN网络得到最终的识别结果。
步骤205，在所述目标面部图像为所述预设人员的面部图像的情况下，确定所述目标视频流中的目标手部图像是否表示握笔姿势正确。
在本实施例中，步骤205与图1对应实施例中的步骤103基本一致，这里不再赘述。
步骤206，在所述目标手部图像表示握笔姿势正确的情况下，确定所述目标视频流中的目标人体图像是否表示人体状态异常。
在本实施例中，步骤206与图1对应实施例中的步骤104基本一致，这里不再赘述。
步骤207，在所述目标人体图像表示人体状态异常的情况下，生成第一提示信息，其中，所述第一提示信息用于提示人体状态出现异常。
在本实施例中，步骤207与图1对应实施例中的步骤105基本一致，这里不再赘述。
需要说明的是，除以上所记载的内容之外，本实施例还可以包括图1对应的实施例中所描述的相应技术特征，进而实现图1所示学习习惯养成方法的技术效果，具体请参照图1相关描述，为简洁描述，在此不作赘述。
本申请实施例提供的学习习惯养成方法，通过使用面部关键点信息和第一深度信息来训练CNN网络，由此可以从不同角度对人脸进行建模，进而可以实现三维人脸识别，识别的范围不局限于正脸，可以从各个角度对脸部进行识别，且识别准确率较高、鲁棒性较强。
图3A为本申请实施例提供的又一种学习习惯养成方法的流程示意图。
具体而言，如图3A所示，该方法具体包括：
步骤301，获取深度相机采集的目标视频流。
在本实施例中，步骤301与图2对应实施例中的步骤201基本一致，这里不再赘述。
步骤302，对所述目标视频流中的目标面部图像进行面部识别，以确定所述目标面部图像是否为预设人员的面部图像。
在本实施例中，步骤302与图1对应实施例中的步骤102基本一致，这里不再赘述。
步骤303，在所述目标面部图像为所述预设人员的面部图像的情况下，从所述目标视频流中提取手部图像，得到目标手部图像。
在本实施例中，目标手部图像，可以是从目标视频流中提取的手部图像。
步骤304，提取所述目标手部图像的手部关键点，以及确定所述目标手部图像中的像素的第二深度信息。
在本实施例中，第二深度信息，可以表示目标手部图像中的像素(例如表示手部关键点的像素)的深度。
作为示例，可以使用MediaPipe(手势识别)算法对手指部分的10个关键点进行提取。此外，可以使用深度相机内置算法，对目标手部图像的像素深度进行计算，从而得到第二深度信息。
步骤305，基于所述手部关键点和所述第二深度信息，确定所述目标视频流中的目标手部图像是否表示握笔姿势正确。
在本实施例中，作为示例，可以使用DHPR(Deep Hand Points ResNet)模型，来确定所述目标视频流中的目标手部图像是否表示握笔姿势正确。
其中，DHPR模型，可以基于手部关键点信息和图像深度信息(也即上述第二深度信息)对ResNet网络进行训练。通过对手部关键点坐标的提取和处理，定位手部位置和手指的姿态，对其弯曲程度进行衡量。图像深度信息可以反映相机到手部各关键点的距离信息。将距离信息进行处理则可以映射出手部的三维表示形式。最后对ResNet网络进行训练，实现实时握笔姿势检测功能。
这里，可以将手指关键点信息与深度信息作为输入数据，对ResNet网络进行训练，从而得到最终的握笔姿势检测模型。
进一步地，可以利用握笔姿势检测模型，确定所述目标视频流中的目标手部图像是否表示握笔姿势正确。
步骤306，在所述目标手部图像表示握笔姿势正确的情况下，确定所述目标视频流中的目标人体图像是否表示人体状态异常
在本实施例中，步骤306与图1对应实施例中的步骤104基本一致，这里不再赘述。
步骤307，在所述目标人体图像表示人体状态异常的情况下，生成第一提示信息，其中，所述第一提示信息用于提示人体状态出现异常。
在本实施例中，步骤307与图1对应实施例中的步骤105基本一致，这里不再赘述。
下面对本申请实施例进行示例性说明，但需要注意的是，本申请实施例可以具有以下所描述的特征，但以下描述并不构成对本申请实施例保护范围的限定。
如图3B所示，图3B为本申请实施例提供的一种学习习惯养成方法中确定开始学习时刻的流程示意图。
在图3B中，可以采用如下方式，获得面部关键点和第一深度信息：
首先，打开深度相机，获取视频流(也即上述目标视频流)。之后，使用ASM算法对人脸关键点(也即上述面部关键点)进行提取。
其中，ASM算法的基本思路为：选取一组人脸图像的训练样本。用形状向量(由所有特征点的坐标组成)描述人脸的形状。将训练集中各样本对齐，使样本间形状尽可能相似。再使用主成分分析对齐后的形状向量统计建模。最后通过关键点的搜索实现特定物体的匹配。
这里，对向量进行对齐处理，可以减小原始图像环境、角色、角度、姿势变换等一系列问题导致向量在计算过程中会出现的误差。这里，可以采用Procrustes(普鲁克)分析进行对齐处理。
首先，采用如下公式，将特征点中心坐标位置(xi，yi)移到坐标系圆点得到：
Figure BDA0004126898600000151
定义变换后的特征点g＝(x′1,y′1,…,x′i,y′i,…,x′n,y′n)，i表征特征点的数量，将特征点进行正规化处理，变成单位向量
Figure BDA0004126898600000152
经过变换，将每一个数据映射到人脸空间集合SG＝{g||g∈R2n}。
之后，使用提取得到的人脸关键点对人脸等关键位置进行定位。
然后，可以使用深度相机内置算法，计算目标面部图像的像素深度，得到第一深度信息。
此外，可以采用如下方式，获得手部关键点和第二深度信息：
首先，打开深度相机，获取视频流(也即上述目标视频流)。
之后，使用MediaPipe算法对手指部分的10个关键点进行提取。提取得到后就能通过坐标值对手指姿势进行建模，从而定位手指位置和衡量手指的弯曲状态，以获得手部关键点。
此外，可以使用深度相机内置算法对手部图像的像素深度进行计算，得到第二深度信息。
进一步地，将手指关键点(也即上述手部关键点)信息与深度信息(也即上述第二深度信息)作为输入数据，对ResNet网络进行训练，得到最终的握笔姿势检测模型。
接下来，请参考图3C，图3C为本申请实施例提供的再一种学习习惯养成方法的流程示意图。
这里，可以通过将四个功能按照顺序进行调用，实现在一段时间内自动对孩子的学习状态进行判断、识别和提醒。
首先，按要求输入学习的时长，在软件启动后，先进行人脸登录(也即对目标面部图像进行面部识别)确定是否为孩子本人。
之后，确定是本人后，对握笔的姿势进行检测，也即确定所述目标视频流中的目标手部图像是否表示握笔姿势正确。若检测不通过，则进行提醒纠正并再次检测，一直到握笔姿势正确后才提醒开始学习。
开始学习后，疲惫检测功能和姿态检测功能可以同时进行，对孩子的学习状态进行检测。若存在问题则语音提醒，问题次数(也即上述第一提示信息的生成次数)超过一定数量后，则发送短信提醒家长进行纠正。若学习状态一直良好，则学习时长达到45分钟时进行休息语音提醒，并用短信告知家长其孩子的学习时长。
由本方案，使用脸部关键点信息和图像深度信息训练CNN网络的方法，从不同角度对人脸进行建模，达到3D(三维)人脸识别的效果，识别的范围不局限于正脸，可以从各个角度对脸部进行识别，且识别准确率高，鲁棒性强。并且，在握笔姿势检测中，使用MediaPipe算法对手部关键点信息进行建模，并结合图像深度信息对ResNet网络进行训练，实现从手部关节的屈伸状态和空间位置对握笔姿势进行深度检测，达到准确识别握笔姿势的效果。另外，可以通过人脸识别、疲惫检测、姿态识别和握笔姿势检测四个功能，对孩子的学习状态进行实时检测。通过语音模块对孩子进行提醒，通过短信模块对家长进行反馈，既能够帮助孩子养成正确的学习习惯，也能够帮助家长了解孩子的学习状态，达到及时提醒和纠正的目的，具有较强的实用性、成本低、趣味性大，能够增加家长和孩子的亲密度，共同学习进步。
需要说明的是，除以上所记载的内容之外，本实施例还可以包括以上各实施例中所描述的技术特征，进而实现以上所示学习习惯养成方法的技术效果，具体请参照以上描述，为简洁描述，在此不作赘述。
本申请实施例提供的学习习惯养成方法，使用MediaPipe算法对手部关键点信息进行建模，并结合图像深度信息对ResNet网络进行训练，实现从手部关节的屈伸状态和空间位置对握笔姿势进行深度检测，达到准确识别握笔姿势的效果。
图4为本申请实施例提供的一种学习习惯养成装置的结构示意图。具体包括：
获取单元401，用于获取目标视频流；
识别单元402，用于对所述目标视频流中的目标面部图像进行面部识别，以确定所述目标面部图像是否为预设人员的面部图像；
第一确定单元403，用于在所述目标面部图像为所述预设人员的面部图像的情况下，确定所述目标视频流中的目标手部图像是否表示握笔姿势正确；
第二确定单元404，用于在所述目标手部图像表示握笔姿势正确的情况下，确定所述目标视频流中的目标人体图像是否表示人体状态异常；
生成单元405，用于在所述目标人体图像表示人体状态异常的情况下，生成第一提示信息，其中，所述第一提示信息用于提示人体状态出现异常。
在一个可能的实施方式中，所述获取目标视频流，包括：
获取深度相机采集的目标视频流；以及
所述对所述目标视频流中的目标面部图像进行面部识别，包括：
从所述目标视频流中提取面部图像，得到目标面部图像；
提取所述目标面部图像的面部关键点，以及确定所述目标面部图像中的像素的第一深度信息；
基于所述面部关键点和所述第一深度信息，对所述目标面部图像进行面部识别。
在一个可能的实施方式中，所述获取目标视频流，包括：
获取深度相机采集的目标视频流；以及
所述确定所述目标视频流中的目标手部图像是否表示握笔姿势正确，包括：
从所述目标视频流中提取手部图像，得到目标手部图像；
提取所述目标手部图像的手部关键点，以及确定所述目标手部图像中的像素的第二深度信息；
基于所述手部关键点和所述第二深度信息，确定所述目标视频流中的目标手部图像是否表示握笔姿势正确。
在一个可能的实施方式中，所述确定所述目标视频流中的目标人体图像是否表示人体状态异常，包括以下至少一项：
确定所述目标视频流中的目标人体图像是否表示人员状态疲惫；
确定所述目标视频流中的目标人体图像是否表示学习姿势异常。
在一个可能的实施方式中，所述在所述目标手部图像表示握笔姿势正确的情况下，确定所述目标视频流中的目标人体图像是否表示人体状态异常，包括：
在所述目标手部图像表示握笔姿势正确的情况下，生成第二提示信息，其中，所述第二提示信息用于提示学习开始；
在生成所述第二提示信息之后，确定所述目标视频流中的目标人体图像是否表示人体状态异常。
在一个可能的实施方式中，在所述生成第一提示信息之后，所述装置还包括：
第三确定单元(图中未示出)，用于确定所述第一提示信息的生成次数；
第四确定单元(图中未示出)，用于确定所述生成次数是否大于或等于预设次数阈值；
发送单元(图中未示出)，用于在所述生成次数大于或等于所述预设次数阈值的情况下，向预设终端发送第三提示信息，其中，所述第三提示信息用于提示所述预设终端的用户进行姿态辅助纠正。
在一个可能的实施方式中，所述在所述生成第一提示信息之后，所述装置还包括：
第五确定单元(图中未示出)，用于确定当前时刻与学习开始时刻之间的时长，得到学习时长；其中，所述学习开始时刻为：各次确定所述目标手部图像表示握笔姿势正确的时刻中，与所述当前时刻最接近的时刻；
第六确定单元(图中未示出)，用于确定所述学习时长是否大于或等于预设时长阈值；
在满足预设条件的情况下，执行第一步骤和第二步骤中的至少一项；其中：
所述预设条件包括：所述学习时长大于或等于所述预设时长阈值，并且，在学习期间所述目标人体图像并未表示人体状态异常；其中，所述学习期间的起始时刻为所述学习开始时刻，并且，所述学习期间的结束时刻为所述当前时刻；
所述第一步骤为：生成第四提示信息；其中，所述第四提示信息用于进行休息提醒；
所述第二步骤为：向预设终端发送所述学习时长。
本实施例提供的学习习惯养成装置可以是如图4中所示的学习习惯养成装置，可执行以上所述的各学习习惯养成方法的所有步骤，进而实现以上所述的各学习习惯养成方法的技术效果，具体请参照以上相关描述，为简洁描述，在此不作赘述。
图5为本申请实施例提供的一种电子设备的结构示意图，图5所示的电子设备500包括：至少一个处理器501、存储器502、至少一个网络接口504和其他用户接口503。电子设备500中的各个组件通过总线系统505耦合在一起。可理解，总线系统505用于实现这些组件之间的连接通信。总线系统505除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图5中将各种总线都标为总线系统505。
其中，用户接口503可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
可以理解，本申请实施例中的存储器502可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本文描述的存储器502旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器502存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统5021和应用程序5022。
其中，操作系统5021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序5022，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本申请实施例方法的程序可以包含在应用程序5022中。
在本实施例中，通过调用存储器502存储的程序或指令，具体的，可以是应用程序5022中存储的程序或指令，处理器501用于执行各方法实施例所提供的方法步骤，例如包括：
获取目标视频流；
对所述目标视频流中的目标面部图像进行面部识别，以确定所述目标面部图像是否为预设人员的面部图像；
在所述目标面部图像为所述预设人员的面部图像的情况下，确定所述目标视频流中的目标手部图像是否表示握笔姿势正确；
在所述目标手部图像表示握笔姿势正确的情况下，确定所述目标视频流中的目标人体图像是否表示人体状态异常；
在所述目标人体图像表示人体状态异常的情况下，生成第一提示信息，其中，所述第一提示信息用于提示人体状态出现异常。
上述本申请实施例揭示的方法可以应用于处理器501中，或者由处理器501实现。处理器501可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502，处理器501读取存储器502中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请的上述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文上述功能的单元来实现本文上述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本实施例提供的电子设备可以是如图5中所示的电子设备，可执行以上所述的各学习习惯养成方法的所有步骤，进而实现以上所述的各学习习惯养成方法的技术效果，具体请参照以上相关描述，为简洁描述，在此不作赘述。
本申请实施例还提供了一种存储介质(计算机可读存储介质)。这里的存储介质存储有一个或者多个程序。其中，存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。
当存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现上述在电子设备侧执行的学习习惯养成方法。
上述处理器用于执行存储器中存储的学习习惯养成程序，以实现以下在电子设备侧执行的学习习惯养成方法的步骤：
获取目标视频流；
对所述目标视频流中的目标面部图像进行面部识别，以确定所述目标面部图像是否为预设人员的面部图像；
在所述目标面部图像为所述预设人员的面部图像的情况下，确定所述目标视频流中的目标手部图像是否表示握笔姿势正确；
在所述目标手部图像表示握笔姿势正确的情况下，确定所述目标视频流中的目标人体图像是否表示人体状态异常；
在所述目标人体图像表示人体状态异常的情况下，生成第一提示信息，其中，所述第一提示信息用于提示人体状态出现异常。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。此外，对于前述的各实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。

Claims (10)

1.一种学习习惯养成方法，其特征在于，所述方法包括：
获取目标视频流；
对所述目标视频流中的目标面部图像进行面部识别，以确定所述目标面部图像是否为预设人员的面部图像；
在所述目标面部图像为所述预设人员的面部图像的情况下，确定所述目标视频流中的目标手部图像是否表示握笔姿势正确；
在所述目标手部图像表示握笔姿势正确的情况下，确定所述目标视频流中的目标人体图像是否表示人体状态异常；
在所述目标人体图像表示人体状态异常的情况下，生成第一提示信息，其中，所述第一提示信息用于提示人体状态出现异常。
2.根据权利要求1所述的方法，其特征在于，所述获取目标视频流，包括：
获取深度相机采集的目标视频流；以及
所述对所述目标视频流中的目标面部图像进行面部识别，包括：
从所述目标视频流中提取面部图像，得到目标面部图像；
提取所述目标面部图像的面部关键点，以及确定所述目标面部图像中的像素的第一深度信息；
基于所述面部关键点和所述第一深度信息，对所述目标面部图像进行面部识别。
3.根据权利要求1所述的方法，其特征在于，所述获取目标视频流，包括：
获取深度相机采集的目标视频流；以及
所述确定所述目标视频流中的目标手部图像是否表示握笔姿势正确，包括：
从所述目标视频流中提取手部图像，得到目标手部图像；
提取所述目标手部图像的手部关键点，以及确定所述目标手部图像中的像素的第二深度信息；
基于所述手部关键点和所述第二深度信息，确定所述目标视频流中的目标手部图像是否表示握笔姿势正确。
4.根据权利要求1所述的方法，其特征在于，所述确定所述目标视频流中的目标人体图像是否表示人体状态异常，包括以下至少一项：
确定所述目标视频流中的目标人体图像是否表示人员状态疲惫；
确定所述目标视频流中的目标人体图像是否表示学习姿势异常。
5.根据权利要求1所述的方法，其特征在于，所述在所述目标手部图像表示握笔姿势正确的情况下，确定所述目标视频流中的目标人体图像是否表示人体状态异常，包括：
在所述目标手部图像表示握笔姿势正确的情况下，生成第二提示信息，其中，所述第二提示信息用于提示学习开始；
在生成所述第二提示信息之后，确定所述目标视频流中的目标人体图像是否表示人体状态异常。
6.根据权利要求1-5之一所述的方法，其特征在于，在所述生成第一提示信息之后，所述方法还包括：
确定所述第一提示信息的生成次数；
确定所述生成次数是否大于或等于预设次数阈值；
在所述生成次数大于或等于所述预设次数阈值的情况下，向预设终端发送第三提示信息，其中，所述第三提示信息用于提示所述预设终端的用户进行姿态辅助纠正。
7.根据权利要求1-5之一所述的方法，其特征在于，所述在所述生成第一提示信息之后，所述方法还包括：
确定当前时刻与学习开始时刻之间的时长，得到学习时长；其中，所述学习开始时刻为：各次确定所述目标手部图像表示握笔姿势正确的时刻中，与所述当前时刻最接近的时刻；
确定所述学习时长是否大于或等于预设时长阈值；
在满足预设条件的情况下，执行第一步骤和第二步骤中的至少一项；其中：
所述预设条件包括：所述学习时长大于或等于所述预设时长阈值，并且，在学习期间所述目标人体图像并未表示人体状态异常；其中，所述学习期间的起始时刻为所述学习开始时刻，并且，所述学习期间的结束时刻为所述当前时刻；
所述第一步骤为：生成第四提示信息；其中，所述第四提示信息用于进行休息提醒；
所述第二步骤为：向预设终端发送所述学习时长。
8.一种学习习惯养成装置，其特征在于，所述装置包括：
获取单元，用于获取目标视频流；
识别单元，用于对所述目标视频流中的目标面部图像进行面部识别，以确定所述目标面部图像是否为预设人员的面部图像；
第一确定单元，用于在所述目标面部图像为所述预设人员的面部图像的情况下，确定所述目标视频流中的目标手部图像是否表示握笔姿势正确；
第二确定单元，用于在所述目标手部图像表示握笔姿势正确的情况下，确定所述目标视频流中的目标人体图像是否表示人体状态异常；
生成单元，用于在所述目标人体图像表示人体状态异常的情况下，生成第一提示信息，其中，所述第一提示信息用于提示人体状态出现异常。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-7任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述权利要求1-7任一所述的方法。
CN202310243693.6A 2023-03-13 2023-03-13 学习习惯养成方法、装置、电子设备及存储介质 Pending CN116310976A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310243693.6A CN116310976A (zh) 2023-03-13 2023-03-13 学习习惯养成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310243693.6A CN116310976A (zh) 2023-03-13 2023-03-13 学习习惯养成方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116310976A true CN116310976A (zh) 2023-06-23

Family

ID=86792046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310243693.6A Pending CN116310976A (zh) 2023-03-13 2023-03-13 学习习惯养成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116310976A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116611970A (zh) * 2023-07-20 2023-08-18 中国人民解放军空军特色医学中心 结合人脸和姿态识别的群体训练动作纠正系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116611970A (zh) * 2023-07-20 2023-08-18 中国人民解放军空军特色医学中心 结合人脸和姿态识别的群体训练动作纠正系统及方法
CN116611970B (zh) * 2023-07-20 2023-11-07 中国人民解放军空军特色医学中心 结合人脸和姿态识别的群体训练动作纠正系统及方法

Similar Documents

Publication Publication Date Title
WO2021027336A1 (zh) 基于印章和签名的身份验证方法、装置和计算机设备
CN106897658B (zh) 人脸活体的鉴别方法和装置
Abid et al. Dynamic sign language recognition for smart home interactive application using stochastic linear formal grammar
CN112232117A (zh) 一种人脸识别方法、装置及存储介质
US20210397266A1 (en) Systems and methods for language driven gesture understanding
EP3685288B1 (en) Apparatus, method and computer program product for biometric recognition
JP2020518051A (ja) 顔姿勢検出方法、装置及び記憶媒体
CN111832383A (zh) 姿态关键点识别模型的训练方法、姿态识别方法及装置
WO2022105118A1 (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN111401219B (zh) 一种手掌关键点检测方法和装置
CN112651298A (zh) 基于手指关节定位的点读方法、装置、系统及介质
CN111414837A (zh) 手势识别方法、装置、计算机设备及存储介质
EP4053736B1 (en) System and method for matching a test frame sequence with a reference frame sequence
KR20190061538A (ko) 멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치
CN116310976A (zh) 学习习惯养成方法、装置、电子设备及存储介质
CN112966685A (zh) 用于场景文本识别的攻击网络训练方法、装置及相关设备
CN110414622B (zh) 基于半监督学习的分类器训练方法及装置
WO2020199498A1 (zh) 指静脉比对方法、装置、计算机设备及存储介质
CN114495241A (zh) 一种图像识别方法及装置、电子设备、存储介质
CN111915676B (zh) 图像生成方法、装置、计算机设备和存储介质
CN113781462A (zh) 一种人体伤残检测方法、装置、设备及存储介质
JP6926279B1 (ja) 学習装置、認識装置、学習方法、認識方法、プログラム、及び再帰型ニューラルネットワーク
US9317782B2 (en) Incremental category embedding for categorization
CN110196630B (zh) 指令处理、模型训练方法、装置、计算机设备及存储介质
CN112712450A (zh) 基于云课堂的实时交互方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination