CN110717392A - 一种坐姿检测与纠正方法和装置 - Google Patents

一种坐姿检测与纠正方法和装置 Download PDF

Info

Publication number
CN110717392A
CN110717392A CN201910838567.9A CN201910838567A CN110717392A CN 110717392 A CN110717392 A CN 110717392A CN 201910838567 A CN201910838567 A CN 201910838567A CN 110717392 A CN110717392 A CN 110717392A
Authority
CN
China
Prior art keywords
sitting posture
target object
upper body
information
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910838567.9A
Other languages
English (en)
Other versions
CN110717392B (zh
Inventor
郑艳霞
郑大川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unisound Intelligent Technology Co Ltd
Original Assignee
Unisound Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unisound Intelligent Technology Co Ltd filed Critical Unisound Intelligent Technology Co Ltd
Priority to CN201910838567.9A priority Critical patent/CN110717392B/zh
Publication of CN110717392A publication Critical patent/CN110717392A/zh
Application granted granted Critical
Publication of CN110717392B publication Critical patent/CN110717392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Emergency Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Molecular Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种坐姿检测与纠正方法和装置，该坐姿检测与纠正方法和装置能够集成应用到不同学习机设备中，这能够使得现有的学习机设备不仅能够用于训练儿童的学习能力，同时还能够对儿童的坐姿进行实时检测和纠正，从而提高儿童保持正常坐姿的意识和有效防止儿童在长期学习过程中受到不必要的健康损害；此外，该坐姿检测与纠正装置能够集成到小体积的学习机设备中，这便于儿童在不同时间和不同场合中检测和纠正自身的坐姿，从而提高该装置的便携性和对不同场合的适用性。

Description

一种坐姿检测与纠正方法和装置
技术领域
本发明涉及人工智能的技术领域，特别涉及一种坐姿检测与纠正方法和装置。
背景技术
随着，社会对教育的重视，为了提高儿童学习的积极性，已经存在各种各样的学习机设备，该学习机设备能够帮助儿童进行听说读写和计算能力的训练，但是，现有的学习机设备只是用于帮助提高儿童的学习能力，其并未在儿童坐姿检测和纠正方面予以充分的关注。由于现有学龄儿童都面临巨大的学业压力，学龄儿童通常需要花费大量的时间进行学习，若学龄儿童在漫长的学习过程中并没有养成维持正确坐姿的习惯，这很容易导致学龄儿童发生脊椎弯曲和近视等不同类型的健康问题，从而严重影响学龄儿童的正常学习生活。市面上的所有学习机设备都只是将人工智能技术应用于训练儿童的学习能力，其并未对儿童的坐姿进行有效的检测和纠正。可见，现有技术急需一种能够对儿童坐姿进行检测和纠正方法和装置，特别是一种能够进行儿童坐姿检测和纠正的集成学习机设备。
发明内容
针对现有技术存在的缺陷，本发明提供一种坐姿检测与纠正方法和装置，该坐姿检测与纠正方法包括如下步骤：步骤(1)，获取目标对象当前所处座位的环境信息和该目标对象的属性信息，以此确定对该目标对象进行拍摄操作的拍摄参数；步骤(2)，根据该拍摄参数，获取关于该目标对象的至少一个图像，并对该至少一个图像进行上半身追踪分析处理；步骤(3)，根据该上半身追踪分析处理的结果，确定该目标对象当前所处坐姿的姿态信息；步骤(4)，根据该坐姿信息，对该目标对象进行适应性的坐姿提醒和/或纠正操作；相应地，该坐姿检测与纠正装置可优选为坐姿检测与纠正集成学习机设备，该装置或者该集成学习机设备是基于上述方法适应性地进行坐姿的检测和纠正的。可见，该坐姿检测与纠正方法和装置能够集成应用到不同学习机设备中，这能够使得现有的学习机设备不仅能够用于训练儿童的学习能力，同时还能够对儿童的坐姿进行实时检测和纠正，从而提高儿童保持正常坐姿的意识和有效防止儿童在长期学习过程中受到不必要的健康损害；此外，该坐姿检测与纠正方法和装置是根据人工智能技术对儿童的上半身进行识别检测，以便于计算分析儿童当前的坐姿是否属于正常坐姿，这样能够提高对儿童坐姿检测的准确性，并且该坐姿检测与纠正装置能够集成到小体积的学习机设备中，这便于儿童在不同时间和不同场合中检测和纠正自身的坐姿，从而提高该装置的便携性和对不同场合的适用性。
本发明提供一种坐姿检测与纠正方法，其特征在于，所述坐姿检测与纠正方法包括如下步骤：
步骤(1)，获取目标对象当前所处座位的环境信息和所述目标对象的属性信息，以此确定对所述目标对象进行拍摄操作的拍摄参数；
步骤(2)，根据所述拍摄参数，获取关于所述目标对象的至少一个图像，并对所述至少一个图像进行上半身追踪分析处理；
步骤(3)，根据所述上半身追踪分析处理的结果，确定所述目标对象当前所处坐姿的姿态信息；
步骤(4)，根据所述坐姿信息，对所述目标对象进行适应性的坐姿提醒和/或纠正操作；
优选地，在所述步骤(1)中，获取目标对象当前所处座位的环境信息和所述目标对象的属性信息，以此确定对所述目标对象进行拍摄操作的拍摄参数具体包括，
步骤(101)，获取所述目标对象当前所处座位中桌面高度、桌面尺寸和座椅高度中至少一者作为所述环境信息，以及获取所述目标对象的坐姿高度和头部活动角度范围中的至少一者作为所述属性信息；
步骤(102)，根据所述环境信息和所述属性信息，确定图像拍摄设备于所述桌面的放置区域范围；
步骤(103)，根据所述环境信息和所述属性信息，确定所述图像拍摄设备的拍摄焦距、变焦范围、曝光时间和拍摄视角中的至少一者；
优选地，在所述步骤(2)中，根据所述拍摄参数，获取关于所述目标对象的至少一个图像，并对所述至少一个图像进行上半身追踪分析处理具体包括，
步骤(201)，根据所述拍摄参数，调整图像拍摄设备的拍摄动作，以此获取所述目标对象处于当前坐姿对应的至少一个单目图像和/或至少一个双目图像；
步骤(202)，通过预设上半身识别神经网络模型，从关于所述目标对象于不同角度的上半身特写图像，提取关于所述目标对象的上半身识别特征；
步骤(203)，通过所述预设上半身识别神经网络模型，将所述上半身识别特征与所述单目图像和/或所述双目图像进行匹配处理，以此获取关于所述目标对象的上半身于所述单目图像和/或所述双目图像中的上半身尺寸信息和/或上半身姿态信息，具体为，
S1、获取关于上半身的单目图像和/或双目图像，并将所述单目图像和/或所述双目图像转换为224*224大小的RGB矩阵Xrgb；
S2、通过一个7层的卷积网络C7对所述RGB矩阵Xrgb进行下述公式(1)和(2)的打分计算处理
Lrgb＝avg_pool(C7(Xrgb)) (1)
score＝1/(1–exp(Lrgb)) (2)
在上述公式(1)和(2)中，avg_pool(C7(Xrgb))表示对所述RGB矩阵Xrgb进行关于所述7层的卷积网络的相关运算处理，Lrgb表示中间参数，score表示所述打分计算处理的结果；
S3、若score大于或者等于0.5，则表示所述上半身的姿势正确，若score小于0.5，则通过18层残差级联网络R18从所述单目图像和/或所述双目图像中提取得到关于所述上半身的33个关键点的位置矩阵Pxy；
S4、计算得出所述位置矩阵Pxy对应的特征矩阵M33，以得到所述上半身尺寸信息和/或所述上半身姿态信息；
优选地，在所述步骤(3)中，根据所述上半身追踪分析处理的结果，确定所述目标对象当前所处坐姿的姿态信息具体包括，
步骤(301)，从所述上半身追踪分析处理中获得关于所述目标对象的上半身于所述图像中的上半身尺寸信息和/或上半身姿态信息；
步骤(302)，通过预设坐姿识别神经网络模型，对所述上半身尺寸信息和/或上半身姿态信息进行坐姿关联分析处理，以计算得到所述目标对象当前所处坐姿的姿态信息；
步骤(303)，获取关于若干姿态信息的计算误差值，以此确定具有最小计算误差值的姿态信息用于所述步骤(4)中；
优选地，在所述步骤(4)中，根据所述坐姿信息，对所述目标对象进行适应性的坐姿提醒和/或纠正操作具体包括，
步骤(401)，从所述坐姿信息中提取所述目标对象当前的坐姿姿态参数，并根据所述坐姿姿态参数构建关于所述目标对象当前的实时三维坐姿；
步骤(402)，将所述实时三维坐姿与预设标准三维坐姿两者进行对比处理，以此确定所述两者之间的坐姿差异；
步骤(403)，根据所述坐姿差异，对所述目标对象进行关于坐姿标准与否的坐姿提醒操作和/或关于坐姿调整的坐姿纠正操作。
本发明还提供一种坐姿检测与纠正装置，其特征在于：
所述坐姿检测与纠正装置包括原始信息获取模块、拍摄参数调整模块、上半身分析处理模块、坐姿确定模块和提醒/纠正模块；其中，
所述原始信息获取模块用于获取目标对象当前所处座位的环境信息和所述目标对象的属性信息；
所述拍摄参数调整模块用于根据所述环境信息和所述属性信息，确定对所述目标对象进行拍摄操作的拍摄参数；
所述上半身分析处理模块用于对关于所述目标对象的至少一个图像进行上半身追踪分析处理；
所述坐姿确定模块用于根据所述上半身追踪分析处理的结果，确定所述目标对象当前所处坐姿的姿态信息；
所述提醒/纠正模块用于根据所述坐姿信息，对所述目标对象进行适应性的坐姿提醒和/或纠正操作；
优选地，所述原始信息获取模块包括环境信息获取子模块和属性信息获取子模块；其中，
所述环境信息获取子模块用于获取所述目标对象当前所处座位中桌面高度、桌面尺寸和座椅高度中至少一者作为所述环境信息；
所述属性信息获取子模块用于获取所述目标对象的坐姿高度和头部活动角度范围中的至少一者作为所述属性信息；
所述拍摄参数调整模块还用于根据所述环境信息和所述属性信息，确定所述图像拍摄设备的拍摄焦距、变焦范围、曝光时间和拍摄视角中的至少一者；
优选地，所述坐姿检测与纠正装置还包括摄像模块；
所述摄像模块用于根据所述拍摄参数，调整图像拍摄设备的拍摄动作，以此获取所述目标对象处于当前坐姿对应的至少一个单目图像和/或至少一个双目图像；
所述上半身分析处理模块包括上半身识别特征提取子模块和上半身动态特征计算子模块；其中，
所述上半身识别特征提取子模块用于通过预设上半身识别神经网络模型，从关于所述目标对象于不同角度的上半身特写图像，提取关于所述目标对象的上半身识别特征；
所述上半身动态特征计算子模块用于通过所述预设上半身识别神经网络模型，将所述上半身识别特征与所述单目图像和/或所述双目图像进行匹配处理，以此获取关于所述目标对象的上半身于所述单目图像和/或所述双目图像中的上半身尺寸信息和/或上半身姿态信息；
优选地，所述坐姿确定模块还用于通过预设坐姿识别神经网络模型，对从所述上半身追踪分析处理中获得关于所述目标对象的上半身于所述图像中的上半身尺寸信息和/或上半身姿态信息进行坐姿关联分析处理，以计算得到所述目标对象当前所处坐姿的姿态信息；
或者，
所述坐姿确定模块还用于获取关于若干姿态信息的计算误差值，以此确定具有最小计算误差值的姿态信息；
优选地，所述坐姿确定模块包括三维坐姿确定子模块和坐姿差异确定子模块；其中，
所述三维坐姿确定子模块用于从所述坐姿信息中提取所述目标对象当前的坐姿姿态参数，并根据所述坐姿姿态参数构建关于所述目标对象当前的实时三维坐姿；
所述坐姿差异确定子模块用于将所述实时三维坐姿与预设标准三维坐姿两者进行对比处理，以此确定所述两者之间的坐姿差异；
所述提醒/纠正模块包括坐姿提醒子模块和坐姿纠正子模块；其中，
所述坐姿提醒子模块用于根据所述坐姿差异，对所述目标对象进行关于坐姿标准与否的坐姿提醒操作；
所述坐姿纠正子模块用于根据所述坐姿差异，对所述目标对象进行关于坐姿调整的坐姿纠正操作。
相比于现有技术，该坐姿检测与纠正方法和装置能够集成应用到不同学习机设备中，这能够使得现有的学习机设备不仅能够用于训练儿童的学习能力，同时还能够对儿童的坐姿进行实时检测和纠正，从而提高儿童保持正常坐姿的意识和有效防止儿童在长期学习过程中受到不必要的健康损害；此外，该坐姿检测与纠正方法和装置是根据人工智能技术对儿童的上半身进行识别检测，以便于计算分析儿童当前的坐姿是否属于正常坐姿，这样能够提高对儿童坐姿检测的准确性，并且该坐姿检测与纠正装置能够集成到小体积的学习机设备中，这便于儿童在不同时间和不同场合中检测和纠正自身的坐姿，从而提高该装置的便携性和对不同场合的适用性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种坐姿检测与纠正方法的流程示意图。
图2为本发明提供的一种坐姿检测与纠正装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的一种坐姿检测与纠正方法的流程示意图。该坐姿检测与纠正方法包括如下步骤：
步骤(1)，获取目标对象当前所处座位的环境信息和该目标对象的属性信息，以此确定对该目标对象进行拍摄操作的拍摄参数。
优选地，在该步骤(1)中，获取目标对象当前所处座位的环境信息和该目标对象的属性信息，以此确定对该目标对象进行拍摄操作的拍摄参数具体包括，
步骤(101)，获取该目标对象当前所处座位中桌面高度、桌面尺寸和座椅高度中至少一者作为该环境信息，以及获取该目标对象的坐姿高度和头部活动角度范围中的至少一者作为该属性信息；
步骤(102)，根据该环境信息和该属性信息，确定图像拍摄设备于该桌面的放置区域范围；
步骤(103)，根据该环境信息和该属性信息，确定该图像拍摄设备的拍摄焦距、变焦范围、曝光时间和拍摄视角中的至少一者。
步骤(2)，根据该拍摄参数，获取关于该目标对象的至少一个图像，并对该至少一个图像进行上半身追踪分析处理。
优选地，在该步骤(2)中，根据该拍摄参数，获取关于该目标对象的至少一个图像，并对该至少一个图像进行上半身追踪分析处理具体包括，
步骤(201)，根据该拍摄参数，调整图像拍摄设备的拍摄动作，以此获取该目标对象处于当前坐姿对应的至少一个单目图像和/或至少一个双目图像；
步骤(202)，通过预设上半身识别神经网络模型，从关于该目标对象于不同角度的上半身特写图像，提取关于该目标对象的上半身识别特征；
步骤(203)，通过该预设上半身识别神经网络模型，将该上半身识别特征与该单目图像和/或该双目图像进行匹配处理，以此获取关于该目标对象的上半身于该单目图像和/或该双目图像中的上半身尺寸信息和/或上半身姿态信息，具体为，
S1、获取关于上半身的单目图像和/或双目图像，并将该单目图像和/或该双目图像转换为224*224大小的RGB矩阵Xrgb；
S2、通过一个7层的卷积网络C7对该RGB矩阵Xrgb进行下述公式(1)和(2)的打分计算处理
Lrgb＝avg_pool(C7(Xrgb)) (1)
score＝1/(1–exp(Lrgb)) (2)
在上述公式(1)和(2)中，avg_pool(C7(Xrgb))表示对该RGB矩阵Xrgb进行关于该7层的卷积网络的相关运算处理，Lrgb表示中间参数，score表示该打分计算处理的结果；
S3、若score大于或者等于0.5，则表示该上半身的姿势正确，若score小于0.5，则通过18层残差级联网络R18从该单目图像和/或该双目图像中提取得到关于该上半身的33个关键点的位置矩阵Pxy；
S4、计算得出该位置矩阵Pxy对应的特征矩阵M33，以得到该上半身尺寸信息和/或该上半身姿态信息。
步骤(3)，根据该上半身追踪分析处理的结果，确定该目标对象当前所处坐姿的姿态信息。
优选地，在该步骤(3)中，根据该上半身追踪分析处理的结果，确定该目标对象当前所处坐姿的姿态信息具体包括，
步骤(301)，从该上半身追踪分析处理中获得关于该目标对象的上半身于该图像中的上半身尺寸信息和/或上半身姿态信息；
步骤(302)，通过预设坐姿识别神经网络模型，对该上半身尺寸信息和/或上半身姿态信息进行坐姿关联分析处理，以计算得到该目标对象当前所处坐姿的姿态信息；
步骤(303)，获取关于若干姿态信息的计算误差值，以此确定具有最小计算误差值的姿态信息用于该步骤(4)中。
步骤(4)，根据该坐姿信息，对该目标对象进行适应性的坐姿提醒和/或纠正操作。
优选地，在该步骤(4)中，根据该坐姿信息，对该目标对象进行适应性的坐姿提醒和/或纠正操作具体包括，
步骤(401)，从该坐姿信息中提取该目标对象当前的坐姿姿态参数，并根据该坐姿姿态参数构建关于该目标对象当前的实时三维坐姿；
步骤(402)，将该实时三维坐姿与预设标准三维坐姿两者进行对比处理，以此确定该两者之间的坐姿差异；
步骤(403)，根据该坐姿差异，对该目标对象进行关于坐姿标准与否的坐姿提醒操作和/或关于坐姿调整的坐姿纠正操作。
参阅图2，为本发明实施例提供的一种坐姿检测与纠正装置的结构示意图。
该坐姿检测与纠正装置包括原始信息获取模块、拍摄参数调整模块、上半身分析处理模块、坐姿确定模块和提醒/纠正模块；其中，
该原始信息获取模块用于获取目标对象当前所处座位的环境信息和该目标对象的属性信息；
该拍摄参数调整模块用于根据该环境信息和该属性信息，确定对该目标对象进行拍摄操作的拍摄参数；
该上半身分析处理模块用于对关于该目标对象的至少一个图像进行上半身追踪分析处理；
该坐姿确定模块用于根据该上半身追踪分析处理的结果，确定该目标对象当前所处坐姿的姿态信息；
该提醒/纠正模块用于根据该坐姿信息，对该目标对象进行适应性的坐姿提醒和/或纠正操作。
优选地，该原始信息获取模块包括环境信息获取子模块和属性信息获取子模块；
优选地，该环境信息获取子模块用于获取该目标对象当前所处座位中桌面高度、桌面尺寸和座椅高度中至少一者作为该环境信息；
优选地，该属性信息获取子模块用于获取该目标对象的坐姿高度和头部活动角度范围中的至少一者作为该属性信息；
优选地，该拍摄参数调整模块还用于根据该环境信息和该属性信息，确定该图像拍摄设备的拍摄焦距、变焦范围、曝光时间和拍摄视角中的至少一者；
优选地，该坐姿检测与纠正装置还包括摄像模块；
优选地，该摄像模块用于根据该拍摄参数，调整图像拍摄设备的拍摄动作，以此获取该目标对象处于当前坐姿对应的至少一个单目图像和/或至少一个双目图像；
优选地，该上半身分析处理模块包括上半身识别特征提取子模块和上半身动态特征计算子模块；
优选地，该上半身识别特征提取子模块用于通过预设上半身识别神经网络模型，从关于该目标对象于不同角度的上半身特写图像，提取关于该目标对象的上半身识别特征；
优选地，该上半身动态特征计算子模块用于通过该预设上半身识别神经网络模型，将该上半身识别特征与该单目图像和/或该双目图像进行匹配处理，以此获取关于该目标对象的上半身于该单目图像和/或该双目图像中的上半身尺寸信息和/或上半身姿态信息；
优选地，该坐姿确定模块还用于通过预设坐姿识别神经网络模型，对从该上半身追踪分析处理中获得关于该目标对象的上半身于该图像中的上半身尺寸信息和/或上半身姿态信息进行坐姿关联分析处理，以计算得到该目标对象当前所处坐姿的姿态信息；
优选地，该坐姿确定模块还用于获取关于若干姿态信息的计算误差值，以此确定具有最小计算误差值的姿态信息；
优选地，该坐姿确定模块包括三维坐姿确定子模块和坐姿差异确定子模块；
优选地，该三维坐姿确定子模块用于从该坐姿信息中提取该目标对象当前的坐姿姿态参数，并根据该坐姿姿态参数构建关于该目标对象当前的实时三维坐姿；
优选地，该坐姿差异确定子模块用于将该实时三维坐姿与预设标准三维坐姿两者进行对比处理，以此确定该两者之间的坐姿差异；
优选地，该提醒/纠正模块包括坐姿提醒子模块和坐姿纠正子模块；
优选地，该坐姿提醒子模块用于根据该坐姿差异，对该目标对象进行关于坐姿标准与否的坐姿提醒操作；
优选地，该坐姿纠正子模块用于根据该坐姿差异，对该目标对象进行关于坐姿调整的坐姿纠正操作。
从上述实施例的内容可知，该坐姿检测与纠正方法和装置能够集成应用到不同学习机设备中，这能够使得现有的学习机设备不仅能够用于训练儿童的学习能力，同时还能够对儿童的坐姿进行实时检测和纠正，从而提高儿童保持正常坐姿的意识和有效防止儿童在长期学习过程中受到不必要的健康损害；此外，该坐姿检测与纠正方法和装置是根据人工智能技术对儿童的上半身进行识别检测，以便于计算分析儿童当前的坐姿是否属于正常坐姿，这样能够提高对儿童坐姿检测的准确性，并且该坐姿检测与纠正装置能够集成到小体积的学习机设备中，这便于儿童在不同时间和不同场合中检测和纠正自身的坐姿，从而提高该装置的便携性和对不同场合的适用性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种坐姿检测与纠正方法，其特征在于，所述坐姿检测与纠正方法包括如下步骤：
步骤(1)，获取目标对象当前所处座位的环境信息和所述目标对象的属性信息，以此确定对所述目标对象进行拍摄操作的拍摄参数；
步骤(2)，根据所述拍摄参数，获取关于所述目标对象的至少一个图像，并对所述至少一个图像进行上半身追踪分析处理；
步骤(3)，根据所述上半身追踪分析处理的结果，确定所述目标对象当前所处坐姿的姿态信息；
步骤(4)，根据所述坐姿信息，对所述目标对象进行适应性的坐姿提醒和/或纠正操作。
2.如权利要求1所述的坐姿检测与纠正方法，其特征在于：
在所述步骤(1)中，获取目标对象当前所处座位的环境信息和所述目标对象的属性信息，以此确定对所述目标对象进行拍摄操作的拍摄参数具体包括，
步骤(101)，获取所述目标对象当前所处座位中桌面高度、桌面尺寸和座椅高度中至少一者作为所述环境信息，以及获取所述目标对象的坐姿高度和头部活动角度范围中的至少一者作为所述属性信息；
步骤(102)，根据所述环境信息和所述属性信息，确定图像拍摄设备于所述桌面的放置区域范围；
步骤(103)，根据所述环境信息和所述属性信息，确定所述图像拍摄设备的拍摄焦距、变焦范围、曝光时间和拍摄视角中的至少一者。
3.如权利要求1所述的坐姿检测与纠正方法，其特征在于：
在所述步骤(2)中，根据所述拍摄参数，获取关于所述目标对象的至少一个图像，并对所述至少一个图像进行上半身追踪分析处理具体包括，步骤(201)，根据所述拍摄参数，调整图像拍摄设备的拍摄动作，以此获取所述目标对象处于当前坐姿对应的至少一个单目图像和/或至少一个双目图像；
步骤(202)，通过预设上半身识别神经网络模型，从关于所述目标对象于不同角度的上半身特写图像，提取关于所述目标对象的上半身识别特征；
步骤(203)，通过所述预设上半身识别神经网络模型，将所述上半身识别特征与所述单目图像和/或所述双目图像进行匹配处理，以此获取关于所述目标对象的上半身于所述单目图像和/或所述双目图像中的上半身尺寸信息和/或上半身姿态信息，具体为，
S1、获取关于上半身的单目图像和/或双目图像，并将所述单目图像和/或所述双目图像转换为224*224大小的RGB矩阵Xrgb；
S2、通过一个7层的卷积网络C7对所述RGB矩阵Xrgb进行下述公式(1)和(2)的打分计算处理
Lrgb＝avg_pool(C7(Xrgb)) (1)
score＝1/(1–exp(Lrgb)) (2)
在上述公式(1)和(2)中，avg_pool(C7(Xrgb))表示对所述RGB矩阵Xrgb进行关于所述7层的卷积网络的相关运算处理，Lrgb表示中间参数，score表示所述打分计算处理的结果；
S3、若score大于或者等于0.5，则表示所述上半身的姿势正确，若score小于0.5，则通过18层残差级联网络R18从所述单目图像和/或所述双目图像中提取得到关于所述上半身的33个关键点的位置矩阵Pxy；
S4、计算得出所述位置矩阵Pxy对应的特征矩阵M33，以得到所述上半身尺寸信息和/或所述上半身姿态信息。
4.如权利要求1所述的坐姿检测与纠正方法，其特征在于：
在所述步骤(3)中，根据所述上半身追踪分析处理的结果，确定所述目标对象当前所处坐姿的姿态信息具体包括，
步骤(301)，从所述上半身追踪分析处理中获得关于所述目标对象的上半身于所述图像中的上半身尺寸信息和/或上半身姿态信息；
步骤(302)，通过预设坐姿识别神经网络模型，对所述上半身尺寸信息和/或上半身姿态信息进行坐姿关联分析处理，以计算得到所述目标对象当前所处坐姿的姿态信息；
步骤(303)，获取关于若干姿态信息的计算误差值，以此确定具有最小计算误差值的姿态信息用于所述步骤(4)中。
5.如权利要求1所述的坐姿检测与纠正方法，其特征在于：
在所述步骤(4)中，根据所述坐姿信息，对所述目标对象进行适应性的坐姿提醒和/或纠正操作具体包括，
步骤(401)，从所述坐姿信息中提取所述目标对象当前的坐姿姿态参数，并根据所述坐姿姿态参数构建关于所述目标对象当前的实时三维坐姿；
步骤(402)，将所述实时三维坐姿与预设标准三维坐姿两者进行对比处理，以此确定所述两者之间的坐姿差异；
步骤(403)，根据所述坐姿差异，对所述目标对象进行关于坐姿标准与否的坐姿提醒操作和/或关于坐姿调整的坐姿纠正操作。
6.一种坐姿检测与纠正装置，其特征在于：
所述坐姿检测与纠正装置包括原始信息获取模块、拍摄参数调整模块、上半身分析处理模块、坐姿确定模块和提醒/纠正模块；其中，所述原始信息获取模块用于获取目标对象当前所处座位的环境信息和所述目标对象的属性信息；
所述拍摄参数调整模块用于根据所述环境信息和所述属性信息，确定对所述目标对象进行拍摄操作的拍摄参数；
所述上半身分析处理模块用于对关于所述目标对象的至少一个图像进行上半身追踪分析处理；
所述坐姿确定模块用于根据所述上半身追踪分析处理的结果，确定所述目标对象当前所处坐姿的姿态信息；
所述提醒/纠正模块用于根据所述坐姿信息，对所述目标对象进行适应性的坐姿提醒和/或纠正操作。
7.如权利要求6所述的坐姿检测与纠正装置，其特征在于：
所述原始信息获取模块包括环境信息获取子模块和属性信息获取子模块；其中，
所述环境信息获取子模块用于获取所述目标对象当前所处座位中桌面高度、桌面尺寸和座椅高度中至少一者作为所述环境信息；
所述属性信息获取子模块用于获取所述目标对象的坐姿高度和头部活动角度范围中的至少一者作为所述属性信息；
所述拍摄参数调整模块还用于根据所述环境信息和所述属性信息，确定所述图像拍摄设备的拍摄焦距、变焦范围、曝光时间和拍摄视角中的至少一者。
8.如权利要求6所述的坐姿检测与纠正装置，其特征在于：
所述坐姿检测与纠正装置还包括摄像模块；
所述摄像模块用于根据所述拍摄参数，调整图像拍摄设备的拍摄动作，以此获取所述目标对象处于当前坐姿对应的至少一个单目图像和/或至少一个双目图像；
所述上半身分析处理模块包括上半身识别特征提取子模块和上半身动态特征计算子模块；其中，
所述上半身识别特征提取子模块用于通过预设上半身识别神经网络模型，从关于所述目标对象于不同角度的上半身特写图像，提取关于所述目标对象的上半身识别特征；
所述上半身动态特征计算子模块用于通过所述预设上半身识别神经网络模型，将所述上半身识别特征与所述单目图像和/或所述双目图像进行匹配处理，以此获取关于所述目标对象的上半身于所述单目图像和/或所述双目图像中的上半身尺寸信息和/或上半身姿态信息。
9.如权利要求6所述的坐姿检测与纠正装置，其特征在于：
所述坐姿确定模块还用于通过预设坐姿识别神经网络模型，对从所述上半身追踪分析处理中获得关于所述目标对象的上半身于所述图像中的上半身尺寸信息和/或上半身姿态信息进行坐姿关联分析处理，以计算得到所述目标对象当前所处坐姿的姿态信息；
或者，
所述坐姿确定模块还用于获取关于若干姿态信息的计算误差值，以此确定具有最小计算误差值的姿态信息。
10.如权利要求6所述的坐姿检测与纠正装置，其特征在于：
所述坐姿确定模块包括三维坐姿确定子模块和坐姿差异确定子模块；其中，
所述三维坐姿确定子模块用于从所述坐姿信息中提取所述目标对象当前的坐姿姿态参数，并根据所述坐姿姿态参数构建关于所述目标对象当前的实时三维坐姿；
所述坐姿差异确定子模块用于将所述实时三维坐姿与预设标准三维坐姿两者进行对比处理，以此确定所述两者之间的坐姿差异；
所述提醒/纠正模块包括坐姿提醒子模块和坐姿纠正子模块；其中，
所述坐姿提醒子模块用于根据所述坐姿差异，对所述目标对象进行关于坐姿标准与否的坐姿提醒操作；
所述坐姿纠正子模块用于根据所述坐姿差异，对所述目标对象进行关于坐姿调整的坐姿纠正操作。
CN201910838567.9A 2019-09-05 2019-09-05 一种坐姿检测与纠正方法和装置 Active CN110717392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910838567.9A CN110717392B (zh) 2019-09-05 2019-09-05 一种坐姿检测与纠正方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910838567.9A CN110717392B (zh) 2019-09-05 2019-09-05 一种坐姿检测与纠正方法和装置

Publications (2)

Publication Number Publication Date
CN110717392A true CN110717392A (zh) 2020-01-21
CN110717392B CN110717392B (zh) 2022-02-18

Family

ID=69210278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910838567.9A Active CN110717392B (zh) 2019-09-05 2019-09-05 一种坐姿检测与纠正方法和装置

Country Status (1)

Country Link
CN (1) CN110717392B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626211A (zh) * 2020-05-27 2020-09-04 大连成者云软件有限公司 一种基于单目视频图像序列的坐姿识别方法
CN111639574A (zh) * 2020-05-22 2020-09-08 广东小天才科技有限公司 坐姿纠正方法及电子设备、存储介质
CN111814731A (zh) * 2020-07-23 2020-10-23 科大讯飞股份有限公司 一种坐姿检测方法、装置、设备及存储介质
CN112714328A (zh) * 2020-12-23 2021-04-27 作业帮教育科技（北京）有限公司 一种直播课学生姿态提示方法、装置及电子设备
CN113051991A (zh) * 2020-11-08 2021-06-29 泰州市出彩网络科技有限公司 异常状态双重检测平台及方法
CN113591522A (zh) * 2020-04-30 2021-11-02 百度在线网络技术（北京）有限公司 图像处理方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022304A (zh) * 2016-06-03 2016-10-12 浙江大学 一种基于双目相机的实时人体坐姿情况检测方法
CN106297211A (zh) * 2015-06-12 2017-01-04 上海渐华科技发展有限公司 基于活动摄像头与投射光的坐姿校正提醒系统及其应用
CN107103309A (zh) * 2017-05-31 2017-08-29 天津中科智能识别产业技术研究院有限公司 一种基于图像识别的学生坐姿检测与纠正系统
CN109785396A (zh) * 2019-01-23 2019-05-21 中国科学院自动化研究所 基于双目相机的写字姿态监测方法、系统、装置
CN109934196A (zh) * 2019-03-21 2019-06-25 厦门美图之家科技有限公司 人脸姿态参数评估方法、装置、电子设备及可读存储介质
CN109949368A (zh) * 2019-03-14 2019-06-28 郑州大学 一种基于图像检索的人体三维姿态估计方法
CN109978907A (zh) * 2019-03-22 2019-07-05 南京邮电大学 一种面向家居场景的学生坐姿检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106297211A (zh) * 2015-06-12 2017-01-04 上海渐华科技发展有限公司 基于活动摄像头与投射光的坐姿校正提醒系统及其应用
CN106022304A (zh) * 2016-06-03 2016-10-12 浙江大学 一种基于双目相机的实时人体坐姿情况检测方法
CN107103309A (zh) * 2017-05-31 2017-08-29 天津中科智能识别产业技术研究院有限公司 一种基于图像识别的学生坐姿检测与纠正系统
CN109785396A (zh) * 2019-01-23 2019-05-21 中国科学院自动化研究所 基于双目相机的写字姿态监测方法、系统、装置
CN109949368A (zh) * 2019-03-14 2019-06-28 郑州大学 一种基于图像检索的人体三维姿态估计方法
CN109934196A (zh) * 2019-03-21 2019-06-25 厦门美图之家科技有限公司 人脸姿态参数评估方法、装置、电子设备及可读存储介质
CN109978907A (zh) * 2019-03-22 2019-07-05 南京邮电大学 一种面向家居场景的学生坐姿检测方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591522A (zh) * 2020-04-30 2021-11-02 百度在线网络技术（北京）有限公司 图像处理方法、装置及存储介质
CN111639574A (zh) * 2020-05-22 2020-09-08 广东小天才科技有限公司 坐姿纠正方法及电子设备、存储介质
CN111639574B (zh) * 2020-05-22 2023-09-26 广东小天才科技有限公司 坐姿纠正方法及电子设备、存储介质
CN111626211A (zh) * 2020-05-27 2020-09-04 大连成者云软件有限公司 一种基于单目视频图像序列的坐姿识别方法
CN111626211B (zh) * 2020-05-27 2023-09-26 大连成者云软件有限公司 一种基于单目视频图像序列的坐姿识别方法
CN111814731A (zh) * 2020-07-23 2020-10-23 科大讯飞股份有限公司 一种坐姿检测方法、装置、设备及存储介质
CN111814731B (zh) * 2020-07-23 2023-12-01 科大讯飞股份有限公司 一种坐姿检测方法、装置、设备及存储介质
CN113051991A (zh) * 2020-11-08 2021-06-29 泰州市出彩网络科技有限公司 异常状态双重检测平台及方法
CN112714328A (zh) * 2020-12-23 2021-04-27 作业帮教育科技（北京）有限公司 一种直播课学生姿态提示方法、装置及电子设备

Also Published As

Publication number Publication date
CN110717392B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN110717392B (zh) 一种坐姿检测与纠正方法和装置
CN111104816B (zh) 一种目标物的姿态识别方法、装置及摄像机
CN110163114B (zh) 一种人脸角度及人脸模糊度分析方法、系统和计算机设备
CN109274883A (zh) 姿态矫正方法、装置、终端及存储介质
CN109117753A (zh) 部位识别方法、装置、终端及存储介质
JP2017049676A (ja) 姿勢判定装置および物体検知装置
CN112464793A (zh) 一种在线考试作弊行为检测方法、系统和存储介质
CN111524183A (zh) 一种基于透视投影变换的目标行列定位方法
CN114005167A (zh) 基于人体骨骼关键点的远距离视线估计方法和装置
CN111325082A (zh) 一种人员专注度分析方法及装置
CN114494347A (zh) 一种单摄像头多模式视线追踪方法和装置、电子设备
CN112991159B (zh) 人脸光照质量评估方法、系统、服务器与计算机可读介质
CN111027517A (zh) 一种基于视觉的坐姿矫正提醒系统及方法、应用
CN112800815A (zh) 一种基于深度学习的视线方向估计方法
CN109740472A (zh) 一种防闭眼的拍照方法
CN112017212B (zh) 人脸关键点跟踪模型的训练、跟踪方法及系统
CN106156739A (zh) 一种基于脸部轮廓分析的证件照耳朵检测与提取方法
CN116453198B (zh) 一种基于头部姿态差异的视线校准方法和装置
CN112149517A (zh) 一种人脸考勤方法、系统、计算机设备及存储介质
US20230237682A1 (en) Method and system for binocular ranging for children
CN115331153B (zh) 一种用于辅助前庭康复训练的姿态监测方法
JP2019012497A (ja) 部位認識方法、装置、プログラム、及び撮像制御システム
CN113569594A (zh) 一种人脸关键点的标注方法及装置
CN114898447B (zh) 一种基于自注意力机制的个性化注视点检测方法及装置
CN112802051B (zh) 基于神经网络的篮球投篮曲线的拟合方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant