CN116092129A - 一种智能书架及其控制方法 - Google Patents

Abstract

本发明公开了一种智能书架及其控制方法，属于计算机视觉技术领域。针对现有技术中存在的坐姿不正确会引起近视、腰椎等疾病问题，进而影响人体健康，本发明提供了一种智能书架及其控制方法，所述智能书架相较于普通书架，不仅具有收纳书籍文具的功能，还能够基于隐性马尔科夫模型对坐姿图像进行训练和识别，分析坐姿图像信息，实时监测坐姿是否正确以及识别对象的疲劳程度，有效预防近视、腰椎等疾病问题。

Description

一种智能书架及其控制方法

技术领域

本发明涉及计算机视觉技术领域，更具体地说，涉及一种智能书架及其控制方法。

背景技术

在书桌上学习的时间较长以后，会由于疲劳等原因，人体坐姿不再保持端正状态，会不自觉地会趴向桌面。趴在桌上学习有很多坏处，最重要的是会因为近距离读书写字造成近视，并且趴在书桌上对人体颈椎、腰椎也会产生影响，影响人体健康。近年来，随着近视、颈椎以及腰椎等各种疾病的低龄化，国家对坐姿越来越重视。虽然目前市场上也有各种坐姿矫正器，然而由于这些额外增加的辅助设备会引起人体不舒适感，因此难以真正得到应用。例如目前市场上出现的坐姿矫正器需要穿戴或者是安装在桌子上，对坐姿进行控制，这些往往容易引起人体不舒适感，难以得到长期应用。由此，需要设计一款能够自动监控坐姿的智能书架，以基于摄像头获取的监控视频对坐姿进行判断以及疲劳检测，无需额外的辅助设备即可对坐姿不正情况进行提醒，识别对象的疲劳程度，从而综合判断人体健康状况。

经检索，中国专利申请，申请公布号CN106125614A，申请公布日2016年11月16日，公开了一种智能书桌及其控制方法。该发明设置有中央控制器，该中央控制器分别连接有红外距离检测单元、环境检测传感器单元、光照度检测模块、手动操控单元、图像采集单元、亮度调节模块、升降电机、语音播报器、震动提示单元和通信模块；通过用户的图像信息识别出用户高度，实现座椅高度的自动调节，通过传感器单元分别监控用户离桌面的距离、光照强度、环境数据和坐姿等，超出设定标准后发出语音或者震动提示，可很好的保证学习环境和坐姿，同时父母可远程监控学习情况，起到更好的监督功能。但是该方案并未能通过获取坐姿特征来分析坐姿状态以及识别对象的疲劳程度，也不能很好地预防近视、腰椎等疾病问题。

发明内容

1.要解决的技术问题

针对现有技术中存在的坐姿不正确会引起近视、腰椎等疾病问题，进而影响人体健康，本发明提供了一种智能书架及其控制方法，所述智能书架相较于普通书架，不仅具有收纳书籍文具的功能，还能够基于隐性马尔科夫模型对坐姿图像进行训练和识别，分析坐姿图像信息，实时监测坐姿是否正确，识别对象的疲劳程度，有效预防近视、腰椎等疾病问题。

2.技术方案

本发明的目的通过以下技术方案实现。

一种智能书架控制方法，获取坐姿图像并将坐姿图像传输至边缘计算硬件中进行图像处理，所述图像处理是指基于隐性马尔科夫模型对坐姿图像进行训练和识别，分析坐姿图像信息，检测坐姿是否正确以及识别对象的疲劳程度；

在训练阶段，基于骨骼提取技术提取坐姿图像的骨骼关键点信息，通过骨骼关键点信息获得关键特征，并依据骨骼关键点信息划分坐姿图像，通过坐姿图像获取多尺度奇异值特征；

在识别阶段，将坐姿进行分类，通过鲍姆-韦尔奇算法训练坐姿模型，对于每一个类别的坐姿，使用属于该类别的坐姿模型样本训练。

进一步地，在训练阶段，其步骤包括：

通过坐姿图像提取上半身骨骼关键点信息，通过骨骼关键点信息获得关键特征；

通过上半身骨骼关键点信息对坐姿图像进行区域分割，分割区域包括头部区域图像、左手至左肩区域图像、右手至右肩区域图像以及躯干区域图像；

将头部区域图像、左手至左肩区域图像、右手至右肩区域图像以及躯干区域图像转换为头部区域灰度图像、左手至左肩区域灰度图像、右手至右肩区域灰度图像以及躯干区域灰度图像，所述头部区域灰度图像、左手至左肩区域灰度图像、右手至右肩区域灰度图像以及躯干区域灰度图像作为第一尺度分割，对头部区域灰度图像、左手至左肩区域灰度图像、右手至右肩区域灰度图像以及躯干区域灰度图像进行奇异值分解；

将头部区域灰度图像、左手至左肩区域灰度图像、右手至右肩区域灰度图像以及躯干区域灰度图像分别均等分割为四个图像子块，所述图像子块作为第二尺度分割，计算每个图像子块的奇异值，所述图像子块的奇异值构成多尺度奇异值特征。

进一步地，在识别阶段，当获取坐姿图像后，提取坐姿图像的多尺度特征，再将待识别的坐姿与坐姿模型进行匹配，检测坐姿是否正确，分析坐姿图像信息。

进一步地，通过分析坐姿图像信息识别对象的疲劳程度。

进一步地，所述识别对象的疲劳程度的计算公式为：

其中，PL表示疲劳程度，i和j表示坐姿类别序号，M表示坐姿类别总数，（f₁，f₂，...，f_N）表示隐性马尔科夫模型观察序列，N表示隐性马尔科夫模型隐含状态的数目，λ_i表示第i个坐姿类别对应的坐姿模型参数，P（f₁，f₂，...，f_N∣λ_i）表示第i类坐姿类别条件下观察序列为（f₁，f₂，...，f_N）的条件概率，T_frame表示一段时间内坐姿视频总帧数，Tⁱ _check表示一段时间内判断坐姿为第i类坐姿类别的坐姿帧数，Y_i表示属于第i类坐姿类别的疲劳度权值，所述疲劳度权值由人工设定。

一种基于智能书架控制方法的智能书架，所述智能书架包括书架头和书架体，所述书架体由若干个隔板和桌板组成，所述隔板垂直设置于桌板上；所述书架头与隔板平行设置于桌板的一端，所述书架头上设置有收纳盒和控制盒，所述收纳盒用于收纳学习用品，所述控制盒包括摄像头、边缘计算硬件；所述摄像头与边缘计算硬件连接；所述摄像头用于获取坐姿图像并将坐姿图像发送至边缘计算硬件中；所述边缘计算硬件通过处理坐姿图像检测坐姿是否正确以及识别对象的疲劳程度。

进一步地，所述控制盒还包括显示面板，所述显示面板与边缘计算硬件连接，若边缘计算硬件检测到坐姿不正确，则将坐姿不正确信息发送到显示面板上进行提示。

进一步地，所述控制盒还包括温湿度传感器，所述温湿度传感器分别与边缘计算硬件、显示面板连接；所述温湿度传感器用于实时采集房间的环境温度参数和环境湿度参数，所述边缘计算硬件用于读取温湿度传感器获取环境温度参数和环境湿度参数，所述显示面板用于显示环境温度参数和环境湿度参数。

进一步地，所述控制盒上还设置有喇叭，所述喇叭与边缘计算硬件连接，若边缘计算硬件检测到坐姿不正确，所述喇叭用于实时播放语音提示坐姿。

进一步地，所述边缘计算硬件上设置有训练和识别模块、通信模块、存储模块以及电源模块；所述训练和识别模块分别与通信模块、存储模块连接；所述训练和识别模块检测坐姿是否正确以及获取的疲劳程度，所述通信模块获取训练和识别模块中的坐姿图像信息并配合移动客户端进行远程控制使用，所述存储模块用于存储坐姿图像以及坐姿图像分析结果信息；所述电源模块用于连接电源接口。

3.有益效果

相比于现有技术，本发明的优点在于：

本发明的一种智能书架及其控制方法，所述智能书架相较于普通书架，不仅具有收纳书籍文具的功能，还能通过获取坐姿视频并将坐姿视频传输至边缘计算硬件中利用隐性马尔科夫模型对坐姿图像进行训练和识别，分析坐姿图像信息，从而可以实时监测坐姿是否正确，通过分析坐姿图像信息可以识别对象的疲劳程度，并且通过通信模块配合移动客户端进行远程控制使用，能够及时提醒坐姿不正，有效预防近视、腰椎、颈椎等疾病问题。

附图说明

图1为本发明控制盒结构示意图；

图2为本发明上半身骨骼图及关键点编号；

图3为本发明第一尺度分割图；

图4为本发明第二尺度分割图；

图5为本发明一种智能书架立体结构示意图；

图6为本发明摄像头开启示意图；

图7为本发明摄像头关闭示意图；

图8为本发明服务端结构示意图。

图中标号说明：1、书架头；10、收纳盒；11、控制盒；111、摄像头；112、显示面板；2、书架体；20、桌板；21、隔板。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

实施例

如图1-图8所示，为本实施例所述的一种智能书架及其控制方法。通过获取坐姿图像并将坐姿图像传输至边缘计算硬件中进行图像处理，所述图像处理是指基于隐性马尔科夫模型对坐姿图像进行训练和识别，分析坐姿图像信息，检测坐姿是否正确以及识别对象的疲劳程度。

具体到本实施例中，如图1所示，获取坐姿图像并将坐姿图像传输至边缘计算硬件中进行图像处理。本实施例基于隐性马尔科夫模型（Hidden Markov Model，HMM）对坐姿图像进行训练和识别，分析坐姿图像信息。需要说明的是，所述隐性马尔科夫模型依据图像提取的特征进行操作。

具体地，在训练阶段，基于骨骼提取技术（Mediapipe技术）提取坐姿图像的骨骼关键点信息，通过骨骼关键点信息获得关键特征，并依据骨骼关键点信息划分坐姿图像，通过坐姿图像获取多尺度奇异值特征。需要说明的是，本实施例所述的骨骼提取技术是一款由Google Research开发并开源的多媒体机器学习模型应用框架，基于图形的跨平台框架，用于构建多模式应用的机器学习管道。进一步地，对坐姿图像提取骨骼关键点信息和多尺度奇异值特征的步骤包括：通过坐姿图像提取上半身骨骼关键点信息，进而通过上半身骨骼图的骨骼关键点信息获得关键特征。如图2所示，每个骨骼关键点用一个二维坐标（x_i，y_i）表示，如P_a(x_a，y_a)表示鼻子处的骨骼关键点坐标。进一步地，对上半身骨骼图的骨骼关键点编号。本实施例中，对上半身骨骼图的骨骼关键点进行标号，所述编号为a-w，共23个骨骼关键点。进而，每个骨骼关键点之间通过关节连线连接。本实施例中，依据人体结构共获取22个关节连线（如a-b、c-d，其中，“-”前的为编号较小的骨骼关键点），每个关节连线用一个向量σ_t表示，其中，t表示骨骼关节连线序号，t∈{1，2，...，22}，由此，所有骨骼关键点之间的关节连线构成向量T=（σ₁，σ₂，...，σ₂₂）。进一步地，通过上半身骨骼关键点信息对坐姿图像进行区域分割，分割区域包括头部区域图像、左手至左肩区域图像、右手至右肩区域图像以及躯干区域图像，分别选取头部区域图像、左手至左肩区域图像、右手至右肩区域图像以及躯干区域图像，将头部区域图像、左手至左肩区域图像、右手至右肩区域图像以及躯干区域图像转换为头部区域灰度图像、左手至左肩区域灰度图像、右手至右肩区域灰度图像以及躯干区域灰度图像，所述头部区域灰度图像、左手至左肩区域灰度图像、右手至右肩区域灰度图像以及躯干区域灰度图像作为第一尺度分割，对头部区域灰度图像、左手至左肩区域灰度图像、右手至右肩区域灰度图像以及躯干区域灰度图像进行奇异值分解。进一步地，将头部区域灰度图像、左手至左肩区域灰度图像、右手至右肩区域灰度图像以及躯干区域灰度图像分别均等分割为四个图像子块，所述图像子块作为第二尺度分割，计算每个图像子块的奇异值，所述图像子块的奇异值构成多尺度奇异值特征。本实施例中，分别用F₁、F₂、F₃以及F₄表示头部区域图像、左手至左肩区域图像、右手至右肩区域图像以及躯干区域图像，分别用G₁、G₂、G₃以及G₄表示头部区域灰度图像、左手至左肩区域灰度图像、右手至右肩区域灰度图像以及躯干区域灰度图像。进而，通过二维坐标系，设定骨骼关键点中x_min，y_min，x_max和y_max四个值，将（x_min，y_min）、（x_min，y_max）、（x_max，y_min）和（x_max，y_max）四个坐标点构成的最小外接矩形映射到坐姿图像上。本实施例中，选取坐姿图像中的头部区域图像F₁进行具体说明，调整头部区域图像F₁大小为128×128像素。进一步地，如图3所示，将头部区域图像F₁转换为头部区域灰度图像G₁。所述头部区域灰度图像G₁作为第一尺度分割，对头部区域灰度图像G₁进行奇异值分解得到特征值，将所述特征值进行降序排列，选取前k个奇异值构成向量S₁=（θ₁，θ₂，θ₃，...，θ_k），其中，θ表示经过奇异值分解后的奇异值，k表示奇异值个数。通过T₁=（T，S₁）更新T₁，T₁表示头部区域多尺度奇异值特征。具体地，如图4所示，将头部区域灰度图像G₁均等分割为四个图像子块，本实施例中，将四个图像子块分别记作G₁₁、G₁₂、G₁₃和G₁₄，所述图像子块作为第二尺度分割。根据SVD定理，计算得到每个图像子块的奇异值，并分别对四个图像子块的奇异值取其降序排列后较大的k个奇异值构成四组一维向量。需要说明的是，现有技术中通过SVD定理对矩阵进行分解。本实施例中，根据G₁₁、G₁₂、G₁₃和G₁₄的排列顺序将四组一维向量用P_1,1、P_1,2、P_1,3和P_1,4表示，通过T₁=（T₁，P_1,1，P_1,2，P_1,3，P_1,4）更新T₁。需要说明的是，本实施例中，如图4所示，所述的排列顺序是指G₁₁、G₁₂、G₁₃和G₁₄按照从左到右且从上到下的顺序排列。最后，转置T₁改变向量形式得到T₁=（σ₁，σ₂，...，σ₂₂，S₁，P_1,1，P_1,2，P_1,3，P_1,4）T。需要说明的是，本实施例中，所述左手至左肩区域图像F₂、右手至右肩区域图像F₃以及躯干区域图像F₄获取多尺度奇异值特征的步骤同头部区域图像F₁获取多尺度奇异值特征的步骤，进而得到T₂、T₃和T₄，所述T₁、T₂、T₃和T₄即构成所述图像子块的多尺度奇异值特征。由此，本实施例中，在训练阶段，通过多尺度特征提取的方式获得坐姿图像的关键特征，通过结合获取坐姿特征按照选取的参数重估算法来调整坐姿模型参数，进而可以获得较强鲁棒性的坐姿模型。

在识别阶段，将坐姿进行分类，其坐姿类别包括伸懒腰、左右手托腮、趴写、打哈欠、左右手挠头和头左右倾斜等不正确坐姿和正确坐姿，再通过鲍姆-韦尔奇算法（Baum-Welch算法）训练坐姿模型。需要说明的是，现有技术中，通常使用鲍姆-韦尔奇算法解决无监督学习的隐性马尔科夫模型问题，对于每一个类别的坐姿，使用属于该类别的坐姿模型样本训练。当获取坐姿图像后，提取坐姿图像的多尺度奇异值特征，再将待识别的坐姿与坐姿模型进行匹配，检测坐姿是否正确。本实施例中，使用一个三元组λ=（A，B，Π）表示一个隐性马尔科夫模型，其中，A={a_pq}表示状态转移概率矩阵，a_pq表示坐姿模型从状态S_p转移到状态S_q的概率，其中，p和q表示隐含状态序号，p∈[1，N]，q∈[1，N]，N表示隐性马尔科夫模型隐含状态的数目；B={b_mn}表示观察符号V_n生成的概率矩阵，b_mn表示坐姿模型在状态S_m生成观察符号V_n的概率，m∈[1，N]，n∈[1，Q]，Q表示观察符号数目；Π={π_z}，z∈[1，N]，π_z表示初始状态为S_z的概率。本实施例所述的坐姿模型，将坐姿作为一个系统对象，则坐姿图像是在同一系统的不同约束条件下生成的结果。本实施例中，对于每一个类别的坐姿，使用属于该类别的坐姿图像样本训练一个或多个状态的从左向右型（left-to-right）隐性马尔科夫模型，隐性马尔科夫模型在训练过程使用如下观察序列：O=f₁，f₂，...，f_N，其中，首先从坐姿图像样本中均匀抽取N个坐姿图像构成集合Γ，需要说明的是，此处的N对应隐性马尔科夫模型隐含状态的N个数目，然后通过多尺度奇异值特征提取集合Γ中的第r个坐姿图像，获取第r个坐姿图像的特征向量f_r=（T^r ₁，T^r ₂，T^r ₃，T^r ₄），使用鲍姆-韦尔奇算法训练隐性马尔科夫模型，隐性马尔科夫模型的参数经过迭代调整来最大化条件概率P（f₁，f₂，...，f_N∣λ），即已知隐性马尔科夫模型是在参数λ的条件下生成观察序列（O=f₁，f₂，...，f_N）的概率。在训练结束后，数据库中存放着M个从左向右型的隐性马尔科夫模型{λ₁，λ₂，...，λ_i，...，λ_M}，其中，M表示坐姿类别总数，λ_i表示第i个坐姿类别对应的坐姿模型参数，1≤i≤M。由此，在本实施例的识别阶段中，利用前w段时间内的坐姿图像样本，通过上述方式提取N个坐姿图像的多尺度奇异值特征，得到隐性马尔科夫模型的观察序列（O=f₁，f₂，...，f_N）；对于训练好的坐姿数据库中第i个坐姿类别对应的坐姿模型参数λ_i，计算条件概率P（f₁，f₂，...，f_N∣λ_i），即在已知参数λ_i的条件下生成观察序列（O=f₁，f₂，...，f_N）的概率，进而，待识别坐姿所属的坐姿模型类别计算公式为：

其中，表示待识别坐姿。若待识别坐姿与坐姿模型相同，则待识别坐姿与坐姿模型匹配成功。

进一步地，本实施例所述的一种智能书架控制方法，通过分析坐姿图像信息可以识别对象的疲劳程度，所述识别对象的疲劳程度的计算公式为：

其中，PL表示疲劳程度，i和j表示坐姿类别序号，M表示坐姿类别总数，（f₁，f₂，...，f_N）表示隐性马尔科夫模型观察序列，N表示隐性马尔科夫模型隐含状态的数目，λ_i表示第i个坐姿类别对应的坐姿模型参数，P（f₁，f₂，...，f_N∣λ_i）表示第i类坐姿类别条件下观察序列为（f₁，f₂，...，f_N）的条件概率，T_frame表示一段时间内坐姿视频总帧数，Tⁱ _check表示一段时间内判断坐姿为第i类坐姿类别的坐姿帧数，Y_i表示属于第i类坐姿类别的疲劳度权值，本实施例中，所述疲劳度权值由人工设定，如人工设定打哈欠与伸懒腰坐姿疲劳度权值分别为0.9、0.8，左右手托腮坐姿疲劳度权值为0.6等。由此，本实施例所述的一种智能书架控制方法，基于隐性马尔科夫模型对坐姿图像进行训练和识别，分析坐姿图像信息，从而可以实时监测坐姿是否正确，通过分析坐姿图像信息可以识别对象的疲劳程度，能够及时提醒坐姿不正，有效预防近视、腰椎、颈椎等疾病问题。

如图5所示，本实施所述的一种基于智能书架控制方法的智能书架，所述智能书架包括书架头1和书架体2，所述书架体2由若干个隔板21和桌板20组成，所述隔板21垂直设置于桌板20上，所述隔板21的长度、数量不做限制，可以根据实际使用情况制定，所述隔板21用于放置书籍等物体。所述书架头1与隔板21平行设置于桌板20的一端，所述书架头1上设置有收纳盒10和控制盒11，所述收纳盒10用于收纳学习用品，所述控制盒11外部包括摄像头111、显示面板112、喇叭，所述控制盒11内部包括边缘计算硬件、温湿度传感器。所述摄像头111与边缘计算硬件连接。如图6所示，当所述摄像头111开启时用于获取坐姿视频并将坐姿图像发送至边缘计算硬件中，如图7所示，当所述摄像头111关闭时，所述智能书架即为普通书架。所述边缘计算硬件用于检测坐姿是否正确以及识别对象的疲劳程度，所述边缘计算硬件与显示面板112连接，若边缘计算硬件检测到坐姿不正确，则将坐姿不正确信息发送到显示面板112上进行提示。所述喇叭与边缘计算硬件连接。若边缘计算硬件检测到坐姿不正确，所述喇叭用于实时播放语音提示坐姿，及时纠正坐姿。所述温湿度传感器分别与边缘计算硬件、显示面板112连接。所述温湿度传感器用于实时采集房间的环境温度参数和环境湿度参数，所述边缘计算硬件读取温湿度传感器获取环境温度参数和环境湿度参数，所述显示面板112用于显示环境温度参数和环境湿度参数。

所述边缘计算硬件上设置有训练和识别模块、通信模块、存储模块以及电源模块。所述训练和识别模块分别与通信模块、存储模块连接。所述训练和识别模块基于隐性马尔科夫模型检测坐姿是否正确以及识别对象的疲劳程度；特别地，在所述训练和识别模块中，还可以实现汇总坐姿情况，形成坐姿分析报告，所述坐姿分析报告包括某段特定时间内出现不正确坐姿发生的次数、某段特定时间内坐姿正确度曲线图、某段特定时间内对象疲劳程度曲线图，所述坐姿分析报告可以通过通信模块发送到后台服务器，通过移动客户端的访问，实时了解坐姿情况以及疲劳程度。值得说明的是，所述边缘计算硬件包括瑞芯微RK1808芯片、1G的双倍速率同步动态随机存储器（DDR）颗粒、8G的嵌入式多媒体卡（eMMC）。其中，RK1808芯片内置了NPU计算单元，可提供3.0TOPs的计算力，在坐姿图像训练和识别过程通过RK1808芯片NPU计算单元实时检测坐姿是否正确。所述通信模块配合移动客户端进行远程控制使用，所述通信模块包括WIFI、4G、5G等通信功能。所述存储模块用于通过数据库存储坐姿图像信息以及坐姿图像分析结果信息。所述电源模块用于连接电源接口，将外接直流电源转换成各模块所需不同电压低等级的电源，确保各模块能够正常工作。

本实施例中，如图8所示，所述智能书架还包括服务器端，所述服务器架构采用多Reactor线程与线程池模式，所述多Reactor线程用于监听连接管理、数据读取写回、控制IO操作；所述线程池处理来自上游分发的任务，对其中的数据进行解码、计算、编码再返回给Reactor线程和客户端完成交互。本实施例中，服务器采用线程池管理多线程多任务模式，设备线程与用户线程采用多任务方式处理，使用epoll_ctl注册列表，对于监听的socket连接之后调用epoll_wait对事件进行处理。本实施例中，所述服务器采用红黑树原理开启设备线程生成对应设备树，用户线程生成用户树，对于外部的设备端与客户端进行增删、改查管理。此外，设备端的数据包括坐姿图像信息、坐姿分析报告等数据可以通过服务器端存储到数据库中，进而，设备端如所述智能书架的显示面板112和客户端如应用程序可以进行查询操作。

由此，本实施例所述的一种智能书架及其控制方法，所述智能书架相较于普通书架，不仅具有收纳书籍文具的功能，还能通过获取坐姿视频并将坐姿视频传输至边缘计算硬件中利用隐性马尔科夫模型对坐姿图像进行训练和识别，分析坐姿图像信息，从而可以实时监测坐姿是否正确，同时分析坐姿图像信息可以识别对象的疲劳程度，并且通过通信模块配合移动客户端进行远程控制使用，能够及时提醒坐姿不正，有效预防近视、腰椎、颈椎等疾病问题。

以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (10)

1.一种智能书架控制方法，其特征在于，获取坐姿图像并将坐姿图像传输至边缘计算硬件中进行图像处理，所述图像处理是指基于隐性马尔科夫模型对坐姿图像进行训练和识别，分析坐姿图像信息，检测坐姿是否正确以及识别对象的疲劳程度；

在训练阶段，基于骨骼提取技术提取坐姿图像的骨骼关键点信息，通过骨骼关键点信息获得关键特征，并依据骨骼关键点信息划分坐姿图像，通过坐姿图像获取多尺度奇异值特征；

在识别阶段，将坐姿进行分类，通过鲍姆-韦尔奇算法训练坐姿模型，对于每一个类别的坐姿，使用属于该类别的坐姿模型样本训练。

2.根据权利要求1所述的一种智能书架控制方法，其特征在于，在训练阶段，其步骤包括：

通过坐姿图像提取上半身骨骼关键点信息，通过骨骼关键点信息获得关键特征；

通过上半身骨骼关键点信息对坐姿图像进行区域分割，分割区域包括头部区域图像、左手至左肩区域图像、右手至右肩区域图像以及躯干区域图像；

将头部区域图像、左手至左肩区域图像、右手至右肩区域图像以及躯干区域图像转换为头部区域灰度图像、左手至左肩区域灰度图像、右手至右肩区域灰度图像以及躯干区域灰度图像，所述头部区域灰度图像、左手至左肩区域灰度图像、右手至右肩区域灰度图像以及躯干区域灰度图像作为第一尺度分割，对头部区域灰度图像、左手至左肩区域灰度图像、右手至右肩区域灰度图像以及躯干区域灰度图像进行奇异值分解；

将头部区域灰度图像、左手至左肩区域灰度图像、右手至右肩区域灰度图像以及躯干区域灰度图像分别均等分割为四个图像子块，所述图像子块作为第二尺度分割，计算每个图像子块的奇异值，所述图像子块的奇异值构成多尺度奇异值特征。

3.根据权利要求1所述的一种智能书架控制方法，其特征在于，在识别阶段，当获取坐姿图像后，提取坐姿图像的多尺度特征，再将待识别的坐姿与坐姿模型进行匹配，检测坐姿是否正确，分析坐姿图像信息。

4.根据权利要求3所述的一种智能书架控制方法，其特征在于，通过分析坐姿图像信息识别对象的疲劳程度。

5.根据权利要求4所述的一种智能书架控制方法，其特征在于，所述识别对象的疲劳程度的计算公式为：

其中，PL表示疲劳程度，i和j表示坐姿类别序号，M表示坐姿类别总数，（f₁，f₂，...，f_N）表示隐性马尔科夫模型观察序列，N表示隐性马尔科夫模型隐含状态的数目，λ_i表示第i个坐姿类别对应的坐姿模型参数，P（f₁，f₂，...，f_N∣λ_i）表示第i类坐姿类别条件下观察序列为（f₁，f₂，...，f_N）的条件概率，T_frame表示一段时间内坐姿视频总帧数，Tⁱ _check表示一段时间内判断坐姿为第i类坐姿类别的坐姿帧数，Y_i表示属于第i类坐姿类别的疲劳度权值，所述疲劳度权值由人工设定。

6.一种基于权利要求1-5任一所述的智能书架控制方法的智能书架，其特征在于，所述智能书架包括书架头（1）和书架体（2），所述书架体（2）由若干个隔板（21）和桌板（20）组成，所述隔板（21）垂直设置于桌板（20）上；所述书架头（1）与隔板（21）平行设置于桌板（20）的一端，所述书架头（1）上设置有收纳盒（10）和控制盒（11），所述收纳盒（10）用于收纳学习用品，所述控制盒（11）包括摄像头（111）、边缘计算硬件；所述摄像头（111）与边缘计算硬件连接；所述摄像头（111）用于获取坐姿图像并将坐姿图像发送至边缘计算硬件中；所述边缘计算硬件通过处理坐姿图像检测坐姿是否正确以及识别对象的疲劳程度。

7.根据权利要求6所述的一种智能书架，其特征在于，所述控制盒（11）还包括显示面板（112），所述显示面板（112）与边缘计算硬件连接，若边缘计算硬件检测到坐姿不正确，则将坐姿不正确信息发送到显示面板（112）上进行提示。

8.根据权利要求6所述的一种智能书架，其特征在于，所述控制盒（11）还包括温湿度传感器，所述温湿度传感器分别与边缘计算硬件、显示面板（112）连接；所述温湿度传感器用于实时采集房间的环境温度参数和环境湿度参数，所述边缘计算硬件用于读取温湿度传感器获取环境温度参数和环境湿度参数，所述显示面板（112）用于显示环境温度参数和环境湿度参数。

9.根据权利要求6所述的一种智能书架，其特征在于，所述控制盒（11）上还设置有喇叭，所述喇叭与边缘计算硬件连接，若边缘计算硬件检测到坐姿不正确，所述喇叭用于实时播放语音提示坐姿。

10.根据权利要求6所述的一种智能书架，其特征在于，所述边缘计算硬件上设置有训练和识别模块、通信模块、存储模块以及电源模块；所述训练和识别模块分别与通信模块、存储模块连接；所述训练和识别模块检测坐姿是否正确以及获取的疲劳程度，所述通信模块获取训练和识别模块中的坐姿图像信息并配合移动客户端进行远程控制使用，所述存储模块用于存储坐姿图像以及坐姿图像分析结果信息；所述电源模块用于连接电源接口。

Images