CN215231970U - 一种智能安全健身指导装置 - Google Patents

一种智能安全健身指导装置 Download PDF

Info

Publication number
CN215231970U
CN215231970U CN202120522402.3U CN202120522402U CN215231970U CN 215231970 U CN215231970 U CN 215231970U CN 202120522402 U CN202120522402 U CN 202120522402U CN 215231970 U CN215231970 U CN 215231970U
Authority
CN
China
Prior art keywords
data
action
user
interactive display
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202120522402.3U
Other languages
English (en)
Inventor
李育奇
杨浩浩
常为铭
郑子祺
姚冠成
冯凯琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202120522402.3U priority Critical patent/CN215231970U/zh
Application granted granted Critical
Publication of CN215231970U publication Critical patent/CN215231970U/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本实用新型公开了一种智能安全健身指导装置,该装置包括交互显示装置、摄像装置、器械运动状态采集装置、服务器、动作识别处理器;交互显示装置包括主控板、显示器;主控板分别与显示器、摄像装置、器械运动状态采集装置、服务器、动作识别处理器连接;动作识别处理器用于识别用户动作,交互显示装置用于接收用户触摸操作、实时展示识别动作数据和纠正动作数据;服务器用于对接收的识别动作数据进行纠正。本实用新型采用3D计算机视觉技术,建立出3D人体模型以实时精准记录人们的训练姿势,并通过深度学习算法计算匹配标准姿态数据库,及时向健身者反馈来纠正健身者的动作,实现对用户健身动作的精准识别。

Description

一种智能安全健身指导装置
技术领域
本实用新型涉及人工智能识别技术领域,具体涉及一种智能安全健身指导装置。
背景技术
随着生活水平提升,人们对健康生活越来越关注,健身需求也日益增加,然而教练价格偏高且水平参次不齐,一方面存在健身安全问题,针对目前健身房内健身者因各种原因,导致没有正确的指导从而健身动作不规范引发的诸如运动损伤的风险增加、肌肉协调性转移和训练效率降低等问题;另一方面在面对人们健身意识的逐渐提高,将AI技术和健身设施相结合,协助人们的健身训练,然而现有的产品及研究仅适用于无器械、小型辅助器材健身场景,还不适用于健身房内的大型专业器械,对于使用专业器械的人体动作识别技术还需要再增强识别的精度才可以实现,加上用户身体数据仍欠深度,无法为用户提供的个性化指导需要加强其专业性。
发明内容
为了克服现有技术存在的缺陷与不足,本实用新型提供一种智能安全健身指导装置,该装置通过摄像装置对用户的实时动作进行捕捉,输出相应动作数据信号,并经过服务器处理后由显示器显示出分析结果,同时通过音响外放指导信息,实时给予用户反馈。
为了达到上述目的,本实用新型采用以下技术方案:
一种智能安全健身指导装置,设有交互显示装置,所述交互显示装置包括主控板、与主控板连接的显示器,所述智能安全健身指导装置还包括摄像装置、器械运动状态采集装置、服务器、动作识别处理器;
所述主控板还分别与摄像装置、器械运动状态采集装置、服务器、动作识别处理器连接;
所述摄像装置用于实时拍摄得到采集影像数据,所述器械运动状态采集装置用于采集健身器械绕空间3轴的旋转数据,所述动作识别处理器用于识别用户动作,所述交互显示装置用于接收用户触摸操作、实时展示识别动作数据和纠正动作数据;
所述服务器用于对接收的识别动作数据进行纠正。
作为优选的技术方案,所述交互显示装置还包括语音播放器,所述语音播放器与所述主控板连接,所述语音播放器用于实时语音播报指导。
作为优选的技术方案,所述器械运动状态采集装置采用3D扫描仪、陀螺仪、加速计、磁力计中任一种或任意多种组合。
作为优选的技术方案,所述的智能安全健身指导装置还包括移动伸缩架,所述移动伸缩架分别与所述摄像装置、交互显示装置连接。
本实用新型与现有技术相比,具有如下优点和有益效果:
(1)本实用新型采用3D计算机视觉技术,通过摄像装置、器械运动状态采集装置分别与主控板连接,建立出人体模型、健身器械模型,并通过主控板与动作识别处理器,以实时精准记录人们的训练姿势,通过主控板与服务器连接,及时向健身者反馈来纠正健身者的动作,进一步地,本实用新型采用移动伸缩架与摄像装置连接,通过移动伸缩架调节摄像装置的高度和角度,使得建立的3D模型比市面上常见的2D模型具有更好的模拟人体形态,相比于私人教练的肉眼观察具有更准确的判断,且排除了人为存在注意力分散的因素,实现对用户健身动作的精准识别,能够专心地针对当前用户进行记录,误判的可能性更低。
(2)本实用新型通过服务器将比对结果通过显示器和语音播放器以视频、图片和语音的形式传达给用户,使健身训练摆脱纯粹依靠经验的状态,从而帮助其在使用器械健身的过程中改进自己的每一个动作细节,真正起到一个专业的健身助教的功能,进而达到精准识别、实时指导健身者正确使用健身器械,达到降低人们使用健身器械的门槛、有效保障全民科学的健身的效果,尤其是提升运动员针对特定肌肉、动作训练时的使用专业器械的安全性和有效性。
(3)本实用新型采用器械运动状态采集装置与主控板连接,配合摄像装置采集的影像数据,在动作识别处理器进行识别处理时,使得对健身器械的位置、角度的识别更加精准,避免了用户在使用健身器械进行健身时,因为健身器械的使用不当,而引起的健身训练效率低和运动损伤的问题。
附图说明
图1为本实用新型实施例1中智能安全健身指导装置的结构示意图;
图2为本实用新型实施例2中设有智能安全健身指导装置的智能安全健身指导系统的模块示意图;
图3为本实用新型实施例2中智能安全健身指导系统的架构分层示意图;
图4为本实用新型实施例2中智能安全健身指导系统的模块数据交互的示意图。
具体实施方式
在本公开的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。同样,“一个”、“一”或者“该”等类似词语也不表示数量限制,而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在该词前面的元素或者物件涵盖出现在该词后面列举的元素或者物件及其等同,而不排除其他元素或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。
在本公开的描述中,需要说明的是,除非另有明确的规定和限定,否则术语“安装”、“相连”、“连接”应做广义理解。例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本公开中的具体含义。此外,下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
为了使本实用新型的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本实用新型进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本实用新型,并不用于限定本实用新型。
实施例
实施例1
如图1所示,本实施例提供了一种智能安全健身指导装置,该装置设有交互显示装置,交互显示装置包括主控板、与主控板连接的显示器,智能安全健身指导装置还包括摄像装置、器械运动状态采集装置、服务器、动作识别处理器;
主控板还分别与摄像装置、器械运动状态采集装置、动作识别处理器连接;
摄像装置用于实时拍摄得到采集影像数据,器械运动状态采集装置用于采集健身器械绕空间3轴的旋转数据,交互显示装置用于接收用户触摸操作、实时展示识别动作数据和纠正动作数据;
服务器与主控板连接,服务器用于对接收的识别动作数据进行纠正。
在本实施例中,服务器设有网络通信模块,主控板设有网卡,通过网络通信模块与网卡无线连接,使主控板与服务器交互传输数据,其中传输数据包括动作识别处理器发送服务器各种登陆、查询修改等会话请求、服务器传回的应答、训练模型网络的更新参数等,该模块基于socket协议进行通信。
在本实施例中,主控板内嵌在显示器中;摄像装置采用单体tof深度摄像头,器械运动状态采集装置设有陀螺仪、加速计、磁力计;交互显示装置用于与用户进行交互实现实时指导,主控板将单体tof深度摄像头拍摄得到的采集影像数据作为采集数据传输至显示器、动作识别处理器,同时显示器通过主控板接收动作识别处理器发送的人体时序3D模型数据进行实时展示、接收用户触摸操作。
在本实施例中,交互显示装置还包括语音播放器,语音播放器与主控板连接,用于实时语音播报指导;实际应用时语音播放器采用音响。
在本实施例中,交互显示装置还包括语音接收单元;语音接收单元与主控板连接,用于接收用户语音指令数据进行与用户进行实时互动;在本实施例中,交互显示装置基于Qt框架进行开发,可根据实际情况采用其他开发框架,此处不做限定;在本实施例中,器械运动状态采集装置采用3D扫描仪、陀螺仪、加速计和磁力计;
此外,器械运动状态采集装置可以采用3D扫描仪、陀螺仪、加速计、磁力计中任一种或任意多种组合。
为了调节摄像装置、交互显示装置的高度或角度,智能安全健身指导装置还包括移动伸缩架,移动伸缩架分别与摄像装置、交互显示装置连接。
实施例2
如图2所示,本实施例提供了一种智能安全健身指导系统,该系统包括实施例1中的智能安全健身指导装置;
在本实施例中,服务器包括动作纠正模块,动作纠正模块与网络通信模块连接;
在本实施例中,动作识别处理器在用户使用该系统时处理人体模型和健身器械模型在虚拟空间的同步运动,动作识别处理器采用arm架构。
在本实施例中,处理人体模型在虚拟空间的同步运动时,动作识别处理器基于开源框架tensorflow建立人体虚拟3D训练模型网络,人体虚拟3D训练模型网络用于同步匹配现实人体动作与虚拟空间中人体3D模型动作得到人体时序3D模型数据;
在本实施例中,处理健身器械模型在虚拟空间的同步运动时,动作识别处理器通过动作捕捉技术来实现现实健身器械动作和虚拟空间中健身器械3D模型动作的匹配同步得到健身器械时序3D模型数据;其中,健身器械时序3D模型数据为基于传感器采集关键节点在三维中随时间运动的数据。
在本实施例中,动作纠正模块基于导入标准动作数据集建立标准运动模型,根据动作识别处理器发送的人体时序3D模型数据、健身器械时序3D模型数据,结合建立的标准运动模型进行动作比较处理得到用户错误动作数据和动作评价数据,其中人体时序3D模型数据、健身器械时序3D模型数据用于在进行动作时辅助判断运动动作的正误。
在本实施例中,当用户需要使用健身器材进行运动动作时,需要基于人体关键点与器材之间的角度进行判断动作正误,动作识别处理器根据器械运动状态采集装置和摄像装置分别采集的数据进行识别出器械关键点和人体关键点在空间中随时间的位置变化,动作纠正模块通过比较预先设定好的机械关键点和人体关键点的角度值和相对位置等信息可以得到用户动作的正确信息或错误信息,进而得到用户错误动作数据和动作评价数据,根据用户错误动作数据查找数据库得到标准动作指导数据,即通过中间件请求查询数据库得到标准动作指导数据,将用户错误动作数据、动作评价数据、标准动作指导数据发送到交互显示装置。
如图3和图4所示,服务器还包括身份识别模块,身份识别模块用于用户账号的验证,通过比对数据库中已存储的用户身份数据进行验证用户身份;身份识别模块与网络通信模块连接;实际应用时,身份识别模块基于cookie和session的方式维持服务器与客户端的对话,其中客户端为交互显示装置;在本实施例中身份识别模块采用以下至少一种识别方式:手势识别、密码识别、语音识别、指纹识别、人脸识别和虹膜识别。
结合图3和图4所示,服务器还包括处方制定模块,处方制定模块用于个性化定制锻炼计划,处方制定模块与网络通信模块连接;为了对健身用户群体千人千面精准个性化指导,处方制定模块包括健身训练模型网络,通过输入用户相关信息,利用支持向量机输出得到用户的锻炼计划和锻炼方式,从而达到定制属于个人合理的处方化健身指导方案的目的,进而避免其在使用器械进行健身时,因为健身强度不足或是健身强度过高而引起的健身锻炼效率低和运动损伤的问题;其中用户相关数据除了包括用户身高、体重、臂长、运动量等一些简单的身体数据外,还包括通过用户自主填写其相应的代谢情况、心肺功能、体能状况、肌肉状况和关节情况和病史等准确数据。
在本实施例中,语音播放器接收动作纠正模块发送的用户错误动作数据、动作评价数据、标准动作指导数据对动作进行实时语音播报指导。
在本实施例中,服务器接收用户传来的登录数据通过中间件进行缓存快速返回用户锻炼计划的相应阶段和用户当前标准健身动作数据,提升访问速度优化用户体验;同时对于数据容灾,中间件保证了数据在特殊情况下的稳定性;在本实施例中,数据库采用NoSQL,中间件采用redis或者memcache,可根据实际情况采用其他NoSQL中间件,此处不做限定。
在本实施例中,数据库用于存储和读取业务数据,业务数据包括用户账号信息、锻炼数据、锻炼参数等用于实现业务相关逻辑的数据;数据库的数据可以分为两部分,一部分来自用户填写的信息、用户的使用经历,其中用户填写的信息如用户账号信息等,另一部分为导入的标准动作数据、自主动采集的锻炼训练参数等,最终经过处理得到以动作肢体关键节点在三维中随时间运动的方式进行储存;当用户需要某个动作时,数据库可以将该动作肢体关键节点三维坐标随时间的变化返回给用户;在本实施例中数据库采用MySQL数据库进行系统功能开发以及训练集的存储。
如图3所示,本实施例的智能安全健身指导系统构架采用分层结构进行设计,主要包括UI层、通信层、业务层、中间件层、数据库以及物理层;
UI层作为上层应用,主要是为了与用户提供交互方式,通过接收来自通信层的信息,对页面进行相应的渲染和展示;交互显示装置构成UI层;UI层接收来自通信层视频流数据,通过视频解析进行展示,接收用户动作识别处理器处理得到的人体时序3D模型数据进行解析,用于实时动作展示,将单体tof深度摄像头拍摄得到的采集影像数据作为采集数据传输至显示器、动作识别处理器,同时显示器也接收动作识别处理器发送的人体时序3D模型数据进行实时展示,通过显示器的触摸屏接收用户触摸操作、通过语音接收单元接收用户语音指令数据从而与用户进行实时互动;语音播放器接收动作纠正模块发送的用户错误动作数据、动作评价数据、标准动作指导数据对动作进行实时语音播报指导;在本实施例中,UI层的设备主要是基于arm架构的linux平台,该部分主要使用Qt框架来进行界面的开发。
通信层作为主要的作用是连接UI层和业务层,处理相关socket请求以及待解析数据,使得本系统可以完成进程与进程间的通信以及交互显示装置与服务器之间的通信;在本实施例中,网络通信模块与网卡构成通信层,其中待解析数据包括标准动作指导数据、人体时序3D模型数据、用户锻炼计划。
业务层用于实现系统业务主要逻辑,其中业务层包括用户动作识别、身份识别、动作纠正、处方制定、实时指导等业务功能逻辑,并封装成接口,为各种网络请求提供服务;身份识别主要通过账号的验证,利用cookie和session的方式维持服务器端与客户端的对话。动作纠正主要是依赖先前提到的人体时序3D模型数据、健身器械时序3D模型数据,结合建立的标准运动模型进行动作比较处理得到用户动作错误数据、动作评价数据、标准动作指导数据;处方制定是通过记录用户每次的锻炼情况和计划完成度,通过比较剩余计划天数和锻炼效果进行动态调整用户的锻炼计划;实时指导是在锻炼过程中实时判断识别出错误动作,根据错误动作对应给出标准动作数据从而使用户得到实时标准动作的指导。该部分主要基于python的tensorflow等相关机器学习框架,通过数据库中的标准动作数据,以及服务器端先前训练的结果,来优化调整本地的识别和纠正业务。
中间件层是业务层与数据库层的过渡层,由中间件构成;中间件层主要用于联系业务层和数据库层,并进行相关的处理。该层接收用户从UI层发送的登录请求数据并利用缓存快速返回用户锻炼计划的相应阶段和标准动作数据,提升访问速度优化用户体验。同时中间件层考虑数据容灾,保证数据在特殊情况下的稳定性;实际应用时,中间件采用例如redis或者memcache等使得使用NoSQL的访问体验更加流畅。
数据库层提供业务数据的存储和读取功能,由数据库构成,业务数据包括用户账号信息、训练数据、训练参数等用于实现业务相关逻辑的数据。数据库层的数据可以分为两部分,一部分如用户账号信息等均来自用户自主填写以及用户的使用经历,另一部分标准动作数据、训练参数等来自我们自主动作采集,最终以人物关节点在三维中随时间运动的方式进行储存。当用户需要某个动作时,数据库可以将该动作肢体关键节点三维坐标随时间的变化返回给业务层。本系统应用采用的是MySQL数据库进行系统功能开发以及训练集的存储。
物理层是底层资源的支撑,它为应用的运行提供环境和资源基础;物理层设有硬件装置,硬件装置包括内嵌了主控板的显示器、单体tof深度摄像头、可调节高度和角度的移动伸缩架。物理层采用了嵌入式技术,主控板使用常见的arm架构芯片CPU来进行本地系统的处理和运算,通过tof摄像头来采集用户数据,使用显示器跟用户进行交互,并将数据通过网卡跟服务器进行读取采集和样本参数。
结合图4所示,用户输入包括账号密码的用户身份登录信息,由网络通信模块转发至身份识别模块进行验证用户身份登录信息得到验证结果,主控板接收验证结果并通过显示器进行展示验证结果;此外,可根据实际情况采用数字密码、指纹、人体生物特征、自定义触摸滑动动作形式进行身份识别,此处不做限定。
结合图4所示,在本实施例中若用户验证成功,交互显示装置会接收得到由服务器发送的用户账号信息进行展示,此时用户登录成功;否则用户登录失败,并以验证错误的提示进行展示;在用户登录成功后,在用户进行锻炼的过程,处方制定模块通过交互显示装置显示推荐的运动处方,推荐的运动处方包括锻炼计划、锻炼方法;同时处方制定模块通过摄像装置实时获取用户锻炼情况,进而调整用户的锻炼计划;
结合图4所示,用户在锻炼过程中,通过摄像装置实时获取用户运动视频,进行人体追踪;动作识别处理器根据运动视频得到人体时序3D模型数据和健身器械时序3D模型数据,动作纠正模块根据人体时序3D模型数据、健身器械时序3D模型数据,结合标准运动模型进行动作比较得到用户错误动作数据、动作评价数据、标准动作指导数据,进而将用户错误动作数据、动作评价数据、标准动作指导数据传输到交互显示装置进行运动指导。
上述实施例为本实用新型较佳的实施方式,但本实用新型的实施方式并不受上述实施例的限制,其他的任何未背离本实用新型的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本实用新型的保护范围之内。

Claims (4)

1.一种智能安全健身指导装置,设有交互显示装置,所述交互显示装置包括主控板、与主控板连接的显示器,其特征在于,所述智能安全健身指导装置还包括摄像装置、器械运动状态采集装置、服务器、动作识别处理器;
所述主控板还分别与摄像装置、器械运动状态采集装置、服务器、动作识别处理器连接;
所述摄像装置用于实时拍摄得到采集影像数据,所述器械运动状态采集装置用于采集健身器械绕空间3轴的旋转数据,所述动作识别处理器用于识别用户动作,所述交互显示装置用于接收用户触摸操作、实时展示识别动作数据和纠正动作数据;
所述服务器用于对接收的识别动作数据进行纠正。
2.根据权利要求1所述的智能安全健身指导装置,所述交互显示装置还包括语音播放器,所述语音播放器与所述主控板连接,所述语音播放器用于实时语音播报指导。
3.根据权利要求1或2所述的智能安全健身指导装置,其特征在于,所述器械运动状态采集装置采用3D扫描仪、陀螺仪、加速计、磁力计中任一种或任意多种组合。
4.根据权利要求1或2所述的智能安全健身指导装置,其特征在于,还包括移动伸缩架,所述移动伸缩架分别与所述摄像装置、交互显示装置连接。
CN202120522402.3U 2021-03-12 2021-03-12 一种智能安全健身指导装置 Expired - Fee Related CN215231970U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202120522402.3U CN215231970U (zh) 2021-03-12 2021-03-12 一种智能安全健身指导装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202120522402.3U CN215231970U (zh) 2021-03-12 2021-03-12 一种智能安全健身指导装置

Publications (1)

Publication Number Publication Date
CN215231970U true CN215231970U (zh) 2021-12-21

Family

ID=79504160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202120522402.3U Expired - Fee Related CN215231970U (zh) 2021-03-12 2021-03-12 一种智能安全健身指导装置

Country Status (1)

Country Link
CN (1) CN215231970U (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113144540A (zh) * 2021-03-12 2021-07-23 华南理工大学 一种智能安全健身指导装置、系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113144540A (zh) * 2021-03-12 2021-07-23 华南理工大学 一种智能安全健身指导装置、系统及方法

Similar Documents

Publication Publication Date Title
CN113144540A (zh) 一种智能安全健身指导装置、系统及方法
CN112237730B (zh) 健身动作纠正方法及电子设备
US8282481B2 (en) System and method for cyber training of martial art on network
CN110739040A (zh) 一种上下肢康复评定训练系统
CN107754225A (zh) 一种智能健身教练系统
CN112614399A (zh) 一种基于虚拟现实的舞蹈教学设备及其教学方法
CN208156892U (zh) 智能精准中医技能培训考核系统
CN112420141B (zh) 一种中医健康评估系统及其应用
CN114022512A (zh) 运动辅助方法、装置及介质
JP2020174910A (ja) 運動支援システム
CN215231970U (zh) 一种智能安全健身指导装置
CN112749684A (zh) 心肺复苏术训练和评估的方法及装置、设备、存储介质
CN109599162A (zh) 一种孤独症谱系障碍儿童合作能力干预系统及方法
Ma et al. Development of the Interactive Rehabilitation Game System for Children with Autism Based on Game Psychology
CN110007765A (zh) 一种人机交互方法、装置及设备
JP6884306B1 (ja) システム、方法、情報処理装置
CN112230777A (zh) 一种基于非接触式交互的认知训练系统
CN116271757A (zh) 一种基于ai技术的篮球练习的辅助系统和方法
CN116099181A (zh) 基于元宇宙下的上肢力量训练辅助系统及其使用方法
KR20140132864A (ko) 스트레스 변화에 따른 신체 및 심리 변화의 동영상 이용 간이 측정 방법 및 이를 이용한 힐링서비스
CN114220160A (zh) 一种基于vr技术的防作弊远程考试设备及其使用方法
CN114022956A (zh) 一种多维度智能研判健身动作运动效果的方法
CN113197542A (zh) 一种在线自助视力检测系统、移动终端及存储介质
CN117423166B (zh) 一种根据人体姿态图像数据的动作识别方法及系统
Li et al. Fitness coach: Design and implementation of a smart mirror based on automatic image recognition and action model comparison

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211221