CN116153510A - 矫正镜控制方法、装置、设备、存储介质及智能矫正镜 - Google Patents

矫正镜控制方法、装置、设备、存储介质及智能矫正镜 Download PDF

Info

Publication number
CN116153510A
CN116153510A CN202310132815.4A CN202310132815A CN116153510A CN 116153510 A CN116153510 A CN 116153510A CN 202310132815 A CN202310132815 A CN 202310132815A CN 116153510 A CN116153510 A CN 116153510A
Authority
CN
China
Prior art keywords
user
joint
action
data
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310132815.4A
Other languages
English (en)
Other versions
CN116153510B (zh
Inventor
张克清
耿垚
黄俞淞
郭毅
周珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Xiangyu Medical Equipment Co Ltd
Original Assignee
Henan Xiangyu Medical Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Xiangyu Medical Equipment Co Ltd filed Critical Henan Xiangyu Medical Equipment Co Ltd
Priority to CN202310132815.4A priority Critical patent/CN116153510B/zh
Publication of CN116153510A publication Critical patent/CN116153510A/zh
Application granted granted Critical
Publication of CN116153510B publication Critical patent/CN116153510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本申请涉及医疗器械领域，具体公开了一种矫正镜控制方法、装置、设备、存储介质及智能矫正镜，通过根据用户静止关节数据生成用户三维模型，在控制智能矫正镜显示器显示训练动作示意数据后，采集用户根据显示训练动作示意数据进行动作时的用户动作关节数据，再匹配用户动作关节数据，驱动用户三维模型在智能矫正镜显示器上跟踪显示用户的动作，从而使用户在动作时可以确定自己的动作是否被智能矫正镜采集到，同时相较于传统智能矫正镜仅显示用户平面视频的方法也能够更加直观地显示出用户的动作状态，以便用户针对性调整自己的体态与动作，获取对用户更准确的运动评估结果。

Description

矫正镜控制方法、装置、设备、存储介质及智能矫正镜
技术领域
本申请涉及医疗器械领域，特别是涉及一种矫正镜控制方法、装置、设备、存储介质及智能矫正镜。
背景技术
智能矫正镜是一种通过位姿评估来辅助用户矫正体态、动作的设备，在矫正康复项目中可以提供静态检测功能或动态检测功能。其中，动态检测即姿态评估，要求用户按照规定的角度和姿态站立在智能矫正镜前方，根据智能矫正镜的提示做出相应的动作，以便系统对用户的运动关节的活动范围做出记录分析，从而给出用户的姿态和康复效果的评估结果。
为实现动态检测功能，智能矫正镜通常通过在屏幕一侧播放参考动作视频，根据摄像头捕捉人体的动作数据进行记录，以进行动态检测评估。一次评估可能包括多个运动项目，当所有运动项目结束后，根据评估结果来对用户的运动程度或运动范围进行打分。
然而，目前的智能矫正镜的设计方案均为采集用户的体态参数或动作参数后将参数呈现给用户，或留作矫正数据以提供给专业人员使用，而对于用户来说可读性不高。对于普通用户来说，仅是看到参数化的身体数据并不能准确地知晓自己身体的情况，无法知道自己的动作是否正确，也无法知道自己的动作会对评估结果的准确度有何影响。
可见，目前的智能矫正镜不利于用户配合做出标准动作，进而不利于对用户的真实运动能力进行准确评估。
发明内容
本申请的目的是提供一种矫正镜控制方法、装置、设备、存储介质及智能矫正镜，用于提高智能矫正镜显示参数的可读性，便于用户在动态检测时更为准确地知晓自己的身体状态以更好地配合矫正，进而提高动作评估的准确性。
为解决上述技术问题，本申请提供一种矫正镜控制方法，包括：
根据用户静止关节数据生成用户三维模型；
控制智能矫正镜显示器显示训练动作示意数据后，采集用户根据所述训练动作示意数据进行动作时的用户动作关节数据；
匹配所述用户动作关节数据，驱动所述用户三维模型在所述智能矫正镜显示器上跟踪显示所述用户的动作。
可选的，所述匹配所述用户动作关节数据，驱动所述用户三维模型在所述智能矫正镜显示器上跟踪显示所述用户的动作，具体为：
将所述用户动作关节数据中各监测对象关节的三维坐标数据赋值于所述用户三维模型的相应关节的角度上。
可选的，还包括：
根据标准关节数据对应的关节阈值来评估所述用户动作关节数据；
输出对出现异常的所述用户动作关节数据的提示信息。
可选的，所述根据标准关节数据对应的关节阈值来评估所述用户动作关节数据，具体包括：
基于所述用户静止关节数据确定所述用户的各监测对象关节的初始角度值；
利用所述初始角度值对所述用户动作关节数据进行补偿后，根据所述标准关节数据对应的所述关节阈值对补偿后的所述用户动作关节数据进行评估。
可选的，所述根据标准关节数据对应的关节阈值来评估所述用户动作关节数据，具体包括：
基于所述用户静止关节数据确定所述用户的各监测对象关节的初始角度值；
基于所述用户的历史动作关节数据确定所述用户在所述训练动作中各所述监测对象关节的历史动作角度值；
利用所述初始角度值和所述历史动作角度值对所述用户动作关节数据进行补偿后，根据所述标准关节数据对应的所述关节阈值对补偿后的所述用户动作关节数据进行评估。
可选的，所述输出对出现异常的所述用户动作关节数据的提示信息，具体为：
在所述用户三维模型上对出现异常的目标监测对象关节的位置进行标记显示。
为解决上述技术问题，本申请还提供一种智能矫正镜，包括：视频采集设备，智能矫正镜显示器和主机；
其中，所述主机的视频接收端与所述视频采集设备的输出端连接，所述主机的显示输出端与所述智能矫正镜显示器的输入端连接；
所述主机用于根据用户静止关节数据生成用户三维模型；控制所述智能矫正镜显示器显示训练动作示意数据后，控制所述视频采集设备采集用户根据所述训练动作示意数据进行动作时的用户动作关节数据；匹配所述用户动作关节数据，驱动所述用户三维模型在所述智能矫正镜显示器上跟踪显示所述用户的动作。
为解决上述技术问题，本申请还提供一种矫正镜控制装置，包括：
建模单元，用于根据用户静止关节数据生成用户三维模型；
采集单元，用于控制智能矫正镜显示器显示训练动作示意数据后，采集用户根据所述训练动作示意数据进行动作时的用户动作关节数据；
跟踪单元，用于匹配所述用户动作关节数据，驱动所述用户三维模型在所述智能矫正镜显示器上跟踪显示所述用户的动作。
为解决上述技术问题，本申请还提供一种矫正镜控制设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，所述计算机程序被所述处理器执行时实现如上述任意一项所述矫正镜控制方法的步骤。
为解决上述技术问题，本申请还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述矫正镜控制方法的步骤。
本申请所提供的矫正镜控制方法，通过根据用户静止关节数据生成用户三维模型，在控制智能矫正镜显示器显示训练动作示意数据后，采集用户根据显示训练动作示意数据进行动作时的用户动作关节数据，再匹配用户动作关节数据，驱动用户三维模型在智能矫正镜显示器上跟踪显示用户的动作，从而使用户在动作时可以确定自己的动作是否被智能矫正镜采集到，同时相较于传统智能矫正镜仅显示用户平面视频的方法也能够更加直观地显示出用户的动作状态，以便用户针对性调整自己的体态与动作，获取对用户更准确的运动评估结果。
本申请还提供一种矫正镜控制装置、设备及存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种智能矫正镜的连接结构示意图；
图2为本申请实施例提供的一种智能矫正镜的正视图；
图3为本申请实施例提供的一种智能矫正镜的底座结构示意图；
图4为本申请实施例提供的一种矫正镜控制方法的流程图；
图5为本申请实施例提供的一种矫正镜控制装置的结构示意图；
图6为本申请实施例提供的一种矫正镜控制设备的结构示意图。
具体实施方式
本申请的核心是提供一种矫正镜控制方法、装置、设备、存储介质及智能矫正镜，用于提高智能矫正镜显示参数的可读性，便于用户在动态检测时更为准确地知晓自己的身体状态以更好地配合矫正，进而提高动作评估的准确性。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
图1为本申请实施例提供的一种智能矫正镜的连接结构示意图；图2为本申请实施例提供的一种智能矫正镜的正视图；图3为本申请实施例提供的一种智能矫正镜的底座结构示意图。
为便于理解，首先对本申请提供的智能矫正镜进行介绍。
如图1所示，本申请实施例提供的智能矫正镜包括：视频采集设备101，智能矫正镜显示器102和主机103；
其中，主机103的视频接收端与视频采集设备101的输出端连接，主机103的显示输出端与智能矫正镜显示器102的输入端连接；
主机103用于根据用户静止关节数据生成用户三维模型；控制智能矫正镜显示器102显示训练动作示意数据后，控制视频采集设备101采集用户根据训练动作示意数据进行动作时的用户动作关节数据；匹配用户动作关节数据，驱动用户三维模型在智能矫正镜显示器102上跟踪显示用户的动作。
在具体实施中，视频采集设备101可以为摄像头，具体可以采用可以捕获三维关节数据的深度摄像头。
如图2和图3所示，智能矫正镜显示器102可以搭载在台车104上，该台车104底部设有滑轮以方便位置移动。搭载智能矫正镜显示器102后的台车104的整体尺寸可以为长883毫米，宽730毫米，高1783毫米，允差±10％。
主机103可以采用SoC芯片，如采用RK3399及以上的芯片，提供4G及以上的内存和16G及以上的存储空间，操作系统可以设置为Android 5以上。
智能矫正镜显示器102可以采用分辨率支持1080*1920的显示屏，并可以提供触摸功能，即采用镜面触控屏一体机。
本申请实施例提供的智能矫正镜还可以包括对外有线接口，如通用串行总线(Universal Serial Bus，USB)接口。
智能矫正镜显示器102至少包括用于显示训练动作示意数据的第一模块和用于显示用户三维模型的第二模块，第一模块和第二模块可以分列在一块显示屏上的两部分进行显示。
如采用触控屏，智能矫正镜显示器102可以通过触控屏接收用户输入的指令。或者，本申请实施例提供的智能矫正镜还可以包括输入装置，该输入装置可以为(智能矫正镜显示器102之外的)触控屏、机械按键或其他类型的输入装置。本申请实施例提供的智能矫正镜还可以包括与主机103连接的无线通信器，以实现本地数据与联网数据的交互。在本申请实施例提供的智能矫正镜中，与用户交互的软件可以运行于主机103中，并在能智能矫正镜显示器102上显示用户交互界面。或者与用户交互的软件可以下载于另一智能设备中，如手机，即用户可以通过手机登陆本申请实施例提供的智能矫正镜的应用软件(APP)来实现对智能矫正镜的控制。
在一种实施中，可以提供四种登录方式供用户选择以进入智能矫正镜的系统。
第一种登录方式为在登录界面输入用户的个人账号和密码后，点击“登录”来进入系统。
第二种登录方式在登录界面选择快速登录后，以公用账号登录系统。
第三种登录方式为在登录界面提供新用户注册选项，使用户在登录界面上选择“注册新用户”后进入用户注册界面，提供新用户注册引导信息帮助用户快速完成注册并登录。
第四种登录方式为管理员登录功能，在登录界面接收到管理员账号及密码后，进入管理员操作界面。管理员操作界面可以提供给如医生、理疗师等专业人员进行使用。在管理员登录界面中可以进一步为管理员提供用户管理、设置动态检测部位、修改密码三个管理员权限的功能。其中，用户管理为展示所有已注册用户的信息，并可以对已注册用户的信息进行查询、修改或删除。设置动态检测部位为针对不同配合设备的动态检测的部位，根据该设置来生成训练流程，具体为在用户训练过程中给用户提供何种训练动作示意数据；如在足底压力训练中可以选择颈侧屈、左肩外展、右肩外展等动作，其他类型的训练中也可以设置对应要进行的训练动作。
用户登录后，在智能矫正镜显示器102上显示主界面，主界面可以包括智能镜、姿态评估、体质检测、用户名、奖章和返回登录界面的按钮等二级子界面。主界面可以默认设置为打开智能镜界面。点击姿态评估，可进入姿态评估界面；点击体质检测，可进入体质检测界面；点击用户名，可修改用户信息；点奖章图标，查看积分和规则；点击返回，返回至登录界面。
在主界面点击智能镜标签并选择配合的智能矫正镜设备后，进入智能镜二级界面。在智能镜二级界面中，可以提供三个可替换的子界面：镜子、静态检测和动态检测。其中，镜子子界面的功能侧重体现传统的矫正镜，可以在镜子子界面上在用户勾选横线、竖线后显示出网格线。静态检测子界面的功能侧重检测人体静态体态，如获取用户静止关节数据，可以勾选横线、竖线、度数，从而在整个界面显示出网格线的同时将识别到的用户关节数据显示在界面上。动态检测子界面的功能侧重检测人体动态下的活动能力，可以勾选横线、竖线、度数，显示出来网格线和实时度数，可以在界面角落显示测量值，并提供刷新按钮，在接收到刷新指令后刷新测量值。配合不同的设备所检测的部位不同，在管理员界面中设置动态检测部位后，用户首先在静态检测子界面录入用户静止关节数据，再进入动态检测子界面，根据设置的动作流程做出相应动作，智能矫正镜捕获用户在动作过程中的用户动作关节数据，并生成相应的用户三维模型实现对用户动作的跟踪显示。
本申请实施例提供的智能矫正镜还可以配置姿态评估功能。在主界面点击姿态评估标签后进入姿态评估二级界面，可以对当前设置的训练动作所选取的监测对象关节的活动能力进行评估。
应用本申请实施例提供的智能矫正镜，用户站在智能矫正镜显示器102正前方，距离设备2.5米左右，伸展四肢，使智能矫正镜的摄像头拍摄的人体完整显示，并处于屏幕中心位置，根据个人身高情况调整位置。使用过程中，用户根据智能矫正镜显示器102给出的提示进行姿态动作检测，在检测过程中，如果没有采集到正常人体关键点，可以晃动或走动待信号出现后再进行检测，或在接收到遮挡摄像头的信号后刷新采集影像。随着用户依照训练动作示意数据做出训练动作，对选取进行监测评估的部位进行检测评估，可以同步在智能矫正镜显示器102上进行显示，也可以在用户完成一个训练流程后在单独的检测结果界面进行显示。为达到激励效果，可以针对每个动作分别打分，并对用户取得进步的关节数据(如关节活动量更大)给出重点标记奖励。
此外，还可以提供历史记录查询功能，以训练动作为分类显示各个训练动作的历史记录，或以训练流程为单位显示单次训练流程的历史记录。在历史记录界面，可以以参数、图表等形式对历史记录数据进行展示，以供用户或管理员对用户的长期训练情况进行查看。
实施例二
参考上述实施例提供的智能矫正镜结构，本申请实施例进一步对矫正镜控制方法进行说明。需要说明的是，本申请实施例一仅为了解智能矫正镜的电气结构和系统功能所做出的可选实施方式的介绍，并不意味着本申请实施例提供的矫正镜控制方法必须是基于包含其中所有特征实现的智能矫正镜实现的。
图4为本申请实施例提供的一种矫正镜控制方法的流程图。
如图4所示，本申请实施例提供的矫正镜控制方法包括：
S401：根据用户静止关节数据生成用户三维模型。
S402：控制智能矫正镜显示器显示训练动作示意数据后，采集用户根据训练动作示意数据进行动作时的用户动作关节数据。
S403：匹配用户动作关节数据，驱动用户三维模型在智能矫正镜显示器上跟踪显示用户的动作。
在具体实施中，对于S401来说，人体动作是由一个或多个关节的配合实现的，对用户的动态检测主要是检测用户对动作的完成度，具体为该训练动作下每个关节的活动度是否符合正常标准。出于增加用户训练过程中的可读性、便于用户及时知晓、调整自己的动作的目的，本申请实施例提供的矫正镜控制方法调整传统的智能矫正镜的姿态评估功能，增加三维角色模型的显示功能。三维角色模型使用动作捕捉的数据，和视频采集设备捕捉的动作进行匹配，即用视频采集设备捕捉的动作来对三维角色模型进行驱动，即用户三维模型。则首先可以利用智能矫正镜的静态检测功能捕获用户的用户静止关节数据。
为便于生成贴合用户实际身体状态的用户三维模型，S401：根据用户静止关节数据生成用户三维模型具体可以包括：
调用预先构建的三维角色模型；
将三维角色模型叠加于用户影像之上，得到用户三维模型。
即预先制作通用的人体的三维角色模型保存于系统中，在利用视频采集设备采集到用户影像后，调用三维角色模型叠加于用户影像之上。三维角色模型通常包含多边形模型、材质、贴图、虚拟骨骼、以及蒙皮绑定等信息，可以采用现有三维技术方案，即虚拟骨骼使用蒙皮绑定的控制信息来驱动多边形模型，同时多边形模型利用材质和贴图，以渲染的方式显示在显示器上。
在实际情况下，用户的体型会有胖瘦高低的区别。则调用预先构建的三维角色模型，具体可以包括：
预先构建多种不同体型对应的三维角色模型；
根据用户影像调用接近体型的三维角色模型作为用户的个性化三维角色模型。
可以制作多种不同体型/体重/身高的三维角色模型，根据用户在摄像头前的正面捕捉数据的身体的关节点的距离来调用比较搭配的三维角色模型显示在智能矫正镜显示器的屏幕上，以完成对三维角色模型的个性化调整。此方法可以使三维角色模型的体型更符合用户的真实体型，增强用户的识别度。
对于S402来说，训练动作示意数据，可以为文字示意数据、图片示意数据、视频示意数据等，如在智能矫正镜显示器上显示训练动作的分解动作图片，或重复播放训练动作的动图。在播放训练动作示意数据的同时，通过视频采集设备采集用户动作关节数据。具体可以采用ML Kit API提供的实时监测用户的姿势状态的方案，该方案可以给出人体多个监测对象关节的X、Y、Z的三维位置信息。
S403：匹配用户动作关节数据，驱动用户三维模型在智能矫正镜显示器上跟踪显示用户的动作，具体可以为：将用户动作关节数据中各监测对象关节的三维坐标数据赋值于用户三维模型的相应关节的角度上。具体来说，根据采集到的用户动作关节数据，可以利用关节差值算法来计算出相应人体的骨架关节角度值，然后将每个骨架关节角度值幅值到用户三维模型的相应关节的角度上，即可实现利用动态捕捉数据来驱动用户三维模型，达到用户三维角色模型和用户动作一致的效果。此时，用户在动态评估环节内，可以通过观察智能矫正镜显示器上的用户三维模型的动作来确认自己的动作是否被智能矫正镜正确识别到，以及实时确定自己的动作是否有改进空间。基于此，用户对于自己的评估分数是有感知的，当发现有明显差异时，可以立即向专业人员提出调整/重建等建议，提高用户的使用体验。
本申请实施例提供的矫正镜控制方法，通过根据用户静止关节数据生成用户三维模型，在控制智能矫正镜显示器显示训练动作示意数据后，采集用户根据显示训练动作示意数据进行动作时的用户动作关节数据，再匹配用户动作关节数据，驱动用户三维模型在智能矫正镜显示器上跟踪显示用户的动作，从而使用户在动作时可以确定自己的动作是否被智能矫正镜采集到，同时相较于传统智能矫正镜仅显示用户平面视频的方法也能够更加直观地显示出用户的动作状态，以便用户针对性调整自己的体态与动作，获取对用户更准确的运动评估结果。
实施例三
在上述实施例的基础上，本申请进一步对传统的智能矫正镜的姿态评估功能进行优化。本申请实施例提供的矫正镜控制方法还可以包括：
根据标准关节数据对应的关节阈值来评估用户动作关节数据；
输出对出现异常的用户动作关节数据的提示信息。
在本申请实施例中，在用户动态检测过程中，不仅将跟踪用户训练动作的用户三维模型显示在智能矫正镜显示器上，还可以实时评估，以使用户实时地定性或定量确定自己的动作是否标准。
在具体实施中，对人体的各个关节设置合适的阈值来对人体关节运动正确与否进行判断。通常情况下，当人体关节处于异常状态时，其对训练动作的完成度不足或会做出错误动作。完成度不足即监测对象关节在某轴向上的旋转角度值达不到标准关节数据对应的旋转角度值。做出错误动作即在需要向某个坐标轴旋转时无法控制地在其他坐标轴也产生角度。因此，标准关节数据对应的关节阈值具体可以包括标准关节数据对应的最大旋转角度值阈值与标准关节数据对应的关节旋转角度值范围中的一种或两种。
采用标准关节数据对应的最大旋转角度值阈值作为关节阈值，则在每个训练动作中，评估用户动作关节数据中各监控对象关节在各轴向的旋转角度值是否达到对应的最大旋转角度值阈值，如果未达到，则可以将距离最大旋转角度值阈值的差值的大小作为评估打分的依据，得到用户对动作的完成度。
采用标准关节数据对应的关节旋转角度值范围作为关节阈值，则在每个训练动作中，评估用户动作关节数据中各监控对象关节在各轴向的旋转角度值是否处于对应的关节旋转角度值范围之内，如果有超出的情况，则认为该监测对象关节在该训练动作中存在异常轴向，标记该异常轴向，得到用户对训练动作的执行正确与否。
例如，颈关节的三维轴向分为X、Y、Z三个轴向，当用户进行颈侧屈动作的动态评估时，正确的动作中，颈关节的Z轴旋转角度数值在-60°～60°之间变化，X轴角度的数值和Y轴角度的数值不变(基本为0)。所以在整个评估过程中，就可以对颈关节的旋转角度值设定三个坐标轴上的关节旋转角度值范围，并且实时跟踪这三个轴向的旋转角度值实时跟踪，就可以根据这三个轴向的旋转角度值是否在阈值范围内，来判断用户的动作正确与否。则如表1所示，在某训练动作下，可以每隔预定时间来记录该训练动作的监测对象关节在X、Y、Z三个轴向上的旋转角度是否处于对应的预设阈值范围内，如在第0.4s、0.6s、0.8s，监测对象关节的Y轴旋转角度值均超出对应的关节旋转角度值范围-2°～2°，则标记为异常。
表1监测对象关节活动范围数据表
Figure BDA0004084470060000111
基于上述方法，可以在用户动态检测过程中即时给出每个训练动作下各监测对象关节的评估结果。可以将评估结果在智能矫正镜显示器上显示，或通过语音播报的方式对评估结果进行提示，而对于出现异常的用户动作关节数据给出特别提示，以便用户及时进行调整。
实施例四
在上述实施例的基础上，为进一步增加用户对训练动作的评估结果的可读性，在本申请实施例提供的矫正镜控制方法中，输出对出现异常的用户动作关节数据的提示信息输出关节动作差距大于预设关节差异阈值的目标监测对象关节的信息，具体可以为：
在用户三维模型上对出现异常的目标监测对象关节的位置进行标记显示。
在具体实施中，可以在进行三维角色模型的骨骼搭建时，使用模型拼接的方式，将每个关节点均独立制作为单独的三维几何体的关节模型，并按照评估结果类型将每个关节模型复制多份，这多份关节模型位置一致，并且分别做上不同的标记(如贴上红/绿/蓝不同颜色的贴图，对应X、Y、Z三个坐标轴的旋转角度)。
当用户的训练动作评估数值正常时，可以将这些关节模型的属性设置为隐藏模式，使用户看到的用户三维模型均为同样的渲染状态。而当用户动作关节数据出现异常，如用户在执行训练动作预设时间后还未能达到对应的最大旋转角度值阈值，或用户在执行训练动作时出现了监控对象关节在某轴向的旋转角度值超出对应的关节旋转角度值范围的情况，则确定该监测对象关节在该轴向上出现异常。根据监测对象关节出现异常的轴向，将相应颜色的关节模型的显示属性切换为显示，这样用户可以通过关节模型的颜色变化来知晓自己的动作有误。如用户能够在训练中将错误动作调整至符合关节阈值要求，则再将相应的关节模型的显示属性切换为隐藏，此时关节模型又回到了隐藏的状态。
或者，也可以采用语音提示的方式来提示用户动作异常的监测对象关节以及出现异常的轴向。通过预先录制不同关节动作异常的语音，在用户出现关节动作异常时，调用对应的音频文件，由智能矫正镜的播放设备播放给用户。例如，当用户颈关节的X轴超出的阈值为+15°，可以语音提示“请将您的头部向右转一点”，当用户转头时，颈关节的X轴已经回到合理范围之内，语音提示“颈部动作识别正常”，告知用户的动作已经回到了正常状态。
上述两种提示方式可以并存，或者根据用户的设置开启或关闭。
应用本申请实施例提供的矫正镜控制方法，不仅能使用户在训练过程中对自己的运动状态有直观了解，还能从关节层面上知晓自己动作的完成度和准确性，从而在训练过程中调整自己的动作，有助于获得更符合用户情况的训练评估结果，对于用户的康复也有着促进作用。
实施例五
由于智能矫正镜的用户很大一部分都是有关节病理性障碍的病人，这些用户大概率无法标准地完成所有训练动作，即使在本申请实施例四给出的动作过程中的提示功能的提示下，也不能从自己身上来纠正动作，这样就会导致用户另一方面的困扰：动态评估时，时时刻刻都在提醒用户，他的伤病，并且无法消除。
针对此情形，本申请实施例提供的矫正镜控制方法通过记录用户的历史关节数据，具体可以在用户录入个人信息时、进行动态评估时，均对用户的各个关节部位进行初始数值的设定，用此数据来对用户的病患部位的提醒和评估进行补偿。
在上述实施例的基础上，在本申请实施例提供的矫正镜控制方法中，根据标准关节数据对应的关节阈值来评估用户动作关节数据对比用户动作关节数据与对应的标准关节数据的关节动作差距，具体可以包括：
基于用户静止关节数据确定用户的各监测对象关节的初始角度值；
利用初始角度值对用户动作关节数据进行补偿后，根据标准关节数据对应的关节阈值对补偿后的用户动作关节数据进行评估。
在具体实施中，基于用户静止关节数据确定用户的各监测对象关节的初始角度值，可以记为N1。当用户进入动态评估项目中，在对每个训练动作的完成情况进行评估时，均调用用户的各监测对象关节的初始角度值来对该训练动作下各监测对象关节的用户动作关节数据进行补偿，再利用补偿后的用户动作关节数据与标准关节数据对应的关节阈值对比进行评估。
在进行动作完成度的评估时，可以利用用户完成训练动作时的到达角度值与初始角度值的差值，得到用户对训练动作的角度变化值后，计算得到对应的监测对象关节在训练动作下的最大旋转角度值阈值与角度变化值的差值，得到监测对象关节在训练动作下的关节动作差距，并根据关节动作差距的大小来对用户对该训练动作的完成度进行评估。具体来说，当用户进入动态评估项目中，调用用户的各监测对象关节在各轴向的初始角度值，在测得用户执行训练动作的监测对象关节在各轴向的到达角度值时，计算到达角度值-N1＝角度变化值。最大旋转角度值阈值-角度变化值＝关节动作差距值，或者以角度变化值除以最大旋转角度值阈值的比例来描述动作完成度，得到进行静态补偿后的评估结果。
例如，用户本身具有高低肩的问题，即用户静止状态下肩膀就是倾斜的，所以在肩部运动评估中，就可能会评估的分数有影响。采用本申请实施例提供的补偿方法，可以对用户静止状态的情况进行补偿，从而得到用户关节实际的角度变化值，则即使用户的监测对象关节的角度到达值未能达到最大旋转角度值阈值，但其角度变化值能够达到最大旋转角度值阈值，也认为用户能够完成该训练动作。
在进行动作完成准确性的评估时，则可以利用初始角度值来调整通用的关节旋转角度值范围，或利用初始角度值对用户动作关节数据中各监控对象关节在各轴向的旋转角度值进行补偿，具体可以计算旋转角度值-N1＝补偿后的旋转角度值，并判断补偿后的旋转角度值是否处于对应的关节旋转角度值范围内。
应用本申请实施例提供的矫正镜控制方法，通过静态补偿的方式能够呈现用户的真实动作状态，能够适应不同用户的个性化需求。
实施例六
除了本申请实施例五介绍的对用户静止状态下的初始角度值进行补偿的方案外，还可以在静态补偿的基础上增加长期状态补偿值，即用户在运动中长期出现错误的值。即用户除了初始状态下就与标准关节数据的初始状态存在差异的初始角度值外，还可能因身体原因在训练动作中始终无法达到标准关节数据的关节动作，故还可以对用户在长期运动中保持的值进行补偿。
则在上述实施例的基础上，在本申请实施例提供的矫正镜控制方法中，根据标准关节数据对应的关节阈值来评估用户动作关节数据对比用户动作关节数据与对应的标准关节数据的关节动作差距，具体可以包括：
基于用户静止关节数据确定用户的各监测对象关节的初始角度值；
基于用户的历史动作关节数据确定用户在训练动作中各监测对象关节的历史动作角度值；
利用初始角度值和历史动作角度值对用户动作关节数据进行补偿后，根据标准关节数据对应的关节阈值对补偿后的用户动作关节数据进行评估。
在具体实施中，可以基于用户静止关节数据确定用户的各监测对象关节的初始角度值，记为N1；基于用户的历史动作关节数据确定用户在训练动作中各监测对象关节的历史动作角度值，为方便记录，可以将关节阈值与历史动作角度值的差值作为动作角度补偿值，记为N2。当用户进入动态评估项目中，在对每个训练动作的完成情况进行评估时，均调用用户的各监测对象关节的初始角度值和历史动作角度值来对该训练动作下各监测对象关节的用户动作关节数据进行补偿，再利用补偿后的用户动作关节数据与标准关节数据对应的关节阈值对比进行评估。
在进行动作完成度的评估时，可以利用用户完成训练动作时的到达角度值与初始角度值的差值再加上动作角度补偿值后，得到用户对训练动作的角度变化值后，计算得到对应的监测对象关节在训练动作下的最大旋转角度值阈值与角度变化值的差值，得到监测对象关节在训练动作下的关节动作差距，并根据关节动作差距的大小来对用户对该训练动作的完成度进行评估。具体来说，当用户进入动态评估项目中，调用用户的各监测对象关节在各轴向的初始角度值以及动作角度补偿值，在测得用户执行训练动作的监测对象关节在各轴向的到达角度值时，计算到达角度值-N1+N2＝角度变化值。最大旋转角度值阈值-角度变化值＝关节动作差距值，或者以角度变化值除以最大旋转角度值阈值的比例来描述动作完成度，得到进行静态补偿后的评估结果。
例如，用户本身具有腿部残疾，膝关节活动度仅有常人的一半，在当前伤病恢复后也只能恢复到半弯的状态，若采用以往的评估方式，则会将该种状态记为异常状态，但对于该用户来说已经处于正常状态了，故通过动作角度补偿值N2来对用户不正常的关节角度/姿势进行补偿，使评估结果更个体化和精准。
在进行动作完成准确性的评估时，则可以利用初始角度值和动作角度补偿值来调整通用的关节旋转角度值范围，或利用初始角度值和动作角度补偿值对用户动作关节数据中各监控对象关节在各轴向的旋转角度值进行补偿，具体可以计算旋转角度值-N1+N2＝补偿后的旋转角度值，并判断补偿后的旋转角度值是否处于对应的关节旋转角度值范围内。
应用本申请实施例提供的矫正镜控制方法，通过静态补偿和长期运动保持状态补偿的方式能够呈现用户的真实动作状态，更能够适应不同用户的个性化需求。
上文详述了智能矫正镜、矫正镜控制方法对应的各个实施例，在此基础上，本申请还公开了与上述方法对应的矫正镜控制装置、矫正镜控制设备及存储介质。
实施例七
图5为本申请实施例提供的一种矫正镜控制装置的结构示意图。
如图5所示，本申请实施例提供的矫正镜控制装置包括：
建模单元501，用于根据用户静止关节数据生成用户三维模型；
采集单元502，用于控制智能矫正镜显示器显示训练动作示意数据后，采集用户根据训练动作示意数据进行动作时的用户动作关节数据；
跟踪单元503，用于匹配用户动作关节数据，驱动用户三维模型在智能矫正镜显示器上跟踪显示用户的动作。
进一步的，跟踪单元503匹配用户动作关节数据，驱动用户三维模型在智能矫正镜显示器上跟踪显示用户的动作，具体为：
将用户动作关节数据中各监测对象关节的三维坐标数据赋值于用户三维模型的相应关节的角度上。
进一步的，本申请实施例提供的矫正镜控制装置还可以包括：
评估单元，用于根据标准关节数据对应的关节阈值来评估用户动作关节数据；
输出单元，用于输出对出现异常的用户动作关节数据的提示信息。
进一步的，评估单元根据标准关节数据对应的关节阈值来评估用户动作关节数据，具体包括：
基于用户静止关节数据确定用户的各监测对象关节的初始角度值；
利用初始角度值对用户动作关节数据进行补偿后，根据标准关节数据对应的关节阈值对补偿后的用户动作关节数据进行评估。
或者，评估单元根据标准关节数据对应的关节阈值来评估用户动作关节数据，具体包括：
基于用户静止关节数据确定用户的各监测对象关节的初始角度值；
基于用户的历史动作关节数据确定用户在训练动作中各监测对象关节的历史动作角度值；
利用初始角度值和历史动作角度值对用户动作关节数据进行补偿后，根据标准关节数据对应的关节阈值对补偿后的用户动作关节数据进行评估。
进一步的，输出单元输出对出现异常的用户动作关节数据的提示信息，具体为：
在用户三维模型上对出现异常的目标监测对象关节的位置进行标记显示。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
实施例八
图6为本申请实施例提供的一种矫正镜控制设备的结构示意图。
如图6所示，本申请实施例提供的矫正镜控制设备包括：
存储器610，用于存储计算机程序611；
处理器620，用于执行计算机程序611，该计算机程序611被处理器620执行时实现如上述任意一项实施例所述矫正镜控制方法的步骤。
其中，处理器620可以包括一个或多个处理核心，比如3核心处理器、8核心处理器等。处理器620可以采用数字信号处理DSP(Digital Signal Processing)、现场可编程门阵列FPGA(Field－Programmable Gate ArraY)、可编程逻辑阵列PLA(Programmable LogicArraY)中的至少一种硬件形式来实现。处理器620也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器CPU(CentralProcessing Unit)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器620可以集成有图像处理器GPU(Graphics Processing Unit)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器620还可以包括人工智能AI(Artificial Intelligence)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器610可以包括一个或多个存储介质，该存储介质可以是非暂态的。存储器610还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器610至少用于存储以下计算机程序611，其中，该计算机程序611被处理器620加载并执行之后，能够实现前述任一实施例公开的矫正镜控制方法中的相关步骤。另外，存储器610所存储的资源还可以包括操作系统612和数据613等，存储方式可以是短暂存储或者永久存储。其中，操作系统612可以为Windows。数据613可以包括但不限于上述方法所涉及到的数据。
在一些实施例中，矫正镜控制设备还可包括有显示屏630、电源640、通信接口650、输入输出接口660、传感器670以及通信总线680。
本领域技术人员可以理解，图6中示出的结构并不构成对矫正镜控制设备的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的矫正镜控制设备，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如上所述的矫正镜控制方法，效果同上。
实施例九
需要说明的是，以上所描述的装置、设备实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例所述方法的全部或部分步骤。
为此，本申请实施例还提供一种存储介质，该存储介质上存储有计算机程序，计算机程序被处理器执行时实现如矫正镜控制方法的步骤。
该存储介质可以包括：U盘、移动硬盘、只读存储器ROM(Read-OnlY MemorY)、随机存取存储器RAM(Random Access MemorY)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例中提供的存储介质所包含的计算机程序能够在被处理器执行时实现如上所述的矫正镜控制方法的步骤，效果同上。
以上对本申请所提供的一种矫正镜控制方法、装置、设备、存储介质及智能矫正镜进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备及存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种矫正镜控制方法，其特征在于，包括：
根据用户静止关节数据生成用户三维模型；
控制智能矫正镜显示器显示训练动作示意数据后，采集用户根据所述训练动作示意数据进行动作时的用户动作关节数据；
匹配所述用户动作关节数据，驱动所述用户三维模型在所述智能矫正镜显示器上跟踪显示所述用户的动作。
2.根据权利要求1所述的矫正镜控制方法，其特征在于，所述匹配所述用户动作关节数据，驱动所述用户三维模型在所述智能矫正镜显示器上跟踪显示所述用户的动作，具体为：
将所述用户动作关节数据中各监测对象关节的三维坐标数据赋值于所述用户三维模型的相应关节的角度上。
3.根据权利要求1所述的矫正镜控制方法，其特征在于，还包括：
根据标准关节数据对应的关节阈值来评估所述用户动作关节数据；
输出对出现异常的所述用户动作关节数据的提示信息。
4.根据权利要求3所述的矫正镜控制方法，其特征在于，所述根据标准关节数据对应的关节阈值来评估所述用户动作关节数据，具体包括：
基于所述用户静止关节数据确定所述用户的各监测对象关节的初始角度值；
利用所述初始角度值对所述用户动作关节数据进行补偿后，根据所述标准关节数据对应的所述关节阈值对补偿后的所述用户动作关节数据进行评估。
5.根据权利要求3所述的矫正镜控制方法，其特征在于，所述根据标准关节数据对应的关节阈值来评估所述用户动作关节数据，具体包括：
基于所述用户静止关节数据确定所述用户的各监测对象关节的初始角度值；
基于所述用户的历史动作关节数据确定所述用户在所述训练动作中各所述监测对象关节的历史动作角度值；
利用所述初始角度值和所述历史动作角度值对所述用户动作关节数据进行补偿后，根据所述标准关节数据对应的所述关节阈值对补偿后的所述用户动作关节数据进行评估。
6.根据权利要求3所述的矫正镜控制方法，其特征在于，所述输出对出现异常的所述用户动作关节数据的提示信息，具体为：
在所述用户三维模型上对出现异常的目标监测对象关节的位置进行标记显示。
7.一种智能矫正镜，其特征在于，包括：视频采集设备，智能矫正镜显示器和主机；
其中，所述主机的视频接收端与所述视频采集设备的输出端连接，所述主机的显示输出端与所述智能矫正镜显示器的输入端连接；
所述主机用于根据用户静止关节数据生成用户三维模型；控制所述智能矫正镜显示器显示训练动作示意数据后，控制所述视频采集设备采集用户根据所述训练动作示意数据进行动作时的用户动作关节数据；匹配所述用户动作关节数据，驱动所述用户三维模型在所述智能矫正镜显示器上跟踪显示所述用户的动作。
8.一种矫正镜控制装置，其特征在于，包括：
建模单元，用于根据用户静止关节数据生成用户三维模型；
采集单元，用于控制智能矫正镜显示器显示训练动作示意数据后，采集用户根据所述训练动作示意数据进行动作时的用户动作关节数据；
跟踪单元，用于匹配所述用户动作关节数据，驱动所述用户三维模型在所述智能矫正镜显示器上跟踪显示所述用户的动作。
9.一种矫正镜控制设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6任意一项所述矫正镜控制方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任意一项所述矫正镜控制方法的步骤。
CN202310132815.4A 2023-02-17 2023-02-17 矫正镜控制方法、装置、设备、存储介质及智能矫正镜 Active CN116153510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310132815.4A CN116153510B (zh) 2023-02-17 2023-02-17 矫正镜控制方法、装置、设备、存储介质及智能矫正镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310132815.4A CN116153510B (zh) 2023-02-17 2023-02-17 矫正镜控制方法、装置、设备、存储介质及智能矫正镜

Publications (2)

Publication Number Publication Date
CN116153510A true CN116153510A (zh) 2023-05-23
CN116153510B CN116153510B (zh) 2024-04-16

Family

ID=86361552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310132815.4A Active CN116153510B (zh) 2023-02-17 2023-02-17 矫正镜控制方法、装置、设备、存储介质及智能矫正镜

Country Status (1)

Country Link
CN (1) CN116153510B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140035244A (ko) * 2012-09-10 2014-03-21 한국전자통신연구원 사용자 인터페이싱 장치 및 방법, 그리고 이를 이용하는 단말 장치
CN110522458A (zh) * 2019-10-15 2019-12-03 北京理工大学 一种适用于膝关节外骨骼的步态实时识别方法
CN111080776A (zh) * 2019-12-19 2020-04-28 中德人工智能研究院有限公司 人体动作三维数据采集和复现的处理方法及系统
CN114035683A (zh) * 2021-11-08 2022-02-11 百度在线网络技术（北京）有限公司 用户捕捉方法、装置、设备、存储介质及计算机程序产品
CN114120204A (zh) * 2021-12-01 2022-03-01 中科海微(北京)科技有限公司 仰卧起坐姿态评估方法、装置及存储介质
US20220072380A1 (en) * 2020-09-04 2022-03-10 Rajiv Trehan Method and system for analysing activity performance of users through smart mirror
WO2022053080A2 (zh) * 2020-09-10 2022-03-17 成都拟合未来科技有限公司 基于多维度运动能力识别的训练方法、系统、终端及介质
CN114748306A (zh) * 2022-03-04 2022-07-15 中电海康集团有限公司 一种外骨骼设备穿戴误差校正方法
CN115115751A (zh) * 2021-03-19 2022-09-27 深圳市韶音科技有限公司 运动数据展示方法和系统
CN115544777A (zh) * 2022-10-17 2022-12-30 中船智能科技(上海)有限公司 一种表征关节助力补偿值的方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140035244A (ko) * 2012-09-10 2014-03-21 한국전자통신연구원 사용자 인터페이싱 장치 및 방법, 그리고 이를 이용하는 단말 장치
CN110522458A (zh) * 2019-10-15 2019-12-03 北京理工大学 一种适用于膝关节外骨骼的步态实时识别方法
CN111080776A (zh) * 2019-12-19 2020-04-28 中德人工智能研究院有限公司 人体动作三维数据采集和复现的处理方法及系统
US20220072380A1 (en) * 2020-09-04 2022-03-10 Rajiv Trehan Method and system for analysing activity performance of users through smart mirror
WO2022053080A2 (zh) * 2020-09-10 2022-03-17 成都拟合未来科技有限公司 基于多维度运动能力识别的训练方法、系统、终端及介质
CN115115751A (zh) * 2021-03-19 2022-09-27 深圳市韶音科技有限公司 运动数据展示方法和系统
CN114035683A (zh) * 2021-11-08 2022-02-11 百度在线网络技术（北京）有限公司 用户捕捉方法、装置、设备、存储介质及计算机程序产品
CN114120204A (zh) * 2021-12-01 2022-03-01 中科海微(北京)科技有限公司 仰卧起坐姿态评估方法、装置及存储介质
CN114748306A (zh) * 2022-03-04 2022-07-15 中电海康集团有限公司 一种外骨骼设备穿戴误差校正方法
CN115544777A (zh) * 2022-10-17 2022-12-30 中船智能科技(上海)有限公司 一种表征关节助力补偿值的方法及系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
JING LI 等: "Configuration engineering of industrial articulated robot based on object-oriented pattern", 《2017 3RD INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION AND ROBOTICS (ICCAR)》, 8 June 2017 (2017-06-08), pages 242 - 247 *
YAN CHEN 等: "A continuous estimation model of upper limb joint angles by using surface electromyography and deep learning method", 《IEEE ACCESS》, vol. 7, pages 174940 - 174950, XP011760594, DOI: 10.1109/ACCESS.2019.2956951 *
傅海桃 等: "工业机器人关节角度补偿算法的开发与应用", 《计量与测试技术》, vol. 48, no. 10, 30 October 2021 (2021-10-30), pages 60 - 62 *
李绍斌: "关节镜下膝关节清理术治疗膝骨性关节炎进展", 《中国继续医学教育》, 10 April 2015 (2015-04-10), pages 114 *
李芳蕾 等: "距腓前韧带损伤后的康复治疗研究新进展", 《中国老年保健医学》, 25 December 2021 (2021-12-25), pages 100 - 103 *
毕霞 等: "持续被动运动的不同初始角度对全膝关节置换术后康复的影响", 《中华物理医学与康复杂志》, 25 May 2006 (2006-05-25), pages 341 - 343 *
闰兴涛 等: "利用光纤传像束的内窥镜物镜设计", 《红外与激光工程》, vol. 42, no. 2, pages 423 - 427 *

Also Published As

Publication number Publication date
CN116153510B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN109432753B (zh) 动作矫正方法、装置、存储介质及电子设备
EP2004039B1 (en) Image output apparatus, image output method and image output program
US7506979B2 (en) Image recording apparatus, image recording method and image recording program
US20210049353A1 (en) Ai-based physical function assessment system
CN102573610B (zh) 统一的视力测试和/或训练
US20120086793A1 (en) Video image information processing apparatus and video image information processing method
CN103959357B (zh) 用于眼科检查培训的系统和方法
KR101660157B1 (ko) 시선 추적 기반 재활 시스템
US9498123B2 (en) Image recording apparatus, image recording method and image recording program stored on a computer readable medium
CN109925678A (zh) 一种基于眼动追踪技术的训练方法、训练装置及设备
US8150118B2 (en) Image recording apparatus, image recording method and image recording program stored on a computer readable medium
KR20080005798A (ko) 모션트랙킹 기술과 증강현실 기법을 활용한 인지 및행동장애 재활 지원시스템
CN112734799A (zh) 健身运动姿态指导系统
US20110279665A1 (en) Image recording apparatus, image recording method and image recording program
WO2019210087A1 (en) Methods, systems, and computer readable media for testing visual function using virtual mobility tests
CN106725531A (zh) 基于视线的儿童专注力测试分析系统和方法
US20150160474A1 (en) Corrective lens prescription adaptation system for personalized optometry
CN116153510B (zh) 矫正镜控制方法、装置、设备、存储介质及智能矫正镜
Viana et al. GymApp: A real time physical activity trainner on wearable devices
Kasprowski Eye tracking hardware: past to present, and beyond
CN116152924A (zh) 一种运动姿势评估方法、装置、系统及计算机存储介质
CN112116856B (zh) Bppv诊疗技能训练系统及方法
US20230004284A1 (en) System and method for virtual reality based human biological metrics collection and stimulus presentation
CN114052649A (zh) 一种基于虚拟现实和眼动追踪技术的交替遮盖斜视诊断方法
Li et al. Fitness coach: Design and implementation of a smart mirror based on automatic image recognition and action model comparison

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant