CN115543094A - 数字孪生虚拟人与人体的交互方法、系统、电子设备 - Google Patents

数字孪生虚拟人与人体的交互方法、系统、电子设备 Download PDF

Info

Publication number
CN115543094A
CN115543094A CN202211497474.2A CN202211497474A CN115543094A CN 115543094 A CN115543094 A CN 115543094A CN 202211497474 A CN202211497474 A CN 202211497474A CN 115543094 A CN115543094 A CN 115543094A
Authority
CN
China
Prior art keywords
muscle
human body
force
length
joint point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211497474.2A
Other languages
English (en)
Other versions
CN115543094B (zh
Inventor
孙相宇
刘文迅
江军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Light Universe Technology Co ltd
Original Assignee
Hangzhou Light Universe Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Light Universe Technology Co ltd filed Critical Hangzhou Light Universe Technology Co ltd
Priority to CN202211497474.2A priority Critical patent/CN115543094B/zh
Publication of CN115543094A publication Critical patent/CN115543094A/zh
Application granted granted Critical
Publication of CN115543094B publication Critical patent/CN115543094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及人工智能技术领域,具体为一种数字孪生虚拟人与人体的交互方法、系统、电子设备,基于多刚体运动学函数得到人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T,基于肌骨动力学函数和各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T得到人体关节点对应的各个肌肉的肌肉对外输出力FMT,基于建立肌肉动力学函数和肌肉的肌肉对外输出力FMT得到各个肌肉的肌腹激活度z、肌腹长度LM,并都更新到所述刚体模型中,从而使所述刚体模型与真实人体系统保持同步,有效的模拟了生物体的真实运动原理。

Description

数字孪生虚拟人与人体的交互方法、系统、电子设备
技术领域
本发明涉及人工智能技术领域,具体为一种数字孪生虚拟人与人体的交互方法、系统、电子设备。
背景技术
数字孪生最早由迈克尔·格里夫斯在21世纪初提出,作为产品设计方面专业人士,他最初将这一概念根植于生产工程领域。这个概念在提出的伊始就没有严格的限制,其发展到今天更是直接被用来描述各种数字仿真模型,这些模型与社会和经济系统以及物理系统的实时过程是相匹配的。
一般来说,任何反映另一个不同系统操作的系统通常被定义为模型,而模型又是从定义与之对齐或比较的系统的结构和过程中抽象出来的。从定义上讲,模型是对真实事物的简化,换言之,模型的目的不是复制以与原始系统细节相同的另一个系统。
但是,数字孪生技术是在数字世界中以其数据、功能和通信能力代表真实的对象或主体。因此,物理系统的计算机模型难以成为数字孪生的基础,因为在任何这样的抽象中,真实系统的许多元素都被忽略了。虽然现代的计算机技术可以构建更接近真实事物的数字模型,从完全是概念性的“思维实验”到试图尽可能多地反映真实系统特征的量身定制数字表达方式,各种模型无所不包,甚至可以将数字模型从一个完全抽象的概念转变为所讨论系统的完整镜像。在这种情况下,如果数字模型本身真的包含了整个物理对象的全部内容,在一定程度上可以认为这个模型等同于这个物理对象的一部分,这就是数字孪生的假定定义。从这个意义上说,所有物理系统都可以有一个数字“克隆体”,这个“克隆体”就是数字孪生,其可以与对应的物理系统合二为一。
从这个意义上说,实时运行的数字孪生系统与系统本身没有什么不同,这就提出了一个新的研究领域,即如何使用数字孪生系统来了解、探索、模拟和测试原生物理系统。人体机能体现的健康状态一直是业界关心的一个问题,因为其受到实际的生理变化、检测手段、生物细节、个体差异等多方位因素的影响,人体的实际生理状态是无法通过传统的计算机仿真系统进行预测的。传统的医学检查(CT、化验等)的方法会产生大量成本且检测周期长,造成资源的极大浪费;采用数字仿真技术可以有效降低医学检测和人体仿真过程的失败率,但传统的数字模型方法无法兼顾到人体的变化、活动和真实环境中的要素,导致仿真模型无法模拟真实人体的变化过程和生理特性。
发明内容
本发明的目的在于克服现有模拟人体机能技术不真实的问题,提供了一种数字孪生虚拟人与人体的交互方法、系统、电子设备及介质。
为了实现上述目的,本发明提供一种数字孪生虚拟人与人体的交互方法,包括以下步骤:
获取人体部位与环境交互的力Fex;
基于多刚体运动学函数、人体部位与环境交互的力Fex得到人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T并更新到与人体对应的刚体模型中;
基于肌骨动力学函数和各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T得到人体关节点对应的各个肌肉的肌肉对外输出力FMT并更新到所述刚体模型中;
基于建立肌肉动力学函数和肌肉的肌肉对外输出力FMT得到各个肌肉的肌腹激活度z、肌腹长度LM并更新到所述刚体模型中,从而使所述刚体模型与真实人体系统保持同步。
作为一种可实施方式,与人体对应的刚体模型的建立步骤具体包括:
获取与人体对应的刚体模型,获取人体图像,计算所述人体图像中与所述刚体模型中刚体关节点相对应的人体关节点之间的图像距离,根据所述图像距离计算所述人体关节点对应的肢体长度数据L,将与所述人体关节点对应的肢体长度数据L更新到所述刚体模型中,并获取所述人体图像中所述人体关节点的关节夹角θ更新到所述刚体模型中。
作为一种可实施方式,所述肌肉动力学函数具体为肌腹激活度z、肌腹长度LM、其他相应参数对应人体肌肉的肌肉对外输出力FMT的肌肉动力学函数;其中,与肌肉动力学函数相关的其他相应参数的具体值为已知;
所述肌骨动力学函数具体为人体关节点对应的各个肌肉的肌肉对外输出力FMT、其他相应参数对应人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T的肌骨动力学函数;其中,与肌骨动力学函数相关的其他相应参数的具体值为已知;
所述多刚体运动学函数具体为人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T、其他相应参数对应人体部位与环境交互的力Fex的多刚体运动学函数;其中,与多刚体运动学函数相关的其他相应参数的具体值为已知。
作为一种可实施方式,肌腹激活度z、肌腹长度LM、其他相应参数对应人体肌肉的肌肉对外输出力FMT的肌肉动力学函数具体为:
人体各个肌肉的肌肉对外输出力FMT与相应的肌肉长度LMT、肌腹长度LM、肌肉被动 拉伸最大长度LST、肌纤维夹角α、肌肉主动收缩最小长度LSR、肌腹收缩刚度kPE、肌腱刚度kT、 肌腹最大发力
Figure 756283DEST_PATH_IMAGE001
、肌腹激活度z的肌肉动力学函数,其中,肌肉长度LMT、肌肉被动拉伸最大 长度LST、肌纤维夹角α、肌肉主动收缩最小长度LSR、肌腹收缩刚度kPE、肌腱刚度kT、肌腹最大 发力
Figure 204582DEST_PATH_IMAGE001
的具体值为已知。
作为一种可实施方式,人体各个肌肉的肌肉对外输出力FMT与相应的肌肉长度LMT、 肌腹长度LM、肌肉被动拉伸最大长度LST、肌纤维夹角α、肌肉主动收缩最小长度LSR、肌腹收缩 刚度kPE、肌腱刚度kT、肌腹最大发力
Figure 515477DEST_PATH_IMAGE001
、肌腹激活度z的肌肉动力学函数具体包括:
基于肌肉力学模型得到的肌肉对外输出力FMT和肌腱对外输出力FT、肌腹对外输出 力FM的关系,建立肌肉对外输出力FMT与肌腱对外输出力FT以及与相应的肌腱刚度kT、肌肉长 度LMT、肌腹长度LM、肌肉被动拉伸最大长度LSR的第一肌肉动力学函数,肌肉对外输出力FMT 与肌腹对外输出力FM以及与相应的肌腹激活度z、肌腹最大发力
Figure 176266DEST_PATH_IMAGE001
、肌腹收缩刚度kPE、肌 腹长度LM、肌肉主动收缩最小长度LSR的第二肌肉动力学函数。
作为一种可实施方式,所述第一肌肉动力学函数为:
Figure 521797DEST_PATH_IMAGE002
,
Figure 875418DEST_PATH_IMAGE003
;第二肌肉动力学函数为:
Figure 673609DEST_PATH_IMAGE004
Figure 403668DEST_PATH_IMAGE005
Figure 102240DEST_PATH_IMAGE006
Figure 626763DEST_PATH_IMAGE007
式中,FMT表示肌肉对外输出力,FM表示肌肉中的肌腹对外输出力,FT表示肌肉中的 肌腱对外输出力,
Figure 912250DEST_PATH_IMAGE008
表示肌肉力学模型中用于定义肌腹的弹簧发力,
Figure 180421DEST_PATH_IMAGE009
表示肌肉力学模型 中用于定义肌腹的执行器发力,kT表示肌腱刚度,kPE表示肌腹收缩刚度,
Figure 234964DEST_PATH_IMAGE010
表示肌腹最大 发力,LST表示肌肉被动拉伸最大长度,
Figure 195967DEST_PATH_IMAGE011
表示肌肉主动收缩最小长度,LM表示肌腹长度,z 表示肌腹激活度,LMT表示肌肉长度,α表示肌纤维夹角。
作为一种可实施方式,人体关节点对应的各个肌肉的肌肉对外输出力FMT、其他相应参数对应人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T的肌骨动力学函数具体包括:
人体关节点的对外输出合力F和与人体关节点对应的各个肌肉的肌肉对外输出力FMT的第一肌骨动力学函数;围绕人体关节点旋转的力矩T和与人体关节点对应的各个肌肉的肌肉对外输出力FMT、肌肉对应的肌腱与骨骼的连接点到对应的人体关节点之间的距离数据WMT的第二肌骨动力学函数,其中,肌肉的肌腱与骨骼的连接点到对应的人体关节点之间的距离数据WMT为已知。
作为一种可实施方式,所述第一肌骨动力学函数为:
Figure 968751DEST_PATH_IMAGE012
,其 中,
Figure 775033DEST_PATH_IMAGE013
分别表示与人体关节点对应的各个肌肉的肌肉对外输出力,F表 示人体关节点的对外输出合力,i的数值根据相应人体关节点对应的肌肉个数确定;
所述第二肌骨动力学函数为:
Figure 451127DEST_PATH_IMAGE014
,其中,
Figure 583031DEST_PATH_IMAGE015
分别表示与人体关节点对应的各个肌肉的肌肉对外输出力,
Figure 843111DEST_PATH_IMAGE016
分别表示对应肌肉的肌腱与骨骼的连接点到对应人体关节点之间 的距离数据,T表示围绕人体关节点旋转的力矩,i的数值根据相应人体关节点对应的肌肉 个数确定。
作为一种可实施方式,人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T、其他相应参数对应人体部位与环境交互的力Fex的多刚体运动学函数具体为:
人体部位与环境交互的力Fex、人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T、对应人体关节点的关节夹角θ和与对应人体关节点对应的肢体长度数据L的多刚体运动学函数;其中,人体关节点的关节夹角θ和与对应人体关节点对应的肢体长度数据L的具体值为已知。
作为一种可实施方式,在得到肌腹激活度z、肌腹长度LM后,还包括以下步骤:
判断肌腹激活度z是否大于肌腹最大发力
Figure 187505DEST_PATH_IMAGE010
对应的激活度阈值;若是则执行保护 动作或进行风险提示,防止人体肌肉受到损害;
判断肌腹长度LM是否大于肌肉的自身最大被动伸展长度LST或小于最小主动收缩 长度
Figure 216641DEST_PATH_IMAGE011
,若是则执行保护动作或风险提示,防止人体肌肉受到损害。
相应的,本发明还提供一种数字孪生虚拟人与人体的交互系统,包括以下模块:
获取模块,获取人体部位与环境交互的力Fex;
多刚体运动学交互模块,基于多刚体运动学函数、人体部位与环境交互的力Fex得到人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T并更新到与人体对应的刚体模型中;
肌骨动力学交互模块,基于肌骨动力学函数和各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T得到人体关节点对应的各个肌肉的肌肉对外输出力FMT并更新到所述刚体模型中;
肌肉运动学交互模块,基于建立肌肉动力学函数和肌肉的肌肉对外输出力FMT得到各个肌肉的肌腹激活度z、肌腹长度LM并更新到所述刚体模型中,从而使所述刚体模型与真实人体系统保持同步。
相应的,本发明还提供一种电子设备,包括:至少一个处理器,与至少一个所述处理器通信连接的存储器;至少一个所述处理器用于读取所述存储器中的程序,用于执行所述方法。
相应的,本发明还提供一种健身设备,包括:至少一个处理器,与至少一个所述处理器通信连接的存储器;至少一个所述处理器用于读取所述存储器中的程序,用于执行所述方法。
相应的,本发明还提供计算机可读存储介质,所述介质上存储有指令,当所述指令在计算机上运行时,使得计算机执行所述的方法。
本发明的有益效果:本发明提出了一种数字孪生虚拟人与人体的交互方法、系统、电子设备及介质,基于多刚体运动学函数得到人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T,基于肌骨动力学函数和各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T得到人体关节点对应的各个肌肉的肌肉对外输出力FMT,基于建立肌肉动力学函数和肌肉的肌肉对外输出力FMT得到各个肌肉的肌腹激活度z、肌腹长度LM,并都更新到所述刚体模型中,从而使所述刚体模型与真实人体系统保持同步,有效的模拟了生物体的真实运动原理。
附图说明
图1为本发明实施例数字孪生虚拟人与人体的交互方法步骤示意图;
图2为本发明实施例数字孪生虚拟人与人体的交互方法中人体关节点对应的肢体长度数据的示意图;
图3为本发明实施例数字孪生虚拟人与人体的交互方法中人体关节点对应的肩宽W1和胯宽W2示意图;
图4为本发明实施例数字孪生虚拟人与人体的交互方法中所述的肌肉力学模型示意图;
图5为本发明实施例数字孪生虚拟人与人体的交互方法中所述的人体在水平屈曲和水平伸展时的姿态示意图;
图6为本发明实施例数字孪生虚拟人与人体的交互方法中以肘人体关节点为原点建立的坐标系示意图;
图7为本发明实施例数字孪生虚拟人与人体的交互方法中以4自由度的人体关节点为例建立的肌肉在xyz轴坐标系下连接骨骼的示意图;
图8为本发明实施例数字孪生虚拟人与人体的交互方法中各个人体关节点的对外输出合力与围绕人体关节点旋转的力矩的示意图;
图9为本发明实施例数字孪生虚拟人与人体的交互方法中髋、膝、踝人体关节点形成的足部与环境交互的力的示意图;
图10为本发明实施例数字孪生虚拟人与人体的交互方法中人体关节点对应的关节夹角和人体部位与环境交互的力的示意图;
图11为本发明实施例数字孪生虚拟人与人体的交互方法中动态肌骨控制系统框图;
图12为本发明实施例数字孪生虚拟人与人体的交互方法中人体肘关节对应的肌肉力学模型示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,本实施例提供一种技术方案:一种数字孪生虚拟人与人体的交互方法,包括以下步骤:
步骤S100,获取人体部位与环境交互的力Fex;
步骤S200,基于多刚体运动学函数、人体部位与环境交互的力Fex得到人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T并更新到与人体对应的刚体模型中;
步骤S300,基于肌骨动力学函数和各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T得到人体关节点对应的各个肌肉的肌肉对外输出力FMT并更新到所述刚体模型中;
步骤S400,基于建立肌肉动力学函数和肌肉的肌肉对外输出力FMT得到各个肌肉的肌腹激活度z、肌腹长度LM并更新到所述刚体模型中,从而使所述刚体模型与真实人体系统保持同步。
执行步骤S100,本实施例通过外界检测设备,包括拉力计、肢体末端运动传感器、图像传感器等,获得物理人体和外界交互时,人体部位如手部、足部等与外界的交互力,如压力和摩擦力,这也就是人体部位与环境交互的力Fex。
执行步骤S200,与人体对应的刚体模型的建立步骤具体包括:
获取与人体对应的刚体模型,获取人体图像,计算所述人体图像中与所述刚体模型中刚体关节点相对应的人体关节点之间的图像距离,根据所述图像距离计算所述人体关节点对应的肢体长度数据L,将与所述人体关节点对应的肢体长度数据L更新到所述刚体模型中,并获取所述人体图像中所述人体关节点的关节夹角θ更新到所述刚体模型中。
具体的,本实施例采用摄像头直接拍摄的方式获得人体图像,如:使用者于设备摄像头前的固定位置以标准自然状态面向设备站立,摄像头获取人体冠状面数据;使用者于设备摄像头前的固定位置以标准自然状态侧向设备站立,双手置于小腹前,防止遮挡髋部,摄像头获取人体失状面数据;使用者于设备摄像头前的固定位置以标准自然状态背向设备站立,摄像头获取人背面数据;从而根据获取的图像计算出所述人体图像中对应的人体关节点之间的图像距离;再进一步推算出人体关节点对应各个身体部位的肢体长度数据L更新到所述刚体模型中,作为刚体模型中对应的各个肢体长度数据L。
在本实施例中,与人体对应的刚体模型设置有17个刚体关节点,17个刚体关节点分别为12个刚体四肢关节点和5个刚体躯干关节点,12个刚体四肢关节点分别为:两个腕刚体关节点、两个肘刚体关节点、两个肩刚体关节点、两个髋刚体关节点、两个膝刚体关节点和两个踝刚体关节点,5个刚体躯干关节点分别为:颈刚体关节点、两个胸刚体关节点和两个腰刚体关节点;但在其他实施例中,在所述刚体模型上可以自行设置相应数量刚体关节点。
而所选取的用于计算的人体关节点与所述刚体模型设置的刚体关节点相对应;即膝刚体关节点、肘刚体关节点分别对应膝人体关节点、肘人体关节点;胸刚体关节点、腰刚体关节点、颈刚体关节点分别对应胸人体关节点、腰人体关节点、颈人体关节点;踝刚体关节点、腕刚体关节点分别对应踝人体关节点、腕人体关节点;髋刚体关节点对应髋人体关节点;肩刚体关节点对应肩人体关节点。
基于设置的刚体关节点和与之对应的人体关节点,如图2和图3所示,计算出来的肢体长度数据包括左右手长L10、L11(腕刚体关节点到中指尖),左右小臂长L8、L9(腕刚体关节点到肘刚体关节点),左右大臂长L6、L7(肘刚体关节点到肩刚体关节点),头长L5(头顶到颈刚体关节点),脖颈长L4(颈刚体关节点到肩刚体关节点),躯干胸部长L1(肩刚体关节点到胸刚体关节点),腰部长L2(胸刚体关节点到腰刚体关节点),髋部长L3(腰刚体关节点到髋刚体关节点),左右大腿长L12、L13(髋刚体关节点到膝刚体关节点),左右小腿长L14、L15(膝刚体关节点到踝刚体关节点),左右足部长度L16、L17(实际为鞋长),此外还需要肩宽W1(左右肩刚体关节点之间的距离)和胯宽W2(左右髋刚体关节点的距离)。
另外,所述人体关节点的关节夹角θ也可以通过在人体活动过程中实时进行图像测量得到。
在本实施例中,所述多刚体运动学函数具体为人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T、其他相应参数对应人体部位与环境交互的力Fex的多刚体运动学函数;其中,与多刚体运动学函数相关的其他相应参数的具体值为已知。
进一步的,人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T、其他相应参数对应人体部位与环境交互的力Fex的多刚体运动学函数具体为:
人体部位与环境交互的力Fex、人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T、对应人体关节点的关节夹角θ和与对应人体关节点对应的肢体长度数据L的多刚体运动学函数;其中,人体关节点的关节夹角θ和与对应人体关节点对应的肢体长度数据L的具体值为已知,也就是说,本实施例可以直接通过一些获取方式获取人体关节点的关节夹角θ和与对应人体关节点对应的肢体长度数据L的具体值并输入至多刚体运动学函数,以用于后续计算。
其中,各个人体关节点的关节夹角θ和对应人体关节点对应的肢体的长度数据L建立刚体模型时测量长度数据L和关节夹角θ的测量方式获取。
具体的,虽然力力的建模方式有很多,但是本实施例通过采用力和压力中心点数据组成的力和作用点的时间向量函数来进行模拟人体部位与外界环境交互时产生的压力也就是人体部位与环境交互的力Fex,而关节点末端的外界接触力是推断人体内部肌肉发力情况的关键数据来源,因此本实施例通过以人体足部的对地接触为例,利用弹性地基模型简化形变和力的计算,得到足部与环境交互时产生的力。
如图9所示,为下肢单腿的髋刚体关节点、膝刚体关节点、踝刚体关节点,获取到的髋刚体关节点、膝刚体关节点之间的大小腿长度分别为L12、L14,踝刚体关节点对应的足部长度为L16,而对应的髋人体关节点为5自由度椭球面,膝人体关节点为3自由度椭球面,踝人体关节点为5自由度椭球面,肌肉作用在这些关节上会分别产生力矩和沿着骨骼方向的力,将其投影到人的矢状面进行分析后,得到多刚体运动学函数Fex4=F(F11、F13、F15、T12、T14、T17、L12、L14、L16、θ11、θ14、θ16),从而求得足部约束对地面的合力Fex4,其中,F11、F13、F15分别为求得的髋人体关节点、膝人体关节点、踝人体关节点的对外输出合力,T12、T14、T17分别为求得的围绕髋人体关节点、膝人体关节点、踝人体关节点旋转的力矩,L12、L14、L16分别为求得的髋人体关节点对应的大腿长度数据、膝人体关节点对应的小腿长度数据、踝人体关节点对应的足部长度数据(实际可以为鞋长),θ11、θ14、θ16分别表示求得的髋人体关节点、膝人体关节点、踝人体关节点的关节夹角,其中,图9和图10中标注关节夹角θ的箭头标注方式为分别基于运动学和体态学的标注形式,但都可以用于表示关节夹角θ;该多刚体动力学函数是通过对人体分析的正向运动学得到,从而可以知道数字孪生虚拟人在已知关节和骨骼动力下的对外交交互力,由一条腿引申开去可以推导至人体全身的正向动力学;如图10所示为对刚体模型更新人体与环境交互的力、关节角度的示意图,需要注意的是,本实施例所说明的单腿髋、膝、踝人体关节点,仅为举例,在具体测量人体部位与环境交互的力时,也可能会涉及到其他人体关节点,可以根据实际涉及到发力的人体关节点进行计算。
需要注意的是,通过获取到的人体部位与环境交互的力Fex去推出对应各个关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T的计算方式为现有技术,本实施例不做更进一步的详细说明。
也就是说,当为了得到人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T,在测量得到人体部位与环境交互的力Fex的具体值后输入至多刚体运动学函数,而由于各个人体关节点的关节夹角θ和对应人体关节点对应的肢体的长度数据L也已经获取,因此可以得到各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T的具体参数并将具体参数更新至刚体模型,使得刚体模型与人体保持同步。
执行步骤S300,所述肌骨动力学函数具体为人体关节点对应的各个肌肉的肌肉对外输出力FMT、其他相应参数对应人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T的肌骨动力学函数;其中,与肌骨动力学函数相关的其他相应参数的具体值为已知;
进一步的,人体关节点对应的各个肌肉的肌肉对外输出力FMT、其他相应参数对应人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T的肌骨动力学函数具体包括:
人体关节点的对外输出合力F和与人体关节点对应的各个肌肉的肌肉对外输出力FMT的第一肌骨动力学函数;围绕人体关节点旋转的力矩T和与人体关节点对应的各个肌肉的肌肉对外输出力FMT、肌肉对应的肌腱与骨骼的连接点到对应的人体关节点之间的距离数据WMT的第二肌骨动力学函数,其中,肌肉的肌腱与骨骼的连接点到对应的人体关节点之间的距离数据WMT为已知,也就是说,本实施例可以直接通过一些获取方式获取肌肉的肌腱与骨骼的连接点到对应的人体关节点之间的距离数据WMT输入至所述第二肌骨动力学函数,以用于后续计算。
其中,所述第一肌骨动力学函数为:
Figure 519446DEST_PATH_IMAGE017
,其中,
Figure 1243DEST_PATH_IMAGE018
分别表示与人体关节点对应的各个肌肉的肌肉对外输出力,F表示人 体关节点的对外输出合力,i的数值根据相应人体关节点对应的肌肉个数确定;
所述第二肌骨动力学函数为:
Figure 414907DEST_PATH_IMAGE019
,其中,
Figure 797085DEST_PATH_IMAGE015
分别表示与人体关节点对应的各个肌肉的肌肉对外输出力,
Figure 270791DEST_PATH_IMAGE016
分别表示对应肌肉的肌腱与骨骼的连接点到对应人体关节点之间 的距离数据,T表示围绕人体关节点旋转的力矩,i的数值根据相应人体关节点对应的肌肉 个数确定。
其中,需要注意的是,不同人体关节点对应的肌肉数量与所述人体关节点对应的自由度相同;如:膝人体关节点、肘人体关节点对应的自由度都为2自由度,对应的肌肉个数为2个,其中,膝人体关节点具体包含1旋转自由度和1平移自由度且互相耦合,肘人体关节点具体包含2旋转自由度;胸人体关节点、腰人体关节点、颈人体关节点对应的自由度都为3自由度,对应的肌肉个数为3个,其中,胸人体关节点具体包含3旋转自由度、腰人体关节点具体包含3旋转自由度、颈人体关节点具体包含3旋转自由度;踝人体关节点、腕人体关节点对应的自由度都为4自由度,对应的肌肉个数为4个,其中,踝人体关节点具体包含3旋转自由度和1平移自由度且平移自由度耦合;髋人体关节点对应的自由度为5自由度,对应的肌肉个数为5个,其中,具体包含3旋转自由度和2平移自由度;肩人体关节点对应的自由度为6自由度,对应的肌肉个数为6个,其中,具体包含3旋转自由度和3平移自由度且互相之间均有耦合。
具体的,由于肌肉沿着肌肉的路径向骨骼施加张力,我们可以理解为任何一个运动都有相同轨迹但方向相反的两个运动,所有关节点在某个自由度上的分解运动都可以理解为一对肌肉相互作用的结果,骨骼与肌肉间通常存在两种交互关系:肌肉通过力来改变骨骼的姿态;同时骨骼姿态决定肌肉全长,肌肉长度反过来也影响肌肉收缩力,另外,骨骼关节运动的驱动力矩不仅与关节附着的肌腱单元收缩力有关,也与肌腱单元附着的位置有关。
又由于生物关节不同于人工设计的机械关节,机械结构中的旋转、滑块、通用、平面、球和套筒关节是难以模拟其独有效果的,因此使用机械设计中的关节-刚体建模法将会大大简化或者改变实际的生物力学结构,并不适合人体数字孪生虚拟人的建模。
因此,为了模拟人体关节点对应的各个肌肉向骨骼施加的张力也就是人体关节点的对外输出合力,首先,根据如图4所示的肌肉力学模型,我们可以理解为所有的人体运动关节的运动都是由成对的肌肉组合运动而成的,例如当人体关节点为3个自由度时,作用到关节点处体现为三个旋转自由度的力矩T和三个适量方向上的力F。
因此,本实施例通过以人体关节点作为原点、以靠近人体躯干的肢体N1为z轴建立 xyz轴坐标系,基于xyz轴坐标系显示的人体关节点的对外输出合力F和与人体关节点对应 的各个肌肉的肌肉对外输出力FMT的关系建立第一肌骨动力学函数,以围绕各个人体关节点 旋转的力矩T与人体关节点对应的各个肌肉的肌肉对外输出力FMT、对应肌肉的肌腱与骨骼 的连接点到对应人体关节点之间的距离数据
Figure 239884DEST_PATH_IMAGE020
的关系建立第二肌骨动力学函数,从而求 得人体关节点的对外输出合力F和围绕各个人体关节点旋转的力矩T;例如,以如图6所示的 肘人体关节点为例,肘人体关节点为2自由度,对应2个肌肉即MT1和MT2,以肘人体关节点为 原点,肘人体关节点两侧为靠近人体躯干的肢体N1和远离人体躯干的肢体N2,其中,以肘人 体关节点为原点,以靠近人体躯干的肢体N1为z轴,建立xyz轴坐标系;
再例如如图7所示,以4自由度的人体关节点为例,其运动为典型的椭球面,有四个输出力的自由度,靠近人体躯干的肢体N1和远离人体躯干的肢体N2之间连接有4个肌肉,分别为MT1、MT2、MT3、MT4,靠近人体躯干的肢体N1和远离人体躯干的肢体N2之间有力矩T,而力矩T有三个自由度暨分别围绕xyz三个轴旋转,因此,该人体关节点的对外输出合力F=FMT1+FMT2+FME3+FMT4,其中,FMT1、FMT2、FME3、FMT4分别表示人体关节点对应的4个肌肉MT1、MT2、MT3、MT4的肌肉对外输出力;围绕该人体关节点的力矩T= FMT1×WMT1+ FMT2×WMT2+FMT3×WMT3+FMT4×WMT4,其中,FMT1、FMT2、FME3、FMT4分别表示该人体关节点对应的4个肌肉MT1、MT2、MT3、MT4的肌肉对外输出力,WMT1、WMT2、WMT3、WMT4分别表示该人体关节点对应的4个肌肉MT1、MT2、MT3、MT4的肌腱与骨骼的连接点g1、g2、g3、g4分别到人体关节点O点的距离数据。
也就是说,为了得到肌肉对应的肌肉对外输出力FMT的具体值,在根据计算得到人体关节点的对外输出合力F以及围绕各个人体关节点旋转的力矩T的具体值并将数据更新至刚体模型后,同时也要输入至肌骨动力学函数,从而得到人体关节点对应的各个肌肉的肌肉对外输出力FMT的具体值并将数据更新至刚体模型;如图8所示为更新到刚体模型上的围绕各个人体关节点旋转的力矩T与人体关节点对应的各个肌肉的肌肉对外输出力FMT的示意图。
执行步骤S400,所述肌肉动力学函数具体为肌腹激活度z、肌腹长度LM、其他相应参数对应人体肌肉的肌肉对外输出力FMT的肌肉动力学函数;其中,与肌肉动力学函数相关的其他相应参数的具体值为已知;
具体的,肌腹激活度z、肌腹长度LM、其他相应参数对应人体肌肉的肌肉对外输出力FMT的肌肉动力学函数具体为:
人体各个肌肉的肌肉对外输出力FMT与相应的肌肉长度LMT、肌腹长度LM、肌肉被动 拉伸最大长度LST、肌纤维夹角α、肌肉主动收缩最小长度LSR、肌腹收缩刚度kPE、肌腱刚度kT、 肌腹最大发力
Figure 191660DEST_PATH_IMAGE001
、肌腹激活度z的肌肉动力学函数,其中,肌肉长度LMT、肌肉被动拉伸最大 长度LST、肌纤维夹角α、肌肉主动收缩最小长度LSR、肌腹收缩刚度kPE、肌腱刚度kT、肌腹最大 发力
Figure 460967DEST_PATH_IMAGE001
的具体值为已知,也就是说,本实施例可以直接通过一些获取方式获取肌肉长度 LMT、肌肉被动拉伸最大长度LST、肌纤维夹角α、肌肉主动收缩最小长度LSR、肌腹收缩刚度kPE、 肌腱刚度kT、肌腹最大发力
Figure 105575DEST_PATH_IMAGE001
的具体参数,输入至所述肌肉动力学函数,用于后续计算。
其中,人体各个肌肉的肌肉对外输出力FMT与相应的肌肉长度LMT、肌腹长度LM、肌肉 被动拉伸最大长度LST、肌纤维夹角α、肌肉主动收缩最小长度LSR、肌腹收缩刚度kPE、肌腱刚 度kT、肌腹最大发力
Figure 561964DEST_PATH_IMAGE001
、肌腹激活度z的肌肉动力学函数具体包括:
基于肌肉力学模型得到的肌肉对外输出力FMT和肌腱对外输出力FT、肌腹对外输出 力FM的关系,建立肌肉对外输出力FMT与肌腱对外输出力FT以及与相应的肌腱刚度kT、肌肉长 度LMT、肌腹长度LM、肌肉被动拉伸最大长度LSR的第一肌肉动力学函数,肌肉对外输出力FMT 与肌腹对外输出力FM以及与相应的肌腹激活度z、肌腹最大发力
Figure 317430DEST_PATH_IMAGE001
、肌腹收缩刚度kPE、肌 腹长度LM、肌肉主动收缩最小长度LSR的第二肌肉动力学函数。
所述第一肌肉动力学函数为:
Figure 411551DEST_PATH_IMAGE021
Figure 227060DEST_PATH_IMAGE022
;第二肌肉动力学 函数为:
Figure 170745DEST_PATH_IMAGE023
Figure 729903DEST_PATH_IMAGE024
Figure 442644DEST_PATH_IMAGE025
Figure 163475DEST_PATH_IMAGE026
式中,FMT表示肌肉对外输出力,FM表示肌肉中的肌腹对外输出力,FT表示肌肉中的 肌腱对外输出力,
Figure 594456DEST_PATH_IMAGE008
表示肌肉力学模型中用于定义肌腹的弹簧发力,
Figure 691725DEST_PATH_IMAGE009
表示肌肉力学模型 中用于定义肌腹的执行器发力,kT表示肌腱刚度,kPE表示肌腹收缩刚度,
Figure 23087DEST_PATH_IMAGE010
表示肌腹最大 发力,LST表示肌肉被动拉伸最大长度,
Figure 914820DEST_PATH_IMAGE027
表示肌肉主动收缩最小长度,LM表示肌腹长度,z 表示肌腹激活度,LMT表示肌肉长度,α表示肌纤维夹角。
在本实施例中,人体各个肌肉的肌腱刚度kT和对应肌腹的肌腹收缩刚度kPE、肌腹 最大发力
Figure 833097DEST_PATH_IMAGE010
、肌肉被动拉伸最大长度LST和肌肉主动收缩最小长度LSR都为通过对用户进行 测算得到的固定值,并更新到了所述刚体模型中,通过肌肉动力学函数进行计算时可以直 接获取;肌纤维夹角α、肌腹激活度z、肌腹长度LM、肌肉长度LMT都为变化值;其中,人体各个 肌肉的肌腱刚度kT和对应肌腹的肌腹收缩刚度kPE、肌腹最大发力
Figure 937320DEST_PATH_IMAGE010
根据前期测量直接获 得,本实施例不作详细说明;肌纤维夹角α主要可以通过图像测量和反三角函数的方式求 出,表示肌肉中肌肉纤维相对发力方向(一般为骨骼方向)平均值,并且随着LM的长度变化 而改变;纤维夹角α、肌肉长度LMT可以通过实时测量得到,如对视频图像进行测量;而肌腹激 活度z、肌腹长度LM通过肌肉动力学函数进行计算获取。
在本实施例中,获取肌肉被动拉伸最大长度LST和肌肉主动收缩最小长度LSR的步骤具体包括:依据计算得到的人体关节点对应的肢体的长度数据,测量与所述刚体模型定义的刚体关节点对应的人体关节点对应的肌肉在相应人体关节夹角下的肌肉被动拉伸最大长度LST和肌肉主动收缩最小长度LSR
具体的,如图5所示,当肩人体关节点呈现如图5的(a)所示的姿态时,表示水平屈曲,此时,肱二头肌主动收缩,肱三头肌被动拉伸;当肩人体关节点呈现如图5的(b)所示的姿态时,表示水平伸展,此时肱二头肌被动拉伸,肱三头肌主动收缩,摄像头分别测量两种姿态下的关节角度θ,结合解刨学肌腹肌腱连接点和骨骼的比例,再根据对应肌腹在正常状态下的长度,可以直接计算出分别对应肱二头肌和肱三头肌的肌肉被动拉伸最大长度LST和肌肉主动收缩最小长度LSR;其中,肌肉被动拉伸最大长度LST为肌肉在被拉伸到最大长度时的肌肉长度和在正常状态时的肌肉长度的差值,肌肉主动收缩最小长度LSR为肌肉在被收缩到最小长度时的肌肉长度和在正常状态时的肌肉长度的差值;另外,解剖学上肌腱相对附着在骨骼上的位置有较为明确的定义,即测量肌肉长度的技术视为已知技术,在此不再赘述。
进一步的,肌肉由肌腹和肌腱两部分组成,骨的位置的变化产生运动,但是骨本身不能运动,骨的运动要靠肌肉的牵拉,肌肉两端连接有肌腱.肌腱可绕过关节连在不同的骨上,肌腹收缩牵引骨骼而产生关节的运动,肌腹两端的肌腱附着在两块或两块以上的骨,当肌肉收缩时,联带着骨骼进行活动,人体的运动大致可分为伸曲、内收外展以及旋转运动,因此,每一块骨头上为了满足以上活动的需要,均附着着肌肉,而肌腱类似一种绳索,可将自己永久的附着在骨骼上,从而将肌肉的一端固定在骨骼上,骨骼的运动是通过将力从肌肉通过肌腱传递到骨骼上而产生的,没有肌腱肌肉无法运动,骨骼肌通过拉动肌腱产生运动,而肌腱又拉动连接的骨骼。
因此,在现有技术中,如图4所示,肌肉力学模型被定义为弹簧PE、执行器CE、套筒 的组合,其中,弹簧PE、执行器CE对应的为肌腹M,套筒对应的为肌腱T,FMT表示肌肉对外输出 力,FM表示肌肉中的肌腹对外输出力,FT表示肌肉中的肌腱对外输出力,首先,由于肌肉FM和 肌腱FT在任何时候都处于平衡状态,得到:
Figure 359074DEST_PATH_IMAGE028
Figure 687287DEST_PATH_IMAGE029
, 再通过对FM进行计算,得到:
Figure 624019DEST_PATH_IMAGE030
Figure 328670DEST_PATH_IMAGE031
Figure 371974DEST_PATH_IMAGE032
;其中,
Figure 74351DEST_PATH_IMAGE033
的意思为,当肌肉为拉伸状态时,采用
Figure 701641DEST_PATH_IMAGE034
得到FM的值,而当肌肉为收缩状 态时,采用
Figure 944404DEST_PATH_IMAGE035
得到FM的值,另外,需要注意的是,由于肌腱只会被拉伸而不会收缩,因 此,当肌肉拉伸时,
Figure 340750DEST_PATH_IMAGE036
;而判断在不同姿态时肌肉为拉伸状态还是收缩 状态的技术为现有技术,本实施例不做详细说明。
也就是说,根据上述得到的肌肉动力学函数后,由于人体各个肌肉的肌腱刚度kT 和对应肌腹的肌腹收缩刚度kPE、肌腹最大发力
Figure 10766DEST_PATH_IMAGE001
、肌肉被动拉伸最大长度LST和肌肉主动 收缩最小长度LSR已经都在前期被测量得到,那为了得到人体的各个肌肉在收缩状态时的实 际肌肤激活度z、在拉伸状态时的肌腹长度LM的具体参数,则在通过计算得到不同肌肉的肌 肉对外输出力FMT后,再根据输入到刚体模型的实时测量得到的用户在不同运动状态时的肌 纤维夹角α就可以测得肌腹激活度z、肌腹长度LM,使得可以将物理人体在运动时的各个肌 肉的在收缩状态时的实际肌肤激活度z、在拉伸状态时的肌腹长度LM与刚体模型保持同步, 从而判断人体的各个肌肉的状态,与真实人体状态保持同步,并对人体进行保护。
综上,在建立得到刚体模型、多刚体运动学函数、肌骨动力学函数、肌肉动力学函数后;本实施例通过获取人体部位与环境交互的力Fex,再根据人体部位与环境交互的力Fex和多刚体运动学函数、肌骨动力学函数、肌肉动力学函数反推出人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T、各个肌肉的肌肉对外输出力FMT、肌腹激活度z、肌腹长度LM;让数字孪生虚拟人同步物理人的动作和生理状态,包括骨骼运动、关节运动如角度和角速度、关节力矩、肌肉状态甚至进一步推算出虚拟人其他肢体对外界的交互力。
如图11所示,在根据测量得到反推得到人体部位与环境交互的力Fex后输入多刚体运动学函数,得到各个人体关节点的对外输出合力F和围绕对应各个人体关节点旋转的力矩T同步到刚体模型并输入肌骨动力学函数,输出人体关节点对应的各个肌肉的肌肉对外输出力FMT同步到刚体模型,并输入肌肉动力学函数,输出肌腹激活度z同步到刚体模型,最终将所有获取的参数都更新到所述刚体模型中,从而将刚体模型与人体进行同步模拟,得到与人体对应的虚拟人,使得最终输出是广义坐标系下的运动。
进一步的,在得到肌腹激活度z、肌腹长度LM后,还包括以下步骤:
判断肌腹激活度z是否大于肌腹最大发力
Figure 125352DEST_PATH_IMAGE001
对应的激活度阈值;若是则执行保护 动作或进行风险提示,防止人体肌肉受到损害;
判断肌腹长度LM是否大于肌肉的自身最大被动伸展长度LST或小于最小主动收缩长度LSR,若是则执行保护动作或风险提示,防止人体肌肉受到损害。
具体的,通过判断肌腹激活度z是否在区间[0,1]之内,其中,0代表肌肉松弛不发 力时对应的激活度阈值,1代表肌腹最大发力
Figure 906227DEST_PATH_IMAGE001
对应的激活度阈值;若在则是安全的,如 果大于1则直接进行风险提示,或者在健身的时候,直接控制健身机器进入保护状态,如进 行电机停机等操作,防止对人体造成损害,同时还可通过判断肌腹长度LM来对肌肉是否会 拉伤进行判断和保护,当肌肉长度LM大于肌肉的自身最大被动伸展长度LST或小于最小主动 收缩长度LSR的时候,则意味着肌肉面临受伤风险,机器会执行保护动作或风险提示。
相比较通过判断人体姿态和相对空间位置来进行保护,通过获取人体对外交护力并间接的推导获得人体的肌肉情况的方法,可以从肌肉状态的角度对使用者进行保护,这样一些因为内力的肌肉损伤就可以有效地避免或者预警。
以人体的肘关节为例,如图12所示为人体肘关节对应的肌肉力学模型示意图,首 先根据多刚体运动学函数,可以得到肘关节的对外输出合力F和围绕对应人体关节点旋转 的力矩T,同时,肘关节是一个2自由度椭圆面关节,小臂刚体沿着半径为R的圆周运动,有2 个广义自由度β1和β2,其运动受2部分即肱二头肌和肱三头肌控制,肘关节对应对外输出合 力F和力矩T、两个肌肉对应的肌纤维夹角α1和α2也为已知,而F和T是由肱二头肌的肌肉对 外输出力FMT1和肱三头肌的肌肉对外输出力FMT2合成的,其中假设肱二头肌是收缩的肌肉, 肱三头肌是舒张的肌肉,可知在不同的状态下,同一块肌肉舒张和收缩发力不同,则可求出 肌肉的当前状态的肌肉对外输出力FMT和肌腹激活度z,具体计算过程如下:
Figure 422659DEST_PATH_IMAGE037
Figure 762111DEST_PATH_IMAGE038
Figure 363993DEST_PATH_IMAGE039
Figure 948559DEST_PATH_IMAGE040
;其中,F和T是 可以通过逆向运动学推算得到的值,而l1、l2为构建虚拟人模型时可以得到的长度数据,LMT 和LST也为构建虚拟人时可以获得的数据,α是可以通过关节角度直接测量得到,则需要求得 的数据便是FM和肌腹长度LM的值,从而推导出,
Figure 319497DEST_PATH_IMAGE041
Figure 331315DEST_PATH_IMAGE042
,从而得 到FM和LM的值,再由于
Figure 154915DEST_PATH_IMAGE043
Figure 543171DEST_PATH_IMAGE044
Figure 768616DEST_PATH_IMAGE045
,得到收缩肌肉对 应的肌腹激活度z的值;
其中,推到得到FM的具体推导过程为:
Figure 718380DEST_PATH_IMAGE046
Figure 294854DEST_PATH_IMAGE047
Figure 221222DEST_PATH_IMAGE048
Figure 301174DEST_PATH_IMAGE049
Figure 920374DEST_PATH_IMAGE050
Figure 718566DEST_PATH_IMAGE051
推到得到LM的具体推导过程为:
Figure 448624DEST_PATH_IMAGE052
Figure 383082DEST_PATH_IMAGE053
Figure 671719DEST_PATH_IMAGE054
Figure 957207DEST_PATH_IMAGE055
Figure 225377DEST_PATH_IMAGE056
Figure 279921DEST_PATH_IMAGE057
Figure 240923DEST_PATH_IMAGE058
其中,由于肌肉在拉伸和收缩时表现得发力效果不同,因此可以通过T和F的发力方向判断具体某块肌肉是收缩还是伸展,再结合FM和LM的两个等式,可以求出收缩肌肉的肌腹激活程度z和伸展肌肉的肌腹长度LM,从而确定肌肉的状态;自此,通过获取肢体末端的力矢量(方向和大小)和人体关节状态(角度和速度)进而推断获取关节的肌肉骨骼状态已经闭环。这些数据实时更新从而推广到整个人体,使得数字孪生虚拟人系统与真实物理系统保持同步。
本发明实施例将动力学引入肌腹激活度z、肌腹长度LM作为物理运动行为的反馈,在基于生物力学虚拟人运动仿真过程中,肌肉腱单元驱动关节的收缩力以及其内部单元的状态变化是相互关联的。在仿真计算过程中,外部输入是已知的,由外部状态的变化计算肌肉的状态变化,使得模拟到的人体状态更加真实。
本发明基于肌肉、骨骼和关节的参数化原理设计更加符合人体的真实肌骨系统,在构建完成虚拟人后,使用虚拟人对人体实时活动进行模拟,首先通过传感器等方式直接获取人体的身体部位与外界交互时形成的压力也就是人体部位与环境交互的力Fex,再通过上述步骤进行反推,最终得到肌腹激活度z和肌腹长度LM,从而根据实时得到人体在活动时各个肌肉的肌腹激活度z和肌腹长度LM的变化,判断人体肌肉的具体状态;其中得到的肌肉在拉伸状态时的肌腹长度LM也比现有技术中直接根据视频图像测得的数据更加准确;相比较多刚体建模更真实提出一种神经控制方法,使得肌骨运动形成闭环控制,更有效的模拟了生物体的真实运动原理。
基于同一发明构思,本发明还提供一种数字孪生虚拟与人体交互系统,包括以下模块:
获取模块,获取人体部位与环境交互的力Fex;
多刚体运动学交互模块,基于多刚体运动学函数、人体部位与环境交互的力Fex得到人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T并更新到与人体对应的刚体模型中;
肌骨动力学交互模块,基于肌骨动力学函数和各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T得到人体关节点对应的各个肌肉的肌肉对外输出力FMT并更新到所述刚体模型中;
肌肉运动学交互模块,基于建立肌肉动力学函数和肌肉的肌肉对外输出力FMT得到各个肌肉的肌腹激活度z、肌腹长度LM并更新到所述刚体模型中,从而使所述刚体模型与真实人体系统保持同步。
基于同一发明构思,本发明还提供一种电子设备,包括:至少一个处理器,与至少一个所述处理器通信连接的存储器;至少一个所述处理器用于读取所述存储器中的程序,用于执行所述数字孪生虚拟人与人体的交互方法。
所述电子设备可以为智能健身设备,也可以为智能手机、电脑、智能大屏等智能终端设备。
相应的,本发明还提供一种健身设备,包括:至少一个处理器,与至少一个所述处理器通信连接的存储器;至少一个所述处理器用于读取所述存储器中的程序,用于执行所述方法。
基于同一发明构思,本发明还提供计算机可读存储介质,所述介质上存储有指令,当所述指令在计算机上运行时,使得计算机执行所述的方法。
本发明虽然己以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

Claims (14)

1.一种数字孪生虚拟人与人体的交互方法,其特征在于,包括以下步骤:
获取人体部位与环境交互的力Fex;
基于多刚体运动学函数、人体部位与环境交互的力Fex得到人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T并更新到与人体对应的刚体模型中;
基于肌骨动力学函数和各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T得到人体关节点对应的各个肌肉的肌肉对外输出力FMT并更新到所述刚体模型中;
基于建立肌肉动力学函数和肌肉的肌肉对外输出力FMT得到各个肌肉的肌腹激活度z、肌腹长度LM并更新到所述刚体模型中,从而使所述刚体模型与真实人体系统保持同步。
2.根据权利要求1所述的数字孪生虚拟人与人体的交互方法,其特征在于,与人体对应的刚体模型的建立步骤具体包括:
获取与人体对应的刚体模型,获取人体图像,计算所述人体图像中与所述刚体模型中刚体关节点相对应的人体关节点之间的图像距离,根据所述图像距离计算所述人体关节点对应的肢体长度数据L,将与所述人体关节点对应的肢体长度数据L更新到所述刚体模型中,并获取所述人体图像中所述人体关节点的关节夹角θ更新到所述刚体模型中。
3.根据权利要求1所述的数字孪生虚拟人与人体的交互方法,其特征在于,
所述肌肉动力学函数具体为肌腹激活度z、肌腹长度LM、其他相应参数对应人体肌肉的肌肉对外输出力FMT的肌肉动力学函数;其中,与肌肉动力学函数相关的其他相应参数的具体值为已知;
所述肌骨动力学函数具体为人体关节点对应的各个肌肉的肌肉对外输出力FMT、其他相应参数对应人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T的肌骨动力学函数;其中,与肌骨动力学函数相关的其他相应参数的具体值为已知;
所述多刚体运动学函数具体为人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T、其他相应参数对应人体部位与环境交互的力Fex的多刚体运动学函数;其中,与多刚体运动学函数相关的其他相应参数的具体值为已知。
4.根据权利要求3所述的数字孪生虚拟人与人体的交互方法,其特征在于,肌腹激活度z、肌腹长度LM、其他相应参数对应人体肌肉的肌肉对外输出力FMT的肌肉动力学函数具体为:
人体各个肌肉的肌肉对外输出力FMT与相应的肌肉长度LMT、肌腹长度LM、肌肉被动拉伸 最大长度LST、肌纤维夹角α、肌肉主动收缩最小长度LSR、肌腹收缩刚度kPE、肌腱刚度kT、肌腹 最大发力
Figure 95189DEST_PATH_IMAGE001
、肌腹激活度z的肌肉动力学函数,其中,肌肉长度LMT、肌肉被动拉伸最大长度 LST、肌纤维夹角α、肌肉主动收缩最小长度LSR、肌腹收缩刚度kPE、肌腱刚度kT、肌腹最大发力
Figure 963788DEST_PATH_IMAGE001
的具体值为已知。
5.根据权利要求4所述的数字孪生虚拟人与人体的交互方法,其特征在于,人体各个肌 肉的肌肉对外输出力FMT与相应的肌肉长度LMT、肌腹长度LM、肌肉被动拉伸最大长度LST、肌 纤维夹角α、肌肉主动收缩最小长度LSR、肌腹收缩刚度kPE、肌腱刚度kT、肌腹最大发力
Figure 138417DEST_PATH_IMAGE001
、 肌腹激活度z的肌肉动力学函数具体包括:
基于肌肉力学模型得到的肌肉对外输出力FMT和肌腱对外输出力FT、肌腹对外输出力FM 的关系,建立肌肉对外输出力FMT与肌腱对外输出力FT以及与相应的肌腱刚度kT、肌肉长度 LMT、肌腹长度LM、肌肉被动拉伸最大长度LSR的第一肌肉动力学函数,肌肉对外输出力FMT与 肌腹对外输出力FM以及与相应的肌腹激活度z、肌腹最大发力
Figure 503277DEST_PATH_IMAGE001
、肌腹收缩刚度kPE、肌腹 长度LM、肌肉主动收缩最小长度LSR的第二肌肉动力学函数。
6.根据权利要求5所述的数字孪生虚拟人与人体的交互方法,其特征在于,
所述第一肌肉动力学函数为:
Figure 763357DEST_PATH_IMAGE002
Figure 373330DEST_PATH_IMAGE003
;第二肌肉动力学函数 为:
Figure 402466DEST_PATH_IMAGE004
Figure 439692DEST_PATH_IMAGE005
Figure 187069DEST_PATH_IMAGE006
Figure 335153DEST_PATH_IMAGE007
式中,FMT表示肌肉对外输出力,FM表示肌肉中的肌腹对外输出力,FT表示肌肉中的肌腱 对外输出力,
Figure 218795DEST_PATH_IMAGE008
表示肌肉力学模型中用于定义肌腹的弹簧发力,
Figure 193967DEST_PATH_IMAGE009
表示肌肉力学模型中用 于定义肌腹的执行器发力,kT表示肌腱刚度,kPE表示肌腹收缩刚度,
Figure 959798DEST_PATH_IMAGE010
表示肌腹最大发力, LST表示肌肉被动拉伸最大长度,
Figure 911573DEST_PATH_IMAGE011
表示肌肉主动收缩最小长度,LM表示肌腹长度,z表示肌 腹激活度,LMT表示肌肉长度,α表示肌纤维夹角。
7.根据权利要求3所述的数字孪生虚拟人与人体的交互方法,其特征在于,人体关节点对应的各个肌肉的肌肉对外输出力FMT、其他相应参数对应人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T的肌骨动力学函数具体包括:
人体关节点的对外输出合力F和与人体关节点对应的各个肌肉的肌肉对外输出力FMT的第一肌骨动力学函数;围绕人体关节点旋转的力矩T和与人体关节点对应的各个肌肉的肌肉对外输出力FMT、肌肉对应的肌腱与骨骼的连接点到对应的人体关节点之间的距离数据WMT的第二肌骨动力学函数,其中,肌肉的肌腱与骨骼的连接点到对应的人体关节点之间的距离数据WMT为已知。
8.根据权利要求7所述的数字孪生虚拟人与人体的交互方法,其特征在于,所述第一肌 骨动力学函数为:
Figure 915301DEST_PATH_IMAGE012
,其中,
Figure 294330DEST_PATH_IMAGE013
分别表示与人体关节 点对应的各个肌肉的肌肉对外输出力,F表示人体关节点的对外输出合力,i的数值根据相 应人体关节点对应的肌肉个数确定;
所述第二肌骨动力学函数为:
Figure 750719DEST_PATH_IMAGE014
,其中,
Figure 506186DEST_PATH_IMAGE015
分别表示与人体关节点对应的各个肌肉的肌肉对外输出力,
Figure 886393DEST_PATH_IMAGE016
分别表示对应肌肉的肌腱与骨骼的连接点到对应人体关节点之间 的距离数据,T表示围绕人体关节点旋转的力矩,i的数值根据相应人体关节点对应的肌肉 个数确定。
9.根据权利要求3所述的数字孪生虚拟人与人体的交互方法,其特征在于,人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T、其他相应参数对应人体部位与环境交互的力Fex的多刚体运动学函数具体为:
人体部位与环境交互的力Fex、人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T、对应人体关节点的关节夹角θ和与对应人体关节点对应的肢体长度数据L的多刚体运动学函数;其中,人体关节点的关节夹角θ和与对应人体关节点对应的肢体长度数据L的具体值为已知。
10.根据权利要求3所述的数字孪生虚拟人与人体的交互方法,其特征在于,在得到肌腹激活度z、肌腹长度LM后,还包括以下步骤:
判断肌腹激活度z是否大于肌腹最大发力
Figure 701902DEST_PATH_IMAGE010
对应的激活度阈值;若是则执行保护动作 或进行风险提示,防止人体肌肉受到损害;
判断肌腹长度LM是否大于肌肉的自身最大被动伸展长度LST或小于最小主动收缩长度
Figure 645587DEST_PATH_IMAGE011
,若是则执行保护动作或风险提示,防止人体肌肉受到损害。
11.一种数字孪生虚拟人与人体的交互系统,其特征在于,包括以下模块:
获取模块,获取人体部位与环境交互的力Fex;
多刚体运动学交互模块,基于多刚体运动学函数、人体部位与环境交互的力Fex得到人体部位在与环境交互时涉及到发力的各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T并更新到与人体对应的刚体模型中;
肌骨动力学交互模块,基于肌骨动力学函数和各个人体关节点的对外输出合力F、围绕对应人体关节点旋转的力矩T得到人体关节点对应的各个肌肉的肌肉对外输出力FMT并更新到所述刚体模型中;
肌肉运动学交互模块,基于建立肌肉动力学函数和肌肉的肌肉对外输出力FMT得到各个肌肉的肌腹激活度z、肌腹长度LM并更新到所述刚体模型中,从而使所述刚体模型与真实人体系统保持同步。
12.一种电子设备,其特征在于,包括:至少一个处理器,与至少一个所述处理器通信连接的存储器;至少一个所述处理器用于读取所述存储器中的程序,用于执行如权利要求1-10中任一项所述方法。
13.一种健身设备,其特征在于,包括:至少一个处理器,与至少一个所述处理器通信连接的存储器;至少一个所述处理器用于读取所述存储器中的程序,用于执行如权利要求1-10中任一项所述方法。
14.一种计算机可读存储介质,其特征在于,所述介质上存储有指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1-10任一项所述的方法。
CN202211497474.2A 2022-11-28 2022-11-28 数字孪生虚拟人与人体的交互方法、系统、电子设备 Active CN115543094B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211497474.2A CN115543094B (zh) 2022-11-28 2022-11-28 数字孪生虚拟人与人体的交互方法、系统、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211497474.2A CN115543094B (zh) 2022-11-28 2022-11-28 数字孪生虚拟人与人体的交互方法、系统、电子设备

Publications (2)

Publication Number Publication Date
CN115543094A true CN115543094A (zh) 2022-12-30
CN115543094B CN115543094B (zh) 2023-05-30

Family

ID=84721787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211497474.2A Active CN115543094B (zh) 2022-11-28 2022-11-28 数字孪生虚拟人与人体的交互方法、系统、电子设备

Country Status (1)

Country Link
CN (1) CN115543094B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190371466A1 (en) * 2018-06-04 2019-12-05 Southwest Research Institute Digital Twin For Predicting Performance Outcomes
CN110600132A (zh) * 2019-08-31 2019-12-20 深圳市广宁股份有限公司 基于振动检测的数字孪生智能健康预测方法及装置
CN112132955A (zh) * 2020-09-01 2020-12-25 大连理工大学 人体骨骼的数字孪生体构建方法
CN112370035A (zh) * 2020-10-15 2021-02-19 同济大学 一种基于数字孪生平台的人机协作疲劳检测系统
CN113181550A (zh) * 2021-03-18 2021-07-30 中山大学 一种调控关节力矩和刚度的功能性电刺激系统和方法
CN113199460A (zh) * 2021-05-24 2021-08-03 中国科学院自动化研究所 非线性肌肉骨骼机器人控制方法、系统及设备
CN113687718A (zh) * 2021-08-20 2021-11-23 广东工业大学 一种人-机集成的数字孪生系统及其构建方法
CN114818441A (zh) * 2022-06-02 2022-07-29 吉林大学 基于在体生理运动的人体骨骼肌肉组织应力应变无损分析方法
CN115373511A (zh) * 2022-07-12 2022-11-22 浙江大学 基于惯性动作捕捉技术的人体运动数字孪生的构建方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190371466A1 (en) * 2018-06-04 2019-12-05 Southwest Research Institute Digital Twin For Predicting Performance Outcomes
CN110600132A (zh) * 2019-08-31 2019-12-20 深圳市广宁股份有限公司 基于振动检测的数字孪生智能健康预测方法及装置
WO2021036635A1 (zh) * 2019-08-31 2021-03-04 深圳市广宁股份有限公司 基于振动检测的数字孪生智能健康预测方法及装置
CN112132955A (zh) * 2020-09-01 2020-12-25 大连理工大学 人体骨骼的数字孪生体构建方法
CN112370035A (zh) * 2020-10-15 2021-02-19 同济大学 一种基于数字孪生平台的人机协作疲劳检测系统
CN113181550A (zh) * 2021-03-18 2021-07-30 中山大学 一种调控关节力矩和刚度的功能性电刺激系统和方法
CN113199460A (zh) * 2021-05-24 2021-08-03 中国科学院自动化研究所 非线性肌肉骨骼机器人控制方法、系统及设备
CN113687718A (zh) * 2021-08-20 2021-11-23 广东工业大学 一种人-机集成的数字孪生系统及其构建方法
CN114818441A (zh) * 2022-06-02 2022-07-29 吉林大学 基于在体生理运动的人体骨骼肌肉组织应力应变无损分析方法
CN115373511A (zh) * 2022-07-12 2022-11-22 浙江大学 基于惯性动作捕捉技术的人体运动数字孪生的构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HONGMING LYU; MATHEWS JOHN; DAVID BURKLAND; BRIAN GREET; YUTAO XI: "A_Multi-site_Heart_Pacing_Study_Using_Wirelessly_Powered_Leadless_Pacemakers", 《2018 40TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY (EMBC)》 *
周旭峰;王醒策;武仲科;VLADIMIR KORKHOV;LUCIANO PASCHOAL GASPARY;: "基于组合RNN网络的EMG信号手势识别", 光学精密工程 *
李忠海 孙天泽 张警 何西旺 宋学官: "人体数字孪生构建方法及其在骨骼分析中的应用", 《中华骨与关节外科杂志》 *

Also Published As

Publication number Publication date
CN115543094B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
O'Brien et al. Automatic joint parameter estimation from magnetic motion capture data
Cloete et al. Benchmarking of a full-body inertial motion capture system for clinical gait analysis
Molet et al. A real time anatomical converter for human motion capture
WO2018196227A1 (zh) 人体运动能力评价方法、装置及系统
US20110054870A1 (en) Vision Based Human Activity Recognition and Monitoring System for Guided Virtual Rehabilitation
Esfahlani et al. An adaptive self-organizing fuzzy logic controller in a serious game for motor impairment rehabilitation
Maciel et al. Anatomy-based joint models for virtual human skeletons
Tao et al. Human modeling and real-time motion reconstruction for micro-sensor motion capture
CN108538362B (zh) 一种运动数据实时采集的肌腱异向受力损伤预警分析方法
Chen et al. An inertial-based human motion tracking system with twists and exponential maps
CN115543094B (zh) 数字孪生虚拟人与人体的交互方法、系统、电子设备
Miller et al. Redundancy and joint limits of a seven degree of freedom upper limb exoskeleton
Puchaud et al. On the influence of the shoulder kinematic chain on joint kinematics and musculotendon lengths during wheelchair propulsion estimated from multibody kinematics optimization
Nicolas et al. From bone to plausible bipedal locomotion using inverse kinematics
Harbauer et al. Too close to comfort? A new approach of designing a soft cable-driven exoskeleton for lifting tasks under ergonomic aspects
CN115544812B (zh) 一种数字孪生虚拟人的构建方法、系统、电子设备及介质
Alemayoh et al. LocoESIS: Deep-Learning-Based Leg-Joint Angle Estimation from a Single Pelvis Inertial Sensor
Wang et al. A Remote Rehabilitation and Evaluation System Based on Azure Kinect
Vega Ramirez et al. A soft exoskeleton jacket with pneumatic gel muscles for human motion interaction
Tändl et al. An object-oriented approach to simulating human gait motion based on motion tracking
Tokuyasu et al. Mechanical modeling of a beating heart for a cardiac palpation training system
Kun et al. Shoulder joint rehabilitation training system based on virtual reality technology
Yamauchi et al. An experimental study on the relationship between the components and movement of the human knee using an android model-measurement of internal-external rotation and anterior-posterior tibial translation
Guo et al. Design of the Lower Limb Rehabilitation Training System Based on Virtual Reality
Kang et al. Human kinematics modeling and simulation based on OpenSim

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant