CN112132955A - 人体骨骼的数字孪生体构建方法 - Google Patents
人体骨骼的数字孪生体构建方法 Download PDFInfo
- Publication number
- CN112132955A CN112132955A CN202010902457.7A CN202010902457A CN112132955A CN 112132955 A CN112132955 A CN 112132955A CN 202010902457 A CN202010902457 A CN 202010902457A CN 112132955 A CN112132955 A CN 112132955A
- Authority
- CN
- China
- Prior art keywords
- data
- skeleton
- human
- module
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000004088 simulation Methods 0.000 claims abstract description 57
- 238000004364 calculation method Methods 0.000 claims abstract description 51
- 238000005516 engineering process Methods 0.000 claims abstract description 32
- 230000009471 action Effects 0.000 claims abstract description 26
- 238000010276 construction Methods 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 238000012216 screening Methods 0.000 claims abstract description 12
- 238000009877 rendering Methods 0.000 claims abstract description 11
- 230000009467 reduction Effects 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 238000006722 reduction reaction Methods 0.000 claims abstract description 5
- 210000000988 bone and bone Anatomy 0.000 claims description 48
- 230000004927 fusion Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000013500 data storage Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 206010034719 Personality change Diseases 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 claims 1
- 238000013501 data transformation Methods 0.000 claims 1
- 230000036544 posture Effects 0.000 abstract description 34
- 238000013473 artificial intelligence Methods 0.000 abstract description 9
- 230000036541 health Effects 0.000 abstract description 9
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000001133 acceleration Effects 0.000 description 5
- 210000000038 chest Anatomy 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 210000001624 hip Anatomy 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 238000005094 computer simulation Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 210000002683 foot Anatomy 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011480 coordinate descent method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Geometry (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
一种人体骨骼的数字孪生体构建方法，针对真实人体骨骼利用VR动作捕捉和传感器技术采集人体重要位置处数据，通过人工智能进行数据分类、筛选、约简与计算得到关键数据。通过人体反向动力学与生物力学算法对关键数据求解得到目标骨骼的空间方位信息与力学信息，将部分传感器数据与计算结果融合后对目标骨骼进行仿真模拟，得到目标骨骼的生物力学性能并利用多种预测算法对未知姿态下骨骼的生物力学性能进行预测；最后将性能数据建模渲染得到真实骨骼的高保真数字孪生体，实现对骨骼生物力学性能的忠实孪生映射。本发明在多种人体动作姿态下，利用穿戴式VR设备和少量传感器即可实时计算出目标骨骼的生物力学性能，能够实现对目标骨骼实时的健康检测。
Description
技术领域
本发明属于数字孪生领域，涉及到一种基于人体动作捕捉、人体反向动力学及人工智能技术，针对人体骨骼生物力学的数字孪生体构建方法。
背景技术
随着自动化技术和计算机科学的发展，以一种虚拟数字化形式呈现真实世界物理实体的数字孪生技术出现在人们的视野中。数字孪生技术通过真实设备的物理模型、传感器更新、运行历史等数据，集成多学科、多尺度、多物理量的仿真过程，搭建起忠实映射真实设备的数字化孪生体，在设备的全生命周期中实现对设备运行状况监测、检修维护、故障预警等的指导作用。
当前，数字孪生技术在航空、建筑、制造、物流、医疗、智慧城市等领域都有研究和应用，许多研究团体和企业都对数字孪生技术进行了深度的探索。其中在医疗领域，数字孪生技术得到了广泛的重视和认可，例如大型设备厂商GE、西门子等通过数字孪生技术，建立起医疗物联网平台实时监控每个物联网节点上的设备甚至设备上的各个零部件，由此可以实现医疗设备的预见式维修。但是目前在医疗领域中多集中于医用设备或智慧医院的数字孪生体建立，例如对医用治疗设备的运行状态的监测实现医用设备的预见性维护，以保障病人得到及时治疗；智慧医院的数字孪生体建立，以实现对整个医院运营的数字化管理与监控等等。这些医疗领域数字孪生技术的运用，不仅对整个医疗行业的发展起到极大的推进作用，也极大的造福了身患疾病的病人群体。
但是目前在医疗领域中针对病人自身身体状况的数字孪生研究尚缺乏，特别是对平时难以展现于人们眼前的人体骨骼的数字孪生技术研究更是少之又少。目前对于人体骨骼的健康监测常用手段有骨显像技术，又称“骨扫描”技术，利用放射性核素检测骨组织的形态或代谢异常；CT骨骼扫描技术通过机器发射X射线穿透人体进行显像，也是诊断骨骼是否病变所不可缺少的一项技术；利用MEMS技术的人体骨骼监测系统，通过一个以上加速度传感器和信号处理系统可以实时监测人体骨骼数据，了解人体骨骼健康状况。这些技术在一定程度上都可以获得人体骨骼的外貌信息和健康信息，但是并没有实现骨骼实时动态的高保真数字化显示和人体动作时的骨骼动作实时模拟，更没有实现在人体动作时骨骼的生物力学性能动态仿真模拟、预测和危险姿态预警等解决方案。因此针对人体骨骼，实现其骨骼动态的高保真数字化显示，在数字层面动态的对人体动作过程中的骨骼进行实时模拟与仿真分析，动态预测骨骼在各种人体动作下的生物力学性能，以确定骨骼的极限状态和人体动作是否对骨骼造成某种程度的损伤。运用人体骨骼的数字孪生体构建技术，建立起人体骨骼的虚拟数字孪生体实时动态展现人体骨骼的动作状况和生物力学性能，以实现忠实映射人体骨骼的姿态信息和健康信息，并可通过仿真预测提前预警人体危险姿态，从而避免对骨骼造成损伤，减轻病人的痛苦和保证病人的术后恢复，同时也为以后此类骨骼疾病或骨骼健康监测提供宝贵的临床数据和参考案例，促进骨骼医学方向的发展。
发明内容
本发明的目的是提供一种基于人体动作捕捉、人体反向动力学及人工智能技术，针对人体骨骼生物力学的数字孪生体构建方法。通过对人体骨骼的数字孪生体构建，实现对人体骨骼的高保真度数字化显示和内部生物力学性能的实时监测、模拟、分析、预测以及反馈控制。
本发明所要解决的技术难点包括：
(1)在处理传感器采集的数据时，如何对传感器的漂移以及噪音进行处理，以保证传感器数据的可用性和准确性。
(2)在人体穿戴VR设备进行动作时，如何通过实时获取的少量的传感器数据结合人体反向动力学对整个人体骨骼进行生物力学性能的计算并实施预测。
(3)如何将人体骨骼在虚拟世界中实时展现，并将人体实时动作捕捉与骨骼仿真模拟结果相结合。
(4)如何在虚拟世界中实现实时的人体骨骼生物力学性能的渲染与显示。
(5)在建立人体骨骼的数字孪生体时，如何约简孪生体模型、降低实时计算开销且保证孪生体的高保真度。
为解决上述问题，本发明采用的技术方案如下：
一种人体骨骼的数字孪生体构建方法，该方法基于数字孪生系统结合人体动作捕捉技术与人体反向动力学实现。利用人体动作捕捉技术获取人体实时动作姿态与空间位置，利用传感器数据通过人体反向动力学计算得到人体相应的骨骼信息，通过数字孪生系统构建起骨骼数字孪生体。所述数字孪生系统由物理装备系统，数据传输系统、数据处理系统、数值计算系统、数据融合系统、仿真预测系统、孪生显示系统以及数据存储系统八部分组成。所述物理装备系统由穿戴式VR设备、身体重要部位与关键骨骼位置处的传感器以及空间定位器组成，其中通过穿戴式VR设备实现在虚拟空间中的数字孪生体显示，通过处在空间定位器范围内的身体重要部位与关键骨骼位置处的传感器收集所需要的多种传感器数据信息。利用所述数据传输系统，对收集到的多种数据信息进行编码读取与译码写入操作，并将译码后的数据信息传输至所述的数据处理系统进行数据的分类、筛选、约简、转换计算后得到所需要的传感器关键数据。将得到的传感器关键数据导入数值计算系统分析计算，利用人体反向动力学与生物力学得到人体姿态与空间位置改变后的骨骼动作结果与力学结果，并与数据处理系统中得到的其他多种信息数据一同传入数据融合系统，完成对人体骨骼动作信息与力学信息、人体动作姿态数据、人体空间位置数据等多种异维数据的融合，为下一阶段的仿真计算与预测提供数据基础。所述仿真预测系统通过对融合数据的静力学与动力学仿真计算得到人体在实时动作时内部骨骼的生物力学性能，并通过预测算法实现对人体某一未知姿态时骨骼生物力学性能的预测。最后通过所述孪生显示系统，利用计算机图形学技术将计算结果渲染为人体骨骼的高保真数字孪生体，提供一种直观、可信的骨骼数字化动态模型，并在此数字化模型上显示骨骼生物力学性能完成对人体骨骼高度一致的虚拟孪生映射。所述数据存储系统贯穿于整个系统架构之中，数据传输系统中收集到的数据、数据处理系统中处理后的关键数据、数值计算系统中的计算结果、数据融合系统中多源异维融合数据以及仿真预测系统中的仿真预测结果都需要借助数据存储系统保存在特定的数据库或内存空间中，为后续骨骼医学研究提供参考数据。
所述物理装备系统包括VR头盔、控制器、追踪器、连接器以及空间定位器。VR头盔为骨骼数字孪生系统提供展示功能；控制器为骨骼数字孪生系统提供与外界的交互功能，同时也负责确定人体动作捕捉过程中手的空间位置与动作姿态；追踪器是传感器的包装总成，将其佩戴在人体关键部位与骨骼处从而监测其空间信息和姿态信息的改变；连接器为连接以上设备与PC的“桥梁”，起到接收VR头盔中视觉影像、控制器按钮反馈与部分追踪器传感信息的作用；空间定位器是这一切基础，为VR头盔、控制器、追踪器提供空间定位基准。
所述数据传输系统包括收集模块、处理模块、通信模块，由本发明自主编写的多个脚本程序组成。针对收集模块，因为在构建骨骼数字孪生体时需要用到多种传感器(如位姿、压力、加速度传感器等)，不仅需要得到人体重要部位(如头、手、脚、胸、腰部)的空间位置与姿态信息，还需要得到关键位置骨骼处的相应信息，因此需要编写一套针对不同类型传感数据的编码和译码脚本程序用于收集传感器信息。针对处理模块，需要利用人工智能算法对传感器所收集数据进行降噪处理和减少漂移，保证所得数据的可用性和准确性。针对通信模块，在确保传感器数据的准确无误后需要通过蓝牙、WIFI、5G、现场总线等多种数据通信协议与技术进行数据传输，在传输过程中需要确保数据多端传输的准确性、实时性、高效性以及可读性。
所述数据处理系统分为数据分类模块、数据筛选模块和数据排序模块。因为接收的数据具有多源、异维、大量的特点，所以首先需要对数据进行分类处理，例如将人体重点部位的传感器信息与关键骨骼位置处的传感器信息区分、将人体头、胸、腰、手、足等部位的传感器信息区分、将不同类型传感器的收集信息(位姿、加速度、压力等)区分；其次将分类完成后的数据进行筛选处理，将多余、重复、错误的数据筛选去除，以保证数据的流畅性和可读性；最后对筛选完成的数据进行排序处理，按照数据完成下一步数值计算流程的前后顺序与计算复杂度对数据进行排序，例如将人体重要部位的空间位置与姿态信息数据放在队列的首端，以保证此类数据作为第一优先级进行数值计算，从而实现有序计算。
所述数值计算系统包括人体反向动力学求解模块，生物力学求解模块。在人体反向动力学求解模块，利用人体反向动力学算法通过已知的父骨骼的空间位置和姿态变化求解相应子骨骼的空间位置与姿态，得到目标骨骼的实时动作状态和空间位置。在生物力学求解模块，利用生物力学算法计算相应骨骼上负载和约束，为后续的仿真模拟系统提供数据基础。
所述数据融合系统包括数据扩容模块、多类型数据转化模块。数据扩容模块需要以数值计算系统的求解结果为矢量并对其数据存储格式扩容，将部分处理后的传感器信息实现格式转化后与数值计算结果合并；所述多类型数据转化模块将合并后的数值计算结果与部分传感器数据转化为可导入仿真模拟过程的参数格式，为所述仿真预测系统提供可用数据。
所述仿真预测系统包括骨骼生物力学性能仿真模拟模块、骨骼生物力学性能极限预测模块以及骨骼危险姿态预警模块。所述骨骼生物力学性能仿真模拟模块的输入为数据融合系统中提供的融合数据，主要包括实时的骨骼姿态和空间位置信息和骨骼上各种类型的负载与约束信息，经过仿真模拟后得到骨骼生物力学性能(应力，变形等)为输出；所述骨骼生物力学性能极限预测模块为采用预测算法，结合实时数据与仿真模拟过程，预测骨骼将达到某一姿态时的生物力学性能，可实时计算得出其数值解；所述骨骼危险姿态预警模块是在骨骼生物力学性能仿真模拟与预测的基础上，结合各个人体的特点(如年龄、病史等)，对将会对骨骼造成损伤的人体危险姿态进行判断与报警，可实时监测骨骼各种生物力学性能是否达到危险值。
所述孪生显示系统包括人体动作捕捉的实时显示、骨骼数字孪生体的实时渲染以及主要力学性能数值的实时显示。所述人体动作捕捉的实时显示是通过简化的人体模型准确、清楚的显示出人体实时动作姿态；所述骨骼数字孪生体的实时渲染是通过计算机图形学技术构建的高保真度的虚拟骨骼三维模型，真实、准确的映射骨骼的外貌、姿态与动作，并利用计算机点云渲染技术将骨骼生物力学性能仿真模拟结果以云图的形式显示在骨骼数字孪生体上，从而完成对真实骨骼生物力学性能的忠实映射；所述主要力学性能数值显示是通过图表与刻度线形式，实时显示骨骼上各种生物力学性能的数值。
所述数据存储系统是将整个系统架构中的传感器收集数据，求解器求解数据，骨骼生物力学性能仿真模拟数据、预测数据等存储到本地内存空间或数据库，可实现随时的读取和利用。
本发明的有益效果在于：本发明实现了在多种人体动作姿态下，利用穿戴式VR设备和少量传感器即可实时计算出目标骨骼的生物力学性能，结合实际实验数据对人体骨骼生物力学性能的评估、预测及反馈控制，实现对目标骨骼实时的健康检测，防止骨骼损伤的发生。本发明仅利用少量传感器信息，就可实现对人体骨骼的动态高保真数字化显示，实时监测并预测人体骨骼的生物力学性能，构建起骨骼数字孪生体对人体骨骼的忠实映射，以保障人体骨骼健康避免骨骼损伤的出现。
附图说明
图1为本发明的技术流程实现示意图；
图2为本发明的技术架构示意图；
图3为本发明的人体骨骼示意图；
图4为本发明的信息处理技术示意图；
图5为本发明的仿真预测系统示意图；
图6为本发明的孪生显示系统示意图。
图中：1人体头部、2胸部、3腰部、4手、5足、6脊椎骨骼C1骨、7脊椎骨骼L5骨。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下述公开具体实施的限制。本发明利用示意图进行详细描述，在详述本发明实施例时，为便于说明，示意图只是实例，其在此不应限制本发明保护的范围。
下面结合附图和具体实例对本发明技术方案做进一步详细描述，所描述的具体实例仅对本发明进行解释说明，并不用以限制本发明。
一种人体骨骼的数字孪生体构建方法，包括物理装备系统，数据传输系统、数据处理系统、数值计算系统、数据融合系统、仿真预测系统、孪生显示系统以及数据存储系统八部分。所述物理装备系统用于展示骨骼数字孪生体、实现交互控制以及收集人体各种姿态信息和关键位置骨骼信息；所述数据传输系统用于传输收集的各种传感器数据；所述数据处理系统用于对传感器数据进行分类、筛选、约简、转换后得到所需要的关键数据；所述数值计算系统用于分析计算关键数据得到人体姿态与空间位置改变后的骨骼动作结果与力学结果；所述数据融合系统用于完成整个人体多处骨骼动作数据与力学信息、人体动作姿态数据、人体空间位置数据等多种异维数据的融合；所述仿真预测系统用于在人体实时动作时对人体内部骨骼生物力学性能的仿真模拟，并预测未知人体姿态时的骨骼生物力学性能；所述孪生显示系统用于构建人体骨骼的高保真数字孪生体，完成对人体骨骼高度一致的虚拟孪生映射；所述数据存储系统用于存储以上各个系统产生的数据信息。
参考图1，图1是本发明提供的一种基于人体动作捕捉、人体反向动力学及人工智能技术，针对人体骨骼生物力学的数字孪生体构建方法技术流程实现示意图。该方法的步骤包括：在人体重点部位(如头、胸、腰、手、脚)与关键骨骼位置处佩戴传感器收集需求数据信息；对传感器数据进行降噪和减少漂移处理，在确保传感器数据的准确无误后需要通过多种数据通信协议与技术进行编码传输，同时编写相应的解码脚本程序，在传感器数据传输完毕后进行相应的解码读取操作；对多源异维的传感器数据进行分类、筛选、约简、转换计算后得到可用的关键传感数据；将关键数据利用人体反向动力学与生物力学求解计算得出人体骨骼在某种姿态下的动作结果与力学结果，为后续阶段的仿真模拟过程提供数据基础；将传感器数据与数值计算数据进行数据融合得到作为仿真计算主要参数的可用数据；利用融合后的数据进行仿真模拟得到人体在某种姿态下人体骨骼的生物力学性能，并利用预测算法结合实时数据与仿真模拟结果，预测骨骼将达到某一姿态时的力学性能；将骨骼数字孪生体通过虚拟世界展示于人们眼前，包括简化的人体模型、虚拟孪生三维模型、骨骼生物力学性能云图，主要生物力学性能数值表可以真实准确实现人体真实骨骼的外貌姿态和生物力学性能的数字孪生体的忠实映射；其中，在各个步骤中收集或产生的数据信息都通过数据存储系统存储于本地或云上数据库中，作为历史数据为后续工作提供参考。
参考图2，图2是本发明提供的一种基于人体动作捕捉、人体反向动力学及人工智能技术，针对人体骨骼生物力学的数字孪生体构建方法系统架构示意图。根据功能结构的不同，将整个系统架构分为四部分，分别为存储层、物理层、分析层、虚拟层。各层之间通过数据驱动连接、密不可分，上层的输出即为下层的输入，紧密的组成整个数字孪生系统架构。其中存储层为数据存储系统，负责其他各个层级的数据写入与读取；物理层包括物理装备系统与数据传输系统，实现人体姿态的监测和传感器数据的收集；分析层包括数据处理系统、数值计算系统以及数据融合系统，在此层级完成对多源异维数据的处理得到可进行仿真模拟计算的输入量；虚拟层包括仿真预测系统和孪生展示系统，完成对人体骨骼生物力学的仿真模拟、预测以及骨骼数字孪生体的构建与展示。
下面通过实施案例对本发明的具体实施方式做出进一步的说明。具体以建立人体脊椎骨骼的数字孪生体为例进行说明。
参考图3，图3为人体内部整体骨骼与脊椎骨骼示意图。在人体头部1佩戴VR头盔，确定胸部2、腰部3、手4、足5为重要的人体部位佩戴激光传感器，确定脊椎骨骼C1骨6和脊椎骨骼L5骨7为关键位置骨骼佩戴位姿、压力与加速度传感器。以重要人体部位与关键位置骨骼处的传感器信息作为输入量，经过数据传输系统、数据处理系统、数值计算系统、数据融合系统得到脊椎各骨骼的姿态位移、幅度与作用在其上的负载与约束信息。将系统结果作为参数导入仿真预测系统进行仿真模拟和预测分析，将仿真模拟得到的各种脊椎骨骼生物力学性能以云图的形式在脊椎骨骼虚拟数字化模型上展现，将预测分析结果以数值、图表的形式在虚拟空间中显示，完成构建脊椎骨骼的数字孪生体以映射真实人体脊椎的内部结构与生物力学性能。
参考图4，图4是本发明提供的一种基于人体动作捕捉、人体反向动力学及人工智能技术，针对人体骨骼生物力学的数字孪生体构建方法中信息处理技术示意图。该图详细的阐述了本发明中数据信息的处理过程，主要包括数据处理系统对传感器数据的分类、筛选、排序，分类模块将激光、位姿、压力、加速度等多种传感器数据按照其数据类型和结构进行分离，筛选模块将各种传感器数据中的多余、重复、错误数据去除得到有用传感信息，排序模块按照其数据完成下一步数值计算流程的前后顺序与计算复杂度对数据进行优先级排序，将优先级高的数据先传入数值计算系统；数值计算系统对有用有序数据利用人体反向动力学算法(如雅可比逆方法、循环坐标下降法、前后延伸反向运动学等)求解得到目标骨骼的空间方位信息与幅度信息和生物力学算法求解得到骨骼上的负载和约束信息；数据融合系统将数值计算结果与部分数据处理结果融合得到可作为仿真模拟输入参数的融合数据。
参考图5，图5为本发明提供的一种基于人体动作捕捉、人体反向动力学及人工智能技术，针对人体骨骼生物力学的数字孪生体构建方法中仿真预测系统示意图。仿真预测系统的主要步骤：前处理，根据实际问题定义求解模型，包括定义域的物理性质和几何区域，单元类型、材料、几何属性、基函数，定义边界条件，定义载荷；有限元分析，利用有限差分法，将整体离散成整个离散域的总矩阵方程进行数值求解；静力学与动力学仿真，将离散小单元的求解结果进行静力学与动力学的仿真模拟，得到骨骼上生物力学性能的模拟仿真结果；后处理，将仿真模拟结果进行分析与评价，得到直观的信息便于了解计算结果；结果对比，将计算结果与目前已知的骨骼实验数据相对比，以具体临床实验数据为基准进行仿真模拟结果的误差度分析，如若对比误差较大，根据临床实验数据修正对应参数再次进行有限元分析与仿真模拟；如若对比误差在可接受范围内，则将计算结果与前处理时的建模数据、几何性质等数据信息一同通过预测算法进行骨骼的生物力学性能预测；以目前已知人体危险姿态的实验数据为参考，将预测结果与其进行对比，若超出具体实验中骨骼生物力学性能允许值，则对此预测姿态进行报警以保证不损害骨骼健康。
参考图6，图6为本发明提供的一种基于人体动作捕捉、人体反向动力学及人工智能技术，针对人体骨骼生物力学的数字孪生体构建方法中孪生显示系统示意图。本发明可在PC客户端、Web端、移动端上通过穿戴式VR设备进入VR虚拟空间，通过计算机渲染引擎根据骨骼模型数据建立骨骼高保真的虚拟三维模型，并根据仿真计算数值与云图结果进行骨骼生物力学性能的展示。整个孪生显示系统包括：简化的人体模型，用于实时模拟真实人体的动作姿态；骨骼数字化三维模型，用于实时显示骨骼上各种生物力学性能；骨骼生物力学性能图表，用于显示骨骼上各种生物力学性能的直观的数值结果。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
以上所述实施例仅表达本发明的实施方式，但并不能因此而理解为对本发明专利的范围的限制，应当指出，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。
Claims (9)
1.一种人体骨骼的数字孪生体构建方法，其特征在于，所述数字孪生体构建方法利用人体动作捕捉技术获取人体实时动作姿态与空间位置，利用传感器数据通过人体反向动力学计算得到人体相应的骨骼信息，通过数字孪生系统构建起骨骼数字孪生体；所述数字孪生体构建方法基于数字孪生系统实现，数字孪生体构建方法如下：
首先，由物理装备系统中的穿戴式VR设备实现在虚拟空间中的数字孪生体显示，通过处在空间定位器范围内的身体重要部位与关键骨骼位置处的传感器收集所需要的多种传感器数据信息；利用数据传输系统，将收集的各种传感器数据传输至数据处理系统，进行数据的分类、筛选、约简、转换计算后得到所需要的传感器关键数据；将得到的传感器关键数据导入数值计算系统进行分析计算，得到人体姿态与空间位置改变后的骨骼动作结果与力学结果；
将其与数据处理系统中得到的信息数据一同传入数据融合系统，完成对人体骨骼动作信息与力学信息、人体动作姿态数据、人体空间位置数据多种异维数据的融合，为下一阶段的仿真计算与预测提供数据基础；所述通过对融合数据的静力学与动力学仿真计算得到人体在实时动作时，内部骨骼的生物力学性能，并通过预测算法实现对人体某一未知姿态时骨骼生物力学性能的预测；最后通过孪生显示系统，利用计算机图形学技术将计算结果渲染为人体骨骼的高保真数字孪生体，提供骨骼数字化动态模型，并在此数字化模型上显示骨骼生物力学性能完成对人体骨骼高度一致的虚拟孪生映射；所述数据存储系统贯穿于整个系统架构之中用于存储以上各个系统产生的数据信息。
2.根据权利要求1所述的一种人体骨骼的数字孪生体构建方法，其特征在于，所述物理装备系统包括VR头盔、控制器、追踪器、连接器以及空间定位器；所述VR头盔用于提供一个虚拟空间展示骨骼数字孪生体系统；所述控制器为骨骼数字孪生系统提供与外界的交互功能，确定人体动作捕捉过程中手的空间位置与动作姿态；所述追踪器佩戴在人体关键部位与骨骼处，从而监测其空间信息和姿态信息；所述连接器将上述结构与PC连接，起到接收VR头盔中视觉影像、控制器按钮反馈与部分追踪器传感信息的作用；所述空间定位器为VR头盔、控制器、追踪器提供空间定位基准。
3.根据权利要求1所述的一种人体骨骼的数字孪生体构建方法，其特征在于，所述数据传输系统包括收集模块、处理模块、通信模块，所述收集模块用于收集人体各个位置佩戴的传感器信息；处理模块用于对传感器所收集数据进行降噪处理和减少漂移；通信模块用于对处理后的传感器信息进行转接与发送。
4.根据权利要求1所述的一种人体骨骼的数字孪生体构建方法，其特征在于，所述数据处理系统包括数据分类模块、数据筛选模块和数据排序模块；所述数据分类模块用于分别不同数据类型、不同佩戴位置的传感器数据；数据筛选模块用于去除重复、多余以及错误的传感器数据以保证数据的流畅性、一致性和正确性；对筛选完成的数据通过数据排序模块进行排序处理，按照数据完成下一步数值计算流程的前后顺序与计算复杂度对数据进行排序，以保证数据的有序计算实现系统的实时性。
5.根据权利要求1所述的一种人体骨骼的数字孪生体构建方法，其特征在于，所述数值计算系统包括人体反向动力学求解模块、生物力学求解模块；在人体反向动力学求解模块，利用人体反向动力学算法通过已知父骨骼的空间位置变化和姿态变化求解相应子骨骼的空间位置与姿态，得到目标骨骼的实时动作状态和空间位置；在生物力学求解模块，利用生物力学算法分析计算相应骨骼上负载和约束。
6.根据权利要求1所述的一种人体骨骼的数字孪生体构建方法，其特征在于，所述数据融合系统包括数据扩容模块、多类型数据转化模块；数据扩容模块用于扩展数值计算系统计算结果的数据存储单位容量，并将部分传感器数据合并入数值计算结果；所述多类型数据转化模块用于将合并后数值计算结果与部分传感器数据转化为可导入仿真模拟过程的参数形式，为所述仿真预测系统提供可用数据。
7.根据权利要求1所述的一种人体骨骼的数字孪生体构建方法，其特征在于，所述仿真预测系统包括骨骼生物力学性能仿真模拟模块、骨骼生物力学性能极限预测模块以及骨骼危险姿态预警模块；所述骨骼生物力学性能仿真模拟模块的输入为数据融合系统中提供的融合数据，主要包括实时的骨骼姿态和空间位置信息和骨骼上各种类型的负载与约束信息，输出为经过仿真模拟后得到骨骼生物力学性能；所述骨骼生物力学性能极限预测模块为采用预测算法，结合实时数据与仿真模拟过程，预测骨骼将达到某一姿态时的生物力学性能，可实时计算得出其数值解；所述骨骼危险姿态预警模块用于对骨骼造成损伤的人体危险姿态进行判断与报警，实时监测骨骼各种生物力学性能是否达到危险值。
8.根据权利要求1所述的一种人体骨骼的数字孪生体构建方法，其特征在于，所述孪生显示系统包括人体动作捕捉的实时显示、骨骼数字孪生体的实时渲染以及主要力学性能数值的实时显示；所述人体动作捕捉的实时显示是通过简化的人体模型准确、清楚的显示出人体实时动作姿态；所述骨骼数字孪生体的实时渲染是通过计算机图形学技术构建高保真度的虚拟骨骼三维模型，映射骨骼的外貌、姿态与动作，并利用计算机渲染技术将骨骼生物力学性能仿真模拟结果渲染在骨骼三维模型上；所述主要力学性能数值的实时显示是通过图表与刻度线形式，实时显示骨骼上各种生物力学性能的数值大小。
9.根据权利要求1所述的一种人体骨骼的数字孪生体构建方法，其特征在于，所述数据存储系统是将整个架构中各个系统产生的数据存储到本地或数据库中，实现随时的读取和利用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010902457.7A CN112132955B (zh) | 2020-09-01 | 2020-09-01 | 人体骨骼的数字孪生体构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010902457.7A CN112132955B (zh) | 2020-09-01 | 2020-09-01 | 人体骨骼的数字孪生体构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112132955A true CN112132955A (zh) | 2020-12-25 |
| CN112132955B CN112132955B (zh) | 2024-02-06 |
Family
ID=73848449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010902457.7A Active CN112132955B (zh) | 2020-09-01 | 2020-09-01 | 人体骨骼的数字孪生体构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112132955B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269873A (zh) * | 2021-06-01 | 2021-08-17 | 江苏星月测绘科技股份有限公司 | 一种基于数字孪生的三维全息可视化模型及实现方法 |
| CN113408174A (zh) * | 2021-06-28 | 2021-09-17 | 大连理工大学 | 骨骼模型构建方法、装置、计算机设备和存储介质 |
| CN113592227A (zh) * | 2021-06-28 | 2021-11-02 | 广州市健齿生物科技有限公司 | 一种种植体的管理方法、装置及设备 |
| CN114299257A (zh) * | 2021-12-20 | 2022-04-08 | 北京理工大学 | 一种用于数字人和实体的虚实融合方法及系统 |
| CN114550099A (zh) * | 2022-03-01 | 2022-05-27 | 常莫凡 | 基于数字孪生的综合健康管理系统 |
| CN114723886A (zh) * | 2022-04-08 | 2022-07-08 | 贵州大学 | 基于人体数字孪生思想的构建肩胛提肌高保真数字孪生体方法 |
| CN114758758A (zh) * | 2022-03-11 | 2022-07-15 | 武汉平纹信息技术有限公司 | 医疗资源管理优化的处理方法、系统、介质、设备及终端 |
| CN114821006A (zh) * | 2022-06-23 | 2022-07-29 | 盾钰（上海）互联网科技有限公司 | 交互式间接推理的孪生体态检测方法及系统 |
| CN115544812A (zh) * | 2022-11-28 | 2022-12-30 | 杭州轻宇宙科技有限公司 | 一种数字孪生虚拟人的构建方法、系统、电子设备及介质 |
| CN115543094A (zh) * | 2022-11-28 | 2022-12-30 | 杭州轻宇宙科技有限公司 | 数字孪生虚拟人与人体的交互方法、系统、电子设备 |
| CN117173382A (zh) * | 2023-10-27 | 2023-12-05 | 南京维赛客网络科技有限公司 | Vr交互中的虚拟数字人体态矫正方法、系统及存储介质 |
| WO2024055397A1 (zh) * | 2022-09-14 | 2024-03-21 | 上海智能制造功能平台有限公司 | 基于数字孪生的观测视角可追踪方法、系统及终端 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110600132A (zh) * | 2019-08-31 | 2019-12-20 | 深圳市广宁股份有限公司 | 基于振动检测的数字孪生智能健康预测方法及装置 |
| CN110709938A (zh) * | 2017-06-28 | 2020-01-17 | 通用电气公司 | 用于生成患者数字孪生的方法和系统 |
| CN111368417A (zh) * | 2020-03-02 | 2020-07-03 | 大连理工大学 | 面向重大装备或关键部件的“形-性”一体化数字孪生方法 |
| CN111584024A (zh) * | 2020-04-30 | 2020-08-25 | 王林彬 | 一种基于物联网技术的智能骨密度检测系统 |
-
2020
- 2020-09-01 CN CN202010902457.7A patent/CN112132955B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110709938A (zh) * | 2017-06-28 | 2020-01-17 | 通用电气公司 | 用于生成患者数字孪生的方法和系统 |
| CN110600132A (zh) * | 2019-08-31 | 2019-12-20 | 深圳市广宁股份有限公司 | 基于振动检测的数字孪生智能健康预测方法及装置 |
| CN111368417A (zh) * | 2020-03-02 | 2020-07-03 | 大连理工大学 | 面向重大装备或关键部件的“形-性”一体化数字孪生方法 |
| CN111584024A (zh) * | 2020-04-30 | 2020-08-25 | 王林彬 | 一种基于物联网技术的智能骨密度检测系统 |
Non-Patent Citations (2)
| Title |
|---|
| 刘韵婷;郭辉;黄将诚;: "基于UG与ADAMS的人体下肢骨骼肌建模及仿真", 中国组织工程研究, no. 11 * |
| 陶飞;刘蔚然;刘检华;刘晓军;刘强;屈挺;胡天亮;张执南;向峰;徐文君;王军强;张映锋;刘振宇;李浩;程江峰;戚庆林;张萌;张贺;隋芳媛;何立荣;易旺民;程辉;: "数字孪生及其应用探索", 计算机集成制造系统, no. 01 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269873A (zh) * | 2021-06-01 | 2021-08-17 | 江苏星月测绘科技股份有限公司 | 一种基于数字孪生的三维全息可视化模型及实现方法 |
| CN113408174A (zh) * | 2021-06-28 | 2021-09-17 | 大连理工大学 | 骨骼模型构建方法、装置、计算机设备和存储介质 |
| CN113592227A (zh) * | 2021-06-28 | 2021-11-02 | 广州市健齿生物科技有限公司 | 一种种植体的管理方法、装置及设备 |
| CN114299257A (zh) * | 2021-12-20 | 2022-04-08 | 北京理工大学 | 一种用于数字人和实体的虚实融合方法及系统 |
| CN114550099A (zh) * | 2022-03-01 | 2022-05-27 | 常莫凡 | 基于数字孪生的综合健康管理系统 |
| CN114758758A (zh) * | 2022-03-11 | 2022-07-15 | 武汉平纹信息技术有限公司 | 医疗资源管理优化的处理方法、系统、介质、设备及终端 |
| CN114723886A (zh) * | 2022-04-08 | 2022-07-08 | 贵州大学 | 基于人体数字孪生思想的构建肩胛提肌高保真数字孪生体方法 |
| CN114821006A (zh) * | 2022-06-23 | 2022-07-29 | 盾钰（上海）互联网科技有限公司 | 交互式间接推理的孪生体态检测方法及系统 |
| US11809616B1 (en) | 2022-06-23 | 2023-11-07 | Qing Zhang | Twin pose detection method and system based on interactive indirect inference |
| WO2024055397A1 (zh) * | 2022-09-14 | 2024-03-21 | 上海智能制造功能平台有限公司 | 基于数字孪生的观测视角可追踪方法、系统及终端 |
| CN115544812A (zh) * | 2022-11-28 | 2022-12-30 | 杭州轻宇宙科技有限公司 | 一种数字孪生虚拟人的构建方法、系统、电子设备及介质 |
| CN115543094A (zh) * | 2022-11-28 | 2022-12-30 | 杭州轻宇宙科技有限公司 | 数字孪生虚拟人与人体的交互方法、系统、电子设备 |
| CN115543094B (zh) * | 2022-11-28 | 2023-05-30 | 杭州轻宇宙科技有限公司 | 数字孪生虚拟人与人体的交互方法、系统、电子设备 |
| CN117173382A (zh) * | 2023-10-27 | 2023-12-05 | 南京维赛客网络科技有限公司 | Vr交互中的虚拟数字人体态矫正方法、系统及存储介质 |
| CN117173382B (zh) * | 2023-10-27 | 2024-01-26 | 南京维赛客网络科技有限公司 | Vr交互中的虚拟数字人体态矫正方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112132955B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112132955B (zh) | 人体骨骼的数字孪生体构建方法 | |
| Mundt et al. | Estimation of gait mechanics based on simulated and measured IMU data using an artificial neural network | |
| US9176819B2 (en) | Detecting sensor malfunctions using compression analysis of binary decision diagrams | |
| CN110659677A (zh) | 一种基于可移动传感器组合设备的人体跌倒检测方法 | |
| Tai et al. | Digital-Twin-Enabled IoMT system for surgical simulation using rAC-GAN | |
| CN114678097B (zh) | 一种面向智慧服装的人工智能与数字孪生系统及方法 | |
| CN104462760A (zh) | 三维可视化健康评估方法与系统 | |
| CN110517768A (zh) | 异常预测方法、异常预测装置、电子设备及存储介质 | |
| CN114417738B (zh) | 稀疏imu实时人体动作捕捉及关节受力预测方法及系统 | |
| CN115841863A (zh) | 康复训练计划生成和康复训练系统 | |
| CN116110597A (zh) | 一种基于数字孪生的患者病症类别智能分析方法及装置 | |
| Yin et al. | A systematic review on digital human models in assembly process planning | |
| CN114419676A (zh) | 基于人工智能的坐姿分析方法、装置、计算机设备及介质 | |
| Wang et al. | Arbitrary spatial trajectory reconstruction based on a single inertial sensor | |
| Subasi et al. | Digital twins in healthcare and biomedicine | |
| CN117131737A (zh) | 基于数字孪生的骨科植入手术智能监测与辅助系统 | |
| Wolf et al. | Towards virtual assessment of human factors: A concept for data driven prediction and analysis of physical user-product interactions | |
| Vermander et al. | Intelligent systems for sitting posture monitoring and anomaly detection: an overview | |
| CN114998816B (zh) | 基于骨骼ai视频的病例改进方法、装置及存储介质 | |
| CN113869090A (zh) | 一种跌倒风险评估方法及装置 | |
| Koren et al. | Comparison of data-driven models for cleaning eHealth sensor data: Use case on ECG signal | |
| El Fezazi et al. | Conceptual architecture of AI-enabled IoT system for knee rehabilitation exercises telemonitoring | |
| Caldwell et al. | Dextrous exploration of a virtual world for improved prototyping | |
| US20130080382A1 (en) | Compression Threshold Analysis of Binary Decision Diagrams | |
| Wang | Ergonomic-centric methods for workplace design in industrialized construction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |