CN117770796A - 一种基于光纤传感的虚拟交互训练系统 - Google Patents
一种基于光纤传感的虚拟交互训练系统 Download PDFInfo
- Publication number
- CN117770796A CN117770796A CN202311190330.7A CN202311190330A CN117770796A CN 117770796 A CN117770796 A CN 117770796A CN 202311190330 A CN202311190330 A CN 202311190330A CN 117770796 A CN117770796 A CN 117770796A
- Authority
- CN
- China
- Prior art keywords
- sensor
- virtual
- optical fiber
- training system
- joint angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013307 optical fiber Substances 0.000 title claims abstract description 89
- 238000012549 training Methods 0.000 title claims abstract description 60
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 19
- 230000009975 flexible effect Effects 0.000 claims abstract description 47
- 239000000835 fiber Substances 0.000 claims abstract description 31
- 210000003205 muscle Anatomy 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000007499 fusion processing Methods 0.000 claims abstract description 5
- 238000010276 construction Methods 0.000 claims abstract description 3
- 230000001121 heart beat frequency Effects 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims abstract description 3
- 230000035565 breathing frequency Effects 0.000 claims abstract 2
- 238000005452 bending Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 13
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000006854 communication Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 239000004744 fabric Substances 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 230000003238 somatosensory effect Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 210000003127 knee Anatomy 0.000 claims description 4
- 210000003371 toe Anatomy 0.000 claims description 3
- 239000000853 adhesive Substances 0.000 claims description 2
- 230000001070 adhesive effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 230000002146 bilateral effect Effects 0.000 claims 1
- 241000282414 Homo sapiens Species 0.000 abstract description 14
- 230000008569 process Effects 0.000 abstract description 12
- 230000033001 locomotion Effects 0.000 description 19
- 230000036387 respiratory rate Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 239000000741 silica gel Substances 0.000 description 5
- 229910002027 silica gel Inorganic materials 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000000629 knee joint Anatomy 0.000 description 4
- 230000000241 respiratory effect Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000006378 damage Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000004060 metabolic process Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- MGWGWNFMUOTEHG-UHFFFAOYSA-N 4-(3,5-dimethylphenyl)-1,3-thiazol-2-amine Chemical compound CC1=CC(C)=CC(C=2N=C(N)SC=2)=C1 MGWGWNFMUOTEHG-UHFFFAOYSA-N 0.000 description 1
- 229920004933 Terylene® Polymers 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000004744 fore-foot Anatomy 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- JCXJVPUVTGWSNB-UHFFFAOYSA-N nitrogen dioxide Inorganic materials O=[N]=O JCXJVPUVTGWSNB-UHFFFAOYSA-N 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920000728 polyester Polymers 0.000 description 1
- 239000005020 polyethylene terephthalate Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及康复医疗技术领域,具体涉及一种基于光纤传感的虚拟交互训练系统。包括肌肉形变传感器、关节角度传感器、呼吸心率传感器、柔性压力鞋垫、多传感器融合模块和虚拟康复游戏客户端,各个传感器均采用光纤传感器,肌肉形变传感器用于检测肌肉形变,关节角度传感器用于检测关节角度,呼吸心率传感器用于检测呼吸和心跳频率,柔性压力鞋垫用于检测足底压力,多传感器融合模块用于将各个传感器输入的数据进行融合处理,并根据处理结果进行虚拟游戏控制,虚拟康复游戏客户端用于根据控制信号进行虚拟游戏场景构建。通过多个光纤传感器采集多种人体数据,构建高真实感、趣味性强、针对性强的虚拟场景,增加了康复训练过程的趣味性。
Description
技术领域
本发明涉及康复医疗技术领域,具体涉及一种基于光纤传感的虚拟交互训练系统。
背景技术
目前用于生物信息检测的传感器系统多由刚性或电传感器组成,如:肌肉电信号采集设备、惯性传感器、面罩式呼吸代谢监测设备等,这类传感器存在设备体积较大、携带不方便、穿戴时间过长会使患者出现不适等问题。而目前柔性传感器由于缺乏准确性、可靠性、高功耗、刚性、难以抵抗电磁干扰等因素,限制了它们的应用。光纤传感器具有较好的柔性,但光纤传感系统通常采用裸光纤,但是由于裸光纤的直径很小,当传感器受到较大应力时,光纤会对柔性基底材料施加很大压强,导致光纤相对于材料发生相对滑动,造成“脱胶”,使传感器中光纤的形态发生不可逆转的变化,进而使光纤传感器失效,这种情况在大角度的角度传感器中尤为常见。此外,裸光纤还会使传感器的抵抗恶劣环境的能力下降,更容易受到损坏。
可穿戴技术渐渐融入人类日常生活,但面临着环境多变、骨骼特征复杂等挑战,因此研发了面向关节角、肌肉形变、呼吸心跳的可穿戴柔性传感系统,揭示人体自然运动规律,为复杂环境中的外骨骼自适应控制提供智能感知技术支撑是十分有必要的。公告号为CN114632301A的专利通过光纤传感器和二氧化氮气体浓度精确的得到佩戴者的手指弯曲情况,进而对佩戴者的训练情况进行监测。公告号为CN114740982A的专利基于柔性光纤检测动作捕捉系统,能够实现动捕数据和复现动作数据的同时采集,进而实现虚拟人物在动捕软件中进行实时互动。但所设计的光纤传感器仅能采集单一类型的物理信号,难以同时监测多种参数,提升感知系统的准确度与感知维度。
在传统的康复训练场景下,患者多以医师等专业人员的治疗手法为主,或者辅助一些简单的器械进行,由于这种训练模式单一枯燥,使得整个康复治疗过程中患者参与积极性不高、康复效率较低,不利于康复训练的进行和深入。因此如何提升患者的训练效果是进行康复训练要考虑的一个重要因素。公告号为CN113593671B的专利可获取患者患侧当前康复状态数据,通过与患者健侧进行对比,根据患者表现自动调整游戏难度。公告号为CN115562494A的专利通过虚拟游戏实现康复流程的复现,给患者康复训练提供标准化指导。公告号为CN116036553A的专利利用肌电信号对肢体动作进行识别,辅助患者进行有意识的肢体运动,促进康复效果最大化。但缺乏一些安全防护措施,诸如监测心跳等参数,防止在康复中出现二次损伤。
综上所述,为解决上述问题,在研究多模态柔性光纤传感器的基础上开发一款能够辅助患者康复且提高患者康复意愿的虚拟游戏康复系统是十分重要的。
发明内容
本发明的目的就是针对现有技术的缺陷,提供一种基于光纤传感的虚拟交互训练系统,通过多个光纤传感器采集多种人体数据,从而构建高真实感、趣味性强、针对性强的虚拟场景,增加了整个康复训练过程的趣味性。
本发明提供的一种基于光纤传感的虚拟交互训练系统,包括肌肉形变传感器、关节角度传感器、呼吸心率传感器、柔性压力鞋垫、多传感器融合模块和虚拟康复游戏客户端,各个传感器均采用光纤传感器,所述肌肉形变传感器用于检测肌肉形变,所述关节角度传感器用于检测关节角度,所述呼吸心率传感器用于检测呼吸和心跳频率,所述柔性压力鞋垫用于检测足底压力,所述多传感器融合模块用于将各个传感器输入的数据进行融合处理,并根据处理结果进行虚拟游戏控制,所述虚拟康复游戏客户端用于根据多传感器融合模块输出的控制信号进行虚拟游戏场景构建。
较为优选的,所述肌肉形变传感器采用光纤柔性传感器,所述肌肉形变传感器的光纤包括延伸段、回转段和用于光顺连接所述延伸段与回转段的弧形连接段,所述延伸段一端连接光纤首端,另一端连接所述弧形连接段的一端,所述回转段一端连接光纤尾端,另一端连接弧形连接段的另一端,所述延伸段和所述回转段为上下对称的正弦波形。
较为优选的,所述关节角度传感器采用光纤柔性传感器,所述关节角度传感器的光纤采用回环布线形式,所述关节角度传感器的光纤具有多个回环弯曲,所述关节角度传感器在膝盖弯曲区域通过多个粘接点进行光纤粘贴固定,所述回环布线时使光纤在粘贴处的切线方向与弯曲时导致织物长度发生变化的方向垂直。
较为优选的,所述回环弯曲的数量为5个,且弯曲处的曲率半径不小于6mm。
较为优选的,所述呼吸心率传感器采用光纤柔性传感器,所述呼吸心率传感器包括呼吸心率传感器光纤、基座和栅格,所述基座沿长度方向均匀设有多道栅格,所述光纤以弯曲的形式设置于所述基座内,所述基座固定于松紧带上,所述松紧带两端配置有可插接配合的卡扣。
较为优选的,所述光纤以正弦波形式弯曲设置,所述正弦波由1/2周期的第一正弦波和1/2周期的第二正弦波组合形成,所述第一正弦波在波峰/波谷处的半径大于第二正弦波在波峰/波谷处的半径。
较为优选的,所述第一正弦波在波峰/波谷处的半径为50mm,所述第二正弦波在波峰/波谷处的半径为20mm,所述栅格的长度为1mm,所有栅格形成的栅格阵列的宽度为14mm,相邻栅格之间的间距为1mm。
较为优选的,所述柔性压力鞋垫包括鞋垫基座、足底光纤和柔性压力传感单元,所述鞋垫基座的上表面与脚趾、脚掌和脚跟处固定有多个柔性压力传感单元,所述足底光纤由多个波长不同的光纤串联形成,所述足底光纤以弯曲环绕的方式布置于所述鞋垫基座上,并串联接连各个柔性压力传感单元。
较为优选的,所述多传感器融合模块接收到各个传感器输入的数据后,对数据进行预处理,所述预处理包括:
在相同的时间间隔对数据进行截断,得到每个传感器截取的特征向量;
将所述特征向量拼接为一个特征矩阵;
采用卷积神经网络模型对所述特征矩阵进行特征提取,得到特征数据。
较为优选的,所述多传感器融合模块与所述虚拟康复游戏客户端的通信包括:
步骤1,通过PHP语言的mysqli_connect()函数与MySQL数据库进行连接,并检查是否连接成功;
步骤2,若连接成功,则通过PHP代码的mysqli_query()函数执行对数据库里数据信息的查询,查询到数据后通过mysqli_fetch_assoc()函数获取关联数组,取出需要的数据信息;
步骤3,通过AJAX的$.get()方法从服务器上请求步骤2中数据信息,并赋值给HTML中的全局变量,用于控制网页版虚拟体感游戏,将处理后的HTML结果通过HTTP响应返回浏览器。
本发明的有益效果为:
1、通过多个光纤传感器采集多种人体数据,从而构建高真实感、趣味性强、针对性强的虚拟场景。将患者在现实生活中的康复训练状态同步传输到虚拟场景中,并与虚拟世界进行交互作用,同时虚拟场景给予患者训练的实时视觉反馈,从反馈中感知和调整运动状态,增加了整个康复训练过程的趣味性,消除患者重复训练的消极心态,提高患者康复训练的效率,达到康复训练的目的。
2、通过采用宏弯损耗原理,设计出高灵敏度肌肉形变光纤柔性传感器、关节角度光纤柔性传感器、检测呼吸代谢的光纤传感器,通过采用回环布线的方式,在保证曲率半径不会很小的情况下在采样区域获得更多的采样点,通过采用正弦函数的形式摆放,以提高其应对横向拉伸的能力。
3、通过多模态光纤传感器实现贴肤采集。将光纤传感器与传统纺织品进行结合,利用胶水将传感器的两端固定在涤纶松紧带上,形成柔性织物光纤传感器,使得新型的柔性传感器不仅具有光纤传感器的特点,同时还拥有传统纺织品佩戴舒适和更贴合人体的优势,通过多传感器形成柔性传感网络,进而更好的检测人体体征数据。
4、由于光纤传感器的采样频率相同,为了提升传感网络的信息处理效率,设计了一个多传感器数据融合算法,利用卷积神经网络模型充分提取特征矩阵中每一维数据的特征,高精度的分辨出人体下肢的运动模式,实现高精度分辨人体运动模式。
附图说明
图1为本发明一种基于光纤传感的虚拟交互训练系统示意图;
图2为本发明肌肉形变传感器的光纤柔性传感器示意图;
图3为本发明关节角度传感器的光纤柔性传感器示意图;
图4为本发明呼吸心率传感器的俯视图;
图5为本发明呼吸心率传感器的主视图;
图6为本发明柔性压力鞋垫的立体结构示意图;
图7为本发明柔性压力鞋垫的主视图;
图8为本发明多模态光纤数据预处理的流程图;
图9为本发明基于多模态光纤数据的人体活动识别模型示意图;
图10为本发明人体运动识别的结果图;
图11为光纤传感器功能图。
图中:1-肌肉形变传感器,101-延伸段,102-回转段,103-弧形连接段,2-关节角度传感器,3-呼吸心率传感器,301-基座,302-栅格,303-呼吸心率传感器光纤,4-柔性压力鞋垫,401-足底光纤,402-柔性压力传感单元,403-鞋垫基座,5-多传感器融合模块,6-虚拟康复游戏客户端。
具体实施方式
为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,当元件被称为“固定于”或“设置于”另一个元件,它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件,它可以是直接连接到另一个元件或间接连接至该另一个元件上。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。“多个”表示“两个或两个以上”。
实施例一
图1示出了本申请较佳实施例提供的一种基于光纤传感的虚拟交互训练系统的结构示意图,为了便于说明,仅示出了与本实施例相关的部分,详述如下:
本系统设计了三个肌肉形变传感器1、一个关节角度传感器2、一个检测足底压力的柔性压力鞋垫4和一个用于监测患者呼吸代谢的呼吸心率传感器3,进而组成多模态光纤传感器网络。通过多模态传感器采集患者腿部和胸部在康复训练时的运动状态数据信息,将其在多传感器融合模块5进行数据融合处理后将患者的康复训练状态映射到虚拟场景中进而实时控制康复体感游戏,并根据康复学将患者康复训练数据通过视觉反馈到虚拟康复游戏客户端6,从反馈中感知和调整运动状态,让患者可以实时了解自己的运动状态及训练任务的完成情况,提高患者康复训练的效率。
在一个实施例中,如图2所示,肌肉形变传感器1采用光纤柔性传感器,为增加其灵敏度和传感器的延展性,使用了正弦函数和圆弧结合的设计。所述肌肉形变传感器1的光纤包括延伸段101、回转段102和用于光顺连接所述延伸段101与回转段102的弧形连接段103。所述延伸段101一端连接光纤首端,另一端连接所述弧形连接段103的一端,所述回转段102一端连接光纤尾端,另一端连接弧形连接段103的另一端,所述延伸段101和所述回转段102为上下对称的正弦波形。通过延伸段101、回转段102使用上下两次的正弦函数是为了增加传感器的灵敏度,同时使用正弦函数也能使光纤的弯曲曲率得到控制,使光损耗保持在适当的水平区间内,并且正弦函数也能使传感器的伸长长度得到提升。两段正弦函数使用圆弧平滑连接,这样做的目的也是为了让光纤的曲率不至于太大,而使传感器的量程下降。另外相较于直线连接,圆弧连接也能提升传感器的拉伸长度。圆弧的半径约为7.9mm。正弦函数部分的曲线解析式表达为:
在一个实施例中,如图3所示,关节角度传感器2采用光纤柔性传感器。关节角度传感器2的光纤采用回环布线形式,关节角度传感器的光纤具有多个回环弯曲,关节角度传感器在膝盖弯曲区域通过多个粘接点进行光纤粘贴固定,回环布线时使光纤在粘贴处的切线方向与弯曲时导致织物长度发生变化的方向垂直。通过将在膝盖弯曲的区域附近增加粘接位点的数量,使传感器的灵敏度增加,为了防止光纤在受到弯曲形变时,表面的形变使光纤断裂,本设计计划采用回环布线的方式,使光纤在粘贴处的切线方向与弯曲时导致织物长度发生变化的方向垂直,且回环布线的方式也能在保证曲率半径不会很小的情况下在采样区域获得更多的采样点。传感器中的光纤会有5个回环弯曲,且其曲率半径不会小于6mm,以防止由于曲率半径太小而导致光损耗过大,导致测量效果不佳。当肌肉发生形变或角度发生变化时,紧贴在肌肉表面或环绕在关节附近的光纤将会发生形变。将光纤预先弯曲成特定形状,发生形变时光纤的曲率会发生变化。肌肉发生不同程度的形变时,将反射光解调后,可以得到不同强度的反射光强。
在一个实施例中,如图4、5所示,呼吸心率传感器3采用光纤柔性传感器。呼吸心率传感器3长105mm宽15mm高2mm。呼吸心率传感器3包括呼吸心率传感器光纤303、基座301和栅格302,所述基座沿长度方向均匀设有多道栅格,所述光纤以弯曲的形式设置于所述基座内,所述基座固定于松紧带上,所述松紧带两端配置有可插接配合的卡扣。为了增加传感器的横向延展性,光纤以正弦波形式弯曲设置,所述正弦波由1/2周期的第一正弦波和1/2周期的第二正弦波组合形成,所述第一正弦波在波峰/波谷处的半径大于第二正弦波在波峰/波谷处的半径。
在一个实施例中,所述第一正弦波在波峰/波谷处的半径为50mm,所述第二正弦波在波峰/波谷处的半径为20mm,所述栅格的长度为1mm,所有栅格形成的栅格阵列的宽度为14mm,相邻栅格之间的间距为1mm。
呼吸心率传感器3设备所使用的主体材料有光纤布拉格光栅、AB硅胶、涤纶松紧带、塑料硬管。通过AB硅胶来对光纤进行封装,并通过硅胶将其固定到松紧带上,在松紧带两端配置插扣以形成柔性呼吸、心跳传感设备。通过硅胶将柔性呼吸、心跳传感器的两端固定粘贴在条形松紧带上,并在松紧带的两端安置插扣使得传感器能够佩戴在人体胸部位置。本柔性呼吸、心率传感设备佩戴于人体的胸部位置,其中传感器需与心脏所在部位大致对齐。
针对折射率突变型单模光纤,设曲率半径为R,则每单位长度的弯曲损耗(dB/m)可表示为:
以及近似公式:
式中,λc是光纤的截止波长,λ为光栅反射波长。
当1≤λ/λc≤2时,由式(2)和(3)计算出的弯曲损耗的准确度是较高的。由此可得,该传感器能利用微弯损耗原理检测出佩戴者的心率与呼吸速率。
如图6、7所示,柔性压力鞋垫4包括鞋垫基座403、足底光纤401和柔性压力传感单元402。鞋垫基座的上表面与脚趾(大拇指1个)、脚掌(前脚掌3个)和脚跟(脚跟处1个)处通过硅胶固定有多个柔性压力传感单元402。足底光纤401由多个波长不同的光纤串联形成,所述足底光纤以弯曲环绕的方式布置于所述鞋垫基座上,并串联接连各个柔性压力传感单元。佩戴柔性压力鞋垫4的试验人员站在跑步机上。将柔性压力鞋垫4与拖鞋进行结合,试验人员通过穿戴拖鞋以检测足底压力。
如图8所示,所述多传感器融合模块接收到各个传感器输入的数据后,对数据进行预处理,所述预处理包括:
当光纤传感器的数据由解调仪实时传送出来后,在相同的时间间隔对数据进行截断,得到每个传感器截取的特征向量;
由于光纤解调仪的采样率相同,所以在相同时间内每个传感器所截取的特征向量的长度一致,将所述特征向量拼接为一个特征矩阵;
由于特征矩阵的构造与图片的构造类似,采用CNN卷积神经网络模型对所述特征矩阵进行特征提取,CNN可以直接从传感器的原始数据中自动提取特征,而且可以同时提取更深层次的抽象特征,得到特征数据。
如图9所示,以草原踢球场景作为虚拟康复游戏场景时,本系统中踢球不同力度的大小按照多个不同力度等级来分配标签。首先使用数据预处理将多个传感器的特征向量整合成一个矩阵后,对矩阵使用2层CNN进行卷积运算,用于学习不同传感器之间的关联特征。Softmax和Loss会将神经网络的预测与标签计算出各自的损失值。深度学习的目标即通过降低总损失值来降低子任务的错误率,通过不断迭代,多次更新网络模型来优化复杂活动的识别模型。
如图10所示,人体运动识别中,本次采集的数据集中有360个样本,其中1km/h的步行状态有120个样本;1.5km/h的步行状态有120个样本;从坐下到站起的过程有60个样本;从站立到坐下的过程有60个样本。为了增加样本集的大小,同时使不同类别间的样本点数更加平衡,对于坐下过程和站起过程中的每个样本点均进行了一次变换,对原始数据添加趋势项,使样本点倍增。故最后使用的数据集共有480个样本,每个状态均有120个样本。
在训练过程中,使用了两层卷积层;第一层中有512个卷积核,第二层中有256个卷积核;三个全连接层,其中最后一层用来做分类。对于训练集,将样本随机划分280个用作训练集,即每个类别有70个样本用作训练,对于测试集,每一类有50个样本用作测试。训练过程进行了100次迭代,卷积神经网络对于不同频率的走路状态具有很好的分类准确度,对于起立和坐下的状态判别准确达到了95%的准确度,综合准确度达到了97.5%。
在设计场景时我们要结合患者自身情况进行全面考虑,为了让患者进行康复训练的主动积极性更高,场景环境一般设计为患者感兴趣的场景,如太空迷宫场景和草原踢球场景图,同时制定趣味游戏任务让患者能够沉浸在虚拟游戏中进行间接康复治疗。同时虚拟体感游戏中需要实现膝关节的前进/后退、左转/右转等基本动作,为此在虚拟场景设置了以下训练策略:患者膝关节处于有一定自主运动能力的康复阶段,可以进行主动训练独立完成训练任务,但不能超过膝关节正常运动范围,避免受到二次伤害。该训练过程让患者以训练任务为导向进行目的性训练,还可以通过文字给予患者心理引导,当训练效果良好时要给予肯定和认可,反之要给予鼓励,大大提高患者进行康复训练的积极性。
康复训练体感游戏系统要实现虚拟现实实时通信,即实现患者与虚拟场景自然交互的基本。其通信过程实际包括两部分,第一部分是多模态传感器与上位机之间的通信,将多模态传感器采集到的信息传入上位机并进行数据融合处理;第二部分是上位机软件与虚拟场景之间的通信,建立服务端和客户端,动态数据库可以作为中间媒介将处理后的数据通过TCP网络通信实时传入到数据库中,再通过获取数据库中的数据信息虚拟游戏控制,从而实现了虚拟现实的人机交互,提升患者康复训练的趣味性。主要利用PHP技术创建动态交互性站点读取数据库中存储的数据信息,再利用AJAX技术与PHP进行后台交互,将数据信息添加到前端HTML3D模型中,实时控制3D模型中的物体,达到人机交互的目的。本系统中多传感器融合模块与所述虚拟康复游戏客户端进行通信的主要操作流程如下:
步骤1,通过PHP语言的mysqli_connect()函数与MySQL数据库进行连接,并检查是否连接成功;
步骤2,若连接成功,则通过PHP代码的mysqli_query()函数执行对数据库里数据信息的查询,查询到数据后通过mysqli_fetch_assoc()函数获取关联数组,取出需要的数据信息;
步骤3,通过AJAX的$.get()方法从服务器上请求步骤2中数据信息,并赋值给HTML中的全局变量,用于控制网页版虚拟体感游戏,将处理后的HTML结果通过HTTP响应返回浏览器。
如图11所示,以太空迷宫场景为例,为了让患者身临其境的体验迷宫探险,可以将视角切换成虚拟化身的视角,虚拟化身在迷宫中沿着地上指示线行走,不可以穿墙而过,走出迷宫即为完成本次任务。在太空迷宫场景中主要涉及到前进/后退、左转/右转四种操作,是针对膝关节的不同速度下康复训练。虚拟游戏中设置有GUI界面,可以通过这来控制相机视角和是否选择虚拟化身的第三视角进行沉浸式游戏体验,康复体感游戏中虚拟化身的位置信息、康复训练时的生理状态信息如心率、任务完成情况可以实时反馈给患者,有助于患者及时调整康复训练计划,在训练结束之后该系统可以对患者进行康复训练情况的评价,而且该康复游戏还限制患者超负荷运动,一旦检测到患者心率过快时,将强制停止患者进行康复训练。
应该明白,公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好,应该理解,过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素,并且不是要限于所述的特定顺序或层次。
在上述的详细描述中,各种特征一起组合在单个的实施方案中,以简化本公开。不应该将这种公开方法解释为反映了这样的意图,即,所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反,如所附的权利要求书所反映的那样,本发明处于比所公开的单个实施方案的全部特征少的状态。因此,所附的权利要求书特此清楚地被并入详细描述中,其中每项权利要求独自作为本发明单独的优选实施方案。
为使本领域内的任何技术人员能够实现或者使用本发明,上面对所公开实施例进行了描述。对于本领域技术人员来说;这些实施例的各种修改方式都是显而易见的,并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此,本公开并不限于本文给出的实施例,而是与本申请公开的原理和新颖性特征的最广范围相一致。
上文的描述包括一个或多个实施例的举例。当然,为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的,但是本领域普通技术人员应该认识到,各个实施例可以做进一步的组合和排列。因此,本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外,就说明书或权利要求书中使用的术语“包含”,该词的涵盖方式类似于术语“包括”,就如同“包括”,在权利要求中用作衔接词所解释的那样。此外,使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于光纤传感的虚拟交互训练系统,其特征在于:包括肌肉形变传感器、关节角度传感器、呼吸心率传感器、柔性压力鞋垫、多传感器融合模块和虚拟康复游戏客户端,各个传感器均采用光纤传感器,所述肌肉形变传感器用于检测肌肉形变,所述关节角度传感器用于检测关节角度,所述呼吸心率传感器用于检测呼吸和心跳频率,所述柔性压力鞋垫用于检测足底压力,所述多传感器融合模块用于将各个传感器输入的数据进行融合处理,并根据处理结果进行虚拟游戏控制,所述虚拟康复游戏客户端用于根据多传感器融合模块输出的控制信号进行虚拟游戏场景构建。
2.根据权利要求1所述的基于光纤传感的虚拟交互训练系统,其特征在于:所述肌肉形变传感器采用光纤柔性传感器,所述肌肉形变传感器的光纤包括延伸段、回转段和用于光顺连接所述延伸段与回转段的弧形连接段,所述延伸段一端连接光纤首端,另一端连接所述弧形连接段的一端,所述回转段一端连接光纤尾端,另一端连接弧形连接段的另一端,所述延伸段和所述回转段为上下对称的正弦波形。
3.根据权利要求1所述的基于光纤传感的虚拟交互训练系统,其特征在于:所述关节角度传感器采用光纤柔性传感器,所述关节角度传感器的光纤采用回环布线形式,所述关节角度传感器的光纤具有多个回环弯曲,所述关节角度传感器在膝盖弯曲区域通过多个粘接点进行光纤粘贴固定,所述回环布线时使光纤在粘贴处的切线方向与弯曲时导致织物长度发生变化的方向垂直。
4.根据权利要求3所述的基于光纤传感的虚拟交互训练系统,其特征在于:所述回环弯曲的数量为5个,且弯曲处的曲率半径不小于6mm。
5.根据权利要求1所述的基于光纤传感的虚拟交互训练系统,其特征在于:所述呼吸心率传感器采用光纤柔性传感器,所述呼吸心率传感器包括呼吸心率传感器光纤、基座和栅格,所述基座沿长度方向均匀设有多道栅格,所述光纤以弯曲的形式设置于所述基座内,所述基座固定于松紧带上,所述松紧带两端配置有可插接配合的卡扣。
6.根据权利要求5所述的基于光纤传感的虚拟交互训练系统,其特征在于:所述光纤以正弦波形式弯曲设置,所述正弦波由1/2周期的第一正弦波和1/2周期的第二正弦波组合形成,所述第一正弦波在波峰/波谷处的半径大于第二正弦波在波峰/波谷处的半径。
7.根据权利要求6所述的基于光纤传感的虚拟交互训练系统,其特征在于:所述第一正弦波在波峰/波谷处的半径为50mm,所述第二正弦波在波峰/波谷处的半径为20mm,所述栅格的长度为1mm,所有栅格形成的栅格阵列的宽度为14mm,相邻栅格之间的间距为1mm。
8.根据权利要求5所述的基于光纤传感的虚拟交互训练系统,其特征在于:所述柔性压力鞋垫包括鞋垫基座、足底光纤和柔性压力传感单元,所述鞋垫基座的上表面与脚趾、脚掌和脚跟处固定有多个柔性压力传感单元,所述足底光纤由多个波长不同的光纤串联形成,所述足底光纤以弯曲环绕的方式布置于所述鞋垫基座上,并串联接连各个柔性压力传感单元。
9.根据权利要求1所述的基于光纤传感的虚拟交互训练系统,其特征在于:所述多传感器融合模块接收到各个传感器输入的数据后,对数据进行预处理,所述预处理包括:
在相同的时间间隔对数据进行截断,得到每个传感器截取的特征向量;
将所述特征向量拼接为一个特征矩阵;
采用卷积神经网络模型对所述特征矩阵进行特征提取,得到特征数据。
10.根据权利要求1所述的基于光纤传感的虚拟交互训练系统,其特征在于,所述多传感器融合模块与所述虚拟康复游戏客户端的通信包括:
步骤1,通过PHP语言的mysqli_connect()函数与MySQL数据库进行连接,并检查是否连接成功;
步骤2,若连接成功,则通过PHP代码的mysqli_query()函数执行对数据库里数据信息的查询,查询到数据后通过mysqli_fetch_assoc()函数获取关联数组,取出需要的数据信息;
步骤3,通过AJAX的$.get()方法从服务器上请求步骤2中数据信息,并赋值给HTML中的全局变量,用于控制网页版虚拟体感游戏,将处理后的HTML结果通过HTTP响应返回浏览器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311190330.7A CN117770796A (zh) | 2023-09-15 | 2023-09-15 | 一种基于光纤传感的虚拟交互训练系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311190330.7A CN117770796A (zh) | 2023-09-15 | 2023-09-15 | 一种基于光纤传感的虚拟交互训练系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117770796A true CN117770796A (zh) | 2024-03-29 |
Family
ID=90385805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311190330.7A Pending CN117770796A (zh) | 2023-09-15 | 2023-09-15 | 一种基于光纤传感的虚拟交互训练系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117770796A (zh) |
-
2023
- 2023-09-15 CN CN202311190330.7A patent/CN117770796A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mendes Jr et al. | Sensor fusion and smart sensor in sports and biomedical applications | |
US11033453B1 (en) | Neurocognitive training system for improving visual motor responses | |
Nascimento et al. | Sensors and systems for physical rehabilitation and health monitoring—A review | |
US10966606B1 (en) | System and method for measuring the head position and postural sway of a subject | |
Avola et al. | An interactive and low-cost full body rehabilitation framework based on 3D immersive serious games | |
Da Gama et al. | Guidance and movement correction based on therapeutics movements for motor rehabilitation support systems | |
Webster et al. | Systematic review of Kinect applications in elderly care and stroke rehabilitation | |
CN109528203A (zh) | 一种基于多源信息融合的交互式脑卒中患者步态训练及评测系统 | |
US9814430B1 (en) | System and method for measuring eye movement and/or eye position and postural sway of a subject | |
AU2022202416A1 (en) | Multi-joint Tracking Combining Embedded Sensors and an External | |
Bleser et al. | A personalized exercise trainer for the elderly | |
CN109599165A (zh) | 康复运动训练方法、系统及可读存储介质 | |
US10357165B2 (en) | Method and apparatus for acquiring bioinformation and apparatus for testing bioinformation | |
CN101801261A (zh) | 身体机能监测方法及监测器 | |
CA2379961A1 (en) | Rehabilitation apparatus and method | |
CN110448282A (zh) | 一种光纤感应组件及生命体征监测装置 | |
Gauthier et al. | Human movement quantification using Kinect for in-home physical exercise monitoring | |
CN112911994A (zh) | 用于检测心血管脉搏生理活动、身体运动和肌肉动作的可穿戴鞋类传感器阵列 | |
KR20200090555A (ko) | 신경계 손상 환자용 보행 재활 시스템 및 이를 이용한 보행 재활 방법 | |
CN117770796A (zh) | 一种基于光纤传感的虚拟交互训练系统 | |
KR20170056396A (ko) | 생체신호에 기반한 웨어러블 자전거 운동 강도 가이드 시스템 및 방법 | |
US11712162B1 (en) | System for testing and/or training the vision of a user | |
Vasco et al. | HR1 robot: An assistant for healthcare applications | |
Raison | On the quantification of joint and muscle efforts in the human body during motion | |
Silva | Wearable sensors systems for human motion analysis: sports and rehabilitation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |