CN113421326B - 一种基于坐姿点检测的助行设备设计方法及系统 - Google Patents

一种基于坐姿点检测的助行设备设计方法及系统 Download PDF

Info

Publication number
CN113421326B
CN113421326B CN202110557726.5A CN202110557726A CN113421326B CN 113421326 B CN113421326 B CN 113421326B CN 202110557726 A CN202110557726 A CN 202110557726A CN 113421326 B CN113421326 B CN 113421326B
Authority
CN
China
Prior art keywords
dimensional model
vertex
value
vertexes
adjusted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110557726.5A
Other languages
English (en)
Other versions
CN113421326A (zh
Inventor
韩卫国
苏颜丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Ocean University
Original Assignee
Guangdong Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Ocean University filed Critical Guangdong Ocean University
Priority to CN202110557726.5A priority Critical patent/CN113421326B/zh
Publication of CN113421326A publication Critical patent/CN113421326A/zh
Application granted granted Critical
Publication of CN113421326B publication Critical patent/CN113421326B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/23Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14Force analysis or force optimisation, e.g. static or dynamic forces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于坐姿点检测的助行设备设计方法及系统,通过采集用户在使用助行设备时的深度图像;对深度图像进行三维重建,获取三维模型的应力分布图;筛选出应力分布图中的应力集中区域并标记出三维模型的应力集中区域位置;根据将位置映射中各个落有投影点应力集中区域标记为待调整区域;对三维模型中的待调整区域进行强化调整得到优化模型;输出优化模型作为助行设备的3D模型;根据根据使用者的实际情况量身定制助行设备的三维模型,提高助行设备的稳定性,并对可能的接触区域进行调整从而使设计的产品更耐用,对接触区域优化突出了产品与用户接触面的流线型,使最终的更耐磨更适用。

Description

一种基于坐姿点检测的助行设备设计方法及系统
技术领域
本公开属于机器视觉、计算机辅助工业设计技术领域,具体涉及一种基于坐姿点检测的助行设备设计方法及系统。
背景技术
助行设备一般是为使用者,例如助行椅、助步器、四脚拐杖、残疾人辅助行走助行架等,包括老年人和康复患者设计的一种助行设备,用于提供行走辅助与身体支撑,确保使用者在行走过程通过推行、或者滑动等方式实现安全前行的目的,目前对助行设备的设计要求越来越多元化,有时候甚至需要根据使用者的实际情况量身定制双臂操作助行器具或单臂操作助行器具,制式制作的助行设备有时候会不适合很大一部分使用者的实际需求,无法满足使用者的舒适度和安全性,目前的并未有同类的计算机辅助设计方法适合个性化的设计助行设备。
发明内容
本发明的目的在于提出一种基于坐姿点检测的助行设备设计方法及系统,以解决现有技术中所存在的一个或多个技术问题,至少提供一种有益的选择或创造条件。
为了实现上述目的,根据本公开的一方面,提供一种基于坐姿点检测的助行设备设计方法,所述方法包括以下步骤:
S100,通过深度传感器采集用户在使用助行设备时的深度图像作为第一深度图像,采集助行设备的深度图像作为第二深度图像;
S200,对第一深度图像进行三维重建得到三维模型A,对第一深度图像提取人体关键点,并得到人体关键点对应在三维模型A中的位置坐标,对第二深度图像进行三维重建得到三维模型B,并获取三维模型B的应力分布图;
S300,获取三维模型B的应力分布图,筛选出应力分布图中的应力集中区域并标记出三维模型B的应力集中区域对应位置;
S400,构建三维模型B在三维模型A中的应力集中区域和人体关键点的投影点的位置映射,根据将位置映射中各个落有投影点应力集中区域标记为待调整区域;
S500,对三维模型B中的待调整区域进行强化调整得到优化模型;
S600,输出优化模型作为助行设备的3D模型。
进一步地,在S100中,所述深度传感器包括Kinect传感器、Leap Motion传感器、Kinect v2传感器、ToF传感器、深度摄像头、RGBD-SLAM、Xtion2、RealSense深度摄像头中任意一种。
进一步地,在S200和S300中,三维重建的方法包括Marching Cubes算法、SFM算法、双目重建、REMODE算法中任意一种。
进一步地,在S200中,对第一深度图像提取人体关键点的方法为:通过MSPN人体姿态检测算法、OpenPose算法、Realtime Multi-Person Pose Estimation算法、AlphaPose算法、Human Body Pose Estimation算法、DeepPose算法中任意一种算法提取人体关键点,人体关键点至少包括头顶、颈部、左右肩,左右肘、四肢、腰部、主要关节部位的坐标点。
进一步地,在S300中,获取三维模型的应力分布图的方法为:通过有限元分析软件分析得到三维模型的应力分布图,有限元分析软件包括ABAQUS、ANSYS、MSC中任意一种。
进一步地,在S300中,筛选出应力分布图中的应力集中区域的方法为:
将应力分布图进行灰度化,并通过边缘检测算子进行检测得到由边缘曲线构成的多个封闭区域,令各个封闭区域中所有像素值的算术平均值作为参考阈值,筛选出封闭区域中所有像素值灰度值的算术平均值大于参考阈值的封闭区域作为应力集中区域。
进一步地,在S400中,构建三维模型B在三维模型A中的应力集中区域和人体关键点的投影点的位置映射的方法包括以下步骤:
S401,通过Loop细分算法或者Doo-Sabin细分算法对三维模型A和三维模型B进行细分1次后分别得到细分后的三维模型A的顶点集VA={vai1}、边集为EA={eaj1},i1=[1,N1],j1=[1,M1],N1为三维模型A的顶点数量,M1为三维模型A的边的数量;细分后的三维模型B的顶点集VB={vbi2}、边集为EB={ebj2},i2=[1,N2],j2=[1,M2];其中,顶点集为顶点的集合,边集为边的集合,vai1为VA中第i1个顶点,eaj1为VA中第j1条边;vbi2为VB中第i2个顶点,ebj2为VB中第j2条边;(即VA、VB中的各个顶点均为以从三维模型A或三维模型B中的任一顶点开始通过各边进行广度遍历优先遍历顺序的顶点,遍历过程中的各边按照顺序存储于边集EA、EB中),其中,设置变量i1、i2、j1、j2、K的初值为1,设置集合NA、NB初始化为空集;
S402,在VA中,如果存在与顶点vai1通过边eaj1连接的顶点,并且在集合NA中不存在该顶点,则将该顶点加入到集合NA;
S403,如果j1≤M1,将j1的值加1并转到步骤S402,如果j1>M1则将顶点vai1与NA中各个顶点依次连接获得的以vai1为顶点的各个夹角作为基准角度集An1并转到步骤S404;
S404,在VB中,判断顶点vbi2是否在应力集中区域中或者应力集中区域的边缘,如果是则搜索各个与顶点vbi2通过ebj2连接的顶点,如果集合NB中不存在所述顶点则将所述顶点加入到集合NB;
S405,如果j2≤M2时,将j2的值加1并转到步骤S404,如果j2>M2时将顶点vbi2与NB中各个顶点依次连接获得的以vbi2为顶点的多个夹角得到设备角度集An2,并将j2的值设置为初始值1,设变量i3的初值为1,令N3为An1中角度的数量,an1i3为基准角度集An1中第i3个角度,设变量i4的初值为1,令N4为An2中角度的数量,an2i4为设备角度集An2中第i4个角度,设置映射点集合BASE初始化为空集,设计数器变量count,count初始值为0,然后转到步骤S406;
S406,构建角度an2i4的约束关系式:
Figure BDA0003077929020000031
其中,min为求集合中最小的元素,max为集合中最大的元素,式中的an2i4、an1i3均代表夹角的角度值;
S407,当i4≤N4并且an2i4不满足角度an2i4的约束关系时,将i4的值加1并转到步骤S406;
当i4>N4并且an2i4不满足角度an2i4的约束关系时(即,AN2扫描基准角度an1i3对比失败,换An1中下一个基准角度进行AN2的对比扫描),将i4的值设置为1并将i3的值加1并转到步骤S406;
当i4≤N4并且count≤N4/2并且an2i4满足角度an2i4的约束关系时,将count的值加1(即,An2中有角度符合条件),将i4的值加1并转到步骤S406;
当i3>N3并且count≤N4/2,则判断是否i2≤N2,如果是则将i2的值加1,跳转到步骤S404,如果不是则将i2的值设置为1并将i1的值加1,跳转到步骤S403;(即如果An2对应的点不符合映射点条件,开始扫描VB中的下一个点,如果VB中完全不符合则开始扫描VA下一个点);
当i3≤N3并且当count>N4/2时将角度an2i4对应的顶点加入到映射点集合BASE中,将i3的值加1并跳转到步骤S408;(即An2对应的点符合映射点条件,即集合BASE中各点在VA和VB中是一一对应的位置关系);
当i1>N1时,跳转到步骤S408;(即VA中所有的节点扫描完毕);
S408,当BASE中的顶点的数量小于4时,令细分的次数K的值增加1,通过Loop细分算法或者Doo-Sabin细分算法对三维模型A和三维模型B进行细分K次,将K次细分三维模型A后得到的各个顶点依次加入到VA中并对VA去重,将K次细分三维模型B后得到的各个顶点依次加入到VB中并对VB去重,并转到步骤S402;
当BASE中的顶点的数量大于或等于4时,选取BASE中前三个3个点构成平面M,选取第四个点作平面M的法线LF,三维模型B按照平面M和法线LF旋转平移到与三维模型A的位置一致的坐标,并转到步骤S409;
S409,根据人体关键点对应在三维模型A中的位置坐标,将各个人体关键点在三维模型A的平面M方向上作垂直投影点,由于三维模型A和三维模型B的位置一致,垂直投影点落在三维模型B的对应位置上,当有投影点落在三维模型B的应力集中区域中时,将落有投影点应力集中区域标记为待调整区域。
进一步地,在S500中,对三维模型B中的待调整区域进行强化调整得到优化模型的方法包括以下步骤:
将待调整区域中的顶点集VC={vci5}、边集为EC={ecj5},i5=[1,N5],j5=[1,M5],N5为待调整区域中的顶点数量,M5为待调整区域中的边的数量;
强化调整方法如下:计算待调整区域的顶点集VC中每个顶点vci5与相邻顶点连接的各边之间的夹角大小,计算每个顶点vci5的所有与相邻顶点的各边之间夹角大小的算术平均值作为第一均值;计算所有的第一均值的算术平均值作为第二平均值,筛选出第一均值大于第二平均值的所有对应的顶点作为待调整顶点;
令与各个待调整顶点构成夹角的各个相邻顶点中任意抽取三个相邻顶点构成的面为平面M2,如此每个待调整顶点都有一个对应的M2,将各个待调整顶点投影到对应的M2上得到各个投影点Pji5,Pji5表示顶点vci5在其各个相邻顶点构成的平面M2上的投影点,并两两连接所有的待调整顶点vci5和对应的投影点Pji5得到NJ个投影线段,计算调整长度
Figure BDA0003077929020000041
或者,计算调整长度
Figure BDA0003077929020000051
NJ为待调整顶点的数量,LJq为第q个投影线段的长度;将所有的投影线段在待调整顶点端的长度调整到调整长度Lk,从而调整后的投影线段的端点产生变化对应得到新的顶点作为调整顶点,删除掉三维模型B的顶点集VB中所有的待调整顶点和边集EB中待调整顶点对应的边,将各个调整顶点加入三维模型B的顶点集VB,将调整顶点与原来待调整顶点的各个相邻顶点连接得到的各个新的边加入到边集EB中,从而得到强化调整后的新的三维模型B作为优化模型。
进一步地,在S500中,对三维模型B中的待调整区域进行强化调整得到优化模型的方法还可以为:对待调整区域的所有顶点进行增厚或者磨平处理。
进一步地,在S600中,将助行设备的3D模型输出到3D打印机中进行打印输出相应的助行设备产品。
本发明还提供了一种基于坐姿点检测的助行设备设计系统,所述系统包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下系统的单元中:
深度图像采集单元,用于通过深度传感器采集用户在使用助行设备时的深度图像作为第一深度图像,采集助行设备的深度图像作为第二深度图像;
三维模型重建单元,用于对第一深度图像进行三维重建得到三维模型A,对第一深度图像提取人体关键点,并得到人体关键点对应在三维模型A中的位置坐标,对第二深度图像进行三维重建得到三维模型B,并获取三维模型B的应力分布图;
应力分布筛选单元,用于获取三维模型B的应力分布图,筛选出应力分布图中的应力集中区域并标记出三维模型B的应力集中区域对应位置;
调整区域筛选单元,用于构建三维模型B在三维模型A中的应力集中区域和人体关键点的投影点的位置映射,根据将位置映射中各个落有投影点应力集中区域标记为待调整区域;
压力区域强化单元,用于对三维模型B中的待调整区域进行强化调整得到优化模型;
模型输出单元,用于输出优化模型作为助行设备的3D模型。
本公开的有益效果为:本发明提供一种基于坐姿点检测的助行设备设计方法及系统,根据根据使用者的实际情况量身定制助行设备的三维模型,能够通过自动识别人体重心对于应力分布区域的可能受力点改变设计的助行设备的三维结构,从而提高助行设备的稳定性,并对可能的接触区域进行调整从而使设计的产品更耐用,对接触区域优化突出了产品与用户接触面的流线型,使最终的更耐磨更适用。
附图说明
通过对结合附图所示出的实施方式进行详细说明,本公开的上述以及其他特征将更加明显,本公开附图中相同的参考标号表示相同或相似的元素,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,在附图中:
图1所示为一种基于坐姿点检测的助行设备设计方法的流程图;
图2所示为一种基于坐姿点检测的助行设备设计系统结构图。
具体实施方式
以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述,以充分地理解本公开的目的、方案和效果。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
如图1所示为一种基于坐姿点检测的助行设备设计方法的流程图,下面结合图1来阐述根据本发明的实施方式的一种基于坐姿点检测的助行设备设计方法,所述方法包括以下步骤:
S100,通过深度传感器采集用户在使用助行设备时的深度图像作为第一深度图像,采集助行设备的深度图像作为第二深度图像;
S200,对第一深度图像进行三维重建得到三维模型A,对第一深度图像提取人体关键点,并得到人体关键点对应在三维模型A中的位置坐标,对第二深度图像进行三维重建得到三维模型B,并获取三维模型B的应力分布图;
S300,获取三维模型B的应力分布图,筛选出应力分布图中的应力集中区域并标记出三维模型B的应力集中区域对应位置;
S400,构建三维模型B在三维模型A中的应力集中区域和人体关键点的投影点的位置映射,根据将位置映射中各个落有投影点应力集中区域标记为待调整区域;
S500,对三维模型B中的待调整区域进行强化调整得到优化模型;
S600,输出优化模型作为助行设备的3D模型。
进一步地,在S100中,所述深度传感器包括Kinect传感器、Leap Motion传感器、Kinect v2传感器、ToF传感器、深度摄像头、RGBD-SLAM、Xtion2、RealSense深度摄像头中任意一种。
进一步地,在S200和S300中,三维重建的方法包括Marching Cubes算法、SFM算法、双目重建、REMODE算法中任意一种。
进一步地,在S200中,对第一深度图像提取人体关键点的方法为:通过MSPN人体姿态检测算法、OpenPose算法、Realtime Multi-Person Pose Estimation算法、AlphaPose算法、Human Body Pose Estimation算法、DeepPose算法中任意一种算法提取人体关键点,人体关键点至少包括头顶、颈部、左右肩,左右肘、四肢、腰部、主要关节部位的坐标点。
进一步地,在S300中,获取三维模型的应力分布图的方法为:通过有限元分析软件分析得到三维模型的应力分布图,有限元分析软件包括ABAQUS、ANSYS、MSC中任意一种。
进一步地,在S300中,筛选出应力分布图中的应力集中区域的方法为:
将应力分布图进行灰度化,并通过边缘检测算子进行检测得到由边缘曲线构成的多个封闭区域,令各个封闭区域中所有像素值的算术平均值作为参考阈值,筛选出封闭区域中所有像素值灰度值的算术平均值大于参考阈值的封闭区域作为应力集中区域。
进一步地,在S400中,构建三维模型B在三维模型A中的应力集中区域和人体关键点的投影点的位置映射的方法包括以下步骤:
S401,通过Loop细分算法或者Doo-Sabin细分算法对三维模型A和三维模型B进行细分1次后分别得到细分后的三维模型A的顶点集VA={vai1}、边集为EA={eaj1},i1=[1,N1],j1=[1,M1],N1为三维模型A的顶点数量,M1为三维模型A的边的数量;细分后的三维模型B的顶点集VB={vbi2}、边集为EB={ebj2},i2=[1,N2],j2=[1,M2];其中,顶点集为顶点的集合,边集为边的集合,vai1为VA中第i1个顶点,eaj1为VA中第j1条边;vbi2为VB中第i2个顶点,ebj2为VB中第j2条边;(即VA、VB中的各个顶点均为以从三维模型A或三维模型B中的任一顶点开始通过各边进行广度遍历优先遍历顺序的顶点,遍历过程中的各边按照顺序存储于边集EA、EB中),其中,设置变量i1、i2、j1、j2、K的初值为1,设置集合NA、NB初始化为空集;
S402,在VA中,如果存在与顶点vai1通过边eaj1连接的顶点,并且在集合NA中不存在该顶点,则将该顶点加入到集合NA;
S403,如果j1≤M1,将j1的值加1并转到步骤S402,如果j1>M1则将顶点vai1与NA中各个顶点依次连接获得的以vai1为顶点的各个夹角作为基准角度集An1并转到步骤S404;
S404,在VB中,判断顶点vbi2是否在应力集中区域中或者应力集中区域的边缘,如果是则搜索各个与顶点vbi2通过ebj2连接的顶点,如果集合NB中不存在所述顶点则将所述顶点加入到集合NB;
S405,如果j2≤M2时,将j2的值加1并转到步骤S404,如果j2>M2时将顶点vbi2与NB中各个顶点依次连接获得的以vbi2为顶点的多个夹角得到设备角度集An2,并将j2的值设置为初始值1,设变量i3的初值为1,令N3为An1中角度的数量,an1i3为基准角度集An1中第i3个角度,设变量i4的初值为1,令N4为An2中角度的数量,an2i4为设备角度集An2中第i4个角度,设置映射点集合BASE初始化为空集,设计数器变量count,count初始值为0,然后转到步骤S406;
S406,构建角度an2i4的约束关系式:
Figure BDA0003077929020000081
其中,min为求集合中最小的元素,max为集合中最大的元素,式中的an2i4、an1i3均代表夹角的角度值;
S407,当i4≤N4并且an2i4不满足角度an2i4的约束关系时,将i4的值加1并转到步骤S406;
当i4>N4并且an2i4不满足角度an2i4的约束关系时(即,AN2扫描基准角度an1i3对比失败,换An1中下一个基准角度进行AN2的对比扫描),将i4的值设置为1并将i3的值加1并转到步骤S406;
当i4≤N4并且count≤N4/2并且an2i4满足角度an2i4的约束关系时,将count的值加1(即,An2中有角度符合条件),将i4的值加1并转到步骤S406;
当i3>N3并且count≤N4/2,则判断是否i2≤N2,如果是则将i2的值加1,跳转到步骤S404,如果不是则将i2的值设置为1并将i1的值加1,跳转到步骤S403;(即如果An2对应的点不符合映射点条件,开始扫描VB中的下一个点,如果VB中完全不符合则开始扫描VA下一个点);
当i3≤N3并且当count>N4/2时将角度an2i4对应的顶点加入到映射点集合BASE中,将i3的值加1并跳转到步骤S408;(即An2对应的点符合映射点条件,即集合BASE中各点在VA和VB中是一一对应的位置关系);
当i1>N1时,跳转到步骤S408;(即VA中所有的节点扫描完毕);
S408,当BASE中的顶点的数量小于4时,令细分的次数K的值增加1,通过Loop细分算法或者Doo-Sabin细分算法对三维模型A和三维模型B进行细分K次,将K次细分三维模型A后得到的各个顶点依次加入到VA中并对VA去重,将K次细分三维模型B后得到的各个顶点依次加入到VB中并对VB去重,并转到步骤S402;
当BASE中的顶点的数量大于或等于4时,选取BASE中前三个3个点构成平面M,选取第四个点作平面M的法线LF,三维模型B按照平面M和法线LF旋转平移到与三维模型A的位置一致的坐标,并转到步骤S409;
S409,根据人体关键点对应在三维模型A中的位置坐标,将各个人体关键点在三维模型A的平面M方向上作垂直投影点,由于三维模型A和三维模型B的位置一致,垂直投影点落在三维模型B的对应位置上,当有投影点落在三维模型B的应力集中区域中时,将落有投影点应力集中区域标记为待调整区域。
进一步地,在S500中,对三维模型B中的待调整区域进行强化调整得到优化模型的方法包括以下步骤:
将待调整区域中的顶点集VC={vci5}、边集为EC={ecj5},i5=[1,N5],j5=[1,M5],N5为待调整区域中的顶点数量,M5为待调整区域中的边的数量;
强化调整方法如下:计算待调整区域的顶点集VC中每个顶点vci5与相邻顶点连接的各边之间的夹角大小,计算每个顶点vci5的所有与相邻顶点的各边之间夹角大小的算术平均值作为第一均值;计算所有的第一均值的算术平均值作为第二平均值,筛选出第一均值大于第二平均值的所有对应的顶点作为待调整顶点;
令与各个待调整顶点构成夹角的各个相邻顶点中任意抽取三个相邻顶点构成的面为平面M2,如此每个待调整顶点都有一个对应的M2,将各个待调整顶点投影到对应的M2上得到各个投影点Pji5,Pji5表示顶点vci5在其各个相邻顶点构成的平面M2上的投影点,并两两连接所有的待调整顶点vci5和对应的投影点Pji5得到NJ个投影线段,计算调整长度
Figure BDA0003077929020000091
或者,计算调整长度LK为
Figure BDA0003077929020000092
NJ为待调整顶点的数量,LJq为第q个投影线段的长度;将所有的投影线段在待调整顶点端的长度调整到调整长度Lk,从而调整后的投影线段的端点产生变化对应得到新的顶点作为调整顶点,删除掉三维模型B的顶点集VB中所有的待调整顶点和边集EB中待调整顶点对应的边,将各个调整顶点加入三维模型B的顶点集VB,将调整顶点与原来待调整顶点的各个相邻顶点连接得到的各个新的边加入到边集EB中,从而得到强化调整后的新的三维模型B作为优化模型。
进一步地,在S500中,对三维模型B中的待调整区域进行强化调整得到优化模型的方法还可以为:对待调整区域的所有顶点进行增厚或者磨平处理。
本公开的实施例提供的一种基于坐姿点检测的助行设备设计系统,如图2所示为本公开的一种基于坐姿点检测的助行设备设计系统结构图,该实施例的一种基于坐姿点检测的助行设备设计系统包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述一种基于坐姿点检测的助行设备设计系统实施例中的步骤。
所述系统包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下系统的单元中:
深度图像采集单元,用于通过深度传感器采集用户在使用助行设备时的深度图像作为第一深度图像,采集助行设备的深度图像作为第二深度图像;
三维模型重建单元,用于对第一深度图像进行三维重建得到三维模型A,对第一深度图像提取人体关键点,并得到人体关键点对应在三维模型A中的位置坐标,对第二深度图像进行三维重建得到三维模型B,并获取三维模型B的应力分布图;
应力分布筛选单元,用于获取三维模型B的应力分布图,筛选出应力分布图中的应力集中区域并标记出三维模型B的应力集中区域对应位置;
调整区域筛选单元,用于构建三维模型B在三维模型A中的应力集中区域和人体关键点的投影点的位置映射,根据将位置映射中各个落有投影点应力集中区域标记为待调整区域;
压力区域强化单元,用于对三维模型B中的待调整区域进行强化调整得到优化模型;
模型输出单元,用于输出优化模型作为助行设备的3D模型。
所述一种基于坐姿点检测的助行设备设计系统可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种基于坐姿点检测的助行设备设计系统,可运行的系统可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,所述例子仅仅是一种基于坐姿点检测的助行设备设计系统的示例,并不构成对一种基于坐姿点检测的助行设备设计系统的限定,可以包括比例子更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述一种基于坐姿点检测的助行设备设计系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述一种基于坐姿点检测的助行设备设计系统运行系统的控制中心,利用各种接口和线路连接整个一种基于坐姿点检测的助行设备设计系统可运行系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述一种基于坐姿点检测的助行设备设计系统的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述,但其并非旨在局限于任何这些细节或实施例或任何特殊实施例,从而有效地涵盖本公开的预定范围。此外,上文以发明人可预见的实施例对本公开进行描述,其目的是为了提供有用的描述,而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。

Claims (6)

1.一种基于坐姿点检测的助行设备设计方法,其特征在于,所述方法包括以下步骤:
S100,通过深度传感器采集用户在使用助行设备时的深度图像作为第一深度图像,采集助行设备的深度图像作为第二深度图像;
S200,对第一深度图像进行三维重建得到三维模型A,对第一深度图像提取人体关键点,并得到人体关键点对应在三维模型A中的位置坐标,对第二深度图像进行三维重建得到三维模型B,并获取三维模型B的应力分布图;
S300,获取三维模型B的应力分布图,筛选出应力分布图中的应力集中区域并标记出三维模型B的应力集中区域对应位置;
S400,构建三维模型B在三维模型A中的应力集中区域和人体关键点的投影点的位置映射,根据将位置映射中各个落有投影点应力集中区域标记为待调整区域;
S500,对三维模型B中的待调整区域进行强化调整得到优化模型;
S600,输出优化模型作为助行设备的3D模型;
其中,构建三维模型B在三维模型A中的应力集中区域和人体关键点的投影点的位置映射的方法包括以下步骤:
S401,通过Loop细分算法或者Doo-Sabin细分算法对三维模型A和三维模型B进行细分1次后分别得到细分后的三维模型A的顶点集VA={vai1}、边集为EA={eaj1},i1=[1,N1] ,j1=[1,M1],N1为三维模型A的顶点数量,M1为三维模型A的边的数量;细分后的三维模型B的顶点集VB={vbi2}、边集为EB={ebj2},i2=[1,N2],j2=[1,M2];其中,顶点集为顶点的集合,边集为边的集合,vai1为VA中第i1个顶点,eaj1为VA中第j1条边;vbi2为VB中第i2个顶点,ebj2为VB中第j2条边;其中,设置变量i1、i2、j1、j2、K的初值为1,设置集合NA、NB初始化为空集;
S402,在VA中,如果存在与顶点vai1通过边eaj1连接的顶点,并且在集合NA中不存在该顶点,则将该顶点加入到集合NA;
S403,如果j1≤M1,将j1的值加1并转到步骤S402,如果j1>M1则将顶点vai1与NA中各个顶点依次连接获得的以vai1为顶点的各个夹角作为基准角度集An1并转到步骤S404;
S404,在VB中,判断顶点vbi2是否在应力集中区域中或者应力集中区域的边缘,如果是则搜索各个与顶点vbi2通过ebj2连接的顶点,如果集合NB中不存在所述顶点则将所述顶点加入到集合NB;
S405,如果j2≤M2时,将j2的值加1并转到步骤S404,如果j2>M2时将顶点vbi2与NB中各个顶点依次连接获得的以vbi2为顶点的多个夹角得到设备角度集An2,并将j2的值设置为初始值1,设变量i3的初值为1,令N3为An1中夹角的数量,an1i3为基准角度集An1中第i3个角度,设变量i4的初值为1,令N4为An2中夹角的数量,an2i4为设备角度集An2中第i4个角度,设置映射点集合BASE初始化为空集,设计数器变量count,count初始值为0,然后转到步骤S406;
S406,构建角度an2i4的约束关系式:
Figure DEST_PATH_IMAGE002
,其中,min为求集合中最小的元素,max为集合中最大的元素;
S407,当i4≤N4并且an2i4不满足角度an2i4的约束关系时,将i4的值加1并转到步骤S406;
当i4>N4并且an2i4不满足角度an2i4的约束关系时,将i4的值设置为1并将i3的值加1并转到步骤S406;
当i4≤N4 并且count≤N4/2并且an2i4满足角度an2i4的约束关系时,将count的值加1,将i4的值加1并转到步骤S406;
当i3>N3并且count≤N4/2,则判断是否i2≤N2,如果是则将i2的值加1,跳转到步骤S404,如果不是则将i2的值设置为1并将i1的值加1,跳转到步骤S403;
当i3≤N3并且当count>N4/2时将角度an2i4对应的顶点加入到映射点集合BASE中,将i3的值加1并跳转到步骤S408;
当i1>N1时,跳转到步骤S408;
S408,当BASE中的顶点的数量小于4时,令细分的次数K的值增加1,通过Loop细分算法或者Doo-Sabin细分算法对三维模型A和三维模型B进行细分K次,将K次细分三维模型A后得到的各个顶点依次加入到VA中并对VA去重,将K次细分三维模型B后得到的各个顶点依次加入到VB中并对VB去重,并转到步骤S402;
当BASE中的顶点的数量大于或等于4时,选取BASE中前三个3个点构成平面M,选取第四个点作平面M的法线LF,三维模型B按照平面M和法线LF旋转平移到与三维模型A的位置一致的坐标,并转到步骤S409;
S409,根据人体关键点对应在三维模型A中的位置坐标,将各个人体关键点在三维模型A的平面M方向上作垂直投影点,由于三维模型A和三维模型B的位置一致,垂直投影点落在三维模型B的对应位置上,当有投影点落在三维模型B的应力集中区域中时,将落有投影点应力集中区域标记为待调整区域。
2.根据权利要求1所述的一种基于坐姿点检测的助行设备设计方法,其特征在于,在S100中,所述深度传感器包括Kinect传感器、Leap Motion传感器、Kinect v2传感器、ToF传感器、深度摄像头、RGBD-SLAM、Xtion2、RealSense深度摄像头中任意一种。
3.根据权利要求1所述的一种基于坐姿点检测的助行设备设计方法,其特征在于,在S200中,对第一深度图像提取人体关键点的方法为:通过MSPN人体姿态检测算法、OpenPose算法、Realtime Multi-Person Pose Estimation算法、AlphaPose算法、Human Body PoseEstimation算法、DeepPose算法中任意一种算法提取人体关键点,人体关键点至少包括头顶、颈部、左右肩,左右肘、四肢、腰部、主要关节部位的坐标点。
4.根据权利要求1所述的一种基于坐姿点检测的助行设备设计方法,其特征在于,在S300中,筛选出应力分布图中的应力集中区域的方法为:
将应力分布图进行灰度化,并通过边缘检测算子进行检测得到由边缘曲线构成的多个封闭区域,令各个封闭区域中所有像素值的算术平均值作为参考阈值,筛选出封闭区域中所有像素值灰度值的算术平均值大于参考阈值的封闭区域作为应力集中区域。
5.根据权利要求1所述的一种基于坐姿点检测的助行设备设计方法,其特征在于,在S500中,对三维模型B中的待调整区域进行强化调整得到优化模型的方法包括以下步骤:
将待调整区域中的顶点集VC={vci5}、边集为EC={ecj5},i5=[1,N5] ,j5=[1,M5],N5为待调整区域中的顶点数量, M5为待调整区域中的边的数量;
强化调整方法如下:计算顶点集VC中每个顶点vci5与相邻顶点连接的各边之间的夹角大小,计算每个顶点vci5的所有与相邻顶点的各边之间夹角大小的算术平均值作为第一均值;计算所有的第一均值的算术平均值作为第二平均值,筛选出第一均值大于第二平均值的所有对应的顶点作为待调整顶点;
令与各个待调整顶点构成夹角的各个相邻顶点构成的面为平面M2,将各个待调整顶点投影到M2上得到各个投影点Pji5,Pji5表示顶点vci5在其各个相邻顶点构成的平面M2上的投影点,并连接所有的待调整顶点vci5和投影点Pji5得到NJ个投影线段,计算调整长度
Figure DEST_PATH_IMAGE004
,或者,调整长度
Figure DEST_PATH_IMAGE006
,NJ为待调整顶点的数量,LJq为第q个投影线段的长度;将所有的投影线段在待调整顶点端的长度调整到调整长度Lk,从而调整后的投影线段的端点产生变化对应得到新的顶点作为调整顶点,删除掉三维模型B的顶点集VB中所有的待调整顶点和边集EB中待调整顶点对应的边,将各个调整顶点加入三维模型B的顶点集VB,将调整顶点与原来待调整顶点的各个相邻顶点连接得到的各个新的边加入到边集EB中,从而得到强化调整后的新的三维模型B作为优化模型。
6.一种基于坐姿点检测的助行设备设计系统,其特征在于,所述系统包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下系统的单元中:
深度图像采集单元,用于通过深度传感器采集用户在使用助行设备时的深度图像作为第一深度图像,采集助行设备的深度图像作为第二深度图像;
三维模型重建单元,用于对第一深度图像进行三维重建得到三维模型A,对第一深度图像提取人体关键点,并得到人体关键点对应在三维模型A中的位置坐标,对第二深度图像进行三维重建得到三维模型B,并获取三维模型B的应力分布图;
应力分布筛选单元,用于获取三维模型B的应力分布图,筛选出应力分布图中的应力集中区域并标记出三维模型B的应力集中区域对应位置;
调整区域筛选单元,用于构建三维模型B在三维模型A中的应力集中区域和人体关键点的投影点的位置映射,根据将位置映射中各个落有投影点应力集中区域标记为待调整区域;
压力区域强化单元,用于对三维模型B中的待调整区域进行强化调整得到优化模型;
模型输出单元,用于输出优化模型作为助行设备的3D模型;
其中,构建三维模型B在三维模型A中的应力集中区域和人体关键点的投影点的位置映射的方法包括以下步骤:
S401,通过Loop细分算法或者Doo-Sabin细分算法对三维模型A和三维模型B进行细分1次后分别得到细分后的三维模型A的顶点集VA={vai1}、边集为EA={eaj1},i1=[1,N1] ,j1=[1,M1],N1为三维模型A的顶点数量,M1为三维模型A的边的数量;细分后的三维模型B的顶点集VB={vbi2}、边集为EB={ebj2},i2=[1,N2],j2=[1,M2];其中,顶点集为顶点的集合,边集为边的集合,vai1为VA中第i1个顶点,eaj1为VA中第j1条边;vbi2为VB中第i2个顶点,ebj2为VB中第j2条边;其中,设置变量i1、i2、j1、j2、K的初值为1,设置集合NA、NB初始化为空集;
S402,在VA中,如果存在与顶点vai1通过边eaj1连接的顶点,并且在集合NA中不存在该顶点,则将该顶点加入到集合NA;
S403,如果j1≤M1,将j1的值加1并转到步骤S402,如果j1>M1则将顶点vai1与NA中各个顶点依次连接获得的以vai1为顶点的各个夹角作为基准角度集An1并转到步骤S404;
S404,在VB中,判断顶点vbi2是否在应力集中区域中或者应力集中区域的边缘,如果是则搜索各个与顶点vbi2通过ebj2连接的顶点,如果集合NB中不存在所述顶点则将所述顶点加入到集合NB;
S405,如果j2≤M2时,将j2的值加1并转到步骤S404,如果j2>M2时将顶点vbi2与NB中各个顶点依次连接获得的以vbi2为顶点的多个夹角得到设备角度集An2,并将j2的值设置为初始值1,设变量i3的初值为1,令N3为An1中夹角的数量,an1i3为基准角度集An1中第i3个角度,设变量i4的初值为1,令N4为An2中夹角的数量,an2i4为设备角度集An2中第i4个角度,设置映射点集合BASE初始化为空集,设计数器变量count,count初始值为0,然后转到步骤S406;
S406,构建角度an2i4的约束关系式:
Figure 192349DEST_PATH_IMAGE002
,其中,min为求集合中最小的元素,max为集合中最大的元素;
S407,当i4≤N4并且an2i4不满足角度an2i4的约束关系时,将i4的值加1并转到步骤S406;
当i4>N4并且an2i4不满足角度an2i4的约束关系时,将i4的值设置为1并将i3的值加1并转到步骤S406;
当i4≤N4 并且count≤N4/2并且an2i4满足角度an2i4的约束关系时,将count的值加1,将i4的值加1并转到步骤S406;
当i3>N3并且count≤N4/2,则判断是否i2≤N2,如果是则将i2的值加1,跳转到步骤S404,如果不是则将i2的值设置为1并将i1的值加1,跳转到步骤S403;
当i3≤N3并且当count>N4/2时将角度an2i4对应的顶点加入到映射点集合BASE中,将i3的值加1并跳转到步骤S408;
当i1>N1时,跳转到步骤S408;
S408,当BASE中的顶点的数量小于4时,令细分的次数K的值增加1,通过Loop细分算法或者Doo-Sabin细分算法对三维模型A和三维模型B进行细分K次,将K次细分三维模型A后得到的各个顶点依次加入到VA中并对VA去重,将K次细分三维模型B后得到的各个顶点依次加入到VB中并对VB去重,并转到步骤S402;
当BASE中的顶点的数量大于或等于4时,选取BASE中前三个3个点构成平面M,选取第四个点作平面M的法线LF,三维模型B按照平面M和法线LF旋转平移到与三维模型A的位置一致的坐标,并转到步骤S409;
S409,根据人体关键点对应在三维模型A中的位置坐标,将各个人体关键点在三维模型A的平面M方向上作垂直投影点,由于三维模型A和三维模型B的位置一致,垂直投影点落在三维模型B的对应位置上,当有投影点落在三维模型B的应力集中区域中时,将落有投影点应力集中区域标记为待调整区域。
CN202110557726.5A 2021-05-21 2021-05-21 一种基于坐姿点检测的助行设备设计方法及系统 Expired - Fee Related CN113421326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110557726.5A CN113421326B (zh) 2021-05-21 2021-05-21 一种基于坐姿点检测的助行设备设计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110557726.5A CN113421326B (zh) 2021-05-21 2021-05-21 一种基于坐姿点检测的助行设备设计方法及系统

Publications (2)

Publication Number Publication Date
CN113421326A CN113421326A (zh) 2021-09-21
CN113421326B true CN113421326B (zh) 2022-03-18

Family

ID=77712726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110557726.5A Expired - Fee Related CN113421326B (zh) 2021-05-21 2021-05-21 一种基于坐姿点检测的助行设备设计方法及系统

Country Status (1)

Country Link
CN (1) CN113421326B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7918808B2 (en) * 2000-09-20 2011-04-05 Simmons John C Assistive clothing
DE102008032992B4 (de) * 2008-07-14 2010-05-12 Pro Thesis Gmbh Verfahren und System zur Erstellung eines 3D-Schaft-Stumpfmodells zur Herstellung eines Prothesenschaftes
US20160341517A1 (en) * 2015-05-21 2016-11-24 Intelboss LLC System and method for producing a customized grip
US10482202B2 (en) * 2016-06-30 2019-11-19 The Procter & Gamble Company Method for modeling a manufacturing process for a product
IT201700111746A1 (it) * 2017-10-05 2019-04-05 Niccolò Sala Dispositivo indossabile per il supporto alla deambulazione e metodo corrispondente
EP3797404A4 (en) * 2018-05-22 2022-02-16 Magic Leap, Inc. SKELETAL SYSTEMS TO ANIMATE VIRTUAL AVATARS
DE102018116612A1 (de) * 2018-07-10 2020-01-16 Orthoscoot Gmbh Polsterkörper für eine Beinauflage einer fahrbaren Gehhilfe

Also Published As

Publication number Publication date
CN113421326A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
Livesu et al. Polycut: Monotone graph-cuts for polycube base-complex construction
US20210012558A1 (en) Method and apparatus for reconstructing three-dimensional model of human body, and storage medium
KR100819960B1 (ko) 등각 구조에 의한 기하학적 표면의 분석 방법
Osher et al. Geometric level set methods in imaging, vision, and graphics
US9474582B2 (en) Personalized orthopedic implant CAD model generation
Golovinskiy et al. Randomized cuts for 3D mesh analysis
JP4780106B2 (ja) 情報処理装置及び情報処理方法、画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
KR20230127313A (ko) 3차원 재구성 및 관련 인터랙션, 측정 방법 및 관련장치, 기기
CN103208133A (zh) 一种图像中人脸胖瘦的调整方法
CN109064549B (zh) 标志点检测模型生成方法及标志点检测方法
CN112307876B (zh) 关节点检测方法及装置
JP2019096113A (ja) キーポイントデータに関する加工装置、方法及びプログラム
CN111033560A (zh) 信息处理装置、模型数据创建程序、模型数据创建方法
Azariadis Parameterization of clouds of unorganized points using dynamic base surfaces
Werghi et al. A functional-based segmentation of human body scans in arbitrary postures
Lin et al. Quality guaranteed all-hex mesh generation by a constrained volume iterative fitting algorithm
JP6863596B6 (ja) データ処理装置及びデータ処理方法
WO2021175208A1 (zh) 人体模型的建模方法、建模装置、电子设备及存储介质
Ito et al. Robust generation of high‐quality unstructured meshes on realistic biomedical geometry
CN113870420A (zh) 三维人脸模型重建方法、装置、存储介质及计算机设备
CN113421326B (zh) 一种基于坐姿点检测的助行设备设计方法及系统
Laskov et al. Curvature-based algorithms for nonrigid motion and correspondence estimation
JP6617016B2 (ja) 三次元形状オブジェクトの平均形状算出方法及びそのプログラム
CN114119928A (zh) 一种基于网格操作的肺内器官三维模型优化方法及系统
CN110717373B (zh) 图像模拟方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220318