CN105160139B - 一种虚拟人维修动作混合驱动方法 - Google Patents
一种虚拟人维修动作混合驱动方法 Download PDFInfo
- Publication number
- CN105160139B CN105160139B CN201510679753.4A CN201510679753A CN105160139B CN 105160139 B CN105160139 B CN 105160139B CN 201510679753 A CN201510679753 A CN 201510679753A CN 105160139 B CN105160139 B CN 105160139B
- Authority
- CN
- China
- Prior art keywords
- maintenance
- action
- visual human
- human
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种虚拟人维修动作混合驱动方法，其包括以下步骤：通过CAD中的装配模型实现维修信息建模；根据所述维修信息建模在三维虚拟环境下虚拟人维修操作：虚拟人动作由实时运动捕捉数据与模型算法混合驱动；局部维修动作与过渡维修动作由实时运动捕捉数据驱动，当虚拟手或者维修工具或者拆卸工具进行精细维修动作约束识别与匹配时，自动转换为模型算法驱动，并由姿态约束机提高虚拟人动作驱动的效率与精度，同时通过自动提取维修过程关键帧的人机工效信息，采用自定义的量化准则进行评估，并设计实验对量化结果进行可信性评价。
Description
技术领域
本发明涉及一种驱动方法，尤其涉及一种虚拟人维修动作混合驱动方法。
背景技术
维修性问题是复杂装备的基础共性问题，贯穿装备的全生命周期。维修性已经成为评价装备性能的重要指标，较差的维修性设计不仅增加维护成本，而且降低装备利用率。复杂装备如飞机、雷达、大吨位履带吊等对维修性要求很高，必须保证其在规定的时间内能恢复到规定功能状态，因此在复杂装备设计阶段，就需要制定详细的维修指令描述拆卸、检测、更换/修复、安装及调试等过程，以确保维修操作能够迅速、安全和准确。维修性设计过程中，设计人员需要考虑维修相关的所有因素，制定维修指令，并通过维修性分析，确定维修性设计措施和评定维修性设计目标的实现程度。由于装备维修活动大部分是手工拆装，并且很少具有生产装配现场所具有的拆装环境如工具与工装，因此改善维修工作条件，便于维修人员手工拆装操作；减少维修的潜在风险，是复杂装备维修性设计亟待解决的问题。针对具体维修作业的特点，在装备的维修性设计过程中，需着重考虑维修作业中人的因素，从适应人的人机工效特性、便于维修人员操作入手，使维修作业环境适宜于人的工作，从而安全、高效地完成维修任务。
尽管虚拟操作技术已有了相当的研究与应用成果，但目前基本上还依靠手工调整虚拟人拆装动作姿态，效率较低，设计人员通常只能根据设计经验，对容易出现问题的部分维修指令、或者维修流程的某个阶段进行分析与评估。这些问题是制约目前虚拟维修技术工程应用的主要瓶颈。
对维修信息建模是虚拟维修的基础，需要建立满足虚拟人维修动作驱动与维修性评估的数字样机，提供各类维修相关信息的集成，其不仅包含CAD几何数据、装配约束关系、物理属性等信息，而且还应包括维修操作行为信息、维修特征信息等。维修信息的集成大体可分为两类方法，一类方法是以集成产品装配信息模型为基础，利用PDM平台，建立集成的产品维修性信息模型(PPR－IVM，包含产品、工艺和资源的集成视图模型)，支持并行维修性设计，军械工程学院在此领域取得了大量的理论与应用研究成果[1]；另一类方法是通过开发CAD平台下的支持模块进行维修性设计，在CAD环境下添加维修信息[2]；针对现有虚拟维修系统中维修资源管理存在的问题，很多研究聚焦在维修资源信息的组织与表达：分别建立工具库、时间库、虚拟人模型库，实现信息的分类管理；利用XML技术，建立可扩展的维修资源集合模型，实现维修资源的科学管理等[3]。
虚拟人手持工具进行拆装时，需要对工具的可接近性与可操作性进行评估，从而选取合适的工具。Chulho Chung等采用全局可接近性锥GAC(Global Accessibility Cone)方法来快速获得拆装工具最合适的路径，评价工具可接近性，但该研究没有加入虚拟人的约束，特别是虚拟手抓取位置对路径的影响[4]。尹周平等分析了进行装配工具可接近性分析的难点，指出其可采用基于可视锥的方法进行研究[5]。
上述研究主要面向维修性设计，未详细提出维修指令人机工效评估相关的操作行为信息、零件及工具的物理属性以及维修工具的信息建模，很少涉及评估所需的拆装特征信息，需要在后续分析过程中进行手工交互式的配置，限制了人机工效分析的效率。
虚拟人维修动作驱动方法目前大体分为两类，一类是通过模型驱动，由“算法控制”3D虚拟人实现拆装动作仿真。此领域的研究是以Balder教授为代表，其研发了软件，采用PAR(参数化动作表达)将语义描述的维修指令映射成虚拟人的动作指令，并通过PaTNet描述维修动作状态，这些方法至今是虚拟人自主驱动实现维修操作的基本方法[6-8]。为提高维修动作驱动效率，很多研究对虚拟人基本维修动作进行抽象，建立维修动素库[9-11]，实现维修动作的重用。另外一些研究为了提高虚拟人维修动作姿态的准确性，结合生理学与生物学模型对虚拟人的运动姿态预测[12-14]。另一类是通过运动捕获数据驱动，由真人通过虚拟现实外设驱动虚拟人运动，此领域研究聚焦在虚拟人动作匹配的真实性与自然性。胡晓燕等提出了一种基于语义分析的懒匹配算法，自动匹配虚拟人模型与运动数据[15]。李石磊等提出了基于任务约束的冗余空间，在加速度层次上的、具有任意多个优先级的虚拟人运动驱动算法[16]。还有许多研究采用跟踪器、数据手套等虚拟现实外设，实时驱动虚拟人/虚拟手进行维修操作[17-18]。
这两类虚拟人动作驱动方式各有其局限性，通过模型驱动在于人体动作复杂性和灵活性，手工编辑方法对人机工程学专业知识要求非常高，工程师需要掌握专门的经验和技能方能合理地编辑虚拟人的行为。考虑路径规划问题，对于复杂作业环境和作业任务而言，手工编辑方法是一项十分繁重的工作。为了提高效率，很多研究提出了通过语义模板进行描述，但复杂装备的维修指令具有多样性、复杂性，难以解析成统一的PAR描述，其动作解析需要集成空间(几何)、视觉、操作行为等多种自然交互方式，因此很难采用“算法控制”准确模拟。对于零件的抓取与持拿等操作仿真，需要手工针对具体拆装操作进行初始化配置[18]。在目前的工程实践中，完成虚拟维修仿真过程仍然是耗时费力的工作：文献[16]提到利用软件每开发一段1分钟的虚拟人维修操作过程，以每人每天8小时工作时间计算，需要一名经验丰富的工程师耗费5～7天的工作时间。
通过运动捕获数据驱动在于虚拟现实外设跟踪范围、精度的限制以及虚拟人关节模型的简化，造成虚拟人姿态控制的准确度不高，难以保证维修动作自然交互的要求，目前的研究还缺少对实时驱动过程中虚拟人驱动精度的性能研究。同时由于交互仿真的实时渲染要求，需要对虚拟样机模型、工具模型、人体模型的几何数据、约束关系等进行精简，造成虚拟环境下紧固件如螺钉、螺母的交互式拆装操作非常困难。另外由于虚拟现实外设跟踪范围、精度的限制，其目前只适合驱动虚拟人在局部维修区域内行走、持拿、释放零件等维修动作。
为提高虚拟人动作驱动的效率，结合上述两种驱动方式的优点，有研究提出采用混合驱动机制实现对虚拟人动作的驱动，目前的研究主要聚焦在虚拟人动作的模型算法驱动与预测，没有充分利用真人实时捕捉数据驱动的优点[16][19]。另外虚拟人是维修活动的发起者和执行者，支配和驱动产品零部件与工具的运动；产品、工具、环境等对虚拟人的行为均具有约束作用，因此虚拟人的维修操作必须服从产品结构、装配特点、工具使用方法等客观约束条件。
参考文献：
[1]刘安清,郝建平,于永利等.支持并行设计的维修性模型及其实现.计算机集成制造系统.2004,10(7):769-800；
[2]罗旭,葛哲学,杨拥民,徐永成.面向维修性CAD的支持功能设计与集成方法.机械设计与制造,2011,7,201-203；
[3]刘钡钡,田凌,杨宇航.航空虚拟维修系统关键技术.计算机集成制造系统,2012,18(1):47-57；
[4]Chulho Chung,Qingjin Peng.Tool selection-embedded optimal assemblyplanning in a dynamic manufacturing environment.2009,Vol.41(7):501-512；
[5]尹周平，丁汉，熊有伦.基于可视锥的可接近性分析方法及其应用.中国科学(E辑).2003,Vol.33(11):979-988；
[6]Norman I.Badler.Virtual Humans for Validating MaintenanceProcedures.2002,45(7):57-63；
[7]Norman I.Badler,et al.Natrual Language Text Generation from TaskNetworks.Final Report to Air Force HRGA,University of Pennsylvania,1997；
[8]Norman I.Baler et al.Parameterized Action Representation andNatural Language Instructions for Dynamic Behavior Modification of EmbodiedAgents.AAAI Technical Report SS-00-02.Compilation2000；
[9]Ranko Vujosevic,John Ianni.A Taxonomy of Motion Models forSimulation and Analysis of Maintenance Tasks.Technology Report,1997,Theuniversity of Iowa；
[10]Antonino Gomes de Sá,Gabriel Zachmann.Virtual reality as a toolfor verification of assembly and maintenance processes.Computers&Graphics,1999,23(3):389-403；
[11]柳辉,郝建军.基于虚拟维修仿真的维修性分析系统设计与实现.系统仿真学报.2006,18(2):378-394；
[12]Reed,M.P.,Zhou,W.,and Diana M.Wegner.Automated Grasp Modeling inthe Human Motion Simulation Framework.2011.Proceedings of the SAE DigitalHuman Modeling for Design and Engineering Conference；
[13]程熙.交互式虚拟人运动生成与控制算法研究[D].浙江大学.2010；
[14]胡晓雁,梁晓辉,赵沁平.自动匹配虚拟人模型与运动数据.软件学报.2006,17(10):2181-2191；
[15]李石磊.数据和模型混合驱动的虚拟人运动生成与控制技术研究[D].国防科学技术大学，2009；
[16]Don B.Chaffin.Human Motion Simulation for Vehicle and WorkplaceDesign.Human Factors and Ergonomics in Manufacturing,2007,17(5):475-484；
[17]Woojin Park,et al.Memory-Based Human Motion Simulation forComputer-Aided Ergonomic Design,IEEE Transactions on Systems,Man,andCybernetics,Part A:Systems and Humans,2008,39(3):513-527；
[18]Chen Shanmin,Ning Tao,Wang ke.Motion Control of Virtual HumanBased on Optical Motion Capture in Immersive Virtual MaintenanceSystem.International Conference on Virtual Reality and Visualization(ICVRV),2011；
[19]吕川,徐宏强,马麟,周栋.“混合控制”驱动虚拟人实现维修仿真.北京航空航天大学学报,2005,31(5),544-547。
发明内容
本发明的目的在于提供一种虚拟人维修动作混合驱动方法，其将提出真人实时捕获数据与模型驱动混合的虚拟人维修动作驱动机制，研究解决驱动过程虚拟人动作精度不高，精细交互拆装操作困难、导航效率低的问题。
本发明通过以下技术方案实现：一种虚拟人维修动作混合驱动方法，其包括以下步骤：
通过CAD中的装配模型实现维修信息建模；
根据所述维修信息建模在三维虚拟环境下虚拟人维修操作：虚拟人动作由实时运动捕捉数据与模型算法混合驱动；局部维修动作与过渡维修动作由实时运动捕捉数据驱动，当虚拟手或者维修工具或者拆卸工具进行精细维修动作约束识别与匹配时，自动转换为模型算法驱动，并由姿态约束机提高虚拟人动作驱动的效率与精度，同时通过自动提取维修过程关键帧的人机工效信息，采用自定义的量化准则进行评估，并设计实验对量化结果进行可信性评价。
作为上述方案的进一步改进，所述姿态约束机为基于功能约束的虚拟人动作驱动的层次约束模型：由拆装环境约束、身体结构约束、人体运动机能约束以及生理机能约束构成的多层次的姿态约束机。
作为上述方案的进一步改进，虚拟人动作包括虚拟人精细维修动作，虚拟人精细维修动作的自动推理过程建模包括以下步骤：根据虚拟人站姿近身作业空间范围和人体视野范围划分若干维修空间，根据虚拟人上肢反求算法、干涉检测算法及舒适度评估方法，逐次建立各个维修空间虚拟人维修姿态的推理法则，进而计算维修动作中的若干关键姿态；关键姿态之间虚拟人关节运动采用球面四元素SLERP算法进行驱动，最终生成完整的维修动作序列。
进一步地，虚拟人动作体现为拧紧螺钉操作时：根据拧过的角度RA、螺距TP和配合轴线AS，计算出每次操作螺钉和拧紧工具位置；再根据虚拟手与工具之间的固联关系，通过虚拟人维修姿态推理模型求解当前最适合的维修操作姿态。
作为上述方案的进一步改进，虚拟人动作驱动的精度优化方法包括以下步骤：首先在获取虚拟环境中各关节空间位姿的基础上，提出虚拟人实时驱动误差的量化方法，根据误差量化函数建立驱动误差模型；其次通过采集拆装过程频繁操作域的空间点，计算若干采样点的累计误差，以该累计误差最小为优化目标，建立优化模型；然后以操作者身高对应的虚拟人部件尺寸作为初始参数，引入部件尺寸收缩系数来扩大寻优范围；最后采用遗传算法对优化模型进行求解，计算操作者与虚拟人的最佳匹配尺寸。
作为上述方案的进一步改进，采用分层优化的方法进行拆卸工具的初始匹配：首先进行工具几何参数的匹配，约束关系的匹配，满足拆装操作需求；然后采用全局可接近性锥GAC(Global Accessibility Cone)方法对工具在拆装空间内进行接近性评估；最后以虚拟人操作舒适性为优化目标，对筛选出的工具进行最优化匹配。
作为上述方案的进一步改进，虚拟人动作采用实时捕捉数据和模型驱动相结合的虚拟人的运动生成与控制方法，包括以下步骤：针对局部动作与过渡动作，通过虚拟现实外设实时捕捉数据驱动，通过基于拆装几何约束的交互式确认，生成逼真的虚拟人维修动作序列，避免复杂的路径规划问题；针对精细动作，采用基于功能约束的方法，由精细维修拆装动作模型算法自动生成维修动作序列。
本发明将建立包含维修拆装特征属性信息的维修要素信息模型以及拆卸工具的约束表达模型，并对拆卸工具快速进行可行性分析，实现自动最优匹配。本发明的有益效果为：
1)提出维修工具可接近性分析：提出带有深度信息的全局可接近性锥GAC，通过遮挡筛选的方法判断工具的扫略体是否在处于自由锥内，从而快速判断工具的可接近性；
2)提出虚拟人动作混合驱动：结合实时捕捉数据驱动与模型驱动优点，通过实时捕捉数据驱动降低模型驱动对虚拟人关节自由度空间冗余处理所面临的难题；通过多层次功能约束模型驱动操作者感知才能完成的精细维修动作，从而有效解决维修动作驱动的效率与精度问题；
3)提出虚拟人实时驱动精度优化：通过对驱动误差因素分析与量化定义，实现硬件噪声的过滤和基于灰色预测模型的在线补偿，优化虚拟人与操作者尺寸匹配。
附图说明
图1是本发明提供的虚拟人维修动作混合驱动方法的总体技术方案框图；
图2是本发明提供的虚拟人维修动作混合驱动方法提供的虚拟人实时驱动精度控制流程图；
图3是本发明提供的虚拟人维修动作混合驱动方法提供的维修工具最优匹配流程。
图4本发明提供的虚拟人维修动作混合驱动方法提供的虚拟人运动混合驱动机制流程图。
具体实施方式
以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。
本发明针对维修指令人机工效评估的效率与准确性问题，提出了虚拟维修环境下虚拟人维修动作混合驱动及人机工效自动量化评估方法，将在复杂装备设计阶段从人机工程领域评估维修指令、有效避免装备由于维修性设计问题而造成的维修困难、维修方案不合理等问题，实现以人为中心的维修性设计，降低装备研制与维护成本。本发明对促进虚拟维修技术在维修性设计领域的普及与工程化具有重要的意义。可以应用到装配指令的人机工效评估，三维装配/维修电子手册的生成、维修操作训练等方面，全面提升装备维修性设计的水平。
为了提高维修指令人机工效评估的效率，满足复杂装备并行维修性设计的需求，虚拟人驱动的自动化与智能化是关键。本项目研究将在及时了解掌握国内外研究工作进展动态，充分利用课题组现有研究工作基础上，采用理论研究与应用开发、实验验证相结合的方法展开研究。
拟定的技术方案如图1所示。总体技术方案上，虚拟人动作由实时运动捕捉数据与模型算法混合驱动，局部维修动作与过渡维修动作由实时运动捕捉数据驱动，当虚拟手或者维修工具进行精细维修动作约束识别与匹配时，自动转换为模型算法驱动，并由拆装环境约束，身体结构约束、人体运动机能约束以及生理机能约束构建姿态约束机，提高虚拟人动作驱动的效率与精度。同时通过自动提取维修过程关键帧的人机工效信息，采用自定义的量化准则进行评估，并设计实验对量化结果进行可信性评价。
1)基于功能约束的精细维修动作建模技术
维修指令蕴含的操作动作信息挖掘需要处理大量的维修指令数据，采用智能挖掘方法提炼典型维修指令动作元素，建立标准拆装动作的结构化表达和解析方法；为了便于计算机的识别与处理，对维修指令动作进行层次编码；同时把每条指令当成一个族，通过数据矩阵表述的维修动作集合，采用曼哈坦距离公式计算族间距离，对动作集合进行聚类分析，获得标准的精细维修动作。建立精细维修拆装动作信息描述模型，包含零件间、零件与工具间的约束类型和个数，约束顺序，以及工程约束(零件或部件)等信息，同时建立拆卸\装配规则、拆卸\装配动作集、工具约束匹配规则等。
本发明拟在这些研究的基础上，建立基于功能约束的虚拟人动作驱动的层次约束模型：由拆装环境约束，身体结构约束、人体运动机能约束以及生理机能约束构成的多层次的姿态约束机。针对标准的精细维修动作，一方面基于运动学反解的方法生成各关节、躯干和头部的目标位置，另外一方面基于实证统计建模的方法构建运动学及动力学的约束模型。本发明申请者采用NDI 红外线跟踪设备，已测量与拟合了旋入、旋出等基本维修动作。以螺钉旋入为例，拟建立的虚拟人精细维修动作自动推理过程建模如下：首先根据虚拟人站姿近身作业空间范围和人体视野范围划分若干维修空间，根据虚拟人上肢反求算法、干涉检测算法及舒适度评估方法，逐次建立各个维修空间虚拟人维修姿态的推理法则，进而计算维修动作中的若干关键姿态；关键姿态之间虚拟人关节运动采用球面四元素SLERP算法进行驱动，最终生成完整的维修动作序列。例如拧紧螺钉动作驱动模型可表达为：
MList＝TightenScrew(Operator,VH&T,Object,RA,TP,AS,v)
式中：Operator为操作者；VH&T表示虚拟手抓取或采用拧紧工具；Object为拧紧对象，此处为螺钉；RA为每次拧紧操作的角度；TP为螺距；AS为螺钉与其配合螺纹孔的轴线；v为维修环境的仿真速率；MList为生成的维修动作关键帧。
以此类推，螺栓、螺母、销钉等其它紧固件的旋入、旋出、拧松、敲打等精细维修动作的驱动模型亦可建立。根据精细动作模型参数计算每次操作零件、工具的位姿矩阵：以拧紧螺钉操作为例，根据拧过的角度RA、螺距TP和配合轴线AS，可计算出每次操作螺钉和拧紧工具位置；再根据虚拟手与工具之间的固联关系，通过虚拟人维修姿态推理模型求解当前最适合的维修操作姿态。
2)基于遗传算法的虚拟人运动精度优化控制技术
影响虚拟人实时驱动精度主要包括两个环节：运动数据的输入环节和处理环节。前者跟硬件本身性能相关，本发明拟将这类由于硬件本身性能导致驱动精度下降的因素称之为硬件因素；后者与虚拟人的实时驱动模型相关，将其归类为软件因素。
常见的硬件因素主要包括连续性噪声和突发性噪声两大类。第一类主要指设备的跟踪误差，其影响主要表现在驱动过程中虚拟人持续“颤抖”，跟踪误差累积会加剧“颤抖”的剧烈程度以至严重失真。第二类指运动跟踪过程的鲁棒性，运动捕捉系统在实时驱动过程中受到外界干扰会产生噪声数据，导致关节运动信息突然缺失或者位姿状态突变，使得虚拟人动作突然失真。针对硬件噪声，首先对采集到的旋转数据建立对应的过滤准则；对实时驱动过程中产生的噪声，按照人体关节极限角度和前后关键帧关节角度变化幅度进行滤波；对于合理的跟踪数据，采用递推平均滤波法，对跟踪数据进行光滑处理，以消除虚拟人驱动过程中的“颤抖”现象；对于过滤掉的突发性噪声，采用灰色系统理论进行在线的位姿补偿，以防止维修操作过程中虚拟人动作的突然变形。如图2虚拟人实时驱动精度控制所示。
软件因素主要包括虚拟人模型简化和人体部件匹配精度。目前虚拟人建模广泛采用Hanavan人体骨架结构具有良好的运动学和动力学计算精度，因此操作者与虚拟人骨骼部件尺寸的匹配精度是影响虚拟人实时驱动精度的主要因素。本发明拟提出相应的虚拟人实时驱动精度的优化方法：首先在获取虚拟环境中各关节空间位姿的基础上，提出虚拟人实时驱动误差的量化方法，根据误差量化函数建立驱动误差模型；其次通过采集拆装过程频繁操作域的空间点，计算若干采样点的累计误差，以该累计误差最小为优化目标，建立优化模型；然后以操作者身高对应的虚拟人部件尺寸作为初始参数，引入部件尺寸收缩系数来扩大寻优范围；最后采用遗传算法对优化模型进行求解，计算操作者与虚拟人的最佳匹配尺寸。
3)基于全局可接近性锥GAC的维修工具最优匹配方法
维修工具的种类繁多，不同的维修工具在几何外形、应用场合和使用方法等存在很大的差异，为提高维修指令评估的效率，需要自动、准确选择合适的维修工具。由于拆卸与安装紧固件是维修工作最为常见的指令。本发明考虑虚拟人手持工具进行维修操作，增加工具重量、虚拟人抓取位置、旋转操作位置等参数，建立维修工具信息描述模型。对维修工具进分类，并采用关系数据库，建立紧固件拆装工具库，包含多种类型的手动工具与半自动工具，同时建立其与可以拆卸紧固件的约束映射关系。
采用分层优化的方法进行拆卸工具的初始匹配，流程如下图所示：首先进行工具几何参数的匹配，约束关系的匹配，满足拆装操作需求；然后采用全局可接近性锥GAC(Global Accessibility Cone)方法对工具在拆装空间内进行接近性评估；最后以虚拟人操作舒适性为优化目标，对筛选出的工具进行最优化匹配。如图3维修工具最优匹配流程所示。
全局可接近锥GAC是用来进行可接近性分析的有效工具，其优于VMap方法，在数控加工、CMM测量规划中获得广泛应用。本发明基于全局可接近性锥GAC方法，同时考虑紧固件的可视性与工具的可接近性，拟提出带有深度信息的GAC，以紧固件的初始位置作为全局可接近性锥的中心，拧出/拧紧方向为全局可接近性锥的Y轴，构造可接近性自由锥，并通过遮挡筛选的方法判断工具的扫略体是否在处于自由锥内，从而快速判断工具的可接近性。
4)基于实时运动捕捉数据与模型混合驱动的虚拟人运动控制机制
一条维修指令通常蕴含系列维修动作，本发明将维修动作分为局部动作、过渡动作与精细动作，其中精细动作是指依赖于操作者的实际感知才能够正确完成的维修动作，例如拧紧、拧出、旋入、旋出等。过渡动作是指虚拟人在维修位置A局部区域内的维修操作结束后，到维修位置B局部区域内进行新的维修操作时所需要的人体辅助动作，主要包含：步行，搬运，转身，弯腰，下蹲，扭转躯干，扭转头部等。如图4虚拟人运动混合驱动机制所示。
本发明提出实时捕捉数据和模型驱动相结合的虚拟人的运动生成与控制方法，技术路线如下：针对局部动作与过渡动作，可以通过虚拟现实外设实时捕捉数据驱动，通过基于拆装几何约束的交互式确认，可以高效的生成逼真的虚拟人维修动作序列，而且可以避免复杂的路径规划问题；针对精细动作，可以采用上述的基于功能约束的方法，由精细维修拆装动作模型算法自动生成维修动作序列。驱动转换通过工具/虚拟手导航过程中，工具、零件以及虚拟手之间的约束识别来实现。根据真人交互过程中对约束的确认结果，自动对驱动模式进行转换，并通过约束导航和实时碰撞检测方法生成姿态约束机的拆装环境约束。
综上所述，本发明针对现有技术的缺点，解决的问题如下：
1、精细维修动作建模：主要解决维修动作的定向建模难题，实现人体身体结构、运动机能与生理机能与拆装环境等多种功能约束下虚拟人动作姿态生成的层次约束模型构建；建立了精细维修动作与虚拟人姿态的关联映射方法，包括层次化的操作动作描述模型、虚拟人(虚拟手)状态描述方法、以及基于约束导航的虚拟人行为控制方法等；
2、虚拟人运动精度优化控制：主要解决个性化虚拟人骨架匹配优化难题，实现虚拟人实时驱动精度影响因素分析与优化方法、人体关节姿态修正与动态补偿方法。实现虚拟人实时驱动运动学/动力学模型构建，驱动虚拟人关键姿态自动、交互生成，以及虚拟人关节自由度空间冗余处理方法等；
3、维修工具的最优匹配：主要解决维修工具的表达与信息建模难题，紧固件维修工具在虚拟人操作环境下的建模与实现，包括维修工具的描述、驱动方式、约束表达以及分类等；解决维修工具匹配优化难题，提出维修工具几何参数以及几何约束匹配机制、维修工具的可接近性分析方法；以虚拟人操作舒适性为优化目标的工具最优选择策略；以及基于维修工具约束确认的虚拟人姿态精确定位方法等；
4、虚拟人运动混合驱动控制机制，主要解决维修动作的获取、表达与分类难题；提出基于交互式约束确认的混合驱动方式自动转换机制，提出驱动转换临界状态中工具、零件以及虚拟手之间的几何约束描述与确认方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种虚拟人维修动作混合驱动方法，其特征在于：
通过CAD中的装配模型实现维修信息建模；
根据所述维修信息建模在三维虚拟环境下虚拟人维修操作：虚拟人动作由实时运动捕捉数据与模型算法混合驱动；局部维修动作与过渡维修动作由实时运动捕捉数据驱动，当虚拟手或者维修工具或者拆卸工具进行精细维修动作约束识别与匹配时，自动转换为模型算法驱动，并由姿态约束机提高虚拟人动作驱动的效率与精度，同时通过自动提取维修过程关键帧的人机工效信息，采用自定义的量化准则进行评估，并设计实验对量化结果进行可信性评价；
虚拟人动作驱动的精度优化方法包括以下步骤：首先在获取虚拟环境中各关节空间位姿的基础上，提出虚拟人实时驱动误差的量化方法，根据误差量化函数建立驱动误差模型；其次通过采集拆装过程频繁操作域的空间点，计算若干采样点的累计误差，以该累计误差最小为优化目标，建立优化模型；然后以操作者身高对应的虚拟人部件尺寸作为初始参数，引入部件尺寸收缩系数来扩大寻优范围；最后采用遗传算法对优化模型进行求解，计算操作者与虚拟人的最佳匹配尺寸。
2.如权利要求1所述的虚拟人维修动作混合驱动方法，其特征在于：所述姿态约束机为基于功能约束的虚拟人动作驱动的层次约束模型：由拆装环境约束、身体结构约束、人体运动机能约束以及生理机能约束构成的多层次的姿态约束机。
3.如权利要求1所述的虚拟人维修动作混合驱动方法，其特征在于：虚拟人动作包括虚拟人精细维修动作，虚拟人精细维修动作的自动推理过程建模包括以下步骤：根据虚拟人站姿近身作业空间范围和人体视野范围划分若干维修空间，根据虚拟人上肢反求算法、干涉检测算法及舒适度评估方法，逐次建立各个维修空间虚拟人维修姿态的推理法则，进而计算维修动作中的若干关键姿态；关键姿态之间虚拟人关节运动采用球面四元素SLERP算法进行驱动，最终生成完整的维修动作序列。
4.如权利要求3所述的虚拟人维修动作混合驱动方法，其特征在于：虚拟人动作体现为拧紧螺钉操作时：根据拧过的角度RA、螺距TP和配合轴线AS，计算出每次操作螺钉和拧紧工具位置；再根据虚拟手与工具之间的固联关系，通过虚拟人维修姿态推理模型求解当前最适合的维修操作姿态。
5.如权利要求1所述的虚拟人维修动作混合驱动方法，其特征在于：采用分层优化的方法进行拆卸工具的初始匹配：首先进行工具几何参数的匹配，约束关系的匹配，满足拆装操作需求；然后采用全局可接近性锥GAC(Global Accessibility Cone)方法对工具在拆装空间内进行接近性评估；最后以虚拟人操作舒适性为优化目标，对筛选出的工具进行最优化匹配。
6.如权利要求1所述的虚拟人维修动作混合驱动方法，其特征在于：虚拟人动作采用实时捕捉数据和模型驱动相结合的虚拟人的运动生成与控制方法，包括以下步骤：针对局部动作与过渡动作，通过虚拟现实外设实时捕捉数据驱动，通过基于拆装几何约束的交互式确认，生成逼真的虚拟人维修动作序列，避免复杂的路径规划问题；针对精细动作，采用基于功能约束的方法，由精细维修拆装动作模型算法自动生成维修动作序列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510679753.4A CN105160139B (zh) | 2015-10-16 | 2015-10-16 | 一种虚拟人维修动作混合驱动方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510679753.4A CN105160139B (zh) | 2015-10-16 | 2015-10-16 | 一种虚拟人维修动作混合驱动方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105160139A CN105160139A (zh) | 2015-12-16 |
| CN105160139B true CN105160139B (zh) | 2018-03-23 |
Family
ID=54800995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510679753.4A Active CN105160139B (zh) | 2015-10-16 | 2015-10-16 | 一种虚拟人维修动作混合驱动方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105160139B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105955206B (zh) * | 2016-05-26 | 2018-04-20 | 东华大学 | 一种基于数据驱动和参数混合优化的多轴运动控制方法 |
| CN106447053B (zh) * | 2016-09-05 | 2021-03-12 | 北京航空航天大学 | 一种基于虚拟环境下维修空间的定量评价方法及系统 |
| CN106802990A (zh) * | 2017-01-06 | 2017-06-06 | 江南造船(集团)有限责任公司 | 一种船舶建造人机工程仿真评价方法及系统 |
| CN110363273B (zh) * | 2018-11-19 | 2022-07-22 | 莆田学院 | 一种基于高级智能对象的交互特征建模方法 |
| CN110428496B (zh) * | 2019-08-06 | 2022-10-11 | 北京卫星环境工程研究所 | 基于虚实融合的手持工具作业导引方法 |
| CN110532718B (zh) * | 2019-09-04 | 2020-04-17 | 中国人民解放军火箭军工程大学 | 大型复杂装备层次关联最优割集虚拟拆装序列规划方法 |
| CN110659750A (zh) * | 2019-09-25 | 2020-01-07 | 中国航空工业集团公司沈阳飞机设计研究所 | 基于虚拟维护数据的产品快速维修设计系统工程方法 |
| CN113449406B (zh) * | 2020-03-27 | 2024-01-23 | 华晨宝马汽车有限公司 | 打紧工具方案推荐方法和装置及存储介质 |
| CN111738603A (zh) * | 2020-06-24 | 2020-10-02 | 北京航空航天大学 | 一种基于虚拟维修原始数据支持的维修性分析方法 |
| CN112949031B (zh) * | 2021-01-27 | 2023-05-12 | 国家体育总局体育科学研究所 | 上肢动作空间范围推算系统、其构建方法及使用方法 |
| CN112949084B (zh) * | 2021-03-25 | 2023-04-25 | 中国人民解放军国防科技大学 | 一种无力反馈的受力动作捕捉误差修正方法 |
| CN113591964B (zh) * | 2021-07-26 | 2024-05-10 | 武汉理工大学 | 一种基于仿真知识模型文件的数据融合系统及方法 |
| CN117687554B (zh) * | 2023-12-11 | 2024-05-28 | 上海梅斯医药科技有限公司 | 基于视觉模拟评分的标尺元件灵活配置系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441677A (zh) * | 2008-12-25 | 2009-05-27 | 上海交通大学 | 基于产品全语义模型的自然交互式虚拟装配系统 |
| CN102880808A (zh) * | 2012-10-09 | 2013-01-16 | 中国电子科技集团公司第三十八研究所 | 一种雷达结构维修性综合评价方法 |
| CN103823939A (zh) * | 2014-03-07 | 2014-05-28 | 北京航空航天大学 | 一种基于虚拟维修的维修安全定性因素定量评价方法 |
| CN104751010A (zh) * | 2015-04-21 | 2015-07-01 | 西北工业大学 | 基于飞机维修人员能量消耗的飞机部件维修性评估方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8186588B2 (en) * | 2009-10-15 | 2012-05-29 | Lockheed Martin Corporation | Shared drive launcher/weapon interface |
-
2015
- 2015-10-16 CN CN201510679753.4A patent/CN105160139B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441677A (zh) * | 2008-12-25 | 2009-05-27 | 上海交通大学 | 基于产品全语义模型的自然交互式虚拟装配系统 |
| CN102880808A (zh) * | 2012-10-09 | 2013-01-16 | 中国电子科技集团公司第三十八研究所 | 一种雷达结构维修性综合评价方法 |
| CN103823939A (zh) * | 2014-03-07 | 2014-05-28 | 北京航空航天大学 | 一种基于虚拟维修的维修安全定性因素定量评价方法 |
| CN104751010A (zh) * | 2015-04-21 | 2015-07-01 | 西北工业大学 | 基于飞机维修人员能量消耗的飞机部件维修性评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105160139A (zh) | 2015-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105160139B (zh) | 一种虚拟人维修动作混合驱动方法 | |
| He et al. | Digital twin-based sustainable intelligent manufacturing: a review | |
| Mas et al. | A process-oriented approach to modeling the conceptual design of aircraft assembly lines | |
| Qiu et al. | Virtual human modeling for interactive assembly and disassembly operation in virtual reality environment | |
| CN103778301A (zh) | 一种基于虚拟样机技术的机械臂仿真方法 | |
| Qiu et al. | Virtual human hybrid control in virtual assembly and maintenance simulation | |
| Liu et al. | Assembly process modeling mechanism based on the product hierarchy | |
| Hongmin et al. | Interactive assembly tool planning based on assembly semantics in virtual environment | |
| Zhou et al. | A maintenance time prediction method considering ergonomics through virtual reality simulation | |
| Rani et al. | A Human–Machine Interaction Mechanism: Additive Manufacturing for Industry 5.0—Design and Management | |
| Kuo et al. | Motion generation from MTM semantics | |
| Pelliccia et al. | Task-based motion control of digital humans for industrial applications | |
| Soori et al. | Artificial Intelligent in Optimization of Steel Moment Frame Structures: A Review | |
| Tarallo et al. | Robust interactive design for ergonomics and safety: R-IDEaS procedure and applications | |
| Sakai et al. | TPS-LAS model using process layout CAE system at Toyota: advanced TPS, key to global production strategy new JIT | |
| Vujosevic | Maintainability analysis in concurrent engineering of mechanical systems | |
| Li et al. | Mechanical design paradigm based on ACP method in parallel manufacturing | |
| Iacob et al. | Generation of disassembly directions based on component mobility | |
| Yu et al. | Virtual human motion design and ergonomics analysis in maintenance simulation | |
| Fan et al. | Virtual assembly environment for product design evaluation and workplace planning | |
| Hu et al. | [Retracted] Real‐Time Evaluation Algorithm of Human Body Movement in Football Training Robot | |
| Utomo et al. | Methodology for multi criteria group decision and negotiation support on value-based decision | |
| Bennis et al. | Virtual reality: A human centered tool for improving Manufacturing | |
| Mueller et al. | Tolerance Management in a Semi-Automated and Collaborative Human-Robot Aircraft Riveting Process | |
| Messina et al. | A knowledge-based inspection workstation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |