CN109933829B - 飞机零件的装配动作的虚拟仿真预测方法 - Google Patents

飞机零件的装配动作的虚拟仿真预测方法 Download PDF

Info

Publication number
CN109933829B
CN109933829B CN201711372695.6A CN201711372695A CN109933829B CN 109933829 B CN109933829 B CN 109933829B CN 201711372695 A CN201711372695 A CN 201711372695A CN 109933829 B CN109933829 B CN 109933829B
Authority
CN
China
Prior art keywords
action
walking
assembly
actions
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711372695.6A
Other languages
English (en)
Other versions
CN109933829A (zh
Inventor
庞微
唐水龙
葛小丽
李汝鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commercial Aircraft Corp of China Ltd
Shanghai Aircraft Manufacturing Co Ltd
Original Assignee
Commercial Aircraft Corp of China Ltd
Shanghai Aircraft Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commercial Aircraft Corp of China Ltd, Shanghai Aircraft Manufacturing Co Ltd filed Critical Commercial Aircraft Corp of China Ltd
Priority to CN201711372695.6A priority Critical patent/CN109933829B/zh
Publication of CN109933829A publication Critical patent/CN109933829A/zh
Application granted granted Critical
Publication of CN109933829B publication Critical patent/CN109933829B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Processing Or Creating Images (AREA)
  • Toys (AREA)

Abstract

本发明公开了一种飞机零件的装配动作的虚拟仿真预测方法。本发明包括以下步骤：采用动作捕捉技术捕获各类飞机零件的装配过程中装配人员的动作过程；将捕获的动作过程分为行走动作过程和装配操作动作过程，然后根据行走动作和装配操作动作分别提取动作帧数据，并根据动作帧数据形成行走动作和装配操作动作分别对应的人体姿态向量；利用极大似然估计方法分析建立行走动作和装配操作动作的隐马尔科夫模型。本发明的飞机零件的装配动作的虚拟仿真预测方法，能够更为高效准确地实现对于飞机零件装配的虚拟仿真方法的模拟仿真。

Description

飞机零件的装配动作的虚拟仿真预测方法
技术领域
本发明涉及飞机维修设计和配性设计研究领域，尤其涉及一种飞机零件的装配动作的虚拟仿真预测方法。
背景技术
目前国内外航空航天的研究院所和制造厂商通常三维软件或者沉浸式虚拟装配的手段进行装配分析，然而这两种已有方法各有各的明显缺陷。
三维软件由于操作效率低下，需要人为的一帧一帧调节人体仿真动作，效率低下且调节具有主观性，极大影响飞机研发和生产过程和仿真过程的准确性。
沉浸式虚拟装配该方式装备数量庞大，除了受制于动作捕捉装置的精准度和可穿戴性，还需要专业人员完成大量的各式各样的装配动作才能实现，其成本高昂且耗费时间。
发明内容
本发明要解决的技术问题是为了克服现有技术中对于飞机零件装配的虚拟仿真方法存在准确性不够高、效率低下、成本高昂的缺陷，提出一种飞机零件的装配动作的虚拟仿真预测方法。
本发明是通过下述技术方案来解决上述技术问题的：
本发明提供了一种飞机零件的装配动作的虚拟仿真预测方法，其特点在于，其包括以下步骤：
步骤一、采用动作捕捉技术捕获各类飞机零件的装配过程中装配人员的动作过程；
步骤二、将捕获的动作过程分为行走动作过程和装配操作动作过程，其中行走动作过程定义为装配人员自初始位置移动至待装配的飞机零件所在位置的行走动作的序列，装配操作动作过程定义为装配人员在待装配的飞机零件所在位置的操作并装配飞机零件的装配操作动作的序列，然后根据行走动作和装配操作动作分别提取动作帧数据，并根据动作帧数据形成行走动作和装配操作动作分别对应的人体姿态向量，以所有行走动作对应的人体姿态向量形成行走动作库，以所有装配操作动作对应的人体姿态向量形成装配操作动作库；
步骤三、利用极大似然估计方法分析行走动作库和装配操作动作库，分别建立行走动作和装配操作动作的隐马尔科夫模型。
较佳地，其还包括以下步骤：
步骤四、根据步骤三建立的行走动作和装配操作动作的隐马尔科夫模型，利用维特比算法对飞机零件的装配动作进行仿真预测。
较佳地，步骤三中建立的行走动作的隐马尔科夫模型表示为λ1＝(A1,B1,π1)，A1表示隐含状态转移概率矩阵并且隐含状态指装配人员的人体姿态状态、B1表示观测状态转移概率矩阵并且观测状态由装配人员与待装配的飞机零件所在位置之间的距离表征，π1表示人体动作的初始状态概率矩阵；
步骤三中建立的装配操作动作的隐马尔科夫模型表示为λ2＝(A2,B2,π2)，A2表示隐含状态转移概率矩阵并且隐含状态指装配人员的人体姿态状态、B2表示观测状态转移概率矩阵并且观测状态由待装配的飞机零件的零件高度以及零件重量表征，π2表示人体动作的初始状态概率矩阵。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：
本发明的飞机零件的装配动作的虚拟仿真预测方法，能够更为高效准确地实现对于飞机零件装配的虚拟仿真方法的模拟仿真。
附图说明
图1为本发明一较佳实施例的飞机零件的装配动作的虚拟仿真预测方法中所建立的行走动作和装配操作动作的隐马尔科夫模型的示意图。
具体实施方式
下面结合说明书附图，进一步对本发明的优选实施例进行详细描述，以下的描述为示例性的，并非对本发明的限制，任何的其他类似情形也都落入本发明的保护范围之中。
在以下的具体描述中，方向性的术语，例如“左”、“右”、“上”、“下”、“前”、“后”、等，参考附图中描述的方向使用。本发明的实施例的部件可被置于多种不同的方向，方向性的术语是用于示例的目的而非限制性的。
根据本发明一较佳实施例的飞机零件的装配动作的虚拟仿真预测方法，其包括以下步骤：
步骤一、采用动作捕捉技术捕获各类飞机零件的装配过程中装配人员的动作过程；
步骤二、将捕获的动作过程分为行走动作过程和装配操作动作过程，其中行走动作过程定义为装配人员自初始位置移动至待装配的飞机零件所在位置的行走动作的序列，装配操作动作过程定义为装配人员在待装配的飞机零件所在位置的操作并装配飞机零件的装配操作动作的序列，然后根据行走动作和装配操作动作分别提取动作帧数据，并根据动作帧数据形成行走动作和装配操作动作分别对应的人体姿态向量，以所有行走动作对应的人体姿态向量形成行走动作库，以所有装配操作动作对应的人体姿态向量形成装配操作动作库；
步骤三、利用极大似然估计方法分析行走动作库和装配操作动作库，分别建立行走动作和装配操作动作的隐马尔科夫模型；
步骤四、根据步骤三建立的行走动作和装配操作动作的隐马尔科夫模型，利用维特比算法对飞机零件的装配动作进行仿真预测。
本发明中建立的行走动作和装配操作动作的隐马尔科夫模型可参见图1所示。其中，隐马尔科夫模型表示为λ＝(A,B,π)，A表示隐含状态转移概率矩阵，B表示观测状态转移概率矩阵，π表示初始状态概率矩阵。在针对行走动作的隐马尔科夫模型中，隐含状态指装配人员的人体姿态状态，观测状态由装配人员与待装配的飞机零件所在位置之间的距离表征。在针对装配操作动作的隐马尔科夫模型中，隐含状态指装配人员的人体姿态状态，观测状态由待装配的飞机零件的零件高度以及零件重量表征。
举例来说，在一应用实例中，行走部分的动作库所含动作帧种类为34种，装配操作部分动作帧种类为549种。因此，根据本发明的方法所建立的对应行走动作的隐马尔科夫模型中，人体行走的动作帧一共有34种，共计300帧动作。通过分析动作库，利用极大似然估计可以学习出人体姿态状态转移矩阵A＝[aij]34×34，人体行为观测矩阵B＝[bj(K)]34×8，人体动作初始状态转移矩阵π＝(πi)34×1。根据本发明的方法所建立的对应装配操作动作的隐马尔科夫模型中，利用极大似然估计可以学习出人体姿态状态转移矩阵A＝[aij]549×549，人体行为观测矩阵B＝[bj(K)]549×323，人体动作初始状态转移矩阵π＝(πi)549×1。
对应行走动作的隐马尔科夫模型中，鉴于人体常常判断与目标的距离和人自身的状态来调整步伐，因而在此把装配人员的人体与零件所在位置间的水平距离作为行走部分的隐马尔科夫模型中的观测状态。
在一个应用实例中，假定装配人员的步伐移动大小是一致的为700mm。假设人体此时离目标点(即待装配零件所处位置)2500mm，那么每走一步距离减少700mm，所以此时行走过程总计有6个动作，其中行走过程的第一个和最后一个动作(即行走过程的初始和终结状态)必定是直立动作，而其他4个动作需要预测。此时观测状态为：(状态1，状态2，状态3，状态4)＝((2500mm)，(1800mm),(1100mm),(400mm))。在这一应用实例的动作帧数据中提取得知，t＝1时待测样本中动作帧为动作i的概率πi满足：π1＝0.792,π2＝π9＝π16＝π19＝π22＝π25＝π28＝π31＝0.026,π其他＝0。
进一步，根据隐马尔科夫模型可以得到待测样本中，当t＝5时动作帧为动作23的概率最大，当t＝4时动作帧为动作2的概率最大，当t＝3时动作帧为动作9的概率最大，当t＝2时动作帧为动作2的概率最大。因此，仿真预测得到的行走动作帧序列为：(动作1，动作2，动作9，动作2，动作23，动作1)。
与之类似的，针对装配操作动作，也可利用建立的马尔科夫模型通过t＝7时的动作帧为动作i的概率判断，得出概率最大的为动作93。
因此，在这一应用实例中，综合上述结果，仿真预测得出的动作帧为：(动作1，动作2，动作9，动作2，动作23，动作1，动作93)。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (2)

1.一种飞机零件的装配动作的虚拟仿真预测方法，其特征在于，其包括以下步骤：
步骤一、采用动作捕捉技术捕获各类飞机零件的装配过程中装配人员的动作过程；
步骤二、将捕获的动作过程分为行走动作过程和装配操作动作过程，其中行走动作过程定义为装配人员自初始位置移动至待装配的飞机零件所在位置的行走动作的序列，装配操作动作过程定义为装配人员在待装配的飞机零件所在位置的操作并装配飞机零件的装配操作动作的序列，然后根据行走动作和装配操作动作分别提取动作帧数据，并根据动作帧数据形成行走动作和装配操作动作分别对应的人体姿态向量，以所有行走动作对应的人体姿态向量形成行走动作库，以所有装配操作动作对应的人体姿态向量形成装配操作动作库；
步骤三、利用极大似然估计方法分析行走动作库和装配操作动作库，分别建立行走动作和装配操作动作的隐马尔科夫模型；
步骤三中建立的行走动作的隐马尔科夫模型表示为λ 1 ＝(A 1 ,B 1 ,π 1 )，A 1 表示隐含状态转移概率矩阵并且隐含状态指装配人员的人体姿态状态、B 1 表示观测状态转移概率矩阵并且观测状态由装配人员与待装配的飞机零件所在位置之间的距离表征，π 1表示人体动作的初始状态概率矩阵；
步骤三中建立的装配操作动作的隐马尔科夫模型表示为λ 2 ＝(A 2 ,B 2 ,π 2 )，A2 表示隐含状态转移概率矩阵并且隐含状态指装配人员的人体姿态状态、B 2 表示观测状态转移概率矩阵并且观测状态由待装配的飞机零件的零件高度以及零件重量表征，π 2 表示人体动作的初始状态概率矩阵。
2.如权利要求1所述的虚拟仿真预测方法，其特征在于，其还包括以下步骤：
步骤四、根据步骤三建立的行走动作和装配操作动作的隐马尔科夫模型，利用维特比算法对飞机零件的装配动作进行仿真预测。
CN201711372695.6A 2017-12-19 2017-12-19 飞机零件的装配动作的虚拟仿真预测方法 Active CN109933829B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711372695.6A CN109933829B (zh) 2017-12-19 2017-12-19 飞机零件的装配动作的虚拟仿真预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711372695.6A CN109933829B (zh) 2017-12-19 2017-12-19 飞机零件的装配动作的虚拟仿真预测方法

Publications (2)

Publication Number Publication Date
CN109933829A CN109933829A (zh) 2019-06-25
CN109933829B true CN109933829B (zh) 2023-06-06

Family

ID=66983420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711372695.6A Active CN109933829B (zh) 2017-12-19 2017-12-19 飞机零件的装配动作的虚拟仿真预测方法

Country Status (1)

Country Link
CN (1) CN109933829B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942385A (zh) * 2014-04-17 2014-07-23 北京航空航天大学 一种基于人体动作捕捉系统的飞机管路装配仿真方法
CN105929943A (zh) * 2016-04-15 2016-09-07 郭清锁 一种用于计算机虚拟装配的隐式交互系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942385A (zh) * 2014-04-17 2014-07-23 北京航空航天大学 一种基于人体动作捕捉系统的飞机管路装配仿真方法
CN105929943A (zh) * 2016-04-15 2016-09-07 郭清锁 一种用于计算机虚拟装配的隐式交互系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于情境上下文的智能虚拟装配动作预测模型;曹兆元等;《计算机工程与设计》;20130430;第34卷(第4期);第1366-1370段 *

Also Published As

Publication number Publication date
CN109933829A (zh) 2019-06-25

Similar Documents

Publication Publication Date Title
Dasari et al. Robonet: Large-scale multi-robot learning
CN105930767B (zh) 一种基于人体骨架的动作识别方法
CN105550678B (zh) 基于全局显著边缘区域的人体动作特征提取方法
Li Human–robot interaction based on gesture and movement recognition
EP3198373B1 (en) Tracking hand/body pose
Passalis et al. Continuous drone control using deep reinforcement learning for frontal view person shooting
CN108171133B (zh) 一种基于特征协方差矩阵的动态手势识别方法
CN105426929B (zh) 对象形状对准装置、对象处理装置及其方法
US9111172B2 (en) Information processing device, information processing method, and program
CN110909762B (zh) 基于多传感器融合的机器人姿态识别方法及装置
CN112270711B (zh) 模型训练以及姿态预测方法、装置、设备以及存储介质
KR101577711B1 (ko) 시간 및 공간적 관계를 이용한 작업 솜씨 학습 방법
US11562174B2 (en) Multi-fidelity simulated data for machine learning
Zhang et al. A Gaussian mixture based hidden Markov model for motion recognition with 3D vision device
WO2020104864A1 (en) Method and system for predicting motion-outcome data of a robot moving between a given pair of robotic locations
Jiang et al. Action recognition based on fusion skeleton of two kinect sensors
CN109933829B (zh) 飞机零件的装配动作的虚拟仿真预测方法
CN113268143A (zh) 一种基于强化学习的多模态人机交互方法
Sharifi et al. Marker-based human pose tracking using adaptive annealed particle swarm optimization with search space partitioning
CN112749585A (zh) 一种基于图卷积的骨架动作识别方法
Wang et al. Robust face tracking via collaboration of generic and specific models
CN111002292B (zh) 基于相似性度量的机械臂仿人运动示教方法
CN114663982A (zh) 一种基于多特征融合的人手轨迹预测与意图识别方法
JP5061808B2 (ja) 感情判定方法
TWI534739B (zh) 被遮蔽骨架之重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant