CN115481489A - 基于增强现实的白车身与生产线适配性验证系统及方法 - Google Patents

Abstract

本发明公开的一种基于增强现实的白车身与生产线适配性验证系统及方法，属于白车身与生产线适配性验证技术领域。本发明通过人机交互辅助验证方法在生产线现场布置虚拟网格点，基于图形学算法生成拟合生产线表面的虚拟网格，实现生产线轻量化即时建模，在计算机视觉感知信息基础上融合现场修正网格点布局信息，提高对生产线环境感知精度；基于拟合得到的生产线表面虚拟网格边界点与预定义白车身模型上的检测点，通过AR距离测量方法实现白车身与真实生产线环境的风险点测距，利用AR环境下映射风险点测距获取真实环境测距点空间距离，有效避免现有空间测距方法下无法处理遮挡、环境复杂条件下测量点无法获取问题，实现简单准确的空间距离测量。

Description

基于增强现实的白车身与生产线适配性验证系统及方法

技术领域

本发明属于白车身与生产线适配性验证技术领域，涉及一种基于HoloLens设备的汽车白车身与生产线适配性验证系统及方法。

背景技术

随着数字化制造技术的发展，信息-物理系统集成的智能制造系统已成为制造业升级的通用解决方案。汽车工业作为现代工业文明的核心之一，迫切需要对其生产全生命周期进行智能化改造。白车身(Body-in-white，BIW)是汽车在焊接后的结构总成，是汽车的骨架，其成本可占整车成本的30-60％，而在概念设计阶段做出的决策决定了整车成本的70％。因此，在设计阶段对白车身进行结构验证就显得尤为重要。然而目前大多数BIW数字验证都集中在结构性能上，缺乏白车身结构与后续生产工艺(如涂胶、装配)生产线的适配性验证。

为了在当今的汽车工业中保持竞争力，车企大多装备了有能力在同一平台上的共同生产线上生产多种白车身模型的柔性生产线，但验证现有的生产线是否能满足白车身制造要求是亟待决绝的问题。例如，白车身焊接工艺的生产工程必须确保焊接机器人的可及性和自动焊接的安全工作空间。目前工业界对白车身与生产线是验证的方法大多是基于物理原型和计算机辅助设计软件。前者指的是制造白车身原型并在生产线上进行可制造性的物理验证，由于对所有实体进行物理验证，因此存在安全隐患。后者是指使用CAD软件来模拟白车身制造过程，在模拟环境和实际生产线之间通常存在着受软件能力限制的差距。目前迫切需要一种快速、低成本、准确的白车身与生产线适配性验证方法。

随着虚拟现实(Virtual Reality，VR)和数字孪生技术的发展，包含产品原型的纯虚拟数字工厂的验证系统已经开发出来。这种方法通过在生产线的制造现场验证产品设计，将制造工艺性反馈考虑到产品结构设计中。但它需要创建一个生产线环境的虚拟场景，通常生产线环境复杂，此验证方法存在建模周期长，成本高问题。此外，白车身的现场验证往往需要考虑人为因素，而在纯虚拟环境中，用户的感官受到限制。增强现实技术(Augmented Reality， AR)被认为是解决上述问题的有效方法。AR是一种新颖的人机交互工具，它将计算机生成的信息叠加在现实世界环境中。与VR相比，它实现了真实环境与虚拟环境的交互，减少了繁琐的场景建模工作，传递出更真实的用户感官。近年来，随着应用开发的便捷和硬件设备的成熟，增强现实在工业领域发挥了巨大的应用潜力，如装配指导、辅助维护、设计验证等。 AR已成为推动智能制造发展的主要技术之一。因此，本文提出了一种基于增强现实的白车身与生产线适配性快速数字验证系统。系统提供基于生产线现场的AR环境，辅助用户进行测距、碰撞检测等测试，可以在白车身设计阶段快速、低成本的产线适配性数字验证，从而优化白车身结构设计。

发明内容

本发明的主要目的在于提供一种基于增强现实的白车身与生产线适配性验证系统及方法，通过人机交互辅助验证方法在生产线现场布置虚拟网格点，根据所述现场布置的虚拟网格点，基于图形学算法生成拟合生产线表面的虚拟网格，实现生产线轻量化即时建模，在计算机视觉感知信息基础上融合现场修正网格点布局信息，提高对生产线环境感知精度；基于拟合得到的生产线表面虚拟网格边界点与预定义白车身模型上的检测点，通过AR距离测量方法实现白车身与真实生产线环境的风险点测距，利用AR环境下映射风险点测距获取真实环境测距点空间距离，有效避免现有空间测距方法下无法处理遮挡、环境复杂条件下测量点无法获取问题，实现简单准确的空间距离测量。本发明能够避免传统实体车身验证周期长、不安全问题，实现AR环境下白车身结构与生产线适配性的快速低成本适配性验证，为白车身结构设计和生产线布局优化提供即时反馈。

为解决上述问题，本发明采用的技术方案为：

本发明公开的一种基于增强现实的白车身与生产线适配性验证系统，包括验证环境构建模块、徒手人机交互辅助验证模块、检测模块。

所述验证环境构建模块，利用AR设备构建虚实融合的验证环境，实现虚拟白车身模型在实际生产线上移动。所述验证环境构建模块是所述AR验证系统的基础。缺乏准确的虚实融合，操作者很难正确判断白车身模型与实际生产线之间的相对位置，从而使场景空间感知出现异常，影响操作者的视觉验证效果。

在实际生产过程中，白车身通过吊具与生产线的滑道固定连接，而白车身与吊具是相对固定的。因此，通过虚拟白车身模型和真实吊具的绑定，实现虚拟白车身和真实生产线的虚实结合。考虑到AR设备的算力限制以及精确虚实融合的需要，所述验证环境构建模块采用基于标记的跟踪技术。一张静态的平面图像(二维码)被导入系统作为标记对象，虚拟白车身模型的位置是根据标记坐标系来定义。白车身相对于生产线的位置是由模型相对于标记物的位置和吊具上的标记物排列决定。AR设备识别标记图显示虚拟白车身模型。操作者看到整个虚拟现实融合场景，在AR设备上对生产现场的白车身的通行性进行视觉验证。所述验证环境构建模块是后续验证模块(包括测距模块、碰撞检测模块、验证结果可视化输出模块) 的功能基础，基于所述验证环境构建模块创建的准确虚实融合环境进行距离测量和碰撞检测。

为了更好渲染效果，作为优选，所述AR设备选用HoloLens2。

所述人机交互辅助验证模块，基于AR设备开发徒手人机交互功能，结合徒手人机交互功能进行人机交互辅助验证模块开发，通过在产线现场布置虚拟网格点，根据所述现场布置的虚拟网格点，基于图形学算法生成拟合产线表面的虚拟网格，实现生产线轻量化即时建模，在计算机视觉感知信息基础上融合现场修正网格点布局信息，提高对产线环境感知精度。所述人机交互辅助验证模块包括徒手人机交互子模块、手动布置网格点模块、虚拟网格生成模块。

徒手人机交互子模块，用于实现增强现实环境下虚拟模型三维手势操纵功能。利用AR设备采集的RGB-D信息，在真实手上叠加虚拟手模型，根据真实物体抓握物理过程特点和增强现实环境构建“抓握副”条件，基于“抓握副”构建抓握意图识别算法，识别双手是否抓握虚拟模型或者松开虚拟模型。基于碰撞检测算法检测双手和在其他虚拟模型发生接触，根据抓握意图识别算法，计算手和被操纵模型多个接触点之间能否形成“抓握副”，判断是否双手与虚拟模型之间存在抓握情况，“抓握副”由两个接触点组成，如果存在一个以上的“抓握副”，则被抓握虚拟模型被判定为抓握状态，无需基于多个接触点的接触计算来判断是否完成抓握，使抓取意图判断更加灵活，更接近真实三维手势操纵情况，更适应复杂手势交互场景，也更加符合用户直观交互感受，同时，如果存在多对“抓握副”，则多个组成抓握副的接触点都将参与到交互意图识别中，提高手势交互意图识别的鲁棒性、灵活性、效率和沉浸感。

手动布置网格点子模块，基于徒手人机交互子模块“抓握副”功能，调整网格点位置，修正网格点布局信息。拟合生成在生产线上的网格是一个由三角形贴片组成的空间凸多边形。三角形面片是计算机用来创建平面网格的基本单位。产生三角形面片的元素包括顶点坐标集和三角形顶点索引集，其中三角形顶点索引集也是要处理的顶点排列，所以首先要考虑的是获得能与生产线表面相适应的顶点集，即所述网格点集。通过预先定义虚拟球体对象作为网格点，球体对象的坐标系在AR环境中是统一的、易获取的，利用所述徒手人机交互子模块“抓握副”，球体被生成并被即时拖动到生产线表面凸体的边缘上。网格拟合所需的顶点集是通过排列布局一系列球体顶点来实现的。

虚拟网格生成子模块，根据手动布置网格点子模块中得到的网格顶点集，利用图形学算法对空间凸体多边形进行三角化处理后得到三角顶点索引集。所述三角化处理是将多边形分解为若干个三角形，由所述顶点组成多边形。考虑到人工定义的顶点序列是所需的直接建模序列，三角形顶点索引集是根据邻接原则建立的。然后通过图形学算法生成三角形的组合，以生成适应实际生产线表面的虚拟网格。

所述检测模块，基于验证环境构建模块和徒手人机交互辅助验证模块所创建AR白车身与产线适配性验证环境，针对具体白车身与产线适配性验证需求进行检测。所述检测模块包括AR测距子模块、碰撞检测子模块、验证结果可视化输出子模块。

所述AR测距子模块，基于人机交互辅助验证模块得到的产线表面虚拟网格边界点与预定义白车身模型上的检测点，在白车身和周围产线环境的风险点进行测距。两个检测点都是具有坐标属性的统一的球体对象，基于AR设备的空间锚，两个检测点的位置被转换到统一的坐标系中，并进行矢量运算来求得空间距离。通过AR距离测量方法实现白车身与真实产线环境的风险点测距，利用AR环境下映射风险点测距获取真实环境测距点空间距离，有效避免现有空间测距方法下无法处理遮挡、环境复杂条件下测量点无法获取问题，实现易操作且准确的空间距离测量，以确保安全的操作空间。

所述碰撞检测子模块，基于徒手人机交互辅助验证模块中为拟合生产线表面而建立的空间凸多边形网格模型，进行白车身模型与生产线网格之间的碰撞检测。利用3D开发物理引擎，为生产线拟合网格模型与白车身模型添加统一的碰撞器，实现碰撞检测，结合触发器来设置事件响应，记录碰撞的位置和深度。

为了实现更精确验证效果，所述物理引擎选用Unity3D物理引擎。

测试结果可视化输出子模块，在测距子模块和碰撞检测子模块验证过程中，实时接收测距模块输出的检测点距离信息，且实时接收碰撞检测模块输出干涉位置与碰撞深度信息，利用所述测距与碰撞验证信息以空间可视化用户界面的形式呈现，支持即时查看和汇总检测报告显示。在本发明中，基于徒手人机交互子模块的手势识别功能，通过定义便捷的用户界面， AR设备摄像头在识别到舒展手势时，会显示交互菜单，菜单页面包含实时距离信息和碰撞检测结果报告。

本发明还公开一种基于增强现实的白车身与生产线适配性验证方法，基于所述一种基于增强现实的白车身与生产线适配性验证系统实现。所述一种基于增强现实的白车身与生产线适配性验证方法，包括如下步骤：

步骤一：创建虚实融合的白车身与生产线适配性验证环境，用户佩戴AR设备，扫描并识别预先设定的二维码标记，渲染在生产线上的白车身模型。模型相对于二维码坐标系的创建的位置确定，二维码预设在产线中的位置确定，实现白车身模型相对于产线的定位。

步骤二：利用AR设备采集RGB-D信息识别双手关键节点，叠加虚拟手模型，并根据关键节点位置姿态确定虚拟手模型的位置和姿态，实现真实双手在虚拟空间的映射。

步骤三：根据真实物体抓握物理过程特点和增强现实环境人机交互特点构建“抓握副”条件。基于碰撞检测算法，在每帧实时计算虚拟手模型和其他待被操纵的虚拟模型之间是否发生接触，根据意图识别算法，当计算手和被操纵模型多个接触点之间能否形成“抓握副”，判断是否双手与虚拟模型之间存在抓握情况，“抓握副”由两个接触点组成，如果存在一个以上的“抓握副”，则被抓握虚拟模型被判定为抓握状态。更适应复杂手势交互场景，也更加符合用户直观交互感受，提高手势交互意图识别的鲁棒性、灵活性、效率和沉浸感。

所述的“抓握副”是由符合条件的虚拟手模型和被抓取模型的两个接触点构成的。所述“抓握副”条件如下：两个接触点的连线与各自接触面法线之间的角度不超过一个固定角度α，则所述两个接触点将构成一个稳定的抓握副g(a,b)。所述固定角度α即为摩擦角。

所述的抓握意图识别算法根据“抓握副”条件建立，循环判断当前所有的接触点是否能与另外一个接触点组成一对“抓握副”。对于一次循环判断中虚拟手与虚拟物体的任意两个接触点a、b来说，两个接触点的连线与各自接触面法线之间的角度不超过一个固定角度α，则所述两个接触点将构成一个稳定的抓握副g(a,b)。所述的这个固定角度α即为摩擦角，即抓握副g(a,b)应满足

其中，n_a和n_b为接触点a和接触点b的法向量，该法向量为接触点处关节虚拟模型的圆柱表面的法向量；l_ab为接触点a和b的连线；α为摩擦角，摩擦角的值需针对具体被操纵模型经过测试来设定以满足虚拟部件稳定、自然的抓握。

步骤四：根据步骤三构建的“抓握副”条件构建抓取中心获取方法，以获取抓取中心。如果基于步骤三中的抓握意图识别算法判断出虚拟模型在抓握状态，根据操纵意图识别算法，基于双手在被操纵模型上抓取中心的位移和姿态变换，计算双手施加在虚拟模型上的虚拟力或力矩，并以虚拟力或力矩驱动虚拟模型的移动或旋转。采用操纵意图识别算法且增加抓取中心判断条件后，使任意个接触点全部参与到操纵意图识别过程，使操纵意图识别更加灵活，并提高操纵意图识别的鲁棒性。

所述的抓取中心是代表整个手的运动的中心点，将整个手视为一个完整的刚体，由抓取中心的位置、姿态和速度代表整个虚拟手的运动参数。

所述的抓取中心判断方法如下：根据步骤四构建的“抓握副”条件判定“抓握副”的位置和数量。将“抓握副”视为一个统一的刚体，由抓取中心来表示该刚体的位置和姿态。如果存在一个“抓握副”，则抓取中心为组成“抓握副”的接触点连线的中心，抓取中心位置和姿态计算如下：

其中，Pc表示抓取中心位置，p1和p2表示组成“抓握副”的接触点的位置，wc、rc和lc分别表示抓取中心的三个欧拉角参数，

和

表示当前坐标系下指向x、y和z轴的单位向量。

如果存在多个“抓握副”，将根据多个“抓握副”的接触点的连线长度进行判断，确定连线长度最长的“抓握副”为主抓握副，根据所述公式(3)(4)构建抓取中心。

步骤4.1，判断“抓握副”是否满足“抓握副”取消条件，如果满足取消条件，则视为用户放下被操纵虚拟模型，将不执行后续步骤，在下一帧不再更新虚拟模型的位置和姿态；如果不满足则执行步骤4.2；

所述的“抓握副”取消条件计算如下所示：

其中，

为当前第i帧帧组成“抓握副”的两接触点之间的距离，

为第i-1帧组成“抓握副”的两接触点之间的距离，k为固定值。即当组成“抓握副”的两接触点在两帧之间发生远离且远离程度满足一定的阈值，则视为取消抓取。

步骤4.2，根据操纵意图识别算法，计算双手施加在虚拟模型上的虚拟力或力矩，继续执行步骤4.3。所述的操纵意图识别算法，是基于抓取中心的位姿变换趋势来计算出当前帧双手对虚拟模型施加的虚拟力或虚拟力矩，并根据虚拟力或虚拟力矩来计算虚拟模型移动和旋转的参数，所述移动和旋转的参数包括移动方向和距离以及旋转的方向和角度。采用操纵意图识别算法且增加“抓取中心”条件判断后，使任意个接触点全部参与到操纵意图识别过程，使操纵意图识别更加灵活，并提高操纵意图识别的鲁棒性。

所述的操纵意图识别算法是基于虚拟线性和扭转的弹簧阻尼模型(springer-dampers)构建。所述的操纵意图识别算法的计算公式如下所示。

公式(6)为虚拟力的计算公式，f_vf表示虚拟操纵力，公式(7)为虚拟力矩的计算公式，τ_vf表示虚拟操纵力矩。其中，当前第i帧双手接触中心点的姿势表示为

在第i+1帧，双手接触中心点的姿势表示为(qi+1l,qi+1o),

为手在第i帧的三维位置，

为描述手方位的四元数；

和

为被操纵虚拟模型在第i帧的线速度和角速度。K_sl(K_so)和K_Dl(K_Do)为线性与扭转弹簧阻尼模型的系数。通过调整。K_sl(K_so)和K_Dl(K_Do)系数，实现虚拟部件稳定、平滑的动态运动，符合用户的直观交互感受。

步骤4.3，根据步骤4.2所述的操纵意图识别算法计算的虚拟力或力矩，结合刚体动力学计算虚拟模型的位移变化量和旋转变化量。并根据位移和旋转变化量在当前帧更新被操纵虚拟模型的位置和姿态，并根据新的位置和姿态渲染该虚拟模型。

位移变化量计算公式如下：

其中，Si表示在当前第i帧被操纵虚拟模型位移，vi表示当前第i帧被操纵虚拟模型的速度，Δt表示在当前第i帧到下一帧第i+1帧之间的时间差，f_vf为所述的操纵意图识别算法识别的虚拟操纵力，m表示被操纵虚拟模型的质量。ΔT_i表示虚拟模型的位移矩阵，Z、Y和 X表示在增强现实环境下的坐标系。

旋转变化量计算公式如下：

ΔR_i＝R_z(θ_iz)R_y(θ_iy)R_x(θ_ix) (11)

其中，θ_i表示在在当前第i帧被操纵虚拟模型旋转角度，τ_vf为所述的操纵意图识别算法识别的虚拟操纵力，Δt表示在当前第i帧到下一帧第i+1帧之间的时间差，J表示被操纵虚拟模型的转动惯量，ΔR_i表示虚拟模型的旋转矩阵，θ_iz，θ_iy和θ_ix分别表示旋转角度在θ_i在围绕增强现实环境坐标系x、y、z轴的分量。

步骤五：手动布置网格点，通过预先定义虚拟球体对象作为网格点，利用所述步骤三创建的“抓握副”，即时拖动虚拟球体到生产线表面凸体的边缘上。网格拟合所需的顶点集是通过排列布局一系列球体顶点来实现的。基于步骤三构建的“抓握副”，人为调整网格点位置，修正网格点布局信息，获得能准确拟合生产线表面的网格点集。

步骤六：利用图形学算法生成拟合产线凸体表面的虚拟网格，基于所述步骤四手动布置网格点得到的网格顶点集，对拟合产线凸体表面的虚拟网格进行三角化处理后得到三角顶点索引集。所述三角化处理是将多边形分解为若干个三角形，由所述顶点组成这个多边形。由于人工定义的顶点序列是所需的直接建模序列，三角形顶点索引集是根据邻接原则建立的。然后通过图形学算法生成三角形的组合，以生成适应实际生产线表面的虚拟网格。

所述网格顶点集与三角形顶点索引集由以下参数化表示：

{V₀,V₁,V₂,....,V_i,...},V_i∈polygon (12)

其中polygon表示虚拟网格顶点集，V_i表示第i个网格点；△i表示组成虚拟网格的第i 个三角形，(V_i ⁰,V_i ¹,V_i ²)表示此三角形三个顶点索引集。

步骤七：通过定义检测点，测量白车身的胶枪与白车身涂胶处的距离。检测点的定义通过用户菜单选取和手势定义结合的方式：白车身模型上的检测点预定义，并通过用户界面手势选择；产线现场检测点通过步骤四所创建“抓握副”拖动检测点(球体)至对应位置。两个检测点位于统一空间坐标系下，通过向量运算计算空间距离。基于步骤四所述手势识别功能，AR设备摄像头在识别到舒展手势时，会显示交互菜单，菜单页面包含实时距离信息。利用AR距离测量方法实现白车身与真实产线环境的风险点测距，利用AR环境下映射风险点测距获取真实环境测距点空间距离，有效避免现有空间测距方法下无法处理遮挡、环境复杂条件下测量点无法获取问题，实现易操作且准确的空间距离测量，以确保安全的操作空间。

步骤八：在白车身移动定位过程中，通过碰撞检测算法检测碰撞位置，进行与涂胶生产线的干涉验证。基于所述步骤一创建AR验证环境与步骤五创建的产线虚拟网格模型，利用物理引擎为网格模型和白车身添加碰撞体，在车身移动过程中实时检测与产线的干涉情况，结合触发器来设置事件响应，记录碰撞的位置和深度，对干涉出进行结果可视化反馈，即基于增强现实实现白车身与生产线适配性验证。

所述碰撞检测算法模型由下式所示：

A+B＝{a+b|a∈A,b∈B} (14)

A、B指凸体A、B上点的合集，a、b是A、B中的点。

A-B＝{a-b|a∈A,b∈B} (15)

式(15)称作明可夫斯基差，表示当凸体A、B重叠或相交时，其差集{a-b}肯定包含原点，对于白车身与产线的碰撞检测，即通过判断白车身模型点集与产线虚拟网格点集的差集是否包含原点验证是否发生干涉，包含原点即表示发生碰撞。

通过上述验证过程，利用增强现实技术在白车身设计阶段实现高效低成本的车体产线适配性验证，为白车身结构优化和产线布局优化提供即时反馈，白车身结构优化和生产线布局将进一步调整，以提升白车身与生产线的适配性。

有益效果：

1、本发明公开的一种基于增强现实的白车身与生产线适配性验证系统及方法，通过人机交互辅助验证方法在产线现场布置虚拟网格点，根据所述现场布置的虚拟网格点，基于图形学算法生成拟合产线表面的虚拟网格，实现生产线轻量化即时建模，在计算机视觉感知信息基础上融合现场修正网格点布局信息，提高对产线环境感知精度；基于拟合得到的产线表面虚拟网格边界点与预定义白车身模型上的检测点，通过AR距离测量方法实现白车身与真实产线环境的风险点测距，利用AR环境下映射风险点测距获取真实环境测距点空间距离，有效避免现有空间测距方法下无法处理遮挡、环境复杂条件下测量点无法获取问题，实现简单准确的空间距离测量。

2、本发明公开的一种基于增强现实的白车身与生产线适配性验证系统及方法，通过AR 环境下实现白车身与生产线的距离测量、干涉验证等，避免传统实体车身验证周期长、不安全问题，实现AR环境下白车身结构与生产线适配性的快速低成本适配性验证，为白车身结构优化和生产线布局优化提供即时反馈，支撑实现白车身设计快速迭代。

3、本发明公开的一种基于增强现实的白车身与生产线适配性验证系统及方法，根据真实物体抓握物理过程特点和增强现实环境构建“抓握副”条件，基于“抓握副”条件构建意图识别算法，实现自然徒手人机交互，更适应复杂手势交互场景，也更加符合用户直观交互感受，提高手势交互意图识别的鲁棒性、灵活性、效率和沉浸感。

附图说明

为了更清楚地说明本发明实例或者现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明在白车身涂胶产线的实验验证环境。

图2是利用HoloLens2手势交互，定义拟合产线网格模型的顶点。

图3是拟合产线凸体表面的空间多边形网格模型。

图4是通过预定义和手势选取方法定义虚拟白车身和实体产线的测距检测点。

图5是白车身与涂胶产线验证实例碰撞检测可视化输出。

图6是手势显示用户界面，包括距离信息和菜单栏。

图7是所述一种基于增强现实的白车身与生产线适配性验证系统的系统框图。

图8是所述一种基于增强现实的白车身与生产线适配性验证方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本申请提供一种基于增强现实的白车身与生产线适配性验证系统与方法，能够应用于配备摄像头的AR终端设备，包括手机、平板、AR眼镜或者AR头盔。为使本发明实施例的目的、技术方案和优点更加清楚，下面以AR眼镜HoloLens2为例，结合发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。

本实施例公开的一种增强现实环境下的白车身与生产线适配性验证系统，参考图1至7 所示，该系统包括验证环境构建模块、徒手人机交互辅助验证模块、检测模块。

所述验证环境构建模块，在产线特定位置布置标识图，其中白车身相对于生产线的位置是由白车身模型相对于标记物的位置和产线环境上的标记物排列决定，通过HoloLens眼镜识别标识图在产线上移动，实现虚拟白车身模型在实际生产线上移动。用户佩戴HoloLens2识别标识图渲染显示虚实融合的验证环境，对生产现场的白车身的通行性进行视觉验证。

如图2所示，所述人机交互辅助验证模块，用户佩戴HoloLens2在产线现场布置虚拟网格点，根据现场布置的虚拟网格点，基于图形学算法生成拟合产线表面的虚拟网格，实现生产线轻量化即时建模。所述人机交互辅助验证模块包括徒手人机交互子模块、手动布置网格点模块、虚拟网格生成模块。

徒手人机交互子模块，用于实现一种增强现实环境下虚拟模型三维手势操纵功能。利用 HoloLens2眼镜采集的RGB-D信息，在用户真实手上叠加虚拟手模型，根据真实物体抓握物理过程特点和增强现实环境构建“抓握副”条件，基于“抓握副”构建抓握意图识别算法，识别双手是否抓握虚拟网格点或者松开虚拟网格点。

手动布置网格点子模块，基于徒手人机交互子模块“抓握副”功能，人为调整网格点位置，修正网格点布局信息，最终生成拟合生产线表面的虚拟网格。

虚拟网格生成子模块，根据手动布置网格点子模块中得到的网格顶点集，利用图形学算法对空间凸体多边形进行三角化处理后得到三角顶点索引集。然后通过图形学算法生成三角形的组合，生成适应实际生产线表面的虚拟网格。

所述检测模块，基于验证环境构建模块和徒手人机交互辅助验证模块所创建AR白车身与产线适配性验证环境，针对具体白车身与产线适配性中测距和干涉验证需求进行检测。所述检测模块包括AR测距子模块、碰撞检测子模块、验证结果可视化输出子模块。

所述AR测距子模块，基于人机交互辅助验证模块得到的产线表面虚拟网格边界点与预定义白车身模型上的检测点，在白车身和周围产线环境的风险点进行测距。基于所构建“抓握副”条件，用户徒手抓取两个检测点分别放置在白车身与产线风险点处。基于HoloLens2 眼镜的空间锚，两个检测点的位置被转换到统一的坐标系中，并进行矢量运算来求得空间距离。通过AR距离测量方法实现白车身与真实产线环境的风险点测距，利用AR环境下映射风险点测距获取真实环境测距点空间距离，以确保安全的操作空间。

所述碰撞检测子模块，基于徒手人机交互辅助验证模块中为拟合生产线表面而建立的空间凸多边形网格模型，进行白车身模型与生产线网格之间的碰撞检测。利用Unity3D引擎，为生产线拟合网格模型与白车身模型添加统一的碰撞器，实现白车身与产线干涉验证，结合触发器来设置事件响应，记录碰撞的位置和深度。

测试结果可视化输出子模块，基于徒手人机交互子模块的手势识别功能，通过定义一个便捷的用户界面，即HoloLens2眼镜相机识别舒展手势显示显示交互菜单，菜单页面包含实时距离信息和碰撞检测结果报告。

如图8所示，本实施例还公开的一种增强现实环境下的白车身与生产线适配性验证方法，具体验证步骤如下：

步骤一、创建虚实融合的白车身与生产线适配性验证环境，用户佩戴HoloLens2眼镜，扫描并识别预先设定的标识物，以注册将在生产线上显示的白车身模型。模型相对于二维码坐标系的创建的位置确定，二维码预设在产线中的位置确定，实现白车身模型相对于产线的定位。

步骤二、根据真实物体抓握物理过程特点和增强现实环境人机交互特点构建“抓握副”条件。基于碰撞检测算法，在每帧实时计算虚拟手模型和其他待被操纵的虚拟模型之间是否发生接触，根据意图识别算法，当计算手和被操纵模型多个接触点之间能否形成“抓握副”，判断是否双手与虚拟模型之间存在抓握情况，“抓握副”由两个接触点组成，如果存在一个以上的“抓握副”，则被抓握虚拟模型被判定为抓握状态。更适应复杂手势交互场景，也更加符合用户直观交互感受，提高手势交互意图识别的鲁棒性、灵活性、效率和沉浸感。

步骤三、通过HoloLens2徒手人机交互辅助验证，用户徒手在生产线表面的关键位置定义网格点，创建一个符合生产线场景的网格模型。通过场景中预设检测点(球体)，并定义手部菜单栏按钮生成检测点，手势交互拖动球体至产线边缘处，布置一系列拟合产线表面的顶点集合，通过图形学算法计算基于多边形顶点集合生成三角面片，通过三角面片组合构建拟合产线表面的网格模型。

步骤四、AR距离测量。通过定义检测点，测量产线与白车身风险点的距离。检测点的定义通过用户菜单选取和手势定义结合的方式：白车身模型上的检测点预定义，并通过用户界面手势选择；产线检测点通过手势交互拖动检测点(球体)至对应位置。两个检测点位于统一空间坐标系下，通过向量运算计算空间距离。测距信息支持手部菜单实时查看。

步骤五、碰撞检测。白车身移动定位过程，通过碰撞检测算法检测碰撞位置，进行与涂胶生产线的干涉验证。基于步骤一定位过程与步骤二徒手人机交互辅助验证创建的产线网格模型，利用Unity3D物理引擎为网格模型和白车身添加碰撞体，在车身移动过程中实时检测与产线的干涉情况，对干涉出进行结果可视化反馈。

通过上述验证过程，白车身结构设计和生产线布局将进一步调整，以确保白车身与涂胶线的适配性。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于增强现实的白车身与生产线适配性验证系统，其特征在于：包括验证环境构建模块、徒手人机交互辅助验证模块、检测模块；

所述验证环境构建模块，利用AR设备构建虚实融合的验证环境，实现虚拟白车身模型在实际生产线上移动；

白车身通过吊具与生产线的滑道固定连接，而白车身与吊具是相对固定的；因此，通过虚拟白车身模型和真实吊具的绑定，实现虚拟白车身和真实生产线的虚实结合；考虑到AR设备的算力限制以及精确虚实融合的需要，所述验证环境构建模块采用基于标记的跟踪技术实现；一张静态的平面图像被导入系统作为标记对象，虚拟白车身模型的位置是根据标记坐标系来定义；白车身相对于生产线的位置是由模型相对于标记物的位置和吊具上的标记物排列决定；AR设备识别标记图显示虚拟白车身模型；操作者看到整个虚拟现实融合场景，在AR设备上对生产现场的白车身的通行性进行视觉验证；所述验证环境构建模块是后续验证模块的功能基础，后续验证模块基于所述验证环境构建模块创建的准确虚实融合环境进行距离测量和碰撞检测；

所述人机交互辅助验证模块，基于AR设备开发徒手人机交互功能，结合徒手人机交互功能进行人机交互辅助验证模块开发，通过在产线现场布置虚拟网格点，根据所述现场布置的虚拟网格点，基于图形学算法生成拟合产线表面的虚拟网格，实现生产线轻量化即时建模，在计算机视觉感知信息基础上融合现场修正网格点布局信息，提高对产线环境感知精度；所述人机交互辅助验证模块包括徒手人机交互子模块、手动布置网格点模块、虚拟网格生成模块；

徒手人机交互子模块，用于实现增强现实环境下虚拟模型三维手势操纵功能；利用AR设备采集的RGB-D信息，在真实手上叠加虚拟手模型，根据真实物体抓握物理过程特点和增强现实环境构建“抓握副”条件，基于“抓握副”构建抓握意图识别算法，识别双手是否抓握虚拟模型或者松开虚拟模型；基于碰撞检测算法检测双手和在其他虚拟模型发生接触，根据抓握意图识别算法，计算手和被操纵模型多个接触点之间能否形成“抓握副”，判断是否双手与虚拟模型之间存在抓握情况，“抓握副”由两个接触点组成，如果存在一个以上的“抓握副”，则被抓握虚拟模型被判定为抓握状态，无需基于多个接触点的接触计算来判断是否完成抓握，使抓取意图判断更加灵活，更接近真实三维手势操纵情况，更适应复杂手势交互场景，也更加符合用户直观交互感受，同时，如果存在多对“抓握副”，则多个组成抓握副的接触点都将参与到交互意图识别中，提高手势交互意图识别的鲁棒性、灵活性、效率和沉浸感；

手动布置网格点子模块，基于徒手人机交互子模块“抓握副”功能，调整网格点位置，修正网格点布局信息；拟合生成在生产线上的网格是一个由三角形贴片组成的空间凸多边形；三角形面片是计算机用来创建平面网格的基本单位；产生三角形面片的元素包括顶点坐标集和三角形顶点索引集，其中三角形顶点索引集也是要处理的顶点排列，所以首先要考虑的是获得能与生产线表面相适应的顶点集，即所述网格点集；通过预先定义虚拟球体对象作为网格点，球体对象的坐标系在AR环境中是统一的、易获取的，利用所述徒手人机交互子模块“抓握副”，球体被生成并被即时拖动到生产线表面凸体的边缘上；网格拟合所需的顶点集是通过排列布局一系列球体顶点来实现的；

虚拟网格生成子模块，根据手动布置网格点子模块中得到的网格顶点集，利用图形学算法对空间凸体多边形进行三角化处理后得到三角顶点索引集；所述三角化处理是将多边形分解为若干个三角形，由所述顶点组成多边形；考虑到人工定义的顶点序列是所需的直接建模序列，三角形顶点索引集是根据邻接原则建立的；然后通过图形学算法生成三角形的组合，以生成适应实际生产线表面的虚拟网格；

所述检测模块，基于验证环境构建模块和徒手人机交互辅助验证模块所创建AR白车身与产线适配性验证环境，针对具体白车身与产线适配性验证需求进行检测；所述检测模块包括AR测距子模块、碰撞检测子模块、验证结果可视化输出子模块；

所述AR测距子模块，基于人机交互辅助验证模块得到的产线表面虚拟网格边界点与预定义白车身模型上的检测点，在白车身和周围产线环境的风险点进行测距；两个检测点都是具有坐标属性的统一的球体对象，基于AR设备的空间锚，两个检测点的位置被转换到统一的坐标系中，并进行矢量运算来求得空间距离；通过AR距离测量方法实现白车身与真实产线环境的风险点测距，利用AR环境下映射风险点测距获取真实环境测距点空间距离，有效避免现有空间测距方法下无法处理遮挡、环境复杂条件下测量点无法获取问题，实现易操作且准确的空间距离测量，以确保安全的操作空间；

所述碰撞检测子模块，基于徒手人机交互辅助验证模块中为拟合生产线表面而建立的空间凸多边形网格模型，进行白车身模型与生产线网格之间的碰撞检测；利用3D开发物理引擎，为生产线拟合网格模型与白车身模型添加统一的碰撞器，实现碰撞检测，结合触发器来设置事件响应，记录碰撞的位置和深度；

测试结果可视化输出子模块，在测距子模块和碰撞检测子模块验证过程中，实时接收测距模块输出的检测点距离信息，且实时接收碰撞检测模块输出干涉位置与碰撞深度信息，利用所述测距与碰撞验证信息以空间可视化用户界面的形式呈现，支持即时查看和汇总检测报告显示；在本发明中，基于徒手人机交互子模块的手势识别功能，通过定义便捷的用户界面，AR设备摄像头在识别到舒展手势时，会显示交互菜单，菜单页面包含实时距离信息和碰撞检测结果报告。

2.如权利要求1所述的一种基于增强现实的白车身与生产线适配性验证系统，其特征在于：所述AR设备选用HoloLens2。

3.如权利要求2所述的一种基于增强现实的白车身与生产线适配性验证系统，其特征在于：所述物理引擎选用Unity3D物理引擎。

4.一种基于增强现实的白车身与生产线适配性验证方法，基于如权利要求1、2或3所述的一种基于增强现实的白车身与生产线适配性验证系统实现，其特征在于：包括如下步骤，

步骤一：创建虚实融合的白车身与生产线适配性验证环境，用户佩戴AR设备，扫描并识别预先设定的二维码标记，渲染在生产线上的白车身模型；模型相对于二维码坐标系的创建的位置确定，二维码预设在产线中的位置确定，实现白车身模型相对于产线的定位；

步骤二：利用AR设备采集RGB-D信息识别双手关键节点，叠加虚拟手模型，并根据关键节点位置姿态确定虚拟手模型的位置和姿态，实现真实双手在虚拟空间的映射；

步骤三：根据真实物体抓握物理过程特点和增强现实环境人机交互特点构建“抓握副”条件；基于碰撞检测算法，在每帧实时计算虚拟手模型和其他待被操纵的虚拟模型之间是否发生接触，根据意图识别算法，当计算手和被操纵模型多个接触点之间能否形成“抓握副”，判断是否双手与虚拟模型之间存在抓握情况，“抓握副”由两个接触点组成，如果存在一个以上的“抓握副”，则被抓握虚拟模型被判定为抓握状态；更适应复杂手势交互场景，也更加符合用户直观交互感受，提高手势交互意图识别的鲁棒性、灵活性、效率和沉浸感；

所述的“抓握副”是由符合条件的虚拟手模型和被抓取模型的两个接触点构成的；所述“抓握副”条件如下：两个接触点的连线与各自接触面法线之间的角度不超过一个固定角度α，则所述两个接触点将构成一个稳定的抓握副g(a,b)；所述固定角度α即为摩擦角；

所述的抓握意图识别算法根据“抓握副”条件建立，循环判断当前所有的接触点是否能与另外一个接触点组成一对“抓握副”；对于一次循环判断中虚拟手与虚拟物体的任意两个接触点a、b来说，两个接触点的连线与各自接触面法线之间的角度不超过一个固定角度α，则所述两个接触点将构成一个稳定的抓握副g(a,b)；所述的这个固定角度α即为摩擦角，即抓握副g(a,b)应满足

其中，n_a和n_b为接触点a和接触点b的法向量，该法向量为接触点处关节虚拟模型的圆柱表面的法向量；l_ab为接触点a和b的连线；α为摩擦角，摩擦角的值需针对具体被操纵模型经过测试来设定以满足虚拟部件稳定、自然的抓握；

步骤四：根据步骤三构建的“抓握副”条件构建抓取中心获取方法，以获取抓取中心；如果基于步骤三中的抓握意图识别算法判断出虚拟模型在抓握状态，根据操纵意图识别算法，基于双手在被操纵模型上抓取中心的位移和姿态变换，计算双手施加在虚拟模型上的虚拟力或力矩，并以虚拟力或力矩驱动虚拟模型的移动或旋转；采用操纵意图识别算法且增加抓取中心判断条件后，使任意个接触点全部参与到操纵意图识别过程，使操纵意图识别更加灵活，并提高操纵意图识别的鲁棒性；

所述的抓取中心是代表整个手的运动的中心点，将整个手视为一个完整的刚体，由抓取中心的位置、姿态和速度代表整个虚拟手的运动参数；

所述的抓取中心判断方法如下：根据步骤四构建的“抓握副”条件判定“抓握副”的位置和数量；将“抓握副”视为一个统一的刚体，由抓取中心来表示该刚体的位置和姿态；如果存在一个“抓握副”，则抓取中心为组成“抓握副”的接触点连线的中心，抓取中心位置和姿态计算如下：

其中，Pc表示抓取中心位置，p1和p2表示组成“抓握副”的接触点的位置，wc、rc和lc分别表示抓取中心的三个欧拉角参数，

和

表示当前坐标系下指向x、y和z轴的单位向量；

如果存在多个“抓握副”，将根据多个“抓握副”的接触点的连线长度进行判断，确定连线长度最长的“抓握副”为主抓握副，根据所述公式(3)(4)构建抓取中心；

步骤4.1，判断“抓握副”是否满足“抓握副”取消条件，如果满足取消条件，则视为用户放下被操纵虚拟模型，将不执行后续步骤，在下一帧不再更新虚拟模型的位置和姿态；如果不满足则执行步骤4.2；

所述的“抓握副”取消条件计算如下所示：

其中，

为当前第i帧帧组成“抓握副”的两接触点之间的距离，

为第i-1帧组成“抓握副”的两接触点之间的距离，k为固定值；即当组成“抓握副”的两接触点在两帧之间发生远离且远离程度满足一定的阈值，则视为取消抓取；

步骤4.2，根据操纵意图识别算法，计算双手施加在虚拟模型上的虚拟力或力矩，继续执行步骤4.3；所述的操纵意图识别算法，是基于抓取中心的位姿变换趋势来计算出当前帧双手对虚拟模型施加的虚拟力或虚拟力矩，并根据虚拟力或虚拟力矩来计算虚拟模型移动和旋转的参数，所述移动和旋转的参数包括移动方向和距离以及旋转的方向和角度；采用操纵意图识别算法且增加“抓取中心”条件判断后，使任意个接触点全部参与到操纵意图识别过程，使操纵意图识别更加灵活，并提高操纵意图识别的鲁棒性；

所述的操纵意图识别算法是基于虚拟线性和扭转的弹簧阻尼模型构建；所述的操纵意图识别算法的计算公式如下所示；

公式(6)为虚拟力的计算公式，f_vf表示虚拟操纵力，公式(7)为虚拟力矩的计算公式，τ_vf表示虚拟操纵力矩；其中，当前第i帧双手接触中心点的姿势表示为

在第i+1帧，双手接触中心点的姿势表示为(qi+1l,qi+1o),

为手在第i帧的三维位置，

为描述手方位的四元数；

和

为被操纵虚拟模型在第i帧的线速度和角速度；K_sl(K_so)和K_Dl(K_Do)为线性与扭转弹簧阻尼模型的系数；通过调整；K_sl(K_so)和K_Dl(K_Do)系数，实现虚拟部件稳定、平滑的动态运动，符合用户的直观交互感受；

步骤4.3，根据步骤4.2所述的操纵意图识别算法计算的虚拟力或力矩，结合刚体动力学计算虚拟模型的位移变化量和旋转变化量；并根据位移和旋转变化量在当前帧更新被操纵虚拟模型的位置和姿态，并根据新的位置和姿态渲染该虚拟模型；

位移变化量计算公式如下：

其中，Si表示在当前第i帧被操纵虚拟模型位移，vi表示当前第i帧被操纵虚拟模型的速度，Δt表示在当前第i帧到下一帧第i+1帧之间的时间差，f_vf为所述的操纵意图识别算法识别的虚拟操纵力，m表示被操纵虚拟模型的质量；ΔT_i表示虚拟模型的位移矩阵，Z、Y和X表示在增强现实环境下的坐标系；

旋转变化量计算公式如下：

ΔR_i＝R_z(θ_iz)R_y(θ_iy)R_x(θ_ix) (11)

其中，θ_i表示在在当前第i帧被操纵虚拟模型旋转角度，τ_vf为所述的操纵意图识别算法识别的虚拟操纵力，Δt表示在当前第i帧到下一帧第i+1帧之间的时间差，J表示被操纵虚拟模型的转动惯量，ΔR_i表示虚拟模型的旋转矩阵，θ_iz，θ_iy和θ_ix分别表示旋转角度在θ_i在围绕增强现实环境坐标系x、y、z轴的分量；

步骤五：手动布置网格点，通过预先定义虚拟球体对象作为网格点，利用所述步骤三创建的“抓握副”，即时拖动虚拟球体到生产线表面凸体的边缘上；网格拟合所需的顶点集是通过排列布局一系列球体顶点来实现的；基于步骤三构建的“抓握副”，人为调整网格点位置，修正网格点布局信息，获得能准确拟合生产线表面的网格点集；

步骤六：利用图形学算法生成拟合产线凸体表面的虚拟网格，基于所述步骤四手动布置网格点得到的网格顶点集，对拟合产线凸体表面的虚拟网格进行三角化处理后得到三角顶点索引集；所述三角化处理是将多边形分解为若干个三角形，由所述顶点组成这个多边形；由于人工定义的顶点序列是所需的直接建模序列，三角形顶点索引集是根据邻接原则建立的；然后通过图形学算法生成三角形的组合，以生成适应实际生产线表面的虚拟网格；

所述网格顶点集与三角形顶点索引集由以下参数化表示：

{V₀,V₁,V₂,....,V_i,...},V_i∈polygon (12)

其中polygon表示虚拟网格顶点集，V_i表示第i个网格点；△i表示组成虚拟网格的第i个三角形，(V_i ⁰,V_i ¹,V_i ²)表示此三角形三个顶点索引集；

步骤七：通过定义检测点，测量白车身的胶枪与白车身涂胶处的距离；检测点的定义通过用户菜单选取和手势定义结合的方式：白车身模型上的检测点预定义，并通过用户界面手势选择；产线现场检测点通过步骤四所创建“抓握副”拖动检测点至对应位置；两个检测点位于统一空间坐标系下，通过向量运算计算空间距离；基于步骤四所述手势识别功能，AR设备摄像头在识别到舒展手势时，会显示交互菜单，菜单页面包含实时距离信息；利用AR距离测量方法实现白车身与真实产线环境的风险点测距，利用AR环境下映射风险点测距获取真实环境测距点空间距离，有效避免现有空间测距方法下无法处理遮挡、环境复杂条件下测量点无法获取问题，实现易操作且准确的空间距离测量，以确保安全的操作空间；

步骤八：在白车身移动定位过程中，通过碰撞检测算法检测碰撞位置，进行与涂胶生产线的干涉验证；基于所述步骤一创建AR验证环境与步骤五创建的产线虚拟网格模型，利用物理引擎为网格模型和白车身添加碰撞体，在车身移动过程中实时检测与产线的干涉情况，结合触发器来设置事件响应，记录碰撞的位置和深度，对干涉出进行结果可视化反馈，即基于增强现实实现白车身与生产线适配性验证。

5.如权利要求4所述的一种基于增强现实的白车身与生产线适配性验证方法，其特征在于：步骤八中，

所述碰撞检测算法模型由下式所示：

A+B＝{a+b|a∈A,b∈B} (14)

A、B指凸体A、B上点的合集，a、b是A、B中的点；

A-B＝{a-b|a∈A,b∈B} (15)

式(15)称作明可夫斯基差，表示当凸体A、B重叠或相交时，其差集{a-b}肯定包含原点，对于白车身与产线的碰撞检测，即通过判断白车身模型点集与产线虚拟网格点集的差集是否包含原点验证是否发生干涉，包含原点即表示发生碰撞；

通过上述验证过程，利用增强现实技术在白车身设计阶段实现高效低成本的车体产线适配性验证，为白车身结构优化和产线布局优化提供即时反馈，白车身结构优化和生产线布局将进一步调整，以提升白车身与生产线的适配性。

Images