CN109920064A - 一种基于增强现实技术的模型空间位姿的精确调整方法 - Google Patents
一种基于增强现实技术的模型空间位姿的精确调整方法 Download PDFInfo
- Publication number
- CN109920064A CN109920064A CN201910192750.6A CN201910192750A CN109920064A CN 109920064 A CN109920064 A CN 109920064A CN 201910192750 A CN201910192750 A CN 201910192750A CN 109920064 A CN109920064 A CN 109920064A
- Authority
- CN
- China
- Prior art keywords
- model
- augmented reality
- reality technology
- accurately adjusting
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 18
- 238000005516 engineering process Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 4
- 238000007634 remodeling Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 229910000679 solder Inorganic materials 0.000 abstract 2
- 238000003466 welding Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000010146 3D printing Methods 0.000 description 2
- 241000209094 Oryza Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于增强现实技术的模型空间位姿的精确调整方法，首先，对三维模型进行预处理、格式转换；然后，使用AR设备检测特征点并将模型展示到现实场景中；最后，在AR设备中进行三维模型精确位置调整。由此，本发明的基于增强现实技术的模型空间位姿的精确调整方法通过人眼观察判断以及在终端设备上操作，能够在几分钟之内就可以将模型与实物达到一定精度级别上的空间位置重叠，通过屏幕可以非常直观地并且可以从任意方向看到焊点实际位置和理论位置的差别；能够快速解决焊点等制造特征的位置核对问题，既节省金钱，又节约宝贵的时间。
Description
技术领域
本发明涉及汽车制造技术领域，尤其涉及一种基于增强现实技术的模型空间位姿的精确调整方法。
背景技术
在工业生产及装备制造领域，大多需要采用将图纸打印出来，工人再对照图纸进行生产及装配。在这个过程中，也必不可少地要使用到传统的测量设备。例如，在汽车焊装领域，核对白车身电阻焊焊点位置的时候，当前采用的方法有四种：一是采用三坐标测量设备进行人工标定；二是对照设计软件中测量出来的焊点位置，现场用钢板尺在车身上测量；三是从设计软件中提取车身焊点所在的面，并标记出焊点位置，一比一打印成图纸，用胶水贴在车身上进行比对；四是利用3D打印技术打印出三维模板，将模板放到车身上比对。
然而，一辆车上有4000多个焊点，采用以上核对车身焊点位置的四种方法都需要花费很长时间，几天到几周，甚至更长时间。第一种方法需要动用价格昂贵的三坐标测量设备，由专业人员操作才能完成。第四种方法采用3D打印方式要想打印较大尺寸的模型，也需要价格较高的3D打印机，而且需要花费若干天时间才能打印出来。其余两种方法则需要耗费大量的人工才能完成。这几种方法不仅都需要花费时间和金钱，重要的是会增加调试及检查的周期，进而影响产量及上市时间，这两方面对于竞争激烈的车企来说至关重要。
发明内容
为了克服现有技术的缺陷，本发明所要解决的技术问题是：如何低成本、高效率地完成模型位置精确调整和相对位置精确调整。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于增强现实技术的模型空间位姿的精确调整方法，所述方法包括如下步骤：
S1：开始；
S2：三维模型预处理、格式转换；
S3：AR设备检测特征点并将模型展示到现实场景中；
S4：在AR设备中进行三维模型精确位置调整；
S5：结束。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步地，步骤S4具体包括：
S4-1：利用函数重塑虚拟世界，创建一个锚点，保持当前位置的姿态；
S4-2：镜头移动更新姿态，跟踪并重建物理特征；
S4-3：将当前模型的局部坐标空间转换到世界坐标空间；
S4-4：获取起始特征点；
S4-5：精确移动操作，和/或精确旋转操作。
进一步地，步骤S2具体包括：将多种行业导出的三维模型进行几何信息提取，提取出三角面片信息，将数据转换成自定义的格式数据，以云存储形式，实现在移动设备上进行展示和功能交互。
进一步地，步骤S3具体包括：使用AR设备摄像头标识特征点，并跟踪这些点随着时间变化的移动；将这些点的移动与AR设备惯性传感器的读数组合，在AR设备移动时确定位置和屏幕方向。
进一步地，在步骤S4中，所述精确移动操作具体包括：根据需要移动的距离和起始特征点，计算平移方向向量；得到终点坐标，移动模型。
进一步地，在步骤S4中，所述精确旋转操作具体包括：根据需要旋转的角度和模型当前姿态，获取锚定节点和当前坐标系之间的四元数矩阵；计算旋转矩阵，旋转模型。
与现有技术相比，本发明具有如下技术效果：
通过人眼观察判断以及在终端设备上操作，能够在几分钟之内就可以将模型与实物达到一定精度级别上的空间位置重叠，通过屏幕可以非常直观地并且可以从任意方向看到焊点实际位置和理论位置的差别；对于焊点位置核对来说，因为位置精度要求不是很高，人眼识别的精度就可以满足要求，因此对于类似这种应用场合，该方法能够快速解决问题，既节省金钱，又节约宝贵的时间。
附图说明
图1为本发明的基于增强现实技术的模型空间位姿的精确调整方法的步骤流程图；
图2为本发明的基于增强现实技术的模型空间位姿的精确调整方法的人机交互界面的示意图；
图3为精确移动操作的计算坐标原理图；
图4为精确旋转操作的计算旋转矩阵原理图一；
图5为精确旋转操作的计算旋转矩阵原理图二。
在附图中，各标号所表示的部件名称列表如下：
1——交互按钮；2——模型；3——坐标系；
4——步长设置按钮；5——透明度调整按钮。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
请参照图1所示，其为本发明的基于增强现实技术的模型空间位姿的精确调整方法的步骤流程图。所述基于增强现实技术的模型空间位姿的精确调整方法包括如下步骤：
S1：开始；
S2：三维模型预处理、格式转换；具体地，将多种行业导出的三维模型进行几何信息提取，提取出三角面片信息，将数据转换成自定义的格式数据，以云存储形式，实现在移动设备上进行展示和功能交互；
S3：AR设备检测特征点并将模型展示到现实场景中；具体地，使用AR设备摄像头标识特征点，并跟踪这些点随着时间变化的移动；将这些点的移动与AR设备惯性传感器的读数组合，可以在AR设备移动时确定它的位置和屏幕方向；
S4：在AR设备中进行三维模型精确位置调整；
首先，请参照图2所示，其为本发明的基于增强现实技术的模型空间位姿的精确调整方法的人机交互界面的示意图；所述人机交互界面中设有：交互按钮1、模型2、坐标系3、步长设置按钮4以及透明度调整按钮5，其中，所述交互按钮1具体包括的按钮有：X轴移动、Y轴移动、Z轴移动、X轴旋转、Y轴旋转以及Z轴旋转；所述步长设置按钮4包括移动设置和旋转设置；实际操作时，操作者在AR设备屏幕中选择环境中的模型2，利用AR设备屏幕的交互按钮1，通过点按、长按或手势操作，并使用步长设置按钮4设置移动的步长和单位，模型按坐标系3指示的方向移动或旋转，最终返回这个模型在现实世界空间中的姿态；位置调整可精确到毫米，角度调整可精确到分；
具体地，
S4-1：利用函数重塑虚拟世界，创建一个锚点，保持当前位置的姿态；例如，使用苹果公司ARKit开发平台Session功能，用API函数Session.update()重塑虚拟世界，创建一个Anchor(在AR设备中，ARAnchor表示一个物体在3D空间的位置和方向，通常称为物体的3D锚点)，保持当前位置的姿态；
S4-2：镜头移动更新姿态，跟踪并重建物理特征；
S4-3：将当前模型的局部坐标空间转换到世界坐标空间；
API函数：Pose.tx(),Pose.ty(),Pose.tz()
S4-4：获取起始特征点；
S4-5：精确移动操作，和/或精确旋转操作；
具体地，请参照图3所示，其为精确移动操作的计算坐标原理图；首先，根据需要移动的距离(图3线段AB)和起始特征点(图3点A)，计算平移方向向量；然后，得到终点坐标，移动模型；其中，
计算坐标的原理如下：
米转换为厘米：
double distanceCM＝((int)(getHitMeters(poseA,distance)*1000))/10.0f；
其中，poseA是第一个锚点的位置，distance是移动距离。
将米转换为毫米：
double distanceMM＝((int)(getHitMeters(poseA，distance)*1000))/100.0f；
其中，poseA是第一个锚点的位置，distance是移动距离。
请再参照图4、图5所示，其为精确旋转操作的计算旋转矩阵原理图一、二；首先，根据需要旋转的角度(图4角度θ)和模型当前姿态(图4模型)，获取锚定节点和当前坐标系之间的四元数矩阵；然后，计算旋转矩阵，旋转模型(图4中的角α、角β、角γ)；其中，
计算旋转矩阵的原理如下：
绕X轴旋转
x′＝x
y′＝ycosθ-zsinθ
z′＝ysinθ+zcosθ
其中，x、y、z是模型坐标，θ是模型绕X轴旋转的角度，x’、y’、z’是模型绕X轴旋转θ角得到的坐标；
绕Y轴旋转
x′＝zsinθ+x cos
y′＝y
z′＝zcosθ-xsinθ
其中，x、y、z是模型坐标，θ是模型绕Y轴旋转的角度，x’、y’、z’是模型绕Y轴旋转θ角得到的坐标；
绕Z轴旋转
x′＝xcosθ-ysinθ
y′＝xsinθ+ycosθ
z′＝z
其中，x、y、z是模型坐标，θ是模型绕Z轴旋转的角度，x’、y’、z’是模型绕Z轴旋转θ角得到的坐标；
旋转模型实现代码为：
model0bj.transform.localRotation＝Quaternion.identity；
Vector3 pos＝model0bj.transform.position；
modelObj.transform.RotateAround(pos,transform.right,fmodel.TranInfo.Rot.x)；
pos＝mode10bj.transform.position；
mode1Obj.transform.RotateAround(pos,transform.up,-fmodel.TranInfo.Rot.y)；
pos＝model0bj.transform.position；
mode1Obj.transform.RotateAround(pos,transform.forward,fmodel.TranInfo.Rot.z)；
完成对三维模型的精确位置调整后，进入S5；
S5：结束。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于增强现实技术的模型空间位姿的精确调整方法，其特征在于，所述方法包括如下步骤：
S1：开始；
S2：三维模型预处理、格式转换；
S3：AR设备检测特征点并将模型展示到现实场景中；
S4：在AR设备中进行三维模型精确位置调整；
S5：结束。
2.根据权利要求1所述的基于增强现实技术的模型空间位姿的精确调整方法，其特征在于，步骤S4具体包括：
S4-1：利用函数重塑虚拟世界，创建一个锚点，保持当前位置的姿态；
S4-2：镜头移动更新姿态，跟踪并重建物理特征；
S4-3：将当前模型的局部坐标空间转换到世界坐标空间；
S4-4：获取起始特征点；
S4-5：精确移动操作，和/或精确旋转操作。
3.根据权利要求1或2所述的基于增强现实技术的模型空间位姿的精确调整方法，其特征在于，步骤S2具体包括：将多种行业导出的三维模型进行几何信息提取，提取出三角面片信息，将数据转换成自定义的格式数据，以云存储形式，实现在移动设备上进行展示和功能交互。
4.根据权利要求1或2所述的基于增强现实技术的模型空间位姿的精确调整方法，其特征在于，步骤S3具体包括：使用AR设备摄像头标识特征点，并跟踪这些点随着时间变化的移动；将这些点的移动与AR设备惯性传感器的读数组合，在AR设备移动时确定位置和屏幕方向。
5.根据权利要求3所述的基于增强现实技术的模型空间位姿的精确调整方法，其特征在于，步骤S3具体包括：使用AR设备摄像头标识特征点，并跟踪这些点随着时间变化的移动；将这些点的移动与AR设备惯性传感器的读数组合，在AR设备移动时确定位置和屏幕方向。
6.根据权利要求2所述的基于增强现实技术的模型空间位姿的精确调整方法，其特征在于，所述精确移动操作具体包括：根据需要移动的距离和起始特征点，计算平移方向向量；得到终点坐标，移动模型。
7.根据权利要求2或6所述的基于增强现实技术的模型空间位姿的精确调整方法，其特征在于，所述精确旋转操作具体包括：根据需要旋转的角度和模型当前姿态，获取锚定节点和当前坐标系之间的四元数矩阵；计算旋转矩阵，旋转模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910192750.6A CN109920064A (zh) | 2019-03-14 | 2019-03-14 | 一种基于增强现实技术的模型空间位姿的精确调整方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910192750.6A CN109920064A (zh) | 2019-03-14 | 2019-03-14 | 一种基于增强现实技术的模型空间位姿的精确调整方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109920064A true CN109920064A (zh) | 2019-06-21 |
Family
ID=66964820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910192750.6A Pending CN109920064A (zh) | 2019-03-14 | 2019-03-14 | 一种基于增强现实技术的模型空间位姿的精确调整方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109920064A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110388919A (zh) * | 2019-07-30 | 2019-10-29 | 上海云扩信息科技有限公司 | 增强现实中基于特征图和惯性测量的三维模型定位方法 |
| CN113662663A (zh) * | 2021-08-20 | 2021-11-19 | 中国人民解放军陆军军医大学第二附属医院 | 一种ar全息手术导航系统坐标系转换方法、装置及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103793936A (zh) * | 2012-10-31 | 2014-05-14 | 波音公司 | 用于增强现实的自动化参考框架校准 |
| WO2015096806A1 (zh) * | 2013-12-29 | 2015-07-02 | 刘进 | 智能机姿态测定、全景影像生成及目标识别方法 |
| CN106814851A (zh) * | 2016-12-09 | 2017-06-09 | 武汉秀宝软件有限公司 | 一种增强现实交互方法及系统 |
| CN106875493A (zh) * | 2017-02-24 | 2017-06-20 | 广东电网有限责任公司教育培训评价中心 | Ar眼镜中虚拟目标物的叠加方法 |
| CN107945283A (zh) * | 2017-12-06 | 2018-04-20 | 河南省水利勘测设计研究有限公司 | 基于移动增强现实技术和bim的工程展示方法 |
| CN108573530A (zh) * | 2018-03-29 | 2018-09-25 | 麒麟合盛网络技术股份有限公司 | 增强现实ar交互方法及系统 |
-
2019
- 2019-03-14 CN CN201910192750.6A patent/CN109920064A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103793936A (zh) * | 2012-10-31 | 2014-05-14 | 波音公司 | 用于增强现实的自动化参考框架校准 |
| WO2015096806A1 (zh) * | 2013-12-29 | 2015-07-02 | 刘进 | 智能机姿态测定、全景影像生成及目标识别方法 |
| CN106814851A (zh) * | 2016-12-09 | 2017-06-09 | 武汉秀宝软件有限公司 | 一种增强现实交互方法及系统 |
| CN106875493A (zh) * | 2017-02-24 | 2017-06-20 | 广东电网有限责任公司教育培训评价中心 | Ar眼镜中虚拟目标物的叠加方法 |
| CN107945283A (zh) * | 2017-12-06 | 2018-04-20 | 河南省水利勘测设计研究有限公司 | 基于移动增强现实技术和bim的工程展示方法 |
| CN108573530A (zh) * | 2018-03-29 | 2018-09-25 | 麒麟合盛网络技术股份有限公司 | 增强现实ar交互方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| MIHRAN TUCERYAN 等: "Calibration Requirements and Procedures for a Monitor-Based Augmented Reality System", 《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110388919A (zh) * | 2019-07-30 | 2019-10-29 | 上海云扩信息科技有限公司 | 增强现实中基于特征图和惯性测量的三维模型定位方法 |
| CN110388919B (zh) * | 2019-07-30 | 2023-05-23 | 上海云扩信息科技有限公司 | 增强现实中基于特征图和惯性测量的三维模型定位方法 |
| CN113662663A (zh) * | 2021-08-20 | 2021-11-19 | 中国人民解放军陆军军医大学第二附属医院 | 一种ar全息手术导航系统坐标系转换方法、装置及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112122840B (zh) | 一种基于机器人焊接的视觉定位焊接系统及焊接方法 | |
| US9965896B2 (en) | Display device and display method | |
| JP5378374B2 (ja) | リアルオブジェクトに対するカメラの位置および方向を把握する方法およびシステム | |
| EP3879494A2 (en) | Method, apparatus, electronic device, computer readable medium and program for calibrating external parameter of camera | |
| JP2017077614A (ja) | 教示点補正方法、プログラム、記録媒体、ロボット装置、撮影点作成方法、及び撮影点作成装置 | |
| CN107729707B (zh) | 基于移动增强现实技术和bim的工程施工放样方法 | |
| CN105014677A (zh) | 基于Camshift视觉跟踪和D-H建模算法的视觉机械臂控制装置及方法 | |
| CN109920064A (zh) | 一种基于增强现实技术的模型空间位姿的精确调整方法 | |
| CN110017852A (zh) | 一种导航定位误差测量方法 | |
| CN109764805A (zh) | 一种基于激光扫描的机械臂定位装置与方法 | |
| CN102990178A (zh) | 一种使用Gerber文件提高焊锡机器人编程速度和精度的方法 | |
| CN210361314U (zh) | 一种基于增强现实技术的机器人示教装置 | |
| Burkard et al. | User-aided global registration method using geospatial 3D data for large-scale mobile outdoor augmented reality | |
| CN114670199A (zh) | 识别定位装置、系统、实时跟踪系统 | |
| CN109579745A (zh) | 基于增强现实和手机软件的新型房屋面积测算方法 | |
| CN110238851A (zh) | 一种移动机器人及其快速标定方法和系统 | |
| CN110428496B (zh) | 基于虚实融合的手持工具作业导引方法 | |
| CN116468788A (zh) | 一种基于ar辅助装配的空间定位方法及装置 | |
| CN114926542A (zh) | 基于光学定位系统的混合现实固定参考系校准方法 | |
| CN104376560A (zh) | 基于光学投影仪的相机多功能标定方法及装置 | |
| CN114859327A (zh) | 校准方法、装置、设备 | |
| CN113160326A (zh) | 一种基于重建坐标系的手眼标定方法及装置 | |
| CN103034345A (zh) | 一种真实空间中的地理虚拟仿真三维鼠标笔 | |
| CN112454363A (zh) | 一种用于焊接操作的ar辅助机器人的控制方法 | |
| KR100914857B1 (ko) | 3차원 비전 카메라 시스템을 이용한 작업 대상물 위치 인식및 캐드 데이터 매칭 방법과 그 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190621 |