CN112015275A - 基于数字孪生ar交互方法和系统 - Google Patents

基于数字孪生ar交互方法和系统 Download PDF

Info

Publication number
CN112015275A
CN112015275A CN202010890903.7A CN202010890903A CN112015275A CN 112015275 A CN112015275 A CN 112015275A CN 202010890903 A CN202010890903 A CN 202010890903A CN 112015275 A CN112015275 A CN 112015275A
Authority
CN
China
Prior art keywords
dimensional model
acquiring
target object
module
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010890903.7A
Other languages
English (en)
Inventor
闵海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Aoxiang Intelligent Manufacturing Technology Co ltd
Original Assignee
Nanjing Aoxiang Intelligent Manufacturing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Aoxiang Intelligent Manufacturing Technology Co ltd filed Critical Nanjing Aoxiang Intelligent Manufacturing Technology Co ltd
Priority to CN202010890903.7A priority Critical patent/CN112015275A/zh
Publication of CN112015275A publication Critical patent/CN112015275A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了基于数字孪生AR交互方法和系统,涉及生产装配的技术领域,旨在解决现有装配技术只能从单一视角进行装配工作,无法准确把握装配路径与装配效果,影响装配效率的问题。其技术方案要点是获取相机采集的真实空间的现场图像并识别目标物体,获得其像素坐标P;在虚拟空间加载目标物体的三维模型,获取真实空间到虚拟空间的转换矩阵K,根据P和K计算三维模型在虚拟空间坐标系下的位姿Pmodel;获取人机交互接口所选择的投影角度,计算三维模型不同侧面在所述投影角度下的投影;对三维模型进行渲染,将渲染后的投影图像在虚拟屏幕上展示。本发明从不同角度观察确认装配路径与装配效果,达到了提高工作效率的效果。

Description

基于数字孪生AR交互方法和系统
技术领域
本发明涉及生产装配的技术领域,尤其是涉及一种基于数字孪生AR交互方法和系统。
背景技术
数字孪生(Digital Twin),是充分利用物理模型、传感器更新、运行历史等数据,集成多学科、多物理量、多尺度、多概率的仿真过程,主要是通过对物理世界中的事件(物体)进行数字化模拟,来构建一个数字世界中一模一样的实体,藉此来实现对物理实体的了解、分析和优化的过程。在产品的设计阶段,利用数字孪生可以提高设计的准确性,并验证产品在真实环境中的性能。
但是,生产装配过程中需要对零部件进行定位,有时零部件约束较多,装配时可能发生碰撞、干涉等情况,有时物体本身存在自遮挡,若通过视频监控观察工作进度,只能从单一视角进行装配工作,无法准确把握零部件的移动。因此,将数字孪生技术引入生产领域,从不同角度观察确认装配路径与装配效果,可以有效提高生产效率。
发明内容
本发明的目的是提供一种基于数字孪生AR交互方法和系统,达到从不同角度观察确认装配路径与装配效果的目的,提高生产效率。
本发明的上述发明目的一是通过以下技术方案得以实现的:
一种基于数字孪生AR交互方法,包括以下步骤:
获取相机采集的真实空间的现场图像并识别目标物体,从现场图像获取目标物体的像素坐标P;
在构建的虚拟空间加载目标物体的三维模型,获取真实空间到虚拟空间的转换矩阵K,根据像素坐标P和转换矩阵K计算三维模型在虚拟空间坐标系下的位姿Pmodel,确定三维模型位置;
获取人机交互接口所选择的投影角度,计算三维模型不同侧面在所述投影角度下的投影;
对三维模型进行渲染,将渲染后的投影图像在虚拟屏幕上展示。
本发明进一步设置为:所述获取真实空间到虚拟空间的转换矩阵K包括以下步骤:
使用虚拟相机从多个角度对目标物体的三维模型进行拍摄,获取三维模型的图像,从三维模型的图像中提取特征,保存为特征模板并记录相应的转换矩阵M1=[R|t];
从现场图像中提取特征点,使用ICP算法将特征点与特征模板进行匹配,获得转换矩阵M2=[R|t];
计算真实空间到虚拟空间的转换矩阵K,K=M1·M2。
本发明进一步设置为:从现场图像中提取的所述特征点采用RANSAC算法进行处理。
本发明进一步设置为:所述从三维模型的图像中提取特征和从现场图像中提取特征点的步骤均采用ORB算法。
本发明的上述发明目的二是通过以下技术方案得以实现的:
一种基于数字孪生AR交互系统,包括:
模型训练模块,用于使用虚拟相机从多个角度对目标物体的三维模型进行拍摄,获取三维模型的图像,从三维模型的图像中提取特征,保存为特征模板;
图像采集模块,用于采集真实空间的现场图像;
目标识别模块,用于处理现场图像和识别目标物体,从现场图像获取目标物体的像素坐标P;
虚实注册模块,用于在构建的虚拟空间加载目标物体的三维模型,获取真实空间到虚拟空间的转换矩阵K,根据像素坐标P和转换矩阵K计算三维模型在虚拟空间坐标系下的位姿Pmodel,确定三维模型位置;
人机交互模块,用于获取选择投影角度的指令;
投影计算模块,用于计算三维模型不同侧面在所述投影角度下的投影;
显示模块,用于渲染并显示投影计算模块的计算结果;以及,
通信模块,用于图像采集模块、目标识别模块、虚实注册模块、人机交互模块、投影计算模块和显示模块之间的通信连接。
综上所述,本发明的有益技术效果为:
本发明使用目标物体的三维模型构建实物的数字孪生体,通过目标识别技术获取目标位姿,利用虚实注册技术统一模型与实物的位姿,之后将模型侧面状态展示在虚拟屏幕上,实时反映作业过程中实物的状态。
附图说明
图1是本发明实施例一的整体结构示意图;
图2是本发明实施例一中单视角观察工件的结构示意图;
图3是本发明实施例一中多视角观察工件的结构示意图;
图4是本发明实施例二的整体结构示意图。
具体实施方式
实施例一
本发明公开了一种基于数字孪生AR交互方法,参照图1,包括以下步骤:
S1、提取特征模板,获取目标物体不同角度下的ORB特征。使用虚拟相机,从多个角度对目标物体的三维模型进行拍摄,提取ORB特征,保存为不同角度下的匹配模板,记录相应的转换矩阵M1=[R|t]。根据不同模型的复杂程度,可从上下左右前后六个角度,进行特征提取,获取多个转换矩阵M1。对于工业装配场景,通常已有零部件的数字模型,经处理后(文件格式的转换)即可制成预制体,即零部件的三维模型,直接使用,如Unity3D使用的预制体。
S2、对相机进行标定,构建与真实空间场景相应的AR虚拟空间。获取相机采集的真实空间场景的图像数据。
S3、目标识别,将目标物体与匹配模板进行匹配。
通过相机采集的真实空间场景的图像,从现场图像获取目标物体的像素坐标P,并且从任一角度提取ORB特征点,使用RANSAC(Random Sample Consensus,随机采样一致性)算法处理特征点,以去除离群点,之后使用ICP(Iterative Closest Point,迭代最近点)算法将特征点与上最佳特征模板进行匹配,获得转换矩阵M2=[R|t]。对于同一目标物体,不同角度具有不同匹配模板,现场只需将从任一角度提取的特征与不同角度的模板匹配,寻找特征点重合最多的最佳匹配模块,以确定观察角度,获取转换矩阵。
S4、虚实注册:在AR虚拟空间中加载目标物体的三维模型,通过坐标变换,将三维模型位姿与目标位姿对齐,实现虚实注册。已知目标物体的像素坐标P,则目标物体的三维模型位姿Pmodel的计算公式为:Pmodel=M1·M2·P。其中,令K=M1·M2,K即为真实空间到虚拟空间的转换矩阵。
S5、交互选择投影角度:通过人机交互选择投影角度。特别地,当不选择投影角度时,使用默认投影角度。
S6、计算三维模型不同侧面(背面、左右两面等)在所选投影角度下的投影。计算方式可采用现有技术,如在unity3D下使用虚拟相机进行观测即可获得投影。
S7、使用unity3D进行渲染,在虚拟屏幕上展示目标物体三维模型的侧面状态。
在本实施例中,在步骤S2中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为相机标定,是为了获取相机的内、外参数以及畸变参数,是根据获得的图像重构三维场景的基础。根据相机参数计算不同坐标系的转换关系,即转换矩阵其表示方式一般为:
Figure BDA0002656951030000051
其中t代表位移,R代表旋转。
在步骤S3中,RANSAC算法处理特征点,去除离群点,降低了特征点匹配错误率。ICP算法是指对于坐标系X中的每一个点用当前的R和t在坐标系Y中找最近的点(比如用欧式距离),然后这两个点就成了一对了,每个点都有了对应的映射点,用每一对的坐标列一个方程,就得到一系列的方程。重复迭代运行上述过程,直到均方差误差小于某个阀值。
在本实施例中,提取目标物体自然特征采用ORB特征描述算法进行。在传统的特征提取方法中,SIFT、SURF、ORB提取的是关键点的信息,可以用于表示某些图像的细节。这几个特征可用于图像匹配和三维建模等算法。同时,ORB特征描述算法的运行时间远优于SIFT与SURF,可用于实时性特征检测,在产品装配过程中,对时延特性要求较高,ORB算法相比较另外两个特征提取算法的计算速度更快,时延更低,具有较高鲁棒性,生产安全性更可靠。ORB特征基于FAST角点的特征点检测与描述技术,具有尺度与旋转不变性,同时对噪声及透视仿射也具有不变性。
实施例二
本发明公开了一种基于数字孪生AR交互系统,包括:
模型训练模块,用于使用虚拟相机从多个角度对目标物体的三维模型进行拍摄,获取三维模型的图像,从三维模型的图像中提取特征,保存为特征模板;
图像采集模块,用于采集真实空间的现场图像;
目标识别模块,用于处理现场图像和识别目标物体,从现场图像获取目标物体的像素坐标P;
虚实注册模块,用于在构建的虚拟空间加载目标物体的三维模型,获取真实空间到虚拟空间的转换矩阵K,根据像素坐标P和转换矩阵K计算三维模型在虚拟空间坐标系下的位姿Pmodel,确定三维模型位置;
人机交互模块,用于获取选择投影角度的指令;
投影计算模块,用于计算三维模型不同侧面在所选投影角度下的投影;
显示模块,用于渲染并显示投影计算模块的计算结果;以及,
通信模块,用于图像采集模块、目标识别模块、虚实注册模块、人机交互模块、投影计算模块和显示模块之间的通信连接。在本实施例中,通信模块包括有有线连接、5G通信、WiFi通信、4G通信、NB-IoT中的多种方式结合。
本具体实施方式的实施例均为本发明的较佳实施例,并非依此限制本发明的保护范围,故:凡依本发明的结构、形状、原理所做的等效变化,均应涵盖于本发明的保护范围之内。

Claims (5)

1.一种基于数字孪生AR交互方法,其特征在于,包括以下步骤:
获取相机采集的真实空间的现场图像并识别目标物体,从现场图像获取目标物体的像素坐标P;
在构建的虚拟空间加载目标物体的三维模型,获取真实空间到虚拟空间的转换矩阵K,根据像素坐标P和转换矩阵K计算三维模型在虚拟空间坐标系下的位姿Pmodel,确定三维模型位置;
获取人机交互接口所选择的投影角度,计算三维模型不同侧面在所述投影角度下的投影;
对三维模型进行渲染,将渲染后的投影图像在虚拟屏幕上展示。
2.根据权利要求1所述的基于数字孪生AR交互方法,其特征在于:所述获取真实空间到虚拟空间的转换矩阵K包括以下步骤:
使用虚拟相机从多个角度对目标物体的三维模型进行拍摄,获取三维模型的图像,从三维模型的图像中提取特征,保存为特征模板并记录相应的转换矩阵M1=[R|t];
从现场图像中提取特征点,使用ICP算法将特征点与特征模板进行匹配,获得转换矩阵M2=[R|t];
计算真实空间到虚拟空间的转换矩阵K,K=M1·M2。
3.根据权利要求2所述的基于数字孪生AR交互方法,其特征在于:从现场图像中提取的所述特征点采用RANSAC算法进行处理。
4.根据权利要求3所述的基于数字孪生AR交互方法,其特征在于:所述从三维模型的图像中提取特征和从现场图像中提取特征点的步骤均采用ORB算法。
5.一种基于数字孪生AR交互系统,其特征在于,包括:
模型训练模块,用于使用虚拟相机从多个角度对目标物体的三维模型进行拍摄,获取三维模型的图像,从三维模型的图像中提取特征,保存为特征模板;
图像采集模块,用于采集真实空间的现场图像;
目标识别模块,用于处理现场图像和识别目标物体,从现场图像获取目标物体的像素坐标P;
虚实注册模块,用于在构建的虚拟空间加载目标物体的三维模型,获取真实空间到虚拟空间的转换矩阵K,根据像素坐标P和转换矩阵K计算三维模型在虚拟空间坐标系下的位姿Pmodel,确定三维模型位置;
人机交互模块,用于获取选择投影角度的指令;
投影计算模块,用于计算三维模型不同侧面在所述投影角度下的投影;
显示模块,用于渲染并显示投影计算模块的计算结果;以及,
通信模块,用于图像采集模块、目标识别模块、虚实注册模块、人机交互模块、投影计算模块和显示模块之间的通信连接。
CN202010890903.7A 2020-08-29 2020-08-29 基于数字孪生ar交互方法和系统 Pending CN112015275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010890903.7A CN112015275A (zh) 2020-08-29 2020-08-29 基于数字孪生ar交互方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010890903.7A CN112015275A (zh) 2020-08-29 2020-08-29 基于数字孪生ar交互方法和系统

Publications (1)

Publication Number Publication Date
CN112015275A true CN112015275A (zh) 2020-12-01

Family

ID=73503240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010890903.7A Pending CN112015275A (zh) 2020-08-29 2020-08-29 基于数字孪生ar交互方法和系统

Country Status (1)

Country Link
CN (1) CN112015275A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112731894A (zh) * 2021-02-02 2021-04-30 深圳华龙讯达信息技术股份有限公司 一种基于数字孪生技术的包装机智能控制系统及方法
CN112905831A (zh) * 2021-04-02 2021-06-04 上海国际汽车城(集团)有限公司 物体在虚拟场景中的坐标获取方法、系统及电子设备
CN113034668A (zh) * 2021-03-01 2021-06-25 中科数据(青岛)科技信息有限公司 一种ar辅助的机械模拟操作方法和系统
CN113706629A (zh) * 2021-08-26 2021-11-26 南京航空航天大学 一种基于虚拟投影的零件编号识别系统、方法及装置
CN113963100A (zh) * 2021-10-25 2022-01-21 广东工业大学 一种数字孪生仿真场景的三维模型渲染方法及系统
CN114329747A (zh) * 2022-03-08 2022-04-12 盈嘉互联(北京)科技有限公司 一种面向建筑数字孪生的虚实实体坐标映射方法及系统
CN114331194A (zh) * 2021-12-30 2022-04-12 深圳前海贾维斯数据咨询有限公司 一种基于数字孪生的建筑测量管理方法和系统
CN114396944A (zh) * 2022-01-18 2022-04-26 西安塔力科技有限公司 一种基于数字孪生的自主定位误差矫正方法
CN114565849A (zh) * 2022-02-28 2022-05-31 深圳前海贾维斯数据咨询有限公司 一种基于数字孪生的资产ai识别与定位方法和系统
CN117806335A (zh) * 2024-03-01 2024-04-02 中北大学 一种基于人机协作的智能机器人数字孪生动态避障方法
WO2024101874A1 (ko) * 2022-11-08 2024-05-16 주식회사 안지온 3d 가상현실 공간에 실시간 데이터를 3d 오브젝트로 변환하여 선택적으로 융합처리하기 위한 서비스를 지원하는 시스템 및 방법
CN118427907A (zh) * 2024-07-05 2024-08-02 深圳市烨兴智能空间技术有限公司 基于数字孪生的多曲面异形膜结构安装方法及装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112731894A (zh) * 2021-02-02 2021-04-30 深圳华龙讯达信息技术股份有限公司 一种基于数字孪生技术的包装机智能控制系统及方法
CN113034668A (zh) * 2021-03-01 2021-06-25 中科数据(青岛)科技信息有限公司 一种ar辅助的机械模拟操作方法和系统
CN113034668B (zh) * 2021-03-01 2023-04-07 中科数据(青岛)科技信息有限公司 一种ar辅助的机械模拟操作方法和系统
CN112905831A (zh) * 2021-04-02 2021-06-04 上海国际汽车城(集团)有限公司 物体在虚拟场景中的坐标获取方法、系统及电子设备
CN113706629B (zh) * 2021-08-26 2024-05-07 南京航空航天大学 一种基于虚拟投影的零件编号识别方法及装置
CN113706629A (zh) * 2021-08-26 2021-11-26 南京航空航天大学 一种基于虚拟投影的零件编号识别系统、方法及装置
CN113963100A (zh) * 2021-10-25 2022-01-21 广东工业大学 一种数字孪生仿真场景的三维模型渲染方法及系统
CN113963100B (zh) * 2021-10-25 2022-04-29 广东工业大学 一种数字孪生仿真场景的三维模型渲染方法及系统
CN114331194A (zh) * 2021-12-30 2022-04-12 深圳前海贾维斯数据咨询有限公司 一种基于数字孪生的建筑测量管理方法和系统
CN114331194B (zh) * 2021-12-30 2022-09-09 深圳前海贾维斯数据咨询有限公司 一种基于数字孪生的建筑测量管理方法和系统
CN114396944A (zh) * 2022-01-18 2022-04-26 西安塔力科技有限公司 一种基于数字孪生的自主定位误差矫正方法
CN114396944B (zh) * 2022-01-18 2024-03-22 西安塔力科技有限公司 一种基于数字孪生的自主定位误差矫正方法
CN114565849A (zh) * 2022-02-28 2022-05-31 深圳前海贾维斯数据咨询有限公司 一种基于数字孪生的资产ai识别与定位方法和系统
CN114565849B (zh) * 2022-02-28 2022-12-20 深圳前海贾维斯数据咨询有限公司 一种基于数字孪生的资产ai识别与定位方法和系统
CN114329747A (zh) * 2022-03-08 2022-04-12 盈嘉互联(北京)科技有限公司 一种面向建筑数字孪生的虚实实体坐标映射方法及系统
CN114329747B (zh) * 2022-03-08 2022-05-10 盈嘉互联(北京)科技有限公司 一种面向建筑数字孪生的虚实实体坐标映射方法及系统
WO2024101874A1 (ko) * 2022-11-08 2024-05-16 주식회사 안지온 3d 가상현실 공간에 실시간 데이터를 3d 오브젝트로 변환하여 선택적으로 융합처리하기 위한 서비스를 지원하는 시스템 및 방법
CN117806335A (zh) * 2024-03-01 2024-04-02 中北大学 一种基于人机协作的智能机器人数字孪生动态避障方法
CN117806335B (zh) * 2024-03-01 2024-06-28 中北大学 一种基于人机协作的智能机器人数字孪生动态避障方法
CN118427907A (zh) * 2024-07-05 2024-08-02 深圳市烨兴智能空间技术有限公司 基于数字孪生的多曲面异形膜结构安装方法及装置

Similar Documents

Publication Publication Date Title
CN112015275A (zh) 基于数字孪生ar交互方法和系统
WO2022040920A1 (zh) 一种基于数字孪生 ar 交互系统和方法
CN101388115B (zh) 一种结合纹理信息的深度图像自动配准方法
WO2019157924A1 (zh) 三维物体的实时检测方法及系统
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
KR100755450B1 (ko) 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법
CN107301654A (zh) 一种多传感器的高精度即时定位与建图方法
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN108776989B (zh) 基于稀疏slam框架的低纹理平面场景重建方法
EP2622576A1 (en) Method and apparatus for solving position and orientation from correlated point features in images
CN109887030A (zh) 基于cad稀疏模板的无纹理金属零件图像位姿检测方法
CN116309880A (zh) 基于三维重建的物体位姿确定方法、装置、设备及介质
CN111914913B (zh) 一种新型立体匹配优化方法
CN112183506A (zh) 一种人体姿态生成方法及其系统
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN113140036A (zh) 一种三维建模方法、装置、设备及存储介质
CN112652020B (zh) 一种基于AdaLAM算法的视觉SLAM方法
CN113160335A (zh) 一种基于双目视觉的模型点云及三维表面重建方法
CN113379815A (zh) 基于rgb相机与激光传感器的三维重建方法、装置及服务器
JP7178803B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
CN112116653B (zh) 一种多张rgb图片的物体姿态估计方法
Salvi et al. A survey addressing the fundamental matrix estimation problem
Shen et al. A 3D modeling method of indoor objects using Kinect sensor
CN112634377B (zh) 扫地机器人的相机标定方法、终端和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201201

WD01 Invention patent application deemed withdrawn after publication