CN115741682A - 一种基于数字孪生技术的智能机械臂远程控制系统 - Google Patents
一种基于数字孪生技术的智能机械臂远程控制系统 Download PDFInfo
- Publication number
- CN115741682A CN115741682A CN202211392795.6A CN202211392795A CN115741682A CN 115741682 A CN115741682 A CN 115741682A CN 202211392795 A CN202211392795 A CN 202211392795A CN 115741682 A CN115741682 A CN 115741682A
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- arm
- digital twin
- model
- control system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 15
- 230000005540 biological transmission Effects 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Manipulator (AREA)
Abstract
本发明公开了一种基于数字孪生技术的智能机械臂远程控制系统，涉及生产制造设备技术领域，包括远程传输模块、VR控制模块、机械臂上位机数字孪生体、边缘计算模块以及机械臂三维信息采集摄像头，所述机械臂三维信息采集摄像头用于将机械臂工作三维信息实时传输至机械臂上位机数字孪生体中，所述VR控制模块实现场景追踪，对机械臂工作的实况进行同步，本发明能够实现高保真还原数字孪生体对于机械臂实时运动的控制与机械臂的位置校正，通过数字孪生技术和远程传输数据与定位，实时的传输参数并定位机械臂，并在机械臂上位机数字孪生体上实时同步，同时检测异常值并将数据反馈，从而能够实时快速精确的进行人机交互。
Description
技术领域
本发明涉及生产制造设备技术领域，具体涉及一种基于数字孪生技术的智能机械臂远程控制系统。
背景技术
工程机械臂是工程机械直接完成作业任务的关键部件，其装配环节直接影响着整机产品质量及其作业性能的发挥。传统工程机械臂装配过程中存在装配效率低、装配过程指标和产品特性无法得到全面反映等的问题，将数字孪生技术引入工程机械臂装配全过程，从虚拟空间与实体空间的实时数据交互角度，构建机械臂数字孪生装配模型整体流程还聚焦在概念和价值的层面，以及面向产品全生命周期的数字孪生构建方面，但是针对工厂具体的自动化加工设备创建高保真虚拟模型，实时还原设备几何结构和物理实体的驱动、时空状态、行为、功能等都有所欠缺。
在工程机械臂装配过程中，传统的二维装配设计方法缺乏对动态数据的实时采集与处理，装配过程与数据更新的同步性较差，同时在理论方法上也存在大量不足，无法实现对故障现象和故障原因的准确预测和判断，系统灵活性和实时性较差。与此同时，对数字孪生与机械制造的研究还较少考虑在不同工业情境下的可用性，以及在面向这些对象的研究中需要考虑的物理实体、虚拟模型、管理人员三者之间的关系问题。因此，需要一种基于数字孪生技术的智能机械臂远程控制系统，以解决上述问题。
发明内容
本发明的目的在于提供一种基于数字孪生技术的智能机械臂远程控制系统，以解决上述背景技术中提出的现有技术中存在的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于数字孪生技术的智能机械臂远程控制系统，包括远程传输模块、VR控制模块、机械臂上位机数字孪生体、边缘计算模块以及机械臂三维信息采集摄像头，所述机械臂三维信息采集摄像头用于将机械臂工作三维信息实时传输至机械臂上位机数字孪生体中，所述VR控制模块实现场景追踪，对机械臂工作的实况进行同步，所述远程传输模块用于修改含参模型的参数，所述边缘计算模块用于对机械臂进行路径规划，还包括含有机械臂的工作环境场景模型，机械臂的识别算法与抓取算法匹配率的机械臂数字孪生模型。
优选的，所述机械臂的工作环境场景模型包括机械臂工作场景，机械臂目标模型的场景模型类，环境温度和机械臂工作状态下温度的场景参数类。
优选的，所述机械臂数字孪生模型通过远程传输模块的正常参数进行实时演化。
优选的，所述机械臂数字孪生模型具有通过机器视觉和AI识别算法的识别功能与基于深度学习的抓取方式检测功能，能够进行自动化处理。
优选的，所述机械臂的工作环境场景模型通过传输机械臂参数类和定位远程反馈数据为基准进行变化。
优选的，所述VR控制模块采用手势追踪与模拟的方式进行场景追踪。
优选的，所述VR控制模块实现的场景追踪要实时反馈到机械臂数字孪生模型上，并实时传输参数。
与现有技术相比，本发明的有益效果是：
1、本发明能够实现高保真还原数字孪生体对于机械臂实时运动的控制与机械臂的位置校正，通过数字孪生技术和远程传输数据与定位，实时的传输参数并定位机械臂，并在机械臂上位机数字孪生体上实时同步，同时检测异常值并将数据反馈，从而能够实时快速精确的进行人机交互。
2、本发明通过采用VR控制模块对机械臂进行实时控制的方式进行操作，能够对机械臂进行更加准确的实时操作，同时能够监督机械臂的状态，从而提高了该控制系统的控制灵活性和操作便利性。
附图说明
图1为本发明机械臂远程控制系统结构示意图。
图2为本发明机械臂远程控制系统流程示意图。
图3为本发明的实时人机交互示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
请参阅图1-3，本发明提供一种技术方案：
一种基于数字孪生技术的智能机械臂远程控制系统，包括远程传输模块、VR控制模块、机械臂上位机数字孪生体、边缘计算模块以及机械臂三维信息采集摄像头，所述机械臂三维信息采集摄像头用于将机械臂工作三维信息实时传输至机械臂上位机数字孪生体中。
所述VR控制模块实现场景追踪，对机械臂工作的实况进行同步，所述VR控制模块采用手势追踪与模拟的方式进行场景追踪，所述VR控制模块实现的场景追踪要实时反馈到机械臂数字孪生模型上，并实时传输参数，通过VR控制模块进行场景追踪定位VR控制模块位置，同时VR控制模块可以识别特殊手势，以串流的方式连接电脑端的数字孪生体，并生成对应的参数，通过远程传输模块反馈给机械臂，机械臂上位机数字孪生体参数的改变，使数字孪生体发生一定程度的变换。
所述远程传输模块用于修改含参模型的参数，通过远程手机端与VNC远程桌面或追踪场景控制器修改含参模型的参数对机械臂进行远程控制，监管与修正，通过远程传输模块远程数据传输，将机械臂的关键变量的参数提供给数字孪生体，数字孪生体通过实时提供的参数进行对应预设变换，同时检验提供的参数中是否存在异常变量，若存在异常，则进行异常值分析，进行情况预演，或直接提供机械臂三维信息采集摄像头视觉，以此可以提供实时变化的数字孪生体。
所述边缘计算模块用于对机械臂进行路径规划，边缘计算模块对机械臂三维信息采集摄像头和机械臂的位置进行标定，之后读取机械臂三维信息采集摄像头信息识别出目标物体并得出位姿，若识别成功，则利用基于深度学习的抓取位置检测，获取物体三维坐标，并根据要求的时间、距离规划合适的路径，并生成机械臂自动作业的数据记录与参数，若识别失败，则停止自动化作业，反馈错误报告，提供异常数据，并等待修正指令。
智能机械臂远程控制系统还包括含有机械臂的工作环境场景模型，所述机械臂的工作环境场景模型包括机械臂工作场景，机械臂目标模型的场景模型类，环境温度和机械臂工作状态下温度的场景参数类，所述机械臂的工作环境场景模型通过传输机械臂参数类和定位远程反馈数据为基准进行变化，数字孪生的智能模型的对象还包括含有机械臂的各个模块的工作状态、工作次数。
机械臂的识别算法与抓取算法匹配率的机械臂数字孪生模型，所述机械臂数字孪生模型通过远程传输模块的正常参数进行实时演化，所述机械臂数字孪生模型具有通过机器视觉和AI识别算法的识别功能与基于深度学习的抓取方式检测功能，能够进行自动化处理。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.一种基于数字孪生技术的智能机械臂远程控制系统，其特征在于，包括远程传输模块、VR控制模块、机械臂上位机数字孪生体、边缘计算模块以及机械臂三维信息采集摄像头，所述机械臂三维信息采集摄像头用于将机械臂工作三维信息实时传输至机械臂上位机数字孪生体中，所述VR控制模块实现场景追踪，对机械臂工作的实况进行同步，所述远程传输模块用于修改含参模型的参数，所述边缘计算模块用于对机械臂进行路径规划，还包括含有机械臂的工作环境场景模型，机械臂的识别算法与抓取算法匹配率的机械臂数字孪生模型。
2.根据权利要求1所述的一种基于数字孪生技术的智能机械臂远程控制系统，其特征在于：所述机械臂的工作环境场景模型包括机械臂工作场景，机械臂目标模型的场景模型类，环境温度和机械臂工作状态下温度的场景参数类。
3.根据权利要求1所述的一种基于数字孪生技术的智能机械臂远程控制系统，其特征在于：所述机械臂数字孪生模型通过远程传输模块的正常参数进行实时演化。
4.根据权利要求3所述的一种基于数字孪生技术的智能机械臂远程控制系统，其特征在于：所述机械臂数字孪生模型具有通过机器视觉和AI识别算法的识别功能与基于深度学习的抓取方式检测功能，能够进行自动化处理。
5.根据权利要求2所述的一种基于数字孪生技术的智能机械臂远程控制系统，其特征在于：所述机械臂的工作环境场景模型通过传输机械臂参数类和定位远程反馈数据为基准进行变化。
6.根据权利要求1所述的一种基于数字孪生技术的智能机械臂远程控制系统，其特征在于：所述VR控制模块采用手势追踪与模拟的方式进行场景追踪。
7.根据权利要求6所述的一种基于数字孪生技术的智能机械臂远程控制系统，其特征在于：所述VR控制模块实现的场景追踪要实时反馈到机械臂数字孪生模型上，并实时传输参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211392795.6A CN115741682A (zh) | 2022-11-08 | 2022-11-08 | 一种基于数字孪生技术的智能机械臂远程控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211392795.6A CN115741682A (zh) | 2022-11-08 | 2022-11-08 | 一种基于数字孪生技术的智能机械臂远程控制系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115741682A true CN115741682A (zh) | 2023-03-07 |
Family
ID=85368207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211392795.6A Pending CN115741682A (zh) | 2022-11-08 | 2022-11-08 | 一种基于数字孪生技术的智能机械臂远程控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115741682A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106625697A (zh) * | 2016-11-15 | 2017-05-10 | 同济大学 | 一种基于机器视觉技术的智能桌面式机械臂系统 |
| CN111496781A (zh) * | 2020-03-17 | 2020-08-07 | 浙江大学 | 数字孪生驱动的机械臂建模、控制与监测一体化集成系统 |
| CN111966068A (zh) * | 2020-08-27 | 2020-11-20 | 上海电机系统节能工程技术研究中心有限公司 | 电机产线增强现实监控方法、装置、电子设备及存储介质 |
| EP3798747A1 (en) * | 2019-09-26 | 2021-03-31 | Siemens Aktiengesellschaft | Controlling a machine based on an online digital twin |
| CN114147706A (zh) * | 2021-11-25 | 2022-03-08 | 北京邮电大学 | 一种基于数字孪生的协作机器人远程监测系统与方法 |
| CN114505852A (zh) * | 2021-12-07 | 2022-05-17 | 中国科学院沈阳自动化研究所 | 基于数字孪生的人机协同固体燃料整形系统及建立方法 |
| CN114935916A (zh) * | 2022-06-02 | 2022-08-23 | 南京维拓科技股份有限公司 | 一种利用物联网和虚拟现实技术实现工业元宇宙的方法 |
| CN115060518A (zh) * | 2022-06-10 | 2022-09-16 | 燕山大学 | 一种基于数字孪生技术的挖掘机器人实验平台 |
-
2022
- 2022-11-08 CN CN202211392795.6A patent/CN115741682A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106625697A (zh) * | 2016-11-15 | 2017-05-10 | 同济大学 | 一种基于机器视觉技术的智能桌面式机械臂系统 |
| EP3798747A1 (en) * | 2019-09-26 | 2021-03-31 | Siemens Aktiengesellschaft | Controlling a machine based on an online digital twin |
| CN111496781A (zh) * | 2020-03-17 | 2020-08-07 | 浙江大学 | 数字孪生驱动的机械臂建模、控制与监测一体化集成系统 |
| CN111966068A (zh) * | 2020-08-27 | 2020-11-20 | 上海电机系统节能工程技术研究中心有限公司 | 电机产线增强现实监控方法、装置、电子设备及存储介质 |
| CN114147706A (zh) * | 2021-11-25 | 2022-03-08 | 北京邮电大学 | 一种基于数字孪生的协作机器人远程监测系统与方法 |
| CN114505852A (zh) * | 2021-12-07 | 2022-05-17 | 中国科学院沈阳自动化研究所 | 基于数字孪生的人机协同固体燃料整形系统及建立方法 |
| CN114935916A (zh) * | 2022-06-02 | 2022-08-23 | 南京维拓科技股份有限公司 | 一种利用物联网和虚拟现实技术实现工业元宇宙的方法 |
| CN115060518A (zh) * | 2022-06-10 | 2022-09-16 | 燕山大学 | 一种基于数字孪生技术的挖掘机器人实验平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu | Machine Tool 4.0 for the new era of manufacturing | |
| CN111633644A (zh) | 一种结合智能视觉的工业机器人数字孪生系统及其运行方法 | |
| CN110988586B (zh) | 一种配网带电作业机器人作业精准定位方法及系统 | |
| CN110450155B (zh) | 一种多自由度机械臂系统的控制器的优化设计方法 | |
| CN104647388A (zh) | 基于机器视觉的工业机器人智能控制方法及系统 | |
| CN106157377A (zh) | 一种面向智能制造的实时三维可视化虚拟监控的匹配方法 | |
| CN113910218B (zh) | 一种基于运动学与深度神经网络融合的机器人标定方法和装置 | |
| CN108818537A (zh) | 一种基于云端深度学习的机器人工业分拣方法 | |
| Le et al. | Learning forceful manipulation skills from multi-modal human demonstrations | |
| CN107671838B (zh) | 机器人示教记录系统、示教的工艺步骤及其算法流程 | |
| Brecher et al. | Towards anthropomorphic movements for industrial robots | |
| CN117590816B (zh) | 一种基于物联网的多机器人协同控制系统及方法 | |
| CN115741682A (zh) | 一种基于数字孪生技术的智能机械臂远程控制系统 | |
| CN112958974A (zh) | 一种基于三维视觉的可交互自动化焊接系统 | |
| CN116009404A (zh) | 伺服设备的调试方法、装置、设备和可读存储介质 | |
| CN115741676A (zh) | 多机器人协同工作的控制系统 | |
| CN115401696A (zh) | 一种数据/模型混合驱动的机器人远程驱动方法 | |
| CN113947367A (zh) | 一种电子设备生产信息可视化方法、系统、设备及介质 | |
| CN115291561A (zh) | 一种制造系统与装备虚拟调试平台、方法、设备及应用 | |
| CN105955227A (zh) | 一种生产线上面向对象的控制器跟踪控制方法 | |
| Lin et al. | Efficient hybrid group search optimizer for assembling printed circuit boards | |
| Lu et al. | Visual Localization of Workpiece based on Evolutionary Algorithm and its Application in Industrial Robot | |
| CN112380783B (zh) | 基于三维建模仿真软件的工业大数据实时采集及分析方法 | |
| WO2023100282A1 (ja) | データ生成システム、モデル生成システム、推定システム、学習済みモデルの製造方法、ロボット制御システム、データ生成方法、およびデータ生成プログラム | |
| CN115946118B (zh) | 一种多机器人同时与一个外部工装协同方法、介质及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |