CN116339517A - 基于机器人的闭环双向交互数字孪生系统及其构建方法 - Google Patents
基于机器人的闭环双向交互数字孪生系统及其构建方法 Download PDFInfo
- Publication number
- CN116339517A CN116339517A CN202310460656.0A CN202310460656A CN116339517A CN 116339517 A CN116339517 A CN 116339517A CN 202310460656 A CN202310460656 A CN 202310460656A CN 116339517 A CN116339517 A CN 116339517A
- Authority
- CN
- China
- Prior art keywords
- virtual
- digital twin
- robot
- user
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 74
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 54
- 238000010276 construction Methods 0.000 title abstract description 13
- 238000013507 mapping Methods 0.000 claims abstract description 45
- 230000009471 action Effects 0.000 claims abstract description 41
- 230000033001 locomotion Effects 0.000 claims abstract description 31
- 238000004891 communication Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 230000003238 somatosensory effect Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 15
- 229910000831 Steel Inorganic materials 0.000 description 7
- 238000013461 design Methods 0.000 description 7
- 239000010959 steel Substances 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005672 electromagnetic field Effects 0.000 description 2
- 210000004553 finger phalanx Anatomy 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000000236 metacarpal bone Anatomy 0.000 description 1
- 210000000811 metacarpophalangeal joint Anatomy 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例涉及数字孪生技术领域，特别涉及一种基于机器人的闭环双向交互数字孪生系统及其构建方法，该系统包括：触觉反馈系统、机器人以及位于数字孪生系统中的虚拟端；触觉反馈系统、机器人均与数字孪生系统通信连接；触觉反馈系统穿戴于用户的手部，用于捕捉用户手势信息；用户与虚拟场景中的虚拟物体产生触觉交互；在真实场景中，机器人根据用户手势信息通过数字孪生系统映射执行与用户手势信息一致的动作，对真实场景中的真实物体的抓取，实现双向交互。本申请以数字孪生系统为媒介，机器人为载体，通过触觉反馈系统将用户手部的动作映射至数字孪生系统，在数字孪生系统中与虚拟物体进行交互，实现闭环双向交互的数字孪生系统。
Description
技术领域
本申请实施例涉及数字孪生技术领域，特别涉及一种基于机器人的闭环双向交互数字孪生系统及其构建方法。
背景技术
近年来，随着通信技术、传感器技术水平的提高以及计算机算力的提升，数字孪生技术作为一种多元融合信息化技术也随之得到了快速的发展，并为虚拟现实和计算机仿真等方面提供了相应的技术支持。传统的真实世界与虚拟世界存在一定的隔阂，而数字孪生作为连接真实世界和虚拟世界的介质，实现了智能化的虚拟现实融合。然而现有的数字孪生技术存在两方面的弊端，其中一方面是孪生技术大部分是开环的单向交互，无法实现准确的动态映射。另一方面是孪生技术的感知能力缺乏具有实时的响应和真实的交互感，特别是在触觉感知方面。
发明内容
本申请实施例提供一种基于机器人的闭环双向交互数字孪生系统及其构建方法，以数字孪生系统为媒介，机器人为载体，通过触觉反馈系统将用户手部的动作映射至数字孪生系统，在数字孪生系统中与虚拟物体进行交互，并给予相应的触觉反馈，数字孪生系统借助机器人为载体执行与用户同步的动作，对真实场景的物体做出相应的动作，进而实现虚实闭环双向交互的数字孪生系统。
为解决上述技术问题，本申请实施例提供一种基于机器人的双向交互数字孪生系统，包括：触觉反馈系统、机器人以及位于数字孪生系统中的虚拟端；触觉反馈系统、机器人均与数字孪生系统通信连接；触觉反馈系统穿戴于用户的手部，用于捕捉用户的手势信息；机器人位于真实场景中，且机器人的位置形态通过数字孪生系统与用户的位置形态同步；虚拟端包括位于虚拟场景中的虚拟手与虚拟物体；数字孪生系统通过用户的手势信息，在数字孪生环境中操控虚拟手与虚拟场景进行交互，获取虚拟手与虚拟物体的接触状态，并发送动作指令至触觉反馈系统，使用户与虚拟场景中的虚拟物体产生触觉交互；在真实场景中，机器人根据用户的手势信息通过数字孪生系统映射执行与用户的手势信息一致的动作，对真实场景中的真实物体的抓取，实现双向交互。
在一些示例性实施例中，触觉反馈系统包括穿戴式触觉反馈装置、姿态传感器和压力传感器；穿戴式触觉反馈装置为穿戴式指套结构，穿戴式触觉反馈装置采用体感控制器进行手势信息的捕捉；姿态传感器和压力传感器分别用于采集用户手指的主动按压力、姿态信息。
在一些示例性实施例中，体感控制器用于追踪用户的手部的位置和动作，并实时收集用户的手部的运动信息；在使用过程中，体感控制器以后台进程的方式运行在数字孪生系统上；体感控制器通过分析获取的运动信息，并将运动信息发送至数字孪生系统。
在一些示例性实施例中，体感控制器位于真实场景的中心。
在一些示例性实施例中，触觉反馈系统还包括执行机构，执行机构位于穿戴式触觉反馈装置上；执行机构包括振动马达和直流电机，线性马达用于产生振动以达到触觉反馈效果，表达手指与虚拟场景中物体的碰撞信息；直流电机用于产生力觉反馈效果。
在一些示例性实施例中，当用户与虚拟场景中的物体进行交互时，数字孪生系统获取虚拟手的物理抓取操作信息，并进行用户手部的姿态、位置的实时显示；当数字孪生系统中的虚拟手与虚拟物体接触时，利用层次包围盒碰撞检测算法检测手部接触状态，数字孪生系统发送动作指令至直流电机，直流电机控制振动马达产生振动，给予用户触觉反馈。
在一些示例性实施例中，机器人与真实场景、真实物体位于同一个空间；机器人的手部的活动自由度与用户手部的活动自由度相同，且机器人的手部能够执行与用户手部相同的动作；机器人的动作通过数字孪生系统控制，机器人执行由数字孪生系统下达的动作指令。
第二方面，本申请实施例还提供了一种基于机器人的闭环双向交互数字孪生系统的构建方法，包括以下步骤：通过数字孪生系统映射出真实场景以及真实场景中的需抓取的物体位置，并将机器人的位置形态与用户的位置形态同步；通过触觉反馈系统捕捉用户的手势信息，并基于手势信息，在数字孪生环境中操控虚拟手与虚拟场景进行交互；判断虚拟手与虚拟物体是否接触；若是，利用层次包围盒碰撞检测算法检测接触状态；若否，则不作处理；将虚拟手与虚拟物体的接触状态同步映射至真实场景中的机器人手部以及真实物体的接触状态；基于虚拟手与虚拟物体的接触状态，通过蓝牙发送动作指令至穿戴于用户手部的触觉反馈系统，使用户与虚拟场景中的虚拟物体产生触觉交互；在真实场景中，机器人根据用户的手势信息通过数字孪生系统映射执行与用户的手势信息一致的动作，对真实场景的真实物体进行抓取，实现双向交互。
在一些示例性实施例中，在操控虚拟手与虚拟场景进行交互之前，在通过触觉反馈系统捕捉用户的手势信息之后，还包括：搭建数字孪生环境；具体的，搭建数字孪生环境，包括：根据真实场景在数字孪生场景中映射出虚拟场景，并以真实场景中的某个物体作为抓取目标映射至虚拟场景中，用于虚拟手的抓取操作。
在一些示例性实施例中，在虚拟手进行物体抓取动作的时，通过虚拟手与虚拟物体之间的距离，判断是否需要将虚拟手转化为抓取状态；通过手指与虚拟物体之间的相对位置，判断虚拟物体是否已被抓取。
本申请实施例提供的技术方案至少具有以下优点：
本申请实施例提供一种基于机器人的闭环双向交互数字孪生系统及其构建方法，该系统包括：触觉反馈系统、机器人以及位于数字孪生系统中的虚拟端；触觉反馈系统、机器人均与数字孪生系统通信连接；触觉反馈系统穿戴于用户的手部，用于捕捉用户的手势信息；机器人位于真实场景中，且机器人的位置形态通过数字孪生系统与用户的位置形态同步；虚拟端包括位于虚拟场景中的虚拟手与虚拟物体；数字孪生系统通过用户的手势信息，在数字孪生环境中操控虚拟手与虚拟场景进行交互，获取虚拟手与虚拟物体的接触状态，并发送动作指令至触觉反馈系统，使用户与虚拟场景中的虚拟物体产生触觉交互；在真实场景中，机器人根据用户的手势信息通过数字孪生系统映射执行与用户的手势信息一致的动作，对真实场景中的真实物体的抓取，实现双向交互。
首先，本申请提供的基于机器人的虚实闭环双向交互数字孪生系统及其构建方法，在数字孪生的映射准确性方面，现有的数字孪生映射大部分体现在真实世界对孪生世界的映射，但缺乏孪生世界对现实世界的反馈。本申请以数字孪生系统为媒介，基于机器人为载体，信息从真实世界通过孪生系统映射到虚拟世界，再由机器人作为载体由虚拟世界反馈至真实世界。实现了孪生世界对真实世界可以产生一定的反馈和影响，进而形成了虚实闭环双向交互的数字孪生系统，从本质上提升了数字孪生系统的映射准确性。
其次，本申请的提供的基于机器人的虚实闭环双向交互数字孪生系统的构建方法，在数字孪生的感知能力方面，现有的数字孪生技术在视觉、听觉等方面均有着不错的感知能力，但仅涉及视觉和听觉的虚拟场景在与用户交互的能力方面是不足且受到限制的。本申请设计并实现了穿戴式手部触觉反馈系统，并应用数字孪生系统对虚拟场景和虚拟手进行数字孪生环境的搭建。建立虚拟手模型及实时跟踪显示，采用体感控制器捕捉虚拟手部姿态信息，并利用蓝牙进行数据信息通信，形成了虚实闭环双向交互的数字孪生系统。
另外，本申请提供的基于机器人的虚实闭环双向交互数字孪生系统，设计了穿戴式手部触觉反馈系统，在相应的数字孪生系统中阐述了其架构设计和需求分析、数字孪生场景的搭建、基于体感控制器的手势姿态解算、基于层次包围盒算法的碰撞检测以及蓝牙通信设计等关键技术。充分利用体感控制器和数字孪生系统的公共资源，通过蓝牙接口实现了数字孪生系统与手部触觉反馈装置的对接，实现了虚拟场景中的物体交互的功能。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，除非有特别申明，附图中的图不构成比例限制。
图1为本申请一实施例提供的一种基于机器人的闭环双向交互数字孪生系统的结构示意图；
图2是本申请一实施例提供的基于机器人的闭环双向交互数字孪生系统的框架图；
图3为本申请一实施例提供的一种基于机器人的闭环双向交互数字孪生系统的构建方法的流程示意图。
具体实施方式
由背景技术可知，现有的现有的数字孪生技术存在两方面的弊端，其中一方面是孪生技术大部分是开环的单向交互，无法实现准确的动态映射。另一方面是孪生技术的感知能力缺乏具有实时的响应和真实的交互感，特别是在触觉感知方面。
在数字孪生的映射准确性方面，现有的数字孪生映射大部分体现在真实世界对孪生世界的映射，但缺乏孪生世界对现实世界的反馈，即孪生世界可以较为准确的反应真实世界场景，但孪生世界对真实世界无法产生一定的反馈和影响。因此现有的技术大部分都是开环的单向交互，形成闭环的双向交互才能在本质上提升数字孪生系统的映射准确性。机器人作为物理世界中的载体，可以较为精准的替代人执行相应的动作，也可以成为机器与环境之间交互的重要执行者。基于机器人实现虚实闭环的数字孪生，信息可以从真实世界通过孪生系统映射到虚拟世界，再由机器人作为载体由虚拟世界反馈至真实世界。因此一种基于机器人的虚实闭环双向交互数字孪生构建方法值得被研究。
在数字孪生的感知能力方面，现有的数字孪生技术在视觉、听觉等方面均有着不错的感知能力，但仅涉及视觉和听觉的虚拟场景在与用户交互的能力方面是不足且受到限制的。触觉作为人的多种感觉通道之一具有不可替代的作用，其以感知和操纵物体为主要目的，是一种独特的存在双向信息交互的感知通道。能够将传统的数字孪生系统转变成闭环系统，从而大大提高映射过程中的准确性。用户通过数字孪生系统操控机器人实现机器人与真实世界的交互，并且从孪生系统中得到真实世界映射的反馈，通过这种虚实闭环双向交互完成虚拟物体的触觉再现。因此一种基于机器人的虚实闭环双向交互数字孪生构建方法有待探究。
为解决上述技术问题，本申请实施例提供一种基于机器人的双向交互数字孪生系统及其构建方法，该系统包括：触觉反馈系统、机器人以及位于数字孪生系统中的虚拟端；触觉反馈系统、机器人均与数字孪生系统通信连接；触觉反馈系统穿戴于用户的手部，用于捕捉用户的手势信息；机器人位于真实场景中，且机器人的位置形态通过数字孪生系统与用户的位置形态同步；虚拟端包括位于虚拟场景中的虚拟手与虚拟物体；数字孪生系统通过用户的手势信息，在数字孪生环境中操控虚拟手与虚拟场景进行交互，获取虚拟手与虚拟物体的接触状态，并发送动作指令至触觉反馈系统，使用户与虚拟场景中的虚拟物体产生触觉交互；在真实场景中，机器人根据用户的手势信息通过数字孪生系统映射执行与用户的手势信息一致的动作，对真实场景中的真实物体的抓取，实现双向交互。本申请实施例提供一种基于机器人的闭环双向交互数字孪生系统及其构建方法，以数字孪生系统为媒介，机器人为载体，通过触觉反馈系统将用户手部的动作映射至数字孪生系统，在数字孪生系统中与虚拟物体进行交互，并给予相应的触觉反馈，数字孪生系统借助机器人为载体执行与用户同步的动作，对真实场景的物体做出相应的动作，进而实现虚实闭环双向交互的数字孪生系统。
下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。
参看图1，本申请实施例提供了一种基于机器人的双向交互数字孪生系统，包括：触觉反馈系统、机器人以及位于数字孪生系统中的虚拟端；触觉反馈系统、机器人均与数字孪生系统通信连接；触觉反馈系统穿戴于用户的手部，用于捕捉用户的手势信息；机器人位于真实场景中，且机器人的位置形态通过数字孪生系统与用户的位置形态同步；虚拟端包括位于虚拟场景中的虚拟手与虚拟物体；数字孪生系统通过用户的手势信息，在数字孪生环境中操控虚拟手与虚拟场景进行交互，获取虚拟手与虚拟物体的接触状态，并发送动作指令至触觉反馈系统，使用户与虚拟场景中的虚拟物体产生触觉交互；在真实场景中，机器人根据用户的手势信息通过数字孪生系统映射执行与用户的手势信息一致的动作，对真实场景中的真实物体的抓取，实现双向交互。
本申请涉及一种基于机器人的虚实闭环双向交互数字孪生系统，具体涉及以数字孪生系统为媒介，机器人为载体，通过手部触觉反馈系统将用户手部的动作映射至数字孪生系统，在孪生系统中与虚拟物体进行交互，并给予相应的触觉反馈，数字孪生系统借助机器人为载体执行与用户同步的动作，对真实世界的物体做出相应的动作，进而实现虚实闭环双向交互的数字孪生系统。如图2所示，本申请的硬件设施包含穿戴于用户的手部触觉反馈系统以及用于执行相应动作的机器人，软件设施包含数字孪生系统。虚拟端位于数字孪生系统中，虚拟端包括位于虚拟场景中的虚拟手与虚拟物体。在用户与数字孪生系统的交互过程中，触觉反馈系统中利用姿态传感器和压力传感器，采集用户的手势信息(手指的主动按压力和姿态信息)。在虚拟场景与机器人的交互过程中，本申请的数字孪生系统可以实现真实的双向映射，达到以数字孪生系统作为媒介，对现实世界产生一定的动作反馈效果。在真实场景中，机器人根据用户的手势信息通过数字孪生系统映射执行与用户的手势信息一致的动作，对真实场景中的真实物体的抓取，实现双向交互。
具体的，机器人具体指在真实场景中与真实物体在同一个空间中的机器人，其手部拥有与用户一样的活动自由度，可以执行与用户相同的动作，机器人的动作通过数字孪生系统控制，执行由数字孪生系统下达的动作指令。数字孪生系统，主要包括数字孪生环境搭建，获取虚拟手的物理抓取操作信息进而实现用户手的姿态以及位置的实时显示，通过碰撞检测算法实现碰撞检测判断，通过蓝牙通讯设计实现蓝牙通信。当用户完成穿戴该触觉反馈装置后，蓝牙通讯模块将开始工作，数字孪生系统会对附近区域内的蓝牙设备进行扫描并连接，进而实现数字孪生系统与反馈装置之间的数据传输。本申请通过短距离、点对点的蓝牙通信方式，应用于数字孪生系统与手部触觉反馈系统装置之间的信息传递。
进一步的，数字孪生环境搭建，首先根据真实场景在数字孪生场景中映射出一个虚拟场景，并以真实场景中的某个物体作为抓取目标映射至虚拟空间中，用于虚拟手的抓取操作。通过手部触觉反馈系统实现用户手部与数字孪生系统的映射，通过数字孪生系统与真实场景中机器人实现映射。所述的数字孪生环境搭建，具体是指对虚拟手抓取物体的场景进行设计和构建。搭建虚拟手和虚拟物体的模型，实现用户虚拟抓取的功能，且确保模型美观，映射真实。同时为了防止用户将抓取的物品移除界外，数字孪生环境设置成为有界的刚体。
与现有技术相比，本申请的一种基于机器人的虚实闭环双向交互数字孪生系统，实现了数字孪生世界对真实世界可以产生一定的反馈和影响，进而形成了虚实闭环双向交互的数字孪生系统，从本质上提升了数字孪生系统的映射准确性。同时设计并实现了穿戴式手部触觉反馈系统，建立虚拟手模型并实现实时跟踪显示，采用体感控制器捕捉虚拟手部姿态信息，利用蓝牙进行数据信息通信，形成了虚实闭环双向交互的数字孪生系统。
在一些实施例中，触觉反馈系统包括穿戴式触觉反馈装置、姿态传感器和压力传感器；穿戴式触觉反馈装置为穿戴式指套结构，穿戴式触觉反馈装置采用体感控制器进行手势信息的捕捉；姿态传感器和压力传感器分别用于采集用户手指的主动按压力、姿态信息。
具体的，触觉反馈系统为穿戴于用户的手部触觉反馈系统，具体指一种用于数字孪生平台的穿戴式触觉反馈装置，其中触觉交互装置采用可穿戴指套式结构，采用体感控制器来进行手势的捕捉，并基于数字孪生系统进行软件系统和场景建模的开发。
所述的穿戴式触觉反馈装置的组成结构，具体由五个指套基座、五个连接件、固定导轨件、滑块、滑块固定件以及电机固定件构成。
具体的，所述的五个指套基座，其中的圆形通孔用于人手各个指关节的佩戴，其上方有五个小孔，中间的小孔用于固定钢丝绳，左右两侧的小孔用于固定弹性绳，剩下的两个小孔用于放置橡皮筋，其用于将用户的五个手指固定于五个指套基座中。
具体的，所述的五个连接件，通过五个指套基座中的凹槽来固定，且均为螺纹套管结构，具有一定的扩展性。
具体的，所述的固定导轨件、滑块以及滑块固定件，三者成为一个整体，其中滑块固定件两侧具有吊耳，能够被限位于固定导轨件的凹槽中，滑块与滑块固定件保持相对固定，确保两者在滑动过程中只会产生前后位移不会发生相应的转动。
具体的，所述的电机固定件，电机固定件与电机通过螺纹连接保持相对固定，钢丝绳穿过五个指套基座的通孔被固定在滑块固定件的下部。
穿戴式触觉反馈装置在不同的场景中其运行机制有所区别，存在以下三种场景。
情景1：用户穿戴该触觉反馈装置与虚拟场景中的物体进行交互。
运行原理：数字孪生系统会利用碰撞检测算法得到虚拟手接触的物体的信息，当发生碰撞时，数字孪生系统发送相应的指令信息给振动马达，振动电机能够迅速起振，能够使用户获得碰撞的振动触觉反馈。
情景2：用户在虚拟场景中进行抓握物体的操作。
运行原理：数字孪生系统会发送相应的控制指令信息给直流电机，电机发生旋转进而带动滑块产生前后运动，滑块的位移通过固定件的传递会使钢丝绳的长度缩减。当钢丝绳收紧时，使得滑块的位移量增加了，用户在抓握物体的过程中，由于阻尼力增大进而会有抓握物体所产生相应的触觉感受。
情景3：用户在虚拟场景中进行松开物体的操作。
运行原理：数字孪生系统会发送相应的控制指令信息给直流电机，电机发生旋转进而带动滑块产生前后运动，滑块的位移通过固定件的传递会使钢丝绳的长度增加，当钢丝绳增加时，使得滑块的位移量减少了，用户在松开物体的过程中，由于阻尼力减少进而会有松开物体所产生相应的触觉感受。
在用户与数字孪生系统的交互过程中，触觉反馈系统中利用姿态创安淇和压力传感器，采集手指的主动按压力和姿态信息。当用户穿着手部触觉反馈系统与虚拟场景中的物体进行交互时，数字孪生系统会利用碰撞检测算法获取接触到的物品信息。当发生碰撞时，数字孪生系统会发送相应的指令信息给直流电机，直流电机会控制振动马达产生振动，带动钢丝绳产生相应的力觉反馈效果，进而会给予用户相应的触觉反馈，以达到触觉反馈效果。
在一些实施例中，体感控制器用于追踪用户的手部的位置和动作，并实时收集用户的手部的运动信息；在使用过程中，体感控制器以后台进程的方式运行在数字孪生系统上；体感控制器通过分析获取的运动信息，并将运动信息发送至数字孪生系统。
在一些实施例中，体感控制器位于真实场景的中心。在真实场景的中央放置体感控制器使其可以检测到整个环境。为了针对不同的用户，会为每一个用户的手部分配唯一的ID、体感控制器，体感控制器根据上一帧和当前帧的数据生成相应的运动信息。每帧记录的数据包括缩放率和位移量以及旋转角，相关的检测信息包括：手掌中心的坐标、手掌的移动速度、手掌的法向量、手掌转向以及手掌弯曲的弧度所确定出的虚拟物体的中心和半径。
在一些实施例中，触觉反馈系统还包括执行机构，执行机构位于穿戴式触觉反馈装置上；执行机构包括振动马达和直流电机，线性马达用于产生振动以达到触觉反馈效果，表达手指与虚拟场景中物体的碰撞信息；直流电机用于产生力觉反馈效果。
在一些实施例中，当用户与虚拟场景中的物体进行交互时，数字孪生系统获取虚拟手的物理抓取操作信息，并进行用户手部的姿态、位置的实时显示；当数字孪生系统中的虚拟手与虚拟物体接触时，利用层次包围盒碰撞检测算法检测手部接触状态，数字孪生系统发送动作指令至直流电机，直流电机控制振动马达产生振动，给予用户触觉反馈。
需要说明的是，直流电机应满足手部力触觉反馈装置小型化的需求，并且可以满足用户在手部触觉感知中对力的接收程度大小。振动马达，通过线圈来产生变化的电磁场从而使得质量块能够在电磁场中产生运动变化，最终获得振动的效果。
具体的，碰撞检测算法，具体指通过在数字孪生空间中物体与环境的顶点、线段与多边形是否相交来判断物体之间是否存在重叠区域。采用层次包围盒法来减少计算资源及提高计算效率，避免出现刷新率低和卡顿的情况。层次包围盒算法的原理是将形状较为复杂的检测对象用几何特征简单的包围盒来表示。
根据包围盒的形状分为包围球算法、沿坐标轴包围盒算法以及带方向的包围盒算法。
包围球算法，具体指在三维空间中用球体包围待检测对象，通过计算两个包围球间的球心距离与其两球半径和的关系，来判断对象间是否产生碰撞。
沿坐标轴包围盒算法，具体指用最小的长方体来包围待检测对象，其相关的数学定义表达式如公式(1)所示：
R＝{(x，y，z)|xmin≤xmax，ymin≤y≤ymax，zmin≤zmax} (1)
带方向的包围盒算法，具体指用最接近被检测对象的沿任意方向的最小长方体来包围待检测对象，其其相关的数学定义表达式如公式(2)所示：
R＝{C+ar1u1+br2u2+cr3u3|a，b，c∈(-1，1)} (2)
其中，C为轴向包围盒OBB的中心点，u1，u2，u3分别表示为长方体面的三个不同方向，r1，r2，r3分别表示以C为球心沿三个不同方向上到长方体面的半径距离。
需要说明的是，本申请采用沿坐标轴包围盒算法，用于实现虚拟手部和虚拟场景中物体的碰撞检测。在算法执行过程中，只检测包围盒范围内区域，不进行三维数字孪生空间的全局搜索，减少相应的计算量，提高检测效率。
在一些实施例中，机器人与真实场景、真实物体位于同一个空间；机器人的手部的活动自由度与用户手部的活动自由度相同，且机器人的手部能够执行与用户手部相同的动作；机器人的动作通过数字孪生系统控制，机器人执行由数字孪生系统下达的动作指令。在虚拟场景与机器人的交互过程中，所设计的数字孪生系统可以实现真实的双向映射，达到以数字孪生系统作为媒介，对现实世界产生一定的动作反馈效果。
所述的机器人为协作机器人，其手部包含5根掌骨以手腕为中心进行运动，掌指关节用于连接指骨，带动手指运动。以手腕为圆心，将5根掌骨分布与手腕的四周，当掌骨绕着手腕旋转时，可改变手指的抓取点位置。同时为了扩大手指的动作空间，在掌骨上增加相应的2节移动副骨。
具体的，虚拟手通过图元组件和物理组件形成，图元组件主要负责呈现手的外观形状，物理组件主要负责呈现手的物理特性，通过脚本编写绘制出手的图形。在虚拟手进行物体抓取动作的时，通过手指与虚拟物体之间的距离，判断是否需要将虚拟手转化为抓取状态，通过手指与虚拟物体之间的相对位置，判断虚拟物体是否已被抓取。
需要说明的是，虚拟手的物体抓取操作，其中虚拟手模型由15个手指指骨和一个手掌掌面组成，每根手指均包括远节指骨、中节指骨和近节指骨，指骨之间采用铰链的连接方式。模型共包含27个自由度，抓取过程中只考虑自由度的约束。
参看图3，本申请实施例还提供了一种基于机器人的闭环双向交互数字孪生系统的构建方法，包括以下步骤：
步骤S101、通过数字孪生系统映射出真实场景以及真实场景中的需抓取的物体位置，并将机器人的位置形态与用户的位置形态同步。
步骤S102、通过触觉反馈系统捕捉用户的手势信息，并基于手势信息，在数字孪生环境中操控虚拟手与虚拟场景进行交互。
步骤S103、判断虚拟手与虚拟物体是否接触；若是，利用层次包围盒碰撞检测算法检测接触状态；若否，则不作处理。
步骤S104、将虚拟手与虚拟物体的接触状态同步映射至真实场景中的机器人手部以及真实物体的接触状态。
步骤S105、基于虚拟手与虚拟物体的接触状态，通过蓝牙发送动作指令至穿戴于用户手部的触觉反馈系统，使用户与虚拟场景中的虚拟物体产生触觉交互。
步骤S106、在真实场景中，机器人根据用户的手势信息通过数字孪生系统映射执行与用户的手势信息一致的动作，对真实场景的真实物体进行抓取，实现双向交互。
在一些实施例中，在操控虚拟手与虚拟场景进行交互之前，在通过触觉反馈系统捕捉用户的手势信息之后，还包括：搭建数字孪生环境；具体的，搭建数字孪生环境，包括：根据真实场景在数字孪生场景中映射出虚拟场景，并以真实场景中的某个物体作为抓取目标映射至虚拟场景中，用于虚拟手的抓取操作。
在一些实施例中，在虚拟手进行物体抓取动作的时，通过虚拟手与虚拟物体之间的距离，判断是否需要将虚拟手转化为抓取状态；通过手指与虚拟物体之间的相对位置，判断虚拟物体是否已被抓取。
由以上技术方案，本申请实施例提供一种基于机器人的闭环双向交互数字孪生系统及其构建方法，该系统包括：触觉反馈系统、机器人以及位于数字孪生系统中的虚拟端；触觉反馈系统、机器人均与数字孪生系统通信连接；触觉反馈系统穿戴于用户的手部，用于捕捉用户的手势信息；机器人位于真实场景中，且机器人的位置形态通过数字孪生系统与用户的位置形态同步；虚拟端包括位于虚拟场景中的虚拟手与虚拟物体；数字孪生系统通过用户的手势信息，在数字孪生环境中操控虚拟手与虚拟场景进行交互，获取虚拟手与虚拟物体的接触状态，并发送动作指令至触觉反馈系统，使用户与虚拟场景中的虚拟物体产生触觉交互；在真实场景中，机器人根据用户的手势信息通过数字孪生系统映射执行与用户的手势信息一致的动作，对真实场景中的真实物体的抓取，实现双向交互。
首先，本申请提供的基于机器人的虚实闭环双向交互数字孪生系统及其构建方法，在数字孪生的映射准确性方面，现有的数字孪生映射大部分体现在真实世界对孪生世界的映射，但缺乏孪生世界对现实世界的反馈。本申请以数字孪生系统为媒介，基于机器人为载体，信息从真实世界通过孪生系统映射到虚拟世界，再由机器人作为载体由虚拟世界反馈至真实世界。实现了孪生世界对真实世界可以产生一定的反馈和影响，进而形成了虚实闭环双向交互的数字孪生系统，从本质上提升了数字孪生系统的映射准确性。
其次，本申请的提供的基于机器人的虚实闭环双向交互数字孪生系统的构建方法，在数字孪生的感知能力方面，现有的数字孪生技术在视觉、听觉等方面均有着不错的感知能力，但仅涉及视觉和听觉的虚拟场景在与用户交互的能力方面是不足且受到限制的。本申请设计并实现了穿戴式手部触觉反馈系统，并应用数字孪生系统对虚拟场景和虚拟手进行数字孪生环境的搭建。建立虚拟手模型及实时跟踪显示，采用体感控制器捕捉虚拟手部姿态信息，并利用蓝牙进行数据信息通信，形成了虚实闭环双向交互的数字孪生系统。
另外，本申请提供的基于机器人的虚实闭环双向交互数字孪生系统，设计了穿戴式手部触觉反馈系统，在相应的数字孪生系统中阐述了其架构设计和需求分析、数字孪生场景的搭建、基于体感控制器的手势姿态解算、基于层次包围盒算法的碰撞检测以及蓝牙通信设计等关键技术。充分利用体感控制器和数字孪生系统的公共资源，通过蓝牙接口实现了数字孪生系统与手部触觉反馈装置的对接，实现了虚拟场景中的物体交互的功能。
本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各自更动与修改，因此本申请的保护范围应当以权利要求限定的范围为准。
Claims (10)
1.一种基于机器人的闭环双向交互数字孪生系统，其特征在于，包括：触觉反馈系统、机器人以及位于数字孪生系统中的虚拟端；所述触觉反馈系统、所述机器人均与所述数字孪生系统通信连接；
所述触觉反馈系统穿戴于用户的手部，用于捕捉用户的手势信息；
所述机器人位于真实场景中，且所述机器人的位置形态通过数字孪生系统与用户的位置形态同步；
所述虚拟端包括位于虚拟场景中的虚拟手与虚拟物体；
所述数字孪生系统通过所述用户的手势信息，在数字孪生环境中操控虚拟手与虚拟场景进行交互，获取所述虚拟手与所述虚拟物体的接触状态，并发送动作指令至所述触觉反馈系统，使用户与虚拟场景中的虚拟物体产生触觉交互；
在真实场景中，所述机器人根据用户的手势信息通过所述数字孪生系统映射执行与所述用户的手势信息一致的动作，对真实场景中的真实物体的抓取，实现双向交互。
2.根据权利要求1所述的基于机器人的闭环双向交互数字孪生系统，其特征在于，所述触觉反馈系统包括穿戴式触觉反馈装置、姿态传感器和压力传感器；
所述穿戴式触觉反馈装置为穿戴式指套结构，所述穿戴式触觉反馈装置采用体感控制器进行手势信息的捕捉；
所述姿态传感器和所述压力传感器分别用于采集用户手指的主动按压力、姿态信息。
3.根据权利要求2所述的基于机器人的闭环双向交互数字孪生系统，其特征在于，所述体感控制器用于追踪用户的手部的位置和动作，并实时收集用户的手部的运动信息；
在使用过程中，所述体感控制器以后台进程的方式运行在所述数字孪生系统上；所述体感控制器通过分析获取的运动信息，并将所述运动信息发送至所述数字孪生系统。
4.根据权利要求2所述的基于机器人的闭环双向交互数字孪生系统，其特征在于，所述体感控制器位于所述真实场景的中心。
5.根据权利要求2所述的基于机器人的闭环双向交互数字孪生系统，其特征在于，所述触觉反馈系统还包括执行机构，所述执行机构位于穿戴式触觉反馈装置上；
所述执行机构包括振动马达和直流电机，所述线性马达用于产生振动达到触觉反馈效果，表达手指与虚拟场景中物体的碰撞信息；所述直流电机用于产生力觉反馈效果。
6.根据权利要求4所述的基于机器人的闭环双向交互数字孪生系统，其特征在于，当用户与虚拟场景中的物体进行交互时，数字孪生系统获取虚拟手的物理抓取操作信息，并进行用户手部的姿态、位置的实时显示；当数字孪生系统中的虚拟手与虚拟物体接触时，利用层次包围盒碰撞检测算法检测手部接触状态，所述数字孪生系统发送动作指令至所述直流电机，所述直流电机控制所述振动马达产生振动，给予用户触觉反馈。
7.根据权利要求1所述的基于机器人的闭环双向交互数字孪生系统，其特征在于，所述机器人与真实场景、真实物体位于同一个空间；
所述机器人的手部的活动自由度与用户手部的活动自由度相同，且所述机器人的手部能够执行与用户手部相同的动作；
所述机器人的动作通过所述数字孪生系统控制，所述机器人执行由所述数字孪生系统下达的动作指令。
8.一种基于机器人的闭环双向交互数字孪生系统的构建方法，其特征在于，包括以下步骤：
通过数字孪生系统映射出真实场景以及真实场景中的需抓取的物体位置，并将机器人的位置形态与用户的位置形态同步；
通过触觉反馈系统捕捉用户的手势信息，并基于所述手势信息，在数字孪生环境中操控虚拟手与虚拟场景进行交互；
判断所述虚拟手与所述虚拟物体是否接触；若是，利用层次包围盒碰撞检测算法检测接触状态；若否，则不作处理；
将所述虚拟手与所述虚拟物体的接触状态同步映射至真实场景中的机器人手部以及真实物体的接触状态；
基于所述虚拟手与所述虚拟物体的接触状态，通过蓝牙发送动作指令至穿戴于用户手部的触觉反馈系统，使用户与虚拟场景中的虚拟物体产生触觉交互；
在真实场景中，机器人根据用户的手势信息通过数字孪生系统映射执行与用户的手势信息一致的动作，对真实场景的真实物体进行抓取，实现双向交互。
9.根据权利要求8所述的基于机器人的闭环双向交互数字孪生系统的构建方法，其特征在于，在操控虚拟手与虚拟场景进行交互之前，在通过触觉反馈系统捕捉用户的手势信息之后，还包括：搭建数字孪生环境；
所述搭建数字孪生环境，包括：
根据真实场景在数字孪生场景中映射出虚拟场景，并以真实场景中的某个物体作为抓取目标映射至虚拟场景中，用于虚拟手的抓取操作。
10.根据权利要求9所述的基于机器人的闭环双向交互数字孪生系统的构建方法，其特征在于，在虚拟手进行物体抓取动作的时，通过虚拟手与虚拟物体之间的距离，判断是否需要将虚拟手转化为抓取状态；通过手指与虚拟物体之间的相对位置，判断虚拟物体是否已被抓取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310460656.0A CN116339517A (zh) | 2023-04-25 | 2023-04-25 | 基于机器人的闭环双向交互数字孪生系统及其构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310460656.0A CN116339517A (zh) | 2023-04-25 | 2023-04-25 | 基于机器人的闭环双向交互数字孪生系统及其构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116339517A true CN116339517A (zh) | 2023-06-27 |
Family
ID=86889581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310460656.0A Pending CN116339517A (zh) | 2023-04-25 | 2023-04-25 | 基于机器人的闭环双向交互数字孪生系统及其构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116339517A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117150587A (zh) * | 2023-08-08 | 2023-12-01 | 宁夏大学 | 基于混合现实的电弧熔丝增材制造数字孪生系统构建方法和系统 |
-
2023
- 2023-04-25 CN CN202310460656.0A patent/CN116339517A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117150587A (zh) * | 2023-08-08 | 2023-12-01 | 宁夏大学 | 基于混合现实的电弧熔丝增材制造数字孪生系统构建方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Frati et al. | Using Kinect for hand tracking and rendering in wearable haptics | |
| US8350843B2 (en) | Virtual hand: a new 3-D haptic interface and system for virtual environments | |
| CN110603510B (zh) | 虚拟现实系统中虚拟控制器的位置和取向跟踪 | |
| CN105446481A (zh) | 基于手势的虚拟现实人机交互方法和系统 | |
| JPH05282095A (ja) | ３次元座標入力装置 | |
| CN107632699A (zh) | 基于多感知数据融合的人机自然交互系统 | |
| KR102170638B1 (ko) | 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 vr 시스템 | |
| KR20150040580A (ko) | 가상 공간 멀티 터치 인터랙션 장치 및 방법 | |
| CN102830798A (zh) | 单臂机器人基于Kinect的无标记人手跟踪方法 | |
| Jacoby et al. | Gestural interaction in a virtual environment | |
| CN116339517A (zh) | 基于机器人的闭环双向交互数字孪生系统及其构建方法 | |
| JP3742879B2 (ja) | ロボットアーム・ハンド操作制御方法、ロボットアーム・ハンド操作制御システム | |
| CN115686193A (zh) | 一种增强现实环境下虚拟模型三维手势操纵方法及系统 | |
| CN109395375A (zh) | 一种基于增强现实与移动交互的三维游戏接口设计方法 | |
| KR20220026186A (ko) | 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템 | |
| CN114529691A (zh) | 一种窗口控制方法、电子设备及计算机可读存储介质 | |
| WO2021172580A1 (ja) | 位置・力制御システム、装着ユニット、制御ユニット、位置・力制御方法及びプログラム | |
| Segen et al. | Look ma, no mouse! | |
| Du et al. | An intelligent interaction framework for teleoperation based on human-machine cooperation | |
| CN108664126B (zh) | 一种虚拟现实环境下可变形手抓取交互方法 | |
| Breslauer et al. | Leap motion sensor for natural user interface | |
| CN108062102A (zh) | 一种手势控制具有辅助避障功能的移动机器人遥操作系统 | |
| Evreinova et al. | From kinesthetic sense to new interaction concepts: Feasibility and constraints | |
| Jyothi et al. | Haptic technology-a sense of touch | |
| Tsandilas et al. | Modeless pointing with low-precision wrist movements |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |