CN117063219A - 适用于增强现实或虚拟现实环境中的模拟设备 - Google Patents
适用于增强现实或虚拟现实环境中的模拟设备 Download PDFInfo
- Publication number
- CN117063219A CN117063219A CN202280015926.0A CN202280015926A CN117063219A CN 117063219 A CN117063219 A CN 117063219A CN 202280015926 A CN202280015926 A CN 202280015926A CN 117063219 A CN117063219 A CN 117063219A
- Authority
- CN
- China
- Prior art keywords
- rod
- actuator
- movable element
- sensors
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 37
- 238000004088 simulation Methods 0.000 title claims abstract description 35
- 230000033001 locomotion Effects 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000003993 interaction Effects 0.000 claims abstract description 12
- 230000003287 optical effect Effects 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 239000003550 marker Substances 0.000 claims description 5
- 230000005355 Hall effect Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000003466 welding Methods 0.000 abstract description 49
- 239000000463 material Substances 0.000 abstract description 32
- 239000003973 paint Substances 0.000 abstract description 2
- 238000006073 displacement reaction Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- XKRFYHLGVUSROY-UHFFFAOYSA-N Argon Chemical compound [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 229920000049 Carbon (fiber) Polymers 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 229910052786 argon Inorganic materials 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 239000004917 carbon fiber Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011261 inert gas Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 229910000679 solder Inorganic materials 0.000 description 2
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 2
- 229910052721 tungsten Inorganic materials 0.000 description 2
- 239000010937 tungsten Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 208000001613 Gambling Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 150000003071 polychlorinated biphenyls Chemical class 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 229920001169 thermoplastic Polymers 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/16—Arc welding or cutting making use of shielding gas
- B23K9/167—Arc welding or cutting making use of shielding gas and of a non-consumable electrode
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/24—Use of tools
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/16—Arc welding or cutting making use of shielding gas
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/095—Monitoring or automatic control of welding parameters
- B23K9/0953—Monitoring or automatic control of welding parameters using computing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/095—Monitoring or automatic control of welding parameters
- B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/32—Accessories
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Mechanical Engineering (AREA)
- Plasma & Fusion (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种模拟设备,适用于在增强现实和/或虚拟现实环境中使用,包括:杆(l);设置在杆(l)上的一个或多个标记件(3);设置在杆(l)上的触觉执行器(2)。本模拟设备的特征在于,执行器(2)包括对本模拟设备的用户用至少一个手指沿着杆(1)做纵向运动进行编码的装置。本模拟设备可用于模拟焊接材料、工业涂料或外科和牙科手术的输入和/或输出技术。与增强现实和/或虚拟现实的交互过程包括用两个手指在杆(l)之上沿杆的纵向所做的夹持运动,通过夹持运动来激活执行器(2)。
Description
技术领域
本发明涉及在增强现实和/或虚拟现实环境中模拟一个或更多个对象与用户控制的设备(或工具)之间的交互的技术领域。尤其涉及一种触摸设备,允许用户与对象交互,以模拟该对象材料的输入或输出,在模拟焊接操作和技术以及学习或改进这些操作和技术方面特别有利。
背景技术
目前,专业焊工的培训涉及大量材料(焊接材料、零件等)的消耗以及产生对环境影响很大的排放物和废物。为了解决这些问题,西班牙专利ES2438440B1提供了一种基于增强现实且可远程更新的用于焊接练习的先进设备,允许培训所有已知的工业焊接技术。除了这个参考,该参考也被称为“Soldamatic”技术,由Seabery Augmented Technology SL销售,还有美国专利US 10460621 B2的实施例,所述专利为各种焊接练习的增强现实(AR)模拟实施了不同的解决方案,允许培训和发展技术和专业能力,避免上述经济和环境损害。
尽管增强现实(AR)和虚拟现实(VR)在焊接技术培训过程中的应用具有优势,在现有技术中,尚不存在允许通过杆以高度相似性模拟焊接材料输入操作,主要应用于TIG(钨惰性气体)焊接技术或类似焊接技术中。在已知的应用中,焊接练习通常通过将使碳纤维杆(或“滚轮”)(指TIG输入杆)靠近或远离对象材料来完成,虽然这种运动并不完全符合实际执行的运动,但在AR或VR环境中改进这些技术的程度有限。
在焊接模拟中为方便材料输入运动而提出的另一种设计在专利文件CN111085757A中公开,所述专利文件介绍了一种用于TIG氩弧焊的焊丝送料装置,包括类似氩弧焊送丝笔(俗称TIG-PEN)的机身、陶瓷喷嘴、导向管、防回流缓冲装置和第二导向管。机身为中空结构,末端有安装孔。
因此,在现有技术中,有必要获得能够在连接操作(焊接等)的模拟期间准确和真实地再现用户(例如焊工)的运动的设备。本发明通过一种装置提供了满足这种需求的解决方案,所述装置允许在AR/VR模拟中以触觉方式模拟材料输入,用于TIG焊接或其他类似操作。所开发的设备,如下所示,不只限于在增强现实和/或虚拟现实环境中模拟焊接中的这种用途,它还可以用于其他类型的模拟操作,这些其他类型的模拟操作需要一个人体工程学的解决方案来实现用户通过杆式可执行工具与这些AR/VR环境进行交互。
发明内容
本发明涉及增强现实(AR)或虚拟现实(VR)系统中与某个工具进行对象交互的系统,并使得上述背景技术的局限性得以解决。本模拟设备与AR/VR所属的技术领域密切相关,其主要目的是帮助用户培训和学习手动焊接技术。有利地,本模拟设备,以模拟(而不是像其他已知系统那样简单地接近或远离杆,其接近真实情况的程度更为有限)且绝对安全的方式,允许用户再现通常使用真实TIG焊接输入杆进行的运动实践。
与TIG-PEN类型的设备相比,本发明的主要目的具有许多优点。虽然TIG-PEN类型的设备实际将杆移动到支架内部,但本申请中要求的装置允许进行相同的运动以学习焊接技术,但不需要移动杆,因此不会“消耗”杆。优选地,本模拟设备模拟TIG焊接中的材料输入传感器。本模拟设备与上述“Soldamatic”设备以及美国专利文件US10460621 B2中公开的实施例以及一般在AR/VR环境中的任何焊接模拟系统兼容。
更具体地说,本发明的第一目的涉及一种模拟设备或工具,适用于增强现实和/或虚拟现实(RA/RV)环境,至少包括以下元素:杆,空间定位装置,适用于通过第一光学采集装置进行识别,以确定杆在增强和/或虚拟现实环境中的位置和方向;和触觉或指纹执行器,也设置在杆上。在本发明的范围内,触觉执行器应被理解为任何类型的手指操作执行器,其允许通过机电和/或电子手段,从用户用这些手指执行的运动,生成到设备的信息输入。
在本发明的优选实施例中,杆的空间定位装置包括以下识别元件中的一个或更多个:(天然或人工)标记件,所述标记件设置在杆上并由光学信息编码,通过第一光学采集装置可采集该光学信息(例如,这些装置可以包括设备外部的无源摄像机,或放置在焊接掩模中无源摄像机);第二光学图像采集装置,所述装置安装在杆的内部或附接到杆;电磁传感器和/或红外传感器(允许通过三角测量获得杆的位置)。
在某些实施例中,第一光学采集装置可以包括嵌入在智能设备(移动电话、平板电脑等)中的摄像机。通过这种方式,借助空间定位装置,杆可以在增强现实和/或虚拟现实环境中定位(例如,获得其在三维空间中的坐标、定向等)。
有利地,在本发明的设备中,触觉执行器包括对本模拟设备的用户的至少一个手指沿着杆在基本纵向方向上施加的运动进行编码的装置。所述执行器在本发明的不同实施例中生成模拟的或数字的信号,来表示所述运动。有利的是,这允许用户以符合人体工程学和对用户而言简单的方式使用该设备。此外,当本设备被用作AR/VR环境中的交互工具时,它允许高精度执行各种操作(例如,施加或移除一定量的材料到布置在AR/VR环境中的对象上)。
优选地,本设备的标记件主要包括人工标记件,例如LED、二维码、条形码、反光球和/或印刷标记件;以及自然标记件,例如对象的特征点和/或模拟工具(例如,设备主体中的角落、缝隙或轮廓可以用作特征点)。在这个意义上,“编码信息”应当理解为自然地或添加到对象中与对象相关联或包括在对象中的任何光学信息,所述对象可以由光学采集装置捕获并由处理单元分析。
在本设备的优选实施例中,本设备的触觉执行器与杆连结成一体,所述触觉执行器包括接触传感器,所述接触传感器是电容式、压阻式或压电式触摸传感器等。通过这种方式,在使用杆时,触觉执行器与杆集成在一起,可以是集成在杆中的执行器或外部的执行器。在某些实施例中,执行器以非持续性但牢固的方式(通过夹持器、螺栓、螺栓连接等)连接到杆上,从而实现牢固的连接以执行模拟焊接操作。
在上述替代实施例中,本设备执行器包括相对于杆的可移动元件。优选地,在所述实施例中,本设备还包括连接到可移动元件的后退元件,适于将可移动元件沿杆放置在参考位置。当用户用手指对本设备执行操作时,该后退元件可以被用户轻易启动并在松开手指时返回到参考位置。在一些甚至更优选的实施例中,杆包括沿所述杆限定上述参考位置的挡块。在某些特定实施例中,后退元件连接到杆和可移动元件。有利地,在某些实施例中,后退元件包括弹簧或弹性元件。
在本发明的其他优选实施例中,可移动元件至少有部分沿着杆布置在后退元件上,从而部分或全部向外隐藏所述后退元件。这样可以保护所述后退元件,从而提高其耐用性并消除其处理过程中的断裂风险。
在本发明的其他优选实施例中,可移动元件的静止位置可以通过相应的调节装置进行有利调节。由于这种调节,可以在该静止位置缩短标记件和可移动元件之间的相对距离。这样,可以根据每个用户手的大小和手指的长度来调整本发明的设备功能性,从而产生更好的人体工程学。
在设备的其他有利实施例中,编码装置被连接到可移动元件。可选地,在其他实施例中,编码装置被连接到可移动元件和/或后退元件。在这两种情况下,可移动元件还可以包括沿杆移动的导轨。
在本设备的优选实施例中,杆由碳纤维制成。因此,杆非常轻巧耐用,不会给设备增加不必要的重量,并为本设备带来真实感和稳定性。此外,这降低了操作难度。根据模拟操作,其他材料(例如不锈钢或热塑性聚合物)可用于替代实施例。
在一些特定实施例中,本设备还包括用于处理触觉执行器生成的编码信息的装置和/或用于传输触觉执行器生成的编码信息的装置。在所述实施例中,处理装置和/或信息传输装置设置在杆的主体外,通过电缆和相应的连接器连接到杆。可选地或者补充地,传输装置可以是无线类型的。
在本设备的优选实施例中,本设备包括装在杆内或附接于杆的第二光学图像采集装置。有利地,当系统包括第二光学图像采集装置时,所述装置是允许主动定位本发明设备的摄像头,这使得它能够主动定位自己(例如,通过在图像中跟踪一系列天然或人工光学标记件)并且比系统外部的第一光学图像采集装置更准确。相反,第一光学信息采集装置包括用于检测设备的无源摄像头。通过这种方式,针对那些希望模拟使用本发明的设备与另一对象交互的情况,对系统进行了特别优化。
在本设备的进一步优选实施例中,第二光学图像采集装置包括内窥镜式摄像头。所述内窥镜式摄像头的优点是它非常紧凑,能够容易地适应各种工具,特别是圆柱形工具。在其他优选实施例中,本设备包括另一种类型的小型化摄像头,优选地,具有高分辨率(例如,具有长和/或宽为720/1080像素的CCD或CMOS传感器)。在本设备的替代实施例中,本设备还包括用于提高其精度和鲁棒性的一个或更多个非光学传感器,优选地,惯性传感器、三轴倾斜仪、触觉传感器、热传感器、机械传感器或电磁传感器。此外,这些额外的传感器允许定量评估用户操作设备的灵活性(例如倾斜角度、执行某些操作的速度等),并输入其他信息到用户与之交互的虚拟现实/增强现实环境中。
在本设备的一些实施例中,触觉执行器包括以下中的一个或更多个:柔性印刷电路板、线性电位器或角度电位器、电容、电阻或磁传感器、霍尔效应传感器、压力传感器或旋转编码器。
第一光学图像采集装置采集用户对对象执行的特定操作的图像,无论是真实的(在这种情况下,我们将面对增强现实系统)还是虚拟的(在这种情况下,我们将拥有虚拟现实系统)。
在本发明的优选实施例中,第一光学图像采集装置被装在焊接掩模中;而本设备(有或没有第二集成光学装置)模拟焊枪和/或材料输入元件。优选地,所述材料输入元件包括焊条或焊接电极。此外,所述对象包括在其上模拟焊接耗材应用的部件。
在本发明的其他实施例中,结合了上述各种优选实施例中的若干个元素和优点。
本发明的第二个目的涉及一种增强现实和/或虚拟现实系统,包括:
-根据上述实施例任一项所述的设备。
-表示增强现实和/或虚拟现实环境的模拟器。在所述环境中,本发明的设备模拟与对象交互的工具(例如,焊接电极)。因此,模拟器被配置为在所述环境中定位零件和工具。
-第一个光学图像采集装置(例如设备外部的无源摄像头)。
-可选地,第二光学图像采集装置(例如,放置在设备自身的杆内部或附接到杆上的有源摄像头)。
-显示装置(例如,任何LCD、OLED等),配置为根据由第一光学图像采集装置,可选地,第二光学图像采集装置采集的图像和/或由执行器提供的交互信息来表示用户与增强现实和/或虚拟现实环境的交互。所述显示装置还表示杆在增强现实/或虚拟现实环境中的位置和定向。
-信息存储和/或处理单元,包括软件/硬件装置,其配置为实时记录、处理或传输执行器提供给显示装置的信息。例如,执行器获得的信息可以表示在AR/VR环境中沉积在对象上的材料量。软件/硬件装置包括计算机处理单元(CPU)、图形处理单元(GPU)、云存储装置等。所述装置配置为从执行器获取信息,必要时将其数字化并通过网络(局域网或互联网)将其发送到远程信息表示装置(屏幕等)。
在本发明的系统的某些实施例中,它包括如上所述的多个模拟设备。在所述实施例中,系统包括对每个设备进行唯一标识的装置,使得根据本发明的多个模拟设备能够在相同的增强现实和/或虚拟现实环境中交互。
本发明的另一部分是操作上述设备的方法,使得用户通过所述设备与增强现实和/或虚拟现实环境交互。所述方法特征在于包括在杆上用两个手指进行夹持运动,沿着杆在基本纵向方向上移动它们,并且为此目的利用所述手指中的至少一个手指激活执行器。
一般而言,所述设备、方法和系统适用于在焊接材料、工业涂料和/或外科和/或牙科手术的输入和/或输出技术的模拟中表示增强现实和/或虚拟现实环境。
本发明的优选用途是AR/VR模拟器需要逼真地模拟上述设备与对象之间的交互(例如,在模拟焊接电极时)。该类型模拟器在学术领域特别有用,因为该类型模拟器允许实践和学习需要手动技能的过程,所述手动技能具有AR/VR的相应优点(例如节省材料、允许无限制的实践、学习过程的游戏化、为学习提供安全的环境而不会给用户带来烫伤的风险等)。有利的是,本设备可以模拟焊材的应用以及一定体积的材料是如何被带入或转移到对象上的。根据模拟的具体焊接过程的要求,将选择触觉执行器以确保具有足够的灵敏度。特别是,本发明的设备可用于模拟焊接材料的输入和/或输出技术,其中模拟设备模拟TIG(“钨惰性气体”的英文缩写)焊接输入杆的行为。如上所述,有利地,与触觉传感器的交互,根据用户用至少一个手指进行的夹持运动,可靠地模拟了焊工在实际焊接期间将要执行的运动。
在本申请的说明书和权利要求中,“包括”一词及其变体并非旨在排除其他技术特性、附加件、组件或步骤。对于本领域的专家,本发明的其他对象、优点和特征将从本发明的部分说明书和实践中脱离出来。
此外,在本发明的范围内,当涉及“光学”装置时,不仅限于“可见”电磁光谱,而且还可以使用其任何部分(紫外线、红外线等)。另外,“光学信息”的概念也应理解为包括通过光学识别装置读取或采集的编码信息的任何要素。因此,所述光学信息可以编码在多个物理介质(包括二维码、LED、图像、字符、条形码、反射球、印刷标记件等)上,只要它们可以通过光学手段(例如摄像头)进行识别或读取。另一方面,当提到“摄像头”时,所述术语不是限制性的,因此它相当于能够以图像和/或视频形式获取信息的任何设备。最后,当使用“基本上”这一术语时,是指公差范围为±10°的角度。
附图说明
接下来,给出了用于补充随后的本发明描述的每个图的简要说明。所述图涉及本发明的现有技术或优选实施例,作为其非限制性示例给出。
图1示出了本发明的特定实施例,以下称为“实施例一”,其中通过夹持运动来操作触觉执行器,以模拟焊工在TIG焊接期间执行的运动。
图2A-图2J示出了用户(例如,焊工)为操作实施例一的装置而执行的不同手部运动的图像。具体而言,图2A-图2B对应于第一夹持运动,图2C-图2D对应于第二夹持运动,图2E-图2F对应于第三夹持运动,图2G-图2H对应于第四夹持运动,图2I-图2J对应于第五夹持运动。所述优选运动在焊接模拟中特别有用,与实际焊接操作中的运动相对应。
图3A-图3B分别对应于实施例一的扩展和压缩位置的另一变体,其中后退元件包括弹性元件或弹簧,其压缩用于编码伸缩杆的位移。
图4表示本发明的另一特定实施例,以下称为“实施例二”,其中触觉执行器由用户通过在所述触觉执行器上滑动一个或更多个手指来操作。
图5A-图5B示出了焊工为操作实施例二的装置而执行的手部运动,并且优选地,所述手部运动包括一个手指在执行器的触摸区域上滑动。
图6示出了印刷电路板(PCB)的(左)上视图和(右)下视图。所述PCB是前几段所述实施例二的触觉执行器的一部分,所述PCB包括触摸区域和电子元件盒。
图7示出了实施例二的后视图,从所述后视图中可以看到用于将触觉执行器耦合到杆上的导轨。
图8表示在增强现实或虚拟现实环境中焊接模拟应用的整个系统视图。
图9A-图9B示出了两个视图,对应于根据本发明在其实施例中称为“实施例三”的设备的可移动元件的两个位置,其中可移动元件至少有部分沿着杆布置在后退元件上,并且有部分或全部隐藏所述后退元件,并且所述后退元件不在用户的视线范围内。
图10A-图10B示出了两个视图,对应于根据本发明在其实施例中称为“实施例四”的设备的可移动元件的两个位置,其中,处理装置和信息传输装置设置在杆的主体之外,并通过电缆和相应的连接器连接到杆上。
附图标号说明:
具体实施方式
如上述段落所述,如图1到图10所示,本发明的主要目的涉及适用于增强现实和/或虚拟现实环境中使用的模拟设备,包括:
-杆(1);
-空间定位装置,用于确定杆(1)在增强和/或虚拟现实环境中的位置和定向;和
-设置在杆(1)上的触觉执行器(2),
其中,触觉执行器(2)包括对所述模拟设备的用户的至少一个手指沿着杆(1)在基本纵向方向上的运动进行编码的装置。
在特定实施例中,空间定位装置包括设置在杆(1)上的一个或更多个标记件(3),优选地,使用光学信息编码,适合于通过第一光学采集装置(4)进行采集(例如,所述装置可以包括设备外部的无源摄像头)。此外,在本发明的范围内,触觉执行器(2)应被理解为任何类型的手指操作执行器,所述触觉执行器允许根据用户用所述手指进行的运动通过机电和/或电子装置向设备生成信息输入。
作为具体实施例,绝不限制权利要求的范围,下面描述了涉及用于TIG焊接的装置的本发明设备的可能实施例的四个实施例。尽管如此,在每个所述实施例中描述的技术元件可以有选择性地彼此组合,从而给出本发明的附加实施例。
实施例一
该优选实施例,如图1所示,机电再现焊工使用的TIG杆(1)的输入技术的运动。所述运动基于TIG杆(1)的手指夹持以使所述杆线性移动,如图2A到图2J所示。具体而言,所述图2A到图2J包括用于操作实施例一的优选夹持运动,从而模拟焊接材料的输入。在本发明的情况下,用户将夹持触觉执行器(2)的可移动元件(5),使所述可移动元件(5)呈线性移动。虽然所述手指运动在图2A到图2J所示的实施例中详细再现,但它们也一般适用于本文件描述的本发明的任何实施例。
有利地,在本发明中,可移动元件(5)的线性运动沿着杆(1)进行,所述杆(1)保持静止,并且通过处理装置(6),特别是机电和/或电子线性测量系统检测和测量所述运动。优选地,通过TIG焊接的增强现实模拟,位移转化为与位移成比例的材料转移。此外,为了使用户能够多次重复手势,本发明的设备包括一个后退元件(7),当用户释放可移动元件(5)时,所述元件将返回其初始位置,为新测量做好准备。同样,在本发明的任何实施例中,有利地,可移动元件(5)的静止位置可以通过相应的调节装置调节。由于所述调节,可以缩短在上述静止位置上的标记件(3)和可移动元件(5)之间的相对距离。这样,可以根据每个用户的手尺寸和手指的长度来调整本发明的设备功能,从而产生更好的人体工程学。
就其本身而言,杆(1)主要包括TIG材料输入传感器的刚性和静态部分。除了作为用户的抓取点之外,所述杆(1)的主要功能是引导可移动元件(5)的线性运动。在本发明的这个实施例或其他实施例中,杆(1)的最大直径为5mm并且具有可变的长度。杆(1)可以是空心的,或者,可选地,是实心的。当空心时,杆(1)可以容纳第二光学采集装置(8)。此外,杆(1)的重量可以沿着其长度非均匀地调节,从而调节杆在用户手中的平衡位置。
如前所述,可移动元件(5)是设备的一部分,用户用手指夹持所述可移动元件(5)以做出输入材料的手势。为此目的,优选地,可移动元件(5)具有孔或洞(圆柱形或近似圆柱形),通过所述孔或洞可以沿着杆(1)滑动。所述杆(1)最常见的形式是5厘米长的管,尽管在其他实施例中,它可以采用其他尺寸,以便在手指夹持时使其更符合人体工程学。
后退元件(7)确保在用户完成输入手势之后,即当用户释放可移动元件(5)时,所述可移动元件(5)将返回到其初始位置。所述后退元件(7)连接到所述杆(1)和所述可移动元件(5),并且所述后退元件(7)可以是弹簧或弹性元件。为了确保可移动元件(5)始终返回到相同的初始参考点(即在静止位置),可以在所述杆(1)上另外设置一个挡块(9)以确定所述初始点。
在本发明的优选实施例中,处理装置(6)包括线性机电测量系统,所述线性机电测量系统负责通过可移动元件(5)测量输入手势运动,并通过与计算机兼容的通信协议(例如USB)发送所述输入手势运动。用户的一个或更多个手指的运动(位移)的测量可以通过触觉执行器(2)进行,所述触觉执行器(2)包括一个或更多个接触传感器(10),所述接触传感器(10)至少包含以下元件中的至少一个:线性电位器或角度电位器、电容式或电阻式线性传感器、霍尔效应传感器(或其他磁传感器)、压力传感器甚至旋转编码器(“编码器”)。所述接触传感器(10)用杆、张紧器或电缆连接到可移动元件(5)。接触传感器(10)以电子方式连接到处理装置(6),例如,微控制器或CPU(“计算机处理单元”的英文缩写)负责将电信号转换为数字信息,所述数字信息通过信息传输装置(11)和通信协议发送到AR/VR环境模拟器,所述AR/VR环境模拟器中的所述数字信息用作更新模拟的信息来源。
所述实施例的另一个变体如图3A和3B所示。所述变体的后退元件(7)包括弹簧,所述弹簧的压缩用于编码伸缩杆(1)的位移。特别是,图3A对应于位于杆(1)上的弹簧的延伸位置(或静止位置),而图3B对应于所述弹簧的压缩位置。所述压缩由触觉执行器(2)测量,并通过包含在触觉执行器(2)中的任何传感器(10)转换为用户执行的位移读数(这进而又作为材料输入量被编码),如上所述。
实施例二
该实施例如图4所示。用于TIG焊接的模拟设备的实施例的触觉执行器(2)包括柔性印刷电路板(PCB,“印刷电路板”的英文缩写),特别是电容式电路板,包括接触传感器(10),所述接触传感器(10)检测用户手指在所述电容式电路板上的滑动,以及处理装置(6),所述处理装置(6)将所述滑动转换为在VR/AR环境中模拟材料体积的输入。PCB安装在符合人体工程学的支架上,可将其固定在杆(1)上。
用户在触摸区域(12)中对所述电路板本身进行线性运动(如图5A和5B所示,将手指滑过这些触摸区域(12)),所述电路板保持静止。通过接触传感器(10)检测运动,并通过处理装置(6)将其转换为与记录的位移成比例的某种材料输入,以用作TIG焊接的增强现实模拟的信息输入。由柔性材料制成的PCB将连接到机械支架,使其能够固定在碳纤维杆(1)上,所述碳纤维杆迄今为止用于模拟焊接练习,为解决方案提供人体工程学和真实感。
所提出的电容传感器将位于杆(1)的安装支架上,所述安装支架没有确定的输入孔,可以沿杆(1)放置在两个纵向位移方向中的任一个方向上,便于用户体验。
在该实施例中,触觉执行器(2)的主要部件包括两层柔性材料PCB电子板,颜色为黑色,厚度约为0.2mm,尺寸约为15mm宽,80mm长。如图6所示,PCB的上部(宽区域)是盒(13)或壳体,包括电子部件(微控制器、电阻器、电容器、电压调节器等)。在另一方面,在底部(窄区域,没有部件,并被白线包围)是暴露于用户的PCB部分,或触摸区域(12),手指将在所述触摸区域(12)移动以模拟材料输入。
所述电路板的工作原理包括创建与多个电容器相关联的两个触摸区域(12)或“台面”,所述电容器电容式地检测手指与电路的接近程度。根据指纹沿着这两个触摸区域(12)的位置,触觉执行器(2)捕获信息,随后,处理装置(6)以数据或信号的形式执行所述信息的翻译,所述数据或信号标记手指的确切位置。
所述PCB优选地通过低压直流电压源(例如,5V)供电,并且将通过信息传输装置(11)传输手指的位置数据,在这种情况下,信息传输装置包括:例如,USB电缆。优选地,所述电缆直接焊接至PCB以避免其断开。
为了组装PCB,可以使用符合人体工程学的支架,所述支架允许以各种方式支撑和操作所述PCB(如图5A和图5B所示)。所有PCB都有助于学习真正的焊接技术,并根据每个用户在提供材料时的偏好量身定制。优选地,所述壳体(13)覆盖整个PCB,但指示有用区域的白色框架包围的触摸区域(12)除外。所述支架允许所述电路板安装在所述支架上,而无需拧紧或粘贴、也无需以任何其他方式锚定。触摸区域(12)支撑在纵向包裹圆柱形杆(1)的曲面上,并且由于设置在壳体中的导轨(14)而固定在整个周边。盖子覆盖电子元件的壳体(13),并通过对USB电缆施加压力来固定所述USB电缆。
制造和装配过程详述如下。首先,接收安装有所有部件的PCB板,USB电缆必须焊接在所述PCB板上。将所述USB电缆和所述PCB板连接在一起后,将PCB从壳体(13)的上部区域插入下部区域,小心地移动触摸区域(12),所述触摸区域(12)通过为此目的布置的导轨(14)而纵向轻度弯曲,如图7所示。用盖子封闭组件,所述盖子必须粘在壳体上。最后通过所述设备的后区引入杆(1)。此外,杆(1)在所述杆(1)内部包括用于布置第二光学图像采集装置(8),特别是内窥镜摄像头的空腔。
图8对应于根据本发明的系统优选实施例,所述系统配备用于虚拟现实或增强现实模拟并且包括如上所述的至少一个模拟设备。在这种情况下,第一光学图像采集装置(4)的一个或更多个无源摄像头被放置在焊接掩模(15)上,所述焊接掩模(15)由用户放置,以对在虚拟现实或增强现实环境中应用模拟焊接操作的工件(16)进行操作。用户根据上述任何实施例通过本发明的设备进行模拟操作。在替代实施例中,根据本发明包括至少一个设备的系统可以在任何虚拟或增强现实环境中使用以模拟交互(例如,材料的添加)。
实施例三
图9A-图9B示出了根据本发明的一个实施例的设备的各个视图,其中可移动元件(5)至少部分地布置在后退元件(7)(在图中未示出)上,因为后退元件沿着杆(1)位于可移动元件(5)的内部,从而部分或全部隐藏所述后退元件(7),同时用户看不到所述后退元件(7)。
实施例四
图10A-图10B示出了根据本发明的一个实施例的设备的各个视图,其中处理装置(6)和/或信息传输装置(11)设置在杆(1)的主体之外,通过电缆(17)和相应的连接器(18)连接到杆(也如图9A和图9B所示)。
其他优选实施例
可选地,USB通信可以用蓝牙或任何其他无线通信协议代替。
本设备的其他可选实施例包括USB电缆穿过的夹持元件(例如,连接到用户手腕的魔术贴带),以避免杆(1)出现不稳定或其不必要的旋转。
本发明的其他实施例是实施例一的变体,另外还包括用于容纳第二光学图像采集装置(8)的空心杆(1),例如,内窥镜摄像头。
在本发明的其他实施例中,非光学传感器(倾斜仪等)提供附加信息(设备的使用速度、定向等),所述附加信息允许在VR/AR环境中编码比材料输入和输出更复杂的交互。
在本发明的可选实施例中,集成了触觉执行器(4)和杆(1)。例如,在这样的实施例中,印刷电路板可以是刚性的,或者,优选地,是柔性的,并且适应于杆(1)的形状,以便围绕所述杆(1)来布置。
Claims (20)
1.一种用于在增强现实和/或虚拟现实环境中使用的模拟设备,其包括:
-杆(1);
-空间定位装置,所述空间定位装置设置在杆(1)上,且适合于被第一光学采集装置(4)识别,以确定杆(1)在增强现实和/或虚拟现实环境中的位置和定向;以及
-触觉执行器(2),所述触觉执行器设置在杆(1)上,
其特征在于,执行器(2)包括用于对所述设备的用户的至少一个手指沿着杆(1)在基本纵向方向上的运动进行编码的装置。
2.根据前一权利要求所述的设备,其中杆(1)的空间定位装置包括以下识别元件中的一个或更多个:标记件(3),所述标记件(3)布置在杆上并且用光学信息编码,适合于通过第一光学采集装置(4)识别;第二光学图像采集装置(8),所述第二光学图像采集装置(8)安装在杆(1)的内部中或附接到所述杆(1);电磁传感器和/或红外传感器。
3.根据前述权利要求中任一项所述的设备,还包括一个或更多个非光学传感器,其中所述非光学传感器包括以下中的一个或更多个:惯性传感器、三轴倾斜仪、触觉传感器、热传感器、机械传感器或电磁传感器。
4.根据前述权利要求中任一项所述的设备,其中触觉执行器(2)与杆(1)连接在一起,所述触觉执行器(2)包括接触传感器(10)。
5.根据权利要求2-3所述的设备,其中执行器(2)包括相对于杆(1)的可移动元件(5)。
6.根据前一权利要求所述的设备,还包括与可移动元件(5)连接的后退元件(7),所述后退元件(7)适于沿着杆(1)将可移动元件(5)定位在参考位置。
7.根据前一权利要求所述的设备,其中杆(1)包括沿着杆(1)限定所述参考位置的挡块(9)。
8.根据权利要求6-7中任一项所述的设备,其中后退元件(7)连接到杆(1)和可移动元件(5)。
9.根据权利要求6-8中任一项所述的设备,其中后退元件(7)包括弹簧或弹性元件。
10.根据前一权利要求所述的设备,其中可移动元件至少部分地沿着杆(1)设置在后退元件(7)上,部分地或全部地外部隐藏后退元件(7)。
11.根据权利要求5-10中任一项所述的设备,其中编码装置连接到可移动元件(5)。
12.根据权利要求5-11所述的设备,其中可移动元件(5)还包括沿杆(1)移动的导轨。
13.根据权利要求6-10中任一项所述的设备,其中编码装置连接到可移动元件(5)和/或后退元件(7)。
14.根据权利要求5-13中任一项所述的设备,还包括用于调节沿杆(1)的可移动元件(5)的静止位置(1)的装置。
15.根据前述权利要求中任一项所述的设备,包括由触觉执行器(2)产生的编码信息的处理装置(6)和/或传输装置(11)。
16.根据前一权利要求所述的设备,其中处理装置(6)和/或信息传输装置(11)位于杆(1)的主体外部,通过电缆(17)和/或相应的连接器(18)连接到杆。
17.根据权利要求15-16中任一项所述的设备,其中传输装置(11)是无线的。
18.根据前述权利要求中任一项所述的设备,其中触觉执行器(2)包括以下元件中的至少一个:柔性印刷电路板、线性或角度电位器、电容传感器或电阻传感器、霍尔效应传感器或旋转编码器。
19.一种增强现实和/或虚拟现实系统,包括:
-根据前述权利要求中任一项所述的设备;
-表示增强现实和/或虚拟现实环境的模拟器;
-第一光学图像采集装置(4);
-可选地,第二光学图像采集装置(8);
-显示装置,其配置为根据第一光学图像采集装置(4),可选地第二光学图像采集装置(8)采集的图像和/或由执行器(2)提供的交互信息来表示用户与增强现实和/或虚拟现实环境的交互;
-信息存储和/或处理单元,包括配置为实时记录、处理或向显示装置发送由执行器(2)提供的信息的软件/硬件装置。
20.一种用户通过权利要求1-18所述的设备或权利要求19所述的系统与增强现实和/或虚拟现实环境交互的方法,其特征在于,所述方法包括在杆(1)上用两个手指进行夹持运动,沿着杆(1)在基本纵向方向上移动所述两个手指,并且使用所述手指中的至少一个来激活执行器(2)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ES202130127A ES2921524B2 (es) | 2021-02-18 | 2021-02-18 | Dispositivo de simulacion apto para su uso en entornos de realidad aumentada o realidad virtual |
ESP202130127 | 2021-02-18 | ||
PCT/ES2022/070086 WO2022175583A1 (es) | 2021-02-18 | 2022-02-18 | Dispositivo de simulación apto para su uso en entornos de realidad aumentada o realidad virtual |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117063219A true CN117063219A (zh) | 2023-11-14 |
Family
ID=82931201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280015926.0A Pending CN117063219A (zh) | 2021-02-18 | 2022-02-18 | 适用于增强现实或虚拟现实环境中的模拟设备 |
Country Status (7)
Country | Link |
---|---|
EP (1) | EP4296994A1 (zh) |
JP (1) | JP2024507819A (zh) |
KR (1) | KR20230146080A (zh) |
CN (1) | CN117063219A (zh) |
AU (1) | AU2022223353A1 (zh) |
ES (1) | ES2921524B2 (zh) |
WO (1) | WO2022175583A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201237840Y (zh) * | 2008-08-12 | 2009-05-13 | 江苏省徐州技师学院 | 数控铣床模拟圆珠笔 |
ES2438440B1 (es) * | 2012-06-13 | 2014-07-30 | Seabery Soluciones, S.L. | Dispositivo avanzado para la formacion en soldadura basado en simulacion con realidad aumentada y actualizable en remoto |
US10593230B2 (en) * | 2015-08-12 | 2020-03-17 | Illinois Tool Works Inc. | Stick welding electrode holder systems and methods |
EP3537412A1 (en) * | 2018-03-07 | 2019-09-11 | Seabery North America, S.L. | Systems and methods to simulate robotic joining operations |
CN111085757A (zh) * | 2020-03-06 | 2020-05-01 | 孙栋波 | 一种氩弧焊tig焊接用焊丝送丝笔 |
-
2021
- 2021-02-18 ES ES202130127A patent/ES2921524B2/es active Active
-
2022
- 2022-02-18 KR KR1020237031593A patent/KR20230146080A/ko unknown
- 2022-02-18 AU AU2022223353A patent/AU2022223353A1/en active Pending
- 2022-02-18 JP JP2023549990A patent/JP2024507819A/ja active Pending
- 2022-02-18 WO PCT/ES2022/070086 patent/WO2022175583A1/es active Application Filing
- 2022-02-18 EP EP22755625.5A patent/EP4296994A1/en active Pending
- 2022-02-18 CN CN202280015926.0A patent/CN117063219A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2024507819A (ja) | 2024-02-21 |
ES2921524A1 (es) | 2022-08-29 |
ES2921524B2 (es) | 2023-09-08 |
AU2022223353A1 (en) | 2023-09-14 |
KR20230146080A (ko) | 2023-10-18 |
EP4296994A1 (en) | 2023-12-27 |
WO2022175583A1 (es) | 2022-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Benko et al. | Normaltouch and texturetouch: High-fidelity 3d haptic shape rendering on handheld virtual reality controllers | |
KR101101091B1 (ko) | 긴 물체의 자세에서 유도한 자세데이터를 처리하는 방법과장치 | |
EP2325727B1 (en) | Drawing, writing and pointing device for human-computer interaction | |
US8723791B2 (en) | Processor control and display system | |
JP4267658B2 (ja) | 超小型絶対位置センサを用いたハンドインターフェースグローブ及びこれを用いたハンドインターフェースシステム | |
US7085693B2 (en) | Manipulation of electronic media using off-line media | |
US20160098095A1 (en) | Deriving Input from Six Degrees of Freedom Interfaces | |
US7382352B2 (en) | Optical joystick for hand-held communication device | |
GB2306669A (en) | Manual entry interactive paper and electronic document handling and processing system | |
KR101343748B1 (ko) | 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치 | |
US20150331493A1 (en) | Wearable Input Device | |
EP1668566B1 (en) | Spatial chirographic sign reader | |
Pabon et al. | A data-glove with vibro-tactile stimulators for virtual social interaction and rehabilitation | |
CN109491526B (zh) | 带书写触感的电子笔及实现方法 | |
Grimm et al. | VR/AR input devices and tracking | |
CN117063219A (zh) | 适用于增强现实或虚拟现实环境中的模拟设备 | |
KR100562517B1 (ko) | 다축 전위차계 | |
KR100868888B1 (ko) | 진동촉각 공간마우스 및 진동촉각 공간마우스 시스템 | |
GB2270740A (en) | Computer input pen. | |
WO1999026191A1 (en) | Drawing rendering device | |
EP2811478A1 (en) | User interface for camera simulating device | |
KR100446610B1 (ko) | 펜형 컴퓨터 입력 장치 | |
KR102569857B1 (ko) | Hmd 핸드트래킹을 이용한 실기술 트레이닝 제공방법 | |
Kim et al. | Thirdlight: Low-cost and high-speed 3d interaction using photosensor markers | |
WO2015186111A1 (en) | A haptic interface system for providing a haptic stimulus indicative of a virtual relief |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |