CN112313042A - 远程操作系统 - Google Patents
远程操作系统 Download PDFInfo
- Publication number
- CN112313042A CN112313042A CN201980041709.7A CN201980041709A CN112313042A CN 112313042 A CN112313042 A CN 112313042A CN 201980041709 A CN201980041709 A CN 201980041709A CN 112313042 A CN112313042 A CN 112313042A
- Authority
- CN
- China
- Prior art keywords
- remote operation
- wearer
- robot arm
- arm
- remote
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 53
- 238000004891 communication Methods 0.000 claims description 33
- 238000010801 machine learning Methods 0.000 claims description 14
- 238000012935 Averaging Methods 0.000 claims description 4
- 210000000245 forearm Anatomy 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 description 19
- 238000012986 modification Methods 0.000 description 18
- 230000004048 modification Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 13
- 210000000707 wrist Anatomy 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 239000003795 chemical substances by application Substances 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 210000001503 joint Anatomy 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000002310 elbow joint Anatomy 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
- B25J3/04—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements involving servo mechanisms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/02—Hand grip control means
- B25J13/025—Hand grip control means comprising haptic means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0006—Exoskeletons, i.e. resembling a human figure
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
Abstract
远程操作系统具备机械臂、拍摄装置、基部以及用于远程操作机械臂的远程操作部。机械臂安装于基部。拍摄装置安装于基部并配置在佩戴者的头部附近。基部佩戴于佩戴者的背部等上半身。机械臂及拍摄装置以能够通信的方式与远程操作部连接。远程操作部基于从拍摄装置接收到的影像来操作机械臂。
Description
技术领域
本发明涉及远程操作系统。
背景技术
在将远程机器人控制为如同在操作人员的手边那样的机器人的技术中,已知有远程互联(telexistence)(例如,参照非专利文献1)。
先行技术文献
非专利文献
非专利文献1“Telecommunication、Teleimmer sionand Telexistence II”Susumu Tachi、Ohmsha、IOS Press、ISBN 4-274-90638-8(Ohmsha)ISBN1-58603-519-3
发明内容
远程互联是基于来自位于远处的机器人(称作“代理者”)的传感器等的信息对该代理者进行控制/操纵的技术。在远程互联中,操作人员能够获得附体在代理者上进行操作那样的感觉。由此,操作人员能够一边感觉到位于远处的物体如同在附近一样,一边实时地进行操作。
但是,在以往的远程互联中,代理者不是人而是机器人,无法在人彼此之间进行身体上的交流或者共享感觉。
本发明是鉴于这样的状况而作出的,其目的在于提供一种位于远处的人彼此之间能够一边具有如同共享一个身体那样的感觉一边进行身体上的交流的技术。
用于解决课题的方案
为了解决所述课题,本发明的某一方案的远程操作系统具备机械臂、拍摄装置、基部以及用于远程操作机械臂的远程操作部。机械臂安装于基部。拍摄装置安装于基部并配置在佩戴者的头部附近。基部佩戴于佩戴者的背部等上半身。机械臂及拍摄装置以能够通信的方式与远程操作部连接。远程操作部基于从拍摄装置接收到的影像来操作机械臂。
需要说明的是,以上的构成要素的任意的组合、在装置、方法、系统、存储介质、计算机程序等之间变换本发明的表述所得的内容作为本发明的方案来说也是有效的。
发明效果
根据本发明,位于远处的人彼此之间能够一边具有如同共享一个身体那样的感觉一边进行身体上的交流。
附图说明
图1是第一实施方式所涉及的远程操作系统的示意图。
图2是图1的远程操作系统的机械臂的示意图。
图3是表示佩戴者佩戴着图1的远程操作系统的状态的图。
图4是表示一实施方式所涉及的远程操作系统的利用场景的图。
图5是表示第二实施方式所涉及的远程操作系统的手部的图。
图6是表示第三实施方式所涉及的远程操作系统的固定部件的图。
图7是第五实施方式所涉及的拍摄装置的侧视图。
图8是表示第一类型的交流的图。
图9是表示第二类型的交流的图。
图10是表示第三类型的交流的图。
具体实施方式
(第一实施方式)
图1是一实施方式所涉及的远程操作系统1的示意图。远程操作系统1具备机械臂10、拍摄装置20、基部30以及用于远程操作机械臂10的远程操作部(图4的70)。机械臂10安装于基部30。基部30被佩戴在要佩戴基部30的人(以下称作“佩戴者”)的背部等上半身。拍摄装置20安装于基部30并配置在佩戴者的头部附近。机械臂10及拍摄装置20以能够通信的方式与远程操作部70连接。
拍摄装置20例如是拍摄动态图像等影像的摄像机。拍摄装置20配置在佩戴者的头部附近,因此,拍摄装置20拍摄的影像与佩戴者观看的景色大致相同。在该意义下,拍摄装置20与佩戴者共享观察点。拍摄装置20将拍摄到的影像发送至远程操作部70。
拍摄装置20也可以朝向佩戴者的前方配置,以便拍摄与佩戴者观看的景色大致相同的景色。
远程操作部70具备影像接收部、显示部、控制器(图4的720a、720b)以及操作信号发送部(未图示)。
影像接收部接收拍摄装置20拍摄到的影像。显示部向操作远程操作部70的人(以下,称作“操作者”)显示拍摄装置20接收到的影像。操作者一边观看显示于显示部的佩戴者侧的影像一边移动控制器720a、720b以操作机械臂10。由此,控制器720a、720b生成用于确定机械臂10的动作的操作信号。操作信号发送部将控制器720a、720b生成的操作信号发送至机械臂10。
影像接收部与显示部可以如图4所示那样作为头戴式显示器710而一体化,也可以为分体。显示部并不限定于此,也可以是液晶显示器、视频投影机等任意适当的显示装置。如图4所示,控制器可以是由操作者的右手以及左手把持的运动控制器。控制器并不限定于此,也可以是操纵杆、游戏手柄等任意适当的控制器。
机械臂10根据从远程操作部70接收到的操作信号进行运动。机械臂10可以安装于佩戴者的身体(例如手臂),也可以不安装于佩戴者的身体。机械臂10安装于在佩戴者的背部等上半身佩戴的基部30,因此,能够以从佩戴者的后方推动佩戴者的身体的方式运动。
图2是图1的远程操作系统1的机械臂10的示意图。机械臂10具备肩部110、肩关节112、上臂部114、肘关节116、前臂部118以及手腕部120。
肩关节112能够通过马达绕轴130、132、134分别独立地旋转。肘关节116能够通过马达绕轴136、138分别独立地旋转。手腕部120能够通过马达绕轴140分别独立地旋转。
返回到图1。基部30与机械臂10以及拍摄装置20连接,对它们进行支承。基部30例如以背负的方式佩戴于佩戴者的背部等上半身。基部30也可以具备用于使向佩戴者的佩戴容易的背带(图3的40)等佩戴件。也可以在基部30的内部配置用于向机械臂10、拍摄装置20供给电力的蓄电池。也可以在基部30的内部配置接收来自远程操作部70的操作信号并控制机械臂10、拍摄装置20的运动的控制装置。
图3是表示佩戴者佩戴了图1的远程操作系统1的状态的图。远程操作系统1的基部30使用背带40背在佩戴者上。
对远程操作系统1的从用户(佩戴者以及操作者)观察到的利用场景的一例进行说明。图4是表示一实施方式所涉及的远程操作系统的利用场景的图。佩戴者将远程操作系统1的基部30佩戴于背部等上半身。操作者将头戴式显示器710佩戴于头部。操作者监视显示于头戴式显示器710的影像。如上所述,显示于头戴式显示器710的影像是配置在佩戴者的头部附近的拍摄装置20拍摄到的影像。因而,操作者监视的影像与佩戴者观看的景色大致相同。换言之,操作者与佩戴者共享观察点,具有如同与佩戴者共享一个身体那样的感觉。操作者站在佩戴者的观察点,移动由右手与左手分别把持的控制器720a、720b,由此操作机械臂10。这样,操作者能够一边具有如同与佩戴者共享身体那样的感觉,一边经由机械臂10访问佩戴者。另一方面,佩戴者能够经由机械臂10的动作与操作者进行身体上的交流。
作为所述那样的身体上的交流的具体例,有“将体育运动、乐器演奏、驾驶这样的技能的传授作为目的来移动佩戴者的手臂”、“朝向应当移动的方向牵拉佩戴者的手臂”、“在操作者与佩戴者之间经由机械臂进行游戏”等。
根据以上叙述的本实施方式,位于远处的佩戴者与操作者彼此之间经由机械臂10能够一边具有如同共享一个身体那样的感觉一边进行身体上的交流。
(第二实施方式)
在一实施方式中,机械臂10也可以具备手部。图5是表示本实施方式所涉及的远程操作系统1的手部50的图。手部50能够拆装地安装于机械臂10的手腕部120。手部50在手指的各关节具备马达,能够在各关节独立地弯曲伸展。根据本实施方式,由于手部50能够握住佩戴者的手臂,在手部50与佩戴者之间进行物体的交换,因此能够进行多种身体上的交流。
(第三实施方式)
在一实施方式中,机械臂10也可以具备用于将机械臂10固定于佩戴者的臂部的固定部件。图6是表示本实施方式所涉及的远程操作系统1的固定部件60的图。固定部件60能够拆装地安装于机械臂10的手腕部120。作为一例,固定部件60是卷绕于佩戴者的手腕而将机械臂10固定于佩戴者的手腕的带。根据本实施方式,机械臂10固定于佩戴者的臂部,因此,能够强制性地使佩戴者的臂部运动。
(第四实施方式)
机械臂10伸长时的全长也可以比佩戴者的手臂的全长长。根据本实施方式,机械臂10能够从佩戴者伸展手臂的状态进一步牵拉该手臂,因此,能够将佩戴者向特定的方向引导。
(第五实施方式)
在一实施方式中,拍摄装置20也可以具备用于改变拍摄方向的旋转机构。图7是本实施方式所涉及的远程操作系统1的拍摄装置20的侧视图。具备旋转机构200的拍摄装置20能够通信地与远程操作部70连接。旋转机构200通过马达绕轴210、220、230分别独立地旋转(绕各轴的旋转分别相当于滚转、俯仰、横摆的动作)。远程操作部70远程操作旋转机构200,改变拍摄装置20的拍摄方向。根据本实施方式,操作者能够自由地改变拍摄装置20的拍摄方向,因此能够获得更适当的视觉上的信息。
(第六实施方式)
在一实施方式中,远程操作部70也可以还具备记录操作信号的记录部。操作信号在从远程操作部70输出的同时记录在记录部中。进而,也可以将操作信号在记录于记录部的同时发送至机械臂10。在该情况下,能够在记录部中保留发送至机械臂10的操作信号的历史记录。或者,也可以将操作信号记录在记录部中,但不在记录的同时发送至机械臂10。在该情况下,操作信号可以在从远程操作部70输出后经过了规定的时间之后,从记录部发送至机械臂10。记录部的结构没有特别限定,例如可以是存储器、内存等存储介质。根据本实施方式,能够记录操作信号,因此,能够保留操作信号的历史记录或者隔开规定的时间差地发送操作信号。
尤其地,远程操作部70也可以发送记录在记录部中的操作信号。即,操作信号不是从远程操作部70直接发送,而是在暂时记录于记录部之后从记录部发送。例如,远程操作系统1能够应用于体育运动、乐器演奏、驾驶这样的从教师到学生的技能的传授。在该情况下,远程操作部70配置在教师侧,机械臂10配置在学生侧。在该情况下,例如当在教室等中使用远程操作系统1等时,教师不必常待在教室。此时,根据本实施方式,能够将表示教师的示教内容的操作信号预先记录在记录部中,再现该操作信号并进行发送,因此,学生能够在喜好的时间前往教室接受技能的传授。
(第七实施方式)
在一实施方式中,远程操作部70也可以还具备机械学习部。该机械学习部通过输入影像和操作信号进行机械学习,由此输出新的操作信号。机械学习的方法没有特别限定,例如可以使用卷积神经网络(Convolutional Neural Network:CNN)、递归神经网络(Recurrent Neural Network:RNN)、LSTM网络(Long Short Term Memory:LSTM)等神经网络,在该情况下,也可以在共用输入层的基础上混合存在按计算模型来说不同的神经网络。机械学习部将拍摄装置20拍摄到的影像以及远程操作部70输出的操作信号作为教师数据来执行机械学习,输出新的操作信号。例如,在将远程操作系统1应用于体育运动中的正确的身体运动(例如高尔夫球的挥杆、网球的击球等)的示教的情况下,通过将学生的实际运动的影像以及与之对应的来自教师的操作信号的组合作为教师数据进行机械学习,由此能够生成对该学生来说最佳的操作信号。在该情况下,在学生的实际运动的影像为高尔夫球的挥杆、网球的击球等一系列的连续影像的情况下,也可以进行如下处理:在影像内找出运动突然改变的点(以下,称作“突然改变点”),将从某一突然改变点到下一个突然改变点为止的影像作为用于学习的一个场景剪切出来。根据本实施方式,通过将在机械臂侧拍摄到的影像以及远程操作部输出的操作信号作为教师数据进行机械学习来输出新的操作信号,因此能够获得可靠的操作信号。
尤其是远程操作部70也可以基于影像信号来发送机械学习部输出的操作信号。在该情况下,从机械学习部输出与在机械臂侧拍摄到的影像相应的最佳的操作信号,并发送至机械臂侧。根据本实施方式,佩戴机械臂的学生能够接收与自身的运动相应的最佳的操作信号,因此,能够接受最佳的身体动作的示教。
(第八实施方式)
在一实施方式中,远程操作系统1也可以具备多个机械臂10、与机械臂10相同数量的拍摄装置20、以及与机械臂10相同数量的的基部30,远程操作部70向全部的机械臂10同时发送相同的操作信号。例如,远程操作系统1的机械臂侧通过由机械臂10、拍摄装置20以及基部30构成的n个组构成。其中,n为2以上的整数。这些组例如由n个佩戴者佩戴。另一方面,远程操作系统1的远程操作部侧由一个或者多个远程操作部70构成。来自远程操作部70的操作信号同时向n个机械臂发送。例如,也可以使用多播传输协议,向n个机械臂发送操作信号。此时,在显示部显示由n个拍摄装置20中的任一个拍摄到的影像。根据本实施方式,例如在远程操作部70配置在一名教师侧且机械臂10配置在多名学生侧来进行动作的示教这样的应用例中,能够向多名学生同时示教动作,因此,能够实现有效的教育。这在工厂、学校等对多名学生示教相同的动作的情况下特别有效。
(第九实施方式)
在一实施方式中,远程操作系统1也可以具备多个远程操作部70,多个远程操作部70分别具备中断部,该中断部在其他的远程操作部70发生操作信号的过程中进行中断并发送操作信号。例如,远程操作系统1的远程操作部侧由n个远程操作部70构成。其中,n为2以上的整数。这n个远程操作部70分别例如由n名教师操作。另一方面,远程操作系统1的机械臂侧通过由机械臂10、拍摄装置20以及基部30构成的一个或者多个组构成。机械臂接收从n个远程操作部70中的任一个发送来的操作信号,并基于该操作信号进行动作。n个远程操作部70分别能够发送操作机械臂10的操作信号。进而,n个远程操作部70分别能够通过启动中断部来在其他的远程操作部70发送操作信号的过程中进行中断并发送操作信号。根据本实施方式,例如在远程操作部70配置在n名教师侧且机械臂10配置在一名学生侧来进行动作的示教这样的应用例中,能够由多名教师对一名学生共同示教动作,因此,能够实现极其细致且高度的教育。这在为了一个动作的示教而需要由分别具备专业性的多名教师进行指示等情况下特别有效。
(第十实施方式)
在一实施方式中,远程操作系统1也可以具备多个远程操作部70,机械臂10由对从多个远程操作部70输出的操作信号进行平均化而得到的信号来操作。例如,远程操作系统1的远程操作部侧由n个远程操作部70构成。其中,n为2以上的整数。这n个远程操作部70分别例如由n名教师操作。另一方面,远程操作系统1的机械臂侧通过由机械臂10、拍摄装置20以及基部30构成的一个或者多个组构成。从n个远程操作部70输出的各操作信号被依次收集并平均化。以下,将该依次平均化所得的操作信号称作“平均操作信号”。平均化的方法没有特别限定,可以计算操作信号值的单纯的算术平均,也可以计算按教师来附加权重的加权平均。作为实施方式,也可以在机械臂10设置多个接收装置,接收来自多个远程操作部70的操作信号,并将这些操作信号在机械臂侧依次平均化之后作为操作信号来使用。或者,也可以将机械臂侧的接收部设为一个,多个远程操作部70具有共同的发送部,将从各远程操作部70输出的操作信号在该发送部依次平均化之后发送至机械臂侧。教师有时在动作上具有独特的习惯,但将该习惯直接传授给学生未必是好事。与此相对,准备多名教师,将这些教师的动作平均化,由此大多情况下能够减轻各教师所具有的习惯而形成最佳的动作。根据本实施方式,能够向学生示教去除了教师的习惯的最佳的动作。
佩戴者与操作者之间的经由机械臂的身体上的交流作为一例能够分类为以下的三个类型。
(第一类型的交流)“指示(Direct)”
图8表示第一类型的交流。在本类型的交流中,机械臂10不安装于佩戴者的身体。机械臂10通过手指向佩戴者指示方向或者与佩戴者之间交接物体。操作者与佩戴者经由机械臂进行握手或物体的交换等是本类型的交流的例子。本发明人将该类型的交流命名为指示“(Direct)”。
(第二类型的交流)“强制(Enforce)”
图9表示第二类型的交流。在本类型的交流中,机械臂10安装于佩戴者的身体(例如手臂)。机械臂10引导佩戴者的身体而强制性地使其进行规定的运动,或者将佩戴者的身体引导至规定的位置。经由机械臂向佩戴者传授体育运动、乐器演奏、驾驶这样的技能等是本类型的交流的例子。本发明人将该类型的交流命名为“强制(Enforce)”。
(第三类型的交流)“引导(Induce)”
图10是表示第三类型的交流。在本类型的交流中,机械臂10安装于佩戴者的身体。进而,机械臂10伸长时的全长比佩戴者的手臂的全长长。机械臂10从佩戴者伸展手臂的状态进一步向牵拉该手臂的方向动作。经由机械臂将佩戴者朝向位于佩戴者的手无法到达的范围的地方引导等是本类型的交流的例子。本发明人将该类型的交流命名为“引导(Induce)”。
(变形例)
以上,基于实施例对本发明进行了说明。这些实施例是例示,它们的各构成要素、各处理工艺的组合可以有各种变形例,并且本领域技术人员应当理解,这样的变形例也在本发明的范围内。
拍摄装置20可以是具有两个相机的立体相机。根据本变形例,操作者能够立体地识别拍摄装置20拍摄到的影像,因此,能够以更高的临场感与佩戴者共享观察点。
拍摄装置20的旋转机构200也可以使用头戴式显示器710进行操作。此时,头戴式显示器710将用于操作拍摄装置20的旋转机构200的信号发送至旋转机构200。所发送的信号用于与操作者的头部的动作联动地移动拍摄装置20的拍摄方向。根据本变形例,操作者能够通过头的动作自由地操作所监视的影像的拍摄方向。
拍摄装置20也可以具备用于移动拍摄装置20的设置位置的移动机构。移动机构通过马达将拍摄装置20的设置位置相对于佩戴者的头部朝前后或者左右移动。远程操作部70远程操作移动机构来移动拍摄装置20的设置位置。根据本变形例,操作者能够自由地改变拍摄装置20的设置位置,因此,能够获得更适当的视觉上的信息。
拍摄装置20除了所述的移动机构之外,还可以具备检测佩戴者的头部的位置的头部传感器。在该情况下,移动机构基于头部传感器检测到的佩戴者的头部的位置来移动拍摄装置20的设置位置,以使拍摄装置20不进入佩戴者的视野内。根据本变形例,拍摄装置20以不进入佩戴者的视野内的方式移动,因此,能够防止佩戴者的视野被拍摄装置20遮挡。
远程操作系统1也可以具备可佩戴于佩戴者的眼球追踪装置。在该情况下,拍摄装置20的旋转机构200基于来自眼球追踪装置的信号,以追随佩戴者的视线的方式进行动作。即,拍摄装置20与佩戴者的观察点联动地自动改变拍摄方向。根据本变形例,拍摄装置20直接拍摄佩戴者观看的景色,因此,操作者能够共享与佩戴者相同的观察点。
远程操作系统1也可以在佩戴者的头部附近具备麦克风。麦克风收集到的声音被发送至远程操作部70,由操作者监视。根据本变形例,操作者除了观察点之外,还能够与佩戴者共享听觉。
远程操作系统1除了配置在佩戴者的头部附近的所述的麦克风之外,还具备配置在佩戴者的耳朵附近的扬声器或者佩戴于佩戴者的耳机。此时,远程操作部70具备收集操作者发出的声音的麦克风。佩戴者发出的声音由佩戴者侧的麦克风收集,并发送至远程操作部70。反之,操作者发出的声音由操作者侧的麦克风收集,并发送至操作者侧的扬声器或者耳机。根据本变形例,能够在佩戴者与操作者之间进行会话,因此,两者除了身体上的交流之外,还能够进行声音上的交流。
在机械臂10具备用于将机械臂10固定于佩戴者的身体的固定部件的情况下,固定部件也可以为手形的形状。手形形状的固定部件的各手指固定于对应的佩戴者的各手指。手形形状的固定部件在手指的各关节具备马达,能够在各关节独立地弯曲伸展。根据本变形例,机械臂10被固定在佩戴者的各手指,能够使佩戴者的各手指单独强制地运动。
机械臂10的上臂部114与前臂部118也可以分别独立地调整长度。根据本变形例,机械臂10能够根据佩戴者的手臂的长度、所述身体上的交流的类型来采取准确的形态。
机械臂10也可以具备速度传感器、加速度传感器、压力传感器、温度传感器等传感器。这些传感器检测佩戴者针对机械臂10的动作的反应,并将其结果发送至远程操作部70。例如在“强制”类型的交流的情况下,传感器检测佩戴者针对机械臂10做出怎样的反应(例如,“佩戴者的身体是否针对机械臂10的动作顺从地移动”“是否进行了与机械臂10的动作反抗的动作”“如果进行了反抗的动作,则是怎样的强度”等),并反馈给远程操作部70。根据本变形例,除了经由机械臂10从操作者朝佩戴者的方向的交流之外,还能够进行经由反馈从佩戴者朝操作者的方向的交流。
远程操作部70也可以取代单数而为复数。在该情况下,也可以由不同的操作者操作各个远程操作部70。根据本变形例,也可以取代操作者与佩戴者之间的一对一的交流,转而进行多个操作者与佩戴者之间的多对一的交流。这在多名教师(操作者)共同向一名学生(佩戴者)传授技能的情况下格外有效。
在上述那样远程操作部70为多个且不同的操作者操作各个远程操作部70的实施方式的情况下,远程操作系统1可以进行如下控制:在某一操作者进行操作的期间,禁止其他的操作者进行操作。进而,在佩戴者侧与各操作者侧分别设置麦克风与扬声器而能够在双方之间进行声音上的交流的实施方式的情况下,远程操作系统1也可以进行如下控制:在某一操作者与佩戴者进行会话的期间,禁止其他的操作者与佩戴者之间的会话。根据本变形例,能够避免在多个操作者与佩戴者之间的多对一的交流中因来自多个操作者的同时访问而引起的混乱。
远程操作部70也可以取代控制器720a、720b而具备与佩戴者侧的机械臂10相同的机械臂。在该情况下,佩戴者侧的机械臂10与操作者侧的机械臂同步地进行相同的动作。根据本变形例,佩戴者与操作者彼此除了具有共享一个身体那样的感觉之外,还能够具有共享相同的动作那样的感觉。
对于使用远程操作系统1的两名主体,也可以取代一方为操作者而另一方为佩戴者的方案而设计成双方对等。在该情况下,两名用户分别佩戴机械臂及拍摄装置并操作远程操作部。根据本变形例,两名用户能够在对等的立场下,一边具有共享身体那样的感觉一边进行身体上的交流。
远程操作部70的操作主体也可以取代人(操作者)而是基于程序实现的计算机。另外,操作主体可以是通过机械学习、深度学习等实现的人工智能。根据本变形例,能够提高操作主体的自由度。
工业实用性
本发明能够在远地之间的共同作业、体育运动的课程(高尔夫球、网球等),乐器演奏的课程(钢琴等)、驾驶的训练、远地之间的使用身体的游戏、对视觉障碍者的辅助等中利用。
符号说明
1远程操作系统 10机械臂 20拍摄装置 30基部 70远程操作部。
Claims (11)
1.一种远程操作系统,其特征在于,
所述远程操作系统具备机械臂、拍摄装置、基部以及用于远程操作所述机械臂的远程操作部,
所述机械臂安装于所述基部,
所述拍摄装置安装于所述基部并配置于佩戴者的头部附近,
所述基部佩戴于佩戴者的上半身,
所述机械臂及所述拍摄装置以能够通信的方式与所述远程操作部连接,
所述远程操作部能够显示从所述拍摄装置接收到的影像,并能够发送用于操作所述机械臂的操作信号,
所述机械臂的上臂部以及前臂部的长度均比佩戴者的上臂部以及前臂部长,使得从佩戴者伸展手臂的状态能够进一步牵拉该手臂。
2.根据权利要求1所述的远程操作系统,其特征在于,
所述机械臂具备能够拆卸的手部。
3.根据权利要求1所述的远程操作系统,其特征在于,
所述机械臂具备用于将所述机械臂固定于佩戴者的臂部的固定部件。
4.根据权利要求1至3中任一项所述的远程操作系统,其特征在于,
所述拍摄装置具备用于改变拍摄方向的旋转机构,
所述拍摄装置以能够通信的方式与所述远程操作部连接,
所述远程操作部远程操作所述旋转机构。
5.根据权利要求1至4中任一项所述的远程操作系统,其特征在于,
所述远程操作部具备记录所述操作信号的记录部。
6.根据权利要求5所述的远程操作系统,其特征在于,
所述远程操作部发送记录在所述记录部中的操作信号。
7.根据权利要求1至5中任一项所述的远程操作系统,其特征在于,
所述远程操作部还具备机械学习部,
所述机械学习部通过输入所述影像和所述操作信号来进行机械学习,由此输出新的操作信号。
8.根据权利要求7所述的远程操作系统,其特征在于,
所述远程操作部基于所述影像来发送所述机械学习部输出的操作信号。
9.根据权利要求1至8中任一项所述的远程操作系统,其特征在于,
所述远程操作系统具备多个机械臂、与所述机械臂相同数量的拍摄装置以及与所述机械臂相同数量的基部,
所述远程操作部向全部的机械臂同时发送相同的操作信号。
10.根据权利要求1至9中任一项所述的远程操作系统,其特征在于,
所述远程操作系统具备多个远程操作部,
所述多个远程操作部分别具备能够在其他的远程操作部发送操作信号的过程中进行中断并发送操作信号的中断部。
11.根据权利要求1至9中任一项所述的远程操作系统,其特征在于,
所述远程操作系统具备多个远程操作部,
所述机械臂由对从所述多个远程操作部输出的操作信号进行平均化而得到的信号来操作。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018124364 | 2018-06-29 | ||
JP2018-124364 | 2018-06-29 | ||
PCT/JP2019/025781 WO2020004613A1 (ja) | 2018-06-29 | 2019-06-28 | 遠隔操作システム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112313042A true CN112313042A (zh) | 2021-02-02 |
Family
ID=68986783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980041709.7A Pending CN112313042A (zh) | 2018-06-29 | 2019-06-28 | 远程操作系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11738445B2 (zh) |
JP (1) | JP7212390B2 (zh) |
CN (1) | CN112313042A (zh) |
WO (1) | WO2020004613A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7464366B2 (ja) * | 2019-09-09 | 2024-04-09 | ファナック株式会社 | ロボット制御装置 |
US11110601B2 (en) * | 2019-11-20 | 2021-09-07 | UiPath, Inc. | Scheduling robots for robotic process automation |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08248870A (ja) * | 1995-03-10 | 1996-09-27 | Kawasaki Heavy Ind Ltd | 教育装置 |
US20030135203A1 (en) * | 2002-01-16 | 2003-07-17 | Yulun Wang | Minimally invasive surgical training using robotics and tele-collaboration |
KR200323972Y1 (ko) * | 2003-03-03 | 2003-08-19 | 조국수 | 복싱게임기 |
JP2004056161A (ja) * | 2002-05-28 | 2004-02-19 | Matsushita Electric Works Ltd | マルチメディア通信システム |
JP2012040679A (ja) * | 2010-07-23 | 2012-03-01 | Advanced Telecommunication Research Institute International | 遠隔操作ロボット |
JP2013091114A (ja) * | 2011-10-05 | 2013-05-16 | Kyokko Denki Kk | インタラクション操作システム |
JP2014004656A (ja) * | 2012-06-25 | 2014-01-16 | Univ Of Tsukuba | マニピュレーションシステム |
JP2014188600A (ja) * | 2013-03-26 | 2014-10-06 | Toshiba Corp | 遠隔視認装置および遠隔視認操作システム |
CN104825258A (zh) * | 2015-03-24 | 2015-08-12 | 华南理工大学 | 肩部可穿戴功能辅助机械臂 |
JP2017196312A (ja) * | 2016-04-28 | 2017-11-02 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6963792B1 (en) * | 1992-01-21 | 2005-11-08 | Sri International | Surgical method |
US5631973A (en) * | 1994-05-05 | 1997-05-20 | Sri International | Method for telemanipulation with telepresence |
US6850222B1 (en) * | 1995-01-18 | 2005-02-01 | Immersion Corporation | Passive force feedback for computer interface devices |
US6659939B2 (en) * | 1998-11-20 | 2003-12-09 | Intuitive Surgical, Inc. | Cooperative minimally invasive telesurgical system |
FR2839916B1 (fr) * | 2002-05-22 | 2004-10-15 | Agence Spatiale Europeenne | Exosquelette pour bras humain, notamment pour des applications spatiales |
AU2002368501A1 (en) * | 2002-12-31 | 2004-07-22 | Massimo Bergamasco | Ekoskeleton interface apparatus |
US7949616B2 (en) * | 2004-06-01 | 2011-05-24 | George Samuel Levy | Telepresence by human-assisted remote controlled devices and robots |
US20080009771A1 (en) * | 2006-03-29 | 2008-01-10 | Joel Perry | Exoskeleton |
WO2012129251A2 (en) * | 2011-03-23 | 2012-09-27 | Sri International | Dexterous telemanipulator system |
US9573276B2 (en) * | 2012-02-15 | 2017-02-21 | Kenneth Dean Stephens, Jr. | Space exploration with human proxy robots |
US9588582B2 (en) * | 2013-09-17 | 2017-03-07 | Medibotics Llc | Motion recognition clothing (TM) with two different sets of tubes spanning a body joint |
FR2993811A1 (fr) * | 2012-07-26 | 2014-01-31 | Pierre Andre Davezac | Exosquelette a bras mecaniques isoelastiques motorises |
US9266233B2 (en) * | 2013-03-15 | 2016-02-23 | Sri International | Exosuit system |
US20150314454A1 (en) * | 2013-03-15 | 2015-11-05 | JIBO, Inc. | Apparatus and methods for providing a persistent companion device |
EP4083758A1 (en) * | 2013-07-05 | 2022-11-02 | Rubin, Jacob A. | Whole-body human-computer interface |
US9314922B2 (en) * | 2014-02-07 | 2016-04-19 | Control Interfaces LLC | Remotely operated manipulator and ROV control systems and methods |
JP2017514608A (ja) * | 2014-05-05 | 2017-06-08 | バイカリアス サージカル インク. | 仮想現実外科手術デバイス |
CA2948310A1 (en) * | 2014-05-05 | 2015-11-12 | Genesis Robotics Llp | Exoskeleton suit with hand control to enable walking |
US10238522B2 (en) * | 2014-09-05 | 2019-03-26 | Ekso Bionics, Inc. | Exoskeleton device and method of impeding relative movement in the exoskeleton device |
US9895799B2 (en) * | 2016-04-08 | 2018-02-20 | Patrick Michael Mullen | System for cooperation between a human and a robotic device |
IT201600132874A1 (it) * | 2016-12-30 | 2018-06-30 | Signo Motus S R L | Esoscheletro con giunti semi-attivi a fluido elettro- o magneto–reologico |
GB2560384B (en) * | 2017-03-10 | 2022-07-20 | Cmr Surgical Ltd | Controlling a surgical instrument |
US10843330B2 (en) * | 2017-12-07 | 2020-11-24 | Sarcos Corp. | Resistance-based joint constraint for a master robotic system |
WO2019116093A1 (en) * | 2017-12-14 | 2019-06-20 | Bionic Yantra Private Limited | Apparatus and system for limb rehabitation |
EP3762190A4 (en) * | 2018-03-05 | 2022-01-26 | The Regents Of The University Of Colorado | HUMAN-ROBOT INTERACTION AUGMENTED REALITY COORDINATION |
-
2019
- 2019-06-28 CN CN201980041709.7A patent/CN112313042A/zh active Pending
- 2019-06-28 JP JP2020527678A patent/JP7212390B2/ja active Active
- 2019-06-28 WO PCT/JP2019/025781 patent/WO2020004613A1/ja active Application Filing
-
2020
- 2020-12-29 US US17/137,116 patent/US11738445B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08248870A (ja) * | 1995-03-10 | 1996-09-27 | Kawasaki Heavy Ind Ltd | 教育装置 |
US20030135203A1 (en) * | 2002-01-16 | 2003-07-17 | Yulun Wang | Minimally invasive surgical training using robotics and tele-collaboration |
JP2004056161A (ja) * | 2002-05-28 | 2004-02-19 | Matsushita Electric Works Ltd | マルチメディア通信システム |
KR200323972Y1 (ko) * | 2003-03-03 | 2003-08-19 | 조국수 | 복싱게임기 |
JP2012040679A (ja) * | 2010-07-23 | 2012-03-01 | Advanced Telecommunication Research Institute International | 遠隔操作ロボット |
JP2013091114A (ja) * | 2011-10-05 | 2013-05-16 | Kyokko Denki Kk | インタラクション操作システム |
JP2014004656A (ja) * | 2012-06-25 | 2014-01-16 | Univ Of Tsukuba | マニピュレーションシステム |
JP2014188600A (ja) * | 2013-03-26 | 2014-10-06 | Toshiba Corp | 遠隔視認装置および遠隔視認操作システム |
CN104825258A (zh) * | 2015-03-24 | 2015-08-12 | 华南理工大学 | 肩部可穿戴功能辅助机械臂 |
JP2017196312A (ja) * | 2016-04-28 | 2017-11-02 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム |
Also Published As
Publication number | Publication date |
---|---|
US20210114199A1 (en) | 2021-04-22 |
JP7212390B2 (ja) | 2023-01-25 |
WO2020004613A1 (ja) | 2020-01-02 |
US11738445B2 (en) | 2023-08-29 |
JPWO2020004613A1 (ja) | 2021-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11321894B2 (en) | Motion control via an article of clothing | |
US10755466B2 (en) | Method and apparatus for comparing two motions | |
US11182946B2 (en) | Motion management via conductive threads embedded in clothing material | |
US11210834B1 (en) | Article of clothing facilitating capture of motions | |
JP7116696B2 (ja) | 学習支援システム及びプログラム | |
CN103877726B (zh) | 一种虚拟现实组件系统 | |
US20090239710A1 (en) | Training and instructing support device | |
CN108127669A (zh) | 一种基于动作融合的机器人示教系统及实施方法 | |
US11738445B2 (en) | Remote control system | |
US11086392B1 (en) | Devices, systems, and methods for virtual representation of user interface devices | |
US11798216B2 (en) | Motion detection method and system | |
US11231791B1 (en) | Handheld controllers for artificial reality and related methods | |
JP2016158057A (ja) | 表示装置、表示方法およびプログラム | |
CN106256509A (zh) | 替身机器人 | |
CN103914128B (zh) | 头戴式电子设备和输入方法 | |
US11682157B2 (en) | Motion-based online interactive platform | |
CN204945491U (zh) | 头戴式全息智能眼镜 | |
CN105068248A (zh) | 头戴式全息智能眼镜 | |
Luo et al. | Towards robot avatars: Systems and methods for teleinteraction at avatar xprize semi-finals | |
KR102152595B1 (ko) | 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템 | |
TWM582409U (zh) | Virtual reality underwater training device | |
CN207888651U (zh) | 一种基于动作融合的机器人示教系统 | |
US11550397B1 (en) | Systems and methods for simulating a sensation of expending effort in a virtual environment | |
US11135725B2 (en) | Robot control system, robot control method and user apparatus for robot control system | |
US20080122931A1 (en) | Wireless Sports Training Device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |