JP2018008369A - マルチモーダル感覚データに基づくロボットプラットフォームの遠隔制御 - Google Patents
マルチモーダル感覚データに基づくロボットプラットフォームの遠隔制御 Download PDFInfo
- Publication number
- JP2018008369A JP2018008369A JP2017111014A JP2017111014A JP2018008369A JP 2018008369 A JP2018008369 A JP 2018008369A JP 2017111014 A JP2017111014 A JP 2017111014A JP 2017111014 A JP2017111014 A JP 2017111014A JP 2018008369 A JP2018008369 A JP 2018008369A
- Authority
- JP
- Japan
- Prior art keywords
- data
- robot platform
- remote control
- sensory data
- control station
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001953 sensory effect Effects 0.000 title claims abstract description 200
- 238000000034 method Methods 0.000 claims abstract description 139
- 230000004044 response Effects 0.000 claims abstract description 19
- 238000004891 communication Methods 0.000 claims description 28
- 238000005553 drilling Methods 0.000 claims description 12
- 238000007789 sealing Methods 0.000 claims description 7
- 238000010422 painting Methods 0.000 claims description 6
- 241000282414 Homo sapiens Species 0.000 abstract description 23
- 230000000007 visual effect Effects 0.000 description 29
- 239000003795 chemical substances by application Substances 0.000 description 21
- 241000282412 Homo Species 0.000 description 14
- 239000012752 auxiliary agent Substances 0.000 description 12
- 238000012937 correction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000007689 inspection Methods 0.000 description 12
- 238000001228 spectrum Methods 0.000 description 11
- 238000012423 maintenance Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 230000008447 perception Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009023 proprioceptive sensation Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000035807 sensation Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 239000012636 effector Substances 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 230000010399 physical interaction Effects 0.000 description 2
- 230000000272 proprioceptive effect Effects 0.000 description 2
- 239000000565 sealant Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 230000037152 sensory function Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001720 vestibular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/005—Manipulators for mechanical processing tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0075—Manipulators for painting or coating
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/02—Hand grip control means
- B25J13/025—Hand grip control means comprising haptic means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/081—Touching devices, e.g. pressure-sensitive
- B25J13/084—Tactile sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/085—Force or torque sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
- B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
- B64F5/40—Maintaining or repairing aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
- B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
- B64F5/60—Testing or inspecting aircraft components or systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/005—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32252—Scheduling production, machining, job shop
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/30—End effector
- Y10S901/44—End effector inspection
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Transportation (AREA)
- Acoustics & Sound (AREA)
- Quality & Reliability (AREA)
- Manipulator (AREA)
Abstract
【課題】人間による直接の操作に適さない閉所空間及び他の同様の空間内のロボットプラットフォームを遠隔で制御するための方法及びシステムを提供する。
【解決手段】両眼立体視覚データ、両耳ステレオオーディオデータ、力反映ハプティック操作データ、触覚データなど、少なくとも2種類の知覚反応を含むマルチモーダル感覚データは、閉所空間210に配置されたロボットプラットフォーム230によって取得され、閉所空間210の外部の遠隔制御ステーション250に送信されて、閉所空間210の表示を生成するために用いられる。マルチモーダル感覚データを用いることにより、遠隔制御ステーション250のオペレータに複数感覚の高忠実度テレプレゼンスが提供され、オペレータはより正確な入力を行うことができる。この入力がロボットプラットフォーム230に送信され、閉所空間210内で様々な作業を行うことができる。
【選択図】図2
【解決手段】両眼立体視覚データ、両耳ステレオオーディオデータ、力反映ハプティック操作データ、触覚データなど、少なくとも2種類の知覚反応を含むマルチモーダル感覚データは、閉所空間210に配置されたロボットプラットフォーム230によって取得され、閉所空間210の外部の遠隔制御ステーション250に送信されて、閉所空間210の表示を生成するために用いられる。マルチモーダル感覚データを用いることにより、遠隔制御ステーション250のオペレータに複数感覚の高忠実度テレプレゼンスが提供され、オペレータはより正確な入力を行うことができる。この入力がロボットプラットフォーム230に送信され、閉所空間210内で様々な作業を行うことができる。
【選択図】図2
Description
本出願は、同時出願である米国特許出願「Multi-Tread Vehicles and Methods of Operating Thereof」(Docket No. 16-0017-US-NP_BNGCP081US)、及び、同時出願である米国特許出願「Stereoscopic Camera and Associated Method of Varying a Scale of a Stereoscopic Image Pair」(Docket No. 15-2607-US-NP)に関連しており、これらはいずれも、すべての目的で参照によりその全体が本明細書に組み込まれる。
ロボットプラットフォームを制御するための方法及びシステムが提供され、より具体的には、いくつかの実施例において、遠隔の閉所に配置されるとともに、マルチモーダル感覚データに基づいて生成された遠隔の制御命令及び/又はローカルの制御命令を用いて制御されるロボットプラットフォームが提供される。
ロボットプラットフォームは、人間による直接の作業が好ましくない様々な環境に配置される。そのような環境では、ロボットプラットフォームを含む遠隔操作ロボットシステムを用いて、離れた位置にいるオペレータからの入力によって、遠隔動作を行うことができる。しかしながら、オペレータの作業環境の認識は、システムにおける感覚忠実度(sensory fidelity)のレベルによって制限される。このようなシステムを有効に動作させるためには、オペレータは、十分なレベルの忠実な感覚フィードバックを得ることによって、作業環境内に効果的にテレプレゼント(tele-present)しなければならない。一般に、オペレータに与えられる感覚の忠実度が高ければ高いほど、作業環境に実際に存在している感覚が強くなり、オペレータは、より効果的な動作命令を与えることができる。一方で、何らかの感覚体験の欠如によって状況が十分に把握できない場合、遠隔操作は非常に困難なものとなる。従来のほとんどの遠隔操作ロボットシステムでは、オペレータは、実際の作業環境について、限られた情報しか与えられない。また、主たる感覚フィードバックは視覚によるものである。高度な視覚システムを有するロボットプラットフォームでも、限られた情報しかオペレータに与えることができない。人間は、本来、視覚だけでなく複数の感覚に基づいて周囲の環境を把握する。オペレータに与えられる情報を視覚情報に限定すると、オペレータが環境を総合的に理解して必要な命令を与える能力が制限される。また、一般的な遠隔ロボットシステムは、いわゆる単眼視覚(cyclopean vision)の問題に悩まされている。具体的には、このようなシステムは、両眼立体視を提供しない単眼カメラ及びディスプレイを含む。環境を把握し、当該環境において操作タスクなどの様々な作業を行うためには、奥行きキュー(depth cue)が重要であり、精密な操作タスクのためにはそれが一段と重要である。様々な歪みによって、オペレータは、正確に作業することが難しく、歪みを伴ったまま長時間作業すると疲労をきたす。
人間による直接の操作に適さない閉所空間及び他の同様の空間において、ロボットプラットフォームを遠隔で制御するための方法及びシステムが提供される。制御は、マルチモーダル感覚データを用いて実現され、当該データは、両眼立体視覚(binocular stereoscopic vision)データ、両耳ステレオオーディオ(binaural stereophonic audio)データ、力反映ハプティック操作(force-reflecting haptic manipulation)データ、触覚(tactile)データなどの、少なくとも2種類の知覚反応を含むものである。マルチモーダル感覚データは、閉所空間に配置されたロボットプラットフォームによって取得され、閉所空間の外部の遠隔制御ステーションに送信されて、閉所空間の表示を生成するために用いられる。マルチモーダル感覚データを用いることにより、遠隔制御ステーションのオペレータに複数の感覚の高忠実度テレプレゼンスが提供され、オペレータは、より正確なユーザー入力を行うことができる。この入力が、ロボットプラットフォームに送信され、閉所空間内で様々な作業を行うことができる。
いくつかの実施形態において、マルチモーダル感覚データに基づいてロボットプラットフォームを遠隔制御する方法が提供される。当該方法は、ロボットプラットフォームを配置すること、前記ロボットプラットフォームを遠隔制御ステーションに通信接続すること、前記ロボットプラットフォームの2つ以上のセンサーを用いて前記マルチモーダル感覚データを取得すること、前記マルチモーダル感覚データの少なくとも一部を送信すること、及び、前記遠隔制御ステーションからの遠隔制御命令をロボットプラットフォームで受信することを含みうる。前記マルチモーダル感覚データは、少なくとも2種類の知覚反応を含みうる。前記少なくとも2種類の知覚反応は、両眼立体視覚データ、両耳ステレオオーディオデータ、力反映ハプティック操作データ、及び、触覚データからなる群から選択することができる。マルチモーダル感覚データを取得することと、マルチモーダル感覚データを送信することとは、当該方法を実行している間、連続して繰り返される。当該方法は、前記遠隔制御ステーションから受信した前記遠隔制御命令を補正することを含みうる。いくつかの実施形態において、前記構造体は、航空機の翼である。
いくつかの実施形態において、前記ロボットプラットフォームは、構造体の閉所空間内に配置される。前記マルチモーダル感覚データの前記少なくとも一部を送信することは、前記ロボットプラットフォームが前記閉所空間内に位置している間に行われうる。
いくつかの実施形態において、当該方法は、前記マルチモーダル感覚データに基づいて、前記ロボットプラットフォームにおいてローカルの制御命令を生成することをさらに含む。当該方法は、前記ローカルの制御命令に基づいて、前記ロボットプラットフォームを用いて前記閉所空間内で1つ又は複数の作業を行うことをさらに含む。
いくつかの実施形態において、前記マルチモーダル感覚データは、少なくとも、前記両眼立体視覚データ、前記両耳ステレオオーディオデータ、及び、前記力反映ハプティック操作データを含む。これらの実施形態において、前記1つ又は複数の作業は、前記構造体の前記部品に穿孔することを含みうる。
いくつかの実施形態において、前記マルチモーダル感覚データは、少なくとも、前記両眼立体視覚データ、前記両耳ステレオオーディオデータ、前記力反映ハプティック操作データ、及び、触覚データを含みうる。これらの実施形態において、前記1つ又は複数の作業は、前記構造体に留め具を取り付けることを含む。
いくつかの実施形態において、当該方法は、前記マルチモーダル感覚データの前記少なくとも一部を送信する前に、前記マルチモーダル感覚データを補正することをさらに含む。当該方法は、送信する前記マルチモーダル感覚データの前記少なくとも一部を選択することをさらに含みうる。
いくつかの実施形態において、当該方法は、前記ロボットプラットフォームで受信した前記遠隔制御ステーションからの前記遠隔制御命令に基づいて、前記ロボットプラットフォームを用いて前記閉所空間内で1つ又は複数の作業を行うことをさらに含む。例えば、前記1つ又は複数の作業は、前記閉所空間内で前記ロボットプラットフォームの位置を変更すること、前記構造体の部品に穿孔すること、前記構造体に留め具を取り付けること、前記構造体をシールすること、前記構造体を塗装すること、前記閉所空間から物体を取り除くこと、及び、前記構造体を検査することからなる群から選択される。前記マルチモーダル感覚データの忠実度のレベルは、前記1つ又は複数の作業に対応する。いくつかの実施形態において、前記マルチモーダル感覚データの忠実度のレベルは、時間とともに変化する。いくつかの実施形態において、前記1つ又は複数の作業は、前記ロボットプラットフォームで生成されたローカルの制御命令にも基づいて行われ、前記1つ又は複数の作業を行うために、前記ローカルの制御命令は、前記遠隔制御命令と組み合わされる。
いくつかの実施形態において、前記1つ又は複数の作業は、前記閉所空間内で前記ロボットプラットフォームの前記位置を変化させることを含む。これらの実施形態において、前記マルチモーダル感覚データは、少なくとも、前記両眼立体視覚データ及び前記ステレオオーディオデータを含みうる。
いくつかの実施形態において、前記ロボットプラットフォームは、ローカルエリアネットワークを用いて、前記遠隔制御ステーションに通信接続される。同じ又は他の実施形態において、前記ロボットプラットフォームは、少なくとも1つの無線通信リンクを用いて、前記遠隔制御ステーションに通信接続される。また、前記ロボットプラットフォームは、グローバル通信ネットワークを用いて、前記遠隔制御ステーションに通信接続される。
マルチモーダル感覚データに基づいて、構造体の閉所空間内のロボットプラットフォームを遠隔制御する方法も提供される。当該方法は、前記閉所空間内に配置された前記ロボットプラットフォームから前記マルチモーダル感覚データを受信すること、前記遠隔制御ステーションによって前記マルチモーダル感覚データの表示を生成すること、前記遠隔制御ステーションにおいてユーザー入力を捕捉すること、及び、前記閉所空間に配置された前記ロボットプラットフォームに遠隔制御命令を送信することを含みうる。前記マルチモーダル感覚データは、前記閉所空間の外部に配置されるとともに前記ロボットプラットフォームに通信接続された遠隔制御ステーションによって受信される。前記マルチモーダル感覚データは、両眼立体視覚データ、両耳ステレオオーディオデータ、力反映ハプティック操作データ、及び、触覚データからなる群から選択される少なくとも2種類の知覚反応を含む。
いくつかの実施形態において、前記マルチモーダル感覚データの前記表示を生成することは、ビデオスペクトル、オーディオスペクトル、空間配向(spatial orientation)、及び、固有受容感覚(proprioception)のうちの少なくとも1つに基づいて、前記マルチモーダル感覚データを補正することを含む。前記表示は、複数の感覚の高忠実度テレプレゼンスでありうる。いくつかの実施形態において、前記遠隔制御ステーションのユーザーインターフェイスは、前記マルチモーダル感覚データのうちの両眼立体視覚データを提示するための3Dディスプレイを含む。前記遠隔制御ステーションのユーザーインターフェイスは、前記マルチモーダル感覚データのうちの前記両耳ステレオオーディオデータを提示するためのステレオスピーカーを含みうる。
いくつかの実施形態において、前記遠隔制御命令は、前記閉所空間内において前記ロボットプラットフォームによって行われる1つ又は複数の作業を表す。前記1つ又は複数の作業は、前記閉所空間内で前記ロボットプラットフォームの位置を変更すること、前記構造体の部品に穿孔すること、前記構造体に留め具を取り付けること、前記構造体をシールすること、前記構造体を塗装すること、前記閉所空間から物体を取り除くこと、及び、前記構造体を検査すること、からなる群から選択されうる。
いくつかの実施形態において、少なくとも、前記マルチモーダル感覚データを受信することと、前記表示を生成することとは、連続して行われる。また、前記遠隔制御命令は、前記ユーザー入力に基づいて生成されうる。前記ロボットプラットフォームは、ローカルエリアネットワークを用いて、前記遠隔制御ステーションに通信接続されうる。同じ又は他の実施形態において、前記ロボットプラットフォームは、グローバル通信ネットワークを用いて、前記遠隔制御ステーションに通信接続される。
マルチモーダル感覚データを用いて構造体の閉所空間内で作業するためのロボットプラットフォームも提供される。当該ロボットプラットフォームは、前記マルチモーダル感覚データを生成するためのセンサーと、前記閉所空間の外部に配置された遠隔制御ステーションに通信接続するための通信モジュールとを含む。前記センサーは、両眼立体視センサー、両耳ステレオオーディオセンサー、力反映ハプティック操作センサー、及び、触覚センサーからなる群から選択される少なくとも2つを含みうる。
マルチモーダル感覚データを用いてロボットプラットフォームを制御するための遠隔制御ステーションも提供される。前記遠隔制御ステーションは、前記ロボットプラットフォームに通信接続するため、且つ、前記マルチモーダル感覚データを前記ロボットプラットフォームから受信するための、通信モジュールと、前記ロボットプラットフォームから受信したマルチモーダル感覚データの表示を生成するための出力装置を含むユーザーインターフェイスとを含みうる。前記マルチモーダル感覚データは、少なくとも2種類の知覚反応を含みうる。いくつかの実施形態において、前記少なくとも2種類の知覚反応は、両眼立体視覚データ、両耳ステレオオーディオデータ、力反映ハプティック操作データ、及び、触覚データからなる群から選択される。
マルチモーダル感覚データに基づいて、構造体の閉所空間内のロボットプラットフォームを遠隔制御する方法も提供される。当該方法は、前記ロボットプラットフォームの2つ以上のセンサーを用いて前記マルチモーダル感覚データを取得すること、前記マルチモーダル感覚データの少なくとも一部を遠隔制御ステーションに送信すること、及び、前記遠隔制御ステーションによって前記マルチモーダル感覚データの表示を生成することを含みうる。前記マルチモーダル感覚データは、少なくとも2種類の知覚反応を含む。当該方法の様々な他の側面は、上述あるいは本文書の他の箇所に提示されている。
これら及びその他の実施形態を、図面を参照しつつ以下に説明する。
以下の説明においては、開示される概念が十分に理解されるように、多くの具体的な詳細事項を記載している。開示の概念は、これら具体的な詳細の一部又は全てが無くとも実施可能である。他の例においては、説明する概念が不必要に不明瞭にならないように、周知の処理動作の詳細は述べていない。いくつかの概念は、具体な実施形態を用いて説明するが、これらの具体的な実施形態に限定することを意図するものではない。むしろ、添付の特許請求の範囲によって規定される、本開示の精神及び範囲に含まれうる代替例、変形例、及び均等物を網羅することが意図されている。
<導入>
<導入>
人間によるリアルタイムの制御をロボットプラットフォームに加えることで、ロボットに新たな可能性を与えることができる。1つには、これによって、完全に自動化されたシステムに付随する多くの問題点を克服しやすくなる。さらには、人間がアクセスできない環境での作業、及び/又は、完全に自動化されたシステムでは提供できない作業を行うことが可能になる。
ハイブリッド人間‐ロボットシステムは、作業環境についての十分な情報が人間のオペレータに与えられると、其々の強みを確実に活用し、実質的な相乗効果を達成することができる。例えば、ロボットプラットフォームの1つの重要な強みは、閉所空間や危険な環境などの、人間が容易にアクセスできない様々な環境での配置及び作業が可能なことである。(本開示の目的において、閉所空間とは、キャビティ及び入口によって規定されるとともに、キャビティの奥行が入口の主要寸法の少なくとも5倍である包囲空間として規定される。)また、人間は、複雑で体系化されていない環境においても、感覚及び認知能力を用いて良好に作業することができ、このことは、現在のところ、完全に自動化されたロボットシステムの能力をはるかに上回っている。しかしながら、このような複雑な環境が、人間がアクセスできない又は人間には適していない地点に及ぶことがしばしばがある。例えば、航空機の内部は、組み立て、保守、及び交換を必要としうる多くの様々なコンポーネントを備えた複雑な環境である。翼のサイズ、より具体的には厚みによって、これらのコンポーネントへのアクセスが制限される。なお、作業環境へのアクセス箇所の位置、サイズ、及び、その他の特徴によっても、アクセスが制限される。現在の翼の設計は、人間のオペレータ用に設計された様々なアクセス箇所を有している。しかしながら、これらのアクセス箇所は、重量、性能、及び他の考慮事項の観点からは望ましいものではなく、概して、可能であればより小さく且つ少なくすべきである。
ハイブリッド人間‐ロボットシステムは、ロボット協働システムとも称される場合があり、それによる効果的な作業は、オペレータが正確なユーザー入力を行えるよう、高忠実度のテレプレゼンスをオペレータに提供することによって、実現される。忠実度のレベルは、作業環境内に存在するロボットプラットフォームによって取得される感覚データによって決まり、特に、データの感覚モードごとに異なる。多くの場合、個別の各種類の感覚データ(例えば視覚)は、単独では、人間のオペレータが作業環境を十分に認識するのに不十分である。多くの場合、人間は、複数の感覚を用いて周囲環境を認識している。
閉所空間に配置されたロボットプラットフォームを制御するための装置、方法、及びシステムが提供される。制御の少なくとも一部は、閉所空間の外部に配置された遠隔制御ステーションによって提供される。また、ある程度のレベルの制御が、ロボットプラットフォーム自体によって提供され、この制御を、全体制御のうちの自動部分と称することがある。制御、すなわち内部制御及び/又は外部制御は、ロボットプラットフォームによって取得されたマルチモーダル感覚データに基づく。このロボット協働手法は、人間のオペレータを閉所空間から排除し、遠隔操作による安全且つ人間工学に基づいた作業環境を提供することができる。この手法によれば、人間がアクセスできないような環境において、作業を行うことができる。また、この手法によれば、人間が直接行えないような、あるいは、完全に自動化されたロボットシステムだけでは行えないような、新たな種類の作業が行える可能性が生じる。さらに、この手法によれば、もはや人間が入る必要が無いため、作業環境を新たな構造のものにできる可能性が生じる。例えば、奥行き(Z寸法)に対する弦(Y寸法)の割合が大きいエーロフォイル、人間が入れる大きさのアクセス箇所を必要としないことにより軽量化された構造、及び、他の同様の構造を、航空機に採用することができる。本開示において、マルチモーダル感覚データとは、閉所空間に配置されたロボットプラットフォームの1つ又は複数のセンサーによって生成されるデータであって、少なくとも2種類の人間の感覚に(直接の形あるいは補正された形で)対応するデータとして定義される。
オペレータによる制御を補助したり、送信するマルチモーダル感覚データの選択や、さらには、マルチモーダル感覚データの変更(例えば、スケール調整、感知スペクトルの変更など)を行ったりする任意の自律のエージェントによって、ある程度のレベルの自動制御を実現してもよい。これらのエージェントは、ロボットプラットフォーム、遠隔制御ステーション、又はこれらの両方に実装することができる。具体的には、ロボットプラットフォームは、ユーザー入力に基づいて生成された制御命令無しで、ある種の動作を行うようにしてもよい。これらの動作の制御命令は、マルチモーダル感覚データに基づいて、1つ又は複数の自律エージェントによって生成することができる。これらの動作の例には、ターゲットの位置及び周囲の様々なコンポーネントの近接度合いに基づいて、閉所空間内でロボットプラットフォームを操縦することが含まれる。他の例としては、例えばユーザー入力に基づいて行われる動作よりも複雑性の低い、様々な動作がある。
いくつかの実施形態において、方法及びシステムは、没入型の複数感覚の高忠実度プレゼンス、より具体的にはテレプレゼンスによって、オペレータの状況認識を作り出す。この種の状況認識によって、オペレータは、実際にはマルチモーダル感覚データが取得された閉所空間内に居ないにもかかわらず、より正確且つより効果的に、ユーザー入力を生成することができる。また、効率が向上することに加えて、そのような高忠実度により、より複雑な動作の制御が可能となる。人間の感覚機能に制限が加えられる他の場合と同様に、感覚的プレゼンスに制限があると、タスクを行う際のオペレータの能力が大幅に制限される。
ロボット協働システムは、没入型のマルチモーダル感覚フィードバック(例えば、環境の視覚認識と聴覚認識の組み合わせ、場合によっては、力を感知する手段をこれに組み合わせたもの)を形成するように設計される。このようなフィードバックがあれば、遠隔制御ステーションを介して作業しているオペレータは、環境内に実際に居るような、より現実に忠実な感覚を持つことができ、安全性を確保しつつ、その場にいる作業員のような、直観を用いた慎重な作業を行うことができる。また、オペレータの直観及び作業は、遠隔地に居る場合でも、現在のロボットプラットフォームのいくつかの自律の機能に勝ることができ、従って、ユーザー入力(及び作業環境の把握)に基づいて生成される制御命令は、非常に貴重なものとなる。いくつかの実施形態において、マルチモーダル感覚データのうちの視覚成分は、高精細(例えば、片目あたり60Hzで1ピクセルあたり輝度データ及び色データが24ビットである1920×1280ピクセル)の幾何学的に正確な両眼立体遠隔視覚センサーによって実現される。聴覚成分は、視覚的テレプレゼンスにリンクされたマイクロホンによるフルレンジの(例えば片耳あたり20kHzの帯域)ステレオオーディオであり、再生されることにより、オペレータに自然な聴覚状況認識を与える。
他のセンサーの形態には、スケール調整可能な力反映型マニピュレータ、遠隔プラットフォーム又はそのエンドエフェクタ上の1つ又は複数の慣性計測センサーによって駆動される振幅スケール調整可能な姿勢プラットフォーム、及び、圧力及び温度再生ならびに振動再生用のフィンガーチップ・アレイを備えた遠隔触覚検知器が含まれる。スケール調整(視覚的サイズならびにスペクトル、力、聴覚)のような、他の形式の感覚補正を用いてもよい。感覚データの種類は、環境及び行われる作業に依存しうる。例えば、ブルドーザーのオペレータには、フルレンジステレオオーディオが組み合わされた広角度の高精細単眼ビデオ、及び、振動再現を備えた姿勢再生プラットフォームが提供されうる。レーシングカーのドライバーの場合は、より良い状況認識が得られるように、オペレータの顔に空気を吹き付けることによる風速及び方向の再現を加えてもよい。環境温度(例えば、空気温度)も、要素として採用してもよい。外科医には、スケール調整された高精細立体視覚、及び、スケール調整された力反映型マニピュレータを提供してもよい。また、爆発物処理オペレータの場合は、より細かい操作のために触覚センシングを加えてもよい。
いくつかの実施形態において、当該方法及びシステムによれば、閉所環境が、例えば遠隔制御ステーションのユーザーインターフェイス上に示された際に、当該閉所環境の表示をスケール調整することができる。例えば、オペレータの手操作によって制御されて作業を行う工具が、オペレータの手より実質的に小さい場合がある。スケール調整を行うことによって、当該工具を、手の大きさに相当するスケールで表すことができる。なお、感覚データの種類ごとに異なるスケール調整を採用することができ、同じ種類の感覚データでも、サブセットのデータごとに異なるスケール調整を採用することができる。例えば、視覚的表示は、スケールアップする一方、力のフィードバックは(オペレータの手を傷めないように)スケールダウンすることができる。換言すれば、スケール調整を行うことによって、オペレータの認識及び知覚能力を、その時の特定の空間及び/又はタスクに、より効果的に合わせることができる。
例えば、1対1のスケールのシステムとすると、マニピュレータは、人間の腕と同じ長さを有し且つ同じ距離だけ移動することになるが、これは、より小さい又はより大きいマニピュレータを必要とする環境には適さない。ここで、視覚的スケール調整について述べると、立体カメラは、アクチュエータの上方における、手に対する人間の目と同じ相対距離及び位置に配置することができる。立体カメラは、我々の目と同じ瞳孔間隔を有するものとすることができる。遠隔の環境の2対1の効果的なスケール調整のためには、マニピュレータを、我々の腕の二分の一のサイズとし、立体カメラからの距離及び高さは、以前の距離及び高さの二分の一とし、瞳孔間距離は、我々(人間)の瞳孔間距離の二分の一としなければならない。
いくつかの実施形態において、方法及びシステムは、オペレータの知覚能力に基づいて、マルチモーダル感覚データを補正する。補正は、様々な種類の感覚データ(例えば、画像、音声、力、温度など)に対して行うことができ、1つの種類を別の種類に変換する(例えば、温度マップの視覚的(色付きの)表示を作成する)こともできる。このように補正できることによって、オペレータが実際の作業環境に居たら無視されるかもしれない感覚データを利用することが可能となる。例えば、オペレータは、(例えば温度を示す)赤外線を見たり、一般的な20Hzから20kHz以外の音(例えば、この範囲外の音は、特定の種類の摩擦力を示しうる)を聞いたりすることができない。このような範囲について収集したデータを、人間のオペレータが認識可能な範囲に変換することができる。また、ある種類の感覚を、別の種類の感覚の形態で表すこともできる。例えば、表面の温度特性を、遠隔制御ステーションのユーザーインターフェイスの様々な色で示すこともできる。
いくつかの実施形態において、当該方法及びシステムは、ハプティック遠隔操作による正確な物理的相互作用を提供する。具体的には、マルチモーダル感覚データのうちの少なくとも1つの成分を、例えば、触覚及び固有受容感覚に基づくものとすることができる。様々な種類のセンサー(例えば、力センサー、温度センサーなど)をロボットプラットフォームに用いることにより、ハプティック感覚データを生成することができる。また、ユーザーインターフェイスは、このようなデータの表示を形成するための様々なハプティック出力装置を含むことができる。
概して、体系化されていない環境での複雑なタスクは、良好に体系化された状況での繰り返しのタスクに比べて、特徴をとらえて表示することが難しい。なお、良好に体系化された状況については、ロボットの進歩が現在普及しており、完全なロボットによる自動化が既に可能である。体系化されていない環境における作業は、環境を把握して少なくともいくつかの制御命令を与える人間の能力に、今なお頼っている。ただし、オペレータは、そのような体系化されていない環境の十分な表示を必要とし、このような必要性には、マルチモーダル感覚データを用いることによって対処することができる。ロボットプラットフォームと遠隔制御ステーションとを含むシステムは、ロボットプラットフォームのための少なくともいくつかの制御命令を生成するものであり、ロボット協働システム、あるいはハイブリッドロボット‐人間システムと称されることがある。この種のシステムは、システムの其々のコンポーネントの能力を活用する。具体的には、この種のシステムは、ロボットプラットフォームの能力、すなわち、人間には適さない様々な環境にアクセスし、当該環境において特別なタスクを実行し、実施形態よっては人間の知覚能力を超えるマルチモーダル感覚データを取得する能力を利用する。また、当該システムは、上述したように、知覚及び認識の補正を行うことができる。
マルチモーダル感覚データを生成するために、ロボットプラットフォームに様々なセンサーが配置される。各センサーは、遠隔の感覚チャネルの一端に相当する。いくつかの実施形態において、チャネルは、監視エージェントを含み、監視エージェントは、例えば、センサーによって生成されたデータを変更及び/又は補正すること、及び/又は、オペレータからの制御命令を監視すること、を行う。例えば、監視エージェントは、動きのスケール調整、加速の制限、及び/又は、制御命令に対するソフトリミットの適用を行う。このスケール調整は、衝突を防止するため、及び、その他の理由で採用されうる。いくつかの実施形態において、マルチモーダル感覚データのうちの異なる種類の感覚データが、同じ監視エージェントによって同時に分析される。また、これらのデータを、遠隔制御ステーションにおいて同時に示すこともできる。このデータ分析のいくつかの例には、作業空間の3Dマップを作成すること(当該マップは、例えばオペレータがユーザーインターフェイス上で見ることができる)、(留め具の欠落や表面の汚損などの)異常を特定すること、及び、ユーザーインターフェイス上で異なる種類の感覚データの結合/重ね合わせを行うことが含まれるが、これらに限定されない。
本明細書に記載のロボット協働システムは、両眼立体視覚、両耳ステレオ聴覚、及び/又は、力反映ハプティック操作のための、マルチモーダル遠隔認識センサーを含みうる。これらのシステムのロボットプラットフォームは、閉鎖された空間/危険な空間に配置された状態で、遠隔で制御することができる。ロボットプラットフォームは、特定の作業環境(例えば、スペース要件、アクセスなど)及びこれらのプラットフォームによって行われる作業に合わせて適合化することができる。例えば、比較的小さく複雑に入り組んだ通路を通ってアクセスするには、スネーク状のロボットプラットフォームが必要であるかもしれないし、軌道上のアクセスには、自由飛行のロボットプラットフォームが必要であるかもしれない。
閉所空間内での作業に関する問題点のより良い理解のため、閉所空間の一例を、図1を参照して以下に説明する。具体的には、図1は、いくつかの実施形態による、航空機100の概略図である。航空機100は、内装170を有する機体150を含む。航空機100は、機体150に連結された翼120を含む。航空機100は、翼120に連結されたエンジン130も含む。いくつかの実施形態において、航空機100は、複数の動作システム140及び160(例えばアビオニクス機器)をさらに含み、これらについては、図8に関連させて後述する。これらの航空機コンポーネントのいずれもが、人間が容易にアクセスできず、且つ、完全に自律したロボット操作を行うには複雑すぎる作業環境を有しうる。例えば、翼120は、様々なリブ及び他の構造部品を含んでおり、これらが、翼120の内部へのアクセスを制限している。
概して、ロボットプラットフォームは、人員を送るべきでない、あるいは送ることができない閉所空間及び/又は危険度の高いエリアに配置されることがある。ロボットプラットフォームは、このような環境及び/又はこのような環境で行われる作業に伴う様々なリスクに曝される。リスクには、例えば、落下する、衝突する、絡まる、嵌り込む、などの、予期あるいは意図していなかった動作が含まれる。これらの動作は、しばしば、(人間のオペレータあるいは様々な自律エージェントによる)環境の知覚認識の欠如によって起こる。
<ロボット協働システム及びそのコンポーネントの例>
<ロボット協働システム及びそのコンポーネントの例>
図2は、いくつかの実施例による、ロボットプラットフォーム230及び遠隔制御ステーション250を含むロボット協働システム200の一例である。ロボット協働システム200の動作中は、ロボットプラットフォーム230は、構造体212の閉所空間210内に配置される。図2は、構造体212の一例として航空機の翼を示しているが、当業者であればわかるように、構造体212及び閉所空間210の他のあらゆる例が、本開示の範囲に含まれる。構造体212及び構造体212の閉所空間210の他の例には、航空機の胴体、ラダー、水平安定板、フラップ、スラット、エルロン、キール、クラウン部、又は他のアクセス制限されたエリアがあるが、これらに限定されない。ロボット協働システム200の動作中、遠隔制御ステーション250は、閉所空間210の外部に配置されており、これにより、オペレータが遠隔制御ステーション250と相互作用できるようになっている。図2では、構造体212の一端に設けられたアクセス箇所を示しているが、当業者であればわかるように、アクセス箇所の他の例も本範囲に含まれる。例えば、アクセス箇所は、翼の先端部、より具体的には、翼先端部の根元部内に設けてもよい。別の例において、アクセス箇所は、胴体のクラウン部又はキールに設けてもよい。
ロボットプラットフォーム230と遠隔制御ステーション250とは、例えば通信リンク270を用いて通信接続されている。通信リンク270は、有線リンク、無線リンク、又はこれら2つの様々な組み合わせであってよい。通信リンク270は、様々な通信プロトコル及び/又はネットワークを用いて確立することができる。いくつかの実施形態において、通信リンク270は、ローカルエリアネットワーク(LAN)、グローバル通信ネットワーク(例えばインターネット)などを用いることができる。ネットワーク及びプロトコルの選択は、ロボットプラットフォーム230と遠隔制御ステーション250との近接度合い及び他の要素に依存する。図2には示していないが、ロボット協働システム200は、ロボットプラットフォーム230まで延びる動力線(例えば、油圧、電気、空気圧など)を含みうる。動力は、閉所空間210の外部からロボットプラットフォーム230に供給することができる。いくつかの実施形態において、動力源を、ロボットプラットフォーム230の内部に設けてもよい。
マルチモーダル感覚データは、ロボットプラットフォーム230から遠隔制御ステーション250へ、通信リンク270を用いて送信され、これにより遠隔制御ステーション250のオペレータの高忠実度没入型テレプレゼンスを作り出すことができる。この種のテレプレゼンスにより、多くの作業に必要とされる状況認識がもたらされる。一方で、そのようなテレプレゼンスを確立するには、ロボットプラットフォーム230によって取得された感覚及び感覚運動データを、高忠実度で捕捉及び再生することが必要である。ロボットプラットフォーム230によって取得される様々な種類のデータを、まとめてマルチモーダル感覚データ272と称する。マルチモーダル感覚データ272の様々な成分を概略的に表したものを、図5に示している。例えば、オペレータに対するテレプレゼンスの提示は、幾何学的に正確な両眼立体視覚システム及び高忠実度ステレオオーディオ再生を含みうる。この例において、マルチモーダル感覚データ272は、両眼立体視覚データ273a及び両耳ステレオオーディオデータ273bを含みうる。同じ例又は他の例において、力反映操作センサーを用いて、力反映ハプティック操作データ273cを生成してもよい。
いくつかの実施形態において、ロボット協働システム200は、1つ又は複数の追加の遠隔制御ステーション250'を含みうる。追加の遠隔制御ステーション250’は、第1の遠隔制御ステーション250に通信接続してもよいし、ロボットプラットフォーム230に直接通信接続してもよい。複数の遠隔制御ステーション250及び250'を用いて、異なるオペレータがそれぞれユーザー入力を行うことができる。異なる遠隔制御ステーション250及び250'を、同じ総括的な場所(例えば作業現場)に配置してもよいし、異なる場所に配置してもよい。例えば、遠隔制御ステーション250を、ロボットプラットフォーム230の略近傍に配置されたローカルのステーションとし、追加の遠隔制御ステーション250’を別の場所に配置した遠位のステーションとしてもよい。異なる遠隔制御ステーション250、250'の制御は、異なる当事者によって行ってもよい。例えば、ローカルの遠隔制御ステーション250を、航空機のオペレータ(例えば航空会社)、空港スタッフ、及び/又は、修理サービス局によって制御し、遠位の遠隔制御ステーション250’を、(例えば構造体212に対するさらなる知識を有する)航空機メーカー又は航空会社本部によって制御してもよい。
追加の遠隔制御ステーション250’のオペレータが、例えば、遠隔制御ステーション250のオペレータよりも、より具体的な専門知識を有し、複数の異なるロボット協働システム200をサポートできるようにしてもよい。これは、付加的な知識が必要とされる不測の状況が検知された場合に、特に有用である。多種多様な遠隔地の分野エキスパートに対するこのような共同のアクセスを実現することによって、相談のための専門家をその場に配置する時間や費用をかけずに、予想外の状況に迅速に対処することができる。例えば、航空会社は、ロボット協働システム200を操作する訓練を受けた専門家が一人しかいない一方で、複数のロボット協働システム200又は少なくとも複数のロボットプラットフォーム230を有する場合がある。これらの複数のロボットプラットフォーム230は、様々な施設に配置されうる。当該専門家は、必要があれば、各ロボットプラットフォーム230を、当該ロボットプラットフォーム230と同じ場所に居なくても制御することができる。
次に、ロボット協働システム200の各コンポーネントを、詳しく説明する。図3は、いくつかの実施形態による、ロボットプラットフォーム230の概略図である。ロボットプラットフォーム230は、マルチモーダル感覚データを取得するための様々なセンサー510を含む。センサー510の例には、両眼立体視センサー512、両耳ステレオオーディオセンサー514、力反映ハプティック操作センサー516、触覚センサー518、及び、温度センサー517が含まれるが、これらに限定されない。マルチモーダル感覚データは、これらのセンサーのうちの2つ以上の出力が組み合わされたものである。
ロボットプラットフォーム230におけるセンサー510の選択は、マルチモーダル感覚データの個々の態様に依存しうる。ロボットプラットフォーム230のセンサー510によって取得されるマルチモーダル感覚データに基づいて、遠隔制御ステーション250で生成される感覚体験は、表1に例示的に示すように、個々の作業ごとに選択することができる。
両眼立体視は、留め具上に締結用工具を位置させたり、落下した留め具を掴むなどの任意の操作タスク、ならびに、シーラントビードの連続形状を確認したり、もしくは、修理が必要な傷と修理が必要でないマークとを区別するなどの検査タスク、に最も有用である。両耳ステレオオーディオは、状況認識に有用である。例えば、両耳ステレオオーディオは、ロボットプラットフォームが生成し、閉所空間の内面から反射された音に基づいて、作業環境の認識を与えることができる。目つぶれや破損などの問題の検知には、ドリルなどの工具の音を聞くことも役立つ。例えば、ロボット協働システムは、作業における欠陥を検出するために、マルチモーダル感覚データのうちの音響部分を自動的に監視するソフトウェアを有していてもよい。(例えば、最適でない穿孔は、独特の音を特徴とする。)力反映ハプティック固有受容感覚は、孔に留め具を配置すること、又は、ワイピング中にクリーニングパッドの押付力と引摺力の両方をかける上で有用である。いくつかの実施形態において、ロボット協働システムは、作業をより入念にフォローするために(例えば、穿孔中に、最適でない穿孔状況を検知するために)オペレータへのフィードバック、及び/又は、力の付与を監視する1つ又は複数の自動エージェントへのフィードバックを生成する。触覚感知は、工具又は部品の精密な操作に役立ちうる。最後に、前庭の空間配向(vestibular spatial orientation)は、勘と経験による角度及び加速度の認識を与えることによって、遠隔地のビークル又はエンドエフェクタの向きの認識させるのに役立つ。また、これは、動きによる振動又はワークピースの削れを検知するのにも役立つ。
視覚データタイプ273a、又はより具体的には、両眼立体視データは、全マルチモーダル感覚データ272の一部でありうる。視覚データは、任意の立体視センサー512、又はより具体的には、幾何学的に正確な両眼立体カメラ及び視覚システムを用いて取得することができる。
視覚センサー512は、同一平面にある2つのカメラセンサー513を用いることによって、幾何学的に正確な画像捕捉を実現する。カメラセンサー513は、各センサーの中心をレンズ光軸からずらすことにより視野をずらし、視野の視覚エリアを一致させるように修正することができる。カメラセンサー513のこの独特の構成によって、従来のステレオカメラでは得られない、幾何学的に正確な画像を生成することができる。
幾何学的に正確なテレプレゼンス視覚システムでは、カメラセンサー513を考慮するだけでは不十分である。オペレータが、肉眼で現場を見つめているかのようなリアリティーを再現するために、遠隔制御ステーション250のユーザーインターフェイス610は、図4に示すように、対応する幾何学的形態に忠実な、ディスプレイ613aのような独特の出力装置612を含みうる。例えば、視覚データがディスプレイ613aに表示された際に、このディスプレイ613aを窓と考え、この窓を通してオペレータが現場を見ていると考えるのが自然である。両眼立体視センサー512のための窓を通して人間の目で直接見る視界と、ディスプレイ613aのスクリーンを通したバーチャルなイメージの視界とを幾何学的形態において厳密に一致させることによって、対象のシーンを正確に再現することができる。
具体的には、オペレータの目の瞳孔間距離は、固定の測定値でありうる。窓の幅は、其々の目の視角を制限するとともに、オペレータが、2つの瞳孔を通るように引いた線が窓に平行となり、単眼点(2つの瞳孔の間の点)が窓の面に鉛直且つ窓の開口部の中心に位置するように自身の目をセットした際の、一致エリアを規定する。効果的な窓開口の選択は、ディスプレイスクリーンの物理的な幅による制限を受ける。ディスプレイスクリーンから見る人の目までの距離を組み込むことによって、システムの幾何学的制約がすべて揃う。
擬人化した聴覚(anthropomorphic audition)について説明すると、多くの微妙な奥行き及び操作上のキュー(subtle depth and manipulation cues)は、無意識のうちに、人間のステレオ聴覚によって処理されている。また、この知覚様式をロボット協働システムに加えることは、比較的容易である一方で、これによって得られる、テレプレゼンス的に知覚される環境の状況認識は、相当なものである。通常の人間のスケールの両耳聴覚データを、ステレオオーディオセンサー514によって、又はより具体的には、擬人化的に正確なステレオマイクロフォン515によって、与えることができる。ステレオオーディオセンサー514は、例えば図3に示すように、ロボットプラットフォーム230の一部である。スケール調整されたステレオ聴覚をもたらすためには(例えば、上述したスケール調整された立体視を補足するためには)、ステレオオーディオセンサー514を、高忠実度のミニチュアマイクとしてもよい。例えば壁間の(intermural)距離が変更されると、同じ両耳位置特定キュー(binaural localization cues)(例えば、強度、音色、スペクトル的性質、閉所空間内の反射)の多くは同じまま維持されるが、特定の周波数帯域におけるタイミングキュー及び位相キューは低減又は変更しうる。
次に、力反映ハプティック遠隔操作について説明すると、人間は、物体を触ったり、物体に軽くぶつかったりすることを利用して、視覚なしで進む(例えば暗い部屋の中を歩く)能力が非常に高い。図5に示すように、力反映ハプティック操作データ273cは、マルチモーダル感覚データ272のうちの低帯域の種類でありうる。遠隔環境と相互作用するためには、感覚運動性の制御をもたらすために、力フィードバックアクチュエータ及び姿勢固有受容感覚を加える。例えば、ロボット協働システム200は、力反映外骨格(force-reflecting exo-skeleton)制御(これは、ユーザーインターフェイス610の一部であるとともに出力装置612及び入力装置614の両方を含むものであってもよい)を備えたロボットハンド及びアーム(これは、センサー510及び作業ツール520の一方又は両方の一部であってもよい)を用いることができる。この手法によれば、オペレータは、多種多様な操作を自然に行うことができる。いくつかの実施形態において、遠隔制御ステーション250は、4軸の力フィードバックアーム、2フィンガーの力フィードバックハンド、及び、フィンガーならびにアーム用の力反映外骨格を含む。ハンドにおいてグロスの力を再現することにより、四肢及び体の他の部分の位置の自己知覚である固有受容感覚、又は、運動感覚が与えられる。これにより、没入型視覚遠隔認識に対する重要な追加の情報が与えられ、マルチモーダル感覚データ272の全体的な強化がもたらされる。
次に、前庭の空間配向について説明すると、ロボットプラットフォーム230又はロボットプラットフォーム230の作業ツール(例えばエンドエフェクタ)の姿勢(向き)は、マルチモーダル感覚データ272の一部として遠隔制御ステーション250に送られる。この姿勢を、プラットフォーム又はオペレータの椅子の姿勢を調節することによって再現することにより、前庭の空間配向フィードバックが実現される。このフィードバックは、他の知覚データに比べて、比較的低い頻度で行えばよい。また、このフィードバックは、安全性及びその他の理由で、(例えば、このフィードバックを与えている間に、(実際にオペレータを落下させる)転倒点を超えてオペレータが傾くことを防止するため)、スケール調整及び/又は制限してもよい。慣性計測ユニットを、遠位のロボットシステムに組み込んで、遠隔監督者のサポートプラットフォームを駆動する3つのアクチュエータに中継することになるであろう。
ロボットプラットフォーム230は、閉所空間210の外部に位置する遠隔制御ステーション250に通信接続するための通信モジュール540をさらに含む。通信モジュール540の例には、モデム(有線又は無線)などが含まれる。いくつかの実施形態において、通信モジュール540は、無線通信モジュールである。
いくつかの実施形態において、ロボットプラットフォーム230は、閉所空間210内で1つ又は複数の作業を行うための作業ツール520をさらに含む。作業ツール52の例には、ドリル、リベットガン、シーラントアプリケーター、及び、検査装置が含まれるが、これらに限定されない。
いくつかの実施形態において、ロボットプラットフォーム230は、閉所空間210内でロボットプラットフォーム230の位置を変更するための駆動機構530をさらに含む。駆動機構530の一例は、モータに連結された一組のベルトである。ただし、他の例も、本範囲内に含まれる。図2では、ロボットプラットフォーム230を、ベルトを有するビークルとして示しているが、マルチモーダル感覚データを生成可能なあらゆる種類のロボットプラットフォーム230が、本範囲内に含まれる。
いくつかの実施形態において、任意ではあるが、ロボットプラットフォーム230及び/又は遠隔制御ステーション250は、人間のオペレータがロボット協働システム200の様々な制御操作を行うのを補助するために、1つ又は複数の補助エージェント(図3のブロック550及び図4のブロック650)を含みうる。具体的には、補助エージェントは、ロボットプラットフォーム230によって取得されたマルチモーダル感覚データを用いて、何らかのレベルの制御をロボットプラットフォーム230に提供すること、マルチモーダル感覚データの表示をオペレータに向けて生成する前に当該データを修正すること、及び/又は、ユーザー入力に基づいて生成された制御命令を修正すること、を行いうる。これにより、何らかのレベルの自動化がもたらされる。例えば、補助エージェントは、ロボットプラットフォーム230の動作の監視、分析、表示、自動化、及び制限を、自律的に行う。いくつかの実施形態において、ロボット協働システム200の1つ又は複数のタスク領域が、分析及び規定され、補助エージェントを用いて、それらのモジュールごとの開発、検査、及び、組み込み、が可能となる。例えば、補助エージェントは、ナビゲーション機能、タスク固有のプラニング、及び、監視を行う。ロボット協働システム200は、その1つ又は複数の自律エージェントと、ユーザー入力との間の、事前(fall forward)/事後(fallback)協力をサポートする。
図4は、いくつかの実施形態による、遠隔制御ステーション250の概略図である。遠隔制御ステーション250は、マルチモーダル感覚データの1つ又は複数の表示を生成するため、及び/又は、ユーザー入力を捕捉するために、ユーザーインターフェイス610を含む。具体的には、ユーザーインターフェイス610は、例えば1つ又は複数の出力装置612を含み、その例には、ディスプレイ(例えば3Dディスプレイ)及びスピーカー(例えば一組のステレオスピーカー)が含まれるが、これらに限定されない。また、ユーザーインターフェイスは、1つ又は複数の入力装置614を含みうる。
遠隔制御ステーション250は、ロボットプラットフォーム230が閉所空間210内にある際に、ロボットプラットフォーム230に通信接続するための通信モジュール640をさらに含む。通信モジュール640は、プラットフォーム230の通信モジュールと同じ種類のものであってもよい。いくつかの実施形態において、遠隔制御ステーション250は、ロボットプラットフォームに対する制御命令を生成するためのプロセッサ630、及び、これらの命令及びマルチモーダル感覚データ272を格納するためのメモリ635をさらに含む。
上述したように、遠隔制御ステーション250は、1つ又は複数の任意の補助エージェント650も含みうる。ユーザーインターフェイス610の操作を、補助エージェント650の操作と統合することにより、マルチモーダル感覚データを、ユーザーインターフェイス610に提示する前に修正することができる。いくつかの実施形態において、ユーザーインターフェイス610によって捕捉したユーザー入力を、ロボットプラットフォーム230に対する制御命令を生成する前に、補助エージェント650によって修正してもよい。
いくつかの実施形態において、ハイレベルの自律的アクションの人間による監督が、インテリジェントな補助エージェントによってサポートされる。この手法では、安全な経路の計画及びナビゲーション、自動的なタスク固有の操作、又は、システムの「健全性」監視などの様々なタスクに、より大きな自律性が与えられている。
全体的に見て、遠隔制御ステーション250は、ロボット協働システム200全体の計画、制御、及び、共同作業のハブとすることができる。遠隔制御ステーション250は、ロボット協働システム200の移動、操作、遠隔感知、自律エージェントへのタスク付与、及びその他の動作に関わりうる。遠隔制御ステーション250は、遠隔地の専門家の協力(例えば、複数の専門家及び/又は補助エージェントを含む)を容易にするためのポータルを提供することができる。
遠隔制御ステーション250は、没入型複数感覚高忠実度プレゼンスによる状況認識を与えることにより、人間による直接の操作、又はより具体的には、遠隔操作をサポートする。さらに、遠隔制御ステーション250は、ハプティック遠隔操作による正確な物理的相互作用を実現する。人間によるこのように強化された操作を、自律エージェントによって、例えば安全性を監視したり作業者を助けたりすることによって、サポートすることができる。様々な態様のマルチモーダル感覚データをスケール調整する(例えば視覚データをスケール調整する)ことによって、実際の環境と、オペレータの認識及び感覚とを、より良好に一致させることができる。また、遠隔制御ステーション250は、視覚の範囲、聴覚スペクトルの範囲、空間配向の範囲、及び、固有受容感覚の範囲の拡張を実現する。
<ロボット協働システム及びそのコンポーネントの操作の例>
<ロボット協働システム及びそのコンポーネントの操作の例>
図6は、いくつかの実施形態による、閉所空間210内のプラットフォーム230を遠隔制御する方法300に対応するプロセスフローチャートである。制御は、マルチモーダル感覚データに基づいて行われる。具体的には、方法300は、ロボットプラットフォーム230によって行われる操作を表す。遠隔制御ステーション250で行われる操作については、図7を参照して後述する。当業者であればわかるように、例えば、1つの当事者がロボットプラットフォーム230の操作を制御し、別の当事者が遠隔制御ステーション250の操作を制御するなど、これらの操作が異なる当事者によって行われるとしても、どちらもロボット協働システム200の同じ操作スキームの一部である。
方法300は、工程310において、構造体212の閉所空間210内にロボットプラットフォーム230を配置することによって開始される。構造体212は、航空機の翼、あるいは、例えば人間が中で作業するのに適さない任意の他の構造体であってよい。この配置操作は、ロボットプラットフォーム230において生成された制御命令に基づいて(例えば自律又は半自律移動)、及び/又は、遠隔制御ステーション250で生成されてロボットプラットフォーム230に送信された制御命令に基づいて、閉所空間210内に、そして、当該空間内で、ロボットプラットフォーム230を前進させる(例えば駆動する)ことを伴いうる。具体的には、ロボットプラットフォーム230は、図3を参照して上述した駆動機構530を含んでいてもよく、この駆動機構530を用いて、閉所空間210内にロボットプラットフォーム230を配置することができる。これに代えて、ロボットプラットフォーム230は、駆動機構を備えない構成であってもよく、手動で閉所空間210内に配置してもよい。
なお、ロボットプラットフォーム230は、閉所空間210内に配置されている間、閉所空間210の外部に配置された遠隔制御ステーション250に通信接続される。いくつかの実施形態において、方法300は、図6に示す工程312のように、ロボットプラットフォーム230と遠隔制御ステーション250との通信接続を確立する操作を含みうる。
ロボットプラットフォーム230が閉所空間210内に配置されると、方法300は、工程314において、マルチモーダル感覚データ272を取得する。マルチモーダル感覚データ272は、ロボットプラットフォーム230の2つ以上のセンサー510を用いて取得することができる。マルチモーダル感覚データ272は、両眼立体視データ273a、両耳ステレオオーディオデータ273b、力反映ハプティック操作データ273c、及び、触覚データ273dなどの、知覚反応の少なくとも2つの異なる種類273を含みうる。マルチモーダル感覚データ272の様々な要素については、上述したとおりである。
いくつかの実施形態において、方法300は、任意の工程316において、マルチモーダル感覚データ272を補正することを含む。一般的に、マルチモーダル感覚データ272は、遠隔制御ステーション250に送信される前に(例えばロボットプラットフォーム230において)、あるいは、送信後に(例えば遠隔制御ステーション250において)、補正されうる。いずれの場合にも、マルチモーダル感覚データ272の補正は、自律したエージェントによって行うことができる。具体的には、エージェントは、マルチモーダル感覚データ272の監視、分析、表示、自動化、及び制限を、自律的に行うことができる。
例えば、視覚補正エージェントは、対象の視覚的特徴を自律的に検出する。当該エージェントは、例えば、ユーザーインターフェイスに提示される3Dビジュアルオーバーレイ(visual overlay)を用いて、これらの特徴をオペレータに示す。オーバーレイは、環境の実際の画像と重ねることができる。オペレータは、気が散るのを避けるために、視覚的補正をオフにすることができる。設定される特徴検出は、タスク固有の必要性に基づいて選択することができ、例えば、留め具などの部品の不足、塗装欠陥、落下した留め具又は工具などの存在すべきでない物品(遺物の破片)、余分な塗料などの自動検出がこれに含まれる。様々な種類の検査が、本範囲内に含まれる。
別の例の視覚補正エージェントは、センサーを用いて、閉所作業空間内での位置特定を行う。例えば、このエージェントによって、視覚成分及び/又は触覚成分などの、マルチモーダル感覚データのうちの1つ又は複数の成分に基づいて、作業空間の3次元マップを作成する。別個の視覚ディスプレイをオペレータに提示してもよい。このディスプレイで、マッピングされた空間、及び、空間内のロボットプラットフォーム230のその時点の位置を表示してもよい。この参照マップによって、非没入型のハイレベルな状況認識を提供することができる。この例の視覚補正エージェントは、視点調節などの制御機能も含んでいてもよい。
別の例としては、物理的補正エージェントがあり、これは、タスク及びオペレータの要件に基づいて、移動、力、及び、力反映の制限を選択的にスケール調整することができる。同じ又は別の物理的補正エージェントが、上述した位置特定データを利用してもよい。例えば、インテリジェント補助エージェントが、マッピングされた作業空間、及び、配置されたロボットプラットフォーム230の位置及び姿勢に基づいて、(例えば望ましくない衝突や損傷を防止するために)安全な作業ゾーン及び制限ゾーンを決定してもよい。これらのゾーンは、マルチモーダル感覚データ272が取得されるにつれて、リアルタイムで更新してもよい。
補正の一例として、スケール調整がある。一種類又は複数種類のマルチモーダル感覚データ272のスケール調整を行うことによって、オペレータがより自然に理解できるフォーマット、例えば、オペレータのスケールに従ったフォーマットで、データ272を提示することができる。この種のスケール調整は、人間オペレータのためのスケール調整といえる。いくつかの実施形態において、スケール調整は、上述した1つ又は複数のエージェントによって行うことができる。スケール調整は、視覚及び/又は他の成分の知覚能力の大幅な増幅である。マルチモーダル感覚データ272のうちの視覚データ273aの有効スケールを修正する場合、カメラ513の倍率は変更しない。これを変更すると、光軸に沿う奥行歪みが発生するからである。修正は、スケール調整された幾何学的視覚形態が得られるようにカメラレンズの瞳孔間距離を変更することによって行うことができる。
方法300は、工程320において、マルチモーダル感覚データを送信する。データは、閉所空間210内に配置されているロボットプラットフォーム230から、閉所空間210の外部に配置されている遠隔制御ステーション250に送信される。
方法300は、次に、工程330において、遠隔制御ステーション250から遠隔制御命令を受信する。遠隔制御命令は、遠隔制御ステーション250によって生成されて、通信リンク270を用いてロボットプラットフォーム230によって受信される。これらの遠隔制御命令の生成については、図7を参照して後述する。手短に述べると、これらの遠隔制御命令は、ユーザー入力254に基づいて、及び/又は、様々な補助エージェント650によって、生成され、遠隔制御ステーション250において提供される。遠隔制御命令は、ロボットプラットフォーム230によって生成されるローカルの制御命令とは区別されるべきである。
いくつかの実施形態において、方法300は、任意の工程334において、ロボットプラットフォーム230においてローカルの制御命令を生成することを含む。ローカルの制御命令は、マルチモーダル感覚データに基づいて生成することができる。
いくつかの実施形態において、方法300は、任意の工程350において、ロボットプラットフォームを用いて、閉所空間内で1つ又は複数の作業を行うことをさらに含む。作業350は、少なくとも、ロボットプラットフォーム230において遠隔制御ステーション250から受信した遠隔制御命令に基づいて、行われうる。いくつかの実施形態において、ローカルの制御命令も、工程350において用いられうる。作業350の例には、閉所空間210内でロボットプラットフォーム230の位置を変更すること(ブロック350a)、構造体212の部品214に穿孔すること(ブロック350b)、構造体216に留め具を取り付けること(ブロック350c)、構造体212をシールすること(ブロック350d)、構造体212に塗装すること(ブロック350e)、閉所空間210から物体を取り除くこと(ブロック350f)、及び、構造体212を検査すること(ブロック350g)が含まれるが、これらに限定されない。当業者であればわかるように、作業350の他の様々な例も、本範囲内に含まれる。
例えば、作業は、閉所空間内でロボットプラットフォームの位置を変更することである。この例では、マルチモーダル感覚データは、少なくとも、両眼立体視データ及びステレオオーディオデータを含みうる。
別の例において、作業は、構造体の部品に穿孔することを含む。マルチモーダル感覚データは、少なくとも、両眼立体視データ、ステレオオーディオデータ、及び、力反映ハプティック操作データを含みうる。
さらに別の例において、作業は、構造体に留め具を取り付けることを含む。マルチモーダル感覚データは、少なくとも、両眼立体視データ、ステレオオーディオデータ、力反映ハプティック操作データ、及び、触覚データを含みうる。
マルチモーダル感覚データの忠実度レベルは、1つ又は複数の作業に対応するものとすることができる。作業によっては、他の作業より、高い忠実度を必要とするかもしれない。また、マルチモーダル感覚データの忠実度レベルは、時間とともに変化してもよい。
図7は、いくつかの実施形態による、遠隔制御ステーション250側からみた、閉所空間210内のロボットプラットフォーム230を遠隔制御する方法400に対応するプロセスフローチャートである。制御は、マルチモーダル感覚データに基づいて行われる。方法400の動作は、遠隔制御ステーションによって行われる。ロボットプラットフォーム230で行われる操作については、図6を参照して上述したとおりである。
方法400は、工程420において、ロボットプラットフォーム230からマルチモーダル感覚データを受信することによって開始する。この受信動作の際、ロボットプラットフォーム230は、閉所空間210内に位置している。マルチモーダル感覚データは、閉所空間210の外部に位置する遠隔制御ステーション250によって受信される。また、遠隔制御ステーション250は、ロボットプラットフォーム230に通信接続されている。上述したように、マルチモーダル感覚データは、以下の知覚反応種類、すなわち、両眼立体視データ、両耳ステレオオーディオデータ、力反映ハプティック操作データ、及び、触覚データのうちの少なくとも2つを含みうる。
方法400は、工程430において、遠隔制御ステーションにおいて、マルチモーダル感覚データの表示を生成する。いくつかの実施形態において、この表示生成動作は、ビデオスペクトル、オーディオスペクトル、空間配向、及び、固有受容感覚のうちの少なくとも1つに基づいて、マルチモーダル感覚データを補正することを含む。表示は、複数感覚の高忠実度テレプレゼンスでありうる。
いくつかの実施形態において、表示は、遠隔制御ステーション250のユーザーインターフェイス610において生成される。ユーザーインターフェイス610、又はより具体的には、ユーザーインターフェイス610の出力装置612は、マルチモーダル感覚データに基づいて3Dイメージを生成する3Dディスプレイ613aを含みうる。同じ又は他の実施形態において、ユーザーインターフェイス610は、マルチモーダル感覚データのうちの両耳ステレオオーディオデータに基づいてステレオサウンドを生成するステレオスピーカー613bを含む。
方法400は、工程440において、遠隔制御ステーションにおいてユーザー入力を捕捉する。ユーザー入力に基づいて、遠隔制御命令が生成されうる。いくつかの実施形態において、遠隔制御命令のうちの少なくともいくつかを、ユーザー入力無しで、遠隔制御ステーション250によって生成してもよい。
方法400は、工程460において、ロボットプラットフォーム230に遠隔制御命令を送信する。この動作の際、ロボットプラットフォーム230は、閉所空間210内に位置している。遠隔制御命令は、閉所空間210内でロボットプラットフォーム230によって行われる1つ又は複数の作業を表しうる。これらの作業のいくつかの例は、上述したとおりである。
いくつかの実施形態において、データ受信動作420と表示生成動作430とは、連続して行われる。
<航空機及び航空機の製造ならびに操作方法の例>
<航空機及び航空機の製造ならびに操作方法の例>
本開示の例を、図8に示す航空機の製造及び保守方法2100、及び、図1に示す航空機100に関連させて説明する。生産開始前の工程として、例示的な方法1200は、航空機100の仕様決定及び設計(ブロック1204)と、材料調達(ブロック1206)とを含む。生産段階では、航空機100の部品及び小組立品の製造(ブロック1208)及び検査システムインテグレーション(ブロック1210)が行われる。記載の方法及びアセンブリは、上述したように、マルチモーダル感覚データに基づいてロボットプラットフォームを遠隔制御することを含み、航空機100の仕様決定及び設計(ブロック1204)、材料調達(ブロック1206)、部品及び小組立品の製造(ブロック1208)、及び/又は、検査システムインテグレーション(ブロック1210)のいずれにおいても用いることができる。
その後、航空機100は、認可及び納品(ブロック1212)の工程を経て、使用(ブロック1214)に入る。使用中は、航空機100は、定例の整備及び保守(ブロック1216)に組み込まれる。定例の整備は、航空機100の1つ又は複数の検査システムの改良、再構成、改修などを含みうる。記載の方法及びアセンブリは、上述したマルチモーダル感覚データに基づいてロボットプラットフォームを遠隔制御することを含みうる。この手法は、認可及び納品(ブロック1212)、使用(ブロック1214)、及び/又は、定例の整備及び保守(ブロック1216)のいずれにおいても採用することができる。
例示的な方法1200の各プロセスは、検査システムインテグレーター、第三者、及び/又は、オペレータによって実行又は実施することができる。説明のために言及すると、検査システムインテグレーターは、航空機メーカー及び主要システム下請業者をいくつ含んでいてもよいが、これに限定されない。第三者は、売主、下請業者、供給業者をいくつ含んでいてもよいが、これに限定されない。オペレータは、航空会社、リース会社、軍事団体、サービス組織などであってもよい。
図1に示すように、例示的な方法1200によって生産される航空機100は、内装170を有する機体150を含みうる。前述したように、航空機100は、機体150に連結された翼120をさらに含み、翼12にはエンジン130が連結されている。機体150は、電気検査システム140及び環境検査システム160などの、複数のハイレベル検査システムをさらに含む。また、他の検査システムをいくつ含んでいてもよい。また、航空宇宙産業に用いた場合を例として示しているが、本開示の原理は、例えば自動車産業等の他の産業に適用することもできる。従って、本明細書において開示した原理は、航空機100に加え、例えば、陸上車両、海上船舶、航空宇宙飛行体などの他の輸送体にも適用可能である。
本明細書において図示あるいは説明した装置及び方法は、製造及び保守方法(例示的な方法1200)における1つ又はそれ以上のどの段階において採用してもよい。例えば、部品及び小組立製造(ブロック1208)に対応する部品又は小組立品は、航空機100の使用中(ブロック1214)に製造される部品又は小組立品と同様の方法で製造することができる。また、装置、方法、又は、これらの組み合わせの1つ又は複数の例を、製造工程(ブロック1208)及び(ブロック1210)で用いることによって、例えば、航空機100の組み立て速度を大幅に速めたりコストを削減したりすることができる。同様に、装置、方法、又はそれらの組み合わせの実施例の1つ又は複数を、航空機100の使用中(ブロック1214)、及び/又は整備及び保守中(ブロック1216)に用いてもよいが、これに限定されない。
<結語>
<結語>
本明細書に開示の装置及び方法の様々な実施例は、様々な部品、特徴、及び機能を含む。なお、本開示の装置及び方法の様々な実施例は、本開示の装置及び方法の他の任意の実施例の部品、特徴、及び機能のいずれをも、任意の組み合わせで含むことができ、このような可能性はすべて、本開示の精神及び範囲内に含まれることを意図している。
本開示に関連する分野の当業者であれば、上記の説明及び関連図面に示された教示を受けて、本開示に記載された実施例に対する様々な改変を思いつくであろう。
従って、要約すると、本発明の第1の側面によれば、以下が提供される。
A1. マルチモーダル感覚データ(272)に基づいてロボットプラットフォーム(230)を遠隔制御する方法(300)であって、
ロボットプラットフォーム(230)を配置し(310)、
前記ロボットプラットフォーム(230)を遠隔制御ステーション(250)に通信接続し(230)、
前記ロボットプラットフォーム(230)の2つ以上のセンサー(510)を用いて前記マルチモーダル感覚データ(272)を取得し(314)、前記マルチモーダル感覚データ(272)は、少なくとも2種類の知覚反応を含み、
前記マルチモーダル感覚データ(272)の少なくとも一部を送信し(320)、
前記遠隔制御ステーション(250)からの遠隔制御命令をロボットプラットフォーム(230)で受信する(330)、方法(300)。
ロボットプラットフォーム(230)を配置し(310)、
前記ロボットプラットフォーム(230)を遠隔制御ステーション(250)に通信接続し(230)、
前記ロボットプラットフォーム(230)の2つ以上のセンサー(510)を用いて前記マルチモーダル感覚データ(272)を取得し(314)、前記マルチモーダル感覚データ(272)は、少なくとも2種類の知覚反応を含み、
前記マルチモーダル感覚データ(272)の少なくとも一部を送信し(320)、
前記遠隔制御ステーション(250)からの遠隔制御命令をロボットプラットフォーム(230)で受信する(330)、方法(300)。
A2. 前記ロボットプラットフォーム(230)は、構造体(212)の閉所空間(210)内に配置される、付記A1に記載の方法(300)も提供される。
A3. 前記マルチモーダル感覚データ(272)の前記少なくとも一部を送信すること(320)は、前記ロボットプラットフォーム(230)が前記閉所空間(210)内に位置している間に行われる、付記A2に記載の方法(300)も提供される。
A4. 前記少なくとも2種類の知覚反応は、両眼立体視覚データ(273a)、両耳ステレオオーディオデータ(273b)、力反映ハプティック操作データ(273c)、及び、触覚データ(273d)からなる群から選択される、付記A1に記載の方法(300)も提供される。
A5. 前記マルチモーダル感覚データ(272)に基づいて、前記ロボットプラットフォーム(230)においてローカルの制御命令を生成すること(334)をさらに含む、付記A1に記載の方法(300)も提供される。
A6. 前記ローカルの制御命令に基づいて、前記ロボットプラットフォーム(230)を用いて前記閉所空間(210)内で1つ又は複数の作業を行うこと(350)をさらに含む、付記A5に記載の方法(300)も提供される。
A7. 前記マルチモーダル感覚データ(272)は、少なくとも、前記両眼立体視覚データ(273a)、前記両耳ステレオオーディオデータ(273b)、及び、前記力反映ハプティック操作データ(273c)を含む、付記A6に記載の方法(300)も提供される。
A8. 前記1つ又は複数の作業(350)は、前記構造体(212)の前記部品(214)に穿孔すること(350b)を含む、付記A7に記載の方法(300)も提供される。
A9. 前記マルチモーダル感覚データ(272)は、少なくとも、前記両眼立体視覚データ(273a)、前記両耳ステレオオーディオデータ(273b)、前記力反映ハプティック操作データ(273c)、及び、触覚データ(273d)を含む、付記A6に記載の方法(300)も提供される。
A10. 前記1つ又は複数の作業(350)は、前記構造体(212)に留め具を取り付けること(350c)を含む、付記A9に記載の方法(300)も提供される。
A11. 前記マルチモーダル感覚データ(272)を取得すること(314)と、前記マルチモーダル感覚データ(272)を送信することとは、連続して繰り返される、付記A1に記載の方法(300)も提供される。
A12. 前記マルチモーダル感覚データ(272)の前記少なくとも一部を送信すること(320)の前に、前記マルチモーダル感覚データ(272)を補正すること(316)をさらに含む、付記A1に記載の方法(300)も提供される。
A13. 送信する前記マルチモーダル感覚データ(272)の前記少なくとも一部を選択すること(318)をさらに含む、付記A1に記載の方法(300)も提供される。
A14. 前記ロボットプラットフォーム(230)で受信した前記遠隔制御ステーション(250)からの前記遠隔制御命令に基づいて、前記ロボットプラットフォーム(230)を用いて前記閉所空間(210)内で1つ又は複数の作業を行うこと(350)をさらに含む、付記A1に記載の方法(300)も提供される。
A15. 前記1つ又は複数の作業は、
前記閉所空間(210)内で前記ロボットプラットフォーム(230)の位置を変更すること(350a)、
前記構造体(212)の部品(214)に穿孔すること(350b)、
前記構造体(212)に留め具を取り付けること(350c)、
前記構造体(212)をシールすること(350d)、
前記構造体(212)を塗装すること(350e)、
前記閉所空間(210)から物体を取り除くこと(350f)、及び、
前記構造体(212)を検査すること(350g)からなる群から選択される、付記A14に記載の方法(300)も提供される。
前記閉所空間(210)内で前記ロボットプラットフォーム(230)の位置を変更すること(350a)、
前記構造体(212)の部品(214)に穿孔すること(350b)、
前記構造体(212)に留め具を取り付けること(350c)、
前記構造体(212)をシールすること(350d)、
前記構造体(212)を塗装すること(350e)、
前記閉所空間(210)から物体を取り除くこと(350f)、及び、
前記構造体(212)を検査すること(350g)からなる群から選択される、付記A14に記載の方法(300)も提供される。
A16. 前記マルチモーダル感覚データ(272)の忠実度のレベルは、前記1つ又は複数の作業に対応する、付記A14に記載の方法(300)も提供される。
A17. 前記マルチモーダル感覚データ(272)の忠実度のレベルは、時間とともに変化する、付記A14に記載の方法(300)も提供される。
A18. 前記1つ又は複数の作業は、前記ロボットプラットフォーム(230)で生成されたローカルの制御命令にも基づいて行われ、前記1つ又は複数の作業を行うために、前記ローカルの制御命令は、前記遠隔制御命令と組み合わされる、付記A14に記載の方法(300)も提供される。
A19. 前記1つ又は複数の作業は、前記閉所空間(210)内で前記ロボットプラットフォーム(230)の前記位置を変化させること(350a)を含み、前記マルチモーダル感覚データ(272)は、少なくとも、前記両眼立体視覚データ(273a)及び前記ステレオオーディオデータ(273b)を含む、付記A1に記載の方法(300)も提供される。
A20. 前記遠隔制御ステーション(250)から受信した前記遠隔制御命令を補正すること(336)をさらに含む、付記A1に記載の方法(300)も提供される。
A21. 前記構造体(212)は、航空機の翼である、付記A1に記載の方法(300)も提供される。
A22. 前記ロボットプラットフォーム(230)は、ローカルエリアネットワークを用いて、前記遠隔制御ステーション(250)に通信接続される、付記A1に記載の方法(300)も提供される。
A23. 前記ロボットプラットフォーム(230)は、少なくとも1つの無線通信リンクを用いて、前記遠隔制御ステーション(250)に通信接続される、付記A1に記載の方法(300)も提供される。
A24. 前記ロボットプラットフォーム(230)は、グローバル通信ネットワークを用いて、前記遠隔制御ステーション(250)に通信接続される、付記A1に記載の方法(300)も提供される。
本発明のさらなる側面によれば、以下が提供される。
B1. マルチモーダル感覚データ(272)に基づいて、構造体(212)の閉所空間(210)内のロボットプラットフォーム(230)を遠隔制御する方法(400)であって、
前記閉所空間(210)内に配置された前記ロボットプラットフォーム(230)から前記マルチモーダル感覚データ(272)を受信し(420)、前記マルチモーダル感覚データ(272)は、前記閉所空間(210)の外部に配置されるとともに前記ロボットプラットフォーム(230)に通信接続された遠隔制御ステーション(250)によって受信され、前記マルチモーダル感覚データ(272)は、両眼立体視覚データ(273a)、両耳ステレオオーディオデータ(273b)、力反映ハプティック操作データ(273c)、及び、触覚データ(273d)からなる群から選択される少なくとも2種類の知覚反応を含み、
前記遠隔制御ステーション(250)によって前記マルチモーダル感覚データ(272)の表示を生成し(430)、
前記遠隔制御ステーション(250)においてユーザー入力を捕捉し(440)、
前記閉所空間(210)に配置された前記ロボットプラットフォーム(230)に遠隔制御命令を送信する(460)、方法(400)。
前記閉所空間(210)内に配置された前記ロボットプラットフォーム(230)から前記マルチモーダル感覚データ(272)を受信し(420)、前記マルチモーダル感覚データ(272)は、前記閉所空間(210)の外部に配置されるとともに前記ロボットプラットフォーム(230)に通信接続された遠隔制御ステーション(250)によって受信され、前記マルチモーダル感覚データ(272)は、両眼立体視覚データ(273a)、両耳ステレオオーディオデータ(273b)、力反映ハプティック操作データ(273c)、及び、触覚データ(273d)からなる群から選択される少なくとも2種類の知覚反応を含み、
前記遠隔制御ステーション(250)によって前記マルチモーダル感覚データ(272)の表示を生成し(430)、
前記遠隔制御ステーション(250)においてユーザー入力を捕捉し(440)、
前記閉所空間(210)に配置された前記ロボットプラットフォーム(230)に遠隔制御命令を送信する(460)、方法(400)。
B2. 前記マルチモーダル感覚データ(272)の前記表示を生成すること(430)は、ビデオスペクトル、オーディオスペクトル、空間配向、及び、固有受容感覚のうちの少なくとも1つに基づいて、前記マルチモーダル感覚データ(272)を補正することを含む、付記B1に記載の方法(400)も提供される。
B3. 前記表示は、複数感覚の高忠実度テレプレゼンスである、付記B1に記載の方法(400)も提供される。
B4. 前記遠隔制御ステーション(250)のユーザーインターフェイス(610)は、前記マルチモーダル感覚データ(272)のうちの両眼立体視覚データ(273a)を提示するための3Dディスプレイ(613a)を含む、付記B1に記載の方法(400)も提供される。
B5. 前記遠隔制御ステーション(250)のユーザーインターフェイス(610)は、前記マルチモーダル感覚データ(272)のうちの前記両耳ステレオオーディオデータ(273b)を提示するためのステレオスピーカー(613b)を含む、付記B1に記載の方法(400)も提供される。
B6. 前記遠隔制御命令は、前記閉所空間(210)内において前記ロボットプラットフォーム(230)によって行われる1つ又は複数の作業を表す、付記B1に記載の方法(400)も提供される。
B7. 前記1つ又は複数の作業は、
前記閉所空間(210)内で前記ロボットプラットフォーム(230)の位置を変更すること(350a)、
前記構造体(212)の部品(214)に穿孔すること(350b)、
前記構造体(212)に留め具を取り付けること(350c)、
前記構造体(212)をシールすること(350d)、
前記構造体(212)を塗装すること(350e)、
前記閉所空間(210)から物体を取り除くこと(350f)、及び、
前記構造体(212)を検査すること(350g)、からなる群から選択される、付記B6に記載の方法(400)も提供される。
前記閉所空間(210)内で前記ロボットプラットフォーム(230)の位置を変更すること(350a)、
前記構造体(212)の部品(214)に穿孔すること(350b)、
前記構造体(212)に留め具を取り付けること(350c)、
前記構造体(212)をシールすること(350d)、
前記構造体(212)を塗装すること(350e)、
前記閉所空間(210)から物体を取り除くこと(350f)、及び、
前記構造体(212)を検査すること(350g)、からなる群から選択される、付記B6に記載の方法(400)も提供される。
B8. 少なくとも、前記マルチモーダル感覚データ(272)を受信すること(420)と、前記表示を生成すること(430)とは、連続して行われる、付記B1に記載の方法(400)も提供される。
B9. 前記遠隔制御命令は、前記ユーザー入力に基づいて生成される、付記B1に記載の方法(400)も提供される。
B10. 前記ロボットプラットフォーム(230)は、ローカルエリアネットワークを用いて、前記遠隔制御ステーション(250)に通信接続される、付記B1に記載の方法(400)も提供される。
B11. 前記ロボットプラットフォーム(230)は、グローバル通信ネットワークを用いて、前記遠隔制御ステーション(250)に通信接続される、付記B1に記載の方法(400)も提供される。
本発明のさらなる側面によれば、以下が提供される。
C1. マルチモーダル感覚データ(272)を用いて構造体(212)の閉所空間(210)内で作業するためのロボットプラットフォーム(230)であって、
前記マルチモーダル感覚データ(272)を生成するためのセンサー(510)と、
前記閉所空間(210)の外部に配置された遠隔制御ステーション(250)に通信接続するための通信モジュール(540)と、を含む、ロボットプラットフォーム(230)。
前記マルチモーダル感覚データ(272)を生成するためのセンサー(510)と、
前記閉所空間(210)の外部に配置された遠隔制御ステーション(250)に通信接続するための通信モジュール(540)と、を含む、ロボットプラットフォーム(230)。
C2. 前記センサー(510)は、両眼立体視センサー(512)、両耳ステレオオーディオセンサー(514)、力反映ハプティック操作センサー(516)、及び、触覚センサー(518)からなる群から選択される少なくとも2つを含む、付記C1に記載のロボットプラットフォーム(230)。
本発明のさらなる側面によれば、以下が提供される。
D1. マルチモーダル感覚データ(272)を用いてロボットプラットフォーム(230)を制御するための遠隔制御ステーション(250)であって、
前記ロボットプラットフォーム(230)に通信接続するため、且つ、少なくとも2種類の知覚反応を含む前記マルチモーダル感覚データ(272)を前記ロボットプラットフォーム(230)から受信するための、通信モジュール(540)と、
前記ロボットプラットフォーム(230)から受信したマルチモーダル感覚データ(272)の表示を生成するための出力装置(612)を含むユーザーインターフェイス(610)と、を含む遠隔制御ステーション。
前記ロボットプラットフォーム(230)に通信接続するため、且つ、少なくとも2種類の知覚反応を含む前記マルチモーダル感覚データ(272)を前記ロボットプラットフォーム(230)から受信するための、通信モジュール(540)と、
前記ロボットプラットフォーム(230)から受信したマルチモーダル感覚データ(272)の表示を生成するための出力装置(612)を含むユーザーインターフェイス(610)と、を含む遠隔制御ステーション。
D2. 前記少なくとも2種類の知覚反応は、両眼立体視覚データ(273a)、両耳ステレオオーディオデータ(273b)、力反映ハプティック操作データ(273c)、及び、触覚データ(273d)からなる群から選択される、付記D1に記載の遠隔制御ステーション(250)。
本発明のさらなる側面によれば、以下が提供される。
E1. マルチモーダル感覚データ(272)に基づいて、構造体(212)の閉所空間(210)内のロボットプラットフォーム(230)を遠隔制御する方法(300)であって、
前記ロボットプラットフォーム(230)の2つ以上のセンサー(510)を用いて前記マルチモーダル感覚データ(272)を取得し(314)、前記マルチモーダル感覚データ(272)は、少なくとも2種類の知覚反応を含み、
前記マルチモーダル感覚データ(272)の少なくとも一部を遠隔制御ステーション(250)に送信し(320)、
前記遠隔制御ステーション(250)によって前記マルチモーダル感覚データ(272)の表示を生成する、方法(300)。
前記ロボットプラットフォーム(230)の2つ以上のセンサー(510)を用いて前記マルチモーダル感覚データ(272)を取得し(314)、前記マルチモーダル感覚データ(272)は、少なくとも2種類の知覚反応を含み、
前記マルチモーダル感覚データ(272)の少なくとも一部を遠隔制御ステーション(250)に送信し(320)、
前記遠隔制御ステーション(250)によって前記マルチモーダル感覚データ(272)の表示を生成する、方法(300)。
E2. 前記ロボットプラットフォーム(230)は、構造体(212)の閉所空間(210)内に配置される、付記E1に記載の方法(300)も提供される。
E3. 前記マルチモーダル感覚データ(272)の前記少なくとも一部を送信することは、前記ロボットプラットフォーム(230)が前記閉所空間(210)内に位置している間に行われる、付記E2に記載の方法(300)も提供される。
E4. 前記少なくとも2種類の知覚反応は、両眼立体視覚データ(273a)、両耳ステレオオーディオデータ(273b)、力反映ハプティック操作データ(273c)、及び、触覚データ(273d)からなる群から選択される、付記E1に記載の方法(300)も提供される。
E5. 前記マルチモーダル感覚データ(272)の前記少なくとも一部を送信する前に、前記マルチモーダル感覚データ(272)を補正することをさらに含む、付記E1に記載の方法(300)も提供される。
E6. 送信する前記マルチモーダル感覚データ(272)の前記少なくとも一部を選択することをさらに含む、付記E1に記載の方法(300)も提供される。
E7. 前記ロボットプラットフォーム(230)で受信した前記遠隔制御ステーション(250)からの遠隔制御命令に基づいて、前記ロボットプラットフォーム(230)を用いて前記閉所空間(210)内で1つ又は複数の作業を行うこと(350)をさらに含む、付記E1に記載の方法(300)も提供される。
E8. 前記1つ又は複数の作業は、
前記閉所空間(210)内で前記ロボットプラットフォーム(230)の位置を変更すること(350a)、
前記構造体(212)の部品(214)に穿孔すること(350b)、
前記構造体(212)に留め具を取り付けること(350c)、
前記構造体(212)をシールすること(350d)、
前記構造体(212)を塗装すること(350e)、
前記閉所空間(210)から物体を取り除くこと(350f)、及び、
前記構造体(212)を検査すること(350g)からなる群から選択される、付記E7に記載の方法(300)も提供される。
前記閉所空間(210)内で前記ロボットプラットフォーム(230)の位置を変更すること(350a)、
前記構造体(212)の部品(214)に穿孔すること(350b)、
前記構造体(212)に留め具を取り付けること(350c)、
前記構造体(212)をシールすること(350d)、
前記構造体(212)を塗装すること(350e)、
前記閉所空間(210)から物体を取り除くこと(350f)、及び、
前記構造体(212)を検査すること(350g)からなる群から選択される、付記E7に記載の方法(300)も提供される。
E9. 前記マルチモーダル感覚データ(272)の忠実度のレベルは、前記1つ又は複数の作業に対応する、付記E7に記載の方法(300)も提供される。
E10. 前記マルチモーダル感覚データ(272)の忠実度のレベルは、時間とともに変化する、付記E7に記載の方法(300)も提供される。
E11. 前記1つ又は複数の作業は、前記ロボットプラットフォーム(230)で生成されたローカルの制御命令にも基づいて行われ、前記1つ又は複数の作業を行うために、前記ローカルの制御命令は、前記遠隔制御命令と組み合わされる、付記E7に記載の方法(300)も提供される。
E12. 前記遠隔制御ステーション(250)においてユーザー入力を捕捉すること(440)、及び、
前記閉所空間(210)に配置された前記ロボットプラットフォーム(230)に遠隔制御命令を送信すること(460)をさらに含む、付記E1に記載の方法(300)も提供される。
前記閉所空間(210)に配置された前記ロボットプラットフォーム(230)に遠隔制御命令を送信すること(460)をさらに含む、付記E1に記載の方法(300)も提供される。
E13. 前記マルチモーダル感覚データ(272)の表示を生成すること(430)は、ビデオスペクトル、オーディオスペクトル、空間配向、及び、固有受容感覚のうちの少なくとも1つに基づいて、前記マルチモーダル感覚データ(272)を補正することを含む、付記E1に記載の方法(300)も提供される。
E14. 前記表示は、複数感覚の高忠実度テレプレゼンスである、付記E1に記載の方法(300)も提供される。
E15. 前記遠隔制御ステーション(250)のユーザーインターフェイス(610)は、前記マルチモーダル感覚データ(272)のうちの両眼立体視覚データ(273a)を提示するための3Dディスプレイ(613a)を含む、付記E1に記載の方法(300)も提供される。
E16. 前記遠隔制御ステーション(250)のユーザーインターフェイス(610)は、前記マルチモーダル感覚データ(272)のうちの前記両耳ステレオオーディオデータ(273b)を提示するためのステレオスピーカー(613b)を含む、付記E1に記載の方法(300)も提供される。
したがって、本開示は、例示した特定の実施例に限定されるものではなく、改変及び他の実施例も添付の特許請求の範囲に含まれることが意図されている。また、上述の記載及び関連図面は、要素及び/又は機能のある特定の例示的な組み合わせに関連させて本開示の実施例を説明しているが、代替の実施態様によって、添付の特許請求の範囲から逸脱することなく、要素及び/又は機能の別の組み合わせを提供することもできる。従って、添付の特許請求の範囲における括弧入りの参照数字は、例示のみを目的としたものであり、特許請求される要旨の範囲を本開示の特定の実施例に限定することを意図したものではない。
Claims (15)
- マルチモーダル感覚データに基づいてロボットプラットフォームを遠隔制御する方法であって、
ロボットプラットフォームを配置し、
前記ロボットプラットフォームを遠隔制御ステーションに通信接続し、
前記ロボットプラットフォームの2つ以上のセンサーを用いて前記マルチモーダル感覚データを取得し、前記マルチモーダル感覚データは、少なくとも2種類の知覚反応を含み、
前記マルチモーダル感覚データの少なくとも一部を送信し、
前記遠隔制御ステーションからの遠隔制御命令をロボットプラットフォームで受信する、方法。 - 前記ロボットプラットフォームは、構造体の閉所空間内に配置される、請求項1に記載の方法。
- 前記マルチモーダル感覚データの前記少なくとも一部を送信することは、前記ロボットプラットフォームが前記閉所空間内に位置している間に行われる、請求項2に記載の方法。
- 前記少なくとも2種類の知覚反応は、両眼立体視覚データ、両耳ステレオオーディオデータ、力反映ハプティック操作データ、及び、触覚データからなる群から選択される、請求項1又は2に記載の方法。
- 前記マルチモーダル感覚データに基づいて、前記ロボットプラットフォームにおいてローカルの制御命令を生成することをさらに含む、請求項1〜3のいずれかに記載の方法。
- 前記ローカルの制御命令に基づいて、前記ロボットプラットフォームを用いて前記閉所空間内で1つ又は複数の作業を行うことをさらに含む、請求項5に記載の方法。
- 前記マルチモーダル感覚データは、少なくとも、前記両眼立体視覚データ、前記両耳ステレオオーディオデータ、及び、前記力反映ハプティック操作データを含む、請求項6に記載の方法。
- 前記マルチモーダル感覚データは、少なくとも、前記両眼立体視覚データ、前記両耳ステレオオーディオデータ、前記力反映ハプティック操作データ、及び、触覚データを含む、請求項6に記載の方法。
- 前記マルチモーダル感覚データの前記少なくとも一部を送信する前に、前記マルチモーダル感覚データを補正することをさらに含む、請求項1〜8のいずれかに記載の方法。
- 前記ロボットプラットフォームで受信した前記遠隔制御ステーションからの前記遠隔制御命令に基づいて、前記ロボットプラットフォームを用いて前記閉所空間内で1つ又は複数の作業を行うことをさらに含む、請求項1〜9のいずれかに記載の方法。
- 前記1つ又は複数の作業は、
前記閉所空間内で前記ロボットプラットフォームの位置を変更すること、
前記構造体の部品に穿孔すること、
前記構造体に留め具を取り付けること、
前記構造体をシールすること、
前記構造体を塗装すること、
前記閉所空間から物体を取り除くこと、及び、
前記構造体を検査することからなる群から選択される、請求項10に記載の方法。 - 前記1つ又は複数の作業は、前記ロボットプラットフォームで生成されたローカルの制御命令にも基づいて行われ、前記1つ又は複数の作業を行うために、前記ローカルの制御命令は、前記遠隔制御命令と組み合わされる、請求項10に記載の方法。
- 前記構造体は、航空機の翼である、請求項1〜12のいずれかに記載の方法。
- マルチモーダル感覚データを用いてロボットプラットフォームを制御するための遠隔制御ステーションであって、
前記ロボットプラットフォームに通信接続するため、且つ、少なくとも2種類の知覚反応を含む前記マルチモーダル感覚データを前記ロボットプラットフォームから受信するための、通信モジュールと、
前記ロボットプラットフォームから受信したマルチモーダル感覚データの表示を生成するための出力装置を含むユーザーインターフェイスと、を含む遠隔制御ステーション。 - 前記少なくとも2種類の知覚反応は、両眼立体視覚データ、両耳ステレオオーディオデータ、力反映ハプティック操作データ、及び、触覚データからなる群から選択される、請求項14に記載の遠隔制御ステーション。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022035085A JP7381632B2 (ja) | 2016-06-10 | 2022-03-08 | マルチモーダル感覚データに基づくロボットプラットフォームの遠隔制御 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/179,493 | 2016-06-10 | ||
US15/179,493 US10272572B2 (en) | 2016-06-10 | 2016-06-10 | Remotely controlling robotic platforms based on multi-modal sensory data |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022035085A Division JP7381632B2 (ja) | 2016-06-10 | 2022-03-08 | マルチモーダル感覚データに基づくロボットプラットフォームの遠隔制御 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018008369A true JP2018008369A (ja) | 2018-01-18 |
Family
ID=59350033
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017111014A Pending JP2018008369A (ja) | 2016-06-10 | 2017-06-05 | マルチモーダル感覚データに基づくロボットプラットフォームの遠隔制御 |
JP2022035085A Active JP7381632B2 (ja) | 2016-06-10 | 2022-03-08 | マルチモーダル感覚データに基づくロボットプラットフォームの遠隔制御 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022035085A Active JP7381632B2 (ja) | 2016-06-10 | 2022-03-08 | マルチモーダル感覚データに基づくロボットプラットフォームの遠隔制御 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10272572B2 (ja) |
JP (2) | JP2018008369A (ja) |
KR (1) | KR102369855B1 (ja) |
CN (1) | CN107491043A (ja) |
GB (1) | GB2553617B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023188104A1 (ja) * | 2022-03-30 | 2023-10-05 | 三菱電機株式会社 | 遠隔体験システム、情報処理装置、情報処理方法およびプログラム |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10023250B2 (en) | 2016-06-10 | 2018-07-17 | The Boeing Company | Multi-tread vehicles and methods of operating thereof |
US10257241B2 (en) * | 2016-12-21 | 2019-04-09 | Cisco Technology, Inc. | Multimodal stream processing-based cognitive collaboration system |
US20190219994A1 (en) * | 2018-01-18 | 2019-07-18 | General Electric Company | Feature extractions to model large-scale complex control systems |
JP6823016B2 (ja) * | 2018-07-17 | 2021-01-27 | ファナック株式会社 | 数値制御装置 |
US11007637B2 (en) | 2019-05-17 | 2021-05-18 | The Boeing Company | Spherical mechanism robot assembly, system, and method for accessing a confined space in a vehicle to perform confined space operations |
CN111209942B (zh) * | 2019-12-27 | 2023-12-19 | 广东省智能制造研究所 | 一种足式机器人多模态感知的异常监测方法 |
NO346361B1 (no) * | 2020-04-29 | 2022-06-27 | Conrobotix As | Kontrollsystem til betjening av arbeidsoperasjoner med verktøy i en robot tilrettelagt for verktøyhåndtering |
KR102495920B1 (ko) * | 2020-10-16 | 2023-02-06 | 위더스(주) | 디스플레이가 없는 안드로이드 디바이스에서 안드로이드 플랫폼을 동작시키기 위한 무선 통신 시스템 및 그 무선 통신 방법 |
US20220331966A1 (en) * | 2021-04-09 | 2022-10-20 | Beyond Imagination Inc. | Mobility surrogates |
CN113119125B (zh) * | 2021-04-14 | 2022-08-05 | 福建省德腾智能科技有限公司 | 一种基于多模态信息的监控交互方法 |
CN113829344B (zh) * | 2021-09-24 | 2022-05-03 | 深圳群宾精密工业有限公司 | 适用于柔性产品的视觉引导轨迹生成方法、装置、设备及介质 |
CN113927602B (zh) * | 2021-11-12 | 2023-03-17 | 哈尔滨工业大学(深圳) | 基于视、触觉融合的机器人精密装配控制方法及系统 |
US20230303084A1 (en) * | 2022-03-23 | 2023-09-28 | Robert Bosch Gmbh | Systems and methods for multi-modal data augmentation for perception tasks in autonomous driving |
US20240181647A1 (en) * | 2022-12-06 | 2024-06-06 | Sanctuary Cognitive Systems Corporation | Systems, methods, and control modules for controlling end effectors of robot systems |
CN117875407B (zh) * | 2024-03-11 | 2024-06-04 | 中国兵器装备集团自动化研究所有限公司 | 一种多模态持续学习方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04354275A (ja) * | 1991-05-30 | 1992-12-08 | Meitec Corp | ヘッドモ−ション追従型映像システム |
JPH0724751A (ja) * | 1989-02-13 | 1995-01-27 | Toshiba Corp | 点検作業ロボット |
JP2002046088A (ja) * | 2000-08-03 | 2002-02-12 | Matsushita Electric Ind Co Ltd | ロボット装置 |
JP2005064837A (ja) * | 2003-08-12 | 2005-03-10 | Oki Electric Ind Co Ltd | ロボットによる中継システム、ロボットによる中継プログラム及びその方法 |
JP2007229897A (ja) * | 2006-03-03 | 2007-09-13 | Nagaoka Univ Of Technology | 触覚制御方法および触覚制御装置 |
US20120215354A1 (en) * | 2009-10-27 | 2012-08-23 | Battelle Memorial Institute | Semi-Autonomous Multi-Use Robot System and Method of Operation |
WO2015154172A1 (en) * | 2014-04-10 | 2015-10-15 | Quanser Consulting Inc. | Robotic systems and methods of operating robotic systems |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3217383B2 (ja) * | 1991-02-01 | 2001-10-09 | 衛 光石 | 臨場感再現システムおよび加工システム |
ATE238140T1 (de) * | 1992-01-21 | 2003-05-15 | Stanford Res Inst Int | Chirurgisches system |
JPH07237106A (ja) * | 1994-02-28 | 1995-09-12 | Nippon Steel Corp | 遠隔操作疵手入れ方法およびその装置 |
EP1189052B1 (de) * | 2000-06-28 | 2007-10-17 | Robert Bosch Gmbh | Vorrichtung zum bildlichen Erfassen von Stückgütern |
AU767561B2 (en) | 2001-04-18 | 2003-11-13 | Samsung Kwangju Electronics Co., Ltd. | Robot cleaner, system employing the same and method for reconnecting to external recharging device |
US8217478B2 (en) * | 2008-10-10 | 2012-07-10 | Seagate Technology Llc | Magnetic stack with oxide to reduce switching current |
CN101791750B (zh) * | 2009-12-31 | 2012-06-06 | 哈尔滨工业大学 | 用于远程焊接的机器人遥控焊接系统及方法 |
US20110238079A1 (en) | 2010-03-18 | 2011-09-29 | SPI Surgical, Inc. | Surgical Cockpit Comprising Multisensory and Multimodal Interfaces for Robotic Surgery and Methods Related Thereto |
KR101194576B1 (ko) | 2010-12-16 | 2012-10-25 | 삼성중공업 주식회사 | 풍력 터빈 조립 및 관리 로봇 및 이를 포함하는 풍력 터빈 시스템 |
CN102060057B (zh) * | 2010-12-27 | 2012-09-26 | 中国民航大学 | 飞机油箱检查机器人系统及其控制方法 |
JP2014508658A (ja) | 2011-03-23 | 2014-04-10 | エスアールアイ インターナショナル | 高機能遠隔マニピュレーターシステム |
CN102699919A (zh) * | 2011-03-28 | 2012-10-03 | 江苏久祥汽车电器集团有限公司 | 智能决策与驱动控制技术 |
US8651206B2 (en) | 2011-03-31 | 2014-02-18 | Tobor Technology, Llc | Roof inspection systems and methods of use |
US8943892B2 (en) * | 2012-05-11 | 2015-02-03 | The Boeing Company | Automated inspection of spar web in hollow monolithic structure |
US9226796B2 (en) * | 2012-08-03 | 2016-01-05 | Stryker Corporation | Method for detecting a disturbance as an energy applicator of a surgical instrument traverses a cutting path |
CN112932672A (zh) * | 2012-08-03 | 2021-06-11 | 史赛克公司 | 用于机器人外科手术的系统和方法 |
DE102013204151B4 (de) * | 2013-03-11 | 2016-12-15 | Continental Automotive Gmbh | Steuervorrichtung zum Betreiben einer Werkzeugmaschine und Werkzeugmaschine |
WO2014164404A1 (en) * | 2013-03-13 | 2014-10-09 | The General Hospital Corporation | 2-aaa as a biomarker and therapeutic agent for diabetes |
FR3012425B1 (fr) | 2013-10-24 | 2017-03-24 | European Aeronautic Defence & Space Co Eads France | Robot collaboratif d'inspection visuelle d'un aeronef |
US9193402B2 (en) | 2013-11-26 | 2015-11-24 | Elwha Llc | Structural assessment, maintenance, and repair apparatuses and methods |
US9335764B2 (en) | 2014-05-27 | 2016-05-10 | Recreational Drone Event Systems, Llc | Virtual and augmented reality cockpit and operational control systems |
US9856037B2 (en) | 2014-06-18 | 2018-01-02 | The Boeing Company | Stabilization of an end of an extended-reach apparatus in a limited-access space |
CN104057450B (zh) * | 2014-06-20 | 2016-09-07 | 哈尔滨工业大学深圳研究生院 | 一种针对服务机器人的高维操作臂遥操作方法 |
US10835948B2 (en) * | 2014-07-09 | 2020-11-17 | The Boeing Company | Adjustable retaining structure for a cradle fixture |
CN104656653A (zh) * | 2015-01-15 | 2015-05-27 | 长源动力(北京)科技有限公司 | 一种基于机器人的交互系统及方法 |
US10023250B2 (en) | 2016-06-10 | 2018-07-17 | The Boeing Company | Multi-tread vehicles and methods of operating thereof |
WO2018215977A1 (en) * | 2017-05-26 | 2018-11-29 | Invert Robotics Limited | Climbing robot for detection of defects on an aircraft body |
-
2016
- 2016-06-10 US US15/179,493 patent/US10272572B2/en active Active
-
2017
- 2017-05-08 KR KR1020170057401A patent/KR102369855B1/ko active IP Right Grant
- 2017-05-26 CN CN201710383450.7A patent/CN107491043A/zh active Pending
- 2017-06-05 JP JP2017111014A patent/JP2018008369A/ja active Pending
- 2017-06-06 GB GB1708992.1A patent/GB2553617B/en active Active
-
2022
- 2022-03-08 JP JP2022035085A patent/JP7381632B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0724751A (ja) * | 1989-02-13 | 1995-01-27 | Toshiba Corp | 点検作業ロボット |
JPH04354275A (ja) * | 1991-05-30 | 1992-12-08 | Meitec Corp | ヘッドモ−ション追従型映像システム |
JP2002046088A (ja) * | 2000-08-03 | 2002-02-12 | Matsushita Electric Ind Co Ltd | ロボット装置 |
JP2005064837A (ja) * | 2003-08-12 | 2005-03-10 | Oki Electric Ind Co Ltd | ロボットによる中継システム、ロボットによる中継プログラム及びその方法 |
JP2007229897A (ja) * | 2006-03-03 | 2007-09-13 | Nagaoka Univ Of Technology | 触覚制御方法および触覚制御装置 |
US20120215354A1 (en) * | 2009-10-27 | 2012-08-23 | Battelle Memorial Institute | Semi-Autonomous Multi-Use Robot System and Method of Operation |
WO2015154172A1 (en) * | 2014-04-10 | 2015-10-15 | Quanser Consulting Inc. | Robotic systems and methods of operating robotic systems |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023188104A1 (ja) * | 2022-03-30 | 2023-10-05 | 三菱電機株式会社 | 遠隔体験システム、情報処理装置、情報処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
GB201708992D0 (en) | 2017-07-19 |
GB2553617B (en) | 2020-09-16 |
JP2022081591A (ja) | 2022-05-31 |
US10272572B2 (en) | 2019-04-30 |
US20170355080A1 (en) | 2017-12-14 |
KR102369855B1 (ko) | 2022-03-02 |
CN107491043A (zh) | 2017-12-19 |
KR20170140070A (ko) | 2017-12-20 |
JP7381632B2 (ja) | 2023-11-15 |
GB2553617A (en) | 2018-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7381632B2 (ja) | マルチモーダル感覚データに基づくロボットプラットフォームの遠隔制御 | |
US10052765B2 (en) | Robot system having augmented reality-compatible display | |
CA2945189C (en) | Robotic systems and methods of operating robotic systems | |
Chen et al. | Human performance issues and user interface design for teleoperated robots | |
WO2017033367A1 (ja) | 遠隔操作ロボットシステム | |
US8634969B2 (en) | Teleoperation method and human robot interface for remote control of a machine by a human operator | |
JP2013521137A (ja) | 輻輳した環境におけるロボット型機械の操縦を支援する方法及びシステム | |
JP2003136450A (ja) | 聴覚情報提示によるロボットアームの遠隔操作システム | |
JP2018167334A (ja) | 教示装置および教示方法 | |
JP6850183B2 (ja) | ロボットシステム及びその運転方法 | |
WO2021101522A1 (en) | Methods and systems for graphical user interfaces to control remotely located robots | |
Rodehutskors et al. | Intuitive bimanual telemanipulation under communication restrictions by immersive 3D visualization and motion tracking | |
JP2020196060A (ja) | 教示方法 | |
TW202122225A (zh) | 使用先進掃描技術之用於機器人箱揀取的系統及方法 | |
Illing et al. | Evaluation of immersive teleoperation systems using standardized tasks and measurements | |
JP6657858B2 (ja) | ロボット操作システム | |
JP2011104759A (ja) | ロボット制御システムの教示用補助具、その教示用補助具を用いた教示方法、およびその教示方法によって教示を行うロボット制御システム | |
Gregg-Smith et al. | Investigating spatial guidance for a cooperative handheld robot | |
JP7487118B2 (ja) | 1つ以上のロボット相互参照パラグラフの自然ロボットタスクのためのシステム及び方法 | |
JP7401184B2 (ja) | ロボットシステム | |
JP2017170550A (ja) | 制御装置、ロボット、及びロボットシステム | |
Fernando et al. | Effectiveness of Spatial Coherent Remote Drive Experience with a Telexistence Backhoe for Construction Sites. | |
WO2021256464A1 (ja) | 撮像システム及びロボットシステム | |
WO2018212234A1 (ja) | ロボットシステム | |
Talha et al. | Preliminary evaluation of an orbital camera for teleoperation of remote manipulators |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200602 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210720 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211109 |