JP2019063905A - ロボット制御システム、ロボット制御方法およびロボット制御システム用ユーザ機器 - Google Patents

ロボット制御システム、ロボット制御方法およびロボット制御システム用ユーザ機器 Download PDF

Info

Publication number
JP2019063905A
JP2019063905A JP2017189798A JP2017189798A JP2019063905A JP 2019063905 A JP2019063905 A JP 2019063905A JP 2017189798 A JP2017189798 A JP 2017189798A JP 2017189798 A JP2017189798 A JP 2017189798A JP 2019063905 A JP2019063905 A JP 2019063905A
Authority
JP
Japan
Prior art keywords
robot
user
unit
robot control
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017189798A
Other languages
English (en)
Inventor
茂憲 蛭田
Shigenori Hiruta
茂憲 蛭田
史郎 北村
Shiro Kitamura
史郎 北村
大輔 村松
Daisuke Muramatsu
大輔 村松
修司 仲山
Shuji Nakayama
修司 仲山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2017189798A priority Critical patent/JP2019063905A/ja
Priority to CN201811082710.8A priority patent/CN109571423A/zh
Priority to US16/136,051 priority patent/US11135725B2/en
Publication of JP2019063905A publication Critical patent/JP2019063905A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0006Exoskeletons, i.e. resembling a human figure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/04Foot-operated control means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0003Home robots, i.e. small robots for domestic use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザにより操作されるロボットが突発的な状況に遭遇したときであっても、ロボットが反射のような適切な行動をとることを可能にする。【解決手段】ロボット制御システムは、周囲の状況を検出する視覚センサを有する移動可能なロボットと、ユーザの脳活動を検出および解析してロボットに対するユーザからの第1動作指令を出力する出力部154と、出力部154により出力された動作指令に従いロボットを制御するロボット制御部と、視覚センサにより検出された信号に基づきユーザが認識可能な態様で動作するユーザ機器10と、ユーザの所定動作を検出する動作検出器18とを備える。出力部154は、ユーザ機器10の作動中に動作検出器18により所定動作が検出されると、第1動作指令とは異なる第2動作指令を出力する。【選択図】図3

Description

本発明は、ロボット制御システム、ロボット制御方法およびロボット制御システム用ユーザ機器に関する。
従来より、ユーザからの指令に応じて遠隔地のロボットの動作を制御する装置が知られている(例えば特許文献1参照)。この特許文献1記載の装置では、脳波形センサなどにより取得されたユーザの脳活動を表す情報に基づいて、ロボットの動作を制御する。
特許文献1:特開2006−289565号公報
ところで、人は突発的な状況に遭遇したときに、脳での判断を介さず反射によって適切に行動することがある。したがって、上記特許文献1記載の装置のように、ユーザの脳活動を表す情報に基づいてロボットを制御するように構成したのでは、ロボットが突発的な状況に遭遇したときに、ロボットが適切に行動することができないおそれがある。
本発明の一態様であるロボット制御システムは、周囲の状況を検出する状況検出部を有する移動可能なロボットと、ユーザの脳活動を検出および解析してロボットに対するユーザからの動作指令を出力する指令出力部と、指令出力部により出力された動作指令に従いロボットを制御するロボット制御部と、状況検出部により検出された信号に基づきユーザが認識可能な態様で作動するユーザ機器と、ユーザの所定動作を検出する動作検出部と、を備える。ロボット制御部は、ユーザ機器の作動中に動作検出部により所定動作が検出されると、指令出力部から出力された動作指令とは異なる動作指令に従いロボットを制御する。
本発明の他の態様は、周囲の状況を検出する状況検出部を有する移動可能なロボットを制御するロボット制御方法であって、ユーザの脳活動を検出および解析してロボットに対するユーザからの動作指令を出力し、出力された動作指令に従いロボットを制御し、ユーザの所定動作を検出することを含む。ロボットを制御することは、状況検出部により検出された信号に基づきユーザが認識可能な態様でユーザ機器が作動中に、所定動作が検出されると、出力された動作指令とは異なる動作指令に従いロボットを制御することを含む。
本発明のさらなる他の態様であるロボット制御システム用ユーザ機器は、外部のロボット装置からの周囲の状況を示す信号の受信と、外部のロボット装置への制御信号を送信する通信部と、ユーザの脳活動を検出する脳活動検出器と、脳活動検出器により検出されたユーザの脳活動を解析して外部のロボットに対するユーザからの動作指令を出力する指令出力部と、外部のロボット装置からの周囲の状況を示す信号に基づきユーザが認識可能な態様で出力する制御信号出力部と、ユーザの所定動作を検出する動作検出部と、動作検出部により所定動作が検出されると、指令出力部から出力された動作指令とは異なる動作指令を制御信号として通信部に出力する演算部と、を備える。
本発明によれば、ロボットが突発的な状況に遭遇したときであっても、ロボットが反射のような適切な行動をとることができる。
本発明の実施形態に係るロボット制御システムの全体構成を概略的に示す図。 図1のユーザ機器の構成を示す図。 図1のユーザ機器とその周辺装置の構成を示すブロック図。 図3の動作検出器の装着例を示す図。 図1のロボットの構成を示す図。 図1の管理サーバの概略構成を示すブロック図。 図6の演算部で実行される処理の一例を示すフローチャート。
以下、図1〜図7を参照して本発明の実施形態について説明する。本発明の実施形態に係るロボット制御システムは、ユーザの脳活動を解析して、ユーザから離れた場所に位置するロボットを動作させるとともに、ロボットにより検出された信号に基づいて、ユーザに知覚可能な態様でサービスを提供するものである。
ロボットは、ユーザからの指令に応じて単独で行動することができるが、以下では、単独ではなくロボットがユーザの家族等の第三者とともに行動する例を説明する。具体的には、ユーザが家族とともに外出(例えば旅行)することが困難な場合に、ユーザの代わりにロボットが家族とともに旅行し、そのときにロボットが得た情報を、ユーザに提供するようにロボット制御システムを構成する。これによりユーザは、例えば自宅にいながら、あたかも家族とともに旅行している気分を味わうことができる。
図1は、本発明の実施形態に係るロボット制御システム100の全体構成を概略的に示す図である。図1に示すように、ロボット制御システム100は、A地点に位置するユーザ1に装着されたユーザ機器10と、B地点に位置してA地点のユーザ1により操作されるロボット20と、管理サーバ30とを含んで構成される。
ユーザ機器10と、ロボット20と、管理サーバ30とは、インターネット回線等の無線通信網を含むネットワーク2で通信可能に接続される。A地点は例えばユーザ1の自宅であり、B地点はA地点から離れた地点、例えば異なる地域の地点である。なお、A地点とB地点とが互いに異なる国であってもよい。
B地点のロボット20は、B地点またはB地点の近傍の店舗3からレンタルされる。すなわち、ロボット20は、店舗3に赴いたユーザ1の家族によりレンタルされ、B地点でユーザ1の家族とともに行動する。ロボット20は、B地点での旅行が終了するときにユーザ1の家族により店舗3に返却される。店舗3の各ロボット20には、予め固有の識別IDが付されている。
図2は、ユーザ機器10の構成を示す図である。図2に示すようにユーザ機器10は、例えば全体が略ヘルメット形状を呈するウェアラブルコンピュータであり、ユーザの頭部に装着される。ユーザ機器10は、ユーザの脳波や脳磁波、脳血流の状態等の脳活動(脳活動信号)を検出する脳波センサなどの複数のセンサ(脳活動検出器11と呼ぶ)を備える。すなわち、ユーザ機器10は、ユーザの思考ないし意図を脳活動信号から検出し、身体を使うことなく機械操作を実現する、いわゆるブレインマシンインタフェース(BMI)を備える。
さらにユーザ機器10は、ディスプレイ12と、マイク13と、スピーカ14とを有する。ディスプレイ12は、例えば非透過型のヘッドマウントディスプレイであり、ユーザの両眼の周囲を覆うように配置され、ロボット20により取得されたカメラ画像が表示される。マイク13は、ユーザの口元に向けて移動可能に設けられ、ユーザの発話による音声信号を入力する。スピーカ14は、ユーザの耳元に配置され、音声を出力する。
図3は、ユーザ機器10とその周辺装置の構成を示すブロック図である。図3に示すように、上述した脳活動検出器11とディスプレイ12とマイク13とスピーカ14とは、コントローラ15に有線または無線により接続される。さらにコントローラ15には、無線ユニット16と、入力装置17と、動作検出器18とが有線または無線により接続される。
脳活動検出器11とディスプレイ12とマイク13とスピーカ14とコントローラ15と無線ユニット16と入力装置17とは、例えばユーザ機器10に内蔵される。入力装置17は、ユーザにより操作されるスイッチやタッチパネル等により構成され、入力装置17を介してユーザの個人情報等、各種情報を入力することができる。
動作検出器18は、ユーザの身体に装着される。図4は、動作検出器18の装着例を示す図である。図4では、ユーザの手と足とに動作検出器18が装着される。なお、突発的な状況に遭遇したときに反射的に動作する部位、すなわち、脳での判断を介さずに無意識に動作する部位に少なくとも装着されるであれば、動作検出器18は他の位置に装着されてもよい。反射が生じる突発的な状況とは、例えば目の前に突然、物や人が現れたときや、転びそうになったときなどである。動作検出器18は、加速度を検知する加速度センサ、筋電位を検知する筋電位センサ、関節角度を検知する曲げセンサ等により構成され、動作検出器18からの信号によりユーザの反射的な動作の有無を検出できる。
コントローラ15は、CPU等の演算部15Aと、ROM,RAM等の記憶部15Bと、その他の周辺回路とを有するマイクロコンピュータを含んで構成され、無線ユニット16を制御して管理サーバ30と通信する。すなわち、コントローラ15からの指令により、脳活動検出器11、マイク13および動作検出器18などからの信号に基づくロボット20に対する動作指令が管理サーバ30に送信される。さらにコントローラ15は、管理サーバ30から送信された信号に基づきディスプレイ12やスピーカ14に制御信号を出力する。
図5は、ロボット20の構成を示す図である。図5に示すようにロボット20は、頭、胴体、2つの腕部、2つの脚部を有する人型ロボットであり、二足歩行によりロボット自身で移動することができる。ロボット20の高さは、成人の身長に近い140〜160cm程度である。
ロボット20は、外界を感知するための人の感覚機能である五感に対応した検出機能を有する複数のセンサ、すなわち視覚センサ211と、聴覚センサ212と、触覚センサ213と、臭覚センサ214と、味覚センサ215とを有する。これらセンサ211〜215は、人の五感に対応した信号(五感信号)を検出信号として出力する。
より具体的には、視覚センサ211はカメラにより構成され、ロボット20の目の位置に設けられたCMOSセンサやCCDセンサ等の画像センサとレンズとを有する撮影部と、撮影部を上下左右に駆動する駆動部と、被写体を拡大縮小するズーム機構とを有し、ロボット20の周囲の画像(動画)を取得する。聴覚センサ212は、例えばロボット20の耳の位置に設けられたマイクにより構成され、ロボット20の周囲の音声を取得する。触覚センサ213は、例えばロボット20のハンドの位置等に設けられた力覚センサにより構成され、ロボット20のハンドに作用する外力を検出する。臭覚センサ214は、ロボット20の鼻の位置に設けられ、臭いを検出する。味覚センサ215は、ロボット20の口の位置に設けられ、味を検出する。
さらにロボット20は、アクチュエータ22と、スピーカ23と、入力装置24と、GPSセンサ25と、コントローラ26と、無線ユニット27とを有する。アクチュエータ22は、例えばロボット20の関節部に設けられた複数のサーボモータ等により構成され、アクチュエータ22の駆動によりロボット20が動作する。スピーカ23は、ロボット20の口の位置に設けられ、音声を出力する。入力装置24は、電源スイッチ等の各種スイッチを備える。GPSセンサ25は、GPS衛星からのGPS信号を受信する。GPSセンサ25からの信号により、ロボット20の位置を検出することができる。
コントローラ26は、CPU,ROM,RAM等を有するマイクロコンピュータを含み、無線ユニット27を制御して管理サーバ30と通信する。例えばコントローラ26は、五感信号を出力するセンサ211〜215とGPSセンサ25とからの信号を管理サーバ30に送信させる。さらにコントローラ26は、管理サーバ30から送信された信号に基づきアクチュエータ22やスピーカ23などに制御信号を出力する。
図6は、管理サーバ30の概略構成の一例を示すブロック図である。図6に示すように、管理サーバ30は、入力装置31と、表示装置32と、無線ユニット33と、コントローラ34とを有する。なお、入力装置31と表示装置32とは、省略することができる。
コントローラ34は、CPU等の演算部34Aと、ROM,RAM,ハードディスク等の記憶部34Bと、その他の周辺回路とを有し、無線ユニット33を制御してユーザ機器10およびロボット20と通信する。演算部34Aは、機能的構成として、ロボット制御部341と、ユーザ機器制御部342とを有する。
ロボット制御部341は、ユーザ機器10から送信されたロボット20に対する動作指令、すなわちユーザの脳活動による動作指令に基づいて、ロボット20のアクチュエータ22に対する動作信号を生成する。そして、この動作信号を、無線ユニット33を介してロボット20に送信する。ロボット20のコントローラ26は、この動作信号に応じてアクチュエータ22に制御信号を出力する。これにより、ユーザの意図に従い、ユーザの身代わりとなってロボット20を動作させることができる。ロボット制御部341は、ユーザ機器10のマイク13からの信号に基づく音声を、ロボット20のスピーカ23から出力させることもできる。
ユーザ機器制御部342は、ロボット20のセンサ211〜215からの信号(五感信号)に基づいて、ユーザ機器10に対する動作信号を生成する。そして、この動作信号を、無線ユニット33を介してユーザ機器10に送信する。例えば視覚センサ311により検出された信号に基づき画像信号を送信する。ユーザ機器10のコントローラ15は、この画像信号に応じてディスプレイ12に制御信号を出力し、ディスプレイ12に視覚センサ311から得られた三次元画像を表示させる。ユーザ機器制御部342は、聴覚センサ312からの信号に基づく音声を、ユーザ機器10のスピーカ14から出力させることもできる。
このように構成されたロボット制御システム100において、ユーザからの指令によりロボット20を動作させているとき、ロボット20が突発的な状況に遭遇すると、その状況が視覚センサ211により検出されてディスプレイ12に表示される。このとき、ユーザが、脳活動信号を出力することによりに突発的状況を回避するようなロボット20の動作(回避動作)を指令し、この指令に従いロボット20を動作させるようにしたのでは、ロボット20の反射的な動作とならず、ロボット20の回避動作に遅れが生じる。このようなロボット20の動作遅れを防止するため、本実施形態では、以下のようにロボット制御システム100を構成する。
図3に示すように、ユーザ機器10のコントローラ15の演算部15Aは、機能的構成として、入力部151と、脳活動解析部152と、動作判定部153と、出力部154とを有する。
入力部151は、無線ユニット33を介して入力されたロボット20のセンサ211〜215からの信号、および脳活動検出器11とマイク13と入力装置17と動作検出器18とからの信号を入力する。
脳活動解析部152は、入力部151に入力された脳活動検出器11の信号を用いてユーザの脳活動を解析し、ロボット20に対するユーザの動作指令を特定する。特定された動作指令は無線ユニット16を介して管理サーバ30に送信され、これに基づいてロボット20の動作が制御される。なお、無線ユニット43は無線だけでなく有線により通信接続される構成であってもよい。
動作判定部153は、動作検出器18により検出されたユーザの動作が反射的な動作であるか否かを判定する。すなわち、ユーザは、ロボット20と一体であるかのように、ディスプレイ12を介してロボット20により取得された画像をリアルタイムで見ている。このため、ロボット20が突発的な状況に遭遇すると、ユーザはその状況に応じて反射的に動作する。例えば図4の二点鎖線で示すように、手を前に出す、あるいは足を突っ張る等、ユーザの脳での判断を介さずにユーザは所定の反射的な動作を行う。動作判定部153は、動作検出器18からの信号に基づいてこのような反射的な動作が生じたか否かを判定する。具体的には、加速度センサや筋電位センサの検出値あるいは検出値の変化量が所定値以上であるか否か等を判定することにより、反射的動作の有無を判定する。
出力部154は、動作判定部153の判定結果に応じて、ロボット20に対する異なる動作指令を出力する。すなわち、動作判定部153によりユーザの動作が反射的動作でないと判定されると、脳活動解析部152により解析されたユーザの脳活動による動作指令(第1動作指令)を出力する。一方、動作判定部153によりユーザの動作が反射的動作と判定されると、予め記憶部15Bに記憶された緊急的な動作指令(第2動作指令)を出力する。これらの動作指令は無線ユニット16を介して管理サーバ30に送信され、これによりロボット20が動作指令に応じて制御される。
第2動作指令は、ロボット20に突発的状況に対処する動作を行わせるための指令である。第2動作指令には、例えばロボット20の歩行動作を緊急停止させる指令、ロボット20を後退させる指令、ロボット20の腕部や脚部を所定の態様で動作させる指令などが含まれる。出力部154は、ユーザの反射的動作が検出されたときに、予め記憶部15Bに記憶された複数の第2動作指令の中から、検出されたユーザの動作態様に応じていずれかを選択し、出力する。なお、ユーザの反射的動作が検出されたときに、ユーザの動作に拘らず所定の第2動作指令を出力するようにしてもよい。
図7は、予め記憶部15Bに記憶されたプログラムに従いユーザ機器10の演算部15Aで実行される処理、特にロボット20の動作指令の出力に係る処理の一例を示すブローチャートである。このフローチャートに示す処理は、例えばユーザ機器10からロボット20の動作開始指令が入力されると開始され、所定周期で繰り返される。
まず、ステップS1で、脳活動検出器11と動作検出器18とからの信号を読み込む。次いでステップS2で、動作判定部153が、動作検出器18からの信号に基づき、ユーザの動作が反射的動作であるか否かを判定する。ステップS2で否定されるとステップS3に進み、脳活動解析部152が、脳活動検出器11からの信号に基づいてユーザの脳活動を解析し、ロボット20に対するユーザからの動作指令を特定する。
次いでステップS4で、出力部154がステップS3の解析結果に基づく第1動作指令を出力し、ステップS5で、出力された第1動作指令を管理サーバ30に送信する。これによりロボット20がユーザの脳活動による指令に応じて動作する。このとき、ロボット20の視覚センサ211により検出された画像がディスプレイ12に表示される。
一方、ステップS2で、ユーザの動作が反射的動作であると判定されるとステップS6に進む。ステップS6では、出力部154が、ユーザの動作に対応した第2動作指令を記憶部15Bから選択し、この第2動作指令を出力する。次いで、ステップS5で、出力された第2動作指令を管理サーバ30に送信する。これによりロボット20がユーザの脳からの指令を介さずに動作する。したがって、ロボット20は、突発的な状況に対し、反射的動作であるかのような適切な行動を即座に取ることができ、突発的な状況に適切に対処できる。
本実施形態によれば以下のような作用効果を奏することができる。
(1)本実施形態に係るロボット制御システム100は、周囲の状況を検出する各種センサ211〜215を有する移動可能なロボット20と、ユーザの脳活動を検出および解析してロボット20に対するユーザからの第1動作指令を出力する演算部15Aと、演算部15Aにより出力された動作指令に従いロボット20を制御するロボット制御部341およびコントローラ26と、センサ211〜215(例えば視覚センサ211)により検出された信号に基づきユーザが認識可能な態様で作動するユーザ機器10と、ユーザの所定の反射的な動作を検出する動作検出器18と、を備える(図3、5)。ロボット制御部341などは、視覚センサ211からの信号に基づきユーザ機器10が作動しているとき、動作検出器18により所定の反射的な動作が検出されると、演算部15Aから出力された第1動作指令とは異なる第2動作指令に従いロボット20を制御する(図7)。
このようにユーザの所定の反射的な動作が検出されたときに、ユーザの脳活動を介した第1動作指令とは異なる第2動作指令に従いロボット20を制御するので、常にロボット20を適切な態様で動作させることができる。すなわち、脳活動を介した指令によりロボット20を制御するロボット制御システム100において、ロボット20が突発的な状況に遭遇した場合には、脳活動を介さない所定の指令によりロボット20が制御される。このため、突発的な状況に対し、ロボット20を遅れなく適切な態様で動作させることができる。
(2)演算部15Aは、動作検出器18によりユーザの所定の反射的な動作が検出されると、この検出された動作に応じて記憶部15Bから第2動作指令を選択し、ロボット制御部341などは、第2動作指令に従いロボット20を制御する。これにより、ロボット20が遭遇する突発的な状況に対応して第2動作指令を決定することができ、ロボット20をより適切に制御することができる。例えばユーザの手足の動きと同様にロボット20を動作させることができる。
(3)ロボット20は、周囲を検出する視覚センサ211(カメラ)を有し、ユーザ機器10は、視覚センサ211によって取得された画像を表示するディスプレイ12を有する(図2,5)。これによりユーザは、ロボット20の周囲の状況をリアルタイムで容易に認識することができる。
(4)動作検出器18は、ユーザの身体の所定部位の動きを検出するセンサにより構成することができる。この場合、ロボット制御部341などは、動作検出器18により所定部位の所定値以上の動きが検出されると、第1動作指令とは異なる第2動作指令に従いロボット20を制御する。これによりユーザの反射的な動きを精度よく検出することができ、反射的な動きに応じてロボット20を適切に制御することができる。
(5)動作検出器18は、ユーザの身体の所定部位の加速度を検出するセンサにより構成することもできる。この場合、ロボット制御部341などは、動作検出器18により所定部位の所定値以上の加速度が検出されると、第1動作指令とは異なる第2動作指令に従いロボット20を制御する。これによっても、ユーザの反射的な動きを精度よく検出することができ、反射的な動きに応じてロボット20を適切に制御することができる。
(6)本発明の実施形態に係るロボット制御方法、すなわち周囲の状況を検出する各種センサ211〜215を有する移動可能なロボット20を制御するロボット制御方法は、ユーザの脳活動を検出および解析してロボット20に対するユーザからの第1動作指令を出力し、出力された動作指令に従いロボット20を制御し、ユーザの所定の反射的な動作を検出することを含む。ここで、ロボット20を制御することは、センサ211〜215により検出された信号に基づきユーザが認識可能な態様でユーザ機器10が作動中に、所定の反射的な動作が検出されると、第1動作指令とは異なる第2動作指令に従いロボット20を制御することを含む。これにより、ロボット20が何らかの突発的な状況に遭遇した場合であっても、ロボット20を遅れなく適切な態様で動作させることができる。すなわち、ロボット20は、反射のような適切な行動をとることができる。
上記実施形態は種々の変形が可能である。以下、変形例について説明する。上記実施形態では、人の五感の機能に対応したセンサ211〜215によりロボット20の周囲の状況を検出するようにしたが、状況検出部の構成は上述したものに限らない。上記実施形態では、二足歩行可能な人型ロボット20を用いたが、無線通信を介したユーザからの指令に応じて動作するロボットの構成は上述したものに限らない。
上記実施形態では、脳活動検出器11によりユーザの脳活動を検出するとともに脳活動解析部152により脳活動を解析して、出力部154からロボット20に対するユーザからの第1動作指令を出力するようにしたが、指令出力部の構成はこれに限らない。上記実施形態では、出力部154から指令された動作指令(第1動作指令、第2動作指令)に従いロボット制御部341がロボット20に動作信号を送信し、この動作信号に基づいてコントローラ26がロボット20を制御するようにしたが、ロボット制御部(ロボット制御部341やコントローラ26)の構成は上述したものに限らない。
上記実施形態では、表示部としてのディスプレイ12を有するヘッドマウントディスプレイをユーザ機器10として用いたが、センサ211〜215等の状況検出部により検出された信号に基づきユーザが認識可能な態様で動作するのであれば、ユーザ機器はいかなるものでもよい。上記実施形態では、ユーザの手(腕)や足等に装着された動作検出器18によりユーザの反射的な動作を検出するようにしたが、動作検出部の構成は上述したものに限らない。例えばカメラによりユーザの所定動作を検出するようにしてもよい。指先の反射的な動きを検出するようにしてもよい。
上記実施形態では、ロボット20により取得された画像をユーザ機器10のディスプレイ12に表示しているとき、すなわちユーザ機器10の作動中に、動作検出器18によりユーザの所定動作が検出されると、第1動作指令に代えて第2動作指令を出力するようにした。このような第2動作指令を出力する前提となるユーザ機器の作動中とは、ディスプレイ12への画像の表示中に限らない。すなわち、ロボットが突発的な状況に遭遇したか否かをユーザが判断可能な状況であれば、ユーザ機器はいかに作動中であってもよい。
上記実施形態におけるユーザ機器10およびロボット20のコントローラ15,26の機能の一部を、管理サーバ30が担うようにしてもよく、管理サーバ30の機能の一部をコントローラ15,26が担うようにしてもよい。上記実施形態では、管理サーバ30とユーザ機器10およびロボット20との間で信号を送受信するようにした。すなわち、ユーザ機器10およびロボット20が、管理サーバ30を介して互いに通信するようにしたが、ユーザ機器10とロボット20が管理サーバ30を介さずに直接通信するようにしてもよい。この場合、管理サーバ30の機能を、ユーザ機器10およびロボット20のコントローラ15,26が担うようにすればよい。
上記実施形態では、ロボット20を店舗3でレンタルするようにしたが、例えばユーザが自宅に所有するロボットを用いても、本発明は、同様に構成することができる。ロボット20を家族とともに行動させるのではなく、単独で行動させてもよい。管理サーバ30と店舗3の端末とを通信可能に構成し、ロボット20のレンタル予約の申し込み、レンタル料金の支払い等を、管理サーバ30を介して行うようにしてもよい。
以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の1つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。
10 ユーザ機器、11 脳活動検出器、12 ディスプレイ、15 コントローラ、18 動作検出器、20 ロボット、26 コントローラ、30 管理サーバ、100 ロボット制御システム、152 脳活動解析部、153 動作判定部、154 出力部、341 ロボット制御部

Claims (7)

  1. 周囲の状況を検出する状況検出部を有する移動可能なロボットと、
    ユーザの脳活動を検出および解析して前記ロボットに対するユーザからの動作指令を出力する指令出力部と、
    前記指令出力部により出力された動作指令に従い前記ロボットを制御するロボット制御部と、
    前記状況検出部により検出された信号に基づきユーザが認識可能な態様で作動するユーザ機器と、
    ユーザの所定動作を検出する動作検出部と、を備え、
    前記ロボット制御部は、前記ユーザ機器の作動中に前記動作検出部により前記所定動作が検出されると、前記指令出力部から出力された動作指令とは異なる動作指令に従い前記ロボットを制御することを特徴とするロボット制御システム。
  2. 請求項1に記載のロボット制御システムにおいて、
    前記ロボット制御部は、前記動作検出部により前記所定動作が検出されると、この検出された動作に応じて前記ロボットを制御することを特徴とするロボット制御システム。
  3. 請求項1または2に記載のロボット制御システムにおいて、
    前記状況検出部は、カメラを有し、
    前記ユーザ機器は、前記カメラによって取得された画像を表示する表示部を有することを特徴とするロボット制御システム。
  4. 請求項1〜3のいずれか1項に記載のロボット制御システムにおいて、
    前記動作検出部は、ユーザの身体の所定部位の動きを検出し、
    前記ロボット制御部は、前記動作検出部により前記所定部位の所定値以上の動きが検出されると、前記指令出力部から出力された動作指令とは異なる動作指令に従い前記ロボットを制御することを特徴とするロボット制御システム。
  5. 請求項1〜3のいずれか1項に記載のロボット制御システムにおいて、
    前記動作検出部は、ユーザの身体の所定部位の加速度を検出し、
    前記ロボット制御部は、前記動作検出部により前記所定部位の所定値以上の加速度が検出されると、前記指令出力部から出力された動作指令とは異なる動作指令に従い前記ロボットを制御することを特徴とするロボット制御システム。
  6. 周囲の状況を検出する状況検出部を有する移動可能なロボットを制御するロボット制御方法であって、
    ユーザの脳活動を検出および解析して前記ロボットに対するユーザからの動作指令を出力し、
    出力された動作指令に従い前記ロボットを制御し、
    ユーザの所定動作を検出することを含み、
    前記ロボットを制御することは、前記状況検出部により検出された信号に基づきユーザが認識可能な態様でユーザ機器が作動中に、前記所定動作が検出されると、出力された動作指令とは異なる動作指令に従い前記ロボットを制御することを含むことを特徴とするロボット制御方法。
  7. 外部のロボット装置からの周囲の状況を示す信号の受信と、前記外部のロボット装置への制御信号を送信する通信部と、
    ユーザの脳活動を検出する脳活動検出器と、
    前記脳活動検出器により検出されたユーザの脳活動を解析して前記外部のロボットに対するユーザからの動作指令を出力する指令出力部と、
    前記外部のロボット装置からの周囲の状況を示す信号に基づきユーザが認識可能な態様で出力する制御信号出力部と、
    ユーザの所定動作を検出する動作検出部と、
    前記動作検出部により前記所定動作が検出されると、前記指令出力部から出力された動作指令とは異なる動作指令を制御信号として前記通信部に出力する演算部と、を備えることを特徴とするロボット制御システム用ユーザ機器。
JP2017189798A 2017-09-29 2017-09-29 ロボット制御システム、ロボット制御方法およびロボット制御システム用ユーザ機器 Pending JP2019063905A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017189798A JP2019063905A (ja) 2017-09-29 2017-09-29 ロボット制御システム、ロボット制御方法およびロボット制御システム用ユーザ機器
CN201811082710.8A CN109571423A (zh) 2017-09-29 2018-09-17 机器人控制系统、机器人控制方法及机器人控制系统用的用户设备
US16/136,051 US11135725B2 (en) 2017-09-29 2018-09-19 Robot control system, robot control method and user apparatus for robot control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017189798A JP2019063905A (ja) 2017-09-29 2017-09-29 ロボット制御システム、ロボット制御方法およびロボット制御システム用ユーザ機器

Publications (1)

Publication Number Publication Date
JP2019063905A true JP2019063905A (ja) 2019-04-25

Family

ID=65896339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017189798A Pending JP2019063905A (ja) 2017-09-29 2017-09-29 ロボット制御システム、ロボット制御方法およびロボット制御システム用ユーザ機器

Country Status (3)

Country Link
US (1) US11135725B2 (ja)
JP (1) JP2019063905A (ja)
CN (1) CN109571423A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113885709B (zh) * 2021-10-28 2023-12-19 付文军 不在活动现场观众参与现场活动的方法和系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006289565A (ja) * 2005-04-12 2006-10-26 Japan Science & Technology Agency ロボット操作装置及びロボット
US10223710B2 (en) * 2013-01-04 2019-03-05 Visa International Service Association Wearable intelligent vision device apparatuses, methods and systems
CN102922508B (zh) * 2012-09-21 2015-01-07 西安交通大学 一种电动汽车电池换装外骨骼机器人系统
US10289204B2 (en) * 2012-11-15 2019-05-14 Quantum Interface, Llc Apparatuses for controlling electrical devices and software programs and methods for making and using same
US9283674B2 (en) * 2014-01-07 2016-03-15 Irobot Corporation Remotely operating a mobile robot
US9785247B1 (en) * 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
WO2017040867A1 (en) * 2015-09-01 2017-03-09 Quantum Interface, Llc. Apparatuses, systems and methods for constructing unique identifiers
JP2017051350A (ja) * 2015-09-08 2017-03-16 Idec株式会社 緊急処理システム
US20190054631A1 (en) * 2015-12-28 2019-02-21 Niranjan Chandrika Govindarajan System and method for operating and controlling a hyper configurable humanoid robot to perform multiple applications in various work environments
CN106737761A (zh) * 2017-03-01 2017-05-31 温州大学 一种脑控益智机器人
CN106974647A (zh) * 2017-04-01 2017-07-25 南京阿凡达机器人科技有限公司 一种脑电波头戴装置及遥控机器人和锻炼大脑的方法
US20190302903A1 (en) * 2018-03-30 2019-10-03 Microsoft Technology Licensing, Llc Six dof input device
US20200289228A1 (en) * 2019-03-15 2020-09-17 Ethicon Llc Dual mode controls for robotic surgery

Also Published As

Publication number Publication date
US20190099895A1 (en) 2019-04-04
CN109571423A (zh) 2019-04-05
US11135725B2 (en) 2021-10-05

Similar Documents

Publication Publication Date Title
JP6678832B2 (ja) 遠隔制御マニピュレータシステムおよび制御装置
WO2015083183A1 (en) Hand wearable haptic feedback based navigation device
JP2013091114A (ja) インタラクション操作システム
JP6150429B2 (ja) ロボット制御システム、ロボット、出力制御プログラムおよび出力制御方法
Noman et al. A New Design Approach for Gesture Controlled Smart Wheelchair Utilizing Microcontroller
JP7403783B2 (ja) 視覚障がい者用行動支援装置
WO2020012955A1 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3797931A1 (en) Remote control system, information processing method, and program
JP2024023193A (ja) 情報処理装置及び情報処理方法
KR20120048981A (ko) 운전자를 위한 다기능 신체착용 컴퓨터
JP6716028B2 (ja) 制御装置、情報処理システム、制御方法、及びプログラム
EP3346368B1 (en) Device, method and system for control of a target apparatus
JP2019209392A (ja) 力覚視覚化装置、ロボットおよび力覚視覚化プログラム
JP2019063905A (ja) ロボット制御システム、ロボット制御方法およびロボット制御システム用ユーザ機器
JP4793904B2 (ja) コミュニケーションロボットシステムおよびコミュニケーションロボット
Bal et al. NAVIX: a wearable navigation system for visually impaired persons
JPWO2020070839A1 (ja) ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
JP7079435B2 (ja) ロボット制御装置、ロボット制御方法及びロボット制御プログラム
JP7023971B2 (ja) サービス提供システム、サービス提供方法およびサービス提供システム用管理装置
JP6892928B2 (ja) 情報提供システム、情報提供方法および情報提供システム用管理装置
KR102301763B1 (ko) 이동로봇을 제어하기 위한 시스템 및 방법
KR101525468B1 (ko) 청각 보조시스템
WO2021101460A1 (en) Navigational assistance system with auditory augmented reality for visually impaired persons
JP7108716B2 (ja) 画像表示装置、画像表示システムおよび画像表示方法
JP2015066622A (ja) ロボット制御システム、ロボット、出力制御プログラムおよび出力制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190828

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191203