JP2016203276A - 遠隔操作システム - Google Patents

遠隔操作システム Download PDF

Info

Publication number
JP2016203276A
JP2016203276A JP2015084728A JP2015084728A JP2016203276A JP 2016203276 A JP2016203276 A JP 2016203276A JP 2015084728 A JP2015084728 A JP 2015084728A JP 2015084728 A JP2015084728 A JP 2015084728A JP 2016203276 A JP2016203276 A JP 2016203276A
Authority
JP
Japan
Prior art keywords
imaging
unit
robot
display
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015084728A
Other languages
English (en)
Other versions
JP6409667B2 (ja
Inventor
耕志 寺田
Koji Terada
耕志 寺田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2015084728A priority Critical patent/JP6409667B2/ja
Publication of JP2016203276A publication Critical patent/JP2016203276A/ja
Application granted granted Critical
Publication of JP6409667B2 publication Critical patent/JP6409667B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】ロボットによるサービスを受容する受容者が表示してほしくない箇所を、遠隔操作者に対して表示することを制限する遠隔操作システムの提供。
【解決手段】ロボット(10)と、表示部(4)とを備える遠隔操作システム(100)である。ロボット(10)は、撮像領域推定部(12c)と、領域重複判定部(12d)と、表示制限手段(12e)とを含む。撮像領域推定部(12c)は、ロボット(10)を遠隔操作する指令入力に基づいてロボット(10)を動作させるようとする場合、ロボット(10)の動作後に撮像部(11)によって撮像される撮像領域(A1)を推定する。領域重複判定部(12d)が、推定された撮像領域(A1)と撮像禁止領域(A2)とが重なるか否かを判定したとき、表示制限手段(12e)は、表示部(4)による撮像領域(A1)の表示が制限されるよう所定の処理を実行する。
【選択図】図1

Description

本発明は、遠隔操作システムに関する。
例えば、特許文献1に開示されているように、カメラを有し、自律移動するロボットと、このロボットを無線通信によって遠隔操作可能なタブレット端末とを有する遠隔操作システムがある。このような遠隔操作システムでは、カメラによって撮像された画像をタブレット端末に表示することができる。
特開2014−506023号公報
遠隔操作者は、このような遠隔操作システムを使用して、遠隔操作者から遠い使用空間において多種多様なサービスを受容者に提供することができる。このようなサービスとして、例えば、被介護者の存在する使用空間において被介護者に行う介護作業、深夜のオフィスにおいて巡回する警備作業、人の立ち入り困難な工場において行う各種作業等が挙げられる。上記した遠隔操作システムの使用中において、ロボットは、使用空間を自律移動しつつロボットの周囲を撮像し、撮像した画像は操作者のタブレット端末などの表示装置に表示される。しかし、受容者が表示装置に表示してほしくない箇所が、遠隔操作者の表示装置に表示されることがあった。
本発明は、ロボットによるサービスを受容する受容者が表示してほしくない箇所を、遠隔操作者に対して表示することを制限する遠隔操作システムを提供する。
本発明にかかる遠隔操作システムは、
撮像部を有し、使用空間において自律的に移動し、サービスを提供するロボットと、
前記撮像部によって撮像された画像を表示する表示部と、
前記ロボットを遠隔操作する指令入力を受け付ける入力部と、
前記使用空間内において前記表示部への表示が禁止された撮像禁止領域を表現する撮像禁止領域情報と、を記憶する記憶装置(例えば、地図データベース)と、を備え、
前記ロボットは、撮像領域推定部と、領域重複判定部と、表示制限手段(例えば、撮像制限部、撮像部支持部モータ、車輪モータ、画像処理部など)と、を含み、
前記撮像領域推定部は、前記ロボットを遠隔操作する前記指令入力に基づいて前記ロボットを動作させるようとする場合、前記ロボットの動作後に前記撮像部によって撮像される撮像領域を推定し、
前記領域重複判定部は、推定された前記撮像領域と、前記撮像禁止領域とが重なるか否かを判定し、
前記表示制限手段は、推定された前記撮像領域と前記撮像禁止領域とが重なると判定したとき、前記表示部による前記撮像領域の表示が制限されるよう所定の処理を実行する。
このような構成によれば、ロボットを遠隔操作しても、撮像禁止領域を表示部に表示することを制限する。そのため、受容者が表示してほしくない箇所を、遠隔操作者に対して表示することを制限する。
また、前記表示制限手段は、前記指令入力に基づく前記ロボットの移動を停止させる処理を実行することによって、前記表示部による前記撮像領域の表示を制限することを特徴としてもよい。
また、前記表示制限手段は、前記撮像領域の外を撮像するように前記撮像部の向きを変える処理を実行することによって、前記表示部による前記撮像領域の表示を制限することを特徴としてもよい。
また、前記撮像領域推定部は、前記ロボットの動作後の位置と、前記撮像部の向きとに基づいて、前記撮像領域を推定することを特徴としてもよい。
このような構成によれば、ロボットを遠隔操作しても、より確実に、ロボットが撮像禁止領域を撮像することを制限する。そのため、受容者が表示してほしくない箇所を、遠隔操作者に対して表示することを制限する。
また、前記表示制限手段は、前記撮像部によって前記撮像領域を撮像した画像を視認し難くなるように画像処理する処理を実行することによって、前記表示部による前記撮像領域の表示を制限することを特徴としてもよい。
このような構成によれば、ロボットを遠隔操作しても、撮像禁止領域を示す画像を遠隔操作者に視認し難くなるように画像処理して、表示部に表示する。そのため、受容者が表示してほしくない箇所を、遠隔操作者に対して表示することを制限する。
また、前記サービスを受容する受容者によって前記撮像禁止領域情報を入力される受容者端末をさらに備え、前記受容者端末は、前記撮像禁止領域情報を前記記憶装置に送信し、前記記憶装置は、送信された前記撮像禁止領域情報を受信することによって、前記撮像禁止領域情報を記憶することを特徴としてもよい。
このような構成によれば、受容者が自己の端末を用いて、直接、撮像禁止領域情報を記憶装置に記憶させる。そのため、受容者が表示してほしくない箇所を、遠隔操作者に対して表示することを制限する。
本発明によれば、ロボットによるサービスを受容する受容者が表示してほしくない箇所を、遠隔操作者に対して表示することを制限する遠隔操作システムを提供することができる。
実施の形態1にかかる遠隔操作システムの構成を示す概略図である。 実施の形態1にかかる遠隔操作システムの要部の構成を示すブロック図である。 実施の形態1にかかる遠隔操作システムの事前処理制御方法のフローチャートである。 実施の形態1にかかる遠隔操作システムの撮像領域と撮像禁止領域とを示す模式図である。 実施の形態1にかかる遠隔操作システムの事後処理制御方法のフローチャートである。 実施の形態1にかかる遠隔操作システムの撮像領域と撮像禁止領域とを示す模式図である。 実施の形態1にかかる遠隔操作システムの撮像領域と撮像禁止領域とを示す模式図である。 撮像した画像の一例である。 撮像した画像の一例を墨塗り処理した画像である。 撮像した画像の一例をぼかし処理した画像である。
実施の形態1.
図1及び図2を参照して、実施の形態1にかかる遠隔操作システムについて説明する。図1は、実施の形態1にかかる遠隔操作システムの構成を示す概略図である。図2は、実施の形態1にかかる遠隔操作システムの要部の構成を示すブロック図である。
図1に示すように、遠隔操作システム100は、地図データベース2と、被介護者端末3と、遠隔操作端末4と、ロボット10とを含む。遠隔操作システム100は、例えば、遠隔操作者U1が遠隔操作端末4を用いて、ロボット10を遠隔操作して、被介護者U2に介護サービスを提供するために用いられる。ここで、遠隔操作者U1は、被介護者U2を介護する介護者である。
地図データベース2は、ロボット10が自律移動する領域の地図情報を管理する記憶装置である。地図データベース2は、例えば、この地図情報を格納しつつ、検索及び抽出可能なデータベースサーバである。また、地図データベース2は、被介護者端末3、遠隔操作端末4等と、各種情報を送受信する機能を備える。
被介護者端末3は、地図を表示するとともに、被介護者U2による撮像禁止領域の入力を受け付ける表示入力部3aを含む。ここでは、表示入力部3aは、被介護者U2が手U2aを接触させることによって、撮像禁止領域の入力を受け付け、例えば、タッチパネルディスプレイである。撮像禁止領域は、被介護者U2が遠隔操作端末4に表示させたくない箇所、又は、遠隔操作端末4に表示されることを禁止された領域である。このような箇所として、例えば、被介護者U2のプライバシーやセキュリティを確保するために選択される箇所が挙げられる。このような箇所として、例えば、風呂、浴室、脱衣所、トイレなどが挙げられる。被介護者端末3は、表示入力部3aの代わりに、表示部と、ソフトキーを含む入力部とを備えてもよい。被介護者端末3は、地図データベース2と各種情報を送受信する機能を備える。被介護者端末3として、多種多様な情報端末、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等を利用することができる。
遠隔操作端末4は、ロボット10からの撮像情報を受信する。また、遠隔操作端末4は、ロボット10からの撮像情報に基づく撮像画像と、ロボット10を操作するための各種情報や画像とを表示する。また、遠隔操作端末4は、遠隔操作者U1がロボット10を遠隔操作するための指令入力を受け付けて、この指令入力をロボット10へ送信する。この指令入力の内容は、例えば、ロボット10を所定の目的地へ移動させることや、撮像部11の本体10aに対する向きを変えることである。遠隔操作端末4は、有線通信又は無線通信で、地図データベース2、ロボット10等と各種情報を送受信する機能を備える。被介護者端末3と同様に、遠隔操作端末4として、多種多様な情報端末、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等を利用することができる。なお、遠隔操作端末4の代わりに、表示装置と入力装置とを用いてもよい。表示装置として、例えば、ヘッドマウント型のバーチャルディスプレイやスマートグラスなどのウェアラブルコンピュータが挙げられる。入力装置として、例えば、ウェアラブルコンピュータや、遠隔操作者U1のジェスチャーを入力として受け付ける入力デバイスが挙げられる。例えば、遠隔操作者U1にヘッドマウント型のバーチャルディスプレイを装着させつつ、遠隔操作者U1の手元の端末や、遠隔操作者U1のジェスチャーにより、ロボット10を遠隔操作してもよい。
ロボット10は、本体10aと、撮像部支持部10bと、アーム10cと、グリッパ10dと、撮像部11とを含む。
本体10aは、ロボット10が自律的に移動するための移動機構、例えば、車輪(図示略)を、その底面近傍に備える。本体10aは、制御部12等のハードウェア構成として、例えば、CPU(Central Processing Unit)を有する演算回路と、プログラムメモリやデータメモリその他のRAM(Random Access Memory)やROM(Read Only Memory)等を有する記憶装置等を備えてもよい。また、本体10aは、ロボット10の各構成要素を動作させるための電源(図示略)を備えてもよい。
撮像部支持部10bは、本体10aの上部から延びる棒状体であり、その先端に撮像部11を支持する。撮像部支持部10bは、回動可能に本体10aの上部に支持されており、撮像部支持部10bの本体10aに対する第一関節角度は調整することができる。ここで、第一関節角度は、撮像部支持部10bと本体10aの軸との交差する角度である。第一関節角度を調整することによって、撮像部11の向きを調整する。撮像部11の撮像部支持部10bに対する角度は、所定の値となるように固定されていてもよい。
撮像部11は、例えば、CMOS(Complementary metal-oxide-semiconductor)イメージセンサ、又は、CCD(Charge-Coupled Device)イメージセンサを含む。また、撮像部11は、所定の領域を撮像し、その撮像信号を制御部12に送る。
なお、ロボット10は、本体10aと、撮像部支持部10bとだけを備えてもよい。また、ロボット10は、必要に応じて、遠隔操作者U1の顔を表示する表示部、ロボット10の周囲の音を集音するマイク、ロボット10の周囲に向けて音を発するスピーカなどを備えてもよいし、これらを代替するために、タブレット端末などの携帯情報端末を取り付けられてもよい。
次に、図2を用いてロボット10の制御構成について説明する。図2に示すように、ロボット10は、撮像部11と、制御部12と、センサ群13と、撮像部支持部モータ14aと、車輪モータ14bと、受信部15aと、送信部15bとを含む。
制御部12は、自己位置取得部12aと、関節角度取得部12bと、撮像領域推定部12cと、領域重複判定部12dとを含む。また、制御部12は、ロボット10が自律移動するように車輪モータ14b等の動作を制御するためのプログラムを備えてもよい。また、制御部12は、ロボット10が被介護者U2に介護サービスを提供するために、適宜、ロボット10の各種動作を制御するためのプログラムを備えてもよい。
自己位置取得部12aは、遠隔操作端末4からのロボット10を遠隔操作するための指令入力と、センサ群13からの測定情報とに基づいて、ロボット10の移動後の位置を演算して、取得する。
関節角度取得部12bは、遠隔操作端末4からのロボット10を遠隔操作するための指令入力と、センサ群13からの測定情報とに基づいて、ロボット10の移動後における撮像部11の本体10aに対する関節角度を演算して、取得する。ここでは、撮像部11の本体10aに対する関節角度は、撮像部の向きに相当する。
撮像領域推定部12cは、自己位置取得部12aにより取得されたロボット10の異動後の位置と、関節角度取得部12bに取得された関節角度に基づいて、撮像部11の三次元位置を演算する。撮像部11の三次元位置は、ロボット10の空間における撮像部11の位置に加えて、その高さ、及び、その向きを含む。撮像領域推定部12cは、撮像部11の三次元位置から、撮像部11が撮像する撮像領域を演算して、取得する。
領域重複判定部12dは、幾何学計算を用いて、撮像領域推定部12cに取得された撮像領域と、撮像禁止領域とが重なるか否かを判定する。
撮像制限部12eは、領域重複判定部12dにより撮像領域と撮像禁止領域とが重なると判定された場合、撮像部11による撮像領域の撮像を制限する。撮像制限部12eは、例えば、車輪モータ14bを停止させるように、車輪モータ14bへの電流の供給を停止する。このような場合、撮像制限部12eと車輪モータ14bとが表示制限手段として機能する。
センサ群13は、本体10aの車輪(図示略)の角度を計測するセンサや、撮像部支持部10bの本体10aに対する第一関節角度を計測するセンサを含み、これらのセンサが計測した情報を制御部12へ送る。また、センサ群13は、必要に応じて、レーザスキャナを備えてもよい。
撮像部支持部モータ14aは、制御部12から指令による電流を受けて、撮像部支持部10b(図1参照)を本体10aに対して所定の角度となるように回動させる。撮像部支持部モータ14aは、制御部12から指令による電流を受けて、撮像部支持部10bを駆動する。
車輪モータ14bは、制御部12から指令による電流を受けて、本体10aの車輪(図示略)を駆動する。
受信部15aは、有線通信又は無線通信によって、遠隔操作端末4(図1参照)からの送信を受信し、制御部12へ送る。送信部15bは、有線通信又は無線通信によって、制御部12からの各種情報を、遠隔操作端末4へ送る。
(事前処理制御方法)
次に、図3及び図4を用いて実施の形態1にかかる遠隔操作システムの事前処理制御方法について説明する。図3は、実施の形態1にかかる遠隔操作システムの事前処理制御方法のフローチャートである。図4は、実施の形態1にかかる遠隔操作システムの撮像領域と撮像禁止領域とを示す模式図である。この事前処理制御方法は、ロボット10を使用する前に行われる。
図3を参照して、使用空間を示す地図を、地図データベース2から取得する(地図取得ステップS1)。具体的には、使用空間を示す地図についての地図情報を、地図データベース2から被介護者端末3へ送信することで、取得する。具体的には、このような使用空間は、被介護者U2が存在する空間であり、ロボット10が自律移動する空間でもある。より具体的には、このような使用空間は、例えば、被介護者U2の自宅のフロア、病院、介護施設等である。また、地図は、例えば、被介護者U2の自宅のフロアの間取り図である。
続いて、地図を被介護者端末3(図1参照)に表示させる(地図表示ステップS2)。具体的には、地図データベース2から送信された地図情報に基づいて、地図を表示入力部3a(図1参照)に表示させる。
続いて、被介護者U2による撮像禁止領域A2の入力を受け付ける(撮像禁止領域入力ステップS3)。具体的には、図1及び図4に示すように、被介護者U2の手U2aによって、表示入力部3aに表示された地図において特定の部屋を示す範囲をタッチすることによって、撮像禁止領域A2を選択する。又は、被介護者U2の手U2aによって、表示入力部3aに表示された地図において矩形状の範囲を設定することによって、撮像禁止領域A2を選択する。
続いて、入力された撮像禁止領域A2を地図データベース2に記憶させる(撮像禁止領域記憶ステップS4)。具体的には、地図情報と撮像禁止領域A2とを関連付けて、撮像禁止領域A2を表現する撮像禁止領域情報を、被介護者端末3から地図データベース2に送る。さらに、撮像禁止領域A2を表現する撮像禁止領域情報を、地図データベース2に記憶させる。
(事後処理における制御方法)
次に、図5〜図7を用いて、実施の形態1にかかる遠隔操作システムの事後処理制御方法について説明する。図5は、実施の形態1にかかる遠隔操作システムの事後処理制御方法のフローチャートである。図6及び図7は、実施の形態1にかかる遠隔操作システムの撮像領域と撮像禁止領域とを示す模式図である。この事後処理制御方法は、上記した事前処理制御方法を行なった後で、遠隔操作者U1がロボット10を遠隔操作するときの制御方法である。
図5を参照して、地図と撮像禁止領域A2とを取得する(情報取得ステップS11)。具体的には、地図情報と、撮像禁止領域A2についての撮像禁止領域情報とを地図データベース2から遠隔操作端末4へ送る。
続いて、遠隔操作者U1によるロボット10への指令入力を受け付ける(指令ステップS12)。具体的には、遠隔操作者U1によるロボット10への指令入力を遠隔操作端末4が受け付けて、指令入力情報をロボット10へ送る。遠隔操作者U1によるロボット10への指令入力は、例えば、ロボット10の撮像部11の位置及び姿勢や、遠隔操作者U1がロボット10を移動させたい目的地である。
続いて、ロボット10の自己位置を取得する(ロボット自己位置取得ステップS13)。例えば、オドメトリを用いて、センサ群13からの車輪(図示略)の回転角度等の計測情報と、遠隔操作者U1によるロボット10への指令入力とに基づいて、ロボット10の移動後の自己位置を演算することで、取得する。また、例えば、センサ群13からの車輪(図示略)の回転角度の代わりに、レーザスキャナを用いて、ロボット10の周囲の壁等の障害物との距離を計測した計測情報を用いて、ロボット10の移動後の自己位置を演算してもよい。
続いて、撮像部11の本体10aに対する関節角度を取得する(関節角度取得ステップS14)。具体的には、撮像部支持部10bの本体10aに対する第一関節角度をセンサ群13により計測して、この第一関節角度を制御部12へ送る。この第一関節角度と、遠隔操作者U1によるロボット10への指令入力とに基づいて、ロボット10の移動後において、撮像部11の本体10aに対する関節角度を演算することで、取得する。
続いて、ロボット10の移動後の自己位置と、撮像部11の本体10aに対する関節角度とに基づいて、撮像部11の三次元位置を推定する(撮像部三次元位置ステップS15)。具体的には、順運動学を用いて、ロボット10の移動後の自己位置と、撮像部11の本体10aに対する関節角度とから、撮像部11の三次元位置を演算処理して、推定する。
続いて、撮像禁止領域A2が撮像領域A1に重なるか否かを判定する(領域重複判定ステップS16)。撮像部11の三次元位置に基づいて撮像領域A1を演算処理し、幾何学計算を用いて、撮像領域A1と撮像禁止領域A2とが重複するか否かを判定する。
図4及び図6に示すように、撮像禁止領域A2が撮像領域A1に重なる場合(YES:領域重複判定ステップS16)、撮像部11による撮像禁止領域A2の撮像を制限する。例えば、そのまま指令ステップS12に戻る。このような場合、指令ステップS12に受け付けた指令入力に基づいて、ロボット10を動作させずに、ロボット10を停止させる。つまり、指令ステップS12に受け付けた指令入力に基づく指令を、ロボット10に実行させない。これによって、遠隔操作端末4による撮像領域A1の表示が制限されることになる。
なお、この場合、「撮像禁止領域A2を撮像することを防止するために、遠隔操作者U1による指令を実行できない」との旨のメッセージを遠隔操作端末4に表示させてもよい。
一方、図7に示すように、撮像禁止領域A2が撮像領域A1に重ならない場合(NO:領域重複判定ステップS16)、指令ステップS12に受け付けた指令入力に基づいて、ロボット10を動作させる(指令実行ステップS17)。なお、この場合でも、撮像部11が撮像禁止領域A2の外を撮像するため、撮像部11が撮像禁止領域A2を撮像しない。
なお、遠隔操作者U1がロボット10の操作の継続を望まない場合、適宜、ロボット10の操作を終了させてよい。
以上より、実施の形態1にかかる遠隔操作システムによれば、撮像禁止領域への移動を制限することで、撮像禁止領域を撮像してしまうことがないため、被介護者が表示を希望しない領域を遠隔操作端末に表示させることなく、撮像することができる。また、ロボットの撮像禁止領域への移動を制限しているため、被介護者は、ロボットが撮像禁止領域を撮像する行為を見ることが無い。したがって、被介護者をより安心させることができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、実施の形態1にかかる遠隔操作システムでは、撮像禁止領域への移動を制限することによって撮像を制限したが、可視光を遮蔽する遮蔽部を備え、この遮蔽部に撮像部11、特に撮像素子を覆わせることで、撮像を制限させてもよい。
また、実施の形態1にかかる遠隔操作システムでは、撮像禁止領域への移動を制限することによって撮像を制限したが、撮像禁止領域A2と撮像領域A1とが重ならないように撮像部支持部10bの関節角度を一時的に変更してもよい。具体的には、撮像制限部12eは、撮像部11が撮像領域の外側を撮像するように、電流を撮像部支持部モータ14aに供給する。撮像部11が撮像禁止領域A2の外を撮像するため、撮像部11が撮像禁止領域A2を撮像しない。つまり、撮像部11による撮像禁止領域A2の撮像を制限する。これによって、遠隔操作端末4による撮像領域A1の表示が制限されることになる。さらに、ロボット10は撮像禁止領域A2近傍を通過して目的地に到達し得る。そのため、撮像禁止領域A2を撮像することなく、指令ステップS12に受け付けた指令入力に基づいてロボット10を動作させ得る。このような場合、撮像制限部12eと撮像部支持部モータ14aとが表示制限手段として機能する。
また、実施の形態1にかかる遠隔操作システムでは、撮像禁止領域への移動を制限したが、撮像禁止領域を撮像した画像を視認できなくなる、又は、視認し難くなるような画像処理を行って、その画像処理した画像を遠隔操作端末に表示してもよい。例えば、図8に示す撮像した画像の一例を墨塗り処理して、図9に示すように墨塗り処理した画像を遠隔操作端末に表示してもよい。また、図8に示す撮像した画像の一例をぼかし処理して、図10に示すようにぼかし処理した画像を遠隔操作端末に表示してもよい。また、ここでの画像処理方法は、ぼかし処理以外のモザイク処理であってもよい。このような画像処理を行うことによって、遠隔操作端末による撮像領域の表示が制限されることになる。このような画像処理を行う場合、ロボット10(図2参照)の制御部12は、画像処理部を備えてもよい。この画像処理部と、撮像制限部12eとが表示制限手段として機能する。
このような場合では、ロボット10は撮像禁止領域A2(図4参照)近傍を通過して目的地に到達し得る。そのため、撮像禁止領域A2を撮像することなく、指令ステップS12に受け付けた指令入力に基づいてロボット10を動作させ得る。
また、撮像禁止領域A2と、撮像をしてもよい撮像可能領域(図示略)とを含む領域を撮像し、撮像した画像を遠隔操作端末4(図1参照)に表示させる場合がある。この撮像した画像は、撮像可能領域を示す撮像可能部(図示略)と、撮像禁止領域A2を示す撮像禁止部(図示略)とを含む。
このような場合、撮像可能部を画像処理することなく撮像禁止部のみを画像処理して、その画像処理した画像を遠隔操作端末4に表示してもよい。
このような表示を行なうことによって、撮像禁止部、及び、撮像可能部を含む画像全体を遠隔操作端末4に表示することができる。これによって、撮像禁止領域A2に隣接した撮像可能領域を撮像しても、撮像禁止領域A2を撮像しないように撮像部を動かすことが無いので、撮像可能部を遠隔操作端末4(図1参照)の表示部の中央近傍に表示させることができる。言い換えると、撮像可能領域が、遠隔操作端末4(図1参照)の表示部の端に限定して表示されることが無い。撮像可能部を遠隔操作端末4の中央近傍に表示させることによって、撮像可能部を操作者に容易に確認させることができ、高い利便性を操作者に与える。特に、撮像禁止領域が撮像可能領域と比較して狭い場合、このような利便性は高い。
また、実施の形態1にかかる遠隔操作システムでは、撮像部支持部10bを本体10aに対して回動させることで撮像部11の向きを調整したが、撮像部11を撮像部支持部10bに対して回動させることで撮像部11の向きを調整してもよい。また、撮像部支持部10bを本体10aに対して回動させるとともに、撮像部11を撮像部支持部10bに対して回動させることで、撮像部11の向きを調整してもよい。このような調整を行う場合、遠隔操作システム100は撮像部11を撮像部支持部10bに対して回動させるモータを含んでよく、また、センサ群13は、撮像部11の撮像部支持部10bに対する関節角度を計測するセンサを含んでもよい。
また、実施の形態1にかかる遠隔操作システムでは、撮像部11の本体10aに対する角度が固定されている場合など、適宜、関節角度取得部12b、撮像部支持部モータ14aを省略してもよい。
また、実施の形態1にかかる遠隔操作システムは、ロボットによる介護サービスを被介護者に提供するために使用した例について説明したが、ロボットによる多種多様なサービスを受容者に提供するために使用してもよい。
例えば、実施の形態1にかかる遠隔操作システムは、オフィスにおいてロボットによる警備サービスを提供するために使用してもよい。このような使用の場合、例えば、警備サービスを受容する受容者が、あらかじめ、オフィス内における撮像禁止領域を指定しておき、警備業者が、ロボットを遠隔操作し、深夜等のオフィス内において警備作業を行う。撮像禁止領域は、例えば、机の上であり、この机の上には、機密情報を記載した書類が置かれることがある。これによって、機密情報を保護しつつロボットによる警備サービスを提供することができる。
また、実施の形態1にかかる遠隔操作システムは、工場においてロボットによる各種サービスを提供するために使用してもよい。このような使用の場合、例えば、工場に所属する者が、あらかじめ、工場の外部の者に見られたくない箇所を撮像禁止領域として指定しておき、工場の外部の者が、ロボットを遠隔操作し、工場内において各種作業を行う。この工場の外部の者に見られたくない箇所は、例えば、工場内の機密情報を示す箇所や、ロボットによる各種サービスに関係ない箇所である。
100 遠隔操作システム
2 地図データベース 3 被介護者端末
4 遠隔操作端末 10 ロボット
11 撮像部
12c 撮像領域推定部 12d 領域重複判定部
12e 撮像制限部
A1 撮像領域 A2 撮像禁止領域

Claims (6)

  1. 撮像部を有し、使用空間において自律的に移動し、サービスを提供するロボットと、
    前記撮像部によって撮像された画像を表示する表示部と、
    前記ロボットを遠隔操作する指令入力を受け付ける入力部と、
    前記使用空間内において前記表示部への表示が禁止された撮像禁止領域を表現する撮像禁止領域情報を記憶する記憶装置と、を備え、
    前記ロボットは、撮像領域推定部と、領域重複判定部と、表示制限手段と、を含み、
    前記撮像領域推定部は、前記ロボットを遠隔操作する前記指令入力に基づいて前記ロボットを動作させるようとする場合、前記ロボットの動作後に前記撮像部によって撮像される撮像領域を推定し、
    前記領域重複判定部は、推定された前記撮像領域と、前記撮像禁止領域とが重なるか否かを判定し、
    前記表示制限手段は、推定された前記撮像領域と前記撮像禁止領域とが重なると判定したとき、前記表示部による前記撮像領域の表示が制限されるよう所定の処理を実行する遠隔操作システム。
  2. 前記表示制限手段は、前記指令入力に基づく前記ロボットの移動を停止させる処理を実行することによって、前記表示部による前記撮像領域の表示を制限する
    ことを特徴とする請求項1に記載の遠隔操作システム。
  3. 前記表示制限手段は、前記撮像領域の外を撮像するように前記撮像部の向きを変える処理を実行することによって、前記表示部による前記撮像領域の表示を制限する
    ことを特徴とする請求項1に記載の遠隔操作システム。
  4. 前記表示制限手段は、前記撮像部によって前記撮像領域を撮像した画像を視認し難くなるように画像処理する処理を実行することによって、前記表示部による前記撮像領域の表示を制限する
    ことを特徴とする請求項1に記載の遠隔操作システム。
  5. 前記サービスを受容する受容者によって前記撮像禁止領域情報を入力される受容者端末をさらに備え、
    前記受容者端末は、前記撮像禁止領域情報を前記記憶装置に送信し、
    前記記憶装置は、送信された前記撮像禁止領域情報を受信することによって、前記撮像禁止領域情報を記憶する
    ことを特徴とする請求項1〜4のいずれか1項に記載の遠隔操作システム。
  6. 前記撮像領域推定部は、前記ロボットの動作後の位置と、前記撮像部の向きとに基づいて、前記撮像領域を推定する
    ことを特徴とする請求項1〜5のいずれか1項に記載の遠隔操作システム。
JP2015084728A 2015-04-17 2015-04-17 遠隔操作システム Active JP6409667B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015084728A JP6409667B2 (ja) 2015-04-17 2015-04-17 遠隔操作システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015084728A JP6409667B2 (ja) 2015-04-17 2015-04-17 遠隔操作システム

Publications (2)

Publication Number Publication Date
JP2016203276A true JP2016203276A (ja) 2016-12-08
JP6409667B2 JP6409667B2 (ja) 2018-10-24

Family

ID=57486415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015084728A Active JP6409667B2 (ja) 2015-04-17 2015-04-17 遠隔操作システム

Country Status (1)

Country Link
JP (1) JP6409667B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019062308A (ja) * 2017-09-25 2019-04-18 富士ゼロックス株式会社 カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム
JP2019219736A (ja) * 2018-06-15 2019-12-26 株式会社デンソーウェーブ 監視システム
JP2020021148A (ja) * 2018-07-30 2020-02-06 トヨタ自動車株式会社 画像処理装置、画像処理方法
KR20200019119A (ko) * 2017-04-04 2020-02-21 도요타 리서치 인스티튜트, 인코퍼레이티드 원격 제어 가능 로봇에 로봇 작동 제한사항을 제공하는 방법 및 시스템
EP3706414A4 (en) * 2017-10-30 2020-09-09 Amicro Semiconductor Co., Ltd. VIDEO SURVEILLANCE PROCESS FOR MOBILE ROBOTS
JP2020175453A (ja) * 2019-04-15 2020-10-29 株式会社Ihi 遠隔操作装置
WO2023053521A1 (ja) * 2021-09-30 2023-04-06 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、情報処理システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002085305A (ja) * 2000-09-12 2002-03-26 Toshiba Tec Corp ロボットクリーナ及びロボットクリーナシステム
JP2003291084A (ja) * 2002-03-28 2003-10-14 Toshiba Corp ロボット並びにロボットの視野制御装置及び方法
WO2009011380A1 (ja) * 2007-07-19 2009-01-22 Nec Corporation センシング装置、システム、制御方法、及び制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002085305A (ja) * 2000-09-12 2002-03-26 Toshiba Tec Corp ロボットクリーナ及びロボットクリーナシステム
JP2003291084A (ja) * 2002-03-28 2003-10-14 Toshiba Corp ロボット並びにロボットの視野制御装置及び方法
WO2009011380A1 (ja) * 2007-07-19 2009-01-22 Nec Corporation センシング装置、システム、制御方法、及び制御プログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110891740B (zh) * 2017-04-04 2023-05-05 丰田研究所股份有限公司 用于为远程可控机器人提供机器人操作约束的方法和系统
KR20200019119A (ko) * 2017-04-04 2020-02-21 도요타 리서치 인스티튜트, 인코퍼레이티드 원격 제어 가능 로봇에 로봇 작동 제한사항을 제공하는 방법 및 시스템
CN110891740A (zh) * 2017-04-04 2020-03-17 丰田研究所股份有限公司 用于为远程可控机器人提供机器人操作约束的方法和系统
JP2020515425A (ja) * 2017-04-04 2020-05-28 トヨタ リサーチ インスティテュート,インコーポレイティド リモート制御可能なロボットのロボット作動制約を提供する方法およびシステム
KR102329067B1 (ko) * 2017-04-04 2021-11-22 도요타 리서치 인스티튜트, 인코퍼레이티드 원격 제어 가능 로봇에 로봇 작동 제한사항을 제공하는 방법 및 시스템
JP7180063B2 (ja) 2017-09-25 2022-11-30 富士フイルムビジネスイノベーション株式会社 カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム
JP2019062308A (ja) * 2017-09-25 2019-04-18 富士ゼロックス株式会社 カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム
US11151281B2 (en) * 2017-10-30 2021-10-19 Amicro Semiconductor Co., Ltd. Video monitoring method for mobile robot
EP3706414A4 (en) * 2017-10-30 2020-09-09 Amicro Semiconductor Co., Ltd. VIDEO SURVEILLANCE PROCESS FOR MOBILE ROBOTS
JP7052583B2 (ja) 2018-06-15 2022-04-12 株式会社デンソーウェーブ 監視システム
JP2019219736A (ja) * 2018-06-15 2019-12-26 株式会社デンソーウェーブ 監視システム
DE102019117254B4 (de) * 2018-07-30 2020-11-26 Toyota Jidosha Kabushiki Kaisha Bildverarbeitungsvorrichtung, Verfahren zur Bildverarbeitung
JP7035886B2 (ja) 2018-07-30 2022-03-15 トヨタ自動車株式会社 画像処理装置、画像処理方法
JP2020021148A (ja) * 2018-07-30 2020-02-06 トヨタ自動車株式会社 画像処理装置、画像処理方法
US11715047B2 (en) 2018-07-30 2023-08-01 Toyota Jidosha Kabushiki Kaisha Image processing apparatus, image processing method
JP2020175453A (ja) * 2019-04-15 2020-10-29 株式会社Ihi 遠隔操作装置
WO2023053521A1 (ja) * 2021-09-30 2023-04-06 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、情報処理システム

Also Published As

Publication number Publication date
JP6409667B2 (ja) 2018-10-24

Similar Documents

Publication Publication Date Title
JP6409667B2 (ja) 遠隔操作システム
CN110888428B (zh) 移动机器人、远程终端、计算机可读介质、控制系统、控制方法
US20110288417A1 (en) Mobile videoconferencing robot system with autonomy and image analysis
JP4386367B2 (ja) コミュニケーションロボット改良システム
TW201622916A (zh) 機器人及其控制方法
JP5246162B2 (ja) センシング装置、システム、制御方法、及び制御プログラム
JP5326794B2 (ja) 遠隔操作システム及び遠隔操作方法
JP6239164B2 (ja) 空気調和システム
JP2021010101A (ja) 遠隔作業支援システム
JP7035886B2 (ja) 画像処理装置、画像処理方法
CN114391777A (zh) 清洁机器人的障碍躲避方法、装置、电子设备及介质
JP2022141639A (ja) 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム
JP2016197797A (ja) 画像処理装置、画像処理方法、及び画像処理システム
JP2019046159A (ja) カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム
JP2014062932A (ja) 姿勢制御装置、操作装置、姿勢制御システム、制御方法、制御プログラム、記録媒体
JP2016225875A (ja) 移動装置操作端末、移動装置操作方法及び移動装置操作プログラム
JP2019101476A (ja) 操作案内システム
JP6895090B2 (ja) 検知システムおよび検知システムの表示処理方法
KR102553830B1 (ko) 카메라를 이용한 실시간 로봇 원격 제어 방법 및 장치
KR102549631B1 (ko) 신체 일부의 자세 및 장치의 기울기를 이용한 실시간 작업 장치 및 카메라 제어 방법 및 장치
JP2015139124A (ja) 画像生成装置、画像生成システム、画像生成方法、及びプログラム
JP2020051856A (ja) カメラのキャリブレーション方法および装置
CN115225682B (zh) 管理服务器、远程操作系统、远程操作方法以及存储介质
JP2020039097A (ja) 原稿読取システム
JP2024062675A (ja) 録画制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180910

R151 Written notification of patent or utility model registration

Ref document number: 6409667

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151