JP2019133450A - 移動ロボット及び移動ロボットの制御方法 - Google Patents

移動ロボット及び移動ロボットの制御方法 Download PDF

Info

Publication number
JP2019133450A
JP2019133450A JP2018015677A JP2018015677A JP2019133450A JP 2019133450 A JP2019133450 A JP 2019133450A JP 2018015677 A JP2018015677 A JP 2018015677A JP 2018015677 A JP2018015677 A JP 2018015677A JP 2019133450 A JP2019133450 A JP 2019133450A
Authority
JP
Japan
Prior art keywords
mobile robot
control circuit
unit
display
cleaner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018015677A
Other languages
English (en)
Other versions
JP7108861B2 (ja
Inventor
津坂 優子
Yuko Tsusaka
優子 津坂
中田 幹也
Mikiya Nakada
幹也 中田
宏樹 竹内
Hiroki Takeuchi
宏樹 竹内
忠大 谷口
Tadahiro Taniguchi
忠大 谷口
良信 萩原
Yoshinobu Hagiwara
良信 萩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018015677A priority Critical patent/JP7108861B2/ja
Priority to US16/256,333 priority patent/US11886186B2/en
Priority to CN201910095184.7A priority patent/CN110091326B/zh
Publication of JP2019133450A publication Critical patent/JP2019133450A/ja
Priority to JP2022001702A priority patent/JP7442063B2/ja
Application granted granted Critical
Publication of JP7108861B2 publication Critical patent/JP7108861B2/ja
Priority to US18/529,222 priority patent/US20240118700A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0044Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0033Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3614Destination input or retrieval through interaction with a road map, e.g. selecting a POI icon on a road map
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/362Destination input or retrieval received from an external device or application, e.g. PDA, mobile phone or calendar application
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • G01C21/3676Overview of the route on the road map
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G05D1/222
    • G05D1/223
    • G05D1/225
    • G05D1/646
    • G05D1/648
    • G05D1/65

Abstract

【課題】 移動ロボットの移動予定経路をユーザが手元の端末装置で容易に理解でき、経路変更も容易に行え、利便性の高い移動ロボット及び移動ロボットの制御方法を提供する。【解決手段】 端末装置120は、カメラ129と、自律走行する移動ロボット1を含む表示画面を表示するディスプレイ119と、制御回路2とを備える。制御回路は、移動ロボットの第1予定経路を取得し、カメラで撮像されたカメラ画像に、第1の予定経路が重畳されている画面をディスプレイに表示させ、画面が表示されているディスプレイ上への接触点を検知し、接触点を走行する移動ロボットの第2予定経路を生成し、移動ロボットに第2予定経路を送信する。【選択図】図1

Description

本開示は、移動ロボット及び移動ロボットの制御方法に関する。
特許文献1は、移動領域に応じた移動経路を生成する移動経路作成装置が開示されている。具体的には、移動経路作成装置は、移動ロボットが移動できない領域の情報を用いて、移動経路を生成している。
特開2006−277121号公報
「移動ロボットの環境認識−地図構築と自己位置推定」、著者 友納正裕、システム制御情報学会発行の学会誌「システム/制御/情報」vol. 60, No.12, pp. 509-514, 2016
特許文献1には、生成された予定経路を表示ユニットに表示することは開示されているが、この予定経路を変更する場合に、所定の質問に応答する範囲でしか変更できず、任意の方向には予定経路変更ができず、不便なのもであった。
本開示は、移動ロボットの予定経路をユーザが手元の端末装置で容易に理解でき、予定経路変更も容易に行え、利便性の高い移動ロボット及び移動ロボットの制御方法を提供する。
本開示の一態様にかかる移動ロボットの制御方法は、
端末装置を用いた移動ロボットの制御方法であって、
前記端末装置は、
カメラと、
自律走行する前記移動ロボットを含む表示画面を表示するディスプレイと、
第1の制御回路とを備え、
前記第1の制御回路は、
(a1)前記移動ロボットの第1の予定経路を取得し、
(a2)前記カメラで撮像されたカメラ画像に、前記第1の予定経路が重畳されている第1の画面を前記ディスプレイに表示させ、
(a3)前記第1の画面が表示されている前記ディスプレイ上への接触点を検知し、前記接触点を走行する前記移動ロボットの第2の予定経路を生成し、
(a4)前記移動ロボットに前記第2の予定経路を送信するように制御する、
移動ロボットの制御方法。
これらの概括的かつ特定の態様は、システム、方法、コンピュータプログラム並びにシステム、方法及びコンピュータプログラムの任意の組み合わせにより実現してもよい。
本開示の前記態様によれば、移動ロボットの予定経路をユーザが手元の端末装置で容易に理解でき、予定経路変更も容易に行え、利便性の高い移動ロボット及びその制御方法を提供することができる。
実施形態1の移動ロボットと端末装置とを示す移動ロボットの制御システム構成図 図1の移動ロボットの制御システムの全体構成のブロック図 図2の移動ロボットのブロック図 図2の移動ロボットの制御部のブロック図 移動ロボットのデータベースに記録される地図情報の例を示す図 移動ロボットのデータベースに記録される予定経路情報の例を示す図 移動ロボットのデータベースに記録される移動ロボットの自己位置情報の例を示す図 地図情報の具体例を示す図 地図情報の別の具体例において、移動ロボットが掃除機のときの掃除済の領域を含む図 図2の端末装置のブロック図 図2の端末装置の座標変換部のブロック図 実施形態1の変形例にかかる端末装置のブロック図 図2の端末装置のデータベースに記録される地図情報の例を示す図 図2の端末装置のデータベースに記録される予定経路情報の例を示す図 図2の端末装置のデータベースに記録される移動ロボットの自己位置情報の例を示す図 移動ロボットの例として掃除機が部屋内で移動する移動空間の一例を示す図 移動ロボットの制御システムで第1動作(1)を実施するときの説明図 移動ロボットの制御システムで第1動作(1)及び(2)を実施するときのフローチャート 移動ロボットの制御システムで第2動作(2)を実施するときの説明図 移動ロボットの制御システムで第3動作(3)を実施するときの説明図 移動ロボットの制御システムで第3動作(3)を実施するときのフローチャート ユーザが端末装置のディスプレイの地図上で移動ロボットの目標位置をタッチ又はクリックしたときの図 図17の後、最初に表示されていた第1の予定経路とは異なる第2の予定経路を自動的に生成して表示するときの図 ユーザが端末装置のディスプレイの地図上で移動ロボットの目標位置を直線的にスワイプしたときの図 具体的な例において、ユーザが端末装置のディスプレイの地図上で移動ロボットの目標位置をスワイプして、第1の予定経路を第2の予定経路に変更するときの図 図19の後、最初に表示されていた第1の予定経路とは異なる第2の予定経路を自動的に生成して表示するときの図 ユーザが端末装置のディスプレイの地図上で移動ロボットの目標位置を渦巻き状にスワイプしたときの図 図22の後、最初に表示されていた第1の予定経路とは異なる第2の予定経路を自動的に生成して表示するときの図 移動ロボットが端末装置のディスプレイに写っているとき、移動ロボットの速度は、掃除動作時の速い速度とする図 移動ロボットが端末装置のディスプレイに写っていないとき、移動ロボットの速度は掃除動作時の速度よりも遅い速度とする図 移動ロボットが端末装置のディスプレイに写っていないとき、表示画面に、移動ロボットの存在する方向を矢印で表示する図 移動ロボットの制御システムで第4動作(4)を実施するときのフローチャート 掃除前の状態で、予定経路の掃除計画をディスプレイに表示するときの説明図 掃除中の状態で、掃除機に備え付けられたゴミ検出センサで検出した値、障害物、スタックしたかどうかをディスプレイに表示するときの説明図 掃除後の状態で、掃除結果(例えば、掃除した場所、掃除時間)をディスプレイに表示するときの説明図 移動ロボットの制御システムで第5動作(5)を実施するときのフローチャート 図11の移動ロボットの移動空間をカメラで撮影したカメラ画像の表示例を白黒で示す図 図28Aに第1の予定経路を重畳してディスプレイに表示するときの図 座標変換部でロボット座標系と端末装置座標系との間で座標変換することを説明する図 端末装置のカメラで撮影した移動ロボットと床の画像をディスプレイに表示すると同時に、その画像に、移動ロボットに記録されている地図情報をその画像に重ねて表示する図 図30に予定経路情報をさらに含めて表示する図 本開示の実施形態1の掃除機の平面図 図32の掃除機の底面図 図32の掃除機正面図 図32の掃除機の側面図 図32の掃除機の機能ブロック図 図32の掃除機のセンサ部のブロック図 本開示の実施形態1の変形例にかかる掃除機の平面図 変形例にかかる掃除機の底面図
以下に、本開示にかかる実施の形態を図面に基づいて詳細に説明する。
以下、図面を参照して本開示における実施形態を詳細に説明する前に、本開示の種々の態様について説明する。
本開示の第1の態様によれば、
端末装置を用いた移動ロボットの制御方法であって、
前記端末装置は、
カメラと、
自律走行する前記移動ロボットを含む表示画面を表示するディスプレイと、
第1の制御回路とを備え、
前記第1の制御回路は、
(a1)前記移動ロボットの第1の予定経路(すなわち、移動予定経路)を取得し、
(a2)前記カメラで撮像されたカメラ画像に、前記第1の予定経路が重畳されている第1の画面を前記ディスプレイに表示させ、
(a3)前記第1の画面が表示されている前記ディスプレイ上への接触点を検知し、前記接触点を走行する前記移動ロボットの第2の予定経路(例えば、第1の予定経路とは異なる移動予定経路)を生成し、
(a4)前記移動ロボットに前記第2の予定経路を送信するように制御する、
移動ロボットの制御方法を提供する。
前記態様によれば、移動ロボットの予定経路をユーザが手元の端末装置で容易に理解でき、予定経路変更も容易に行え、利便性が高いといった効果がある。
本開示の第2の態様によれば、
前記第1の制御回路は、
前記第1の画面は、前記第1の又は第2の予定経路として、前記移動ロボットの進行方向を示す図形と移動予定領域とが重畳されているように制御する、
第1の態様に記載の移動ロボットの制御方法を提供する。
前記態様によれば、移動ロボットの予定経路と移動予定領域をユーザが手元の端末装置で容易に理解できるといった効果がある。
本開示の第3の態様によれば、
前記移動ロボットは掃除機であり、
前記掃除機は、
底面に吸込口を有する掃除機本体と、
前記掃除機本体に配置される吸引部と、
前記掃除機本体に配置され、前記掃除機の走行を駆動する駆動部と、
第2の制御回路とを備え、
前記第2の制御回路は、前記吸引部と前記駆動部とをそれぞれ制御して移動しつつ掃除を行い、前記掃除機により掃除が完了した領域の情報を前記第1の制御回路に送信し、
前記第1の制御回路は、前記第2の制御回路から、前記掃除が完了した領域の情報を受け取ったのち、前記第1の画面は、さらに、前記掃除機により前記掃除が完了した領域が重畳されているように制御する、
第1の態様に記載の移動ロボットの制御方法を提供する。
前記態様によれば、移動ロボットの掃除完了領域をユーザが手元の端末装置で容易に理解できるといった効果がある。
本開示の第4の態様によれば、
前記第1の制御回路は、
前記(a3)において、前記接触点として複数の接触点を含むスワイプ動作を検知した場合、前記複数の接触点のうちの、前記スワイプ動作に含まれる最初の接触点から、前記スワイプ動作に含まれる最後の接触点に向かう進行方向を有する前記第2の予定経路を生成するように制御する、
第1の態様に記載の移動ロボットの制御方法を提供する。
前記態様によれば、移動ロボットの予定経路をユーザが手元の端末装置で直感的に予定経路変更が容易に行え、利便性が高いといった効果がある。
本開示の第5の態様によれば、
前記第1の制御回路は、
前記(a3)において、前記接触点として複数の接触点を含むスワイプ動作を検知した場合、前記移動ロボットの位置から、前記スワイプ動作に含まれる前記複数の接触点のうちの最後の接触点に向かう進行方向を有する前記第2の予定経路を生成するように制御する、
第1の態様に記載の移動ロボットの制御方法を提供する。
前記態様によれば、移動ロボットの予定経路をユーザが手元の端末装置で直感的に予定経路変更が容易に行え、利便性が高いといった効果がある。
本開示の第6の態様によれば、
前記第1の制御回路は、
前記(a3)において、前記スワイプ動作を第1の閾値以上の時間だけ検知した場合、前記複数の接触点のうちの、前記スワイプ動作の最後から所定時間前の接触点から、前記スワイプ動作に含まれる最後の接触点に向かう進行方向を有する前記第2の予定経路を生成するように制御する、
第4の態様に記載の移動ロボットの制御方法を提供する。
前記態様によれば、移動ロボットの予定経路をユーザが手元の端末装置で直感的に予定経路変更が容易に行え、利便性が高いといった効果がある。
本開示の第7の態様によれば、
前記(a3)において、前記接触点として複数の接触点を含むスワイプ動作を前記第1の制御回路で検知した場合、前記スワイプ動作に含まれる前記複数の接触点のそれぞれを通る線分に基づいて、前記第2の制御回路で前記移動ロボットの向きを変更する前記第2の予定経路を生成するように制御する、
第1の態様に記載の移動ロボットの制御方法を提供する。
前記態様によれば、移動ロボットの予定経路をユーザが手元の端末装置で直感的に予定経路変更が容易に行え、利便性が高いといった効果がある。
本開示の第8の態様によれば、
前記(a3)において、前記接触点として複数の接触点を含むスワイプ動作を前記第1の制御回路で検知したとき、
前記スワイプ動作が前記画面上において直線である場合、前記移動ロボットの位置から、前記スワイプ動作に含まれる前記複数の接触点のうちの最後の接触点に向かう進行方向を有する前記第2の予定経路を生成し、
前記スワイプ動作が前記画面上において曲線である場合、前記スワイプ動作に含まれる複数の接触点のそれぞれを通る線分に基づいて、前記移動ロボットの向きを変更するように湾曲した前記第2の予定経路を前記第2の制御回路で生成するように制御する、
第1の態様に記載の移動ロボットの制御方法を提供する。
前記態様によれば、移動ロボットの予定経路をユーザが手元の端末装置で直感的に予定経路変更が容易に行え、利便性が高いといった効果がある。
本開示の第9の態様によれば、
前記第1の制御回路で前記接触点を検知した時点の前記第1の画面において、前記第1の予定経路と重複しない前記第2の予定経路を前記第2の制御回路で生成するように制御する、
第1の態様に記載の移動ロボットの制御方法を提供する。
前記態様によれば、移動ロボットの予定経路をユーザが手元の端末装置で直感的に予定経路変更が容易に行え、利便性が高いといった効果がある。
本開示の第10の態様によれば、
前記移動ロボットは、第2の制御回路を備え、
前記第1の制御回路は、
(a5)前記第1の制御回路で前記カメラ画像に前記掃除機を含まないと判断した場合、前記第2の制御回路に、前記掃除機の速度を掃除動作時の速度よりも小さくする第1の指示を送信するように制御する、
第3の態様に記載の移動ロボットの制御方法を提供する。
前記態様によれば、ユーザが端末装置で移動ロボットが容易に撮影できるといった効果がある。
本開示の第11の態様によれば、
前記第1の制御回路は、
(a6)前記(a5)の後に前記カメラで撮像した前記カメラ画像に、前記移動ロボットが含まれたと判断した場合、前記第2の制御回路に、前記第1の指示の解除を送信して前記掃除機の速度を前記掃除動作時の速度に戻すように制御する、
第10の態様に記載の移動ロボットの制御方法を提供する。
前記態様によれば、ユーザが端末装置で移動ロボットが容易に撮影できるように減速した速度を簡単に戻すことができるといった効果がある。
本開示の第12の態様によれば、
前記移動ロボットは、
さらに、前記移動ロボットの位置を取得する第1のセンサを備え、
(a7)前記第1の制御回路は、前記カメラ画像に前記掃除機を含まないと判断した場合、前記第2の制御回路から、前記第1のセンサで検出される前記掃除機本体の位置を取得し、
(a8)前記第1の制御回路は、前記カメラ画像に、前記掃除機本体が位置する方向が重畳されている第2の画面を、前記ディスプレイに表示させるように制御する、
第10の態様に記載の移動ロボットの制御方法を提供する。
前記態様によれば、ユーザが端末装置で移動ロボットが容易に撮影できるように移動ロボットの方向を確認することができるといった効果がある。
本開示の第13の態様によれば、
前記(a8)の後に、前記第1の制御回路は、前記カメラ画像に前記掃除機を含むと判断した場合、前記第1の制御回路は、前記カメラ画像に重畳されている、前記掃除機本体が位置する方向の表示を消すように制御する、
第12の態様に記載の移動ロボットの制御方法を提供する。
前記態様によれば、ユーザが端末装置で移動ロボットが容易に撮影できるように移動ロボットの方向を確認した後、その方向表示を簡単に消すことができるといった効果がある。
本開示の第14の態様によれば、
端末装置を用いた移動ロボットの制御方法であって、
前記端末装置は、
カメラと、
自律走行する移動ロボットを含む表示画面を表示するディスプレイと、
第1の制御回路とを備え、
前記掃除機は、
底面に吸込口を有する掃除機本体と、
前記掃除機本体に配置される吸引部と、
前記掃除機本体に配置され、前記掃除機の走行を駆動する駆動部と、
第2の制御回路とを備え、
前記第1の制御回路は、
(b1)前記第2の制御回路から、前記掃除機の掃除前の状態、掃除中の状態、及び前記掃除後の状態の少なくとも1つの掃除状態を受け付け、
(b2)前記第2の制御回路から、前記掃除機の第1の予定経路、前記吸引部が吸引したごみの量、及び前記掃除機が掃除が完了した領域の少なくとも1つを受け付け、
(b3)前記掃除前の状態を受け付けているとき、前記第1の予定経路が重畳されている第1の画面を前記ディスプレイに表示させ、
前記掃除中の状態を受け付けているとき、前記カメラで撮像されたカメラ画像と、前記吸引部が吸引したごみの量とを含む第3の画面を前記ディスプレイに表示させ、
前記掃除後の状態を受け付けているとき、前記カメラ画像と、前記掃除機により掃除が完了した領域を含む第4の画面を前記ディスプレイに表示させるように制御する、
移動ロボットの制御方法を提供する。
前記態様によれば、ユーザが端末装置で移動ロボットの状態を容易に確認することができるといった効果がある。
本開示の第15の態様によれば、
端末装置と、前記端末装置を用いて制御される移動ロボットとを備える移動ロボットの制御システムであって、
前記端末装置は、
カメラと、
自律走行する前記移動ロボットを含む表示画面を表示するディスプレイと、
第1の制御回路とを備え、
前記移動ロボットは、
第2の制御回路を備え、
前記第1の制御回路は、
(a1)前記移動ロボットの第1の予定経路を取得する通信部と、
(a2)前記カメラで撮像されたカメラ画像に、前記第1の予定経路が重畳されている第1の画面を前記ディスプレイに表示させる提示部と、
(a3)前記第1の画面が表示されている前記ディスプレイ上への接触点を検知する入力検知部とを備え、
前記第2の制御回路は、
前記入力検知部で検知した前記接触点を走行する前記移動ロボットの第2の予定経路を生成する情報生成部と、
(a4)前記移動ロボットに前記第2の予定経路を送信する通信部とを備える、
移動ロボットの制御システム。
前記態様によれば、移動ロボットの予定経路をユーザが手元の端末装置で容易に理解でき、予定経路変更も容易に行え、利便性が高いといった効果がある。
(実施形態1)
以下、図面を参照しながら、本開示の実施の形態を説明する。
図1及び図2に、実施形態1の移動ロボット1の制御方法を実施する移動ロボットの制御システムを示す。制御システムは、移動ロボット1と、端末装置120とを備える。ユーザは、端末装置120を用いて、移動ロボット1の移動を制御できる。移動ロボット1の例は、ロボット掃除機、搬送ロボットを含む。端末装置120の一例は、PC、タブレット、スマートフォンを含む。図2に示すように、移動ロボット1と、端末装置120とは、有線又は無線で情報を送受信する。
端末装置120は、カメラ129と、後述する入力検知部119bを有するディスプレイ119とを有する。カメラ129の一例はRGBカメラである。端末装置120は、ディスプレイ119を有する表面にカメラ129を有しても良いし、裏面にカメラ129を有していても良い。ディスプレイ119の例としては、タッチパネルである。タッチパネルは、液晶パネルの表示装置と、入力検知部119bの例としてのタッチパッドの接触点検知装置とを組み合わせた電子部品である。入力検知部119bは、ディスプレイ119上への接触点を検知可能とする。ディスプレイ119には、公知のタッチパネルが利用され、抵抗膜方式、静電容量方式、超音波表面弾性波方式を含む方法により、接触点を検知する。端末装置120は、カメラ129で撮影された移動ロボット1の画像を含む画面119aをディスプレイ119に表示する。
画面119aは、カメラ129で撮影されるカメラ画像に、移動ロボット1の情報が重畳された画像である。言い換えると、画面119aには、カメラ画像と、移動ロボット1の情報とが含まれる。画面119aは、第1の画面とも表記される。また、移動ロボット1の情報の例は後述される。ディスプレイ119に表示される画面119aは、いわゆる拡張現実(Augmented Reality:AR)に相当する画面である。
ユーザは、例えば、端末装置120の位置又は向きを変更することにより、カメラ129により移動ロボット1を撮像できる。言い換えると、ユーザは、端末装置120の位置又は向きを変更することでカメラ129の撮影範囲を変更することにより、カメラ129を用いて移動ロボット1を撮像する。また、ユーザは、ディスプレイ119のタッチパネルに接触することにより、移動ロボット1の移動経路を変更することができる。ユーザのタッチパネルへの接触を、ユーザの操作とも読み替えることができる。移動ロボット1及び端末装置120のそれぞれの構成要素は後述する。
(移動ロボット1の機能ブロック図)
図3Aに、移動ロボット1の機能ブロック図を示す。移動ロボット1は、制御回路2と、駆動部3と、データベース5と、距離センサ11とを少なくともロボット本体12に備える。
ロボット本体12は移動ロボット1の筐体に相当する。なお、データベース5は、ロボット本体12内に配置されていなくても、その一部又は全部をロボット本体12の外部に位置しても良い。このとき、移動ロボット1は、通信部19を介して、ロボット本体12の外部のデータベース5とアクセスする。
(制御回路2)
制御回路2は、入出力部6と、情報生成部7と、タイマー8と、制御部9と、通信部19とを有する。以下、後述する端末装置120の制御回路121を第1の制御回路とも表記し、移動ロボット1の制御回路2を第2の制御回路とも表記する。
入出力部6は、データベース5と、情報生成部7と、タイマー8と、制御部9とに接続されている。制御部9には、情報生成部7と、タイマー8と、通信部19と、駆動部3と、距離センサ11とに接続されている。
入出力部6は、データベース5から情報が入力され、又はデータベース5に情報を出力する。つまり、入出力部6は、データベース5に記録されている情報を取得し、又はデータベース5に情報を記録する。データベース5に記録される情報は、データベース5の説明において詳細を記載する。
情報生成部7は、制御部9の制御に基づいて、移動ロボット1が移動するための移動予定経路(この明細書では、単に「予定経路」と称する。)の地図情報を生成して、生成した地図情報をデータベース5に記録する。
タイマー8は、0から時刻をカウントし、又は世界時間に対応する時刻をカウントとし、カウントした時刻の情報を、入出力部6と制御部9とにそれぞれ入力する。これにより、入出力部6は、タイマー8から取得した時刻とともに地図情報の情報をデータベース5に記録することができる。また、制御部9は、タイマー8から取得した時刻に基づき制御動作を行うことができる。
制御部9は、距離センサ11からの測定値、又は情報生成部7で生成された地図情報、又はデータベース5又は通信部19又は入出力部6又は駆動部3で取得した情報に基づいて、情報生成部7又は駆動部3又は通信部19の動作を制御する。
図3Bに示す制御部9は、初期化処理部9aと、現在位置取得部9bと、駆動制御部9cと、判断部9dとを備えている。
初期化処理部9aは、移動ロボット1の現在位置を移動ロボット1の座標の原点とする処理を行う。
現在位置取得部9bは、移動ロボット1の距離センサ11の測定値に基づいて、移動ロボット1の現在位置を取得する。
駆動制御部9cは、移動ロボット1が予定経路に従って移動するように、駆動部3を制御する。また、駆動制御部9cが、減速指令情報を受け取ったときは、減速指令情報に基づき駆動部3を制御して移動ロボット1の速度を減速する。
判断部9dは、現在位置取得部9bで取得した移動ロボット1の現在位置に基づいて、(a)予定経路の走行を開始したか否か、(b)予定経路の走行中か否か、(c)予定経路の最終目標位置に到着したか否かを判断する。判断部9dでの判断結果に基づいて駆動制御部9cで駆動部3を制御する。
通信部19は、端末装置120の後述する通信部128と通信して、端末装置120と移動ロボット1との間で情報を送受信する。通信部19の具体例は、アンテナを制御する通信回路である。より詳細には、ロボット本体12にアンテナが配置され、通信回路は、アンテナを介して通信する。
(駆動部3)
駆動部3として、複数の車輪4a,4bを有する車輪機構4と、モータ141,142と、エンコーダ143,144とを有する。駆動部3は、これらの車輪機構4とモータ141,142とエンコーダ143,144とを有する公知の駆動機構が利用される。駆動部3は、制御部9の制御に基づいて、移動ロボット1を移動させる。具体的には、駆動部3は、制御部9から駆動信号を受信し、駆動信号に基づいて駆動する。
図1に示すように、複数の車輪4a,4bは、ロボット本体12の両側に配置される。複数のモータ141,142は、複数の車輪4a,4bのそれぞれを駆動する。複数のエンコーダ143,144は、複数のモータ141,142のそれぞれの回転角度を検出する。複数のエンコーダ143,144で検出された回転角度情報は、制御部9に入力されて、制御部9による複数のモータ141,142の駆動制御に使用される。
例えば、複数の車輪4a,4bの少なくとも一部は、シャフトに固定されており、シャフトと一体的に回転する。モータ141,142を回転させることにより、シャフトを介して、モータ141,142の力が複数の車輪4a,4bの少なくとも一部に回転する動力が加わり、ロボット本体12を駆動することができる。
また、駆動部3は、さらに、車輪角度変更用モータを有しても良い。車輪角度変更用モータにより、ロボット本体12の移動方向に対する車輪4a,4bのそれぞれの回転軸の角度を一体的に変更して、直線運動に加えて左右に曲がることもできる。又は、複数のモータ141,142の回転速度又は回転方向が互いに異なるように変更して、ロボット本体12の移動方向を変更することもできる。
駆動部3は、制御部9の駆動信号に基づいて、車輪機構4の車輪4a,4bの回転速度、回転方向、又は回転軸の角度の変更と、車輪4a,4bへの動力の大きさとを変更することにより、ロボット本体12の移動を制御する。
(データベース5)
図4〜図6に、移動ロボット1のデータベース5に記録される情報の一例を示す。データベース5に記録される情報には、図4〜図6に示すように、地図情報(予定経路情報を含む。)、及び移動ロボット1の自己位置情報を含む。
図4に示す地図情報は、ファイルIDと、ファイル名とを含む。データベース5は、移動ロボット1が移動する空間毎に、地図情報を有していても良い。家の環境における空間の例は、部屋である。部屋の例は、リビングスペース、ダイニングルーム、または寝室を含む。
図7に、地図情報の具体例を示す。図7の地図情報中の黒い四角301cは障害物であり、移動ロボット1が移動できない領域である。図7の地図情報は、移動ロボット1が移動する空間における2次元地図である。ここでの2次元地図とは、空間の上方から俯瞰した視点から空間を見た地図である。例えば、移動ロボット1が掃除機10の場合には、地図情報は、壁301bで囲まれかつ移動ロボット1が移動する床301aの地図である。なお、地図情報は、3次元の地図情報であっても良い。
地図情報は空間毎にあらかじめ準備されており、データベース5に記録されても良い。又は、移動ロボット1が空間を移動して、移動中に測定した距離センサ11の測定値に基づいて情報生成部7で地図情報を生成しても良い。地図情報の生成は公知の方法を用いることができ、例えば、非特許文献2として、「移動ロボットのための確率的な自己位置推定と地図構築」友納正裕、日本ロボット学会誌、Vol. 29 (2011) No. 5 P 423-426が参照される。
また、移動ロボット1が掃除機の場合、地図情報には、図8に示すように、掃除済の領域を斜線で示す地図情報が含まれていてもよい。
図5に示す予定経路情報は、時刻毎の移動ロボット1の位置情報(x,y,θ)を含む。ここで、x、yは、2次元地図上のxy座標での移動ロボット1の座標位置であり、θは、2次元地図上の移動ロボット1の進行方向である。進行方向は、移動ロボット1が前向きに移動する際にはロボット本体12の前方の向きであり、移動ロボット1が後向きに移動する際にはロボット本体12の後方の向きである。
予定経路情報に含まれる時刻は、タイマー8がカウントを開始してからの経過時間、又は、タイマー8が有する世界時間に対応する時間であっても良い。t0〜tnの時刻は、現在の時刻よりも将来の時刻を含む。つまり、予定経路情報は、移動ロボット1が移動する予定経路を含む。
ディスプレイ119に、予定経路情報を地図情報に重ねて表示するとき、予定経路を、移動ロボット1の進行方向を示す図形、例えば、矢印で示すこともできる。例えば、後述する情報生成部7は、以下の方法により地図情報の一例である予定経路情報のうち移動予定領域を決定することができる。
移動ロボット1の移動空間として、床のうちの掃除すべき領域CAを、予め複数の領域に区分けする。例えば、ユーザにより複数の領域を床に設定しても良い。
ディスプレイ119に表示される複数の領域の少なくとも1つにおいて、任意の位置への接触を検知したとき、接触を検知した位置を含む領域が、掃除すべき領域として認識される。ここでの接触は、タップ、及びクリックを含む。
接触点が含まれる領域の予め決められた掃除開始位置から掃除を開始するように移動予定領域344(図22及び図23参照)として生成される。移動予定領域344は、掃除予定領域とも言い換えられる。タップ又はクリックされた点を含む領域が掃除済の領域に対応するときは、再度の掃除要求として受け取り、タップ又はクリック点を含む移動予定領域を生成することもできる。
図6に示すロボットの自己位置情報は、時刻毎の移動ロボットの位置(x,y,θ)を含む。x、y、θは、予定経路情報の示す記号と同様である。自己位置情報に含まれる時刻は、タイマー8がカウントを開始してからの経過時間、又は、タイマー8が有する世界時間に対応する時間であっても良い。言い換えると、図5に示す情報は将来の時刻の位置情報を含む可能性があるが、図6に示す情報は、過去の時刻の位置情報を含む。
(距離センサ11)
距離センサ11は、ロボット本体12に備えられロボット本体12と、空間中の物体又は空間中の障害物との距離を測定値として測定する。例えば、距離センサ11は、ロボット本体12の前部に位置する。障害物の例は、空間を規定する壁301b(図7参照)、椅子、テーブルを含む。
距離センサ11は、ロボット本体12と、空間中の物体又は空間中の障害物との距離を測定値として測定できる公知のセンサが用いられる。距離センサ11の例は、赤外線センサ、レーザーレンジファインダ、超音波センサである。赤外線センサ、レーザーレンジファインダの測定値に基づいて、後述するように制御部9は移動ロボット1の現在位置を取得可能とする。
(端末装置120の機能ブロック図)
図9Aに、端末装置120の機能ブロック図を示す。
端末装置120は、制御回路121と、センサ122と、データベース123と、通信部128と、入力検知部119bを有するディスプレイ119とを備える。
(制御回路121)
制御回路121は、入出力部124と、提示部125と、合成制御部126と、座標変換部127と、入力判断部132とを有する。上述のように、制御回路121を第1の制御回路とも表記する。
入力判断部132は、入力検知部119bと接続されて、入力検知部119bで検知された接触点の情報が入力されて、入力判断を行う。
入出力部124は、データベース123と、合成制御部126と、座標変換部127とに接続されている。座標変換部127には、センサ122と通信部128と入力判断部132とが接続されている。合成制御部126には提示部125が接続されている。提示部125にはディスプレイ119が接続されている。
入出力部124は、データベース123から情報が入力され、又はデータベース123に情報を出力する。つまり、入出力部124は、データベース123に記録されている情報を取得し、又はデータベース123に情報を記録する。データベース123に記録される情報は、データベース123の説明において詳細を記載する。
座標変換部127は、移動ロボット1の座標系と端末装置120の座標系との間での座標変換を行う。具体的には、座標変換部127は、地図情報又は予定経路情報に含まれる座標情報を、移動ロボット1の座標系から端末装置120の座標系に座標変換する。端末装置120に入力された指示命令は、端末装置120の座標系から移動ロボット1の座標系に変換したのち、移動ロボット1に送信する。
図9Bに示す座標変換部127の一例は、画像処理部127aと、位置算出部127bと、変換演算部127cとを備える。
画像処理部127aは、カメラ画像に対して移動ロボット1の識別マーク1aと環境中の物体及び障害物の認識処理を行う。画像処理部127aは、カメラ画像についてパターンマッチングにより、識別マーク1aの抽出処理、識別マーク1aの傾き及び大きさの算出処理、及び、壁の環境中の物体及び障害物の抽出処理を行う。これらの算出処理及び抽出処理は、識別マーク1aを有する移動ロボット1がカメラ画像に含まれているか否かの判断に用いる情報の処理と、その他の情報の処理とが含まれている。
位置算出部127bは、画像処理部127aでの認識結果に基づき、移動ロボット1の位置と、環境中の物体及び障害物の位置とをそれぞれ算出する。識別マーク1aは、例えば、ロボット本体12の上面に形成される製造又は販売会社のロゴでもよい。
変換演算部127cは、地図情報及び予定経路情報の入力された情報をロボット座標系と端末装置座標系との間で座標変換を行う。つまり、変換演算部127cは、端末装置座標系で入力された指示情報を検知し、検知した指示情報をロボット座標系の指示情報に変換する。入力された指示情報の例は、移動ロボット1の現在位置の情報、移動空間の情報、予定経路の情報、移動済の経路例えば掃除済の領域の情報を含む。
合成制御部126は、座標変換部127でロボット座標系に座標変換された指示情報を、移動ロボット1の座標系の情報に重ねた重畳画像を生成する。
また、変換演算部127cは、移動ロボット1の現在位置、地図情報、及び予定経路情報のロボット座標系の移動ロボット1の情報を、端末装置座標系の情報に座標変換部127で座標変換する。つまり、変換演算部127cは、ロボット座標系の移動ロボット1の情報を、端末装置座標系に変換する。合成制御部126は、移動ロボット1の情報を、端末装置120で撮影されたカメラ画像に重ねた重畳画像を生成する。
これらの重畳画像は、通信部128から移動ロボット1の通信部19に向けて送信される。さらに、合成制御部126は、移動ロボット1の通信部19から送信されてきて通信部128で受信された移動ロボット1の座標系の情報を通信部128から受け取る。合成制御部126は、通信部128から受け取った移動ロボット1の座標系の情報を、座標変換部127で端末装置120の座標系に座標変換された指示情報と、端末装置120の座標系の情報とに重ね合せる。重ね合わされた情報は、合成制御部126から提示部125に出力される。
提示部125は、合成制御部126から出力された、重ね合わされた情報をディスプレイ119に表示する。
図9Cに示すように、後述する第4動作(4)を実施するときには、制御回路121はさらに判断部136を備える。判断部136は、座標変換部127と接続されている。判断部136は、移動ロボット1が端末装置120のディスプレイ119に写っているか否かを判断する。具体的な例としては、ユーザがカメラ129で移動ロボット1を撮影したときのカメラ画像について座標変換部127の画像処理部127aでパターンマッチングにより、移動ロボット1の識別マーク1aの抽出処理を行う。判断部136は、この抽出処理の結果を基に、カメラ画像に識別マーク1aが含まれているか否かを判断する。具体的には、判断部136は、カメラ画像に識別マーク1aが含まれている場合、移動ロボット1がカメラ画像に含まれていると判断する。また、判断部136は、カメラ画像に識別マーク1aが含まれていない場合、移動ロボット1がカメラ画像に含まれていないと判断する。判断部136での判断結果は、座標変換部127に入力される。
入力検知部119bは、先に述べたように、ディスプレイ119のタッチパネルに組み込まれたタッチパッドの接触点検知装置又は端末装置120の操作ボタン又はキーであり、ユーザの指示が入力検知部119bを使用して接触点として入力される。入力判断部132は、ユーザの指先がタッチパネルに接触したとき入力検知部119bで接触点として検知し、検知した接触点に基づいて、ユーザによるタッチ又はクリック又はスワイプ動作であることを判断する。例えば、移動ロボット1予定経路が表示されている画面119aにおいて、例えば矢印又は線で示された移動ロボット1の予定経路に対して、矢印の方向とは異なる方向の位置又は線上とは異なる位置に、ユーザが指先で接触した接触点があると入力検知部119bで検知すると、予定経路とは異なる接触点として入力判断部132で判断して、その接触点を含む別の予定経路を生成する情報として入力判断部132で使用する。
すなわち、このとき、入力判断部132は、移動ロボット1の移動してきた移動済の経路及び移動予定の予定経路が表示されている画面において、入力検知部119bで検知された接触点が移動ロボット1の予定経路に対して異なる方向又は位置にあるか否かも判断することができる。
(センサ122)
センサ122は、深度カメラ131と、カメラ129と、ジャイロスコープ130とを備えている。
カメラ129でユーザによりカメラ画像を撮像し、撮像した画像をディスプレイ119で表示可能としている。特に、カメラ129では、移動ロボット1に付された識別マーク1aを撮影して、撮影した識別マーク1aの大きさと傾きとから端末装置120の位置を推定するのに使用することができる。
深度カメラ131は、被写体までの深さ(言い換えれば、距離)を計測できるカメラであり、後述するように、移動ロボット1から端末装置120までの距離を計測する。
ジャイロスコープ130は、キャリブレーションを実施した端末装置120の角度を基準として、その基準からの回転角度を検知する。前述したようにカメラ129で撮影した識別マーク1aの傾きから端末装置120の位置を推定する代わりに、ジャイロスコープ130を使用してもよい。ジャイロスコープ130を使用する方が精度が良いため、ジャイロスコープ130で傾きも算出してもよい。
(データベース123)
データベース123は、端末装置120の通信部128と移動ロボット1の通信部19との通信により、移動ロボット1のデータベース5に記録される情報と同様な情報が記録されることになる。すなわち、データベース123に記録される情報には、図4〜図6と同様に図10A〜図10Cに示すように、地図情報、予定経路情報、及び移動ロボット1の自己位置情報を含む。さらに、データベース123に記録される情報としては、例えば、端末装置120で表示されたカメラ画像に移動ロボット1が写っていない状態のときの移動ロボット1の速度、移動ロボット1の状態と速度との関係を示す情報が記録されている。また、ユーザがタッチパネルで接触点を複数個入力したときに生成した予定経路の情報もデータベース123に記録する。
(通信部128)
通信部128は、移動ロボット1の通信部19と通信して、情報を送受信する。通信部128の具体例の一例は、アンテナ、及びアンテナを制御する通信回路である。
ディスプレイ119は、提示部125から入力された、重ね合わされた情報を表示する。ディスプレイ119には、前記したように、入力検知部119bを有するタッチパネルで構成されている。図11に、ディスプレイ119に表示する移動空間の一例を示す。ここでは、移動ロボット1の例として掃除機が部屋内で移動する移動空間をカメラ129で撮影したのち、ディスプレイ119に図28Aのように表示する。
(移動ロボットの制御システムでの動作)
移動ロボット1を動作制御する移動ロボット1の制御システムは、以下の5種類の第1動作(1)〜第5動作(5)を実施する。これらの5種類の第1動作(1)〜第5動作(5)は、それぞれ別々に実施してもよいし、適宜、任意の動作同士を組み合わせてもよい。例えば、第1動作(1)を基本の動作とし、これに第2動作(2)〜第5動作(5)のうちの1つまたは複数の動作を適宜組み合わせることもできる。図13に示すフローチャートの説明の前に、第1動作〜第5動作を説明する。
第1動作(1):
図12に示すように、端末装置120のディスプレイ119に、移動ロボット1と地図情報301と予定経路情報302とを表示する。
具体的には、カメラ129で撮影された移動ロボット1を含む画像に、地図情報301と予定経路情報302とを重ねて表示する。図12では、移動ロボット1が移動可能な領域、例えば床301aを白色で表し、壁301bを含む障害物を黒色で表している。また、予定経路情報302の例としては、移動方向を矢印で表している。
第2動作(2):
図14に示すように、端末装置120のディスプレイ119に、掃除結果を表示する。
具体的には、掃除済み領域の情報を端末装置120の地図情報に表示する。
第3動作(3):
図15に示すように、移動ロボット1と地図情報と予定経路情報とを端末装置120のディスプレイ119に表示しているときに、ユーザからの指示を受け付ける。ここでのユーザからの指示として、ディスプレイ119は、ディスプレイ119上への接触を検知する。ディスプレイ119上への接触とは、言い換えると、画面119aへの接触である。
具体的には、図17に示すように、ユーザが端末装置120のディスプレイ119の地図336上で移動ロボット1の目標位置337をタッチ又はクリックしたことを検知する。これにより、入力検知部119bにより目標位置337が入力されたと入力判断部132で判断すると、移動ロボット1はタッチした目標位置337を最終目標位置として移動する。
すなわち、端末装置120で最終目標位置337を指定すると、図18に示すように、最初に表示されていた第1の予定経路338とは異なると入力判断部132で判断し、最初に表示されていた第1の予定経路338とは異なる第2の予定経路339を入力判断部132で自動的に生成する。ここで、第2の予定経路339が第1の予定経路338とは異なるとは、第2の予定経路339の全体と第1の予定経路338の全体とが重複しないことを意味している。言い換えると、第2の予定経路339の全体と第1の予定経路338の全体とは完全一致ではない。
図19に別の例を示す。図19に示す例では、端末装置120のディスプレイ119の地図336上で、ユーザは、移動ロボット1の目標位置337を示す直線状のスワイプ動作をする。直線状のスワイプ動作とは、ディスプレイ119上において、移動ロボット1、複数の接触点340、及び接触点341を順に接触することである。これにより、スワイプ動作による複数の接触点340,341が入力検知部119bによって入力される。このとき、入力検知部119bによる複数の接触点340,341の入力は、複数の接触点340,341のうちの最初の接触点340から最終の接触点341に向かって移動する指示であると、入力判断部132で判断する。
又は、入力判断部132は、移動ロボット1の現在の位置(すなわち、スワイプ動作の入力を検知したときの位置)から、複数の接触点340,341のうちの最終の接触点341に向かって移動する指示と判断する。その結果、図19に示すユーザの接触前の予定経路338から図21に示すユーザの接触後の予定経路339に変更される。具体的には、図21では、入力判断部132は、図19に示すユーザの接触前の予定経路338とは異なると判断して、最初の接触点340又は移動ロボット1の現在位置(例えば、スワイプ動作の入力を検知したときの位置)から最終の接触点341に向かう第2の予定経路339を自動的に生成する。ディスプレイ119には、生成された予定経路339が表示される。
例えば、入力判断部132は、図19に示すスワイプ動作に含まれる複数の接触点340のそれぞれを通る線分347に基づいて、移動ロボット1の向きが異なると判断して、移動ロボット1の向きを変更する第2の予定経路339を自動的に生成してもよい。
図20に示すように、U字形状任意の形状を有するスワイプ動作が検知された場合でも、入力判断部132は、移動ロボット1は直線と同様に、例えば図28Bに示した最初に表示されていた第1の予定経路338とは異なると判断し、第1の予定経路338とは異なりかつ最初の接触点340から最終の接触点341に向かう第2の予定経路339を自動的に生成する。
すなわち、スワイプ動作が画面上において直線である場合、第1の予定経路338とは異なると判断し、移動ロボット1の現在位置からスワイプ動作に含まれる最後の接触点341に向かう進行方向を有する第2の予定経路339を入力判断部132で自動的に生成する。また、スワイプ動作が画面上において曲線である場合、第1の予定経路338とは異なると判断し、スワイプ動作に含まれる複数の接触点340のそれぞれを通る線分に基づいて、移動ロボット1の向きを変更する第2の予定経路339を入力判断部132で自動的に生成する。
図22に別の例を示す。図22に示すように、ユーザが端末装置120のディスプレイ119の地図336上で移動ロボット1の目標位置337を、湾曲した曲線、例えば、渦巻き状にスワイプして入力検知部119bで入力検知されるとき、スワイプ動作により複数の接触点340,341が入力検知部119bに入力検知される。このとき、入力検知された複数の接触点340,341のうちの最終の接触点341に向かって移動する指示であると、入力判断部132で判断する。そこで、図23に示すように、最初に表示されていた第1の予定経路338とは異なると入力判断部132で判断すると、第1の予定経路338とは異なり、かつ、複数の接触点340及び最終の接触点341を通過して現在位置から徐々に外側に広がり、最終的に移動ロボット1の現在位置が含まれる領域を区画する壁に接近する位置を最終目標位置とするような、渦巻き状の第2の予定経路339を入力判断部132で自動的に生成する。
さらに、スワイプ動作が第1の閾値以上の時間の間に検知された場合、スワイプ動作の最初の接触点から、スワイプ動作に含まれる最後の接触点に向かう進行方向を有する第2の予定経路339が第1の予定経路338とは異なると入力判断部132で判断すると、第2の予定経路339を入力判断部132で自動的に生成してもよい。ここで、「第1の閾値以上の時間」だけ検知した場合とは、「第1の閾値未満の時間の接触」を除外するためである。つまり、ユーザが、意図的ではなく、画面に接触した場合を除外するためである。
スワイプ動作に含まれるユーザと画面との複数の接触点により曲線が描かれる場合、この曲線と、スワイプ動作における最初の接触点と最後の接触点とを結ぶ直線とは異なる。そこで、スワイプ動作に含まれるユーザと画面との複数の接触点により曲線が描かれる場合、スワイプ動作の最後から所定時間前の接触点から、ワイプ動作に含まれる最後の接触点に向かう進行方向を有する第2の予定経路339が第1の予定経路338とは異なると入力判断部132で判断すると、第2の予定経路339を入力判断部132で自動的に生成して表示しても良い。所定時間前の接触点の例は、スワイプ動作の最後から0.1秒前の接触点である。
また、スワイプ動作の最後の点からスワイプ動作の最初の点に向かって、各点の微分値を順番に計算した結果に基づいて、進行方向が決定されても良い。具体的には、入力判断部132は、スワイプ動作の最後の点からスワイプ動作の最初の点に向かって計算された各点の微分値と前の微分値と変化割合が所定以上になったとき、前の部分値が計算された点からスワイプ動作の最後の点に向かう進行方向を有する第2の予定経路339が第1の予定経路338とは異なると入力判断部132で判断すると、第2の予定経路339を生成して表示しても良い。
ここで、1つの点(例えば最初の接触点又は移動ロボットの位置)から別の点(例えば最後の接触点)に向かう進行方向を有する予定経路(すなわち第2の予定経路)を生成する方法としては、2つの点の座標を直線で補間して予定経路を生成する公知の方法を適用することができる。
スワイプ動作の最後から所定時間前の接触点から、スワイプ動作に含まれる最後の接触点に向かう進行方向を有する第2の予定経路339が第1の予定経路338とは異なると入力判断部132で判断すると、第2の予定経路339を入力判断部132で自動的に生成して表示するようにしてもよい。
なお、第2の予定経路339を生成するとき、入力判断部132は、接触点を入力検知部119bで検知した時点の画面119aにおいて、第1の予定経路338と重複しない第2の予定経路339を生成してもよい。
移動ロボット1が最終目標位置337に到着すると、制御部9の制御に基づいて、移動ロボット1は停止する。移動ロボット1の通信部19は、移動ロボット1の停止後、端末装置120の通信部128に、到着信号が送信する。
第4動作(4):
図24A、及び図24Bに示すように、移動ロボット1が端末装置120のディスプレイ119に写っているか否かで移動ロボット1の速度を変更する。
具体的には、図24Aに示すように、移動ロボット1が端末装置120のディスプレイ119に写っているときは、移動ロボット1は、所定の速度(第1の速度)で走行する。ここで所定の速度とは、移動ロボット1がロボット掃除機の場合、掃除動作時の速度である。図24Bに示すように、移動ロボット1が端末装置120のディスプレイ119に写っていないときは、移動ロボット1は、所定の速度より遅い速度(第2の速度)で走行する。
第5動作(5):
図26A〜図26Cに示すように、移動ロボット1の状態に応じて端末装置120のディスプレイ119に表示する情報を変更する。移動ロボット1の状態の例として、移動ロボット1が掃除機の場合には、以下のように状態に応じてディスプレイ119に表示する情報を変更する。
掃除前の状態では、図26Aに示すように、予定経路の掃除計画をディスプレイ119に表示する。
掃除中の状態では、図26Bに示すように、後述する掃除機に備え付けられたゴミ検出センサ76(図1参照)で検出した値342、障害物、スタックしたかどうかをディスプレイ119に表示する。
掃除後の状態では、図26Cに示すように、掃除結果(例えば、掃除した場所、掃除時間)をディスプレイ119に表示する。
(フローチャート)
5種類の第1動作(1)〜第5動作(5)を達成するためには、以下のような制御動作を行っている。
(第1動作(1)の制御動作)
まず、第1動作(1)として、移動ロボット1のカメラ画像に、地図情報301と予定経路情報302とを重ね合せて表示する動作について、図13の移動ロボット1及び端末装置120のフローチャートを基に説明する。
図13の左側に示すように、移動ロボット1での動作は、以下のとおりである。
(ステップS101)
図3Aの移動ロボット1の制御部9の初期化処理部9aは、移動ロボット1の座標を初期化する。ここでの初期化とは、移動ロボット1の現在位置を移動ロボット1の座標の原点とする。言い換えると、制御開始時の移動ロボット1の位置が、移動ロボット1の座標の原点である。初期化処理部9aによる初期化処理が行われたとき、移動ロボット1の初期化の信号を通信部19から発信する。その発信された初期化の信号は、後述するように端末装置120の通信部128で受信可能とする。
(ステップS102)
制御部9は、移動ロボット1の現在位置と、地図情報と、予定経路情報とを含む情報を取得し、取得した情報に基づいて移動ロボット1の移動を開始する。
制御部9の現在位置取得部9bは、移動ロボット1の距離センサ11の測定値に基づいて、移動ロボット1の現在位置を取得する。現在位置取得部9bは、移動ロボット1の移動中も、同様に、距離センサ11の測定値に基づいて、移動ロボット1の現在位置を取得し続ける。
移動ロボット1が部屋内を移動する場合に、移動ロボット1が、移動ロボット1の現在位置を取得する例を説明する。移動ロボット1は、距離センサ11で部屋内の壁又はテーブルを含む障害物の位置を検出し、障害物の位置に基づいて、部屋内における移動ロボット1の現在位置を取得できる。制御部9の現在位置取得部9bは、タイマー8の時刻を参照して、データベース5に、現在時刻と現在位置とを対応させて記録する。現在位置の例は、x,yで表される2次元空間のxy座標である。移動ロボット1は、移動に伴い、現在位置の情報を更新し続けて、データベース5に記録し続ける。
現在位置の取得のその他の方法としては、公知のオドメトリ手法を用いることもできる。例えば、距離センサ11で検出できない部屋の場合は、移動ロボット1の車輪オドメトリを使って、移動ロボット1の現在位置を取得する。車輪オドメトリとは、車輪の回転角に基づいて現在位置を推定する方法である。
入出力部6によりデータベース5に記録されている地図情報と、予定経路情報とを取得する。地図情報の例は、部屋の床及び壁の障害物の情報である。予定経路情報の例は、図12の矢印338又は図30の矢印338又は図31の矢印338の第1の予定経路338として示すように、部屋の床301aをどのような経路で移動するかを示す情報である。または、入出力部6は、予定経路情報として、図10Bに示す時刻毎の位置情報を取得しても良い。
現在位置取得部9bで移動ロボット1の現在位置の取得を開始する。また、入出力部6からデータベース5に記録されている地図情報及び予定経路情報を取得する。その後、制御部9の駆動制御部9cは、移動ロボット1が予定経路に従って移動するために、駆動部3に制御信号を送信して、駆動部3による移動ロボット1の移動を開始する。制御部9は、距離センサ11の測定値に基づく移動ロボット1の現在位置を現在位置取得部9bで取得し、現在位置取得部9b取得した移動ロボット1の現在位置と予定経路とを判断部9cで比較して、移動ロボット1が予定経路に従って移動しているか否かを判断部9cで確認しつつ、駆動制御部9cで駆動部3を制御する。判断部9cで取得した移動ロボット1の現在位置が予定経路からずれているときには、移動ロボット1が予定経路に従って移動するように、駆動制御部9cで駆動部3を制御して移動ロボット1の移動方向を修正する。
現在位置取得部9bで取得した移動ロボット1の現在位置の情報、入出力部6で取得した地図情報及び予定経路情報は、移動ロボット1の通信部19から発信する。その発信された情報は、後述するように端末装置120の通信部128で受信可能とする。
(ステップS103)
ステップS102に次いで、制御部9の判断部9dは、移動ロボット1の現在位置が予定経路の最終目標位置になっているか否かを判断する。移動ロボット1の現在位置が予定経路の最終目標位置ではないと判断部9dで判断する場合、ステップS102に戻る。
移動ロボット1の現在位置が予定経路の最終目標位置であると判断部9dで判断する場合には、フローを終了する。
以上は、移動ロボット1の動作フローである。
これに対して、図13の右側に示すように、端末装置120では、移動ロボット1と一部連携しつつ、以下のように動作する。
(ステップS151)
カメラ129で移動ロボット1を撮影して、カメラ画像を取得する。図28Aは、図11に示す移動ロボット1の移動空間をカメラ129で撮影したカメラ画像の例である。このとき、移動ロボット1の上面の識別マーク1aと、移動ロボット1の周囲の壁の障害物も同時に撮像する。撮像されたカメラ画像の情報に基づいて、座標変換部127内に備えられた画像処理部127aで識別マーク1aと障害物の認識をそれぞれ行う。認識された結果に基づき、座標変換部127内に備えられた位置算出部127bで移動ロボット1の位置と障害物の位置とをそれぞれ算出する。
(ステップS152)
ステップS101で移動ロボット1の制御部9の初期化処理部9aによる初期化処理が行われたとき、移動ロボット1の初期化の信号を通信部19から発信する。その発信された初期化の信号を端末装置120の通信部128で受信したとき、制御部9の座標変換部127は、座標変換部127で記録している移動ロボット1の座標位置を初期化する。
初期化の信号を通信部128で受信できず、初期化していないときは、所定時間、初期化の信号を通信部128で受信するまで座標変換部127は待機する。所定時間過ぎても初期化の信号を通信部128で受信しなかったときは、一連のフローを終了する。
(ステップS153)
ステップS152で初期化した後、このステップS153において、通信部19からの通信により、通信部128を介して、座標変換部127で、移動ロボット1の自己位置、地図情報、予定経路情報をそれぞれ取得する。
これらの情報を通信部128で受信できず、これらの情報を取得していないときは、所定時間、これらの情報が通信部128で受信して取得するまで座標変換部127は、待機する。所定時間過ぎても、これらの情報を通信部128で受信しなかったときは、一連のフローを終了する。
(ステップS154)
ステップS153において、座標変換部127で、移動ロボット1の自己位置、地図情報、予定経路情報をそれぞれ取得したのち、ステップS154で、ステップS153で取得した情報に基づき座標変換部127の変換演算部127cにより座標変換を行う。
すなわち、図29に示すように、座標変換部27で、ロボット座標系から端末装置座標系に変換する。この図29では、左の図(a)は、ロボット座標系において移動ロボット1を真上から見た座標を示し、移動ロボット1が初期化時に位置する地点の位置情報(x,y,θ)を(0,0,0)とする。右の図(b)は、端末装置120の座標系において、端末装置120を矩形で示すとともに、黒丸で移動ロボット1の位置331を示す。
先のステップS101の初期化処理では、図29の(a)に示すように、ロボット座標系の原点を移動ロボット1の初期位置に設定する。
ステップS152の初期化処理では、端末装置120で移動ロボット1を撮影し、端末装置120の位置を推定し、その座標を端末装置座標系の原点とする。このとき、端末装置120の位置は、例えば、以下の2つの方式のいずれかで求められる。
方式1としては、移動ロボット1に付された識別マーク1aをカメラ129で撮影する。撮影したカメラ画像の画像情報を画像処理部127aで画像処理する。その後、識別マーク1aの認識を行い、識別マーク1aの大きさと傾きとを求める。求められた識別マーク1aの大きさと傾きとから座標系のキャリブレーションを行うとともに、壁又は障害物の物体の位置をパターンマッチングにの画像処理により抽出して端末装置120の端末座標系での端末装置120の撮影位置を位置算出部127bで算出する。これは、カメラで撮影した認識マーク1aの見え方により座標変換を行うことであり、認識マーク1aが傾斜しておれば、その傾斜角度で座標系も傾斜させることを意味している。
方式2としては、移動ロボット1から端末装置120までの距離を深度カメラ131で計測して、計測された距離に基づき、端末装置120の位置を算出する。
深度カメラ131での移動ロボット1から端末装置120までの距離の計測は公知の方法を用いることができる。距離の計測方法の一例は、TOF(Time of Flight)方式である。「TOF」とは、Time Of Flightの頭文字をとったもので、投射したレーザが対象まで往復するのにかかる時間から、距離を計測する。
マイクロソフト社のKinect(登録商標)は、単一の投影パターン(例えば、ランダムなドットが散りばめられた大きな四角形パターン)を常に対象表面に投影しておき、撮影した画像からパターン内の各場所の移動量を画像処理で捉えることにより、赤外線カメラで撮影した動画のすべてのフレームにおいて3次元計測を行うことを実現するものである。
例えば、端末装置120の位置を求めたのち、移動ロボット1が移動するときには、移動中の移動ロボット1の自己位置すなわち現在位置を通信部19から通信部128に通信する。そして、先のキャリブレーションを考慮しつつ移動ロボット1の現在位置をロボット座標系から端末装置座標系に座標変換部127で座標変換し、座標変換された移動ロボット1の現在位置まで、端末装置120の端末装置座標系内の移動ロボットの位置331を移動させる。
また、別の例では、移動ロボット1の情報生成部7が地図情報を生成したとき、生成した地図情報を、入出力部6及び制御部9を介して、通信部19から通信部128に送信する。通信部128で受信された地図情報はロボット座標系であるため、座標変換部127で、先のキャリブレーションを考慮しつつロボット座標系から端末装置座標系に地図情報を座標変換する。その後、座標変換した地図情報と剛性すべき情報とを合成制御部126で合成し、提示部125を介してディスプレイ119に表示する。
また、さらに別の例として、端末装置120のディスプレイ119のタッチパネルの入力検知部119bを使用して移動ロボット1の移動先である目標位置が入力されたと入力判断部132で判断すると、端末装置座標系の目標値をロボット座標系の目標値に座標変換部127で先のキャリブレーションを考慮しつつ座標変換したのち、通信部128から通信部19に送信される。送信されたロボット座標系の目標値に移動ロボット1が向かうように、制御部9で駆動部3が駆動制御される。
このようにして、先のキャリブレーションを考慮しつつ座標変換部127で座標変換することにより、移動ロボット1と端末装置120との間で情報が円滑に処理することができる。
(ステップS155)
次いで、移動ロボット1の情報、例えば、移動ロボット1の現在位置の情報と、地図情報及び予定経路情報の各種情報とを合成制御部126で合成する。
(ステップS156)
合成制御部126で合成された情報を提示部125でディスプレイ119に表示する。このとき、端末装置120のカメラ129で撮影した移動ロボット1と床の画像をディスプレイ119に表示すると同時に、その画像に、移動ロボット1に記録されている地図情報と予定経路情報をその画像に重ねて表示する。図30及び図28Bにディスプレイ119の第2の画面の例としての表示画面を示す。ここでは、壁301bの近傍の床301aから左向きの矢印338で移動ロボット1の第1の予定経路を例示している。また、図31にディスプレイ119の表示画面の別の例を示す。ここでは、壁301bの近傍の床301aからジグザグの矢印338で移動ロボット1の第1の予定経路を例示している。
なお、一定周期で処理を繰り返すため、一点鎖線で示すように、ステップS156からステップS153に戻るようにしてもよい。
以上のようにして、第1動作(1)の移動ロボット1のカメラ画像に、地図情報301と予定経路情報302とを重ね合せて表示する動作が実施できる。
(第2動作(2)の制御動作)
次に、第2動作(2)として、図14及び図13に示すように、移動ロボット1で記録している掃除済み領域の情報を端末装置120の地図情報に表示する動作について説明する。ただし、この第2動作(2)は、前記第1動作(1)と類似するため、異なる点を中心に説明する。なお、ここでは、移動ロボット1が掃除機の場合として説明する。
移動ロボット1での動作は、以下のとおりである。
(ステップS102)
この第2動作(2)では、ステップS102で制御部9において、移動ロボット1の現在位置、地図情報、予定経路情報を取得するとともに、移動ロボット1の移動を開始するとき、直前に掃除した掃除履歴の情報も取得する。掃除履歴の情報とは、移動ロボット1である掃除機が掃除しながら自律移動した移動済の経路の情報である。掃除履歴の情報を地図情報として表示するときは、掃除しながら移動した移動済の経路の領域に、ハッチングを付したり、移動予定の領域とは異なる色を付けたりして表示する。
端末装置120での動作は、以下のとおりである。
(ステップS152)
また、ステップS153で通信部19からの通信により、通信部128を介して、座標変換部127で、移動ロボット1の自己位置、地図情報、予定経路情報を取得するとき、掃除履歴の情報も取得する。
(ステップS154)
ステップS153において、座標変換部127で、移動ロボット1の自己位置、地図情報、予定経路情報、掃除履歴の情報をそれぞれ取得する。その後、ステップS154で、ステップS153で取得した情報に基づき、座標変換部127の変換演算部127cにより座標変換を行う。
(ステップS155)
次いで、移動ロボット1の情報、例えば、移動ロボット1の現在位置の情報と、地図情報及び予定経路情報及び掃除履歴の情報の各種情報とを合成制御部126で合成する。
(ステップS156)
提示部125は、合成制御部126で合成された情報をディスプレイ119に表示する。このとき、カメラ129で撮影した移動ロボット1と床の画像をディスプレイ119に表示する。ここで、提示部125は、カメラ画像に、地図情報、予定経路情報、又は掃除履歴を含む情報を重ねて表示する。このとき、掃除しながら移動して掃除が完了した領域すなわち掃除済の領域332は、ハッチングを付したり、移動予定の領域又は予定経路の他の領域とは異なる色を付けて、他の領域とは区別できるように表示する。図8に、掃除済の領域332の表示例を示す。
以上のようにして、第2動作(2)の移動ロボット1で記録している掃除済み領域332の情報を端末装置120の地図情報として表示することができる。
(第3動作(3)の制御動作)
次に、第3動作(3)として、図15及び図16に示すように、移動ロボット1と地図情報と予定経路情報とを端末装置120のディスプレイ119に表示しつつ、ユーザからの指示を受け付ける動作について説明する。
端末装置120での動作は、以下のとおりである。
(ステップS161)
ステップS161において、移動ロボット1の移動中又は移動開始前において、図15に示すように、移動ロボット1と共に地図情報と予定経路情報とが表示されたディスプレイ119のタッチパネルにユーザの手334の指先が接触して、目標位置333を入力する。目標位置333が入力されたことは、タッチパネルの入力検知部119bで検知されて入力判断部132に入力判断され、端末装置座標系での目標位置333の位置座標が座標変換部127に入力される。
(ステップS162)
次いで、ステップS162では、座標変換部127で、端末装置座標系での目標位置333の位置座標がロボット座標系での目標位置の位置座標に座標変換したのち、座標変換した情報を通信部128へ出力する。
(ステップS163)
次いで、ステップS163では、座標変換部127から入力されたロボット座標系での目標位置の情報が、通信部128から移動ロボット1の通信部19に向けて発信される。
これに対して、移動ロボット1での動作は、以下のとおりである。
(ステップS111)
ステップS111において、通信部19が、通信部128からロボット座標系での目標位置の情報を受け取ると、次のステップS112に進む。もし、所定時間内に通信部19が、通信部128からロボット座標系での目標位置の情報を受け取らないときは、このフローを終了する。
(ステップS112)
ステップS112において、通信部19で受け取り、制御部9を介して情報生成部7に入力されたロボット座標系での目標位置の情報を基に、情報生成部7で地図情報として予定経路を生成する。
(ステップS113)
次いで、ステップS113において、ステップS112で生成された予定経路に基づいて、制御部9で駆動部3を駆動制御して、移動ロボット1を、生成された予定経路に沿って移動させる。
なお、この第3動作(3)を第1動作(1)のステップS102で行うときは、ステップS113の動作を実施する。その後、前記生成された予定経路をステップS102で端末装置側に送信する。その後、ステップS153〜ステップS156を実施して、生成された予定経路を第2の予定経路としてディスプレイ119に表示することができる。
以上のようにして、第3動作(3)の移動ロボット1と地図情報と予定経路情報とを端末装置120のディスプレイ119に表示しつつ、ユーザからの指示を受け付ける動作が実施できる。
(第4動作(4)の制御動作)
次に、第4動作(4)として、図24A、図24B及び図25に示すように、移動ロボット1が端末装置120の表示画面に写っているか否かで移動ロボット1の速度を変更する動作について説明する。
端末装置120での動作は、以下のとおりである。
(ステップS165)
ステップS151でカメラ129で移動ロボット1を撮影したときのカメラ画像について座標変換部127の画像処理部127aでパターンマッチングにより、移動ロボット1の識別マーク1aの抽出処理を行う。次いで、抽出処理の結果を基に、カメラ画像に識別マーク1aが含まれているか否か、すなわち、移動ロボット1が端末装置120のディスプレイ119に写っているか否かを判断部136で判断する。移動ロボット1が端末装置120のディスプレイ119に写っていると判断部136で判断したときは、そのままこのフローを終了する。よって、この場合は、移動ロボット1の移動速度は減速せず、掃除動作時の速い速度である。移動ロボット1が端末装置120のディスプレイ119に写っていないと判断部136で判断したときは、次のステップS166に進む。
(ステップS166)
ステップS166では、カメラ画像に移動ロボット1が写っていないとの判断部136での判断により、座標変換部127及び入出力部124を介してデータベース123にアクセスする。そして、カメラ画像に移動ロボット1が写っていないときの移動ロボット1の減速指令情報を取得する。取得した減速指令情報を第1の指示として通信部128から通信部19に向けて発信する。減速指令情報での移動ロボット1の減速の程度は、一例として、掃除動作時の速度よりも遅い速度に予め決めておき、データベース123に記録しておく。
移動ロボット1での動作は、以下のとおりである。
(ステップS115)
ステップS115では、通信部19が、通信部128から減速指令情報を受け取ると、次のステップS112に進む。もし、所定時間内に通信部19が、通信部128から減速指令情報を受け取らないときは、このフローを終了する。このとき、図24Aに示すように、移動ロボット1の速度は、減速せず、掃除動作時の速度である速い速度とする。
(ステップS116)
次いで、ステップS116では、通信部19で受け取った減速指令情報を基に、制御部9の駆動制御部9cで、移動ロボット1の速度を減速制御して、図24Bに示すように、掃除動作時の速度よりも遅い速度で移動ロボット1を移動させる。
これにより、ユーザは、端末装置120のカメラ129で移動ロボット1を撮影しやすくなる。
以上のようにして、第4動作(4)として、移動ロボット1が端末装置120の表示画面に写っているか否かで移動ロボット1の速度を変更する動作が実施できる。
なお、図24Cに示すように、カメラ画像に移動ロボット1が含まれない場合には、表示画面に、移動ロボット1の存在する方向を矢印348で提示部125により表示するようにしてもよい。例えば、端末装置120のカメラ画像で撮像している位置から移動ロボット1が存在する位置までの「移動ロボット1の存在する方向」の求め方としては、以下の方法がある。移動ロボット1の位置はLiDAR又はオドメトリを使って移動ロボット内で算出することができる。算出した位置を移動ロボット1から端末装置120に送信することで、端末装置側で移動ロボット1の位置がわかる。その位置は(x,y,θ)で表される。矢印は、現在の端末装置120の位置と移動ロボット1の位置とを直線で結んだ線上に移動ロボット1に向かって矢印を引けばよい。矢印348で提示部125により表示した後に撮像したカメラ画像では、移動ロボット1を含むと判断部136で判断した場合、カメラ129で撮像されたカメラ画像に重畳されている、移動ロボット1が位置する方向の矢印348の表示を、提示部125で消す。この結果、図24Aと同様な図の状態となる。
(第5動作(5)の制御動作)
次に、第5動作(5)として、図26A〜図26C及び図27に示すように、移動ロボット1の状態に応じて端末装置120に表示する情報を変更する動作について説明する。ただし、この第5動作(5)は、前記第1動作(1)と類似するため、異なる点を中心に説明する。
移動ロボット1での動作は、以下のとおりである。
(ステップS102A)
先のステップS102に代わるステップS102Aでは、制御部9において、移動ロボット1の現在位置と、地図情報と、予定経路情報とを取得するとともに、移動ロボット1の移動を開始するとき、直前に掃除した掃除履歴の情報も取得する上に、移動ロボット1の状態に応じて、通信データを選択することである。
ここで、移動ロボット1の状態とは、移動ロボット1が掃除機の場合には、掃除前の状態か、掃除中の状態か、掃除後の状態かである。
掃除前の状態であることは、移動ロボット1の現在位置が予定経路をまだ走行していないことで判断部9dで判断できる。この状態の場合には、図26Aに示すように、掃除計画を表示する情報、例えば、移動ロボット1の移動予定経路を通信部19から通信部128に向けて発信するように制御部9で制御する。
掃除中の状態であることは、移動ロボット1の現在位置が予定経路の途中を走行していることで判断部9dで判断できる。この状態の場合には、図26Bに示すように、ゴミ検出センサ76の値342、障害物、スタックしたかどうかを表示する情報を通信部19から通信部128に向けて発信するように制御部9で制御する。ゴミ検出センサの値の表示としては、数値で表示するほか、一定以上のゴミが存在する領域342を表示するだけでもよい。スタックしたことの表示は、例えば、スタックした場所335を表示することにより行う。
掃除後の状態であることは、移動ロボット1の現在位置が予定経路の目標位置に到達したことで判断部9dで判断できる。この状態の場合には、図26Cに示すように、掃除結果の情報、例えば、掃除した領域、掃除時間を表示する情報を通信部19から通信部128に向けて発信するように制御部9で制御する。
端末装置120での動作は、以下のとおりである。
(ステップS153)
ステップS153では、通信部19からの通信により、通信部128を介して、座標変換部127で、移動ロボット1の状態に応じた移動ロボット1の自己位置、地図情報、予定経路情報をそれぞれ取得する。
その後は、第1動作(1)又は第2動作(2)と同様に、ステップS154〜ステップS156を行う。このステップS156においては、移動ロボット1の状態に応じて端末装置120に表示する情報を変更する動作が実施される。すなわち、掃除前の状態では、掃除計画の例として、予定経路をディスプレイ119に表示する。掃除中の状態では、ゴミ検出センサの値、障害物、スタックしたかどうかをディスプレイ119に表示する。掃除後の状態では、掃除結果(掃除した領域、掃除時間)の情報をディスプレイ119に表示する。
(移動ロボットが掃除機の場合)
以下に、移動ロボット1が掃除機10であって、予定経路を移動しつつ掃除する場合について、掃除機10の具体的な構成を基に説明する。
(全体構成)
図32に、実施形態1の掃除機10の平面図を示す。図33は、掃除機10の底面図である。図34は、掃除機10の正面図である。図35は、掃除機10の側面図である。
図32に示す掃除機10は、所定の空間内の掃除を望む領域(以下、「掃除領域」、又は、単に「対象領域」ということがある。)の掃除すべき面すなわち清掃面上を自律的に走行し、清掃面上に存在するごみを吸引するロボット型の自律走行形式の掃除機である。清掃の対象領域とは、例えば部屋であり、清掃面とは、例えば部屋の床である。
図36に、掃除機10の機能ブロック図を示す。図37に、掃除機10のセンサ部のセンサのブロック図を示す。図36に示す掃除機10は、移動ロボット1のロボット本体12に相当する掃除機本体20と、移動ロボット1の駆動部3に相当する駆動部30と、清掃部40と、吸引部50とを備える。掃除機本体20には、各種の構成要素が搭載される。駆動部30は、掃除機本体20の走行を駆動する。清掃部40は、所定の空間の掃除領域CAに存在するごみを集める。吸引部50は、ごみを掃除機本体20の内部に吸引する。
ここで、移動ロボット1の駆動部3と、データベース5と、距離センサ11とは、それぞれ、掃除機10の駆動部30と、データベース110又はサーバ416と、センサ部426の一部とに相当する。
掃除機10の制御部70は、移動ロボット1の制御回路2の制御部9に基本的には相当しかつ第2の制御回路の例として機能するが、一部異なっている。例えば、制御部70の画像処理部463は情報生成部7に相当する。通信部19は、通信部423に相当する。
端末装置120は外部装置417に相当する。
なお、掃除機10の構成要素である制御部70又はセンサ部426の構成例は、一例であって、移動ロボット1のように、制御部70又はセンサ部426の構成要素の一部を制御部70又はセンサ部426の外部に配置してもよい。
掃除機10は、さらに、ダストボックス60と、制御部70とを備える。ダストボックス60は、吸引部50により吸引されたごみを溜める。制御部70は、少なくとも、駆動部30と、吸引部50とを制御する。また、制御部70は、清掃部40を制御することもできる。
掃除機10は、さらに、移動ロボット1の車輪4a,4bに相当するキャスタ90と、電源部80とを有する。キャスタ90は、駆動部30の回転駆動に追従して回転する。電源部80は、駆動部30、清掃部40、及び、吸引部50等に電力を供給する。
図32及び図33において、上側が掃除機本体20の前方であり、下側が掃除機本体20の後方である。掃除機10の幅方向は、掃除機10の前進方向(例えば、図32では上側)を基準に規定される。例えば、実施形態1においては、掃除機10の前進方向に対してほぼ垂直な方向(例えば、図32及び図33における左右方向)が掃除機10の幅方向として規定される。
駆動部30は、実施形態1においては、一対設けられており、掃除機本体20の平面視における幅方向の中心に対して左側及び右側にそれぞれ1つずつ配置されている。以下、左側の駆動部30を第1の駆動部、右側の駆動部30を第2駆動部と称することがある。なお、駆動部30の数は、2つに限られず、1つでもよいし、3つ以上でもよい。詳細は後述する。
(掃除機本体20)
掃除機本体20は、掃除機本体20の下面側の外形を形成する下部筐体100(図33参照)、及び、掃除機本体20の上面側の外形を形成する上部筐体200(図32参照)を有する。下部筐体100及び上部筐体200が互いに組み合わせられることにより、掃除機本体20が構成される。図32に示されるとおり、上部筐体200は、その大部分を形成するカバー210、カバー210に対して開閉可能に設けられた蓋220、及び、カバー210に対して変位可能なバンパ230を有する。
掃除機本体20の平面形状は、好ましくは、ルーローの三角形、又は、ルーローの三角形とおおよそ同じ形状を有するルーローの多角形、又は、ルーローの三角形あるいはルーローの多角形の頂部がR形状を有する形状である。このような形状により、ルーローの三角形が有する幾何学的な性質と同一又は類似する性質を掃除機本体20に持たせることができる。すなわち、ルーローの三角形は、定幅図形であるため、どの方向にも一定の幅(すなわち、ルーローの三角形に内接する正三角形の辺の長さ)の四角形の中で内接しながら回転することができる。これにより、掃除機本体20は、四角形(すなわち、ほぼ正方形)の軌跡を描くことができる。実施形態1においては、掃除機本体20は、図32に示されるように、実質的にルーローの三角形と同一の平面形状を有する。
また、掃除機本体20は、複数の外周面、及び、複数の頂部を有する。複数の外周面は、実施形態1では、掃除機10の前進側(例えば、図32では上側)に存在する前面21、掃除機本体20の平面視において、前面21に対して右後方側に存在する右側の側面22、及び、前面21に対して左後方側に存在する左側の側面22を含む。また、実施形態1においては、前面21は、外側に向けて湾曲した曲面を有する。外側に向けて湾曲した曲面は、バンパ230に形成されていてもよい。各側面22は、少なくとも一部に外側に向けて湾曲した曲面を有する。実施形態1においては、外側に向けて湾曲した曲面は、バンパ230の側部及びカバー210の側部に形成されている。
複数の頂部は、実施形態1では、前面21と右側の側面22とにより規定される右側の前方頂部23、及び、前面21と左側の側面22とにより規定される左側の前方頂部23を含む。複数の頂部は、さらに、右側の側面22と左側の側面22とにより規定される後方頂部24を含んでいてもよい。図32に示すように、前面21の接線L1と、2つの側面22における接線L2,L3それぞれとがなす角は、ともに鋭角である。
掃除機本体20の最大幅は、掃除機本体20の複数の頂部の頂点間の距離により規定される。実施形態1では、右側の前方頂部23及び左側の前方頂部23により、掃除機本体20の最大幅が規定される。図32に図示される例によれば、掃除機本体20の最大幅は、右側の前方頂部23の頂点と左側の前方頂部23の頂点との距離、すなわち、ルーローの三角形が有する3つの頂点のうちの2つの頂点間の距離により規定される。
なお、掃除機本体20において、右側の前方頂部23の頂点と左側の前方頂部23の頂点とを結ぶ線W(以下、「掃除機本体20の最大幅線W」という)の線上及びその近傍を、「掃除機本体20の最大幅を有する部分」又は「掃除機本体20の最大幅部分」と称する。また、「掃除機本体20の最大幅線Wの近傍」及び「掃除機本体20の最大幅線Wに近い部分」とは、掃除機本体20の最大幅線Wに近い部分、すなわち、掃除機本体20の最大幅線Wと掃除機10の重心G(図33参照)との間の部分、及び、掃除機本体20の最大幅線Wと前面21との間の部分をいい、より具体的には、掃除機本体20の最大幅線Wと、駆動部30の、掃除機本体20の前進方向側の先端との間の部分、及び、掃除機本体20の最大幅線Wと前面21との間の部分をいう。
また、掃除機本体20の最大幅部分は、好ましくは、掃除機本体20の前面21に近い位置に設定される。また、掃除機本体20の最大幅線Wの延伸する方向は、好ましくは、掃除機本体20の前進方向に対してほぼ垂直になるように設定される。
図33に示されるとおり、掃除機本体20は、ごみを掃除機本体20の内部に吸引するための吸込口101をさらに有する。吸込口101は、掃除機本体20の下部筐体100の底面に形成される。吸込口101は、横長形状、好ましくは、矩形状又は略矩形状を有する。なお、吸込口101の形状は、これらに限られず、楕円形状、台形形状、及び、掃除機本体20の外周形状に沿って湾曲した形状でもよい。実施形態1では、長方形を有する。また、実施形態1では、吸込口101は、その長手方向が掃除機本体20の幅方向と実質的に同じ方向に、また、その短手方向が掃除機本体20の前後方向と実質的に同じ方向に位置するように、掃除機本体20の下部筐体100の底面に配置されている。
また、吸込口101は、掃除機本体20の下部筐体100の底面において、掃除機本体20の最大幅を有する部分に近い部分に、より好ましくは、掃除機本体20の最大幅線Wに近い部分に形成される。この位置関係は、吸込口101の、掃除機10の他の構成要素等に対する位置関係により、より具体的に規定される。例えば、次の2種類の位置関係の一方又は両方により規定される。
1つ目の位置関係は、吸込口101が、掃除機10の重心G(図33参照)よりも、掃除機本体20の前方側に位置することである。より具体的には、吸込口101の長手方向と略同方向に延伸する吸込口101の中心線M(以下、「吸込口101の長手方向の中心線」という。)が、掃除機10の重心G(図33参照)よりも、掃除機本体20の前方側、すなわち、掃除機本体20の前部に、すなわち、掃除機本体20の最大幅部分に位置することである。なお、吸込口101の長手方向の中心線は、掃除機本体20の最大幅線Wより前面21に近い部分に位置していてもよい。
2つ目の位置関係は、吸込口101が、駆動部30よりも、掃除機本体20の最大幅線Wに近い部分、好ましくは、掃除機本体20の最大幅線Wの線上又は線近傍、より好ましくは掃除機本体20の最大幅線Wより前面21に近い部分に位置することである。
また、実施形態1では、吸込口101の長手方向の幅は、右側の駆動部30と左側の駆動部30との間の内側の距離よりも広くなるように設定されている。このような構成は、例えば、上述した吸込口101に関する2つ目の位置関係により、実現することができる。このような構成により、より広い幅を有する吸込口101が設けられることが可能となり、ごみを直接吸込口101からより確実に吸引させることができるとともに、後述する吸引部50に吸引されるごみの量を増加させることができる。
(駆動部30)
駆動部30は、掃除機本体20に位置する。
図33に示されるとおり、各駆動部30は、下部筐体100の底面側に配置され、清掃面上を走行するホイール33の複数の要素を有する。実施形態1によれば、各駆動部30は、清掃面上を走行するホイール33のほか、ホイール33にトルクを与えるモータ141,142に相当する走行用モータ31、及び、走行用モータ31を収容するハウジング32を有する。各ホイール33は、下部筐体100に形成される凹部に収容され、下部筐体100に対して回転できるように下部筐体100により支持される。
各ホイール33は、各ホイール33にトルクを与える走行用モータ31よりも、掃除機本体20の幅方向の外側に配置される。このような構成により、ホイール33が走行用モータ31よりも幅方向の内側に配置される場合と比較して、右側のホイール33と左側のホイール33との間隔が広くなるため、掃除機本体20の走行時の安定性が向上する。
実施形態1の掃除機10の駆動方式は、対向2輪型である。すなわち、右側の駆動部30と左側の駆動部30とが掃除機本体20の幅方向において対向して配置されている。また、実施形態1においては、図33に示すように、右側のホイール33の回転軸H及び左側のホイール33の回転軸Hは、実質的に同軸上に存在するように配置されている。
回転軸Hと掃除機10の重心Gとの距離は、例えば掃除機10に所定の旋回性能を持たせることを意図して設定される。所定の旋回性能とは、上述したルーローの三角形の輪郭により形成される四角形の軌跡と同様又は類似の軌跡を、掃除機本体20に形成させることができる旋回性能である。実施形態1によれば、回転軸Hの位置が掃除機10の重心Gよりも掃除機本体20の後方側に設定され、回転軸Hと重心Gとの距離が所定の距離に設定される。対向2輪型を有する掃除機10によれば、このような構成により、掃除機本体20と周囲の物体との接触を利用して、上記軌跡を形成することができる。
(清掃部40)
図33に示されるとおり、清掃部40は、掃除機本体20の内部及び外部に配置されており、ブラシ駆動モータ41の複数の要素を有する。実施形態1によれば、清掃部40は、掃除機本体20の内部(例えば、吸込口101の左側)に配置されるブラシ駆動モータ41のほか、ギアボックス42、および、掃除機本体20の吸込口101に配置されるメインブラシ43を有する。
ブラシ駆動モータ41及びギアボックス42は、下部筐体100に取り付けられる。ギアボックス42は、ブラシ駆動モータ41の出力軸及びメインブラシ43に接続され、ブラシ駆動モータ41のトルクをメインブラシ43に伝達する。
メインブラシ43は、吸込口101の長手方向の長さとおおよそ同じ長さを有し、下部筐体100に対して回転できるように軸受部により支持される。軸受部は、例えばギアボックス42及び下部筐体100の一方又は両方に形成される。実施形態1によれば、メインブラシ43の回転方向は、掃除機10の側面図を示す図33の矢印AMにより示されるとおり、その回転軌道が清掃面側において掃除機本体20の前方から後方に向かう方向に設定される。
(吸引部50)
図32に示されるとおり、吸引部50は、掃除機本体20の内部に配置されており、ファンケース52の複数の要素を有する。実施形態1によれば、吸引部50は、ダストボックス60の後方側かつ後述する電源部80の前方側に配置される。吸引部50は、下部筐体100(図33参照)に取り付けられるファンケース52、及び、ファンケース52の内部に配置される電動ファン51を有する。
電動ファン51は、ダストボックス60の内部の空気を吸引し、電動ファン51の外方に空気を吐出させる。電動ファン51から吐出された空気は、ファンケース52の内部の空間、及び、掃除機本体20の内部におけるファンケース52の周囲の空間を通過し、掃除機本体20の外部に排気される。
(ダストボックス60)
図33に示されるとおり、ダストボックス60は、掃除機本体20の内部においてメインブラシ43の後方側かつ吸引部50の前方側に配置されており、さらに駆動部30の間に配置される。掃除機本体20及びダストボックス60は、ダストボックス60が掃除機本体20に取り付けられた状態、及び、ダストボックス60が掃除機本体20から取り外された状態をユーザが任意に選択できる着脱構造を有する。
(センサ部426)
図32、図33、図36、及び、図37に示されるとおり、掃除機10は、さらに距離センサ11を含む複数のセンサで構成されるセンサ部426を有する。
センサ部426は、障害物検出センサ71と、複数の距離測定センサ72と、衝突検出センサ73と、複数の床面検出センサ74とを有する。距離センサ11は、障害物検出センサ71又は複数の距離測定センサ72に相当する。
ここで、距離測定センサ72の例は、赤外線センサ又はレーザーレンジファインダ(LiDAR)である。
障害物検出センサ71の例は、赤外線センサ、レーザーレンジファインダ(LiDAR)、又は、超音波センサである。
レーザーレンジファインダはLiDAR(Light Detection and Ranging)とも言い換えることができる。LiDARは、レーザを出力する出力部と受光部とを有する。出力部によりパルス状のレーザを照射し、受光部によりレーザの散乱光を受光し、受光した測定値に基づいて、対象物までの距離を検出される。
距離センサ11として、障害物検出センサ71、及び距離測定センサ72のうち、少なくとも1つを備えていれば良い。または、距離センサ11として、障害物検出センサ71、及び距離測定センサ72の両方を備えていても良い。障害物検出センサ71は、測定された測定値を障害物検出に用いる意味で記載されるが、さらに、測定された測定値を距離測定に用いても良い。また、距離測定センサ72は、測定された測定値を距離測定に用いる意味で記載されるが、さらに、測定された測定値を障害物検出に用いても良い。
実施形態1の掃除機10は、吸引部50からダストボックスまでのダクトを流れる空気に含まれるごみに関する情報を検出するゴミセンサの一例であるゴミ検出センサ76をさらに有する。図33に示すように、ごみ検出センサ76は、ダクト内に配置される。ごみ検出センサ76には、例えば、赤外線センサが用いられる。ごみ検出センサ76は、発光部および受光部を有する。ごみ検出センサ76の検出信号は、制御部70に入力される。
障害物検出センサ71は、掃除機本体20の前方に存在する障害物を検出する(図32参照)。例えば、障害物検出センサ71は、物体の有無、形状、及び物体との距離を検出することができる。
複数の距離測定センサ72は、掃除機本体20の周囲に存在する物体と掃除機本体20との距離を検出する(図32参照)。
衝突検出センサ73は、掃除機本体20が周囲の物体と衝突したことを検出する(図32参照)。
複数の床面検出センサ74は、掃除機本体20の底面に存在する清掃面を検出する(図33参照)。
障害物検出センサ71、距離測定センサ72、衝突検出センサ73、及び、床面検出センサ74は、それぞれ制御部70に検出信号を入力する。
障害物検出センサ71には、例えば、所定時間(例えば1秒)毎に180度の範囲内でレーザを照射して測距を行うレーザ測距装置が用いられる。障害物検出センサ71は、物体又は対象物と掃除機本体20との距離に基づいて、机又は椅子の物体の他に、絨毯又はカーペットの対象物が床に存在するか否かを検出することができる。対象物が存在する場合には、障害物検出センサ71は、物体又は対象物の形状及び物体又は対象物との距離を検出することができる。
距離測定センサ72及び床面検出センサ74には、例えば赤外線センサが用いられる。距離測定センサ72及び床面検出センサ74は、発光部及び受光部を有する。衝突検出センサ73には、例えば接触式変位センサが用いられる。例えば、衝突検出センサ73は、バンパ230がカバー210に対して押し込まれることに伴いオンされるスイッチを有する。
図32に示されるとおり、距離測定センサ72は、実施形態1においては、掃除機本体20の平面視における幅方向の中心に対して右側及び左側に配置されている。右側の距離測定センサ72は、右側の前方頂部23に配置され、掃除機本体20の右斜め前方に向けて光を出力する。左側の距離測定センサ72は、左側の前方頂部23に配置され、掃除機本体20の左斜め前方に向けて光を出力する。このような構成により、掃除機10が旋回するときに、掃除機本体20の輪郭と最も接近した周囲の物体と掃除機本体20との距離を検出することができる。
図33に示されるように、複数の床面検出センサ74は、例えば、駆動部30よりも掃除機本体20の前方側及び後方側に配置されて、掃除機本体20の前方側及び後方側のそれぞれでの床面からの距離を検出し、床面から閾値を越える距離だけ離れたとき、異常信号を出力して、階段での床面からの脱落を防止できるようにしている。
センサ部426は、さらに、例えば各ホイール33(各走行用モータ31)の回転数を検出する光エンコーダの回転数センサ455を備えている。この回転数センサ455は、エンコーダ143,144に相当し、測定したホイール33(各走行用モータ31)の回転数によって、掃除機10(掃除機本体20)の旋回角度又は走行距離又は移動量を検出して、制御部70に入力する。したがって、この回転数センサ455は、例えば充電装置の基準位置からの掃除機10(掃除機本体20)の相対位置を検出する、位置検出センサである。
回転数センサ455により検出した掃除機10の位置とから、掃除機10が配置された所定の空間の掃除領域CA及びこの掃除領域CA内に位置する物体の位置関係を計算して地図情報301(図7)を生成する。
なお、前記相対位置は、後述する、掃除機10の「現在位置」として取り扱うこともできる。
(制御部70)
図32の例では、制御部70は、掃除機本体20の内部において、吸引部50の後方側に配置される。制御部70は、具体的には制御回路で構成することができる。
制御部70の具体的なハードウェアの一例は、CPUと、このCPUによって読み出されるプログラムの固定的なデータを格納した格納部であるROMと、プログラムによるデータ処理の作業領域となるワークエリアの各種メモリエリアを動的に形成するエリア格納部であるRAMと備えるマイコンである。制御部70には、さらに、メモリ461と、画像処理部463と、画像生成部464と、判定部465とを備えている。
メモリ461は、例えば一対のカメラ92で撮像した画像のデータ、障害物検出センサ71で取得した物体の有無、形状、及び物体との距離を記憶する記憶手段(記憶部)として機能する。
画像処理部463は、一対のカメラ92で撮像した画像のデータ、及び、障害物検出センサ71で取得した物体の有無、形状、及び物体との距離に基づいて、掃除領域CAの地図情報301を生成する地図生成手段(地図生成部)として機能する。
画像生成部464は、一対のカメラ92で撮像した画像のデータ、及び、障害物検出センサ71で取得した物体の有無、形状、及び物体との距離に基づいて距離画像を生成する画像生成手段(画像生成部)として機能する。
判定部465は、一対のカメラ92で撮像した画像のデータ、及び、障害物検出センサ71で取得した物体の有無、形状、及び物体との距離に基づいて障害物を判定する障害物判定手段(障害物判定部)として機能する。
また、この制御部70は、走行制御部466と、掃除制御部467と、撮像制御部468とを備えている。
走行制御部466は、駆動部30の左右の走行用モータ31(一対のホイール33)の動作を制御する。
掃除制御部467は、清掃部40のブラシ駆動モータ41、及び、吸引部50の電動ファン51の動作をそれぞれ制御する。
撮像制御部468は、撮像部425の一対のカメラ92を制御する。
この制御部70は、例えば一対のホイール33(一対のモータ31)を駆動して掃除機10(掃除機本体20)を自律走行させる走行モードと、充電装置を介して、後述する蓄電池82を充電する充電モードと、動作待機中の待機モードとを有しており、これらのモードはメモリ461に記憶されている。
走行モードとしては、少なくとも、
(i)対象物を除く空間の掃除領域CAを掃除した後、対象物を乗り越える第1の移動モード、及び
(ii)最初に、対象物を乗り越えた後、対象物を除く空間の掃除領域CAを掃除する第2の移動モードと、
を有している。ここで、乗り越えるとは、例えば、対象物の上に乗り、その後、対象物の上面を掃除し、その後、対象物から降りることを意味している。なお、対象物の上に乗る位置と、対象物から降りる位置は、異なっていてもよいし、同じでもよい。また、対象物の上に乗った後、対象物の上面を色々な方向に走行して掃除してもよいし、対象物の上に乗った後、そのまま直線的に走行しつつ掃除したのち、対象物から降りるようにしてもよい。
画像処理部463が、掃除領域CAの地図情報301を生成する地図生成手段(地図生成部)として機能するとき、具体的な地図生成処理方法としては種々知られている。例えば、地図情報301を掃除機10で生成する場合の生成方法、及び、掃除機10の自己位置を推定する方法として、いわゆる、SLAM(simultaneous localization and mapping)と呼ばれる技術を使用することができる。SLAMとは、センサ部426で検出された物体との距離の情報を基に、掃除機10の自己位置の推定と環境地図の作成とを同時に行う技術である。
SLAMの考え方について簡単に説明する。(1)観測点の地図上の位置の推定を掃除機10の位置を基に行う。(2)掃除機10のホイール33の回転数から移動量を求めるオドメトリの手法を使って、掃除機10の位置を次々に推定する。(3)地図情報301に既に登録した点を再度観測して、掃除機10の位置を修正する。
これらの(1)〜(3)を求めるそれぞれの式を合わせて連立方程式を作成する。これを最小二乗法で解くことにより、掃除機10の位置と地図情報301とが推定でき、累積誤差も削減される。
詳しくは、非特許文献1(「移動ロボットの環境認識−地図構築と自己位置推定」、著者 友納正裕、システム制御情報学会発行の学会誌「システム/制御/情報」vol. 60, No.12, pp. 509−514, 2016)を参照。
生成された地図情報301は地図データベース99に記憶され、掃除機10の推定された自己位置はメモリ461に記憶されている。
メモリ461は、掃除機10の電源のオンオフに拘らず、記憶した各種データを保持する、例えばフラッシュメモリの不揮発性のメモリである。
画像処理部463は、一対のカメラ92で撮像した画像のデータ、及び、障害物検出センサ71で取得した物体の有無、形状、及び、物体との距離から、掃除機10(掃除機本体20)の周囲の物体と掃除機10(掃除機本体20)との距離を計算し、この距離と、センサ部426の回転数センサ455により検出した掃除機10(掃除機本体20)の位置とから、掃除機10(掃除機本体20)が配置された掃除領域CA及びこの掃除領域CA内に位置する物体の位置関係を計算して、地図情報301(図7)を生成する。
画像生成部464は、一対のカメラ92で撮像した画像のデータ、及び、障害物検出センサ71で取得した物体の有無、形状、及び物体との距離を示す距離画像を生成する。この画像生成部464による距離画像の生成は、一対のカメラ92で撮像した画像のデータ、及び、障害物検出センサ71で取得した物体の形状及び物体との距離を、画像の1ドット毎の所定ドット毎に明度、あるいは色調の、視認により識別可能な階調に変換して表示することにより行われる。実施形態1において、画像生成部464は、距離が大きいほど明度が小さい白黒の画像、すなわち掃除機10(掃除機本体20)からの前方への距離が遠いほど黒く距離が近いほど白い、例えば256階調(8ビット=2<8>)のグレースケールの画像として距離画像を生成する。したがって、この距離画像は、いわば掃除機10(掃除機本体20)の走行方向前方の一対のカメラ92によって撮像される範囲内に位置する物体の距離データの集合体を可視化したものである。
判定部465は、一対のカメラ92で撮像した画像のデータ、及び、障害物検出センサ71で取得した物体の有無、形状、及び物体との距離に基づいて、物体が障害物であるかどうかを判定する。すなわち、この判定部465は、一対のカメラ92で撮像した画像のデータ、及び、障害物検出センサ71で取得した物体の有無、形状、及び物体との距離から、所定の範囲、例えば距離画像中の四角形状の所定の画像範囲中の部分を抽出し、この画像範囲中の物体の距離を、予め設定された、あるいは可変設定された閾値である設定距離と比較し、この設定距離以下の距離(言い換えれば、掃除機10(掃除機本体20)からの距離)に位置する物体を障害物であると判定する。画像範囲は、掃除機10(掃除機本体20)の上下左右の大きさに応じて設定される。すなわち、画像範囲は、掃除機10(掃除機本体20)がそのまま直進したときに接触する範囲に上下左右が設定される。
走行制御部466は、一対のモータ31に流れる電流の大きさ及び向きを制御することにより、一対のモータ31を正転、あるいは逆転させることで、一対のモータ31の駆動を制御し、これら一対のモータ31の駆動を制御することで一対のホイール33の駆動を制御している。
掃除制御部467は、電動ファン51及びブラシ駆動モータ41をそれぞれ別個に導通角制御することで、これら電動ファン51及びブラシ駆動モータ41の駆動を制御している。なお、これら電動ファン51及びブラシ駆動モータ41のそれぞれに対応して制御部を別個に設けてもよい。
撮像制御部468は、一対のカメラ92のシャッタの動作を制御する制御回路を備えている。撮像制御部468は、シャッタを所定時間毎に動作させることで、所定時間毎に一対のカメラ92により画像を撮像させるように制御する。
(電源部80)
電源部80は、掃除機本体20に位置して、通信部423、撮像部425、駆動部30、清掃部40、吸引部50、センサ部426に電力を供給する。電源部80は、掃除機10の重心Gよりも掃除機本体20の後方側に配置され、さらに吸引部50よりも掃除機本体20の後方側に配置され、電源ケース81の複数の要素を有する。実施形態1によれば、電源部80は、具体的なハードウェアとして、下部筐体100に取り付けられる電源ケース81、電源ケース81内に収容される蓄電池82、及び、電源部80から上記各要素への電力の供給及び停止を切り替えるメインスイッチ83を有する。
蓄電池82には、例えば2次電池が用いられる。蓄電池82は、掃除機本体20に収納され、例えば掃除機本体20の下面の後部の両側に露出する接続部としての充電端子(図示せず)と電気的に接続されており、これら充電端子が充電装置側と電気的及び機械的に接続されることで、充電装置を介して充電されるようになっている。
(カメラ92)
掃除機10は、撮像制御部468での撮像制御に基づいて、掃除機本体20の周辺情報を含むカメラ画像を取得する一対のカメラ92をさらに備えている。
一対のカメラ92は、画像を撮像する撮像部425を構成し、掃除機本体20の前面21の障害物検出センサ71の両側の左右に配置されている。すなわち、実施形態1では、一対のカメラ92は、掃除機本体20の前面21において、掃除機10(掃除機本体20)の幅方向の中心線Lに対して、左右方向に略等しい所定角度(鋭角)傾斜した位置にそれぞれ配置されている。言い換えると、これら一対のカメラ92は、掃除機本体20に対して幅方向に略対称に配置されており、これら一対のカメラ92の中心位置が、掃除機10(掃除機本体20)の走行方向である前後方向と交差(直交)する幅方向の中心位置と略一致している。さらに、これら一対のカメラ92は、上下方向に略等しい位置、すなわち、略等しい高さ位置にそれぞれ配置されている。このため、これら一対のカメラ92は、掃除機10を床面上に載置した状態でこの床面からの高さが互いに略等しく設定されている。したがって、一対のカメラ92は、互いにずれた位置(左右方向にずれた位置)に離間されて配置されている。また、これら一対のカメラ92は、掃除機本体20の走行方向である前方を、それぞれ所定の水平画角(例えば105°)でデジタルの画像を所定時間毎、例えば数十ミリ秒毎の微小時間毎、あるいは数秒毎に撮像するデジタルカメラである。さらに、これら一対のカメラ92は、互いの視野が重なっており、これら一対のカメラ92により撮像される一対の画像は、それらの撮像領域が掃除機10(掃除機本体20)の幅方向の中心線Lを延長した前方の位置を含む領域で左右方向に重なっている。実施形態1では、これら一対のカメラ92は、例えば可視光領域の画像を撮像するものとする。なお、これら一対のカメラ92により撮像した画像は、例えば図示しない画像処理回路により所定のデータ形式に圧縮することもできる。
一対のカメラ92で撮像した画像は制御部70の画像処理部463に入力されて、制御部70は対象物を含む物体の情報、例えば、物体の有無及び形状を取得する。
例えば、画像処理部463で、画像処理部463内の予め学習した学習器に、カメラ92で画像を入力することにより、カメラ画像から物体の有無、形状、及び、名称情報の物体情報を取得することができる。又は、画像処理部463で、カメラ画像に、画像処理部463内で予め保持するパターン(画像)をマッチングすることにより、物体の有無、形状、及び、名称情報の物体情報を取得することもできる。
このように、カメラ画像から物体情報を取得する場合には、撮像したときの掃除機10の自己位置に対して、掃除機10(又はカメラ92)の向きの所定の距離(すなわち、物体と掃除機10との間の距離)の位置を、「物体の位置」として取得する。
(データベース110)
データベース110は、通信部423、制御部70、撮像部425、センサ部426と接続され、地図データベース99と、経路データベース102とを含む。
地図データベース99は、掃除領域CAの地図情報を記憶している。掃除領域CAの地図情報は、予め作成した掃除領域CAの地図情報を記憶してもよいし、掃除機10で作成した掃除領域CAの地図情報であってもよい。
経路データベース102は、掃除領域CAの地図情報において掃除機10の予定経路Pを記憶しているとともに、後述する経路生成規則の情報についても記憶している。予定経路Pは、後述するように、経路生成規則に基づき生成された複数の予定経路Pを経路データベース102に予め記憶させておき、ユーザがその中から少なくとも1つの予定経路Pを選択できるようにしている。
(その他の構成)
また、掃除機10は、端末装置120に相当する装置として、スマートフォンの外部端末装置で構成される外部装置417と通信する通信部423をさらに備えている。
通信部423は、ホームゲートウェイ414及びネットワーク415を介して外部装置417と無線通信をするための無線通信手段(無線通信部)及び掃除機信号受信手段(掃除機信号受信部)としての無線LANデバイス447、充電装置へと無線信号(赤外線信号)を送信する例えば赤外線発光素子の図示しない送信手段(送信部)、及び、図示しない充電装置又は図示しないリモコンからの無線信号(赤外線信号)を受信する例えばフォトトランジスタの図示しない受信手段(受信部)を備えて構成することができる。
無線LANデバイス447は、掃除機10からホームゲートウェイ414を介してネットワーク415に対して各種情報を送受信するものであり、例えば掃除機掃除機本体20に内蔵されている。
ホームゲートウェイ414は、アクセスポイントとも呼ばれ、建物内に設置され、ネットワーク415に対して例えば有線により接続されている。
サーバ416は、ネットワーク415に接続されたコンピュータ(クラウドサーバ)であり、各種データを保存可能である。
外部装置417は、建物の内部では例えばホームゲートウェイ414を介してネットワーク415に対して有線あるいは無線通信可能であるとともに、建物の外部ではネットワーク415に対して有線あるいは無線通信可能な、例えばPC(タブレット端末装置(タブレットPC装置))417a又はスマートフォン(携帯電話)417bの汎用のデバイスである。
この外部装置417は、前記ディスプレイ119に対応して少なくとも画像を表示する表示機能を持つ前記ディスプレイ417c,417dを有している。
(変形例)
実施形態1の掃除機10には配置されていないが、図38A及び図38Bに示される、実施形態1の変形例にかかる掃除機10Bでは、清掃部40は、掃除機本体20の下部筐体100の底面側に配置されるサイドブラシ44、及び、吸込口101の左右に配置されるギアボックス42をさらに有することもできる。サイドブラシ44は、掃除機本体20の下部筐体100の底面側において、左右両側に1つずつ設けられている。
一方(例えば、掃除機本体20の平面視における右側)のギアボックス42は、ブラシ駆動モータ41の出力軸、メインブラシ43、及び、一方のサイドブラシ44と接続され、ブラシ駆動モータ41のトルクをメインブラシ43及び一方のサイドブラシ44に伝達する。他方(例えば、掃除機本体20の平面視における左側)のギアボックス42は、メインブラシ43及び他方のサイドブラシ44と接続され、メインブラシ43のトルクを他方のサイドブラシ44に伝達する。
実施形態1の変形例において、一対のサイドブラシ44はそれぞれ、掃除機本体20の2つの前方頂部23にそれぞれ取り付けられるブラシ軸44A、及び、ブラシ軸44Aに取り付けられる複数のブリッスル束44Bを有する。掃除機本体20に対するサイドブラシ44の位置は、吸込口101にごみを集めることができるサイドブラシ44の回転軌跡(サイドブラシ44が1回転することにより描かれる円形軌跡をいう。以下同じ。)の一部が、掃除機本体20の最大幅部分に位置する。実施形態1の変形例によれば、各ブラシ軸44Aに取り付けられるブリッスル束44Bの数は3つであり、各ブリッスル束44Bが一定の角度間隔でブラシ軸44Aに取り付けられる。
各ブラシ軸44Aは、掃除機本体20の高さ方向と同じ方向又はおおよそ同じ方向に延長する回転軸を有し、掃除機本体20に対して回転できるように掃除機本体20により支持され、吸込口101の長手方向の中心線よりも掃除機本体20の前方側に配置される。
ブリッスル束44Bは、複数のブリッスルにより構成され、各ブラシ軸44Aの径方向と同じ方向又はおおよそ同じ方向に延長するようにブラシ軸44Aに固定される。実施形態1の変形例によれば、各ブリッスル束44Bの長さは、各ブリッスル束44Bの先端が掃除機本体20の輪郭よりも外側に飛び出る長さに設定される。
各サイドブラシ44の回転方向は、図34の矢印ASにより示されるとおり、サイドブラシ44の回転軌跡が掃除機本体20の幅方向の中心側において掃除機本体20の前方から後方に向かう方向に設定される。すなわち、各サイドブラシ44は、互いに反対の方向に回転する。実施形態1の変形例においては、各サイドブラシ44は、一方の回転軌跡のうち、他方のサイドブラシ44の回転軌跡と接近している部分において、掃除機本体20の前方から後方に向けて回転する。
(掃除機10の制御方法)
次に、制御部70による掃除機10の制御方法について説明する。
図37は、掃除機10の電気系の機能を示すブロック図である。
制御部70は、掃除機本体20の内部において、電源部80(図32及び図33参照)上に配置され、電源部80と電気的に接続される。制御部70は、さらに、通信部423、撮像部425、センサ部426、一対の走行用モータ31、ブラシ駆動モータ41、及び、電動ファン51と電気的に接続される。
制御部70は、センサ部426の障害物検出センサ71から入力されかつ物体の有無、形状、及び物体との距離を含む検出信号に基づいて、掃除機本体20よりも前方側の所定範囲内に掃除機10の走行を妨げ得る物体が存在しているか否かを判定部465で判定する。制御部70は、左右の距離測定センサ72からそれぞれ入力される検出信号に基づいて、掃除機本体20の左右の前方頂部23の周囲にそれぞれ存在する物体と掃除機本体20の輪郭との距離を演算する。
制御部70は、衝突検出センサ73から入力される検出信号に基づいて、掃除機本体20が周囲の物体に衝突したか否かを判定する。制御部70は、床面検出センサ74から入力される検出信号に基づいて、掃除機本体20の下方に掃除領域CAの清掃面が存在するか否かを判定する。
制御部70は、上述の判定及び演算の結果の1つ又は複数を用いて、掃除機10により掃除領域CAの清掃面が清掃されるように、走行用モータ31、ブラシ駆動モータ41、及び、電動ファン51を制御する。
前記実施形態1によれば、移動ロボット1がどこに行こうとしているかを端末装置120のディスプレイ119に表示することにより、移動ロボット1の予定経路338をユーザが手元の端末装置120のディスプレイ119で直観的にすなわち極めて容易に理解でき、予定経路変更もディスプレイ119に対するタッチ動作の接触点の入力で容易に行え、利便性を高くすることができる。
さらに、移動ロボット1が掃除機10の場合には、移動ロボット1に記録されている情報、例えば、掃除予定経路又は掃除済経路の情報を地図情報308の上に重ね合せて端末装置120のディスプレイ119に表示することができる。これにより、掃除予定経路に沿って掃除をするか、移動方向を修正して、掃除をするかをユーザが選択可能とする。
なお、本開示は前記実施形態に限定されるものではなく、その他種々の態様で実施できる。例えば、移動指示を画面に矢印で表示する代わりに、音声で発音するようにしてもよい。この場合には、指示内容と音声とが対応するテーブルをデータベースに記録しておけばよい。
なお、前記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。また、実施形態同士の組み合わせ又は実施例同士の組み合わせ又は実施形態と実施例との組み合わせが可能であると共に、異なる実施形態又は実施例の中の特徴同士の組み合わせも可能である。
なお、本開示を前記実施形態及び変形例に基づいて説明してきたが、本開示は、前記実施形態及び変形例に限定されないのはもちろんである。以下のような場合も本開示に含まれる。
前記各制御部又は回路の一部又は全部は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスから構成されるコンピュータシステムである。前記RAM又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各部又は回路は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
例えば、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。
また、このプログラムは、サーバからダウンロードされることによって実行されてもよく、所定の記録媒体(例えば、CD−ROMの光ディスク、磁気ディスク、又は、半導体メモリ)に記録されたプログラムが読み出されることによって実行されてもよい。
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
なお、上記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。また、実施形態同士の組み合わせ又は実施例同士の組み合わせ又は実施形態と実施例との組み合わせが可能であると共に、異なる実施形態又は実施例の中の特徴同士の組み合わせも可能である。
本開示にかかる移動ロボット及び移動ロボットの制御方法は、移動ロボットの移動予定経路をユーザが手元の端末装置で容易に理解でき、移動予定経路変更も容易に行え、利便性を高くすることができ、ロボット掃除機、又は搬送ロボットを含む各種移動ロボット等として有用である。
1 移動ロボット
1a 識別マーク
2 制御回路
3 駆動部
4 車輪機構
4a,4b 車輪
5 データベース
6 入出力部
7 情報生成部
8 タイマー
9 制御部
9a 初期化処理部
9b 現在位置取得部
9c 駆動制御部
9d 判断部
10,10B 掃除機
11 距離センサ
12 ロボット本体
19 通信部
20 掃除機本体
21 前面
22 側面
23 前方頂部
24 後方頂部
30 駆動部
31 走行用モータ
32 ハウジング
33 ホイール
40 清掃部
41 ブラシ駆動モータ
42 ギアボックス
43 メインブラシ
44 サイドブラシ
44A ブラシ軸
44B ブリッスル束
50 吸引部
51 電動ファン
52 ファンケース
60 ダストボックス
70 制御部
71 障害物検出センサ
72 距離測定センサ
73 衝突検出センサ
74 床面検出センサ
75 脱輪検出スイッチ
76 ゴミ検出センサ
80 電源部
81 電源ケース
82 蓄電池
83 メインスイッチ
90 キャスタ
92 カメラ
99 地図データベース
100 下部筐体
101 吸込口
102 経路データベース
119 ディスプレイ
119a 画面
119b 入力検知部
120 端末装置
121 制御回路
122 センサ
123 データベース
124 入出力部
125 提示部
126 合成制御部
127 座標変換部
127a 画像処理部
127b 位置算出部
127c 変換演算部
128 通信部
129 カメラ
130 ジャイロスコープ
131 深度カメラ
132 入力判断部
136 判断部
141,142 モータ
143,144 エンコーダ
200 上部筐体
210 カバー
220 蓋
230 バンパ
301 地図情報
301a 床
301b 壁
301c 障害物
302 予定経路情報
331 端末装置の座標系における移動ロボットの位置
332 掃除済の領域
333 目標位置
334 ユーザの手
335 スタックした場所
336 地図
337 移動ロボットの目標位置
338 移動ロボットの第1の予定経路
339 移動ロボットの第2の予定経路
340 複数の接触点
341 最終の接触点
342 ゴミセンサの値の表示
344 移動予定領域
347 線分
414 ホームゲートウェイ
415 ネットワーク
416 サーバ
417 外部装置
417a PC(タブレット端末装置(タブレットPC))
417b スマートフォン(携帯電話)
417c,417d ディスプレイ
447 無線LANデバイス
455 回転数センサ
461 メモリ
463 画像処理部
464 画像生成部
465 判定部
466 走行制御部
467 掃除制御部
468 撮像制御部
502 所定の時間
CA 掃除領域
M 吸込口の中心線
P 予定経路
W 掃除機本体の最大幅線

Claims (15)

  1. 端末装置を用いた移動ロボットの制御方法であって、
    前記端末装置は、
    カメラと、
    自律走行する前記移動ロボットを含む表示画面を表示するディスプレイと、
    第1の制御回路と、
    前記移動ロボットは第2の制御回路とを備え
    前記第1の制御回路は、
    (a1)前記移動ロボットの第1の予定経路を取得し、
    (a2)前記カメラで撮像されたカメラ画像に、前記第1の予定経路が重畳されている第1の画面を前記ディスプレイに表示させ、
    (a3a)前記第1の画面が表示されている前記ディスプレイ上への接触点を検知し、前記接触点の位置を前記第2の制御回路に送信し、
    前記第2の制御回路は、
    (a3b)前記第2の制御回路から受信した前記接触点を走行する前記移動ロボットの第2の予定経路を生成し、
    (a4)前記第1の制御回路に、前記生成された第2の予定経路を送信するように制御する、
    移動ロボットの制御方法。
  2. 前記第1の制御回路は、
    前記第1の画面は、前記第1の又は第2の予定経路として、前記移動ロボットの進行方向を示す図形と移動予定領域とが重畳されているように制御する、
    請求項1に記載の移動ロボットの制御方法。
  3. 前記移動ロボットは掃除機であり、
    前記掃除機は、
    底面に吸込口を有する掃除機本体と、
    前記掃除機本体に配置される吸引部と、
    前記掃除機本体に配置され、前記掃除機の走行を駆動する駆動部と、
    第2の制御回路とを備え、
    前記第2の制御回路は、前記吸引部と前記駆動部とをそれぞれ制御して移動しつつ掃除を行い、前記掃除機により掃除が完了した領域の情報を前記第1の制御回路に送信し、
    前記第1の制御回路は、前記第2の制御回路から、前記掃除が完了した領域の情報を受け取ったのち、前記第1の画面は、さらに、前記掃除機により前記掃除が完了した領域が重畳されているように制御する、
    請求項1に記載の移動ロボットの制御方法。
  4. 前記第1の制御回路は、
    (a3a)前記第1の画面が表示されている前記ディスプレイ上への前記接触点を検知するとき、前記接触点として複数の接触点を含むスワイプ動作を検知し、前記複数の接触点の位置を前記第2の制御回路に送信し、
    前記第2の制御回路は、
    (a3b)前記第2の制御回路から受信した前記複数の接触点を走行する前記移動ロボットの前記第2の予定経路を生成するとき、前記複数の接触点のうちの、前記スワイプ動作に含まれる最初の接触点から、前記スワイプ動作に含まれる最後の接触点に向かう進行方向を有する前記第2の予定経路を生成するように制御する、
    請求項1に記載の移動ロボットの制御方法。
  5. 前記第1の制御回路は、
    (a3a)前記第1の画面が表示されている前記ディスプレイ上への前記接触点を検知するとき、前記接触点として複数の接触点を含むスワイプ動作を検知し、前記複数の接触点の位置を前記第2の制御回路に送信し、
    前記第2の制御回路は、(a3b)前記第2の制御回路から受信した前記複数の接触点を走行する前記移動ロボットの前記第2の予定経路を生成するとき、前記移動ロボットの位置から、前記スワイプ動作に含まれる前記複数の接触点のうちの最後の接触点に向かう進行方向を有する前記第2の予定経路を生成するように制御する、
    請求項1に記載の移動ロボットの制御方法。
  6. 前記第1の制御回路は、
    (a3a)前記第1の画面が表示されている前記ディスプレイ上への前記接触点を検知するとき、前記スワイプ動作を第1の閾値以上の時間検知し、前記複数の接触点の位置を前記第2の制御回路に送信し、
    前記第2の制御回路は、
    (a3b)前記第2の制御回路から受信した前記複数の接触点を走行する前記移動ロボットの前記第2の予定経路を生成するとき、前記複数の接触点のうちの、前記スワイプ動作の最後から所定時間前の接触点から、前記スワイプ動作に含まれる最後の接触点に向かう進行方向を有する前記第2の予定経路を生成するように制御する、
    請求項4に記載の移動ロボットの制御方法。
  7. 前記(a3)において、前記接触点として複数の接触点を含むスワイプ動作を前記第1の制御回路で検知した場合、前記スワイプ動作に含まれる前記複数の接触点のそれぞれを通る線分に基づいて、前記第2の制御回路で前記移動ロボットの向きを変更する前記第2の予定経路を生成するように制御する、
    請求項1に記載の移動ロボットの制御方法。
  8. 前記(a3)において、前記接触点として複数の接触点を含むスワイプ動作を前記第1の制御回路で検知したとき、
    前記スワイプ動作が前記画面上において直線である場合、前記移動ロボットの位置から、前記スワイプ動作に含まれる前記複数の接触点のうちの最後の接触点に向かう進行方向を有する前記第2の予定経路を生成し、
    前記スワイプ動作が前記画面上において曲線である場合、前記スワイプ動作に含まれる複数の接触点のそれぞれを通る線分に基づいて、前記移動ロボットの向きを変更するように湾曲した前記第2の予定経路を前記第2の制御回路で生成するように制御する、
    請求項1に記載の移動ロボットの制御方法。
  9. 前記第1の制御回路で前記接触点を検知した時点の前記第1の画面において、前記第1の予定経路と重複しない前記第2の予定経路を前記第2の制御回路で生成するように制御する、
    請求項1に記載の移動ロボットの制御方法。
  10. 前記移動ロボットは、第2の制御回路を備え、
    前記第1の制御回路は、
    (a5)前記第1の制御回路で前記カメラ画像に前記掃除機を含まないと判断した場合、前記第2の制御回路に、前記掃除機の速度を掃除動作時の速度よりも小さくする第1の指示を送信するように制御する、
    請求項3に記載の移動ロボットの制御方法。
  11. 前記第1の制御回路は、
    (a6)前記(a5)の後に前記カメラで撮像した前記カメラ画像に、前記移動ロボットが含まれたと判断した場合、前記第2の制御回路に、前記第1の指示の解除を送信して前記掃除機の速度を前記掃除動作時の速度に戻すように制御する、
    請求項10に記載の移動ロボットの制御方法。
  12. 前記移動ロボットは、
    さらに、前記移動ロボットの位置を取得する第1のセンサを備え、
    (a7)前記第1の制御回路は、前記カメラ画像に前記掃除機を含まないと判断した場合、前記第2の制御回路から、前記第1のセンサで検出される前記掃除機本体の位置を取得し、
    (a8)前記第1の制御回路は、前記カメラ画像に、前記掃除機本体が位置する方向が重畳されている第2の画面を、前記ディスプレイに表示させるように制御する、
    請求項10に記載の移動ロボットの制御方法。
  13. 前記(a8)の後に、前記第1の制御回路は、前記カメラ画像に前記掃除機を含むと判断した場合、前記第1の制御回路は、前記カメラ画像に重畳されている、前記掃除機本体が位置する方向の表示を消すように制御する、
    請求項12に記載の移動ロボットの制御方法。
  14. 端末装置を用いた移動ロボットの制御方法であって、
    前記端末装置は、
    カメラと、
    自律走行する移動ロボットを含む表示画面を表示するディスプレイと、
    第1の制御回路とを備え、
    前記掃除機は、
    底面に吸込口を有する掃除機本体と、
    前記掃除機本体に配置される吸引部と、
    前記掃除機本体に配置され、前記掃除機の走行を駆動する駆動部と、
    第2の制御回路とを備え、
    前記第1の制御回路は、
    (b1)前記第2の制御回路から、前記掃除機の掃除前の状態、掃除中の状態、及び前記掃除後の状態の少なくとも1つの掃除状態を受け付け、
    (b2)前記第2の制御回路から、前記掃除機の第1の予定経路、前記吸引部が吸引したごみの量、及び前記掃除機が掃除が完了した領域の少なくとも1つを受け付け、
    (b3)前記掃除前の状態を受け付けているとき、前記第1の予定経路が重畳されている第1の画面を前記ディスプレイに表示させ、
    前記掃除中の状態を受け付けているとき、前記カメラで撮像されたカメラ画像と、前記吸引部が吸引したごみの量とを含む第3の画面を前記ディスプレイに表示させ、
    前記掃除後の状態を受け付けているとき、前記カメラ画像と、前記掃除機により掃除が完了した領域を含む第4の画面を前記ディスプレイに表示させるように制御する、
    移動ロボットの制御方法。
  15. 端末装置と、前記端末装置を用いて制御される移動ロボットとを備える移動ロボットの制御システムであって、
    前記端末装置は、
    カメラと、
    自律走行する前記移動ロボットを含む表示画面を表示するディスプレイと、
    第1の制御回路とを備え、
    前記移動ロボットは、
    第2の制御回路を備え、
    前記第1の制御回路は、
    (a1)前記移動ロボットの第1の予定経路を取得する通信部と、
    (a2)前記カメラで撮像されたカメラ画像に、前記第1の予定経路が重畳されている第1の画面を前記ディスプレイに表示させる提示部と、
    (a3)前記第1の画面が表示されている前記ディスプレイ上への接触点を検知する入力検知部とを備え、
    前記第2の制御回路は、
    前記入力検知部で検知した前記接触点を走行する前記移動ロボットの第2の予定経路を生成する情報生成部と、
    (a4)前記移動ロボットに前記第2の予定経路を送信する通信部とを備える、
    移動ロボットの制御システム。
JP2018015677A 2018-01-31 2018-01-31 掃除機の制御方法 Active JP7108861B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018015677A JP7108861B2 (ja) 2018-01-31 2018-01-31 掃除機の制御方法
US16/256,333 US11886186B2 (en) 2018-01-31 2019-01-24 Mobile robot and control method of mobile robot
CN201910095184.7A CN110091326B (zh) 2018-01-31 2019-01-30 移动机器人以及移动机器人的控制方法
JP2022001702A JP7442063B2 (ja) 2018-01-31 2022-01-07 掃除機の制御方法及び制御システム
US18/529,222 US20240118700A1 (en) 2018-01-31 2023-12-05 Mobile robot and control method of mobile robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018015677A JP7108861B2 (ja) 2018-01-31 2018-01-31 掃除機の制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022001702A Division JP7442063B2 (ja) 2018-01-31 2022-01-07 掃除機の制御方法及び制御システム

Publications (2)

Publication Number Publication Date
JP2019133450A true JP2019133450A (ja) 2019-08-08
JP7108861B2 JP7108861B2 (ja) 2022-07-29

Family

ID=67392049

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018015677A Active JP7108861B2 (ja) 2018-01-31 2018-01-31 掃除機の制御方法
JP2022001702A Active JP7442063B2 (ja) 2018-01-31 2022-01-07 掃除機の制御方法及び制御システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022001702A Active JP7442063B2 (ja) 2018-01-31 2022-01-07 掃除機の制御方法及び制御システム

Country Status (3)

Country Link
US (2) US11886186B2 (ja)
JP (2) JP7108861B2 (ja)
CN (1) CN110091326B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021153979A (ja) * 2020-03-27 2021-10-07 パナソニックIpマネジメント株式会社 自律走行型掃除機、自律走行型掃除機の制御方法およびプログラム
JP2022040060A (ja) * 2020-08-27 2022-03-10 ネイバーラボス コーポレーション ロボット管制方法及びシステム
CN114286739A (zh) * 2019-08-26 2022-04-05 川崎重工业株式会社 信息处理装置、设定装置及方法、图像识别系统、机器人系统、学习装置以及学习完毕模型的生成方法
KR20230065419A (ko) * 2021-11-04 2023-05-12 서울대학교산학협력단 자율 주행 차량 또는 로봇을 위한 장애물 탐지 시스템
JP7370106B1 (ja) 2022-04-30 2023-10-27 蘇州瑞得恩光能科技有限公司 ロボット及びその直線移動制御方法、データ処理機器
JP7461801B2 (ja) 2020-06-04 2024-04-04 アマノ株式会社 清掃装置、プログラム及び表示端末

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415424B (zh) * 2018-02-05 2019-09-13 腾讯科技(深圳)有限公司 智能机器人控制方法和装置、系统及存储介质
JP7149502B2 (ja) * 2018-03-29 2022-10-07 パナソニックIpマネジメント株式会社 自律移動掃除機、自律移動掃除機による掃除方法、及び自律移動掃除機用プログラム
US11892835B2 (en) * 2019-07-26 2024-02-06 Zoox, Inc. System and method for controlling an autonomous vehicle
US11409278B2 (en) 2019-07-26 2022-08-09 Zoox, Inc. System and method for providing a teleoperation instruction to an autonomous vehicle
US11327483B2 (en) * 2019-09-30 2022-05-10 Irobot Corporation Image capture devices for autonomous mobile robots and related systems and methods
WO2021171855A1 (ja) * 2020-02-27 2021-09-02 パナソニックIpマネジメント株式会社 情報提示方法、情報提示装置、及び、プログラム
CN113662476B (zh) * 2020-05-14 2023-04-04 杭州萤石软件有限公司 一种提高可移动清洁机器人清洁覆盖率的方法、以及系统
JP2022027301A (ja) * 2020-07-31 2022-02-10 パナソニックIpマネジメント株式会社 掃除機システム、走行経路表示方法、および、プログラム
CN113103225B (zh) * 2021-03-03 2022-06-10 重庆大学 一种基于图像测量的移动机器人多阶段平稳自主对接方法
CN113500601B (zh) * 2021-07-21 2022-11-22 上海原圈网络科技有限公司 一种机器人运动控制方法和系统
CN113917919B (zh) * 2021-09-30 2023-05-12 厦门安科科技有限公司 防护网与移动机器人交互的控制方法及控制装置
CN114869171A (zh) * 2022-04-21 2022-08-09 美智纵横科技有限责任公司 清洁机器人及其控制方法和装置、可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002222013A (ja) * 2001-01-26 2002-08-09 Matsushita Electric Ind Co Ltd 移動作業ロボット
JP2007226322A (ja) * 2006-02-21 2007-09-06 Sharp Corp ロボットコントロールシステム
JP2011233149A (ja) * 2010-04-26 2011-11-17 Lg Electronics Inc ロボット掃除機、並びにロボット掃除機を用いた遠隔監視システム及びロボット掃除機を用いた遠隔監視方法
JP2014059737A (ja) * 2012-09-18 2014-04-03 Sharp Corp 自走式機器
US20140116469A1 (en) * 2012-10-26 2014-05-01 Sangyun KIM Robot cleaner system and control method of the same
JP2014228448A (ja) * 2013-05-24 2014-12-08 富士通テン株式会社 経路表示装置、及び、経路表示方法
JP2015087268A (ja) * 2013-10-31 2015-05-07 日産自動車株式会社 車両用走行案内装置および方法
JP2016206876A (ja) * 2015-04-21 2016-12-08 Cyberdyne株式会社 自律移動体の走行経路教示システムおよび走行経路教示方法
US20170201617A1 (en) * 2014-05-28 2017-07-13 Samsung Electronics Co., Ltd Mobile device, robot cleaner, and method for controlling the same
JP2017174377A (ja) * 2016-03-24 2017-09-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 位置指示方法、位置指示装置、自走式装置及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050108923A (ko) * 2004-05-14 2005-11-17 삼성광주전자 주식회사 모빌로봇, 모빌로봇 시스템, 및 그 경로보정방법
JP2006141836A (ja) * 2004-11-24 2006-06-08 Fuji Photo Film Co Ltd 電気掃除機
JP2006277121A (ja) 2005-03-28 2006-10-12 Toshiba Corp 移動経路作成装置、移動ロボット、移動経路作成方法および移動経路作成プログラム
KR102093177B1 (ko) * 2013-10-31 2020-03-25 엘지전자 주식회사 이동 로봇 및 그 동작방법
DE102014110265A1 (de) * 2014-07-22 2016-01-28 Vorwerk & Co. Interholding Gmbh Verfahren zur Reinigung oder Bearbeitung eines Raumes mittels eines selbsttätig verfahrbaren Gerätes
KR101753361B1 (ko) 2015-04-08 2017-07-05 (주)이산솔루션 청소 로봇을 이용한 스마트 청소 시스템
US10496262B1 (en) * 2015-09-30 2019-12-03 AI Incorporated Robotic floor-cleaning system manager
KR20170077756A (ko) * 2015-12-28 2017-07-06 삼성전자주식회사 청소 로봇 및 청소 로봇의 제어 방법
JP2017197015A (ja) 2016-04-27 2017-11-02 カルソニックカンセイ株式会社 車載用情報処理システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002222013A (ja) * 2001-01-26 2002-08-09 Matsushita Electric Ind Co Ltd 移動作業ロボット
JP2007226322A (ja) * 2006-02-21 2007-09-06 Sharp Corp ロボットコントロールシステム
JP2011233149A (ja) * 2010-04-26 2011-11-17 Lg Electronics Inc ロボット掃除機、並びにロボット掃除機を用いた遠隔監視システム及びロボット掃除機を用いた遠隔監視方法
JP2014059737A (ja) * 2012-09-18 2014-04-03 Sharp Corp 自走式機器
US20140116469A1 (en) * 2012-10-26 2014-05-01 Sangyun KIM Robot cleaner system and control method of the same
JP2014228448A (ja) * 2013-05-24 2014-12-08 富士通テン株式会社 経路表示装置、及び、経路表示方法
JP2015087268A (ja) * 2013-10-31 2015-05-07 日産自動車株式会社 車両用走行案内装置および方法
US20170201617A1 (en) * 2014-05-28 2017-07-13 Samsung Electronics Co., Ltd Mobile device, robot cleaner, and method for controlling the same
JP2016206876A (ja) * 2015-04-21 2016-12-08 Cyberdyne株式会社 自律移動体の走行経路教示システムおよび走行経路教示方法
JP2017174377A (ja) * 2016-03-24 2017-09-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 位置指示方法、位置指示装置、自走式装置及びプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114286739A (zh) * 2019-08-26 2022-04-05 川崎重工业株式会社 信息处理装置、设定装置及方法、图像识别系统、机器人系统、学习装置以及学习完毕模型的生成方法
CN114286739B (zh) * 2019-08-26 2024-04-12 川崎重工业株式会社 信息处理装置、设定装置及方法、图像识别系统、机器人系统、学习装置以及学习完毕模型的生成方法
JP2021153979A (ja) * 2020-03-27 2021-10-07 パナソニックIpマネジメント株式会社 自律走行型掃除機、自律走行型掃除機の制御方法およびプログラム
JP7461801B2 (ja) 2020-06-04 2024-04-04 アマノ株式会社 清掃装置、プログラム及び表示端末
JP2022040060A (ja) * 2020-08-27 2022-03-10 ネイバーラボス コーポレーション ロボット管制方法及びシステム
JP7370362B2 (ja) 2020-08-27 2023-10-27 ネイバーラボス コーポレーション ロボット管制方法及びシステム
KR20230065419A (ko) * 2021-11-04 2023-05-12 서울대학교산학협력단 자율 주행 차량 또는 로봇을 위한 장애물 탐지 시스템
KR102609489B1 (ko) 2021-11-04 2023-12-06 서울대학교 산학협력단 자율 주행 차량 또는 로봇을 위한 장애물 탐지 시스템
JP7370106B1 (ja) 2022-04-30 2023-10-27 蘇州瑞得恩光能科技有限公司 ロボット及びその直線移動制御方法、データ処理機器

Also Published As

Publication number Publication date
US20190235490A1 (en) 2019-08-01
JP2022062716A (ja) 2022-04-20
US11886186B2 (en) 2024-01-30
US20240118700A1 (en) 2024-04-11
CN110091326B (zh) 2023-11-03
CN110091326A (zh) 2019-08-06
JP7108861B2 (ja) 2022-07-29
JP7442063B2 (ja) 2024-03-04

Similar Documents

Publication Publication Date Title
JP7442063B2 (ja) 掃除機の制御方法及び制御システム
CN110313863B (zh) 自主移动清扫机、自主移动清扫机的清扫方法以及程序
CN110313867B (zh) 自主移动清扫机、自主移动清扫机的清扫方法及记录介质
AU2018100726A4 (en) Automatic cleaning device and cleaning method
CN110037621B (zh) 移动装置、清洁机器人及其控制方法
KR101570377B1 (ko) 단일 카메라를 장착한 로봇 청소기의 3차원 환경 인식 방법
WO2019144541A1 (zh) 一种清洁机器人
CN103099583B (zh) 机器人吸尘器及其控制方法
JP6202544B2 (ja) ロボット位置決めシステム
JP2019171001A (ja) 自律移動掃除機、掃除方法、及びプログラム
CN109254580A (zh) 用于自动行走式的服务设备的运行方法
WO2020235295A1 (ja) 掃除地図表示装置、および、掃除地図表示方法
KR20130042389A (ko) 이동 로봇 및 이의 제어 방법
KR20200142865A (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
WO2020059292A1 (ja) 自律走行掃除機
JP2021027884A (ja) 自律走行型掃除機、自律走行型掃除機の制御方法、及び、プログラム
US20240126290A1 (en) Travel map creating apparatus, travel map creating method, and recording medium
WO2022137796A1 (ja) 走行用地図作成装置、自律走行型ロボット、自律走行型ロボットの走行制御システム、自律走行型ロボットの走行制御方法、及び、プログラム
US20210318689A1 (en) Vacuum cleaner system and vacuum cleaner
JP7417944B2 (ja) 自律走行型掃除機、自律走行型掃除機の制御方法、及び、プログラム
JP2023075740A (ja) 走行用地図作成装置、自律走行型ロボット、走行用地図作成方法、及び、プログラム
JP2023100327A (ja) 自律走行型掃除機及びこれを備えた掃除システム
KR20230154700A (ko) 사물까지의 거리를 산출하는 로봇 및 방법
KR20220056643A (ko) 로봇 청소기 및 그의 주행 방법
CN111352432A (zh) 智能清洁设备及其控制方法和可读介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220418

R151 Written notification of patent or utility model registration

Ref document number: 7108861

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151