JP2020537776A

JP2020537776A - 拡張現実を用いてロボット清掃デバイスと空間情報を交換すること

Info

Publication number: JP2020537776A
Application number: JP2020515149A
Authority: JP
Inventors: リンデ、マグヌス
Original assignee: アクチエボラゲットエレクトロルックス
Priority date: 2017-10-26
Filing date: 2017-10-26
Publication date: 2020-12-24
Anticipated expiration: 2037-10-26
Also published as: CN111226180A; KR102397035B1; US20200268226A1; KR20200066708A; JP6950131B2; WO2019081030A1; EP3701344A1; US11612286B2

Abstract

本発明は、清掃対象領域（１４）上のロボット清掃デバイス（１００）の移動を制御する方法、及び方法を実行するデバイス（２００）に関する。本発明は、ロボット清掃デバイス（１００）の空間情報を取得する方法、及び方法を実行するデバイス（２００）にさらに関する。本発明の態様において、清掃対象領域（１４）上のロボット清掃デバイス（１００）の移動を制御する方法が提供される。方法は、ワイヤレス通信デバイス（２００）のディスプレイ（２１０）上でロボット清掃デバイス（１００）の視覚的表現（１０）を取得すること（Ｓ１０１）と、視覚的表現（１０）においてロボット清掃デバイス（１００）を識別すること（Ｓ１０２）と、視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算すること（Ｓ１０３）と、ロボット清掃デバイス（１００）が清掃対象領域（１４）上でどのように移動すべきかについての空間情報を、ユーザが前記ディスプレイ（２１０）上で指示することを可能にすることにより命令を生成すること（Ｓ１０４）と、計算された変換を命令の空間情報に適用すること（Ｓ１０５）であって、命令の空間情報がロボット座標系に変換される、適用すること（Ｓ１０５）と、ワイヤレス通信を介して命令をロボット清掃デバイス（１００）に送信すること（Ｓ１０６）であって、ロボット清掃デバイス（１００）が、変換された命令の空間情報に従って前記領域（１４）上を移動する、送信すること（Ｓ１０６）と、を含む。

Description

本発明は、清掃対象領域上のロボット清掃デバイスの移動を制御する方法、及び方法を実行するデバイスに関する。本発明は、ロボット清掃デバイスの空間情報を取得する方法、及び方法を実行するデバイスにさらに関する。

多くの技術分野において、ロボットが、起こり得る障害物と衝突することなく空間を自由に動き回ることができるように、自律的な挙動を有するロボットを使用することが望ましい。

ロボット電気掃除機は、当技術分野において既知であり、それらは、清掃対象面を横切って掃除機を移動するためのモータの形態の駆動手段を具備する。ロボット電気掃除機が、例えば床の形態の面を自由に動き回り清掃し得るように、ロボット電気掃除機は、マイクロプロセッサの形態のインテリジェンス及び自律的な挙動をもたらすナビゲーション手段をさらに具備する。したがって、これらの先行技術のロボット電気掃除機は、テーブル及び椅子などの物体、並びに壁及び階段などの他の障害物が位置する部屋を自律的に掃除するケイパビリティを有する。

ロボット電気掃除機にコマンドを送信し、又はロボット電気掃除機からデータを受信する様々な方法が存在するが、掃除機の環境に関する方法については、共通基準を確立することは困難である。掃除機に指令する最も一般的な方法は、ロボット電気掃除機にマップを描かせ、且つユーザに、マップに情報を追加させることである。しかしながら、そのようなマップは、ロボット電気掃除機がそのプロセスの間に経験する任意のマッピングエラーに悩まされる場合がある。また、マップが小さいか、又は詳細を割愛する場合、経験のないユーザがマップ内の物体を識別することは困難である。

本発明の目的は、当技術分野におけるこの問題を解決し、又は少なくとも軽減することであり、したがって、清掃対象領域上のロボット清掃デバイスの移動を制御する改善された方法を提供することである。

この目的は、清掃対象領域上のロボット清掃デバイスの移動を制御する方法によって、本発明の第１の態様において達成される。方法は、ワイヤレス通信デバイスのディスプレイ上でロボット清掃デバイスの視覚的表現を取得することと、視覚的表現においてロボット清掃デバイスを識別することと、視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算することと、ロボット清掃デバイスが清掃対象領域上でどのように移動すべきかについての空間情報を、ユーザが上記ディスプレイ上で指示することを可能にすることにより命令を生成することと、計算された変換を命令の空間情報に適用することであって、命令の空間情報がロボット座標系に変換される、適用することと、ワイヤレス通信を介して命令をロボット清掃デバイスに送信することであって、ロボット清掃デバイスが、変換された命令の空間情報に従って上記領域上を移動する、送信することと、を含む。

この目的は、清掃対象領域上のロボット清掃デバイスの移動を制御するように構成されるワイヤレス通信デバイスによって、本発明の第２の態様において達成される。ワイヤレス通信デバイスは、ワイヤレス通信デバイスのディスプレイ上でロボット清掃デバイスの視覚的表現を取得し、視覚的表現においてロボット清掃デバイスを識別し、視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算し、ロボット清掃デバイスが清掃対象領域上でどのように移動すべきかについての空間情報を、ユーザが上記ディスプレイ上で指示することを可能にすることにより命令を生成し、計算された変換を命令の空間情報に適用し、命令の空間情報がロボット座標系に変換され、ワイヤレス通信を介して命令をロボット清掃デバイスに送信し、ロボット清掃デバイスが、変換された命令の空間情報に従って上記領域上を移動する、ようにワイヤレス通信デバイスを動作させるように構成される処理ユニットを備える。

この目的は、ロボット清掃デバイスの空間情報を取得する方法によって、本発明の第３の態様において達成される。方法は、ワイヤレス通信デバイスのディスプレイ上でロボット清掃デバイスの視覚的表現を取得することと、視覚的表現においてロボット清掃デバイスを識別することと、視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算することと、ワイヤレス通信を介してロボット清掃デバイスから空間情報を受信することと、計算された変換を受信された空間情報に適用することであって、受信された空間情報が視覚的表現の座標系に変換される、適用することと、ワイヤレス通信デバイスのディスプレイ上に、変換された空間情報を取得された視覚的表現において提示することと、を含む。

この目的は、ロボット清掃デバイスの空間情報を取得するように構成されるワイヤレス通信デバイスによって、本発明の第４の態様において達成される。ワイヤレス通信デバイスは、ワイヤレス通信デバイスのディスプレイ上でロボット清掃デバイスの視覚的表現を取得し、視覚的表現においてロボット清掃デバイスを識別し、視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算し、ワイヤレス通信を介してロボット清掃デバイスから空間情報を受信し、計算された変換を受信された空間情報に適用し、受信された空間情報が視覚的表現の座標系に変換され、ワイヤレス通信デバイスのディスプレイ上に、変換された空間情報を取得された視覚的表現において提示する、ようにワイヤレス通信デバイスを動作させるように構成される処理ユニットを備える。

したがって、実施形態において、ユーザは、例えばスマートフォン、タブレット、ラップトップなどの形態のワイヤレス通信デバイスのディスプレイ上でロボット清掃デバイスの視覚的表現を取得する。

例えば、ユーザは、例えばユーザのスマートフォンのカメラを用いて、ロボット清掃デバイスの画像を単にキャプチャする。

スマートフォンは、画像内のロボット清掃デバイスの形状を、例えばロボット清掃デバイスの予めプログラミングされた表現と比較することによって、識別する。この表現は、ロボット清掃デバイスの実際のサイズも含み得る。代替的には、画像内のロボット清掃デバイスの識別は、ロボットデバイスの本体上の既知のパターン若しくはマーカに基づいてもよく、又はそれらによって支援されてもよい。

その後、スマートフォンは、画像の座標系とロボットデバイスの座標系との間の座標変換を計算する。その結果、ロボットデバイスが移動する座標系の座標は、画像座標系の座標に変換され得る。

ユーザは、ロボット清掃デバイスが清掃対象領域上でどのように移動すべきかについての空間情報を、ユーザのスマートフォンのディスプレイ上で指示することにより命令を生成する。これは、スマートフォン上にインストールされたアプリケーション（以下では、「Ａｐｐ」と呼ぶ）を必要としてもよく、そのＡｐｐを介して、ユーザは、単に自分の指を使って、清掃対象領域を示すためにディスプレイ上をタッチすることに留意する。

この例では、ユーザは、例えばパン屑や食物屑が日常的に出てしまうテーブルの周りで、いわゆるスポット清掃プログラムをロボット清掃デバイスに実行して欲しい場合がある。ユーザは、例えば、スマートフォンのディスプレイ上で清掃対象領域を包含する矩形を描いてもよい。

最後に、ユーザは、Ａｐｐ上で「命令送信」を押す。そうすると、スマートフォンは、ロボット清掃デバイスの座標系へ、以前計算された変換を清掃対象領域の画像座標（実際には領域を包含する矩形の頂点）に適用し、次いで、ワイヤレス通信を介して（例えば、ＷｉＦｉを介して）それらをロボット清掃デバイスに送信する。

このようにして、ロボット清掃デバイスは、受信した命令の変換された空間情報に従って指示された領域上を移動及び清掃することによって、スポット清掃プログラムを有利に実行する。

一方、別の実施形態では、空間情報は、ユーザのワイヤレス通信デバイスのディスプレイを介してロボット清掃デバイスからユーザへ通信される。

例えば、ロボット清掃デバイスは、カーペットを接近又は横断すべきでない障害物として知覚し、ユーザには、ロボット清掃デバイスが立往生するリスクなしに実際にカーペットを横断し得ることをロボット清掃デバイスに通信する機会が与えられると考えられ得る。

この場合も、ユーザは、例えばユーザのスマートフォンのカメラを用いてロボット清掃デバイスの画像をキャプチャし、続いてスマートフォンが画像内のロボット清掃デバイスを識別する。

スマートフォンは、ロボット清掃デバイスからワイヤレス通信を介して空間情報を受信し、計算された変換を受信された空間情報に適用する。受信されたロボット清掃デバイスの空間情報は、画像の座標系に変換される。

最後に、変換された空間情報は、スマートフォンのディスプレイ上で、キャプチャされた画像内に提示される。前述の通り、ロボット清掃デバイスは、例えば、カーペットの外形を画像に有利に追加してもよく、ロボット清掃デバイスが、ユーザが訂正する機会を与えられ得る横断不可能な障害物としてカーペットを知覚することを示している。

別の実施形態において、ロボット清掃デバイスは、清掃対象領域の提案をスマートフォンに通信する。

したがって、空間情報は、この特定の例示する実施形態では清掃対象の提案領域の形態で、ロボット清掃デバイスから受信される。空間情報は、変換された後、ユーザのレビューのためにワイヤレス通信デバイスのディスプレイ上のキャプチャされた画像内に提示される。

ユーザは、提案領域が実際に清掃対象領域であることを確認し、それに応じて確認を命令として送信してもよく、又は例えば、ディスプレイ上に示される提案領域を包含する矩形の頂点を所望の方向に移動することによって、提案領域を修正してもよい。ユーザは、線をタッチすること及び押すことによってディスプレイ上の表現にさらなる頂点を追加してもよく、それによって、線が押された位置に新たな頂点が発生することが、さらに考えられ得る。

その後、以前計算された変換が、修正後の清掃対象の提案領域に適用され、修正後の提案領域は、ロボット清掃デバイスの座標系に変換される。

最後に、スマートフォンは、修正後の領域を清掃するように命令をロボット清掃デバイスに送信し、命令は、変換された修正後の提案領域を識別する情報も含む。したがって、ロボット清掃デバイスは、矩形の清掃対象領域を提案してもよく、ユーザは、ロボット清掃デバイスが代わりに清掃するように命令される、例えば五角形の領域にそれを修正する。

代替的な実施形態において、例えば監視カメラなど、スマートフォンとは異なるデバイスが、ロボット清掃デバイスの画像をキャプチャするように制御される。そのような実施形態では、ユーザは、離れた場所からロボット清掃デバイスを有利に制御し得る。

概して、特許請求の範囲において使用される全ての用語は、本明細書において明示的に特段の定義がされない限り、技術分野におけるそれらの通常の意味に従って解釈されるべきである。「ａ／ａｎ／ｔｈｅ要素、装置、コンポーネント、手段、ステップなど」に対する全ての参照は、明示的に特段の記述がない限り、要素、装置、コンポーネント、手段、ステップなどの少なくとも１つの例を参照するようにオープンに解釈されるべきである。本明細書に開示される任意の方法のステップは、明示されない限り、開示された正確な順序で実行されなくともよい。

本発明は、例として、添付図面を参照してここで説明される。

本発明の例示する実施形態による、ロボット清掃デバイスを示す。図１のロボット清掃デバイスの正面図を示す。実施形態による、ロボット清掃デバイスの撮影画像を画像に加えられたユーザ清掃命令と共に示す。実施形態による、方法のフローチャートを示す。別の実施形態による、方法のフローチャートを示す。さらなる別の実施形態による、方法のフローチャートを示す。実施形態による、ロボット清掃デバイスが画像内に情報を提供するロボット清掃デバイスの撮影画像を示す。さらなる実施形態による、方法のフローチャートを示す。実施形態による、ワイヤレス通信デバイスを示す。

本発明は、ここで、添付図面を参照して以下でより完全に説明され、添付図面において、本発明のある実施形態が示されている。本発明は、しかしながら、多くの異なる形態で具現化されてもよく、ここで述べる実施形態に限定されると解釈されるべきではない。むしろ、この開示が完全且つ完璧であり、当業者に対し本発明の範囲を完全に伝達するように、これらの実施形態は、例として提供される。類似の数字は、説明全体を通して類似の要素を参照する。

本発明は、ロボット清掃デバイス、即ち言い換えると、表面を清掃するための自動的な自走式機械、例えば、ロボット電気掃除機、ロボット掃除機、又はロボット床面洗浄機に関する。本発明によるロボット清掃デバイスは、電源で動作し、且つコードを有してもよく、電池で動作してもよく、又は任意の他の種類の適当なエネルギー源、例えば太陽エネルギーを使用してもよい。

本発明は、十分な処理インテリジェンスを具備する様々な適当なロボット清掃デバイスによって実行され得ると考えられるが、図１は、本発明の実施形態によるロボット清掃デバイス１００の底面図を示し、即ちロボット清掃デバイスの底面が示されている。矢印は、ロボット電気掃除機の形態で示されているロボット清掃デバイス１００の前方向を示す。

清掃デバイスが、清掃対象面上で移動され得るように、ロボット清掃デバイス１００は、駆動輪１１２、１１３の移動を可能にするための２つの電気車輪モータ１１５ａ、１１５ｂの形態の駆動手段を含む推進システムなどのコンポーネントを収容する本体１１１を含む。各車輪モータ１１５ａ、１１５ｂは、清掃対象面を横切ってロボット清掃デバイス１００を移動するために、互いに独立して回転するようにそれぞれの駆動輪１１２、１１３を制御することが可能である。いくつかの異なる駆動輪構成及び様々な車輪モータ構成が考えられ得る。ロボット清掃デバイスが、より従来型の円形本体、又は三角形本体を有するデバイスなど、任意の適当な形状を有し得ることに留意すべきである。代替として、トラック推進システムが使用されてもよく、又はホバークラフト推進システムであってもよい。推進システムは、ヨー、ピッチ、並進又はロール移動のうちの任意の１つ又は複数をロボット清掃デバイス１００に実行させるようにさらに構成され得る。

マイクロプロセッサなどのコントローラ１１６は、車輪モータ１１５ａ、１１５ｂを制御して、ロボット清掃デバイスがその周りでナビゲートしなければならない、壁、フロアランプ、テーブルの脚の形態の障害物を検出するための障害物検出デバイス（図１に示されない）から受信される情報を考慮して必要に応じて駆動輪１１２、１１３を回転させる。障害物検出デバイスは、その周囲の状況を登録する３Ｄセンサシステムの形態で具現化されてもよく、障害物を検出し、任意の検出された障害物についての情報をマイクロプロセッサ１１６に通信するための、例えば、レーザ、レーザスキャナと組み合わせた３Ｄカメラ、カメラの手段によって実施される。ロボット清掃デバイス１００が、清掃対象面を横切って所望の通りに移動し得るように、マイクロプロセッサ１１６は、車輪モータ１１５ａ、１１５ｂと通信して、障害物検出デバイスによって提供される情報に従って車輪１１２、１１３の移動を制御する。

さらに、ロボット掃除機１００の本体１１１は、本体１１１の底面の開口部１１８を介してごみを本体内に収容された収塵袋又はサイクロン構成（図示せず）に送るための気流を作り出す吸引ファン１２０を含む。吸引ファン１２０は、コントローラ１１６に通信可能に接続されるファンモータ１２１によって駆動され、ファンモータ１２１は、吸引ファン１２０を制御するための命令をコントローラ１１６から受信する。本体１１１には、開口部１１８に隣接する１つ又は複数の回転サイドブラシ１１４がさらに配置され得る。

図１をさらに参照すると、１つ又は複数のマイクロプロセッサの形態で具現化されるコントローラ／処理ユニット１１６は、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、又はハードディスクドライブなどの、マイクロプロセッサに関連付けられた適当な記憶媒体１２６にダウンロードされるコンピュータプログラム１２５を実行するように構成される。コンピュータ実行可能命令を含む適当なコンピュータプログラム１２５が、記憶媒体１２６にダウンロードされ、コントローラ１１６によって実行されるときに、コントローラ１１６は、本発明の実施形態による方法を実行するように構成される。記憶媒体１２６は、また、コンピュータプログラム１２５を含むコンピュータプログラム製品であってもよい。代替的には、コンピュータプログラム１２５は、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、又はメモリスティックなどの適当なコンピュータプログラム製品によって、記憶媒体１２６に転送され得る。さらなる代替として、コンピュータプログラム１２５は、有線ネットワーク又は無線ネットワークを経て記憶媒体１２６にダウンロードされ得る。コントローラ１１６は、代替的には、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複合プログラマブルロジックデバイス（ＣＰＬＤ）などの形態で具現化され得る。

図２は、少なくともカメラ１２３、並びに水平又は垂直配向ラインレーザであり得る第１のラインレーザ１２７及び第２のラインレーザ１２８を含む３Ｄセンサシステムの形態で、前述した障害物検出デバイスを示す本発明の実施形態における図１のロボット清掃デバイス１００の正面図を示す。さらに図示されるのは、コントローラ１１６、本体１１１、及び駆動輪１１２、１１３である。コントローラ１１６は、ロボット清掃デバイス１００の周辺の画像を記録するためのカメラ１２３に動作可能に連結される。第１のラインレーザ１２７及び第２のラインレーザ１２８は、好適には垂直ラインレーザであってもよく、カメラ１２３の側方に配置される。カメラ１２３は、毎秒複数の画像をキャプチャし、記録するようにコントローラ１１６によって制御される。画像からのデータは、コントローラ１１６によって抽出され、データは、典型的には、コンピュータプログラム１２５と共にメモリ１２６内に保存される。

第１のラインレーザ１２７及び第２のラインレーザ１２８は、好適には垂直配向で、ロボット清掃デバイス１００の周辺を通常ロボット清掃デバイス１００の移動方向にスキャンするように構成される。第１のラインレーザ１２７及び第２のラインレーザ１２８は、レーザビームを送出するように構成され、レーザビームは、例えば、清掃対象の部屋の家具、壁、及び他の物体を照明する。カメラ１２３は、ロボット清掃デバイス１００が清掃対象面を横切って移動している間、画像から特徴を抽出することによって、及びロボット清掃デバイス１００によってカバーされる距離を測定することによって、ロボット清掃デバイス１００が動作している周囲の状況の表現又はレイアウトをコントローラ１１６がそこから生成する画像をキャプチャ及び記録するように、コントローラ１１６によって制御される。したがって、コントローラ１１６は、清掃対象面に対するロボット清掃デバイス１００の位置データを記録された画像から導出し、導出された位置データから周囲の状況の３Ｄ表現を生成し、生成された３Ｄ表現、及び生成された３Ｄ表現を考慮することによって清掃対象面がナビゲートされ得るようにロボット清掃デバイス１００に供給されるナビゲーション情報に従って、清掃対象面を横切ってロボット清掃デバイスを移動するように駆動モータ１１５ａ、１１５ｂを制御する。代替的には、完全に照明されている画像の飛行時間型測定を利用する３Ｄセンサを使用することが可能である。そのような飛行時間型３Ｄセンサでは、キャプチャされた画像内の距離は、画素毎に判断され、検出された物体までの距離は、上記に沿って判断され得る。

図３は、図４のフローチャートと共に、実施形態による清掃対象領域上のロボット清掃ロボット清掃デバイスの移動を制御する方法を説明するために使用される、ロボット清掃デバイス１００の撮影画像を示す。

以下において、空間情報は、ロボットデバイスの位置、又はロボットデバイスの周辺の物体の特定の位置などの、ロボット清掃デバイス１００に関する空間位置に関連付けられた情報を指す。

第１のステップＳ１０１において、ユーザは、例えばスマートフォン、タブレット、ラップトップなどの形態のワイヤレス通信デバイスのディスプレイ上でロボット清掃デバイス１００の視覚的表現１０を取得する。

この特定の例示する実施形態において、ユーザは、例えばユーザのスマートフォンのカメラを用いてロボット清掃デバイス１００の画像を単にキャプチャする。

代替的な実施形態において、例えば監視カメラなど、スマートフォンとは異なるデバイスが、ロボット清掃デバイス１００の画像をキャプチャするように制御される。そのような実施形態では、ユーザは、離れた場所からロボット清掃デバイス１００を有利に制御し得る。

図３に示されるように、写真／視覚的表現１０は、例えば、ロボット清掃デバイス１００、椅子１１、テーブル１２、カーペット１３などを含む。

第２のステップＳ１０２において、スマートフォンは、画像内のロボット清掃デバイス１００の形状を、例えばロボット清掃デバイスの予めプログラミングされた表現と比較することによって、識別する。この表現は、ロボット清掃デバイスの実際のサイズも含み得る。代替的には、画像内のロボット清掃デバイス１００の識別は、ロボットデバイスの本体上の既知のパターン若しくはマーカに基づいてもよく、又はそれらによって支援されてもよい。

その後、ステップＳ１０３において、スマートフォンは、画像の座標系とロボットデバイス１００の座標系との間の座標変換を計算する。その結果、ロボットデバイスが移動する座標系の座標は、画像座標系の座標に変換され得る。変換は、ピンホールカメラモデル、又はラジアルレンズの歪みも考慮するより高度なモデルなどの、射影幾何学についての標準モデルを用いて計算され得る。

ステップＳ１０３において、ユーザは、ロボット清掃デバイス１００が清掃対象領域上でどのように移動すべきかについての空間情報を、ユーザのスマートフォンのディスプレイ上で指示することにより命令を生成する。これは、スマートフォン上にインストールされたＡｐｐを必要としてもよく、そのＡｐｐを介して、ユーザは、単に自分の指を使って、清掃対象領域を示すためにディスプレイ上をタッチすることに留意する。スタイラス、コンピュータが使用される場合マウス、音声、又はジェスチャ制御など、他の手段が、ディスプレイ上の清掃対象領域を指示するために考えられる。

この例では、ユーザは、パン屑や食物屑が日常的に出てしまうテーブル１２の周りで、いわゆるスポット清掃プログラムをロボット清掃デバイス１００に実行して欲しいと考える。したがって、ユーザは、スマートフォンのディスプレイ上で清掃対象領域１４を包含する矩形を描く。

最後に、ユーザは、Ａｐｐ上で「命令送信」を押す。そうすると、スマートフォンは、ステップＳ１０４において、ロボット清掃デバイス１００の座標系へ以前計算された変換を清掃対象領域の画像座標（実際には領域を包含する矩形の頂点）に適用し、次いで、ステップＳ１０５において、ワイヤレス通信を介して（例えば、ＷｉＦｉを介して）それらをロボット清掃デバイス１００に送信する。

このようにして、ロボット清掃デバイス１００は、受信した命令の変換された空間情報に従って指示された領域１４上を移動し清掃することによって、スポット清掃プログラムを実行する。

例示される画像１０は、実際の画像であっても、合成画像又は表現が使用されると考えられ得ることに留意する。画像は、また、ロボットが画像内で正しく識別されていることをユーザに示すために、例えば、ロボット清掃デバイスの画像を同じ向きのロボットのコンピュータ生成された画像で置換することによって、部分的に合成であってもよい。

一方、図５を参照すると、実施形態に従って、ロボット清掃デバイス１００からの空間情報をユーザのワイヤレス通信デバイスのディスプレイを介してユーザに通信する方法を説明するフローチャートが、示される。

例えば、ロボット清掃デバイス１００は、図３のカーペット１３を接近又は横断すべきでない障害物として知覚し、ユーザには、ロボット清掃デバイス１００が立往生するリスクなしに実際にカーペット１３を横断し得ることをロボット清掃デバイス１００に通信する機会が与えられると考えられ得る。

第１のステップＳ２０１において、ユーザは、例えば、ユーザのスマートフォンのカメラを用いてロボット清掃デバイス１００の画像１０をキャプチャする。

第２のステップＳ２０２において、スマートフォンは、前述の通り、画像１０内のロボット清掃デバイス１００の形状を識別する。

その後、ステップＳ２０３において、スマートフォンは、画像の座標系とロボットデバイス１００の座標系との間の座標変換を計算する。その結果、ロボットデバイスが移動する座標系の座標は、画像座標系の座標に変換され得る。

ここで、ステップＳ２０４において、スマートフォンは、ロボット清掃デバイス１００からワイヤレス通信を介して空間情報を受信し、ステップＳ２０５において、計算された変換を受信された空間情報に適用する。受信されたロボット清掃デバイス１００の空間情報は、画像１０の座標系に変換される。

最後に、ステップＳ２０６において、変換された空間情報が、スマートフォンのディスプレイ上で、キャプチャされた画像１０内に提示される。前述の通り、ロボット清掃デバイス１００は、例えば、カーペット１３の外形を画像１０に追加してもよく、ロボット清掃デバイス１００が、（後述されるように、ユーザが訂正する機会を与えられ得る）横断不可能な障害物としてカーペットを知覚することを示している。

図３及びさらに図６のフローチャートを参照して再び説明される別の実施形態において、ロボット清掃デバイスは、清掃対象領域１４の提案を通信する（図４のステップＳ１０４において、同一領域１４が、ユーザからロボットデバイス１００に送信される命令において定義されなかったと仮定する）。この実施形態は、図４及び図５のそれぞれの方法に同様に適用可能である。例として、図５のステップＳ２０４においてロボット清掃デバイス１００からスマートフォンに通信される空間情報は、実際に、ロボットデバイス１００によって提案される領域１４を定義する空間情報を含み得る。

さらに、理解されるように、清掃対象の提案領域１４をロボット清掃デバイスから受信することは、図４のフローチャートのステップＳ１０１〜Ｓ１０６を生じ得る。

ここで、図５のステップＳ２０１〜Ｓ２０５全体を通して既に説明されたように、空間情報は、この特定の例示する実施形態では清掃対象の提案領域１４の形態で、ロボット清掃デバイス１００から受信される。空間情報は、変換された後、ユーザのレビューのためにステップＳ２０６において、スマートフォンのディスプレイ上でキャプチャされた画像１０内に提示される。

ここで、ステップＳ２０７において、ユーザは、提案領域１４が実際に清掃対象領域であることを確認し、それに応じて確認を命令として送信してもよく、又は、図６に示されるように、例えば提案領域１４を包含する矩形の頂点を所望の方向に移動することによって、提案領域１４を修正してもよい。ユーザは、線をタッチすること及び押すことによってディスプレイ上の表現にさらなる頂点を追加してもよく、それによって、線が押された位置に新たな頂点が発生することが、さらに考えられ得る。次いで、新たな頂点が、矩形の領域１４を五角形の領域に修正するように移動され得る。

その後、ステップＳ２０８において、以前計算された変換が、修正後の清掃対象の提案領域に適用され、修正後の提案領域が、ロボット清掃デバイス１００の座標系に変換される。

その後、ステップＳ２０９において、スマートフォンは、修正後の領域を清掃するように命令をロボット清掃デバイス１００に送信し、命令は、変換された修正後の提案領域を識別する情報も含む。したがって、ロボット清掃デバイス１００は、矩形の清掃対象領域１４を提案してもよく、ユーザは、ロボット清掃デバイス１００が元の提案された矩形領域１４の代わりに清掃するように命令される五角形の領域にそれを修正した。

図７は、図８のフローチャートと共に、ロボット清掃デバイスからユーザに空間情報を送信する方法のさらなる例示する実施形態を説明するために使用される、ロボット清掃デバイス１００の撮影画像２０を示す。

この場合も、図５のステップＳ２０１〜Ｓ２０５全体を通して既に説明されたように、空間情報は、この特定の例示する実施形態において、例えば、ドア２１、ドアステップ２２、厚いカーペット２３、タンス２４などのロボット清掃デバイス１００によって識別される潜在的な障害物の外形の形態でロボット清掃デバイス１００から受信される。空間情報は、変換された後、ユーザのレビューのためにステップＳ２０６において、スマートフォンのディスプレイ上のキャプチャされた画像２０内に提示される。

したがって、この特定の例示する実施形態において、ロボット清掃デバイス１００は、ステップＳ２０４においてロボット清掃デバイス１００の周囲の状況の表現を送信し、それは、ステップＳ２０７においてユーザに提示される。このような情報は、ロボット清掃デバイス１００が様々なカテゴリの物体を検出する方法において何らかのシステム上のエラーが存在するかどうかを、ソフトウェア開発者が迅速に理解することを助け得る。それは、また、特定のパターンに従ってロボット清掃デバイス１００が清掃する理由をユーザに説明することもできる。

上記及び図７において説明される手続きが、ビデオストリーム内の画像に対して繰り返し実行され得ることに留意され得る。ロボット清掃デバイス１００は、その際動き回ってもよく、ユーザは、ロボット清掃デバイス１００が知覚する物の更新されたビューを維持し得る。

ステップＳ２０７において、受信した表現をユーザが修正することを可能にすることによって、ユーザは、この特定の例において、ディスプレイ上に提示されているドアステップ２２の外形を押して、ドアステップ２２が高すぎること、及びロボット清掃デバイス１００がドアステップ２２を横断しようとすることを回避するべきであり、それによって立往生を回避することをロボット掃除機１００に指示することによって、その物体検出（及び、したがってナビゲーション）においてロボット清掃デバイス１００をガイドし得る。この情報は、さらに、実行予定の後の清掃プログラムのために記憶され得る。

その後、その座標がロボット清掃デバイス１００によって正しく解釈され得るように、コンピュータ変換が、ドアステップ２２の外形に適用される。

ステップＳ２０８において、ロボット清掃デバイス１００の座標系においてドアステップ２２を定義する情報が、ドアステップ２２を回避する命令と共にロボットデバイスに送信される。

図９は、実施形態による、ワイヤレス通信デバイス２００を示す。ワイヤレス通信デバイス２００は、スマートフォン、タブレット、スマートウォッチなどの形態で具現化され得る。

実施形態によるワイヤレス通信デバイス２００によって実行されるアクションは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、又はハードディスクドライブなどの、マイクロプロセッサに関連付けられた記憶媒体２２２にダウンロードされるコンピュータプログラム２２１を実行するように構成される、１つ又は複数のマイクロプロセッサの形態で具現化される処理回路２２０によって引き起こされ得る。

コンピュータ実行可能命令を含む適当なコンピュータプログラム２２１が、記憶媒体２２２にダウンロードされ、処理回路２２０によって実行されるときに、処理回路２２０は、実施形態によるアクションをワイヤレス通信デバイス２００に実行させるように構成される。記憶媒体２２２は、また、コンピュータプログラム２２１を含むコンピュータプログラム製品であってもよい。代替的には、コンピュータプログラム２２１は、デジタル多用途ディスク（ＤＶＤ）又はメモリスティックなどの適当なコンピュータプログラム製品によって、記憶媒体２２０に転送され得る。さらなる代替として、コンピュータプログラム２２１は、ネットワークを経て記憶媒体２２２にダウンロードされ得る。処理回路２００は、代替的には、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複合プログラマブルロジックデバイス（ＣＰＬＤ）などの形態で具現化され得る。

さらに、ワイヤレス通信デバイス２００は、カメラ２３０（典型的には、ワイヤレス通信デバイスの正面上及び背面上の両方）、及びユーザがそれを介してワイヤレス通信デバイス２００に情報を入力し得るタッチスクリーンディスプレイ２１０を具備している。ワイヤレス通信デバイス２００は、信号がそれを介してワイヤレス通信デバイス２００から送信され、且つワイヤレス通信デバイス２００によって受信される、ワイヤレス通信インタフェース（図示せず）と共にさらに構成される。

本発明は、主に、少数の実施形態を参照して上記で説明されている。しかしながら、当業者によって容易に理解されるように、上記で開示された実施形態以外の他の実施形態が、添付された特許請求の範囲によって定義される本発明の範囲内において同様に可能である。

Claims

清掃対象領域上のロボット清掃デバイスの移動を制御する方法であって、
ワイヤレス通信デバイスのディスプレイ上で前記ロボット清掃デバイスの視覚的表現を取得することと、
前記視覚的表現において前記ロボット清掃デバイスを識別することと、
前記視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算することと、
前記ロボット清掃デバイスが前記清掃対象領域上でどのように移動すべきかについての空間情報を、ユーザが前記ディスプレイ上で指示することを可能にすることにより命令を生成することと、
前記計算された変換を前記命令の前記空間情報に適用することであって、前記命令の前記空間情報が前記ロボット座標系に変換される、前記適用することと、
ワイヤレス通信を介して前記命令を前記ロボット清掃デバイスに送信することであって、前記ロボット清掃デバイスが、前記命令の前記変換された空間情報に従って前記領域上を移動する、前記送信することと、
を含む、方法。
命令を前記生成することが、
前記ディスプレイ上で、前記ロボット清掃デバイスが移動すべき前記領域を包含する境界の形態で空間情報を指示することを含む、請求項１に記載の方法。
視覚的表現を前記取得することが、
前記ワイヤレス通信デバイスのカメラで前記ロボット清掃デバイスの画像をキャプチャすることを含む、請求項１又は２に記載の方法。
視覚的表現を前記取得することが、
前記ワイヤレス通信デバイスとは異なるデバイスのカメラで前記ロボット清掃デバイスの画像をキャプチャすることであって、前記画像が前記ワイヤレス通信デバイスに転送される、前記キャプチャすることを含む、請求項１又は２に記載の方法。
前記ロボット清掃デバイスの視覚的識別を可能にする差別化特徴から、前記視覚的表現において前記ロボット清掃デバイスを識別することをさらに含む、請求項３又は４に記載の方法。
ロボット清掃デバイスの空間情報を取得する方法であって、
ワイヤレス通信デバイスのディスプレイ上で前記ロボット清掃デバイスの視覚的表現を取得することと、
前記視覚的表現において前記ロボット清掃デバイスを識別することと、
前記視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算することと、
ワイヤレス通信を介して前記ロボット清掃デバイスから空間情報を受信することと、
前記計算された変換を前記受信された空間情報に適用することであって、前記受信された空間情報が前記視覚的表現の前記座標系に変換される、前記適用することと、
前記ワイヤレス通信デバイスの前記ディスプレイ上に、前記変換された空間情報を前記取得された視覚的表現において提示することと、を含む、方法。
前記ディスプレイ上に提示された前記受信された空間情報が正しいことをユーザが確認することを可能にすることと、
確認を前記ロボット清掃デバイスに送信することと、
をさらに含む、請求項６に記載の方法。
命令を前記生成するステップが、
前記提示された変換された空間情報をユーザが修正することを可能にすることと、
前記計算された変換を前記修正後の空間情報に適用することであって、前記修正後の空間情報が、前記ロボット清掃デバイスの前記座標系に変換される、前記適用することと、
ワイヤレス通信を介して前記ロボット清掃デバイスに、前記変換された修正後の空間情報を送信することと、を含む、請求項６又は７に記載の方法。
前記ロボット清掃デバイスから前記受信された空間情報が、清掃対象の提案領域を含み、前記提案領域が正しいことを前記ユーザが確認する場合、前記ロボット清掃デバイスが前記確認を受信すると前記提案領域を清掃し、前記ユーザが前記提案領域を修正する場合、前記ロボット清掃デバイスが清掃する命令を受信すると前記修正後の提案領域を清掃する、請求項７又は８に記載の方法。
前記ロボット清掃デバイスから空間情報を前記受信することが、
前記ロボット清掃デバイスによってキャプチャされる前記ロボット清掃デバイスの周囲の状況の表現を受信することをさらに含む、請求項６〜９のいずれか一項に記載の方法。
前記周囲の状況の前記表現が、前記ロボット清掃デバイスのカメラによってキャプチャされる画像である、請求項１０に記載の方法。
清掃対象領域上のロボット清掃デバイスの移動を制御するように構成されるワイヤレス通信デバイスであって、前記ワイヤレス通信デバイスが、
ワイヤレス通信デバイスのディスプレイ上で前記ロボット清掃デバイスの視覚的表現を取得し、
前記視覚的表現において前記ロボット清掃デバイスを識別し、
前記視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算し、
前記ロボット清掃デバイスが前記清掃対象領域上でどのように移動すべきかについての空間情報を、ユーザが前記ディスプレイ上で指示することを可能にすることにより命令を生成し、
前記計算された変換を前記命令の前記空間情報に適用し、前記命令の前記空間情報が前記ロボット座標系に変換され、
ワイヤレス通信を介して前記命令を前記ロボット清掃デバイスに送信し、前記ロボット清掃デバイスが、前記命令の前記変換された空間情報に従って前記領域上を移動する、
ように前記ワイヤレス通信デバイスを動作させるように構成される処理ユニットを備える、ワイヤレス通信デバイス。
命令を生成するときに、前記ディスプレイ上で、前記ロボット清掃デバイスが移動すべき前記領域を包含する境界の形態で空間情報を指示するようにさらに動作する、請求項１２に記載のワイヤレス通信デバイス。
視覚的表現を取得するときに、前記ワイヤレス通信デバイスのカメラで前記ロボット清掃デバイスの画像をキャプチャするようにさらに動作する、請求項１２又は１３に記載のワイヤレス通信デバイス。
視覚的表現を取得するときに、前記ワイヤレス通信デバイスとは異なるデバイスのカメラで前記ロボット清掃デバイスの画像をキャプチャし、前記画像が前記ワイヤレス通信デバイスに転送されるようにさらに動作する、請求項１２又は１３に記載のワイヤレス通信デバイス。
前記ロボット清掃デバイスの視覚的識別を可能にする差別化特徴から、前記視覚的表現において前記ロボット清掃デバイスを識別するようにさらに動作する、請求項１４又は１５に記載のワイヤレス通信デバイス。
ロボット清掃デバイスの空間情報を取得するように構成されるワイヤレス通信デバイスであって、前記ワイヤレス通信デバイスが、
ワイヤレス通信デバイスのディスプレイ上で前記ロボット清掃デバイスの視覚的表現を取得し、
前記視覚的表現において前記ロボット清掃デバイスを識別し、
前記視覚的表現とロボット清掃デバイス座標系との間の座標変換を計算し、
ワイヤレス通信を介して前記ロボット清掃デバイスから空間情報を受信し、
前記計算された変換を前記受信された空間情報に適用し、前記受信された空間情報が前記視覚的表現の前記座標系に変換され、
前記ワイヤレス通信デバイスの前記ディスプレイ上に、前記変換された空間情報を前記取得された視覚的表現において提示する、
ように前記ワイヤレス通信デバイスを動作させるように構成される処理ユニットを備える、ワイヤレス通信デバイス。
前記ディスプレイ上に提示された前記受信された空間情報が正しいことをユーザが確認することを可能にし、
確認を前記ロボット清掃デバイスに送信するようにさらに動作する、請求項１７に記載のワイヤレス通信デバイス。
前記ディスプレイにタッチすることによって、前記提示された変換された空間情報をユーザが修正することを可能にし、
前記計算された変換を前記修正後の空間情報に適用し、前記修正後の空間情報が前記ロボット清掃デバイスの前記座標系に変換され、
ワイヤレス通信を介して前記ロボット清掃デバイスに、前記変換された修正後の空間情報を送信するようにさらに動作する、請求項１７又は１８に記載のワイヤレス通信デバイス。
前記ロボット清掃デバイスから前記受信された空間情報が、清掃対象の提案領域を含み、前記提案領域が正しいことを前記ユーザが確認する場合、前記ロボット清掃デバイスが前記確認を受信すると前記提案領域を清掃し、前記ユーザが前記提案領域を修正する場合、前記ロボット清掃デバイスが清掃する命令を受信すると前記修正後の提案領域を清掃する、請求項１８又は１９に記載のワイヤレス通信デバイス。
前記ロボット清掃デバイスから空間情報を前記受信することが、
前記ロボット清掃デバイスによってキャプチャされる前記ロボット清掃デバイスの周囲の状況の表現を受信することをさらに含む、請求項１７〜２０のいずれか一項に記載のワイヤレス通信デバイス。
前記周囲の状況の前記表現が、前記ロボット清掃デバイスのカメラによってキャプチャされる画像である、請求項２１に記載のワイヤレス通信デバイス。
コンピュータ実行可能命令がデバイスに含まれる処理回路上で実行されるときに、項目１〜１１のうちのいずれか１つに列挙されたステップを前記デバイスに実行させる、前記コンピュータ実行可能命令を含む、コンピュータプログラム。
コンピュータ可読媒体を含むコンピュータプログラム製品であって、前記コンピュータ可読媒体が、具現化される請求項２３に記載の前記コンピュータプログラムを有する、コンピュータプログラム製品。