JP2021119802A

JP2021119802A - 清掃制御方法

Info

Publication number: JP2021119802A
Application number: JP2019240082A
Authority: JP
Inventors: 国輝胡; Guohui Hu
Original assignee: Beijing Taitan Technology Co Ltd
Current assignee: Beijing Taitan Technology Co Ltd
Priority date: 2019-12-30
Filing date: 2019-12-31
Publication date: 2021-08-19
Also published as: CN111150330A; US20200130179A1

Abstract

【課題】障害物の検出がより包括的になり、スマート掃除ロボットが清掃経路をより適時に変更することを容易にする、スマート掃除ロボットに用いられる清掃制御方法を提供する。【解決手段】撮像された画像から前景物特徴及びシーン特徴を抽出し、抽出された前景物特徴に基づいて前景物が障害物であるか否かを検出し、検出結果として障害物である場合、前記前景物の所在するエリアを障害点とし、前記障害点を回避する第２清掃経路を再設定し、検出結果として障害物であるか否かを決定できない場合、抽出されたシーン特徴及び前景物特徴に基づいて、前景物が障害物である第１条件確率をさらに決定し、第１条件確率が予め設定された閾値よりも大きいとき、前景物が障害物であると決定し、前記前景物の所在するエリアを障害点とし、前記障害点を回避する第２清掃経路を再設定する。【選択図】図１

Description

本発明は、スマートロボット技術領域に関し、より具体的に、スマート掃除ロボットに用いられる清掃制御方法に関する。

人工知能の発達に伴い、ますます多くのスマート端末は人々の生活に浸透している。例えば、スマート掃除ロボットは、部屋内において床の清掃、吸塵、拭き取り等の作業を自動的に行い、床面上のゴミを自身のゴミ収納袋に吸い込んで床面の清掃を実現する。従来技術では、スマート掃除ロボットは、通常、前部に設置されたカメラにより前方画像情報を収集し、収集された前方画像情報に基づいて障害物があるか否かを検出し、障害物を検出すると自動的に回避するようになっている。しかし、従来技術における障害物の検出では、撮像された画像に基づいて前景物特徴を抽出し、抽出された前景物特徴が予め記憶されている障害物の全ての特徴と一致する場合、前景物が障害物であると確認し、抽出された前景物特徴が障害物の一部の特徴のみである場合、前景物が障害物であるか否かを確認できなくなり、一方、スマート掃除ロボットが実際に動作する場合、カメラ機器の経年劣化やパラメータ設定等の問題により、撮影された画像がぼやけることがある。ぼやけた画像から前景物特徴の一部しか収集できず、前景物特徴の一部によりぼやけた画像を予め記憶されている障害物画像と一致させることができなくて、すなわち、障害物を検出できないため、スマート掃除ロボットは清掃経路を適時に変更することができない。

本発明が解決しようとする技術問題は、障害物の検出がより包括的になり、スマート掃除ロボットが清掃経路をより適時に変更することを容易にする、スマート掃除ロボットに用いられる清掃制御方法を提供することである。

上記技術問題を解決するために、本発明が採用する技術方案は以下の通りである。

スマート掃除ロボットの掃除制御に用いられる清掃制御方法は、
スマート掃除ロボットの清掃する対象エリアに応じて、スマート掃除ロボットの自走する第１清掃経路を設定することと、
前記第１清掃経路に沿って清掃を行うようにスマート掃除ロボットを制御することと、
スマート掃除ロボットの自走するときの前方の画像を撮像することと、
撮像された画像から前景物特徴及びシーン特徴を抽出することと、
抽出された前景物特徴に基づいて前景物が障害物であるか否かを検出することと、
検出結果として障害物である場合、前記前景物の所在するエリアを障害点とし、前記障害点を回避する第２清掃経路を再設定することと、
検出結果として障害物であるか否かを決定できない場合、抽出されたシーン特徴及び前景物特徴に基づいて前景物が障害物である第１条件確率を決定し、第１条件確率が予め設定された閾値よりも大きいとき、前景物が障害物であると決定し、前記前景物の所在するエリアを障害点とし、前記障害点を回避する第２清掃経路を再設定することと、を含む。

本発明は、従来技術に比べて以下通りの顕著な効果を奏する。
本発明に係る清掃制御方法では、撮像された画像から前景物特徴及びシーン特徴を抽出し、抽出された前景物特徴に基づいて前景物が障害物であるか否かを検出し、検出結果として障害物である場合、前記前景物の所在するエリアを障害点とし、前記障害点を回避する第２清掃経路を再設定し、検出結果として障害物であるか否かを決定できない場合、例えば、撮像された画像がぼやけたとき、ぼやけた画像から前景物特徴の一部しか収集できず、前景物が障害物であるか否かを決定できない場合、抽出されたシーン特徴及び前景物特徴に基づいて前景物が障害物である第１条件確率をさらに決定し、第１条件確率が予め設定された閾値よりも大きいとき、前景物が障害物であると決定し、前記前景物の所在するエリアを障害点とし、前記障害点を回避する第２清掃経路を再設定する。本発明では、シーン特徴を前景物特徴と合わせて、条件確率原理に基づいて障害物を検出することで、障害物の検出がより包括的になり、スマート掃除ロボットが清掃経路をより適時に変更することを容易にする。

本発明に係る清掃制御方法の１つの具体的な実施例を示すフローチャートである。本発明に係る清掃制御方法における清掃経路設定の１つの具体的な実施例を示す図である。本発明に係る清掃制御方法におけるメッシュ単位符号化の１つの具体的な実施例を示す図である。

図１は、本発明に係る清掃制御方法の１つの具体的な実施例を示すフローチャートである。本実施例の方法は主に以下のステップを含む。

ステップＳ１０１：スマート掃除ロボットが清掃する対象エリアに応じて、スマート掃除ロボットの自走する第１清掃経路を設定する。具体的には、経路設定は、対象エリア内の全面被覆経路設定であり、種々のアルゴリズム、例えば、ランダム被覆法やダイクストラ（Ｄｉｊｋｓｔｒａ）アルゴリズム、ニューラルネットアルゴリズム等により清掃経路を設定してもよい。図２は、ランダム被覆法より設定された１つの清掃経路の実施例を示す。清掃経路は、他の方法により設定されてもよいが、ここでは詳細に限定されない。

ステップＳ１０２：第１清掃経路に沿って清掃を行うようにスマート掃除ロボットを制御する。具体的には、図２で設定された清掃経路を例として、スマート掃除ロボットが一方向に走行して旋回するまでを１つの清掃過程とする場合、１周の清掃には４つの清掃過程が必要となる。ここでは、詳細な説明を省略する。

ステップＳ１０３：スマート掃除ロボットの自走するときの前方の画像を撮像する。具体的には、スマート掃除ロボット本体の前方に画像撮像装置を設置する必要がある。画像撮像装置は、ビデオカメラやカメラ等であってもよい。また、画像撮像装置は、スマート掃除ロボットの前方の画像をリアルタイムに撮像してもよいし、スマート掃除ロボットが大きな塊状物に遭遇した場合に大きな塊状物を検出待ち物体として決定してもよいが、ここでは詳細に限定されない。

ステップＳ１０４：撮像された画像から前景物特徴及びシーン特徴を抽出する。具体的には、撮像された画像から特徴の抽出は、種々の方法により実現されてもよい。例えば、前景物特徴の抽出では、画像を２値化画像に変換して前景部分及び背景部分に分割し、２値化画像を元の画像に重ねて前景画像を取得し、これにより、前景画像に基づいて前景物特徴を抽出することができるが、ここでは前景物特徴の抽出方法を具体的に限定しない。また、シーン特徴は、同様に、上記方法により抽出されてもよいが、ここで詳細な説明を省略する。

ステップＳ１０５：抽出された前景物特徴に基づいて前景物が障害物であるか否かを検出する。具体的には、前景物特徴に基づいて前景物が障害物であるか否かを検出し、特徴点マッチング方法を用いてもよく、すなわち、障害物特徴を予め決定し、決定された前景物特徴と障害物特徴とを照合し、両者が一致する場合に前景物が障害物であると決定し、両者が一致していない場合に前景物が障害物ではないと決定する。

本実施例のステップＳ１０６では、撮像された画像が鮮明な場合、検出結果として前景物が障害物であると、当該前景物の所在するエリアを障害点とし、前記障害点を回避する第２清掃経路を再設定し、一方、検出結果として前景物が障害物ではないと、第１清掃経路に沿う清掃を継続する。

また、例えば、撮像された画像がぼやけた場合、抽出された前景物特徴はすべての特徴の一部のみであるので、抽出された前景物特徴に基づいて前景物が障害物であるか否かを決定できない。このため、本実施例のステップＳ１０７では、検出結果として前景物が障害物であるか否かを決定できない場合、抽出されたシーン特徴及び前景物特徴に基づいて、前景物が障害物である第１条件確率を決定し、第１条件確率が予め設定された閾値よりも大きいとき、前景物が障害物であると決定し、当該前景物の所在するエリアを障害点とし、当該障害点を回避する第２清掃経路を再設定し、一方、第１条件確率が予め設定された閾値よりも小さいと、前景物が障害物ではないと決定し、第１清掃経路に沿う清掃を継続する。

以下、本発明の条件確率による障害物の検出方法については、詳しく説明する。本発明では、条件確率による障害物の検出原理としては、シーン特徴及び前景物特徴を検出の規制条件として検出を行うことである。具体的には、本実施例では、抽出されたシーン特徴及び前景物特徴に基づいて、前景物が障害物である第１条件確率をさらに決定することは以下の方法を用いる。

各シーン特徴と各前景物特徴とを予め組み合わせて種々の条件を得て、各条件下において前景物が障害物である条件確率を決定して記憶し、
抽出されたシーン特徴及び前景物特徴に基づいて対応する条件を決定し、
決定された条件に応じて、予め記憶されている条件確率情報を照会して、当該条件に対応する第１条件確率を取得する。

以下、１つの簡単な例で説明する。例えば、スマート掃除ロボットの所在する環境において、シーン特徴はそれぞれＡ１とＡ２の２種であり、前景物特徴もそれぞれＢ１とＢ２の２種であると仮想し、シーン特徴を前景物特徴に組み合わせて得られる条件は４つの条件、すなわち、Ａ１Ｂ１，Ａ１Ｂ２、Ａ２Ｂ１、Ａ２Ｂ２であり、閾値を８０％に設定する。サンプルに学習とテストを行うことで、Ａ１Ｂ１条件下で前景物が障害物である確率を４０％とし、Ａ１Ｂ２条件下で前景物が障害物である確率を９０％とし、Ａ２Ｂ１条件下で前景物が障害物である確率を７５％とし、Ａ２Ｂ２条件下で前景物が障害物である確率を６０％として予め設定する。従来技術では、Ｂ１とＢ２の両方の前景物特徴がそれぞれ一致する場合のみに前景物が障害物であると決定し、前景物特徴Ｂ２のみを抽出した場合、前景物が障害物であるか否かを決定できないか、または前景物が障害物ではないと直接に決定する。本発明では、抽出された前景物特徴Ｂ２を抽出されたシーン特徴Ａ１に合わせて、対応する条件がＡ１Ｂ２であると決定し、予め記憶されている条件確率情報をさらに照会して、対応する条件Ａ１Ｂ２下において前景物が障害物である条件確率を、予め設定された閾値８０％よりも大きくて９０％として決定する場合、前景物が障害物であると決定することができる。本発明では、シーン特徴を前景物特徴と合わせて検出の規制条件とすることで、障害物の検出がより包括的になり、スマート掃除ロボットが清掃経路をより適時に変更することを容易にする。

他の好適な実施例として、本発明では、撮像された画像から参照物特徴をさらに抽出する。

検出結果として障害物であるか否かを決定できない場合、抽出されたシーン特徴、参照物特徴及び前景物特徴に基づいて、前景物が障害物である第２条件確率をさらに決定し、第２条件確率が予め設定された閾値よりも大きいとき、前景物が障害物であると決定し、当該前景物の所在するエリアを障害点とし、当該障害点を回避する第３清掃経路を再設定する。

抽出されたシーン特徴、参照物特徴及び前景物特徴に基づいて、前景物が障害物である第２条件確率をさらに決定することは、同様に、以下の方法を用いることができる。
各シーン特徴と、参照物特徴と、各前景物特徴とを予め組み合せて種々の条件を得て、各条件下において前景物が障害物である条件確率を決定して記憶し、
抽出されたシーン特徴、参照物特徴及び前景物特徴に基づいて、対応する条件を決定し、
決定された条件に応じて、予め記憶されている条件確率情報を照会して、当該条件に対応する第２条件確率を取得する。

また、スマート掃除ロボットの動作効率を向上させるために、１つの好適的な実施例として、本発明は、スマート掃除ロボットの清掃する対象エリアを各メッシュ単位に区切るステップをさらに含む。メッシュ単位は、自由メッシュ単位及び障害メッシュ単位に分けられる。自由メッシュ単位は、自由に走行するエリアであり、障害メッシュ単位は、障害点の存在するエリアである。図３に示すように、本実施例では、メッシュ単位を符号化してもよい。自由メッシュ単位のコードを１、障害メッシュ単位のコードを０にし、符号化によりスマート掃除ロボットはメッシュ単位を快速に識別して清掃時間を減らすことができる。

本実施例では、前記自由メッシュ単位において快速清掃モードで清掃を行い、前記障害メッシュ単位においてしっかり清掃モードで清掃を行うようにスマート掃除ロボットを制御する。こうすると、自由メッシュ単位において快速清掃モードを用いることでスマート掃除ロボットの動作効率を保証できるとともに、通常、障害箇所において種々のゴミが多いので、障害メッシュ単位においてしっかり清掃モードを用いることでよりきれいに清掃できる。

また、本発明では、清掃後に対象エリアのメッシュ単位符号化情報を記憶し、記憶されている複数回の清掃のメッシュ単位符号化情報に基づいて清掃環境地図を更新し、次回の清掃を行う場合、更新後の環境地図に基づいて清掃経路を設定する。ここでは、その詳細な説明を省略する。

Claims

スマート掃除ロボットの掃除制御に用いられる清掃制御方法であって、
スマート掃除ロボットの清掃する対象エリアに応じて、スマート掃除ロボットの自走する第１清掃経路を設定することと、
前記第１清掃経路に沿って清掃を行うようにスマート掃除ロボットを制御することと、
スマート掃除ロボットの自走するときの前方の画像を撮像することと、
撮像された画像から前景物特徴及びシーン特徴を抽出することと、
抽出された前景物特徴に基づいて前景物が障害物であるか否かを検出することと、
検出結果として障害物である場合、前記前景物の所在するエリアを障害点とし、前記障害点を回避する第２清掃経路を再設定することと、
検出結果として障害物であるか否かを決定できない場合、抽出されたシーン特徴及び前景物特徴に基づいて前景物が障害物である第１条件確率をさらに決定し、第１条件確率が予め設定された閾値よりも大きいとき、前景物が障害物であると決定し、前記前景物の所在するエリアを障害点とし、前記障害点を回避する第２清掃経路を再設定することと、を含む清掃制御方法。
抽出されたシーン特徴及び前景物特徴に基づいて前景物が障害物である第１条件確率を決定することは、
各シーン特徴と各前景物特徴とを予め組み合わせて各種の条件を得て、各条件下において前景物が障害物である条件確率を決定して記憶することと、
抽出されたシーン特徴及び前景物特徴に基づいて対応する条件を決定することと、
決定された条件に応じて、予め記憶されている条件確率情報を照会して、前記条件に対応する第１条件確率を取得することと、を含むことを特徴とする請求項１に記載の方法。
撮像された画像から参照物特徴を抽出することと、
検出結果として障害物であるか否かを決定できない場合、抽出されたシーン特徴、参照物特徴及び前景物特徴に基づいて、前景物が障害物である第２条件確率を決定し、第２条件確率が予め設定された閾値よりも大きいとき、前景物が障害物であると決定し、前記前景物の所在するエリアを障害点とし、前記障害点を回避する第３清掃経路を再設定することと、をさらに含むことを特徴とする請求項１に記載する方法。
スマート掃除ロボットの清掃する対象エリアを各メッシュ単位に区切ることをさらに含み、
メッシュ単位は、自由メッシュ単位及び障害メッシュ単位に分けられ、
自由メッシュ単位は、自由に走行するエリアであり、
障害メッシュ単位は、障害点の存在するエリアであることを特徴とする請求項１に記載する方法。
前記自由メッシュ単位において快速清掃モードで清掃を行うようにスマート掃除ロボットを制御し、
前記障害メッシュ単位においてしっかり清掃モードで清掃を行うようにスマート掃除ロボットを制御することを特徴とする請求項４に記載する方法。