JP2019082807A - 拡張現実表示システム、端末装置、拡張現実表示方法及び自立走行型掃除機 - Google Patents

Abstract

【課題】清掃対象領域の清掃状態を可視化する拡張現実表示システムを提供する。【解決手段】清掃結果が付加された清掃対象領域のマップを生成するマップ生成部７２と、前記マップを受信するクラウドサーバ１１０と、前記クラウドサーバ１１０にネットワーク経由で接続可能な端末装置２１０とを含み、前記端末装置２１０は、映像データを生成する撮像部２８０と、前記映像データの位置情報を推定する位置推定部２７２と、前記クラウドサーバ１１０から前記マップを受信する通信部２７４と、前記位置情報と前記マップ上の清掃対象領域を関連づけると共に前記清掃結果を関連づける制御部２７１と、関連付けされた前記清掃結果を前記映像データに重畳し、前記重畳された映像データを表示する表示部２３０とを含むもので、清掃対象領域の清掃状態を、表示部２３０を通してリアルタイムに可視化することができる。【選択図】図６

Description

本発明は、清掃対象領域の清掃結果を拡張現実で表示する拡張現実表示システム、前記清掃結果を表示する端末装置、前記清掃結果の拡張現実表示方法及び自立走行型掃除機に関する。

近年、ビル清掃における清掃作業員の負担軽減のために、清掃作業の一部を人の代わりに行う自律走行型掃除機（ロボット掃除機）を導入し、作業効率を改善しようとする事例が見られるようになってきた。この自律走行型掃除機の清掃結果を清掃作業員やビルメンテナンス会社に伝達し、清掃作業が確実に行われたかを把握し、万が一清掃不十分な場所が発生した場合には、人による仕上げ清掃を実施することで清掃レベルを人のみの清掃作業の場合と同等にし、ビル利用者に対し快適空間を提供することが求められる。

従来のシステムとして、掃除済みの領域を示す情報を含むマップデータを参照するマップ取得部と、操作対象の自律走行型掃除機の現在位置及び自律走行型掃除機の吸引口を有するヘッドの向きを示す状態データを取得する状態特定部と、マップデータが示す掃除済みの領域、並びに状態データが示す自律走行型掃除機の現在位置及び自律走行型掃除機のヘッドの向きに基づいて、自律走行型掃除機のヘッド操作の指針となるデータを自律走行型掃除機の操作者又は掃除機に対して出力するようにしたものがある（例えば、特許文献１参照）。

特開２０１６−８７１０６号公報

しかしながら、上記従来のシステムでは、清掃作業員が視覚的に清掃領域の清掃結果を把握することが難しく、仕上げ清掃の効率アップが望めない等の課題があった。

本発明は、上記従来の課題を解決するもので、清掃作業員が視覚的に清掃領域の清掃結果を把握し、仕上げ清掃の効率を大幅に向上させることができる拡張現実表示システム、端末装置、拡張現実表示方法及び自立走行型掃除機を提供することを目的とする。

上記従来の課題を解決するために、本発明の拡張現実表示システムは、清掃結果が付加された清掃対象領域のマップを生成するマップ生成部と、前記マップを受信するクラウドサーバと、前記クラウドサーバにネットワーク経由で接続可能な端末装置とを含み、前記端末装置は、映像データを生成する撮像部と、前記映像データの位置情報を推定する位置推定部と、前記クラウドサーバから前記マップを受信する通信部と、前記位置情報と前記マップ上の清掃対象領域を関連づけると共に前記清掃結果を関連づける制御部と、関連付けされた前記清掃結果を前記映像データに重畳し、前記重畳された映像データを表示する表示部とを含むもので、清掃対象領域の清掃状態を、表示部を通してリアルタイムに可視化することができる。

また、本発明の端末装置は、拡張現実表示システムに用いられる端末装置であって、映
像データを生成する撮像部と、前記映像データの位置情報を推定する位置推定部と、クラウドサーバから清掃結果が付加された清掃対象領域のマップを受信する通信部と、前記位置情報と前記マップ上の清掃対象領域を関連づけると共に前記清掃結果を関連づける制御部と、関連付けされた前記清掃結果を前記映像データに重畳し、前記重畳された映像データを表示する表示部とを含むもので、清掃対象領域の清掃状態を、表示部を通してリアルタイムに可視化することができる。

また、本発明の拡張現実表示方法は、清掃結果が付加された清掃対象領域のマップをクラウドサーバに送信し、前記クラウドサーバにネットワーク経由で接続可能な端末装置で、映像データを生成し、前記映像データの位置情報を推定し、前記位置情報と前記マップ上の清掃対象領域を関連づけると共に前記清掃結果を前記映像データに重畳して表示するもので、清掃対象領域の清掃状態をリアルタイムに可視化することができる。

また、本発明の自立走行型掃除機は、清掃結果が付加された清掃対象領域のマップを生成するマップ生成部と、前記清掃対象領域のごみの量を検出するごみ検出センサとを備え、前記ごみ検出センサは、前記清掃対象領域のごみの量を検出するカメラ、前記清掃対象領域のごみの回収量を検出する受・発光センサ及び前記清掃対象領域のごみの回収量を検出する重量センサの少なくとも１つを含むもので、前記清掃対象領域のごみの量を精度よく検出することができる。

また、本発明の自立走行型掃除機は、清掃結果が付加された清掃対象領域のマップを生成するマップ生成部と、前記清掃対象領域の汚れの種類を検出する汚れ検出部とを備え、前記汚れ検出部は、前記清掃対象領域の汚れの種類を検出するカメラ、清掃対象領域の水性汚れの水分量を検出する水分量センサ及び前記清掃対象領域の油性汚れの油分量を検出する油分量センサの少なくとも１つを含むもので、前記清掃対象領域の汚れの性質に応じた汚れ量を精度よく検出することができる。

また、本発明の自立走行型掃除機は、清掃結果が付加された清掃対象領域のマップを生成するマップ生成部と、前記清掃対象領域の特徴を抽出するための特徴抽出部とを備え、前記特徴抽出部は、前記清掃対象領域の画像を検出するカメラ、前記清掃対象領域の形状をレーザー光の反射時間で検出するレーザーセンサ及び前記対象領域の形状を超音波の反射時間で検出する超音波センサの少なくとも１つを含むもので、前記清掃対象領域における自己位置を精度良く認識することができる。

本発明の拡張現実表示システム、端末装置及び拡張現実表示方法は、清掃対象領域の清掃状態がリアルタイムに可視化されるので、清掃作業員が視覚的に清掃領域の清掃結果を把握し、仕上げ清掃の効率を大幅に向上させることができる。また、本発明の自律走行型掃除機は、ごみの量、汚れ具合、自己位置などを精度よく検出できるので仕上がりの良い清掃を行うことができる。

本発明の実施の形態１における拡張現実表示システムを利用する掃除システムの斜視図 同掃除システムの自律走行型掃除機の平面図 同自律走行型掃除機の底面図 同拡張現実表示システムの端末装置の平面図 同端末装置の背面図 同拡張現実表示システムのブロック図 同拡張現実表示システムの制御部により作成される清掃対象領域の区画ごとの汚れの種類を示すマップ図 （ａ）同端末装置において、清掃結果を拡張現実表示する前の清掃対象領域表示結果を示した図、（ｂ）同端末装置において、清掃結果を拡張現実表示した後の清掃対象領域表示結果を示した図 同端末装置において、清掃結果をイラストで拡張現実表示した清掃対象領域表示結果を示した図 同拡張現実表示システムによる清掃対象領域のマップへの清掃結果付加制御に関するフローチャート 同拡張現実表示システムの拡張現実表示制御に関するフローチャート

第１の発明は、清掃結果が付加された清掃対象領域のマップを生成するマップ生成部と、前記マップを受信するクラウドサーバと、前記クラウドサーバにネットワーク経由で接続可能な端末装置とを含み、前記端末装置は、映像データを生成する撮像部と、前記映像データの位置情報を推定する位置推定部と、前記クラウドサーバから前記マップを受信する通信部と、前記位置情報と前記マップ上の清掃対象領域を関連づけると共に前記清掃結果を関連づける制御部と、関連付けされた前記清掃結果を前記映像データに重畳し、前記重畳された映像データを表示する表示部とを含むもので、清掃対象領域の清掃状態を、表示部を通してリアルタイムに可視化することができる。

第２の発明は、特に、第１の発明のマップ生成部は、清掃対象領域の清掃有無を清掃結果としてマップに付加するもので、ユーザーが前記清掃結果に基づいて仕上げ清掃を容易に行うことができる。

第３の発明は、特に、第１又は第２の発明のマップ生成部は、清掃対象領域のごみの量を清掃結果としてマップに付加するもので、ごみの溜まりやすい領域、場所を、ユーザーが容易に把握することができる。

第４の発明は、特に、第１〜３のいずれか一つの発明のマップ生成部は、清掃対象領域の汚れの種類を清掃結果としてマップに付加するもので、ユーザーが前記清掃結果に基づいて仕上げ清掃手段を容易に選択することができる。

第５の発明は、特に、第１〜４のいずれか一つの発明のマップ生成部は、清掃対象領域の落下物有無を清掃結果としてマップに付加するもので、ユーザーが前記清掃結果に基づいて落下物を収拾し、仕上げ清掃を容易に行うことができる。

第６の発明は、特に、第１〜５のいずれか一つの発明の表示部は、清掃結果を色の種類、色の濃淡、図形、イラスト、文字及び数字の少なくとも１つで表現するもので、ユーザーが前記清掃結果を直感的に把握することができ、作業効率を向上させることができる。

第７の発明は、特に、第１〜６のいずれか一つの発明の表示部は、清掃結果を選択的に表示するもので、必要な情報のみを表示することが可能になり、視認性を高め作業効率を向上させることができる。

第８の発明は、特に、第１〜７のいずれか一つの発明の端末装置は、少なくともタブレット型端末、スマートフォン、眼鏡型端末のいずれかとしたもので、手軽で、使用勝手のよい機器を端末装置として利用できる。

第９の発明に係る端末装置は、拡張現実表示システムに用いられる端末装置であって、映像データを生成する撮像部と、前記映像データの位置情報を推定する位置推定部と、ク
ラウドサーバから清掃結果が付加された清掃対象領域のマップを受信する通信部と、前記位置情報と前記マップ上の清掃対象領域を関連づけると共に前記清掃結果を関連づける制御部と、関連付けされた前記清掃結果を前記映像データに重畳し、前記重畳された映像データを表示する表示部とを含むもので、清掃対象領域の清掃状態を、表示部を通してリアルタイムに可視化することができる。

第１０の発明に係る拡張現実表示方法は、清掃結果が付加された清掃対象領域のマップをクラウドサーバに送信し、前記クラウドサーバにネットワーク経由で接続可能な端末装置で、映像データを生成し、前記映像データの位置情報を推定し、前記位置情報と前記マップ上の清掃対象領域を関連づけると共に前記清掃結果を前記映像データに重畳して表示するもので、清掃対象領域の清掃状態をリアルタイムに可視化することができる。

第１１の発明に係る自立走行型掃除機は、清掃結果が付加された清掃対象領域のマップを生成するマップ生成部と、前記清掃対象領域のごみの量を検出するごみ検出センサとを備え、前記ごみ検出センサは、前記清掃対象領域のごみの量を検出するカメラ、前記清掃対象領域のごみの回収量を検出する受・発光センサ及び前記清掃対象領域のごみの回収量を検出する重量センサの少なくとも１つを含むもので、前記清掃対象領域のごみの量を精度よく検出することができる。

第１２の発明に係る自立走行型掃除機は、清掃結果が付加された清掃対象領域のマップを生成するマップ生成部と、前記清掃対象領域の汚れの種類を検出する汚れ検出部とを備え、前記汚れ検出部は、前記清掃対象領域の汚れの種類を検出するカメラ、清掃対象領域の水性汚れの水分量を検出する水分量センサ及び前記清掃対象領域の油性汚れの油分量を検出する油分量センサの少なくとも１つを含むもので、前記清掃対象領域の汚れの性質に応じた汚れ量を精度よく検出することができる。

第１３の発明に係る自立走行型掃除機は、清掃結果が付加された清掃対象領域のマップを生成するマップ生成部と、前記清掃対象領域の特徴を抽出するための特徴抽出部とを備え、前記特徴抽出部は、前記清掃対象領域の画像を検出するカメラ、前記清掃対象領域の形状をレーザー光の反射時間で検出するレーザーセンサ及び前記対象領域の形状を超音波の反射時間で検出する超音波センサの少なくとも１つを含むもので、前記清掃対象領域における自己位置を精度良く認識することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、この実施の形態によって本発明が限定されるものではない。

（実施の形態１）
図１は、本発明の実施の形態１における拡張現実表示システムを利用する掃除システムの斜視図、図２は、同掃除システムの自律走行型掃除機の平面図、図３は、同自律走行型掃除機の底面図、図４は、同拡張現実表示システムの端末装置の平面図、図５は、同端末装置の背面図、図６は、同拡張現実表示システムのブロック図、図７は、同拡張現実表示システムの制御部により作成される清掃対象領域の区画ごとの汚れの種類を示すマップ図、図８（ａ）は、同端末装置において、清掃結果を拡張現実表示する前の清掃対象領域表示結果を示した図、図８（ｂ）は、同端末装置において、清掃結果を拡張現実表示した後の清掃対象領域表示結果を示した図、図９は、同端末装置において、清掃結果をイラストで拡張現実表示した清掃対象領域表示結果を示した図、図１０は、同拡張現実表示システムによる清掃対象領域のマップへの清掃結果付加制御に関するフローチャート、図１１は、同拡張現実表示システムの拡張現実表示制御に関するフローチャートである。

図１〜図６を参照して、本発明の実施の形態１における拡張現実表示システムを利用す
る掃除システム１について説明する。

図１に示されるとおり、掃除システム１は、自立走行型掃除機１０（以下「掃除機１０」という）と、掃除機１０の電源ユニット９０（図２参照）を充電するための充電装置１００と、掃除機１０と通信可能な端末装置２１０（図４参照）を含む。

充電装置１００は、床面に配置され、図示しない電源コードによって電源に接続される。充電装置１００は、掃除機１０の電源ユニット９０の端子９１（図３参照）と電気的に接続可能な端子１０１を備えている。掃除機１０は、清掃対象領域の床面上を自律的に走行し、床面上に存在するごみを吸引するロボット型の掃除機である。清掃対象領域の一例はビルの共用廊下である。

図２に示されるとおり、掃除機１０は、ボディ２０と、駆動ユニット３０（図３参照）と、清掃ユニット４０と、ごみ箱５０と、吸引ユニット６０と、制御ユニット７０及び電源ユニット９０を備えている。駆動ユニット３０の一部、清掃ユニット４０の一部、ごみ箱５０、吸引ユニット６０、制御ユニット７０及び電源ユニット９０はボディ２０内に配置される。なお、制御ユニット７０は、掃除機１０の制御装置に相当する。清掃ユニット４０および吸引ユニット６０は、床面のごみを回収する掃除部に相当する。

ボディ２０の機能は、掃除機１０を構成する各種の要素を搭載することである。駆動ユニット３０の機能は床面を清掃するためにボディ２０を走行させることである。清掃ユニット４０の機能は、ボディ２０の周辺のごみをボディ２０の下方にかき集め、そのごみをかき上げることである。ごみ箱５０の機能は、吸引ユニット６０により回収されたごみを収容することである。吸引ユニット６０の機能は、清掃ユニット４０によりかき上げられたごみをボディ２０内に吸引することである。制御ユニット７０は、駆動ユニット３０、清掃ユニット４０、吸引ユニット６０の動作を制御することである。電源ユニット９０の機能は、駆動ユニット３０、清掃ユニット４０、吸引ユニット６０等に電力を供給することである。

ボディ２０の平面形状の一例は、ルーローの三角形、または、その三角形とおおよそ同じ形状を有する多角形、または、これらの三角形あるいは多角形の頂部にＲが形成された形状である。この形状は、ルーローの三角形が有する幾何学的な性質と同一または類似する性質をボディ２０に持たせることに寄与する。

図２に示されるとおり、掃除機１０はさらに、パネルカバー２１およびバンパー２２を備える。パネルカバー２１の機能は、ボディ２０の上部に設けられた操作パネル（図示略）を覆うことである。パネルカバー２１は、ボディ２０の上部に取り付けられ、ボディ２０に対して開閉可能である。バンパー２２の機能は、ボディ２０に与えられる衝撃を吸収することである。バンパー２２は、ボディ２０の前方に設けられ、ボディ２０に対して変位可能である。

図３に示されるとおり、掃除機１０はさらにキャスター２３を備える。キャスター２３の機能は、ボディ２０の後部を支持することである。キャスター２３は、駆動ユニット３０の動作に従動して回転する。

ボディ２０は、吸込口２０Ｂを備える。吸込口２０Ｂは、ボディ２０の下方に存在するごみをボディ２０内に吸引できるようにボディ２０の底面２０Ａに開口する。清掃ユニット４０は、第１のブラシ駆動モータ、第２のブラシ駆動モータ、第１の動力伝達部、第２の動力伝達部（いずれも図示略）、メインブラシ４１およびサイドブラシ４２を備える。各ブラシ駆動モータおよび各動力伝達部は、ボディ２０内に配置される。第１の動力伝達
部は第１のブラシ駆動モータのトルクをメインブラシ４１に伝達できるようにメインブラシ４１と連結される。第２の動力伝達部は、第２のブラシ駆動モータのトルクをサイドブラシ４２に伝達できるようにサイドブラシ４２と連結される。一例では、各動力伝達部はギア（図示せず）により動力を伝達する。

メインブラシ４１の機能は、ボディ２０の下方のごみをかき上げることである。メインブラシ４１は、例えば回転中心線を有する芯（図示せず）、および、芯の外周に設けられるブラシ毛（図示せず）を含み、吸込口２０Ｂに配置される。メインブラシ４１の回転方向は回転中心軸線よりも後方側においてごみを下方から上方にかき上げることが可能な方向である。

サイドブラシ４２の機能は、ボディ２０周辺の床面のごみを吸込口２０Ｂおよびメインブラシ４１に誘導することである。一例では、掃除機１０は、一対のサイドブラシ４２を備える。各サイドブラシ４２はボディ２０の底面２０Ａの前方側部に設けられる。サイドブラシ４２の回転方向はボディ２０の前方から吸込口２０Ｂに向けてごみをかき集めることが可能な方向である。

サイドブラシ４２は、ブラシ軸４３およびブラシ軸４３の外周に取り付けられる複数のブリッスル束４４を含む。ボディ２０およびサイドブラシ４２は、サイドブラシ４２がボディ２０に取り付けられた状態、および、サイドブラシ４２がボディ２０から取り外された状態をユーザーが任意に選択できる着脱構造を備える。

ブラシ軸４３の材質の一例は金属である。ブラシ軸４３の形状の一例は円柱である。サイドブラシ４２がボディ２０に取り付けられることによりブラシ軸４３が第２の動力伝達部と結合される。その状態において、ブラシ軸４３はボディ２０の底面２０Ａから下方に突出する。ブラシ軸４３の中心軸線はボディ２０の高さ方向に沿う。

複数のブリッスル束４４は、床面上のごみをかき集めることができるように束ねられた複数のブリッスルである。一例では、各ブリッスル束４４を構成するブリッスルの本数は５０本である。ブリッスルの材料はナイロンである。複数のブリッスル束４４がブラシ軸４３まわりで回転することによって床面上のごみが吸込口２０Ｂに向けてかき集められる。

掃除機１０の駆動方式は対向２輪型であり、一対の駆動ユニット３０を備える。駆動ユニット３０は、ホイール駆動モータ（図示略）、駆動輪３１およびハウジング３２を備える。ホイール駆動モータは、ハウジング３２内に配置され、駆動輪３１にトルクを伝達できるように駆動輪３１の軸（図示せず）と連結される。駆動輪３１は、軸と連結されるホイール（図示せず）およびホイールの外周に取り付けられるタイヤ（図示せず）を含む。タイヤは絨毯等のような表面の形状が変化しやすい場所を安定して走行できるトレッドパターン（図示せず）を有する。

ごみ箱５０は、ボディ２０の前後方向において吸引ユニット６０の前方側に配置される。一対の駆動ユニット３０は、ボディ２０の平面視においてボディ２０の前後方向に直交する幅方向において、ごみ箱５０を挟み込むように配置される。ボディ２０およびごみ箱５０は、ごみ箱５０がボディ２０に取り付けられた状態、および、ごみ箱５０がボディ２０から取り外された状態をユーザーが任意に選択できる着脱構造を備える。

吸引ユニット６０は、ボディ２０の前後方向においてごみ箱５０と電源ユニット９０との間に配置され、電動ファン（図示略）を含む。電動ファンはごみ箱５０の内部の空気を吸引する。電動ファンが動作することによりメインブラシ４１によりかき上げられたごみ
がごみ箱５０内に移動する。

図６に示すように制御ユニット７０は、各種制御および演算を実行する制御部７１と、清掃対象領域のマップを生成するマップ生成部７２と、記憶部７３および外部の装置と通信可能な通信部７４を含んでいる。制御部７１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のような半導体集積回路を含む。記憶部７３は、例えばフラッシュメモリのような不揮発性の半導体記憶素子により構成され、制御部７１が実行する各種のプログラムおよびパラメータ等を記憶する。通信部７４は、例えば、記憶部１１１を有するクラウドサーバ１１０の通信部１１２や端末装置２１０の通信部２７４と無線通信可能に構成される。

端末装置２１０は、例えばスマートフォンまたはパーソナルコンピュータであり、撮像部２８０と、制御ユニット２７０と、制御ユニット７０の通信部７４やクラウドサーバ１１０の通信部１１２から受信した情報を表示する表示部２３０と、操作部２４０を備えている。

制御ユニット２７０はさらに、制御部２７１と、位置推定部２７２と、記憶部２７３を備えている。

制御部２７１は、操作部２４０またはリモコン（図示略）を介してユーザーによって入力された条件に基づいて各種制御を設定可能である。

掃除機１０は、さらに複数のセンサを備える。一例によれば複数のセンサは、障害物検出センサ８１、複数の距離測定センサ８２、衝突検出センサ８３、複数の床面検出センサ８４、ごみ検出センサ８５及び撮像部８６を含む。各センサは、それぞれ制御部７１および電源ユニット９０（図２参照）と電気的に接続され、制御部７１に検出信号を入力する。

図２に示す障害物検出センサ８１の機能は、ボディ２０の前方側に存在する障害物を検出することである。障害物検出センサ８１の一例は超音波センサであり、図示しない発信部および受信部を備える。障害物検出センサ８１は障害物の有無に応じた信号を制御部７１に出力する。

距離測定センサ８２の機能は、ボディ２０の周囲に存在する物体とボディ２０との距離を検出することである。距離測定センサ８２の一例は赤外線センサであり、図示しない発光部および受光部を備える。距離測定センサ８２は周囲に存在する物体との距離に応じた信号を制御部７１（図６参照）に出力する。

衝突検出センサ８３の機能は、ボディ２０が周囲の物体と衝突したことを検出することである。衝突検出センサ８３の一例は、接触式変位センサであり、バンパー２２がボディ２０に対して押し込まれることにともないオンされるスイッチ（図示せず）を備える。

床面検出センサ８４の機能は、床面との距離を検出することである。床面検出センサ８４の一例は赤外線センサであり、図示しない発光部および受光部を備える。衝突検出センサ８３は周囲の物体と衝突した旨を示す信号を制御部７１（図６参照）に出力する。

ごみ検出センサ８５の機能は、ごみ箱５０内の通路を流れるごみの量を検出することである。ごみ検出センサ８５の一例は赤外線センサであり、図示しない発光部および受光部を備える。ごみ検出センサ８５は、ごみ箱５０に収容されるごみの量に応じた信号を制御部７１（図３参照）に出力する。

図３に示されるとおり、一例では複数の床面検出センサ８４は、第１〜第５の床面検出センサ８４を含む。第１の床面検出センサ８４は、ボディ２０の前後方向においてメインブラシ４１よりも前方側に設けられる。第２の床面検出センサ８４は、ボディ２０の前後方向において右側のサイドブラシ４２と右側の駆動ユニット３０との間に設けられる。第３の床面検出センサ８４はボディ２０の前後方向において左側のサイドブラシ４２と左側の駆動ユニット３０との間に設けられる。第４の床面検出センサ８４は、ボディ２０の前後方向において右側の駆動ユニット３０、右側のサイドブラシ４２、および、メインブラシ４１よりも後方側に設けられる。第５の床面検出センサ８４は、ボディ２０の前後方向において左側の駆動ユニット３０、左側のサイドブラシ４２、および、メインブラシ４１よりも後方側に設けられる。ボディ２０の幅方向における第４および第５の床面検出センサ８４の位置は、駆動ユニット３０、サイドブラシ４２、および、メインブラシ４１が設けられる位置と重なる。

次に、制御部７１の機能について説明する。

図１〜６において、制御部７１は、障害物検出センサ８１から入力される検出信号に基づいて、ボディ２０よりも前方側の所定範囲内に掃除機１０の走行を妨げ得る物体が存在しているか否かを判定する。制御部７１は、距離測定センサ８２から入力される検出信号に基づいて、ボディ２０の側部の周囲に存在する物体とボディ２０の輪郭との距離を算出する。制御部７１は衝突検出センサ８３から入力される検出信号に基づいて、ボディ２０が周囲の物体に衝突したか否かを判定する。制御部７１は、床面検出センサ８４から入力される検出信号に基づいて、ボディ２０の底面２０Ａと床面との距離を算出する。

制御部７１は、各種センサの出力および清掃時における掃除機１０の走行データに基づいてマップ生成部７２により清掃対象領域のマップが作成され、それが記憶部７３に記憶される。

マップは、例えばＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）などの地図作成技術によって作成される。制御部７１は、清掃対象領域のマップを複数の区画に区分する。なお、清掃対象領域のマップは、通信部７４を介して外部の装置から入力することもできる。掃除機１０の走行データに基づいて清掃対象領域のマップを作成する場合、清掃対象領域は掃除機１０の走行可能な範囲と一致する。

制御部７１は、ごみ検出センサ８５から入力される検出信号に基づいてごみ箱５０に回収されたごみの量を判定する。制御部７１はごみ箱５０に回収されたごみの量を操作パネル（図示せず）等に表示する。

制御部７１は、ホイール駆動モータ（図示略）およびブラシ駆動モータを駆動して掃除を行う。制御部７１は、ホイール駆動モータを駆動し、駆動輪３１を掃除機１０の前方に走行させる方向に回転させる。制御部７１は、掃除機１０を前方に走行させるとき左右の両方の駆動輪３１を回転させる。制御部７１は、掃除機１０を右方または左方に走行させるときは左右の駆動輪３１の一方を回転させる。

制御部７１は、メインブラシ４１を掃除機１０の前方に走行する方向に回転させる。制御部７１は、サイドブラシ４２を掃除機１０の前方からメインブラシ４１に向かうように回転させる。掃除機１０は、区画の内部を前後往復しながら移動することで掃除を行う。ごみ検出センサ８５は、掃除の実行中にごみの量の検出を行う。制御部７１は、掃除中の区画内において回収されるごみの量が一定量以下となるまで掃除を行う。制御部７１は、
掃除中の区画の位置、掃除機１０の往復の方向、および、検出されたごみの量を記憶部７３に記憶する。

掃除が実行されているとき、制御部７１は第１〜第３の清掃制御を実行する。

第１の清掃制御は、掃除機１０が床面上の任意の経路を走行している最中に床面検出センサ８４の検出信号に基づいて床面の種類も判定し、その判定結果に基づいて吸引ユニット６０の吸引力を調節する制御である。

例えば、制御部７１は、床面がフローリングの時は吸引ユニット６０による気流を相対的に小さくし、畳、絨毯と凹凸が大きいレベルになるほど、気流を相対的に大きくする。第２の清掃制御は、ごみの量が多い領域が検出された場合に、床面検出センサ８４の検出信号に基づいて床面の種類を判定し、その判定結果に基づいてごみを集中的に吸引するための掃除機１０の清掃動作を決める制御である。

第３の清掃制御は、清掃対象領域の壁沿いの場所および隅のごみを吸引するために壁沿いから隅に向けてボディ２０を走行させる制御である。第３の清掃制御は、ボディ２０の側部２０Ｃと壁との距離が一定の距離に保たれるように、掃除機１０を壁に沿って走行させる。なお、第１の清掃制御における吸引力を調節する制御は、第２の清掃制御、第３の清掃制御、および、吸引ユニット６０を動作させる別の清掃制御の１つまたは複数と組み合わせ可能である。

制御ユニット７０により実行される制御の一例について説明する。制御ユニット７０は清掃対象領域を清掃するために複数の制御を実行する。複数の制御は少なくとも待機制御、起動制御、および清掃制御を含む。

待機制御は、掃除機１０の電源ユニット９０の端子９１が充電装置１００の端子１０１と電気的に接続される初期位置にあるときに実行され、電源ユニット９０の蓄電池（図示せず）への充電を行う。

起動制御は、操作パネルの電源スイッチ（図示略）がオンされたとき電源ユニット９０からの電力が制御部７１に供給されることによって開始される制御である。制御部７１は起動制御において電源ユニット９０の蓄電池の電池残圧、ごみ箱５０の掃除機１０への取り付け状態、各種駆動モータ（図示略）の負荷、および、各種センサの通電状態等の状況を点検する。制御部７１は、異常を検出した場合は、操作パネル等を介してその旨をユーザーに報知し、各種駆動モータの動作を禁止する。

図６〜図１０を参照して、清掃制御について説明する。

掃除機１０は、ステップＳ１１において制御部７１が駆動ユニット３０、清掃ユニット４０および吸引ユニット６０を駆動し清掃を開始する。制御部７１は、ステップＳ１２において、記憶部７３にあらかじめ記憶された清掃対象領域マップより清掃対象領域を設定する。

制御部７１は、ステップＳ１３において、各種センサの出力および清掃時における掃除機１０の走行データに基づいて、自己位置情報を推定する。

制御部７１は、ステップＳ１４において、ごみ検出センサ８５および汚れ検出部（図示せず）から入力されるごみの量に応じた信号に基づいて清掃対象領域の清掃結果を取得する。

制御部７１は、ステップＳ１５において、ステップ１４で取得した清掃結果を清掃対象領域マップ上の自己位置を表すグリットに付加する。

制御部７１は、ステップＳ１６で清掃対象領域の清掃が完了したかどうかを確認し、未完了の場合は、ステップ１７にて清掃対象領域内を所定量移動し清掃を継続する。以降ステップＳ１３〜ステップＳ１６を繰り返す。

制御部７１は、ステップＳ１６で清掃対象領域の清掃が完了したことを確認すれば、ステップＳ１９に進み、駆動ユニット３０、清掃ユニット４０及び吸引ユニット６０を停止し、清掃を終了する。

図７は、制御部７１により作成される清掃対象領域の清掃結果が付加された清掃対象領域マップを視覚的に表示した一例を示す。掃除機１０が清掃した清掃エリアにおいて、前記ステップ１５で清掃結果として「水分汚れ」のため掃除できなかった領域を「■」印で、また「油性汚れ」のため掃除できなかった領域を「▲」印で示している。

図４〜図９及び図１１を参照して、清掃結果の拡張現実表示制御の詳細について説明する。

端末装置２１０には、端末装置２１０の周囲の映像データを生成する撮像部２８０と、前記映像データ及び前記映像データ上への拡張現実データの表示を行う表示部２３０、前記映像データに基づいて端末装置２１０の位置を推定する位置推定部２７２が備わっており、前記撮像部２８０、前記表示部２３０、前記位置推定部２７２の制御を制御部２７１が実行する。

撮像部２８０は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサのように複数の画素を有する画像センサを用いることができる。

表示部２３０は、複数の画素を有し、背後に蛍光灯やＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの光源（バックライト）を設置し、この光を遮ったり通したりすることで像を映し出す液晶ディスプレイや、複数の画素が自ら発光することで像を映し出す有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイのような高精細表示デバイスを用いて、前記撮像部２８０の映像を高精細に表示することが可能である。これらの表示デバイスは、画面上の表示を押すことで機器を操作するための操作部（図示せず）と組み合わせた、いわゆるタッチパネル方式が主流であり、ユーザーによる直感的な操作を可能にしている。

通信部２７４は、掃除機１０やクラウドサーバ１１０とＷｉＦｉ通信やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信によってデータをやりとりすることが可能である。

記憶部２７３は、例えばフラッシュメモリのような不揮発性の半導体記憶素子により構成され電気的にデジタルデータの読み書きを行うことができる。

以上のように構成された端末装置２１０について、ビル内の共用廊下での拡張現実表示させる制御例を以下に説明する。なお、前記共用廊下は掃除機１０によって清掃対象領域の清掃及び清掃対象領域のマップ生成が完了した状態とする。

撮像部２８０は、ステップＳ２１において清掃対象領域の画像を入力し、制御ユニット７０に画像データを伝送しステップＳ２２に進む。ステップＳ２２では、位置推定部２７
２がステップＳ２１で入力した画像から、特徴量を抽出し、端末装置２１０自身の位置情報を推定し、ステップＳ２３に進む。

ステップＳ２３では、前記位置情報と、あらかじめ記憶部２７３に保存されているＳＬＡＭマップとの照合を行い、ステップＳ２４において照合が完了すれば、ステップＳ２５においてＳＬＡＭマップデータを取得する。

ステップＳ２６において、ＳＬＡＭマップデータにおける清掃結果を抽出する。清掃結果は例えば「ごみの量」、「汚れの種類」、「落下物の有無や種類」といったものである。

ステップＳ２７では、ステップＳ２６で抽出した清掃結果を映像データに重畳させる。ステップＳ２８では、ステップＳ２７で清掃結果が重畳された映像データを再描画することによって、表示部２３０に清掃結果が拡張現実表示される。

図８は、端末装置２１０としてタブレット型端末を利用して清掃結果を拡張現実表示する実例を示すものである。

図８（ａ）は、表示部２３０に清掃結果を重畳する前の、清掃対称領域のオリジナル画像のみ（ＡＲオフ）を示し、図８（ｂ）では、前記オリジナル画像上に清掃結果を重畳した状態（ＡＲオン）を示している。掃除機１０の清掃結果として「水分汚れ」のため掃除できなかった領域を「■」印で、また「油性汚れ」のため掃除できなかった領域を「▲」印で拡張現実表示している。作業員は、前記清掃結果表示をタブレット端末を通じて視覚的に把握することができる。この結果、汚れに応じて適切な清掃具を選択することができたり、清掃できなかったところのみをピンポイントで見つけて清掃するなど、効率的な仕上げ清掃を実現することができる。

本実施の形態では、表示部２３０は清掃結果を「■」や「▲」などの図形を用いて表現したが、本発明はこれに限定されるものではなく、色の濃淡、イラスト、文字及び数字などで構成されるものとしてもよい。すなわち、清掃結果の特性に応じて、ユーザーが識別しやすい清掃結果の表現にすることもできる。

例えば、汚れの種類を清掃結果として表示させる場合に、汚れの種類に応じたイラストで表現してもよい。具体的には図９に示すように、汚れの種類が「水分汚れ」の場合には「水滴」のイラスト、「油性汚れ」の場合には「油性ペン」のイラストで表現すればよい。

また、ごみの量を清掃結果として表示させる場合に、ごみの量に応じた文字で表現してもよい。具体的にはごみの量が多い場合には「多」、少ない場合には「無」と表現すればよい。ごみの量に応じた数字で表現してもよい。具体的にはごみの量が多いほど数字が大きくなるようにし、（例えば最大ごみ量の場合「１００」とする）、ごみの量が少ないほど数字が小さくなるようにする（例えば最小ごみ量の場合「０」とする）。

本実施の形態では、表示部２３０は、複数の清掃結果（「水分汚れ」や「油性汚れ」）を一度に表示したが、本発明は、これに限定されるものではなく、清掃結果を選択的に表示する構成であってもよい。すなわち、ユーザーが必要な清掃結果のみを選択的に表示できる構成とすることもできる。たとえば表示部２３０上のタッチパネルを押下するごとに、パターン１：清掃結果表示なし→パターン２：「水分汚れ」と「油性汚れ」を同時表示→パターン３：「水分汚れ」のみ表示→パターン４：「油性汚れ」のみ表示→パターン１に戻る、といった表示パターンの切り替え制御を行えばよい。

本実施の形態では、端末装置としてタブレット型端末としたが、本発明は、これに限定されるものではなく、スマートフォンでもよい。タブレット型端末に比べて小型のスマートフォンであれば作業員が手軽に持ち運びすることができ、容易に清掃結果を確認することができるため、作業効率を向上させることができる。

また、端末装置２１０として眼鏡型端末を用いれば、作業員は眼鏡型端末を装着した状態で清掃結果を確認しながら仕上げ清掃を行うことができるため、作業効率をさらに向上させることができる。

なお、ごみ検出センサ８５として、清掃対象領域のごみの量を検出するカメラ（図示せず）、清掃対象領域のごみの回収量を検出する受・発光センサ（図示せず）、及び前記清掃対象領域のごみの回収量を検出する重量センサ（図示せず）の少なくとも１つを含むようにすれば、前記清掃対象領域のごみの量を精度よく検出することができる。

また、汚れ検出部として、清掃対象領域の汚れの種類を検出するカメラ（図示せず）、清掃対象領域の水性汚れの水分量を検出する水分量センサ（図示せず）及び前記清掃対象領域の油性汚れの油分量を検出する油分量センサ（図示せず）の少なくとも１つを含むようにすれば、清掃対象領域の汚れの性質に応じた汚れ量を精度よく検出することができる。

また、清掃対象領域の特徴を抽出するための特徴抽出部（図示せず）を備え、前記特徴抽出部が、清掃対象領域の画像を検出するカメラ（図示せず）、前記清掃対象領域の形状をレーザー光の反射時間で検出するレーザーセンサ（図示せず）、及び前記対象領域の形状を超音波の反射時間で検出する超音波センサ（図示せず）の少なくとも１つを含むようにすれば、清掃対象領域における自己位置を精度良く認識することができる。

本発明に係る拡張現実表示システム、端末装置、および拡張現実表示方法は、清掃対象領域の清掃状態がリアルタイムに可視化され、清掃作業員が視覚的に清掃領域の清掃結果を把握し、仕上げ清掃の効率を大幅に向上させることができるもので、家庭用および業務用をはじめとする各種の自律走行型掃除機に適用できる。

１ 掃除システム
１０ 自立走行型掃除機（掃除機）
２０ ボディ
２０Ａ 底面
２０Ｂ 吸込口
２０Ｃ 側部
２１ パネルカバー
２２ バンパー
２３ キャスター
３０ 駆動ユニット
３１ 駆動輪
３２ ハウジング
４０ 清掃ユニット
４１ メインブラシ
４２ サイドブラシ
４３ ブラシ軸
４４ ブリッスル束
５０ ごみ箱
６０ 吸引ユニット
７０、２７０ 制御ユニット
７１、２７１ 制御部
７２ マップ生成部
７３、１１１、２７３ 記憶部
７４、１１２、２７４ 通信部
８１ 障害物検出センサ
８２ 距離測定センサ
８３ 衝突検出センサ
８４ 床面検出センサ
８５ ごみ検出センサ
８６、２８０ 撮像部
９０ 電源ユニット
９１、１０１ 端子
１００ 充電装置
１１０ クラウドサーバ
２１０ 端末装置
２３０ 表示部
２４０ 操作部
２７２ 位置推定部

Claims (13)

1. 清掃結果が付加された清掃対象領域のマップを生成するマップ生成部と、前記マップを受信するクラウドサーバと、前記クラウドサーバにネットワーク経由で接続可能な端末装置とを含み、前記端末装置は、映像データを生成する撮像部と、前記映像データの位置情報を推定する位置推定部と、前記クラウドサーバから前記マップを受信する通信部と、前記位置情報と前記マップ上の清掃対象領域を関連づけると共に前記清掃結果を関連づける制御部と、関連付けされた前記清掃結果を前記映像データに重畳し、前記重畳された映像データを表示する表示部とを含む拡張現実表示システム。
2. マップ生成部は、清掃対象領域の清掃有無を清掃結果としてマップに付加することを特徴とする請求項１に記載の拡張現実表示システム。
3. マップ生成部は、清掃対象領域のごみの量を清掃結果としてマップに付加することを特徴とする請求項１または２に記載の拡張現実表示システム。
4. マップ生成部は、清掃対象領域の汚れの種類を清掃結果としてマップに付加することを特徴とする請求項１〜３のいずれかに１項に記載の拡張現実表示システム。
5. マップ生成部は、清掃対象領域の落下物有無を清掃結果としてマップに付加することを特徴とする請求項１〜４のいずれか１項に記載の拡張現実表示システム。
6. 表示部は、清掃結果を色の種類、色の濃淡、図形、イラスト、文字及び数字の少なくとも１つで表現する請求項１〜５のいずれか１項に記載の拡張現実表示システム。
7. 表示部は、清掃結果を選択的に表示する請求項１〜６のいずれか１項に記載の拡張現実表示システム。
8. 端末装置は、少なくともタブレット型端末、スマートフォン、眼鏡型端末のいずれかである請求項１〜７のいずれか１項に記載の拡張現実表示システム。
9. 拡張現実表示システムに用いられる端末装置であって、映像データを生成する撮像部と、前記映像データの位置情報を推定する位置推定部と、クラウドサーバから清掃結果が付加された清掃対象領域のマップを受信する通信部と、前記位置情報と前記マップ上の清掃対象領域を関連づけると共に前記清掃結果を関連づける制御部と、関連付けされた前記清掃結果を前記映像データに重畳し、前記重畳された映像データを表示する表示部とを含む端末装置。
10. 清掃結果が付加された清掃対象領域のマップをクラウドサーバに送信し、前記クラウドサーバにネットワーク経由で接続可能な端末装置で、映像データを生成し、前記映像データの位置情報を推定し、前記位置情報と前記マップ上の清掃対象領域を関連づけると共に前記清掃結果を前記映像データに重畳して表示する拡張現実表示方法。
11. 清掃結果が付加された清掃対象領域のマップを生成するマップ生成部と、前記清掃対象領域のごみの量を検出するごみ検出センサとを備え、前記ごみ検出センサは、前記清掃対象領域のごみの量を検出するカメラ、前記清掃対象領域のごみの回収量を検出する受・発光センサ及び前記清掃対象領域のごみの回収量を検出する重量センサの少なくとも１つを含む自律走行型掃除機。
12. 清掃結果が付加された清掃対象領域のマップを生成するマップ生成部と、前記清掃対象領
    域の汚れの種類を検出する汚れ検出部とを備え、前記汚れ検出部は、前記清掃対象領域の汚れの種類を検出するカメラ、清掃対象領域の水性汚れの水分量を検出する水分量センサ及び前記清掃対象領域の油性汚れの油分量を検出する油分量センサの少なくとも１つを含む自律走行型掃除機。
13. 清掃結果が付加された清掃対象領域のマップを生成するマップ生成部と、前記清掃対象領域の特徴を抽出するための特徴抽出部とを備え、前記特徴抽出部は、前記清掃対象領域の画像を検出するカメラ、前記清掃対象領域の形状をレーザー光の反射時間で検出するレーザーセンサ及び前記対象領域の形状を超音波の反射時間で検出する超音波センサの少なくとも１つを含む自立走行型掃除機。