JP2018079134A - 掃除支援装置、掃除支援方法、および、掃除支援システム - Google Patents

掃除支援装置、掃除支援方法、および、掃除支援システム Download PDF

Info

Publication number
JP2018079134A
JP2018079134A JP2016223984A JP2016223984A JP2018079134A JP 2018079134 A JP2018079134 A JP 2018079134A JP 2016223984 A JP2016223984 A JP 2016223984A JP 2016223984 A JP2016223984 A JP 2016223984A JP 2018079134 A JP2018079134 A JP 2018079134A
Authority
JP
Japan
Prior art keywords
unit
projection image
cleaning
cleaned
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016223984A
Other languages
English (en)
Other versions
JP2018079134A5 (ja
Inventor
奈々穂 大澤
Nanaho Osawa
奈々穂 大澤
喬樹 八木澤
Takaki Yagisawa
喬樹 八木澤
佑太 和田
Yuta Wada
佑太 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2016223984A priority Critical patent/JP2018079134A/ja
Publication of JP2018079134A publication Critical patent/JP2018079134A/ja
Publication of JP2018079134A5 publication Critical patent/JP2018079134A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Image Processing (AREA)

Abstract

【課題】掃除対象領域における掃除済みの領域を、ヘッドマウントディスプレイを装着することなく、掃除対象領域と対応付けて提示することができる掃除支援装置を提供する。【解決手段】掃除対象領域に対する掃除機のヘッド部の位置を検出する位置検出部と、位置検出部が検出したヘッド部の位置に基づき、掃除対象領域内における、掃除機による掃除済みの領域を判別する領域判別部と、領域判別部が決定した掃除済みの領域に基づき、掃除対象領域に投射させるための投射画像を作成する投射画像作成部とを備えた。【選択図】図2

Description

この発明は、掃除対象領域に、掃除機による掃除済みの領域に基づく画像を投射させるための掃除支援装置、掃除支援方法、および、当該掃除支援装置と掃除機に関する情報を取得する位置情報取得装置と画像を投射する画像投射装置とからなる掃除支援システムに関するものである。
近年、ユーザが掃除機を操作して掃除を行う作業時間の短縮と作業効率の向上のため、掃除対象領域における掃除済みの領域を操作者に提示する掃除支援装置が提案されている。例えば、掃除対象領域と、掃除機による掃除済み領域とを示す画像を、表示装置に表示させる掃除支援装置が知られている。
また、例えば、特許文献1には、掃除機の操作者(ユーザ)が装着したヘッドマウントディスプレイに、操作者から見て掃除済みの領域や未掃除領域が実際の床と重なるようにした画像を表示させることで、操作者に掃除済みの領域を提示する掃除支援装置が開示されている。
特開2016−87106号公報
特許文献1に開示された掃除支援装置では、ユーザが見ている実際の床に掃除済み領域を示す画像が重なって見えるため、表示装置に掃除済み領域を表示するものと比べて、ユーザは掃除済みの領域が直感的に分かりやすい。
しかしながら、特許文献1に開示されているような技術では、ユーザは、ヘッドマウントディスプレイを装着する必要があるという課題があった。
この発明は上記のような課題を解決するためになされたもので、ヘッドマウントディスプレイを用いることなく、掃除機による掃除済み領域を、ユーザが視認可能な掃除対象領域と対応付けて提示することができる掃除支援装置を提供することを目的としている。
この発明に係る掃除支援装置は、掃除対象領域に対する掃除機のヘッド部の位置を検出する位置検出部と、位置検出部が検出したヘッド部の位置に基づき、掃除対象領域内における、掃除機による掃除済みの領域を判別する領域判別部と、領域判別部が決定した掃除済みの領域に基づき、掃除対象領域に投射させるための投射画像を作成する投射画像作成部とを備えたものである。
この発明によれば、ヘッドマウントディスプレイを用いることなく、掃除機による掃除済み領域を、ユーザが視認可能な掃除対象領域と対応付けて提示することができる。
この実施の形態1において、ユーザが操作する掃除機の構成の一例を説明する図である。 この発明の実施の形態1に係る掃除支援装置を備えた掃除支援システムの構成図である。 この発明の実施の形態1に係る掃除支援装置の動作を説明するフローチャートである。 この実施の形態1において、プロジェクタが、投射画像作成部が出力した投射画像を床に投射したイメージの一例を示す図である。 図5A,図5Bは、この発明の実施の形態1に係る掃除支援装置のハードウェア構成の一例を示す図である。 実施の形態1において、掃除対象領域の床に投射画像を投射するプロジェクタを複数台設置した掃除支援システムの構成の一例を説明するための図である。 実施の形態1において、投射範囲を広くするためのレンズを設けたプロジェクタを備えた掃除支援システムの構成の一例を説明するための図である。 この発明の実施の形態2に係る掃除支援装置を備えた掃除支援システムの構成図である。 実施の形態2において、カメラは固定され、プロジェクタが、移動可能に設置される掃除支援システムの構成の一例を説明するための図である。 この発明の実施の形態2において、プロジェクタが掃除機に固定される場合の、掃除支援装置の動作を説明するフローチャートである。 実施の形態2において、カメラおよびプロジェクタが、移動可能に設置される掃除支援システムの構成の一例を説明するための図である。 この発明の実施の形態3に係る掃除支援装置を備えた掃除支援システムの構成図である。 実施の形態3において、カメラを、掃除機に取り外し可能に設置された携帯端末に搭載されたカメラとした場合のイメージの一例を示す図である。 実施の形態3において、カメラを、掃除対象領域を含む空間となる部屋に設置されたPC(Personal Computer)、テレビ等の装置が備えるカメラとした場合のイメージの一例を示す図である。
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態1.
この実施の形態1に係る掃除支援装置1は、ユーザが手動で掃除機を操作しながら、部屋の床等を掃除する場合に、掃除済みの領域をユーザに提示するものである。
また、掃除が行われる対象となる領域を、掃除対象領域というものとする。掃除対象領域は、床、棚の上、または、壁等、ユーザが掃除機を操作して掃除する対象となるあらゆる領域を含んでもよい。ここでは、一例として、床を掃除対象領域とするものとして以下説明する。
図1は、この実施の形態1において、ユーザが操作する掃除機10の構成の一例を説明する図である。
図1に示すように、掃除機10は、掃除機本体100と、吸引ホース101と、取っ手102と、継手管103と、ヘッド部104と、操作部105と、制御回路106とを備える。
掃除機本体100は、集塵室1001と、吸引駆動部1002とを備え、吸引駆動部1002の駆動により、塵埃またはごみ等をヘッド部104から吸引して集塵室1001に捕集する機能を有している。掃除機本体100は、下部にローラ1003を備える。
集塵室1001は、吸引ホース101に連結され、取っ手102は、吸引ホース101の掃除機本体100とは反対側に結合されている。さらに、取っ手102の吸引ホース101との連結側とは反対側には継手管103が結合されている。
継手管103の先端側には、ヘッド部104が設けられる。
取っ手102には、操作部105および制御回路106が設けられている。操作部105は、複数個のキーボタン(図示省略)を含む。ユーザは、取っ手102を持って掃除を行い、操作部105のキーボタンを操作することで、掃除機10の吸引動作の駆動、停止等を指示する。
制御回路106は、操作部105と電気的に接続されるとともに、掃除機本体100の吸引駆動部1002とも電気的に接続される。
ヘッド部104は、所定の大きさの断面積を有する吸い込み口1041を有する。
吸い込み口1041は、ヘッド部104の筐体1042における、掃除対象領域と対向する面に開口を有するように設けられる。
ユーザが操作部105を操作し、掃除機本体100の吸引駆動部1002を駆動すると、吸い込み口1041から塵埃またはごみ等が吸引され、継手管103、取っ手102、および、吸引ホース101を通じて、集塵室1001に捕集される。
ここでは、掃除対象領域における、掃除機10による掃除済みの領域を、ヘッド部104の位置に基づいて判別する。掃除済み領域の判別方法の詳細については後述する。
また、ここでは、一例として、1台の掃除機10によって、掃除対象領域が掃除されるものとして、以下説明する。
図2は、この発明の実施の形態1に係る掃除支援装置1を備えた掃除支援システムの構成図である。
掃除支援装置1は、位置情報取得装置から取得した情報に基づき、掃除対象領域における掃除機10による掃除済みの領域を示す投射画像を作成し、画像投射装置を使って、掃除対象領域に当該投射画像を投射させる。
位置情報取得装置は、掃除対象領域に対するヘッド部104の位置を検出するための情報を取得する装置であり、例えば、カメラ2である。カメラ2は、例えば、天井に設置されている。カメラ2の設置位置は、天井に限らず、少なくとも掃除対象領域を撮像可能な位置であればよい。
画像投射装置は、掃除支援装置1が作成した投射画像を掃除対象領域に投射する装置であり、例えば、プロジェクタ3である。プロジェクタ3は、例えば、天井に設置されている。プロジェクタ3の設置位置は、天井に限らず、掃除済みの領域を示す投射画像を掃除対象領域に投射可能な位置であればよい。
図2に示すように、掃除支援装置1は、キャリブレーション部11と、相対位置関係記憶部12と、位置検出部13と、位置履歴記憶部14と、領域判別部15と、投射画像作成部16と、表示規則記憶部17とを備える。投射画像作成部16は、座標変換部161を備える。
キャリブレーション部11は、キャリブレーションを行う。具体的には、キャリブレーション部11は、プロジェクタ3が、掃除対象領域である床に投射する投射画像の座標系と、カメラ2が掃除対象領域である床を含む空間を撮像する撮像画像の座標系との相対位置関係の較正を行う。以下、プロジェクタ3が投射する投射画像の座標系を表示手段座標系、カメラ2の撮像画像の座標系を位置検知座標系というものとする。
キャリブレーション部11は、例えば、プロジェクタ3が備える投射部(図示省略)から、符号化された縞模様等を投射させ、当該縞模様が投射されている投射面を、カメラ2に撮像させる。そして、キャリブレーション部11は、投射画像における測定点と、撮像画像における測定点を複数取得し、投射画像と撮像画像との間の位置の対応関係を導出する。具体的には、キャリブレーション部11は、例えば、撮像画像上の位置と投射画像上の位置との対応関係に基づき、位置検知座標系の座標を表示手段座標系の座標に変換するための座標変換パラメータを算出する。なお、これは一例に過ぎず、キャリブレーション部11は、その他の方法で座標変換パラメータを算出するものであってもよい。キャリブレーション部11は、既存のキャリブレーション技術を用いてキャリブレーションを行うようにすればよい。
座標変換パラメータは、例えば、座標系の回転と平行移動を表す4×4行列等である。なお、例えば、表示手段座標系、位置検知座標系、および、後述する対象領域座標系が平面としてよい場合には、座標変換パラメータは、3×3行列としてもよい。
また、キャリブレーション部11は、座標変換パラメータとして、例えば、座標変換対応表を作成するようにしてもよい。これらは例示に過ぎず、キャリブレーション部11は、位置検知座標系の座標を、表示手段座標系の座標に変換することができる情報を、座標変換パラメータとして設定しておくようになっていればよい。
また、キャリブレーション部11は、表示手段座標系と、実空間における掃除対象領域としての床を示す座標系についても同様に、プロジェクタ3の投射部から縞模様等を投射させ、座標変換パラメータを算出する。実空間における掃除対象領域を示す座標系を、対象領域座標系というものとする。ここでは、一例として、床を掃除対象領域としているので、以下の説明では、対象領域座標系を、床座標系として説明する。床座標系は予め決められている。
なお、ここでは、例えば、掃除対象領域の床に、床座標系に対応したマーカが付与されており、当該マーカから、床の各部の座標を特定できるようになっているものとする。
キャリブレーション部11は、算出した座標変換パラメータを、相対位置関係に関する情報として相対位置関係記憶部12に記憶させる。
当該キャリブレーション部11によるキャリブレーション処理は、例えば、掃除支援装置1の電源がONになった場合に、掃除支援装置1の制御部(図示省略)が、キャリブレーション部11に対して、キャリブレーションの実行を指示することによって実行される。あるいは、例えば、別途掃除支援装置1にキャリブレーション用のスイッチを設けるようにしてもよい。
この実施の形態1では、カメラ2およびプロジェクタ3は、例えば、天井等に固定されていることを前提としており、カメラ2の撮像画像とプロジェクタ3の投射画像との間の位置の対応関係は変わらない。この場合、掃除支援装置1の設置時のみに、キャリブレーション部11がキャリブレーション処理を行うようにしてもよい。
キャリブレーション部11は、ユーザが掃除機10を利用して掃除を行うまでにキャリブレーション処理を行うようになっていればよい。
相対位置関係記憶部12は、キャリブレーション部11が算出した相対位置関係に関する情報を記憶する。
位置検出部13は、掃除対象領域に対するヘッド部104の位置等を検出する。位置検出部13は、カメラ2から撮像画像を取得し、既存の画像処理技術を用いてヘッド部104の位置等を検出すればよい。
位置検出部13は、ヘッド部104の位置を、例えば、ヘッド部104の筐体1042の中心位置としてもよいし、筐体1042の対角の2点の位置としてもよいし、筐体1042の四隅の位置としてもよい。これに限らず、どの点をヘッド部104の位置とするかが予め設定され、位置検出部13は、当該設定された位置をヘッド部104の位置として検出するようにすればよい。
また、位置検出部13は、少なくとも掃除対象領域に対するヘッド部104の位置を検出するようになっていればよいが、ヘッド部104の位置のほか、例えば、既存の画像処理技術を用いて、ヘッド部104の大きさ、あるいは、方向を検出するようにしてもよい。
位置検出部13は、ヘッド部104の位置等を検出し、ヘッド部104の位置情報として、取得日時の情報とともに、位置履歴記憶部14に記憶させる。ヘッド部104の位置情報は、位置検知座標系であらわされる。取得日時の情報は、例えば、位置検出部13が、カメラ2から撮像画像を取得した日時とすればよく、当該取得日時の情報が、位置履歴記憶部14に記憶されているヘッド部104の位置情報を特定できる情報となっていればよい。
位置検出部13は、ユーザによって掃除機10の操作が開始されると、カメラ2から撮像画像を取得し、取得した撮像画像からヘッド部104の位置等を検出して、ヘッド部104の位置情報を位置履歴記憶部14に記憶させる。
位置検出部13は、ユーザにより掃除機10の操作が開始されたかどうかを、掃除支援装置1が備える入力受付部(図2においては図示省略)が掃除機10の操作部105から制御回路106を介して吸引動作の駆動が指示された等の操作開始指示情報を受け付けたことにより判断すればよい。例えば、ユーザが掃除機10の操作部105の操作により吸引動作の駆動を指示すると、掃除機10の制御回路106を介して、掃除支援装置1の入力受付部が当該掃除機10の吸引動作の駆動が指示された旨の操作開始指情報を受け付け、当該情報を位置検出部13に出力する。なお、これは一例に過ぎず、位置検出部13は、例えば、ユーザが掃除機10の操作部105の操作により吸引動作の駆動を指示した際のランプの点滅を検知することで、ユーザにより掃除機10の操作が開始されたかどうかを判断してもよく、位置検出部13は、適宜の方法で、ユーザにより掃除機10の操作が開始されたかどうかを判断すればよい。
位置履歴記憶部14は、位置検出部13が取得した、ヘッド部104の位置情報の履歴を、取得日時の情報とともに、記憶する。
領域判別部15は、位置検出部13が検出したヘッド部104の位置に基づき、掃除対象領域内における、掃除機10による掃除済みの領域を判別する。
具体的には、領域判別部15は、掃除対象領域の掃除を開始するためのユーザによる掃除機10の操作が開始されると、ヘッド部104の位置情報を、順次、位置履歴記憶部14から取得する。そして、領域判別部15は、ヘッド部104の位置の移動軌跡を、掃除対象領域内における、掃除機10による掃除済みの領域として判別する。掃除済みの領域を示す座標は、位置検知座標系である。
なお、例えば、位置検出部13が、ヘッド部104の位置情報として、掃除機10のヘッド部104の大きさを検出している場合には、領域判別部15は、当該掃除機10のヘッド部104の大きさと位置から求められる移動範囲を、掃除対象領域内における、掃除機10による掃除済みの領域と判別するようにしてもよい。
領域判別部15は、掃除機10の操作が開始されて以降の情報であるかどうかを、例えば、ヘッド部104の位置情報と紐付けられて記憶されている取得日時と、入力受付部から取得した操作開始指示の受付日時とから判断するようにすればよい。
また、領域判別部15は、ヘッド部104の移動軌跡を、ヘッド部104の位置情報に含まれている、ヘッド部104の位置と日時情報等とから判別すればよい。ヘッド部104の移動範囲を掃除済みの領域と判別する場合は、領域判別部15は、例えば、ヘッド部104の位置情報に含まれている、掃除機のヘッド部104の大きさと日時情報等とから判別すればよい。
このように、領域判別部15は、ヘッド部104の位置が通過した軌跡等に基づき、掃除済みの領域を判別する。
領域判別部15は、判別した掃除済みの領域の座標を、投射画像作成部16に出力する。
投射画像作成部16は、掃除対象領域である床に投射させるための、領域判別部15が判別した掃除済みの領域を示す投射画像を作成する。
投射画像作成部16は、相対位置関係記憶部12に相対位置関係に関する情報として記憶された座標変換パラメータに基づき、領域判別部15から出力された掃除済みの領域の座標を、位置検知座標系から表示手段座標系に変換する座標変換部161を備える。具体的には、例えば、座標変換部161は、位置検知座標系で示された掃除済みの領域の座標に、回転と平行を表す4×4行列として算出された座標変換パラメータをかけることで、表示手段座標系の座標への変換を行う。
投射画像作成部16は、座標変換部161が表示手段座標系に変換した後の掃除済みの領域を示す座標と、相対位置関係記憶部12に記憶されている表示手段座標系と床座標系との相対位置関係に関する情報とに基づき、表示規則記憶部17に記憶されている規則に則って、プロジェクタ3から掃除対象領域である床に投射させるための、掃除済みの領域を示す投射画像を作成する。なお、例えば、座標変換パラメータが、座標変換対応表として作成され記憶されている場合、座標変換部161は、当該座標変換対応表に存在しない中間点については、座標変換対応表で記憶されている座標と座標変換パラメータとの対応関係に基づき補完するようにすればよい。
投射画像作成部16は、プロジェクタ3に対して投射画像を出力し、プロジェクタ3から当該投射画像を投射させる。
投射画像作成部16は、作成した投射画像を、投射日時の情報とともに、画像履歴記憶部(図示省略)に履歴として記憶させるようにしてもよい。投射日時の情報とは、例えば、投射画像作成部16が、プロジェクタ3に対して投射画像を出力した日時とすればよく、当該投射日時の情報が、画像履歴記憶部に履歴として記憶されている投射画像を特定できる情報となっていればよい。
プロジェクタ3は、投射画像作成部16が出力した投射画像を、掃除対象領域である床に投射する。これにより、掃除済みの領域を示す画像が掃除対象領域に投射されてユーザに提示されるようになる。
表示規則記憶部17には、プロジェクタ3に投射させる投射画像を作成する際の規則が、予め設定され、記憶されている。投射画像作成部16は、表示規則記憶部17に記憶された規則に則って、掃除済みの領域を示す画像が掃除対象領域に投射されるよう、投射画像を作成する。
表示規則記憶部17には、具体的には、例えば、青色でヘッド部104の移動軌跡に沿った方向と直角に幅20cmで塗りつぶす、という規則が記憶されている。この場合、投射画像作成部16は、領域判別部15が判別した掃除済みの領域、すなわち、ヘッド部104の位置の移動軌跡と直角に幅20cmで塗りつぶした領域を示す投射画像を、掃除済みの領域を示す画像として作成することになる。
また、例えば、領域判別部15が、掃除機10のヘッド部104の移動範囲を掃除済みの領域と判別するような場合、表示規則記憶部17には、赤色で移動範囲を塗りつぶす、という規則が記憶されているようにしてもよい。この場合、投射画像作成部16は、領域判別部15が判別した掃除済みの領域、すなわち、掃除機10のヘッド部104の移動範囲を赤色で塗りつぶす投射画像を、掃除済みの領域を示す画像として作成することになる。
なお、上述した例は一例に過ぎず、表示規則記憶部17には、例えば、投射画像の色、ヘッド部104の位置を中心とした投射範囲等、投射画像作成部16が当該表示規則記憶部17に記憶された規則に則って作成した投射画像が床に投射された際に、ユーザが、掃除済みの領域を認識できる投射画像になるような規則が記憶されていればよい。表示規則記憶部17に記憶されている規則は、予め、ユーザ等によって適宜設定可能である。
なお、ここでは、掃除支援装置1の投射画像作成部16が座標変換部161を備えるようにしたが、投射画像作成部16が座標変換部161を備えず、位置検出部13が、ヘッド部104の位置情報を位置履歴記憶部14に記憶させる際に、相対位置関係記憶部12に記憶された相対位置関係に基づき、位置検知座標系から表示手段座標系へ、ヘッド部104の位置情報を変換して記憶させるようにしてもよい。
また、ここでは、図2に示すように、掃除支援装置1が、相対位置関係記憶部12と、位置履歴記憶部14と、表示規則記憶部17と、画像履歴記憶部(図示省略)とを備えるものとしたが、これに限らず、相対位置関係記憶部12と、位置履歴記憶部14と、表示規則記憶部17と、画像履歴記憶部とは、掃除支援装置1の外部に備えるようにしてもよく、掃除支援装置1が参照可能な場所に備えられていればよい。
この発明の実施の形態1に係る掃除支援装置1の動作について説明する。
図3は、この発明の実施の形態1に係る掃除支援装置1の動作を説明するフローチャートである。
キャリブレーション部11は、キャリブレーションを行う。キャリブレーション処理は、例えば、掃除支援装置1の電源がONになった場合に、掃除支援装置1の制御部(図示省略)が、キャリブレーション部11に対して、キャリブレーションの実行を制御することによって行われる。なお、上述のとおり、この実施の形態1では、カメラ2およびプロジェクタ3は、固定されていることを前提としているので、掃除支援装置1の設置時に、キャリブレーション部11がキャリブレーション処理を行うようにしてもよい。
キャリブレーション部11は、表示手段座標系と、位置検知座標系との対応付けを行う(ステップST301)。
また、ステップST301において、キャリブレーション部11は、表示手段座標系と、床座標系についても同様に、座標変換パラメータを算出する。
キャリブレーション部11は、算出した各座標変換パラメータを、相対位置関係に関する情報として相対位置関係記憶部12に記憶させる。
位置検出部13は、ユーザによって掃除機10の操作が開始されるまで待機し(ステップST302の“NO”の場合)、ユーザによって掃除機10の操作が開始されると(ステップST302の“YES”の場合)、カメラ2から撮像画像を取得し、取得した撮像画像からヘッド部104の位置等を検出して、ヘッド部104の位置情報を位置履歴記憶部14に記憶させる(ステップST303)。
ステップST303において、位置検出部13は、検出したヘッド部104の位置等の情報を、取得日時の情報ともに、ヘッド部104の位置情報として位置履歴記憶部14に記憶させる。すなわち、ヘッド部104の位置情報には、ヘッド部104の位置等の情報と取得日時の情報が含まれている。
領域判別部15は、掃除機10の操作が開始されると、位置検出部13が位置履歴記憶部14に記憶させたヘッド部104の位置情報を、順次取得し、掃除対象領域内における、掃除機10による掃除済みの領域として判別する(ステップST304)。
領域判別部15は、判別した掃除済みの領域の座標を、投射画像作成部16に出力する。
投射画像作成部16の座標変換部161は、相対位置関係記憶部12に相対位置関係に関する情報として記憶された座標変換パラメータに基づき、領域判別部15から出力された掃除済みの領域の座標を、位置検知座標系から表示手段座標系に変換する(ステップST305)。
投射画像作成部16は、座標変換部161が表示手段座標系に変換した後の掃除済みの領域を示す座標と、相対位置関係記憶部12に表示手段座標系と床座標系との相対位置関係の情報として記憶された座標変換パラメータに基づき、表示規則記憶部17に記憶されている規則に則って、プロジェクタ3から床に投射させる投射画像を作成する(ステップST306)。
投射画像作成部16は、プロジェクタ3に投射画像を出力し、プロジェクタ3から当該投射画像を投射させる。
投射画像作成部16は、作成した投射画像を、投射日時の情報とともに、画像履歴記憶部に履歴として記憶させるようにしてもよい。
プロジェクタ3は、投射画像作成部16が出力した投射画像を床に投射する。これにより、掃除済みの領域を示す画像が掃除対象領域である床に投射されてユーザに提示されるようになる。
図4は、この実施の形態1において、プロジェクタ3が、投射画像作成部16が出力した投射画像を床に投射したイメージの一例を示す図である。
図4に示すように、掃除機10による掃除済みの領域(図4のf)が、予め決められた規則に則って作成された投射画像として、床に投射されるようになる。なお、図4では、掃除済みの領域は、グレーで示しているが、掃除済みの領域を示す色は、グレー以外の色であってもよく、掃除済みの領域がわかるようになっていればよい。
位置検出部13は、掃除機10の操作が終了したかどうかを判定し(ステップST307)、操作が終了していない場合(ステップST307の“NO”の場合)は、ステップST303に戻り、以降の処理を繰り返す。これによって、ユーザが掃除機10を操作している間、継続的に、リアルタイムで、掃除済みの領域を床に投射させるようにすることができる。
操作が終了した場合(ステップST307の“YES”の場合)は、処理終了する。
ここで判断する操作の終了とは、一連の掃除動作の終了をいう。位置検出部13は、例えば、掃除機10の操作部105の操作により吸引動作の停止が指示された等の情報と、一定時間吸引動作の停止の状態が継続した、あるいは、日付が変わった等の情報とに基づき、一連の掃除動作が終了したかどうかを判定する。
図5A,図5Bは、この発明の実施の形態1に係る掃除支援装置1のハードウェア構成の一例を示す図である。
この発明の実施の形態1において、キャリブレーション部11と、位置検出部13と、領域判別部15と、投射画像作成部16の各機能は、処理回路501により実現される。すなわち、掃除支援装置1は、取得した画像に基づき掃除機10のヘッド部104を検出し、掃除機10による掃除済み領域を、プロジェクタ3に投射させる制御を行うための処理回路501を備える。
処理回路501は、図5Aに示すように専用のハードウェアであっても、図5Bに示すようにメモリ504に格納されるプログラムを実行するCPU(Central Processing Unit)505であってもよい。
処理回路501が専用のハードウェアである場合、処理回路501は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、またはこれらを組み合わせたものが該当する。
処理回路501がCPU505の場合、キャリブレーション部11と、位置検出部13と、領域判別部15と、投射画像作成部16の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、キャリブレーション部11と、位置検出部13と、領域判別部15と、投射画像作成部16は、HDD(Hard Disk Drive)502、メモリ504等に記憶されたプログラムを実行するCPU505、システムLSI(Large−Scale Integration)等の処理回路により実現される。また、HDD502、メモリ504等に記憶されたプログラムは、キャリブレーション部11と、位置検出部13と、領域判別部15と、投射画像作成部16の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ504とは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)等が該当する。
なお、キャリブレーション部11と、位置検出部13と、領域判別部15と、投射画像作成部16の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、キャリブレーション部11については専用のハードウェアとしての処理回路501でその機能を実現し、位置検出部13と、領域判別部15と、投射画像作成部16については処理回路がメモリ504に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
相対位置関係記憶部12と、位置履歴記憶部14と、表示規則記憶部17と、画像履歴記憶部(図示省略)は、例えば、HDD502を使用する。なお、これは一例にすぎず、相対位置関係記憶部12と、位置履歴記憶部14と、表示規則記憶部17は、DVD、メモリ504等によって構成されるものであってもよい。
また、掃除支援装置1は、カメラ2、プロジェクタ3等の外部機器との通信を行う通信I/F装置503を有する。例えば、キャリブレーション部11、あるいは、位置検出部13は、カメラ2が撮像した映像を、通信I/F装置503を利用して、カメラ2から取得する。また、例えば、投射画像作成部16は、作成した投射画像を、通信I/F装置503を利用して、プロジェクタ3に出力する。
なお、この実施の形態1では、表示手段座標系と床座標系との座標変換パラメータを算出し、投射画像の作成に利用しているが、この実施の形態1のように、プロジェクタ3が固定されており、例えば、床が平面であるような場合には、設置時に、プロジェクタ3の台形調整等を行うのみで床に投影画像を常にきれいに投影することができる。よって、このような場合においては、表示手段座標系と床座標系との相対位置関係は考慮せず、表示手段座標系に変換後の掃除済みの領域を示す座標と、表示規則記憶部17に記憶されている規則に則って、投射画像を作成するようにしてもよい。
ただし、表示手段座標系と対象領域座標系との変換パラメータを算出して投射画像の作成に利用すると、複雑な形状の掃除対象領域に対する投射を行うことができるので、表示手段座標系と対象領域座標系との相対位置関係を考慮して投射画像を作成することが好ましい。
また、以上の説明では、図2に示すように、掃除支援システムにおいて、プロジェクタ3は1台設置されるものとしたが、これに限らず、掃除対象領域である床に投射画像を投射するプロジェクタ3は複数台設置されるようにしてもよい(図6参照)。
掃除済み領域を示す投射画像を、複数のプロジェクタ3によって異なる方向から投射させるようにすることで、遮蔽物による影響を少なくできる。また、投射範囲を広くすることができる。
複数台のプロジェクタ3の設置位置は固定されており、それぞれ異なる方向から床に投射画像を投射するものとする。
この場合、キャリブレーション部11は、キャリブレーションにおいて、複数台のプロジェクタ3のそれぞれについて、順次、例えば縞模様を投射させている状態で、カメラ2に投射面を撮像させて、各プロジェクタ3について、プロジェクタ3が床に投射させる投射画像の表示手段座標系と、カメラ2が掃除対象領域を撮像する撮像画像の位置検知座標系との対応付けを行って座標変換パラメータを算出し、相対位置関係に関する情報として相対位置関係記憶部12に記憶させるようにする。同様に、キャリブレーション部11は、各プロジェクタ3について、表示手段座標系と床座標系との相対位置関係を導出する。
また、キャリブレーション部11は、キャリブレーションにおいて、例えば、複数台のプロジェクタ3が床に投射画像を投射させる範囲の重なり、レンズによるひずみまたはぼけ、光量の差等に関する情報を取得し、あわせて、相対位置関係記憶部12に記憶させるようにする。
投射画像作成部16の座標変換部161は、位置履歴記憶部14に記憶されたヘッド部104の位置情報から、掃除済みの領域の座標が、複数台のプロジェクタ3のうち、どのプロジェクタ3が投射画像を投射させる範囲内にあるかを計算し、投射の範囲内にあると判断されたプロジェクタ3に対応させて、掃除済みの領域の座標について、位置検知座標系から表示手段座標系への変換を行う。
投射画像作成部16は、各プロジェクタ3が投射画像を投射させる範囲の重なり等を考慮し、各プロジェクタ3について、床に投射させる投射画像を作成する。
投射画像作成部16は、投射画像を作成する際、複数台のプロジェクタ3が投射画像を投射させる範囲の重なりを、プロジェクタ3設置時の投射部の角度等を取得して判断し、あるいは、キャリブレーション結果を用いて判断し、投射画像の重なり、あるいは、色むらがないように補正をして投射画像を作成する。また、投射画像作成部16は、投射画像を作成する際、複数台のプロジェクタ3の投射画像のぼけ具合を均一にする等の補正を行うようにする。
また、プロジェクタ3が備える投射部は、投射範囲を広くするためのレンズを備えるようにしてもよい(図7参照)。
投射範囲を広くするためのレンズを備えると、平面の投射面が変形する。よって、キャリブレーション部11は、変形した投射面を床に対応付けるための情報も、相対位置関係に関する情報として相対位置関係記憶部12に記憶させるようにし、投射画像作成部16は、当該変形した投射面が床に対応するようにして投射画像を作成する。そして、投射画像作成部16は、当該相対位置関係記憶部12に記憶された相対位置関係に基づき、変形した投射面が床に対応するようにして投射画像を作成する。
このように、プロジェクタ3の投射範囲がレンズによって広くなることで、1台のプロジェクタ3でより広範囲を投射できるようになる。
プロジェクタ3を複数台設置する場合は、複数台のプロジェクタ3全ての投射部に、投射範囲を広くするためのレンズを備えるようにしてもよいし、1部のプロジェクタ3の投射部に投射範囲を広くするためのレンズを備えるようにしてもよい。
なお、この実施の形態1において、掃除支援装置1は、ユーザに対して、掃除対象領域における掃除済みの領域を、例えば、グレー等の色で提示するものとするものとした。具体的には、投射画像作成部16は、領域判別部15が判別した掃除済みの領域に基づき、掃除済みの領域をグレー等の色とした投射画像を作成し、プロジェクタ3に対して、当該投射画像を掃除対象領域に投射させるものとした。
しかし、これに限らず、例えば、掃除支援装置1は、ユーザに対して、掃除対象領域における掃除未実施の領域をグレー等の色で提示するものとしてもよい。具体的には、投射画像作成部16は、領域判別部15が判別した掃除済みの領域に基づき、掃除対象領域において当該掃除済みの領域を除く領域を掃除未実施の領域と判断し、掃除未実施の領域をグレー等の色とした投射画像を作成し、プロジェクタ3から掃除対象領域に投射させるようにしてもよい。
また、この実施の形態1において、掃除支援装置1は、掃除機10の外部に設置され、例えば、掃除機10と通信I/F装置503を介して通信し、掃除機10の駆動、停止等の制御情報等を取得するようにしてもよいし、掃除機10との間で特別な通信手段を持たなくてもよい。また、掃除支援装置1は、掃除機10に搭載されるものとしてもよい。掃除機10と掃除支援装置1の間で特別な通信手段を持たない場合は、任意の掃除機による掃除支援が可能である。また、掃除支援装置1が掃除機10と通信I/F装置503を介して通信する場合、あるいは、掃除支援装置1が掃除機10に搭載される場合は、掃除機10と連携したより高度な支援が可能となる。
以上のように、実施の形態1によれば、掃除支援装置1は、掃除対象領域に対するヘッド部104の位置を検出する位置検出部13と、位置検出部13が検出したヘッド部104の位置に基づき、掃除対象領域内における、掃除機10による掃除済みの領域を判別する領域判別部15と、領域判別部15が決定した掃除済みの領域に基づき、掃除対象領域に投射させるための投射画像を作成する投射画像作成部16とを備えるように構成したので、ヘッドマウントディスプレイを用いることなく、掃除対象領域において、例えば、掃除済みの領域を示す投射画像等、ヘッド部104の位置に基づき判別された掃除済みの領域基づく投射画像を、掃除対象領域と対応付けて投射させることができる。
また、ヘッドマウントディスプレイを介して掃除済みの領域等を提示する場合に比べ、掃除機10を操作しているユーザの視線の方向に基づいた重畳画像の表示制御等の重たい処理の実行を不要とすることができる。
また、ヘッドマウントディスプレイを介して掃除済みの領域等を提示する場合に比べ、掃除機を操作しているユーザ以外の人でも、掃除対象領域に投射された投射画像を一見して掃除済みの領域を確認することができ、掃除機を操作するユーザに対して、他の人が、掃除していない場所のアドバイス等ができるようになる。
実施の形態2.
実施の形態1では、カメラ2およびプロジェクタ3は、予め決められた位置に固定され、設置されていることを前提としていた。
この実施の形態2では、カメラ2、あるいは、プロジェクタ3が、移動可能な掃除機10等に設置される実施の形態について説明する。
なお、この実施の形態2に係る掃除支援装置1aも、実施の形態1の掃除支援装置1同様、図1を用いて説明したような構成を有する掃除機10のユーザが、手動で掃除機10を操作しながら部屋の床等を掃除する場合に、掃除済みの領域をユーザに提示するものとする。
この実施の形態2においても、掃除対象領域は床に限らず、棚の上、または、壁等、ユーザが掃除機を操作して掃除する対象となるあらゆる領域を含む。
また、この実施の形態2においても、掃除支援装置1aは、掃除機10の外部に設置されてもよいし、掃除支援装置1aは掃除機10に搭載されていてもよい。
また、掃除支援装置1aは、ユーザに対して、掃除対象領域における掃除未実施の領域をグレー等の色で提示するものとしてもよい。
図8は、この発明の実施の形態2に係る掃除支援装置1aを備えた掃除支援システムの構成図である。
図8において、実施の形態1で図2を用いて説明した掃除支援装置1と同様の構成については、同じ符号を付して重複した説明を省略する。
この実施の形態2に係る掃除支援装置1aは、実施の形態1に係る掃除支援装置1とは、キャリブレーション部11a、および、位置検出部13aの具体的な動作が異なる。
この発明の実施の形態2に係る掃除支援装置1aのハードウェア構成は、図5A,図5Bを用いて説明した実施の形態1に係る掃除支援装置1のハードウェア構成と同様であるため、重複した説明を省略する。
まず、例えば、カメラ2が、実施の形態1同様、掃除対象領域を撮像可能な位置に固定され設置されおり、プロジェクタ3が、移動可能に設置される場合を、以下説明する。ここでは、例えば、プロジェクタ3が、掃除機10に設置され、掃除機10の移動に伴い移動するものとする(図9参照)。
プロジェクタ3が、掃除機10に設置される場合の、掃除支援装置1aの動作について説明する。
図10は、この発明の実施の形態2において、プロジェクタ3が掃除機10に固定される場合の、掃除支援装置1aの動作を説明するフローチャートである。
位置検出部13aは、ユーザによって掃除機10の操作が開始されるまで待機し(ステップST1001の“NO”の場合)、ユーザによって掃除機10の操作が開始されると(ステップST1001の“YES”の場合)、カメラ2から撮像画像を取得し、取得した撮像画像から掃除機10のヘッド部104の位置、および、プロジェクタ3の位置を検出して、ヘッド部104の位置情報、プロジェクタ3に関する情報、床の座標を取得する(ステップST1002)。
ステップST1001において、位置検出部13aは、ユーザが掃除機10を操作したかどうかを、実施の形態1における位置検出部13と同様の方法によって判断すればよい。
また、この実施の形態2においても、実施の形態1同様、位置検出部13aは、少なくとも掃除対象領域に対するヘッド部104の位置を検出するようになっていればよいが、当該ヘッド部104の位置のほか、例えば、既存の画像処理技術を用いて、掃除機10のヘッド部104の大きさ、あるいは、方向を検出するようにしてもよい。
また、ステップST1002において、位置検出部13aが取得する、プロジェクタ3に関する情報とは、例えば、プロジェクタ3の位置および方向に関する情報である。
位置検出部13aは、既存の画像処理技術を用いてヘッド部104の位置およびプロジェクタ3の位置を検出すればよい。
位置検出部13aは、ヘッド部104の位置情報、および、プロジェクタ3に関する情報を、位置履歴記憶部14に記憶させる。
ヘッド部104の位置情報およびプロジェクタ3に関する情報は、位置検知座標系であらわされる。
キャリブレーション部11aは、位置履歴記憶部14を参照し、ステップST1002において位置検出部13aが記憶させたヘッド部104の位置情報とプロジェクタ3に関する情報に基づき、キャリブレーションを行う。具体的には、表示手段座標系と位置検知座標系との対応付けを行い、変換パラメータを算出する(ステップST1003)。
実施の形態1では、プロジェクタ3の設置位置が固定されていたため、キャリブレーション部11は、ユーザが掃除機10を操作して掃除を行うまでに、表示手段座標系と位置検知座標系との対応付けを行うことができた。
しかし、プロジェクタ3が、移動可能に設置される場合、プロジェクタ3が床に投射させる投射画像の範囲も変化するため、ユーザが掃除機10を操作して掃除を行うまでに、予め表示手段座標系と位置検知座標系の対応付けを行うことができない。
そこで、この実施の形態2では、キャリブレーション部11aは、位置検出部13aが掃除機10の移動に応じてその都度検出して記憶させている、ヘッド部104の位置情報とプロジェクタ3に関する情報とに基づき、表示手段座標系と位置検知座標系のキャリブレーションを行う。
キャリブレーションの方法は、例えば、カメラ2の撮像画像上の複数点と、プロジェクタ3の投射画像の投射範囲内の複数点との間の位置の対応関係を導出する等、キャリブレーション部11aは、既存のキャリブレーション技術を用いてキャリブレーションを行うようにすればよい。
キャリブレーション部11aは、例えば、座標系の回転と平行移動を表す4×4行列等、撮像画像上の位置と投射画像上の位置とに基づく座標変換パラメータを算出して相対位置関係に関する情報とする。
また、キャリブレーション部11aは、表示手段座標系と床座標系についても同様に、座標変換パラメータを算出する。
なお、床の座標については、例えば、掃除対象領域の床に、床座標系に対応したマーカが付与されており、当該マーカから、床の座標を特定できるようになっているものとする。
キャリブレーション部11aは、算出した座標変換パラメータを、相対位置関係に関する情報として相対位置関係記憶部12に記憶させる。
領域判別部15は、掃除機10の操作が開始されると、位置検出部13aが位置履歴記憶部14に記憶させたヘッド部104の位置情報を、順次取得し、ヘッド部104の位置の移動軌跡を、掃除対象領域内における、掃除機10による掃除済みの領域として判別する(ステップST1004)。具体的な動作は、実施の形態1で説明した図3のステップST304と同様である。
位置検出部13aが、ヘッド部104の位置情報として、掃除機10のヘッド部104の大きさを検出している場合には、領域判別部15は、当該掃除機10のヘッド部104の移動範囲を、掃除対象領域内における、掃除機10による掃除済みの領域と判別するようにしてもよい。
領域判別部15は、判別した掃除済みの領域の座標を、投射画像作成部16に出力する。
投射画像作成部16の座標変換部161は、相対位置関係記憶部12に記憶された相対位置関係に関する情報に基づき、領域判別部15から出力された掃除済みの領域の座標を、位置検知座標系から表示手段座標系に変換する(ステップST1005)。具体的な動作は、実施の形態1で説明した図3のステップST305と同様である。
投射画像作成部16は、座標変換部161が表示手段座標系に変換した後の掃除済みの領域を示す座標と、相対位置関係記憶部12に記憶されている表示手段座標系と床座標系との相対位置関係の情報とに基づき、表示規則記憶部17に記憶されている規則に則って、プロジェクタ3に対して床に投射させる投射画像を作成する(ステップST1006)。具体的な動作は、実施の形態1で説明した図3のステップST306と同様である。なお、実施の形態1では、表示手段座標系と床座標系との相対位置関係は変わらない場合には、表示手段座標系と床座標系との相対位置関係は考慮しないようにしてもよいこととしたが、この実施の形態2では、表示手段座標系と床座標系との相対位置関係は変化するため、表示手段座標系と床座標系との相対位置関係に基づいて投射画像を作成する必要がある。
投射画像作成部16は、プロジェクタ3に対して、作成した投射画像を投射させる。
投射画像作成部16は、作成した投射画像を、投射日時の情報とともに、画像履歴記憶部に履歴として記憶させるようにしてもよい。
プロジェクタ3は、投射画像作成部16からの指示を受けて、投射画像作成部16が出力した投射画像を床に投射する。これにより、掃除機10によって掃除済みの領域を示す画像が掃除対象領域である床に投射されてユーザに提示されるようになる。
位置検出部13aは、掃除機10の操作が終了したかどうかを判定し(ステップST1007)、操作が終了していない場合(ステップST1007の“NO”の場合)は、ステップST1002に戻り、以降の処理を繰り返す。
操作が終了した場合(ステップST1007の“YES”の場合)は、処理終了する。
このように、プロジェクタ3が掃除機10に取り付けられ、移動する場合でも、掃除済みの領域を示す画像を床に投射させて表示させるようにすることができる。
また、プロジェクタ3は、掃除対象領域を含む空間の、ある位置に固定されず、掃除機10に取り付けられて移動可能であるので、プロジェクタ3を、部屋を跨いで移動させることができる。これにより、プロジェクタ3を各掃除対象領域に最低1台配置させる必要がなくなる。
なお、以上の説明では、プロジェクタ3が掃除機10に1台取り付けられるものを想定したが、これに限らず、プロジェクタ3が複数台、掃除機10に取り付けられるようにしてもよい。
また、例えば、プロジェクタ3に加えて、カメラ2も掃除機10に設置され、掃除機10の移動に伴い移動する場合であっても(図11参照)、掃除済みの領域を示す画像を床に投射させて表示させることができるので、以下説明する。
この場合、カメラ2もプロジェクタ3も掃除機10に固定されているため、表示手段座標系と位置検知座標系の対応関係は固定されて変わらない。
よって、キャリブレーション部11aは、表示手段座標系と位置検知座標系については、図10を用いて説明したように、掃除機10の移動に応じてその都度キャリブレーション処理を行わなくても、掃除機10の操作があった時点で一度キャリブレーション処理を行えばよい。
これに対し、表示手段座標系と床座標系の対応関係は、プロジェクタ3の移動、すなわち、掃除機10の移動に伴って変わる。
したがって、キャリブレーション部11aは、図10で説明したように、位置検出部13aが掃除機10の移動に応じてヘッド部104の位置およびプロジェクタ3を検出する都度、表示手段座標系と床座標系のキャリブレーションを行い、座標変換パラメータを算出し、相対位置関係に関する情報を相対位置関係記憶部12に記憶させる。
以上のようにしても、掃除機10によって掃除済みの領域を掃除対象領域である床に投射させて表示させるようにすることができる。
以上のように、実施の形態2によれば、掃除対象領域において、例えば、掃除済みの領域を示す投射画像等、ヘッド部104の位置に基づき判別された掃除済みの領域基づく投射画像を、掃除対象領域と対応付けて投射させることができる。
また、プロジェクタ3、あるいは、カメラ2を、部屋を跨いで移動させることができる。これにより、プロジェクタ3、あるいは、カメラ2を、各掃除対象領域に少なくとも1台配置させる必要がなくなる。
実施の形態3.
実施の形態1,2では、掃除支援装置1は、掃除済みの領域を示す投射画像を、掃除対象領域である実空間の床に投射させるようにしていた。この実施の形態3では、掃除支援装置1は、掃除済みの領域を示す投射画像を実空間の床に投射させることに加え、掃除機10を操作している操作者等が視認可能な表示部に、掃除済みの領域を示す画像を表示させる実施の形態について説明する。
なお、この実施の形態3においても、掃除対象領域は床に限らず、棚の上、または、壁等、ユーザが掃除機を操作して掃除する対象となるあらゆる領域を含む。
また、この実施の形態3においても、掃除支援装置1aは、掃除機10の外部に設置されてもよいし、掃除支援装置1aは掃除機10に搭載されていてもよい。
また、掃除支援装置1bは、ユーザに対して、掃除対象領域における掃除未実施の領域をグレー等の色で提示するものとしてもよい。
図12は、この発明の実施の形態3に係る掃除支援装置1bを備えた掃除支援システムの構成図である。
この実施の形態3では、図12に示すように、掃除支援装置1bは、プロジェクタ3に対して投射画像を投射させることに加え、表示部4に対して、カメラ2が撮像した掃除対象領域を含む空間の撮像画像に、掃除済みの領域を示す画像を重畳した画像を表示させるようにする。
ここで、表示部4は、例えば、スマートフォンまたはタブレット等の携帯端末のディスプレイを想定している。携帯端末は、掃除機10に取り外し自在に設置できるものとする。携帯端末は、例えば、掃除機10の操作部105に設置するようにしてもよいし、掃除機10のヘッド部104に設置するようにしてもよい。
なお、ここでは、上述のとおり、表示部4は、掃除機10に取り外し自在に設置される携帯端末が備える表示部4とするが、これに限らず、表示部4は、掃除対象領域を含む空間である部屋等に設置されたPC(Personal Computer)、または、テレビ等の装置が備えるディスプレイ等の表示部としてもよい。
図12に示す掃除支援装置1bの構成について、実施の形態1において図2を用いて説明した掃除支援装置1と同様の構成については、同じ符号を付して重複した説明を省略する。
この発明の実施の形態3に係る掃除支援装置1bは、実施の形態1の掃除支援装置1とは、重畳画像作成部18をさらに備える点のみ異なる。
重畳画像作成部18は、領域判別部15が判別した掃除済みの領域に基づく画像を作成し、当該作成した画像を、掃除対象領域を含む空間を撮像した撮像画像に重畳させた重畳画像を作成する。
具体的には、重畳画像作成部18は、領域判別部15が掃除機10による掃除済みの領域として判別した、掃除機10のヘッド部104の移動軌跡等に対応する画像を作成する。そして、重畳画像作成部18は、カメラ2から撮像画像を取得し、取得した撮像画像に、作成した、掃除機10のヘッド部104の移動軌跡等に対応する画像を重畳させた重畳画像を作成する。
重畳画像作成部18は、当該重畳画像を、携帯端末に搭載されている表示部4に表示させる。
なお、このとき、重畳画像作成部18は、カメラ2から取得した撮像画像に掃除機10のヘッド部104の移動軌跡等に対応する画像を重畳させた重畳画像を、掃除機10を操作しているユーザの視点から見た画像に変換する。具体的には、例えば、重畳画像作成部18は、既存の画像処理技術を用いて、カメラ2から取得した撮像画像からユーザの頭部を検出し、ユーザの視線方向を算出して、算出結果に基づき、作成した重畳画像をユーザの視点から見た画像に変換するようにすればよい。
また、重畳画像作成部18は、重畳画像を、表示部4のアスペクト比にあわせて拡大、または、縮小するように補正する。
重畳画像作成部18は、補正した重畳画像を、表示部4に表示させる。
この発明の実施の形態3に係る掃除支援装置1bのハードウェア構成は、実施の形態1において図5A,図5Bを用いて説明したものと同様であるため、重複した説明を省略する。
重畳画像作成部18の機能は、処理回路501により実現される。
また、カメラ2は、携帯端末に搭載されているカメラとしてもよい(図13参照)。当該携帯端末に搭載されているカメラは、撮像範囲が広角であるほどよいが、少なくとも掃除対象領域とプロジェクタ3を撮像できる範囲を撮像可能なものとする。また、上述のように、重畳画像作成部18がユーザの視点から見た重畳画像を作成する場合、カメラ2は、ユーザの頭部を撮像できる範囲を撮像可能なものとする必要がある。
この場合、カメラ2とプロジェクタ3との相対位置は、掃除機10の移動とともに変わる。
そこで、位置検出部13は、掃除機10の移動に応じてその都度、ヘッド部104の位置とプロジェクタ3を検出し、ヘッド部104の位置情報とプロジェクタ3に関する情報とを位置履歴記憶部14に記憶させる。
そして、キャリブレーション部11は、位置検出部13が掃除機10の移動に応じてその都度検出して位置履歴記憶部14に記憶させている、ヘッド部104の位置情報とプロジェクタ3に関する情報とに基づき、表示手段座標系と位置検知座標系のキャリブレーションを行う。
キャリブレーションの方法は、例えば、カメラ2の撮像画像上の複数点と、プロジェクタ3の投射画像の投射範囲内の複数点との間の位置の対応関係を導出する等、キャリブレーション部11は、既存のキャリブレーション技術を用いてキャリブレーションを行うようにすればよい。
キャリブレーション部11は、例えば、座標系の回転と平行移動を表す4×4行列等、撮像画像上の位置と投射画像上の位置とに基づく座標変換パラメータを算出して相対位置関係に関する情報とする。
また、キャリブレーション部11は、表示手段座標系と床座標系についても同様に、座標変換パラメータを算出する。
なお、床の座標については、例えば、掃除対象領域の床に、床座標系に対応したマーカが付与されており、当該マーカから、床の座標を特定できるようになっているものとする。
キャリブレーション部11は、算出した座標変換パラメータを、相対位置関係に関する情報として相対位置関係記憶部12に記憶させる。
領域判別部15は、掃除機10の操作が開始されると、位置検出部13が位置履歴記憶部14に記憶させたヘッド部104の位置情報を、順次取得し、ヘッド部104の位置の移動軌跡を、掃除対象領域内における、掃除機10による掃除済みの領域として判別する。具体的な動作は、実施の形態1で説明した図3のステップST304、実施の形態2で説明した図10のステップST1004と同様である。
位置検出部13が、ヘッド部104の位置情報として、掃除機10のヘッド部104の大きさを検出している場合には、領域判別部15は、当該掃除機10のヘッド部104の移動範囲を、掃除対象領域内における、掃除機10による掃除済みの領域と判別するようにしてもよい。
投射画像作成部16の座標変換部161は、相対位置関係記憶部12に記憶された相対位置関係に関する情報に基づき、領域判別部15から出力された掃除済みの領域の座標を、位置検知座標系から表示手段座標系に変換する。具体的な動作は、実施の形態1で説明した図3のステップST305、実施の形態2で説明した図10のステップST1005と同様である。
投射画像作成部16は、座標変換部161が表示手段座標系に変換した後の掃除済みの領域を示す座標と、相対位置関係記憶部12に記憶されている表示手段座標系と床座標系との相対位置関係の情報とに基づき、表示規則記憶部17に記憶されている規則に則って、プロジェクタ3に対して床に投射させる投射画像を作成する。具体的な動作は、実施の形態1で説明した図3のステップST306、実施の形態2で説明した図10のステップST1006と同様である。なお、実施の形態1では、表示手段座標系と床座標系との相対位置関係は変わらない場合には、表示手段座標系と床座標系との相対位置関係は考慮しないようにしてもよいこととしたが、この実施の形態3では、表示手段座標系と床座標系との相対位置関係は変化するため、表示手段座標系と床座標系との相対位置関係に基づいて投射画像を作成する必要がある。
投射画像作成部16は、プロジェクタ3に対して、作成した投射画像を投射させる。
投射画像作成部16は、作成した投射画像を、投射日時の情報とともに、画像履歴記憶部に履歴として記憶させるようにしてもよい。
プロジェクタ3は、投射画像作成部16が出力した投射画像を床に投射する。これにより、掃除機10によって掃除済みの領域を示す画像が掃除対象領域である床に投射されてユーザに提示されるようになる。
また、重畳画像作成部18は、領域判別部15が判別した掃除済みの領域に対応する画像を作成する。そして、重畳画像作成部18は、携帯端末に搭載されているカメラから撮像画像を取得し、取得した撮像画像に、作成した、掃除済みの領域に対応する画像を重畳させた重畳画像を作成する。
重畳画像作成部18は、当該重畳画像を、携帯端末に搭載されている表示部4に表示させる。
このとき、重畳画像作成部18は、携帯端末に搭載されているカメラから取得した撮像画像に掃除済みの領域に対応する画像を重畳させた重畳画像を、ユーザの視点から見た画像に変換する。具体的には、例えば、重畳画像作成部18は、既存の画像処理技術を用いて、カメラから取得した撮像画像からユーザの頭部を検出し、ユーザの視線方向を算出して、算出結果に基づき、作成した重畳画像をユーザの視点から見た画像に変換するようにすればよい。
重畳画像作成部18は、ユーザの視点から見た画像に変換した重畳画像を、表示部4に表示させる。
このように、カメラ2を携帯端末に搭載されているカメラとする場合、既存の携帯端末のカメラを利用することができ、掃除対象領域を撮像するカメラ2の設置を不要とすることができる。また、重畳画像作成部18は、重畳画像を、表示部4のアスペクト比にあわせて拡大、縮小する処理も不要とすることができる。
なお、上記の説明では、図13で示すように、カメラ2を、携帯端末に搭載されているカメラとしてもよい旨説明したが、これに限らず、例えば、カメラ2を、掃除対象領域となる部屋に設置されたPC、テレビ等の装置が備えるカメラ2とし、当該PC、テレビ等の装置が備える表示部4に、重畳画像作成部18が作成した重畳画像を表示させるようにしてもよい(図14参照)。
この場合、カメラ2もプロジェクタ3も固定されているため、表示手段座標系と位置検知座標系の対応関係は固定されて変わらない。
よって、キャリブレーション部11は、表示手段座標系と位置検知座標系については、上述の、カメラ2を携帯端末に搭載されているカメラとした場合とは異なり、掃除機10の移動に応じてその都度キャリブレーション処理を行う必要はなく、カメラ設置時点、ユーザからの指示があった時点、あるいは、掃除支援装置1の電源が入った時点等、掃除が行われるまでのタイミングで一度、キャリブレーション処理を行えばよい。
また、プロジェクタ3は固定されているため、表示手段座標系と床座標系の対応関係も固定されて変わらない。
よって、キャリブレーション部11は、表示手段座標系と床座標系についても、カメラ設置時点、ユーザからの指示があった時点、あるいは、掃除支援装置1の電源が入った時点等、掃除が行われるまでのタイミングで一度、キャリブレーション処理を行えばよい。
この場合のキャリブレーション部11によるキャリブレーション処理の具体的な動作は、実施の形態1で説明したキャリブレーション部11の動作と同様であるため、重複した説明を省略する。
重畳画像作成部18は、領域判別部15が判別した掃除済みの領域に対応する画像を作成する。そして、重畳画像作成部18は、PCまたはテレビ等の装置に搭載されているカメラから撮像画像を取得し、取得した、掃除済みの領域に対応する画像を重畳させた重畳画像を作成する。
重畳画像作成部18は、当該重畳画像を、PCまたはテレビ等の装置に搭載されている表示部4に表示させる。
PCまたはテレビ等の装置が搭載している表示部4に重畳画像を表示させる際、重畳画像作成部18は、ユーザから見て表示部4に表示される重畳画像が、鏡に映る画像のように表示されるよう、重畳画像を、反転させて表示部4に表示させるように補正する。
また、重畳画像作成部18は、重畳画像を、表示部4のアスペクト比にあわせて拡大または縮小するように補正する。
重畳画像作成部18は、補正した重畳画像を、PCまたはテレビ等の装置に搭載されている表示部4に表示させる。
このように、カメラ2を、部屋等に設置されているPCまたはテレビ等の装置が搭載しているカメラとする場合も、既存の装置が備えるカメラを利用することができ、掃除対象領域を撮像するカメラ2の設置を不要とすることができる。
また、重畳画像作成部18は、重畳画像を、ユーザから見て、鏡に映る画像のように表示させるようにすることで、ユーザが、より掃除状況を把握しやすくすることができる。
また、重畳画像作成部18は、PCまたはテレビ等に搭載されているカメラから取得した撮像画像に掃除済み領域に対応する画像を重畳させた重畳画像を、ユーザの視点から見た画像に変換して、PCまたはテレビ等の装置に搭載されている表示部4に表示させるようにしてもよい。具体的には、例えば、重畳画像作成部18は、既存の画像処理技術を用いて、PCまたはテレビ等に搭載されているカメラから取得した撮像画像からユーザの頭部を検出し、ユーザの視線方向を算出して、算出結果に基づき、作成した重畳画像をユーザの視点から見た画像に変換するようにすればよい。
また、この実施の形態3において、例えば、重畳画像作成部18が重畳画像を表示させる表示部4が掃除対象領域を含む空間外に存在する等、表示部4が部屋の外に設置されている場合、重畳画像作成部18は、作成した重畳画像を、通信I/F装置503を介して、外部の表示部4に表示させるようにすることができる。これにより、例えば、掃除の管理者等が、掃除対象領域を含む部屋等の空間の外からでも、掃除の状況を確認することが可能となる。
また、図12では、実施の形態1に係る掃除支援装置1をこの実施の形態3に係る掃除支援装置1に適用させた例を示したが、これに限らず、実施の形態2に係る掃除支援装置1aをこの実施の形態3に適用させるようにしてもよい。
以上のように、実施の形態3によれば、領域判別部15が判別した掃除済みの領域に基づく画像を作成し、当該作成した画像を、掃除対象領域を含む空間を撮像した撮像画像に重畳させた重畳画像を作成する重畳画像作成部18をさらに備えるようにした。このため、実施の形態3では、掃除済みの領域を示す投射画像を実空間の掃除対象領域に投射させるだけでなく、例えば、持ち運び可能な携帯端末の表示部4に、掃除対象領域の画像に掃除済みの領域等を示す画像を重畳させた重畳画像を表示させることができ、掃除機10のユーザは、実際の掃除対象領域を確認しなくても、携帯端末等の表示部4を確認すれば、掃除済みの領域等を確認できるようになる。
また、掃除対象領域を含む部屋等の空間の外で掃除の状況を確認することが可能となるため、例えば管理者等、掃除機10を操作するユーザ以外の者が、掃除対象の空間である部屋等の掃除の状況を、離れた位置から監視するようにすることができる。
なお、上記の実施の形態1〜3で説明したように、掃除対象領域において、掃除済みの領域を示す投射画像を、掃除対象領域と対応付けて投射させることに加え、当該投射画像を、ユーザが装着するARメガネに表示させるようにしてもよい。
また、上述した実施の形態1〜3で説明したように、掃除対象領域において、掃除済みの領域を示す投射画像を、掃除対象領域と対応付けて投射させることに加え、実施の形態3で重畳画像作成部18が作成するような、掃除対象領域を含む空間を撮像画像に、掃除済みの領域に基づく画像を重畳させた重畳画像を、ユーザ等が装着するVRメガネに表示させるようにしてもよい。
また、上記の実施の形態1〜3では、位置情報取得装置をカメラ2とし、位置検出部13,13aは、カメラ2から撮像画像を取得し、取得した撮像画像からヘッド部104の位置等を検出して、ヘッド部104の位置情報等を取得するようにした。しかしながら、位置検出部13,13aによるヘッド部104の位置情報の取得方法はこれに限らない。
例えば、位置情報取得装置を、キネクト等の3D距離センサとし、位置検出部13,13aは、3D距離センサから取得した掃除機10のヘッド部104の色または形状を、既存の画像認識の技術で追跡するようにしてもよい。
また、例えば、カメラ2に加え、ヘッド部104に識別部が設けられ、位置検出部13,13aが、当該識別部の情報を検知することによって、ヘッド部104の位置等を検出するようにしてもよい。識別部とは、例えば、ヘッド部104に取り付けられたARマーカ、色マーカ、または、特殊パターンで点滅するLED等であり、位置検出部13,13aは、可視光カメラで撮像された画像から、既存の画像処理技術によって当該識別部の情報を検知することで、ヘッド部104の位置等を検出可能である。
掃除機10に設けられた識別部によってヘッド部104の位置等を検出可能とすることで、ヘッド部104の位置等をより検出しやすくすることができる。特に、掃除機10が複数台存在する場合には、複雑な画像処理を行うことなく当該複数台のヘッド部104の位置を検出できるため、当該複数台の掃除機10を一度に追跡しやすくすることができる。
また、例えば、掃除対象領域、掃除機10、または、プロジェクタ3等に、位置情報取得装置として、超音波送受信センサ、wifi通信センサ、または、屋内GPS(Global Positioning System)等を複数配置し、位置検出部13,13aは、これらの位置情報取得装置から得られる情報に基づき、ヘッド部104の位置等を検出するようにしてもよい。
なお、これは一例に過ぎず、例えば、位置情報取得装置をカメラ2とし、カメラ2を掃除対象領域に複数台設置するようにしてもよい。
位置情報取得装置が1つのみだと、遮蔽物がある場合に、位置検出部13,13aは、うまく掃除機10を検出できない場合があり得るが、位置情報取得装置を複数個配置することで、位置検出部13,13aは、複数の情報に基づき掃除機10のヘッド部104の検出を行うことができる。この場合、キャリブレーション部11では、位置情報取得装置から得られる複数の情報それぞれについて、相対位置に関する情報を導出する必要がある。
また、上記の実施の形態1〜3において、カメラ2が掃除機10に設置される場合について、カメラ2は、図9等に示したように、掃除機10の操作部105周辺に設置されるイメージとしたが、掃除機10への設置位置はこれに限らない。
例えば、掃除機10のヘッド部104に、位置情報取得装置として、カメラ2あるいは3D距離センサ等を設置するようにしてもよい。掃除機10のヘッド部104に設置された位置情報取得装置からの情報に基づき、位置検出部13,13aは、部屋、すなわち、掃除対象領域の形状、あるいは、色等を追跡することで、掃除対象領域に対するヘッド部104の位置や方向を検知する。加速度センサまたは方位センサを一緒に用いるようにしてもよい。
このように、掃除機10のヘッド部104に位置情報取得装置を設置するようにしても、掃除機10の操作部105周辺に設置される場合同様、各掃除対象領域に少なくとも1台配置させる必要がなくなり、例えば、複数の部屋でも1つの位置情報取得装置で対応することが可能となる。また、位置情報取得装置の設置を簡単にすることができる。
また、掃除機10のヘッド部104に位置情報取得装置を設置するようにした場合には、掃除機10の操作部105周辺に位置情報取得装置を設置するようにした場合に比べ、位置情報取得装置と掃除機10のヘッド部104の間の遮蔽物があった場合に、掃除機10のヘッド部104を検出できないという問題も解決することができる。
また、例えば、絶対的な位置を検知する位置情報取得装置として、掃除対象領域を含む空間である部屋等の、少なくとも掃除対象領域を撮像可能な位置にカメラ2を設置し、さらに、相対的な位置を検知する位置情報取得装置として、ヘッド部104の位置に相対位置取得センサを設置するようにしてもよい。
ヘッド部104の位置に設置された相対位置取得センサは、例えば、自身がどれだけ動いたか、移動前の位置からの相対位置を検出する。
カメラ2のみを用いてヘッド部104の位置を検出する場合、例えば、カメラ2とヘッド部104との間に遮蔽物が存在する場合、当該遮蔽物に遮られて、ヘッド部104の位置を検出できないことがある。
これに対し、ヘッド部104の位置に設置された相対位置取得センサによれば、自身を見失うことはないため、遮蔽物の問題は解決する。しかしながら、相対位置取得センサは、検出される相対位置に、徐々に誤差が蓄積してしまうという問題がある。
そこで、カメラ2と相対位置取得センサをあわせて用い、掃除支援装置1,1a,1bの制御部(図示省略)で、カメラ2で撮像された撮像画像に基づき、所定の間隔で、相対位置取得センサで蓄積した誤差のリセットを行う。
このように、絶対的な位置を検知する位置情報取得装置と、相対的な位置を検知する位置情報取得装置とをあわせて用いることで、カメラ2のみでは遮蔽物によってヘッド部104の位置を検出できないという問題、および、相対位置取得センサのみでは検出した自身の相対的な位置に誤差が生じるという問題をともに解決し、位置検知精度をより高めることができる。
また、例えば、位置情報取得装置をヘッド部104の位置に設置されたカメラ2とし、予め、床全体にARマーカのような細かい模様を付与しておき、位置検出部13,13aは、カメラ2が当該細かい模様を読み取った情報を取得して、当該読み取った情報から床全体におけるヘッド部104の位置を導出することで、ヘッド部104の位置を検出するようにしてもよい。位置検出部13,13aは、床に対するヘッド部104の位置を一意に特定し、ヘッド部104の絶対位置、すなわち、床座標系であらわされる実空間における位置を取得することができる。
また、例えば、位置情報取得装置を掃除機10のヘッド部104に設置されたカメラ2とし、さらに、掃除対象領域にARマーカのような細かい模様の光、もしくは、人間が気づかない程度の符号化された点滅光を照射する照明を設置するようにして、位置検出部13,13aは、カメラ2が照明から照射された光等を読み取った情報に基づき、掃除対象領域におけるヘッド部104の位置を導出することで、ヘッド部104の位置を検出するようにしてもよい。
また、例えば、掃除支援装置1が参照可能な場所に、予め部屋あるいは建物等の地図を記憶する地図記憶部を備え、位置検出部13,13aは、位置情報取得装置から取得した情報に基づき得られたヘッド部104の位置情報と、地図記憶部に記憶されている地図情報とを照らし合わせることで、床座標系に対するヘッド部104の位置を取得するようにしてもよい。
位置検出部13,13aは、位置情報取得装置から取得した情報だけでなく、地図情報も参照してヘッド部104の位置の検出を行うため、位置検出の精度を向上できる。
この場合、投射画像作成部16は、掃除機10が掃除済みの領域だけでなく、地図情報も表示させる投射画像を作成するようにしてもよい。
また、上記の実施の形態3で説明したように、重畳画像作成部18が、表示部4に、作成した重畳画像を表示させる際、当該重畳画像とあわせて、地図情報記憶部から取得した情報に基づく、建物のフロア図等を示す画像を表示させるようにしてもよい。
さらに、例えば、複数のユーザが同一の掃除対象領域を掃除する場合等には、重畳画像作成部18は、各ユーザが視認する表示部4に対して、建物のフロア図等とあわせて、掃除対象領域における他のユーザも含めたユーザの掃除済み領域に基づく画像を表示させる。この場合、掃除支援装置1の制御部は、各ユーザからの指示を受け付け、受け付けた指示に応じて、例えばユーザ1とユーザ2等、各ユーザが視認する表示部4に表示させている画像の切り替えを行うようにすることもできる。
これにより、例えば、複数のユーザが同一の掃除対象領域を掃除する場合等に、他のユーザが視認する表示部4に表示されているフロア図等を参考に、掃除領域を分担して協調作業を行うことが可能となる。
また、上記の実施の形態1〜3では、表示規則記憶部17に記憶された規則に則って、投射画像作成部16が、プロジェクタ3に対して床に投射させる投射画像を作成する一例として、投射画像作成部16は、ヘッド部104の位置の移動軌跡と直角に幅20cmで塗りつぶす投射画像を作成する例等を挙げたが、表示規則はこれに限らないので、投射画像作成部16が、その他の表示規則に基づいて投射画像を作成するその他の例について説明する。
上記のように、掃除済みの領域を、ヘッド部104の位置の移動軌跡等に基づく領域として、当該領域を塗りつぶす画像として示す他、投射画像作成部16は、例えば、塗りつぶす回数で色が変わる、あるいは、濃くなる等、内容を変更した投射画像を作成するようにしてもよい。塗りつぶす回数とは、掃除対象領域が掃除された掃除回数をあらわし、ここでは、ヘッド部104の位置が通過した回数をあらわす。
領域判別部15は、例えば、位置検出部13が検出したヘッド部104の位置の時間的な変化に基づいて、ヘッド部104の位置の移動軌跡を検出し、掃除対象領域を判別する際、ヘッド部104の位置が、同じ位置となる回数を算出する。そして、領域判別部15は、算出した回数を、ヘッド部104の位置が通過した回数として、位置の情報とあわせて投射画像作成部16へ出力するようにする。
投射画像作成部16は、領域判別部15から取得した、ヘッド部104の位置の時間的な変換に基づき算出したヘッド部104の位置の通過回数に応じて、色が変わる、あるいは、濃くなる等、内容を変更した投射画像を作成する。
なお、上記は一例に過ぎず、例えば、投射画像作成部16は、例えば、画像履歴記憶部を参照して、以前に、同じ場所に投射させる投射画像を作成した履歴があれば、当該履歴をカウントし、投射画像作成部16は、同じ場所に投射させる投射画像を作成した回数が多いほど、色、あるいは、濃度等、内容を変更した投射画像を作成するようにしてもよい。
これにより、ゴミの多い場所等、特に念入りに掃除をしたい箇所について、掃除機10のヘッド部104による掃除回数を知ることができ、ユーザは、意図どおりの掃除ができているかを確認できるようになる。
また、投射画像作成部16は、ヘッド部104の位置が、掃除対象領域内を移動するスピードに応じて、床に投射される色、あるいは、濃度を変更する等、投射画像の内容を変更するようにしてもよい。なお、投射画像作成部16は、掃除機10のヘッド部104が掃除対象領域内を移動するスピードは、例えば、ヘッド部104の位置に加速度センサ、または、角速度センサを設置しておき、いずれかのセンサから取得した情報に基づき判断するようにすればよい。
また、例えば、投射画像作成部16はさらに、ヘッド部104の位置のスピードにあわせて、再生速度を調整した音楽を、音声出力部(図示省略)から出力させるようにしてもよい。このように、投射画像作成部16は、投射画像に加え、音声情報を作成するようにすることもできる。
ヘッド部104の位置が掃除対象領域内を移動するスピードが速すぎると、すなわち、ユーザが掃除機10のヘッド部104を動かすスピードが速すぎると、ゴミが十分吸い込めないこともあり得る。しかし、上述したような規則に従って、投射画像作成部16が、ヘッド部104の位置の移動スピードに応じて内容を変更した投射画像等を作成するようにすることで、ユーザは、掃除機10のヘッド部104を動かすスピードが速すぎることを察知し、ヘッド部104を動かすスピードを調整して、効果的に掃除ができるようになる。
また、投射画像作成部16は、掃除機10に搭載されたゴミセンサから取得する情報に基づき、投射画像の内容を変更するようにしてもよい。具体的には、投射画像作成部16は、ゴミセンサから、掃除機10のゴミ吸引量を示すデータを取得し、取得したゴミ吸引量に応じて、掃除対象領域における掃除済みの領域を示す投射画像の内容を変更する。例えば、投射画像作成部16は、ゴミ吸引量に応じて、掃除済みの領域を示す色、あるいは、濃度を変更した投射画像を作成してもよいし、さらに、「ジャリジャリ」等、何かを吸い込む効果音を音声情報として作成し、音声出力部から出力させるようにしてもよい。
このように、ゴミセンサの情報を利用して、汚れ具合に応じた掃除の必要性を見える化、聞こえる化することで、ユーザは、ゴミの多い箇所は念入りに掃除する等、必要性に応じて、掃除を効率よく行うことができるようになる。
また、例えば、投射画像作成部16は、ゴミセンサから取得したゴミ吸引量を示すデータと、当該ゴミ吸引量を取得した際のヘッド部104の位置とを紐付けた情報の履歴を記憶しておくようにし、当該記憶しておいた履歴から、ゴミ吸引量の多いヘッド部104の位置を、掃除対象領域内の汚れやすい箇所に該当すると判断し、当該判断した箇所について投射画像の濃淡等を変更した投射画像を作成してもよい。濃淡等の変更方法としては、例えば、ゴミ吸引量が多いほど、すなわち、汚れやすい箇所ほど、投射画像の色を濃くする等があげられる。
また、汚れやすさに応じて投射画像の内容を変更する他の例としては、例えば、投射画像作成部16は、領域判別部15からヘッド部104の位置の通過回数および当該通過回数とヘッド部104の位置とが紐付けられた情報を取得して履歴として記憶しておくようにし、当該記憶しておいた履歴から、汚れやすい箇所を判断し、汚れやすいと判断した箇所ほど、投射画像の色を濃くする等、投射画像の濃淡等を変更するようにしてもよい。この場合、投射画像作成部16は、ヘッド部104の位置の通過回数が多いヘッド部104の位置を、掃除対象領域内の汚れやすい箇所に該当すると判断すればよい。ヘッド部104の位置が何回も通過するということは、ユーザが、汚れが気になって何度も掃除機10をかけた箇所であり、汚れやすい箇所と推定できる。
また、投射画像作成部16は、領域判別部15によって判別される掃除済みの領域を塗りつぶす等の投射画像を作成することに加え、領域判別部15によって判別される、ヘッド部104の位置の移動軌跡を示す投射画像をさらに作成するようにしてもよい。例えば、投射画像作成部16は、領域判別部15からヘッド部104の位置の移動軌跡の情報を取得し、当該取得した移動軌跡を矢印等で示す投射画像を作成するようにしてもよい。
また、例えば、投射画像作成部16は、領域判別部15からヘッド部104の位置の移動軌跡の情報を取得して当該移動軌跡を示す投射画像を作成すると、当該作成した投射画像を画像履歴記憶部に記憶しておく等して、過去の移動軌跡の投射画像もあわせて床に投射させるようにしてもよい。
これにより、ユーザは、過去に同じ掃除対象領域が掃除された際のヘッド部104の位置の移動軌跡と見比べながら、あるいは、過去に同じ掃除対象領域が掃除された際のヘッド部104の位置の移動軌跡をなぞりながら、掃除を行うことができる。
また、投射画像作成部16は、ヘッド部104の位置の移動軌跡をキャラクター等に置き換えた投射画像を作成するようにしてもよい。例えば、投射画像作成部16は、過去に同じ掃除対象領域が掃除された際のヘッド部104の位置の移動軌跡を示す投射画像を、キャラクター等に置き換えた投射画像として作成する。
これにより、ユーザは、床に投射されたキャラクター等を追いかけているうちに楽しく掃除ができる。
なお、投射画像作成部16は、ヘッド部104の位置の移動軌跡を示す投射画像のみを作成し、床に投射させるようにしてもよい。
また、例えば、位置検出部13が、掃除機10の制御回路106からの情報に基づき、ユーザが掃除機10をかけるストロークの長さ、すなわち、一度の取っ手102操作で動かされたヘッド部104の位置の移動距離の長さ、スピード、または、何回のストロークで掃除を終えたか等の履歴を位置履歴記憶部14に記憶させておくようにし、投射画像作成部16は、当該履歴を参照して、ヘッド部104の位置の移動軌跡のトータルの長さ、掃除に要した時間等の履歴、ランキング、または、効率性評価等を算出し、床に投射させる投射画像を作成するようにしてもよい。なお、この場合、掃除支援装置1は、予め比較対象となる他者の掃除実行時の履歴情報、あるいは、模範となる掃除実行時の情報等を蓄積しておき、投射画像作成部16は、当該蓄積しておいた履歴情報からランキング、または、効率性評価等を算出するようにすればよい。
このように、ユーザ自身または他者等の過去の掃除の履歴、模範となる情報等、あるいは、比較対象となる情報を記憶しておき、当該情報を分析し、活用することで、掃除の効率化をはかることができる。また、ユーザは競争意識を持って掃除を行うことができ、飽きない。また、例えば、ベテランの掃除業者の掃除の仕方のノウハウを記憶しておくようにすれば、当該記憶された情報に基づき、新米のユーザがベテランの真似をできるようになる。具体的には、例えば、ベテランが過去に掃除機10をかけた際のヘッド部104の位置の履歴を位置履歴記憶部14に記憶させておくようにし、投射画像作成部16は、当該履歴から、ベテランが過去に掃除機10をかけた際のヘッド部104の位置の軌跡を床に投射させる投射画像を作成する。これにより、新米のユーザ等は、床に投射された、ベテランが過去に掃除機10をかけた際のヘッド部104の位置の軌跡をなぞって掃除を行うことができる。
投射画像作成部16は、上述したような、ヘッド部104の位置の移動軌跡のトータルの長さ、掃除に要した時間等の履歴、ランキング、または、効率性評価等を算出し、算出した結果を床に投射させる投射画像のみを作成しプロジェクタ3から床に投射させるようにしてもよいし、当該算出した結果を、領域判別部15によって判別される、ヘッド部104の位置の移動軌跡等に基づく掃除済みの領域を塗りつぶす等の投射画像とをあわせてプロジェクタ3から床に投射させるようにしてもよい。
また、投射画像作成部16は、移動軌跡等の時間経過がわかるように、ヘッド部104の位置の時間的な変化に応じて、作成する投射画像の内容を変更するようにしてもよい。
具体的には、例えば、領域判別部15は、位置検出部13が検出したヘッド部104の位置の時間的な変化に基づいて、ヘッド部104の位置の移動軌跡等を検出し、掃除済みの領域を判別すると、判別した掃除対象領域の情報と対応付けて、検出されたヘッド部104の位置の情報を投射画像作成部16へ出力するようにする。投射画像作成部16は、領域判別部15から取得した、ヘッド部104の位置の移動軌跡等と対応付けられたヘッド部104の位置から、ヘッド部104の位置の時間的な変化を検出し、移動軌跡等に基づいて作成する投射画像について、時間経過とともに消えるように投射させる投射画像とすることもできる。
また、投射画像作成部16は、掃除対象領域に対する掃除済みの領域、または、掃除未実施領域の割合を示す投射画像を作成するようにしてもよい。
例えば、投射画像作成部16は、「あと○%」等、掃除対象領域に対する掃除未実施領域の割合を算出し、算出した割合を示す投射画像を作成するようにしてもよい。
具体的には、例えば、領域判別部15が、位置検出部13が検出したヘッド部104の位置の時間的な変化に基づいて、ヘッド部104の位置の移動軌跡等を検出し、掃除済みの領域を判別する際に、掃除対象領域を100とした場合の掃除済みの領域の割合を算出して、当該掃除済みの領域の割合の情報を投射画像作成部16に出力する。投射画像作成部16は、領域判別部15から取得した、掃除対象領域に対する掃除済みの領域の割合から、掃除対象領域に対する掃除未実施領域の割合を算出し、算出した割合を示す投射画像を作成する。
なお、これは一例に過ぎず、投射画像作成部16は、その他の方法で、掃除対象領域に対する掃除済みの領域、または、掃除未実施の割合を示す投射画像を作成するものであってもよい。
このようにすることで、ユーザは、あとどれぐらいで掃除機10をかけ終わるか等を把握することができ、過剰な掃除を防ぎ、掃除の効率を向上させることができる。
投射画像作成部16は、上述したような、掃除対象領域に対する掃除済みの領域、あるいは、掃除対象領域に対する掃除未実施領域の割合等を示す投射画像のみを作成し、プロジェクタ3から床に投射させるようにしてもよいし、領域判別部15によって判別される掃除済みの領域を塗りつぶす等の投射画像とあわせて、プロジェクタ3から床に投射させるようにしてもよい。
また、投射画像作成部16は、掃除対象領域に対する掃除済みの領域を示す投射画像と掃除未実施領域を示す投射画像の投射画像を同時に作成するようにしてもよい。
掃除済みの領域を示す投射画像と、掃除未実施の領域を示す投射画像とを同時に投射させる場合は、例えば、塗りつぶしの色を変える等、投射画像作成部16は、両領域が区別できるような投射画像を作成する。
また、投射画像作成部16は、領域判別部15によって判別される掃除済みの領域を塗りつぶす等の投射画像をプロジェクタ3から床に投射させることに加え、掃除対象領域を全て塗りつぶす投射画像となった場合には、予め決められたキャラクター等の絵を掃除対象領域に投射させるようにしてもよい。
これにより、ユーザは、掃除対象領域の掃除を終了した時点の達成感をより味わうことができる。
また、投射画像作成部16は、領域判別部15によって判別される掃除済みの領域を塗りつぶす等の投射画像を掃除対象領域に投射させる過程で予め設定されたアイテムを投射させる投射画像を作成するようにしてもよい。
例えば、投射画像作成部16は、掃除対象領域全体の半分の領域が掃除された場合に、予め決められたキャラクター等の絵を掃除対象領域に投射させるようにする。なお、投射画像作成部16は、掃除対象領域全体に対する掃除済みの領域の割合に関する情報を、例えば、領域判別部15から取得するようにすればよい。
これにより、ユーザは、掃除状況の途中経過を把握しながら掃除をすることができる。
また、例えば、掃除対象領域全体の半分の領域を掃除した時点等、予め目標となる時点を設定しておくようにすれば、ユーザは、掃除しながら、当該目標となる時点に到達したことを知ることができ、ゲームをしているような感覚で、より楽しく掃除をすることができるようになる。
また、投射画像作成部16は、掃除済み領域が投射される投射画像を、掃除履歴によって変更させるようにしてもよい。例えば、投射画像作成部16は、領域判別部15によって判別される掃除済みの領域を塗りつぶす等の投射画像を、生き物の映像となるような投射画像とし、掃除済みの領域が増えるに従って、当該生き物が大きくなっていく投射画像を作成するようにしてもよい。また、例えば、投射画像作成部16は、領域判別部15によって判別される、ヘッド部104の位置の移動軌跡等に基づく掃除済みの領域を塗りつぶす等の投射画像を、乗物の映像となるような投射画像とし、掃除済みの領域が増えるに従って、乗物の機体の装備が派手になる投射画像を作成するようにしてもよい。また、例えば、投射画像作成部16は、領域判別部15によって判別される掃除済みの領域を塗りつぶす等の投射画像を電車の画像とし、さらに、ヘッド部104の位置の移動軌跡が線路の映像となるような投射画像を作成するようにしてもよい。掃除対象領域には、掃除済みの領域が増えるに従って、線路上を電車が進んでいく投射画像が投射されるようになる。
このようにしても、ユーザは、ゲームをしているような感覚で、より楽しく掃除をすることができる。
以上のように、表示規則記憶部17には、予め、様々な規則を設定しておくことができ、投射画像作成部16は、当該規則に則って、様々な方法で掃除対象領域に投射させる投射画像を作成することができる。
なお、上述したような例を、組み合わせるようにしてもよい。
例えば、投射画像作成部16は、ヘッド部104の位置が通過した回数に応じて塗りつぶす色を変更する投射画像を作成し、投射させるとともに、「あと○%」等、掃除対象領域に対する掃除済みの領域の割合を示す投射画像を作成し、投射させるようにしてもよい。また、投射画像作成部16は、さらに、掃除対象領域を全て塗りつぶす投射画像となった場合には、予め決められたキャラクター等の絵を掃除対象領域に投射させるようにしてもよい。
また、上述では、投射画像作成部16が、様々な表示規則に基づいて投射画像を作成することについて例をあげて説明したが、上述の例は、実施の形態3で説明したような、重畳画像作成部18が作成する重畳画像にも適用できる。すなわち、重畳画像作成部18は、予め設定された表示規則に基づいて内容を変更した画像を、カメラ2の撮像画像に重畳させた重畳画像を作成し、表示部4に表示させることもできる。
例えば、投射画像作成部16が、掃除対象領域が掃除された掃除回数に応じて塗りつぶす色が変わる等、内容を変更した投射画像を作成し、投射させるようにした場合に、重畳画像作成部18は、掃除対象領域が掃除された回数に応じて塗りつぶす色が変わる等、内容を変更した画像を、カメラ2の撮像画像に重畳させた重畳画像を作成し、表示部4に表示させることもできる。
また、例えば、投射画像作成部16が、ゴミセンサから取得する情報に基づき、投射画像の内容を変更した投射画像を作成し、投射させるようにした場合に、重畳画像作成部18は、ゴミセンサから取得したゴミ吸引量を示す画像を、カメラ2の撮像画像に重畳させた重畳画像を作成し、表示部4に表示させることもできる。重畳画像作成部18は、例えば、携帯端末のスピーカ等から、ゴミ吸引量に応じて「ジャリジャリ」等、何かを吸い込む効果音を出力させるようにしてもよい。例えば、重畳画像作成部18は、ゴミ吸引量が多いほど、出力させる効果音の音量を大きくするようにしてもよいし、ゴミ吸引量に応じて出力させる効果音を変化させるようにしてもよい。
また、投射画像作成部16が掃除対象領域に投射させる投射画像の内容と、重畳画像作成部18が表示部4に重畳させる重畳画像の内容とは、一致している必要はなく、異なる表示規則に応じて、それぞれ、投射画像または重畳画像を作成するようにしてもよい。
例えば、投射画像作成部16は、領域判別部15からヘッド部104の位置の移動軌跡の情報を取得して、ヘッド部104の位置の移動軌跡と直角に幅20cmで、一律に塗りつぶす投射画像し、重畳画像作成部18は、「あと○%」等、掃除対象領域に対する掃除未実施領域の割合を示す重畳画像を作成するようにしてもよい。
また、実施の形態3では、重畳画像作成部18は、カメラ2から取得した撮像画像に掃除機10のヘッド部104の移動軌跡等に対応する画像を重畳させた重畳画像作成し、当該重畳画像を、掃除機10を操作しているユーザの視点から見た画像に変換するものとした。しかし、例えば、上述した例のように、重畳画像作成部18が、カメラ2から取得した撮像画像に、フロア図等の地図情報またはゴミ吸引量等の情報を重畳させた重畳画像を作成する場合には、ユーザの視点から見た画像に変換した、掃除機10のヘッド部104の移動軌跡等に対応する画像は、重畳表示されないようにしてもよい。また、例えば、重畳画像作成部18は、カメラ2から取得した撮像画像に掃除機10のヘッド部104の移動軌跡等に対応する画像を重畳させ、当該画像をユーザの視点から見た画像に変換し、さらに、フロア図等の地図情報またはゴミ吸引量等の情報を重畳させた重畳画像を作成するようにしてもよい。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
1,1a,1b 掃除支援装置、2 カメラ、3 プロジェクタ、4 表示部、10 掃除機、11,11a キャリブレーション部、12 相対位置関係記憶部、13,13a 位置検出部、14 位置履歴記憶部、15 領域判別部、16 投射画像作成部、17 表示規則記憶部、18 重畳画像作成部、100 掃除機本体、101 吸引ホース、102 取っ手、103 継手管、104 ヘッド部、105 操作部、106 制御回路、161 座標変換部、501 処理回路、502 HDD、503 通信I/F装置、504 メモリ、505 CPU、1001 集塵室、1002 吸引駆動部、1003 ローラ、1041 吸い込み口、1042 筐体。

Claims (14)

  1. 掃除対象領域に対する掃除機のヘッド部の位置を検出する位置検出部と、
    前記位置検出部が検出した前記ヘッド部の位置に基づき、前記掃除対象領域内における、前記掃除機による掃除済みの領域を判別する領域判別部と、
    前記領域判別部が決定した掃除済みの領域に基づき、前記掃除対象領域に投射させるための投射画像を作成する投射画像作成部
    とを備えた掃除支援装置。
  2. 前記投射画像作成部が作成する投射画像は、前記掃除済みの領域に色を付けた投射画像である
    ことを特徴とする請求項1記載の掃除支援装置。
  3. 前記投射画像作成部が作成する投射画像は、掃除未実施の領域に色を付けた投射画像である
    ことを特徴とする請求項1記載の掃除支援装置。
  4. 前記ヘッド部の位置を示す位置検知座標系と、前記投射画像の表示手段座標系と、実空間における前記掃除対象領域を示す対象領域座標系との相対位置関係を導出するキャリブレーション部と、
    前記キャリブレーション部が導出した相対位置関係に基づき、前記位置検知座標系で示された前記掃除済みの領域の座標を、前記表示手段座標系の座標へと変換する座標変換部とを備え、
    前記投射画像作成部は、前記座標変換部が変換した後の前記掃除済みの領域を示す座標と、前記表示手段座標系と前記対象領域座標系との相対位置関係とに基づき、前記投射画像を作成する
    ことを特徴とする請求項1から請求項3のうちのいずれか1項記載の掃除支援装置。
  5. 前記位置検出部は、
    位置情報取得装置から取得した位置情報に基づき前記ヘッド部の位置を検出する
    ことを特徴とする請求項1から請求項4のうちのいずれか1項記載の掃除支援装置。
  6. 前記位置情報取得装置はカメラであり、
    前記位置検出部は、前記カメラが前記掃除対象領域を含む空間を撮像した撮像画像に基づき前記ヘッド部の位置を検出する
    ことを特徴とする請求項5記載の掃除支援装置。
  7. 前記投射画像作成部は、
    設定された規則に応じて、前記投射画像を作成する
    ことを特徴とする請求項1から請求項6のうちのいずれか1項記載の掃除支援装置。
  8. 前記領域判別部は、
    前記位置検出部が検出した前記ヘッド部の位置の時間的な変化に基づいて、前記ヘッド部の位置の移動軌跡を判別し、
    前記投射画像作成部は、前記設定された規則に応じた投射画像として、前記領域判別部が判別した前記ヘッド部の位置の移動軌跡を示す投射画像を作成する
    ことを特徴とする請求項7記載の掃除支援装置。
  9. 前記領域判別部は、
    前記位置検出部が検出した前記ヘッド部の位置の時間的な変化に基づいて、前記ヘッド部の位置の移動軌跡を判別して、当該移動軌跡に基づき前記ヘッド部の位置における掃除回数を算出し、
    前記投射画像作成部は、前記設定された規則に応じた投射画像として、前記領域判別部が算出した前記掃除回数に応じて前記投射画像の内容を変更した投射画像を作成する
    ことを特徴とする請求項7記載の掃除支援装置。
  10. 前記投射画像作成部は、
    前記掃除機のゴミ吸引量を示すデータを取得し、前記設定された規則に応じた投射画像として、前記ゴミ吸引量に応じて前記投射画像の内容を変更した投射画像を作成する
    ことを特徴とする請求項7記載の掃除支援装置。
  11. 前記投射画像作成部は、
    前記設定された規則に応じた投射画像として、前記掃除対象領域に対する前記掃除済みの領域の割合を示す投射画像を作成する
    ことを特徴とする請求項7記載の掃除支援装置。
  12. 前記領域判別部が判別した掃除済みの領域に基づく画像を作成し、当該作成した画像を、前記掃除対象領域を含む空間を撮像した撮像画像に重畳させた重畳画像を作成する重畳画像作成部をさらに備えた
    ことを特徴とする請求項6記載の掃除支援装置。
  13. 位置検出部が、掃除対象領域に対する掃除機のヘッド部の位置を検出するステップと、
    領域判別部が、前記位置検出部が検出した前記ヘッド部の位置に基づき、前記掃除対象領域内における、前記掃除機による掃除済みの領域を判別するステップと、
    投射画像作成部が、前記領域判別部が決定した掃除済みの領域に基づき、前記掃除対象領域に投射させるための投射画像を作成するステップ
    とを備えた掃除支援方法。
  14. 掃除対象領域に対する掃除機のヘッド部の位置を検出するための情報を取得する位置情報取得装置と、
    前記位置情報取得装置が取得した情報に基づき、前記掃除対象領域における前記掃除機による掃除済みの領域に基づく投射画像を作成する掃除支援装置と、
    前記掃除支援装置が作成した投射画像を前記掃除対象領域に投射する画像投射装置とを備えた掃除支援システムであって、
    前記掃除支援装置は、
    前記掃除対象領域に対する前記ヘッド部の位置を検出する位置検出部と、
    前記位置検出部が検出した前記ヘッド部の位置に基づき、前記掃除対象領域内における、前記掃除機による掃除済みの領域を判別する領域判別部と、
    前記領域判別部が決定した掃除済みの領域に基づき、前記掃除対象領域に投射させるための投射画像を作成する投射画像作成部とを有する
    ことを特徴とする掃除支援システム。
JP2016223984A 2016-11-17 2016-11-17 掃除支援装置、掃除支援方法、および、掃除支援システム Pending JP2018079134A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016223984A JP2018079134A (ja) 2016-11-17 2016-11-17 掃除支援装置、掃除支援方法、および、掃除支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016223984A JP2018079134A (ja) 2016-11-17 2016-11-17 掃除支援装置、掃除支援方法、および、掃除支援システム

Publications (2)

Publication Number Publication Date
JP2018079134A true JP2018079134A (ja) 2018-05-24
JP2018079134A5 JP2018079134A5 (ja) 2018-12-20

Family

ID=62198340

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016223984A Pending JP2018079134A (ja) 2016-11-17 2016-11-17 掃除支援装置、掃除支援方法、および、掃除支援システム

Country Status (1)

Country Link
JP (1) JP2018079134A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020010888A (ja) * 2018-07-19 2020-01-23 シャープ株式会社 電気掃除機
JP2020187532A (ja) * 2019-05-14 2020-11-19 富士通株式会社 清掃管理プログラム、清掃管理方法及び清掃管理装置
JP2020192171A (ja) * 2019-05-29 2020-12-03 三菱電機株式会社 掃除支援装置、掃除支援システム、電気掃除機、及び掃除支援方法
WO2022045049A1 (ja) * 2020-08-24 2022-03-03 Arithmer株式会社 情報処理装置、情報処理方法及びプログラム
JP2023502676A (ja) * 2019-11-20 2023-01-25 ダイソン・テクノロジー・リミテッド 投影ディスプレイを有する真空掃除機

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2700345A2 (de) * 2012-08-22 2014-02-26 Miele & Cie. KG Staubsauger mit Bedien- und Anzeigeelementen
JP2015027345A (ja) * 2013-07-30 2015-02-12 佐古 曜一郎 電気掃除装置
JP2016087106A (ja) * 2014-11-05 2016-05-23 シャープ株式会社 掃除支援装置及び掃除機
JP2017051597A (ja) * 2015-06-24 2017-03-16 フォアベルク ウント コー. インターホールディング ゲゼルシャフト ミット ベシュレンクテル ハフツングVorwerk & Co. Interholding GmbH 表面の掃除の補助

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2700345A2 (de) * 2012-08-22 2014-02-26 Miele & Cie. KG Staubsauger mit Bedien- und Anzeigeelementen
JP2015027345A (ja) * 2013-07-30 2015-02-12 佐古 曜一郎 電気掃除装置
JP2016087106A (ja) * 2014-11-05 2016-05-23 シャープ株式会社 掃除支援装置及び掃除機
JP2017051597A (ja) * 2015-06-24 2017-03-16 フォアベルク ウント コー. インターホールディング ゲゼルシャフト ミット ベシュレンクテル ハフツングVorwerk & Co. Interholding GmbH 表面の掃除の補助

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020010888A (ja) * 2018-07-19 2020-01-23 シャープ株式会社 電気掃除機
JP7112903B2 (ja) 2018-07-19 2022-08-04 シャープ株式会社 電気掃除機
JP2020187532A (ja) * 2019-05-14 2020-11-19 富士通株式会社 清掃管理プログラム、清掃管理方法及び清掃管理装置
JP7318303B2 (ja) 2019-05-14 2023-08-01 富士通株式会社 清掃管理プログラム、清掃管理方法及び清掃管理装置
JP2020192171A (ja) * 2019-05-29 2020-12-03 三菱電機株式会社 掃除支援装置、掃除支援システム、電気掃除機、及び掃除支援方法
JP7346912B2 (ja) 2019-05-29 2023-09-20 三菱電機株式会社 掃除支援装置、掃除支援システム、電気掃除機、及び掃除支援方法
JP2023502676A (ja) * 2019-11-20 2023-01-25 ダイソン・テクノロジー・リミテッド 投影ディスプレイを有する真空掃除機
WO2022045049A1 (ja) * 2020-08-24 2022-03-03 Arithmer株式会社 情報処理装置、情報処理方法及びプログラム
JP2022036866A (ja) * 2020-08-24 2022-03-08 Arithmer株式会社 プログラム、情報処理装置及び情報処理方法

Similar Documents

Publication Publication Date Title
JP2018079134A (ja) 掃除支援装置、掃除支援方法、および、掃除支援システム
CN110091326B (zh) 移动机器人以及移动机器人的控制方法
EP3585571B1 (en) Moving robot and control method thereof
US9597804B2 (en) Auto-cleaning system, cleaning robot and method of controlling the cleaning robot
JP7149502B2 (ja) 自律移動掃除機、自律移動掃除機による掃除方法、及び自律移動掃除機用プログラム
US11044402B1 (en) Power management for optical position tracking devices
CN105310604B (zh) 机器人清洁系统以及控制机器人清洁器的方法
JP5972966B2 (ja) 投影された参照パターンによるオブジェクト追跡
KR20190030197A (ko) 훈련된 경로를 자율주행하도록 로봇을 초기화하기 위한 시스템 및 방법
JP2019171018A (ja) 自律移動掃除機、自律移動掃除機による掃除方法、及び自律移動掃除機用プログラム
JP6636042B2 (ja) 床の処理方法
KR20120044768A (ko) 로봇 청소기 및 이의 제어 방법
JP6457976B2 (ja) 表面の掃除の補助
CN105666505A (zh) 具备扩展现实对应显示器的机器人系统
US20090115971A1 (en) Dual-mode projection apparatus and method for locating a light spot in a projected image
CN109840950B (zh) 得到真实尺寸3d模型的方法、勘测装置
JP2008502206A (ja) デュアル・カメラ入力を用いたセンサ
JP2019171001A (ja) 自律移動掃除機、掃除方法、及びプログラム
JP2017539035A (ja) ジェスチャインタフェース
US20120044141A1 (en) Input system, input method, computer program, and recording medium
TW201825038A (zh) 自行移動式行走器具之操作方法
JP2018079134A5 (ja)
US20160189422A1 (en) Process and Device for Determining the 3D Coordinates of an Object
KR101535801B1 (ko) 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템
KR20200144382A (ko) 이동 로봇 및 그 제어방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190919

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200128