JP2013246589A - 空間情報生成装置、空間情報利用システム、空間情報生成方法、制御プログラム、および、記録媒体 - Google Patents

空間情報生成装置、空間情報利用システム、空間情報生成方法、制御プログラム、および、記録媒体 Download PDF

Info

Publication number
JP2013246589A
JP2013246589A JP2012119058A JP2012119058A JP2013246589A JP 2013246589 A JP2013246589 A JP 2013246589A JP 2012119058 A JP2012119058 A JP 2012119058A JP 2012119058 A JP2012119058 A JP 2012119058A JP 2013246589 A JP2013246589 A JP 2013246589A
Authority
JP
Japan
Prior art keywords
information
unit
detected
spatial information
identity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012119058A
Other languages
English (en)
Inventor
Azusa Umemoto
あずさ 梅本
Takayuki Nagamatsu
孝之 永松
Minako Kuwata
みな子 桑田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2012119058A priority Critical patent/JP2013246589A/ja
Publication of JP2013246589A publication Critical patent/JP2013246589A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】検出された未知の物体の情報を、新規に登録することを可能にする。
【解決手段】本発明の空間情報生成装置は、実空間に存在する物体を検出する物体検出部40と、検出された物体の正体を問い合わせて正体情報を取得する正体情報取得部41と、物体特定情報によって物体の正体を特定する物体特定部42と、実空間の物体の位置を、対応する座標系の位置座標として特定する位置座標特定部44と、物体特定情報と位置座標とを関連付けた物体レコードを空間情報記憶部2の空間情報に登録する物体登録部43とを備えている。
【選択図】図1

Description

本発明は、実空間を模した仮想空間を利用するための、空間情報生成装置、空間情報利用システム、空間情報生成方法、制御プログラム、および、記録媒体に関するものである。
従来、実空間を模した仮想空間を生成する技術が、さまざまな情報処理装置に適用されてきた。
例えば、特許文献1には、移動ロボットに実空間を模した仮の地図情報を持たせて、これにより、移動ロボットが移動経路を判断しながら離れた目標に移動することを可能にする技術が開示されている。さらに、特許文献1には、仮の地図情報を有する移動ロボットが、上記仮の地図情報に不正確な部分があることを検出したときに、不正確な部分に対応する物体を計測し、計測結果に基づいて、上記仮の地図情報を修正することが開示されている。
特開2003−345438号公報(2003年12月5日公開)
しかしながら、上記従来の構成では、新しい物体についての情報を仮の地図情報(空間情報)に簡単に追加することができないという問題を生じる。
具体的には、特許文献1の移動ロボットは、予め有している仮の地図情報に含まれている物体(すなわち既知の物体)に関する情報を修正することができる。しかしながら、上記移動ロボットは、仮の地図情報に含まれていない未知の物体が検出されたとしても、当該物体の情報を新規に仮の地図情報に登録することはできないという問題がある。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、検出された未知の物体の情報を、空間情報に新規に登録することが可能な空間情報生成装置、空間情報利用システム、空間情報生成方法、制御プログラム、および、記録媒体を実現することにある。
本発明の空間情報生成装置は、上記課題を解決するために、実空間をセンシングするセンサから得られたセンシング情報に基づいて、実空間に存在する物体を検出する物体検出手段と、上記物体検出手段によって検出された物体の正体を問い合わせる質問メッセージを出力し、当該質問メッセージに対する回答として入力された正体情報を取得する正体情報取得手段と、検出された上記物体の正体を示す物体特定情報を、上記正体情報取得手段によって取得された正体情報に基づいて特定する物体特定手段と、実空間から検出された上記物体の位置を、当該実空間に対応する座標系の位置座標として特定する位置座標特定手段と、上記実空間に対応する仮想空間を作成するための空間情報を構成する、上記実空間に存在する各物体についての物体情報を記憶する空間情報記憶部に、上記物体特定情報と上記位置座標とを関連付けて、検出された上記物体の物体情報を登録する物体登録手段とを備えていることを特徴としている。
上記構成によれば、センサが実空間の周辺環境をセンシングし、その結果を、センシング情報として物体検出手段に供給する。物体検出手段は、センシング情報を処理することにより、実空間の周辺環境を知覚し、実空間における物体の存否を知ることができる。物体検出手段が実空間内に物体の存在を認識した場合、続いて、以降の各部が当該物体の物体情報を空間情報記憶部に新規登録するために動作する。
具体的には、まず、正体情報取得手段が、物体検出手段によって検出された物体が何であるのかを問い合わせる質問メッセージを出力し、問合せ先に対して物体の正体を問い合わせる処理を実行する。例えば、これには限定されないが、正体情報取得手段は、質問メッセージを、外部の装置に送信したり、自装置の出力部(音声出力部、または、操作パネルなど)に出力したりすることによって、正体を問い合わせる処理を実行することが考えられる。
続いて、正体情報取得手段は、質問メッセージに対する回答の入力を受け付け、これを正体情報として取得する。例えば、これには限定されないが、正体情報取得手段は、正体情報を、外部の装置から受信したり、自装置の入力部(音声入力部、または、操作パネルなど)を介して受け付けたりすることによって、正体情報を取得することが考えられる。
そして、物体特定手段は、正体情報取得手段によって取得された正体情報に基づいて、検出された物体の正体を特定する。物体特定手段は、正体情報に基づいて、当該物体に紐付ける物体特定情報を特定することによって、当該物体が何であるのかを特定することができる。物体特定情報は、例えば、これには限定されないが、予め物体特定品目として定められている物体カテゴリ、物体名、物体機種などであることが想定される。
一方、位置座標特定手段は、物体検出手段によって検出された物体の位置を特定する。具体的には、位置座標特定手段は、上記実空間に対応させた座標系における、当該物体の位置を表す位置座標を特定する。
最後に、物体登録手段は、物体検出手段によって検出された上記物体に、少なくとも、(1)物体特定手段によって特定された物体特定情報、および、(2)位置座標特定手段によって特定された位置座標を関連付けて、当該物体に係る物体情報を生成し、空間情報記憶部に登録する。
空間情報記憶部には、上記実空間に存在する物体それぞれの物体情報を登録され、これにより、上記実空間を模した仮想空間を作成するための空間情報が構成されている。
以上のとおり、上記構成によれば、センサによって未知の物体の存在が知覚されると、空間情報生成装置は、上記物体について、少なくとも、当該物体が何であるのか(物体の正体)と、当該物体が実空間のどこにあるのか(物体の位置)とを明らかにして、当該物体に関する物体情報を新規に登録することができる。結果として、検出された未知の物体の情報を、空間情報に新規に登録することが可能な空間情報生成装置を実現できる。
本発明の空間情報生成装置は、さらに、上記物体検出手段によって検出された物体の大きさを、上記座標系における大きさで表すサイズ情報を特定するサイズ特定手段を備え、上記物体登録手段は、上記サイズ特定手段によって特定された、上記物体のサイズ情報を上記空間情報記憶部に記憶してもよい。
上記構成によれば、物体検出手段によって検出された物体について、(1)物体の正体を示す物体特定情報、および、(2)物体の位置を示す位置座標に加えて、(3)物体の大きさを示すサイズ情報を上記物体に関連付けて、空間情報記憶部に新規登録することができる。
これにより、実空間をより正確に模した仮想空間を作成できるように空間情報を構成することが可能となる。
本発明の空間情報生成装置は、上記物体検出手段によって検出された物体を撮影する撮影部を備え、上記サイズ特定手段は、上記撮影部より得られた撮影画像を処理して、上記物体のサイズ情報を特定してもよい。
本発明の空間情報生成装置において、上記センサは、センシング情報として物体を撮影した撮影画像を取得する撮影部であり、上記物体検出手段は、上記撮影部より得られた撮影画像を画像処理して、実空間に存在する物体を検出してもよい。
本発明の空間情報生成装置は、上記物体検出手段によって検出された物体を撮影する撮影部を備え、上記正体情報取得手段は、上記撮影部より得られた撮影画像を含む質問メッセージをユーザに提示することにより、該ユーザに物体の正体を問い合わせてもよい。
上記構成によれば、ユーザは、新規の物体の実物を見て、最適な回答を空間情報生成装置に対して入力することができる。
本発明の空間情報生成装置において、上記正体情報取得手段が、上記質問メッセージに対する回答として、検出された上記物体が上記空間情報記憶部に物体情報が既に登録されている既知の物体であることを示すメッセージを受け付けた場合には、上記物体登録手段は、検出された上記物体の物体情報を登録する代わりに、当該物体の登録済みの物体情報のうち、位置座標を更新することが好ましい。
上記構成によれば、正体情報取得手段が既知の物体について正体を問い合わせる処理を行ったとしても、その後の、重複して実行する必要がない処理(新規の物体情報を登録する処理など)を省略することが可能となる。
本発明の空間情報生成装置は、上記物体検出手段によって検出された物体の向きを、上記座標系における向きで表す向き情報を特定する向き特定手段を備え、上記物体登録手段は、上記向き特定手段によって特定された、上記物体の向き情報を上記空間情報記憶部に記憶してもよい。
上記構成によれば、物体検出手段によって検出された物体について、(1)物体特定情報、および、(2)位置座標(場合によってさらに(3)サイズ情報)に加えて、(4)物体の向きを示す向き情報を上記物体に関連付けて、空間情報記憶部に新規登録することができる。向き情報は、物体が実空間においてどの方向を向いて設置されているのかを明らかにする情報である。
これにより、実空間をより正確に模した仮想空間を作成できるように空間情報を構成することが可能となる。
本発明の空間情報生成装置は、上記物体検出手段によって検出された物体を撮影する撮影部を備え、上記向き特定手段は、上記撮影部より得られた撮影画像を処理して、上記物体の向き情報を特定してもよい。
本発明の空間情報生成装置は、上記物体検出手段によって検出された物体が、上記空間情報記憶部に未登録の未知の物体であるのか、登録済の既知の物体であるのかを判定する物体判定手段を備え、上記空間情報記憶部において、各物体には、物体情報の一部として、当該物体の外観を表す物体画像が関連付けられており、上記物体判定手段は、検出された物体の撮影を行う撮影部から得られた撮影画像を、上記空間情報記憶部に登録された既知の物体の物体画像のそれぞれと比較することにより物体が未知か既知かの判定を行い、上記正体情報取得手段は、検出された上記物体が、上記物体判定手段によって未知の物体であると判定された場合に、物体の正体を問い合わせることが好ましい。
上記構成によれば、すでに空間情報記憶部に登録されている、すなわち、正体が判明している物体について、正体情報取得手段が無駄に正体を問い合わせる処理を実行することを回避することができる。
本発明の空間情報生成装置において、上記物体判定手段は、上記撮影画像の物体と同一と判定した物体画像に対応する物体が、関連付けられている位置座標にて先に検出されていた場合には、今回検出された上記撮影画像の物体は、上記物体画像の物体とは別の未知の物体であると判定し、上記撮影画像の物体と同一と判定した物体画像に対応する物体が、関連付けられている位置座標にて検出されなかった場合には、今回検出された上記撮影画像の物体は、上記物体画像の物体と同一であり、既知の物体であると判定することができる。
上記構成によれば、外見上同型に見える物体について、1つの物体が単に異なる場所に移動しただけである(物体は既知である)のか、同型の2つ目の物体が新規に設置されたのか(物体は未知である)のかを、より正確に判定することが可能となる。
上述の本発明の空間情報生成装置と、上記空間情報生成装置によって生成された実空間に存在する各物体の物体情報を記憶する上記空間情報記憶部と、上記空間情報記憶部に記憶されている物体情報を利用して、上記実空間に対応する仮想空間を作成する空間情報利用装置とによって構築される空間情報利用システムも本発明の範疇に入る。
なお、上記空間情報利用システムにおいて、上記空間情報利用装置は、ユーザが所持する通信端末装置であり、上記空間情報生成装置の正体情報取得手段は、上記質問メッセージを上記通信端末装置に送信するとともに、回答としての正体情報を上記通信端末装置から受信してもよい。
本発明の空間情報生成方法は、上記課題を解決するために、実空間をセンシングするセンサから得られたセンシング情報に基づいて、実空間に存在する物体を検出する物体検出ステップと、上記物体検出ステップにて検出された物体の正体を問い合わせる質問メッセージを出力する問合せステップと、上記質問メッセージに対する回答として入力された正体情報を取得する正体情報取得ステップと、検出された上記物体の正体を示す物体特定情報を、上記正体情報取得ステップにて取得された正体情報に基づいて特定する物体特定ステップと、上記物体検出ステップから上記物体特定ステップまでのいずれかのステップの後に、実空間から検出された上記物体の位置を、当該実空間に対応する座標系の位置座標として特定する位置座標特定ステップと、上記実空間に対応する仮想空間を作成するための空間情報を構成する、上記実空間に存在する各物体についての物体情報を記憶する空間情報記憶部に、上記物体特定情報と上記位置座標とを関連付けて、検出された上記物体の物体情報を登録する物体登録ステップとを含むことを特徴としている。
なお、上記空間情報生成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記空間情報生成装置をコンピュータにて実現させる空間情報生成装置の制御プログラム、および、それを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明の空間情報生成装置は、上記課題を解決するために、実空間をセンシングするセンサから得られたセンシング情報に基づいて、実空間に存在する物体を検出する物体検出手段と、上記物体検出手段によって検出された物体の正体を問い合わせる質問メッセージを出力し、当該質問メッセージに対する回答として入力された正体情報を取得する正体情報取得手段と、検出された上記物体の正体を示す物体特定情報を、上記正体情報取得手段によって取得された正体情報に基づいて特定する物体特定手段と、実空間から検出された上記物体の位置を、当該実空間に対応する座標系の位置座標として特定する位置座標特定手段と、上記実空間に対応する仮想空間を作成するための空間情報を構成する、上記実空間に存在する各物体についての物体情報を記憶する空間情報記憶部に、上記物体特定情報と上記位置座標とを関連付けて、検出された上記物体の物体情報を登録する物体登録手段とを備えていることを特徴としている。
本発明の空間情報生成方法は、上記課題を解決するために、実空間をセンシングするセンサから得られたセンシング情報に基づいて、実空間に存在する物体を検出する物体検出ステップと、上記物体検出ステップにて検出された物体の正体を問い合わせる質問メッセージを出力する問合せステップと、上記質問メッセージに対する回答として入力された正体情報を取得する正体情報取得ステップと、検出された上記物体の正体を示す物体特定情報を、上記正体情報取得ステップにて取得された正体情報に基づいて特定する物体特定ステップと、上記物体検出ステップから上記物体特定ステップまでのいずれかのステップの後に、実空間から検出された上記物体の位置を、当該実空間に対応する座標系の位置座標として特定する位置座標特定ステップと、上記実空間に対応する仮想空間を作成するための空間情報を構成する、上記実空間に存在する各物体についての物体情報を記憶する空間情報記憶部に、上記物体特定情報と上記位置座標とを関連付けて、検出された上記物体の物体情報を登録する物体登録ステップとを含むことを特徴としている。
結果として、検出された未知の物体の情報を、新規に登録することを可能にするという効果を奏する。
本発明の一実施形態における、空間情報生成装置としての自走式掃除機の要部構成を示すブロック図である。 本発明の仮想部屋利用システムの概要を示す図である。 上記自走式掃除機の斜視図である。 上記自走式掃除機の底面図である。 上記自走式掃除機のハードウェア構成を模式的に示すブロック図である。 (a)および(b)は、自走式掃除機が衝突の知覚によって物体を検出するときの様子を説明する図である。 上記仮想部屋利用システムにおける空間情報利用装置としての通信端末装置が着信した質問メッセージが、該通信端末装置の表示部に表示されたときの表示画面の一具体例を示す図である。 上記質問メッセージに対する回答を入力するためのGUI画面が、通信端末装置の表示部に表示されたときの表示画面の一具体例を示す図である。 上記質問メッセージに対する回答を入力するためのGUI画面が、通信端末装置の表示部に表示されたときの表示画面の一具体例を示す図である。 上記仮想部屋利用システムにおける物体特定品目記憶部に記憶されている物体特定品目のデータ構造および具体例を示す図である。 自走式掃除機の正体情報取得部が正体情報を取得するときの様子を説明する図である。 上記仮想部屋利用システムにおける空間情報記憶部に記憶されている、実空間RSの空間情報のデータ構造および具体例を示す図である。 空間情報によって定義される、実空間RSの座標系を示す図である。 上記仮想部屋利用システムから接続可能に記憶されている、寸法表のデータ構造および具体例を示す図である。 自走式掃除機のサイズ特定部が物体のサイズ情報を取得するために処理する撮影画像の一具体例を示す図である。 (a)および(b)は、実空間(部屋)内で撮影部によって撮影された撮影画像の一例を示す図であり、(c)および(d)は、実空間と未知の物体との位置関係を模式的に示す図であり、実空間(部屋)を上から見た図である。 空間情報によって定義される、実空間RSの座標系を示す図である。 (a)および(b)は、上記部屋とは別の部屋において、撮影部によって撮影された撮影画像の一例を示す図であり、(c)および(d)は、上記部屋と未知の物体との位置関係を模式的に示す図であり、部屋を上から見た図である。 自走式掃除機の空間情報生成機能に係る処理の流れを示すフローチャートである。 本発明の一実施形態における、空間情報利用装置としての通信端末装置の要部構成を示すブロック図である。 通信端末装置の仮想空間作成部が作成した仮想空間VSの表示形態の一具体例を示す図である。 上記仮想空間作成部が作成した仮想空間VSの他の表示形態の一具体例を示す図である。 (a)および(b)は、図18に示す実空間(部屋)内の他の場所で、撮影部によって撮影された撮影画像の一例を示す図である。 自走式掃除機の登録済処理の流れを示すフローチャートである。
≪実施形態1≫
本発明の実施形態について、図1〜図22に基づいて説明すると以下の通りである。
以下で説明する実施形態では、一例として、本発明の空間情報生成装置を、自走式機器に搭載した例について説明する。自走式機器は、これには限定されないが、例えば、掃除機(以下、自走式掃除機)である。また、仮想部屋利用システムについても説明する。本発明の空間情報生成装置は、後述する他の装置と連携して、本発明の上記仮想部屋利用システムを構築する。本発明の仮想部屋利用システムによれば、上記自走式掃除機(空間情報生成装置)が生成した空間情報を利用して、仮想部屋(バーチャルルーム)を作成したり、作成された仮想部屋をユーザに提示したりすることが可能である。
なお、以下の図面において同一または相当する部分には、同一の参照符号を付すものとし、それらの説明は重複して行なわない。また、図面における長さ、大きさおよび幅などの寸法関係ならびに形状は、図面の明瞭化と簡略化のために適宜に変更されており、実際の寸法および形状を表してはいない。
〔仮想部屋利用システムの概要〕
図2は、本発明の仮想部屋利用システム100の概要を示す図である。
仮想部屋利用システム100は、少なくとも、空間情報生成装置と、空間情報記憶部と、空間情報利用装置とを含む構成である。
空間情報生成装置は、実空間RSの情報を収集して実空間RSについての空間情報を生成する装置である。図2に示すとおり、本実施形態では、本発明の空間情報生成装置は、自走式掃除機(自走式機器)1として実現される。しかし、空間情報生成装置は、自走式掃除機に限定されるものではなく、実空間RSの情報を取得する機能と、取得した情報を転送する機能とを備えていれば、どのような機器によって実現されてもよい。また、空間情報生成装置は、自走する構成を有する機器に限定されるものではなく、自走する構成を有さない機器によって実現されてもよい。
空間情報のデータ構造については後に後述する。
空間情報記憶部2は、自走式掃除機1によって生成された空間情報を蓄積するためのものである。
空間情報利用装置は、空間情報記憶部2に蓄積された空間情報を利用して情報処理する装置である。図2に示すとおり、本実施形態では、本発明の空間情報利用装置は、例えば、ユーザUの手持ちの通信端末装置3として実現される。より具体的には、通信端末装置3は、例えば、タブレット端末、スマートフォン、携帯電話機、PDA(Personal Digital Assistant)、ノート型パソコン、携帯型ゲーム機、電子手帳、電子書籍リーダ、デジタルカメラなどである。しかし、通信端末装置3は、上記に限定されず、空間情報記憶部2に接続して情報を取得する機能を備えていれば、どのような機器によって実現されてもよい。また、空間情報利用装置は、携帯型の電子機器である必要はなく、デスクトップパソコン、テレビ、もしくは、冷蔵庫および電子レンジなどの家電にはめ込まれたディスプレイおよびその操作ボタンなどで実現されてもよい。
本実施形態では、空間情報利用装置としての通信端末装置3は、空間情報記憶部2に蓄積されている実空間RSについての空間情報を情報処理して、仮想空間VSを作成し、自装置の表示部に仮想空間VSを表示して、ユーザUに提示する機能を有する。通信端末装置3の要部構成を示す機能ブロック図を図20に示す。通信端末装置3の機能構成については後に詳述する。なお、実空間RSは、例えば、ユーザUの自宅または部屋などであり、仮想空間VSは、そのユーザの自宅または部屋を模した仮想部屋である。
仮想部屋利用システム100が、ユーザUのためだけに構築されたものである場合、空間情報記憶部2に蓄積された空間情報は、容易にユーザUの空間情報として一意に特定される。ユーザUが自走式掃除機1または通信端末装置3を複数台所有していたとしても、ユーザUとユーザUの実空間RSとが1対1の関係であることには変わりがないからである。したがって、空間情報と、通信端末装置3(ユーザ)との対応関係を紐付けて管理しておく必要がないため、空間情報記憶部2は、通信端末装置3に内蔵されていてもよい。
この場合、自走式掃除機1と通信端末装置3とは、通信ネットワーク5を介して、双方向通信が可能となるように接続される。自走式掃除機1が収集した情報に基づいて生成した空間情報は、通信ネットワーク5を介して、直接通信端末装置3に送信される。ユーザUは、実空間RSに滞在し、自走式掃除機1のそばに居ることも想定される。そのため、自走式掃除機1と、通信端末装置3とは、WiFi(登録商標)、Bluetooth(登録商標)、ZigBee(登録商標)等の無線電波方式により接続されてもよい。
あるいは、ユーザUは、通信端末装置3を携帯して外出することも想定される。そのため、自走式掃除機1と、通信端末装置3とは、インターネット、携帯電話網などを介して互いに通信することが可能である。
仮想部屋利用システム100が、多数のユーザのために構築されたものである場合、空間情報記憶部2において、空間情報は、ユーザごとに蓄積されなければならない。各ユーザは、それぞれの実空間RS(自宅)において、それぞれが所有する自走式掃除機1を設ける。そして、各自走式掃除機1は、各ユーザの実空間RSにおける空間情報を生成することになるからである。
この場合、仮想部屋利用システム100は、空間情報記憶部2に蓄積された空間情報を管理するための情報管理サーバ4を備えていることが好ましい。そして、情報管理サーバ4が空間情報記憶部2を備えていてもよい。
情報管理サーバ4は、どのユーザの自走式掃除機1かに応じて、その自走式掃除機1から送信された空間情報を対応するユーザに紐付けて空間情報記憶部2に蓄積する。また、情報管理サーバ4は、通信端末装置3からのリクエストを受け付けて、空間情報または空間情報を処理した結果を通信端末装置3に返す。情報管理サーバ4は、どのユーザの通信端末装置3かに応じて、そのユーザに紐付けられた空間情報を通信端末装置3に供給する。
以上のとおり、仮想部屋利用システム100によれば、ユーザUは、自走式掃除機1を使って実空間RSの空間情報を得ることができ、得られた空間情報を使って実空間RSに対応する仮想空間VSを通信端末装置3に表示させることができる。
なお、自走式掃除機1は、自機に備えられた後述する操作パネル12に加え、通信ネットワーク5を介して接続した通信端末装置3から操作すること可能であってもよい。
以下では、本発明の自走式掃除機1が、実空間RSの情報をどのように取得して、空間情報をどのように生成するのかについて、より詳細に説明する。
〔自走式掃除機のハードウェア構成−掃除機能〕
図3〜図5を参照して、自走式掃除機1のハードウェア構成を説明する。図3は、自走式掃除機1の斜視図である。図4は、自走式掃除機1の底面図である。図5は、自走式掃除機1のハードウェア構成を模式的に示すブロック図である。
まず、自走式掃除機1の掃除機として機能を実現するためのハードウェア構成について説明する。しかし、以下の記述は、本発明の空間情報生成装置の構成を限定することを意図していない。
自走式掃除機1は、図3に示すように、外枠が平面視円形の本体筐体102で形成された自走式掃除機1本体と、図4および図5に示すように、バッテリー20を電力供給源として駆動される駆動輪16とを有し、自走しながら集塵(掃除)する装置である。
図3に示すように、本体筐体102の上面には、自走式掃除機1に対して指示入力を行う操作パネル12、LED(Light Emitting Diode:発光ダイオード)ランプ18、撮影部32、集塵部130を出し入れする際に開閉する蓋部103が設けられている。なお、本実施形態では、本体筐体102は、その上面および底面が円形を成す形状とするが、この形状に限定されることはない。
LEDランプ18は、本実施形態では、本体筐体102の上面の周囲に設けられており、後述するように、自走式掃除機1の状態に合わせて、点灯する色および点灯パターンが変化するようになっている。なお、LED以外のランプが設けられていてもよい。また、LEDランプは、本体の上面に設けられた排気口107の付近に設けてもよい。
操作パネル12には、ユーザからの操作によって各種の指示、文字、数字などのデータの入力を受け付ける操作スイッチ(入力部)と、ユーザに提示する各種情報を表示するディスプレイ(表示部)と、が設けられている。操作パネル12は、タッチパネルとして設けられていてもよい。また、操作パネル12に、表示用LEDが設けられていてもよい。
操作パネル12は、例えば、掃除の開始および停止を指示するボタン、自走式掃除機1の稼働予約を行うタイマーセットボタン、現在時刻や予約時刻を表示する時刻表示領域、図示しない集塵容器が満杯になったことを知らせるごみ捨てランプなどを備える。また、操作パネル12は、バッテリー20の充電量を示すバッテリーマークを表示する領域、撮影部32によって撮影された画像データを表示する領域、ユーザに対するメッセージを表示する領域などをさらに備えていてもよい。これらは、単なる例示であり、操作パネル12は、これら以外の機能を実現する入力部や表示部を備えていてもよい。
撮影部32は、動画像および静止画像を撮影するものであり、光学レンズ、カラーフィルタ、受光素子であるCCD(Charge Coupled Device)またはCMOS(Complementary Metal-Oxide-Semiconductor)等により構成されている。
図4に示すように、本体筐体102の底面には、底面から突出して水平な回転軸16aで回転する一対の駆動輪16が配されている。駆動輪16の両輪が同一方向に回転すると自走式掃除機1が進退する。両輪が逆方向に回転すると、自走式掃除機1が、本体筐体102の中心を軸に旋回し、方向転換することが可能である。これにより、所望の掃除領域全体に自走式掃除機1を自走させるとともに障害物を避けて自走させることができる。
駆動輪16がバッテリー20により駆動されることで、自走式掃除機1は自走する。
本体筐体102の底面の前方には、吸込口106が設けられている。吸込口106は本体筐体102の底面に凹設した凹部の開放面によって床面に面して形成されている。凹部内には水平な回転軸で回転する回転ブラシ23が配され、凹部の両側方には垂直な回転軸で回転するサイドブラシ25が配されている。
さらに、本体筐体102の底面には、吸込口106のさらに前方にローラー形状の前輪127が設けられている。また、本体筐体102の底面の後方端部(後端)に、自在車輪から成る後輪126が設けられている。自走式掃除機1は、本体筐体102の中心に配した駆動輪16に対して前後方向に重量が配分され、前輪127が床面から離れて回転ブラシ23、駆動輪16および後輪126が床面に接地して掃除が行われる。このため、進路前方の塵埃を前輪127により遮ることなく吸込口106に導くことができる。前輪127は進路上に現れた段差に接地し、自走式掃除機1が段差を容易に乗り越えられるようになっている。
また、図3に示すとおり、本体筐体102の周囲にはバンパー105が設けられており、自走式掃除機1本体への衝撃や振動を緩衝させる。自走式掃除機1は、走行中に障害物にバンパー105が接触したことを検知すると、進行方向を変更して走行を継続することができる。また、本実施形態では、バンパー105が障害物に接触したことが検知された場合には、自走式掃除機1は、当該障害物の正体を特定し、空間情報を生成することができる。
本体筐体102の周面の後端には、バッテリー20の充電を行う充電端子21が露出して設けられている。自走式掃除機1は、掃除後あるいは充電量が所定値を下回ると、充電台が設置されている場所に帰還する。そして、充電台に設けられた給電端子に充電端子21を接してバッテリー20を充電する。
バッテリー20は、自走式掃除機1全体の電力供給源である。バッテリー20としては、繰り返し充放電が可能な大容量の充電池が望ましい。例えば鉛電池、ニッケル水素電池、リチウムイオン電池あるいはキャパシタ等を使用すればよい。
本体筐体102内には、図示しないが、制御基板が配される。制御基板には自走式掃除機1の各部を制御する後述の制御部10や各種データを記憶する後述の記憶部13などが設けられる。また、本体筐体102内には、着脱可能のバッテリー20が配される。バッテリー20は充電端子21を介して充電台から充電され、制御基板、駆動輪16、回転ブラシ23、および、サイドブラシ25などの各部に電力を供給する。
上記構成の自走式掃除機1において、掃除運転が指示されると、バッテリー20からの電力が供給されて、図示しない電動送風機、後述のイオン発生装置27、駆動輪16、回転ブラシ23およびサイドブラシ25が駆動される。これにより、自走式掃除機1は、回転ブラシ23、駆動輪16および後輪126が床面に接地するようにして所定の掃除領域を自走し、吸込口106から床面の塵埃を含む気流を吸い込んで掃除を行うことができる。
吸込口106から吸い込まれて電動送風機を通過した気流は、本体筐体102の上面に設けた排気口107から上方後方に排気される。なお、電動送風機の近傍にイオン発生装置27が備えられており、排気口107からは、イオンを含む気流が排気されてもよい。
以上のように、室内の掃除が行われるとともに、自走する自走式掃除機1の排気に含まれるイオンが室内に行き渡って室内の除菌や脱臭が行われる。
さらに、自走式掃除機1には、周辺環境(すなわち、実空間RS)の状態を知覚して実空間RSについて情報を収集するセンサ部30が設けられている。センサ部30は、1または複数のセンサによって構成されている。センサ部30については、図5を参照しながら詳しく後述する。
〔自走式掃除機のハードウェア構成−空間情報生成機能〕
次に、自走式掃除機1が本発明の空間情報生成装置としての機能を実現するためのハードウェア構成の一例について、図5を参照しながら説明する。しかし、図5に示すブロック図は、空間情報生成装置としてのハードウェア構成の一実施例を示しているにすぎず、本発明の空間情報生成装置の構成はこれに限定されない。
自走式掃除機1は、図5に示すように、空間情報生成装置としての機能を実現するために、少なくとも、制御部10、通信部11、操作パネル12、記憶部13およびセンサ部30を備えている構成である。自走式掃除機1は、さらに、音声出力部14、走行駆動部15、および、駆動輪16を備えていることが好ましい。なお、自走式掃除機1は、掃除機として本来備わっている機能を実現するために、例えば、LEDランプ点灯部17、LEDランプ18、電圧検出部19、バッテリー20、充電端子21、回転ブラシ駆動部22、回転ブラシ23、サイドブラシ駆動部24、サイドブラシ25、送風装置26、イオン発生装置27など、掃除機が標準的に備えている各種部品を備えていてもよい。前出した部材については説明を省略する。
制御部10は、記憶部13に記憶されたプログラムやデータ、さらに、前出の操作パネル12から入力されたデータ、外部装置から受信したプログラムやデータなどに基づき、自走式掃除機1における各ブロックを統括して制御するブロックである。
通信部11は、通信端末装置3、空間情報記憶部2、あるいは、その他の外部装置との間で、通信ネットワーク5を介して、データの送受信を行うブロックである。通信部11は、自走式掃除機1が生成した空間情報を空間情報記憶部2に送信する。また、通信端末装置3から、自走式掃除機1を制御するための制御信号などを受信してもよい。また、通信部11は、通信端末装置3に対して、自走式掃除機1に記憶しているデータや自走式掃除機1にて測定可能なデータを直接送信してもよい。通信部11は、また、充電台からの帰還信号を受信してもよい。帰還信号を受信した自走式掃除機1は、実空間RSに設置されている充電台の設置場所に戻り、充電台とドッキングする。これにより、バッテリー20が充電される。
記憶部13は、(1)自走式掃除機1の制御部10が実行する制御プログラム、(2)制御部10が実行するOSプログラム、(3)制御部10が、自走式掃除機1が有する各種機能を実行するためのアプリケーションプログラム、および、(4)該アプリケーションプログラムを実行するときに読み出す各種データを記憶するものである。あるいは、(5)制御部10が各種機能を実行する過程で演算に使用するデータおよび演算結果等を記憶するものである。例えば、上記の(1)〜(4)のデータは、ROM(read only memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)、HDD(Hard Disc Drive)などの不揮発性記憶装置に記憶される。例えば、上記の(5)のデータは、RAM(Random Access Memory)などの揮発性記憶装置に記憶される。どのデータを記憶するために、記憶部13をどの記憶装置にて実現するのかについては、自走式掃除機1の使用目的、利便性、コスト、物理的な制約などから適宜決定されればよい。
本実施形態では、記憶部13は、センサ部30の各種センサによって取得された、実空間RSにおける周囲環境に関するセンシング情報を記憶する。さらに、記憶部13は、操作パネル12、または、通信部11を介して通信端末装置3から受け付けた、各種情報を記憶してもよい。例えば、各種情報として、自走式掃除機1が実空間RSにおいて新たに検出した物体の正体に係る情報、または、自走式掃除機1の動作に係る各種条件設定などを記憶する。また、記憶部13は、自走式掃除機1の設置場所周辺の走行マップを記憶してもよい。走行マップとは、自走式掃除機1の走行経路や走行速度などといった走行に関する情報、あるいは、掃除する領域に関する情報である。走行マップは、予めユーザが設定して記憶部13に記憶させてもよいし、自走式掃除機1自身が自動的に記録するように構成されていてもよい。
音声出力部14は、スピーカなどの音声出力装置であり、記憶部13に記憶している音声データや外部から取得した音声データに従って外部へ音声を出力するものである。例えば、音声出力部14は、自走式掃除機1が実空間RSにおいて新たな物体を検出したときに、ユーザUの注意を喚起する音声を出力する。
走行駆動部15は、モータドライバ、駆動輪モータ等を備え、制御部10からの制御信号に基づき、回転方向、回転角度等を決定して、駆動輪16を駆動させるブロックである。
センサ部30は、実空間RSの周囲環境の様々な状態、および、実空間RSに存在する様々な物体の状態を知覚するものである。
自走式掃除機1は、センサ部30として機能する構成部材として、これには限定されないが、音声入力部31、撮影部32、測距部33、段差検知部34、臭気測定部35、温度測定部36、および、衝突検知部37を備えている。これらは単なる例示であり、また、自走式掃除機1はこれら全てを備えている必要はない。
音声入力部31は、マイクロホンなどの音声入力装置であり、外部から自走式掃除機1へ音声を入力するものである。例えば、音声入力部31は、実空間RSにおいて新たな物体を検出したときに、物体の正体について発せられたユーザUからの音声を集音する。音声入力部31を介して入力された音声は、音声認識されて、自走式掃除機1が処理可能なデジタル信号に変換される。
測距部33は、検出された物体と、自走式掃除機1との距離を測定するセンサである。一例として、測距部33は、発光素子としての赤外発行ダイオードと、受光素子としての位置検出素子(PSD;Position Sensitive Detector)とによって実現されてもよい。測距部33の発光素子から照射された光が、測定対象の物体にあたると反射され、測距部33の受光素子で受光される。これにより、測距部33は、反射された光を評価・演算し、距離に換算して出力することができる。
段差検知部34は、自走式掃除機1の走行面における段差を検知するセンサであり、例えば、光電センサ、変位センサなどによって実現される。
臭気測定部35は、自走式掃除機1の周辺の臭気を測定し、臭気の強さを数値化するものである。例えば、ニオイセンサ、ガスセンサなどによって実現される。
温度測定部36は、自走式掃除機1の周辺の気温を測定する温度センサであり、例えば、サーミスタなどによって実現される。
衝突検知部37は、バンパー105が障害物など何かの物体に衝突したことを検知する接触センサである。
上述のとおり、センサ部30は、本発明の空間情報生成装置(自走式掃除機1)が実空間RSの状態を検知し、情報を収集するために用いられる。しかし、これに限らず、センサ部30は、自走式掃除機1が掃除を実行する際に、障害物を回避して段差や階段から落ちることなく自走することができるように構成されていてもよい。
LEDランプ点灯部17は、LEDランプ18に駆動電流を供給し、LEDランプ18の点灯を制御するブロックである。LEDランプ点灯部17は、自走式掃除機1の状態に合わせて、点灯する色および点灯パターンを変化させる。例えば、掃除を行っている掃除モード、充電中である充電モード、掃除を行わずにイオン発生を行っているイオン発生モード、緊急事態が発生している緊急事態モード、により色および点灯パターンを変化させてもよい。
電圧検出部19は、バッテリー20の電圧を検出するブロックであり、検出した電圧からバッテリー20の充電量を求める。バッテリー20には、充電端子21が電気的に接続されるよう構成されている。
回転ブラシ駆動部22は、モータドライバ、回転ブラシモータ等を備え、制御部10からの制御信号に基づき、回転数等を決定して、回転ブラシ23を駆動させるブロックである。
サイドブラシ駆動部24は、モータドライバ、サイドブラシモータ等を備え、制御部10からの制御信号に基づき、回転数等を決定して、サイドブラシ25を駆動させるブロックである。
送風装置26は、前出の電動送風機などを備え、本体筐体102の内部への吸気および内部からの排気を行う装置である。
イオン発生装置27は、制御部10による制御の下、駆動されるとイオンを発生させる装置である。本実施形態では、イオン発生装置27は、プラズマクラスターイオン(登録商標)発生装置であるとする。よってイオン発生装置27には、プラズマクラスターイオン発生素子が設けられており、プラズマクラスターイオン発生素子は、プラスイオンを発生するプラスイオン発生部と、マイナスイオンを発生するマイナスイオン発生部とを備えている。なお、このようなイオン発生素子は、本願出願人が先に出願した特開2002−58731号に詳しく開示されている。
イオン発生装置27から発生したイオンは、送風装置26によって、本体筐体102の外部に排出される。なお、制御部10の制御により、自走式掃除機1は、掃除の動作とイオン発生の動作とを同時に実行できるほか、掃除の動作とイオン発生の動作とを各々単独で実行することも可能である。
〔自走式掃除機の機能構成〕
次に、自走式掃除機1が本発明の空間情報生成装置としての機能を実現するための機能構成について、図1を参照しながら説明する。図1は、本発明の一実施形態における、空間情報生成装置としての自走式掃除機1の要部構成を示すブロック図である。
自走式掃除機1が備える各部を統括制御する制御部10は、機能ブロックとして、少なくとも、物体検出部40、正体情報取得部41、物体特定部42、物体登録部43および位置座標特定部44を備えている。さらに、制御部10は、必須ではないが、機能ブロックとして、走行制御部45、サイズ特定部46および向き特定部47を備えていてもよい。さらに、制御部10は、必須ではないが、物体判定部48を備えていてもよい。
上述した制御部10の各機能ブロックは、CPU(central processing unit)が、ROM(read only memory)、NVRAM(non-Volatile random access memory)などで実現された記憶装置(記憶部13)に記憶されているプログラムをRAM(random access memory)などに読み出して実行することで実現できる。
制御部10の物体検出部40は、センサ部30が取得したセンシング情報に基づいて、自走式掃除機1が走行を行う実空間RSに存在する物体を検出するものである。
物体検出部40が、物体が存在することを検出する方法について、具体例を挙げると、以下のとおりである。
例えば、衝突検知部37が衝突を知覚すると、物体検出部40は、衝突した方向に物体を検出する。
あるいは、物体検出部40は、撮影部32によって撮影されたライブビュー画像を画像処理することにより物体を検出する。
あるいは、臭気測定部35が異臭を知覚すると、物体検出部40は、異臭が知覚されたことに基づいて、実空間RSのいずれかに異臭を放つ物体があることを認識する。なお、臭気測定部35が、実空間RS内の広範囲にわたって、検知した異臭の強度を測定することができる場合には、物体検出部40は、検知された異臭の強度が最も強かった位置に上記物体が存在すると認識してもよい。
あるいは、音声入力部31が異音の発生を知覚すると、物体検出部40は、実空間RSのいずれかに異臭の元となる物体があることを認識する。
物体検出部40が物体を検出する方法は、上記に限定されない。例えば、段差検知部34が、段差を検知したことによって、物体検出部40は、その位置に物体を検出してもよい。あるいは、温度測定部36が局所的に異常な高温(または低温)を知覚すると、物体検出部40は、その位置に物体を検出してもよい。
物体検出部40は、物体を検出した旨を正体情報取得部41に通知する。
正体情報取得部41は、物体検出部40によって検出された物体の正体を突き止めるために必要な情報を収集するものである。具体的には、正体情報取得部41は、センサ部30によって取得されたセンシング情報を用いて、検出された物体が何であるのかを問い合わせる質問メッセージを生成する。そして、正体情報取得部41は、質問メッセージに応答して外部から入力された回答、すなわち、物体の正体情報を取得する。正体情報取得部41は、取得した正体情報を物体特定部42に通知する。
正体情報取得部41が正体情報を取得する方法について、具体例を挙げると、以下のとおりである。
例えば、図6の(a)および(b)に示すとおり、衝突の知覚に基づいて、物体検出部40が物体を検出した場合、正体情報取得部41は、まず、撮影部32に、衝突した物体を撮影させる。このとき、走行制御部45は、自走式掃除機1が、衝突が知覚されたのと反対の方向に後退するように走行駆動部15を制御してもよい。これにより、撮影部32は、自走式掃除機1と比較して十分な高さのある物体についても、その全体像を撮影することができる。そして、正体情報取得部41は、撮影部32によって撮影された物体の撮影画像を用いて質問メッセージd1を生成する。正体情報取得部41によって生成された質問メッセージd1は、例えば、通信部11を介してユーザUの通信端末装置3に送信される。これにより、ユーザUが実空間RSに滞在中であっても、外出中であっても、物体が検出されたらただちにユーザUに対して物体に関する問合せを行うことができる。
質問メッセージd1に応答するための通信端末装置3の構成について説明する。図20に示すとおり、通信端末装置3は、制御部310、通信部311、操作パネル312および記憶部313を備えている。これらの各部は、通信端末装置3において、自走式掃除機1における制御部10、通信部11、操作パネル12および記憶部13と同様の機能を果たす。なお、通信端末装置3において、操作パネル12は、タッチパネルとして設けられており、操作パネル12は、ユーザの操作を受け付ける入力部120と、通信端末装置3が処理する各種情報を表示する表示部121とによって構成される。
制御部310は、機能ブロックとして、質問メッセージ取得部70、GUI画面作成部71、および、正体情報生成部72を備えている。
図7は、通信端末装置3が着信した質問メッセージd1が、通信端末装置3の表示部に表示されたときの表示画面の一具体例を示す図である。図8および図9は、質問メッセージd1に対する回答を入力するためのGUI画面が、通信端末装置3の表示部に表示されたときの表示画面の一具体例を示す図である。通信端末装置3は、自走式掃除機1から質問メッセージd1を受信すると、図7に示すとおり、質問メッセージd1を自装置の表示部121に表示する。
質問メッセージ取得部70は、通信部311を介して質問メッセージd1を自走式掃除機1から受信するものである。
GUI画面作成部71は、受信された質問メッセージd1をユーザに提示し、ユーザから回答を受け付けるためのGUI画面を作成するものである。
正体情報生成部72は、ユーザから受け付けた回答に基づいて、問合せを受けた物体の正体を特定する正体情報d2を生成するものである。
ユーザUは、表示部121を見て、自走式掃除機1から質問メッセージd1が送信されたことを知ると、入力部120を操作して、自走式掃除機1に対する回答作成する。好ましくは、通信端末装置3のGUI画面作成部71は、表示部121に、ユーザUが回答を容易に行うためのグラフィカルユーザインターフェース(GUI;graphical user interface)を提示する。図7に示す例では、GUI画面作成部71は、表示画面に、まず、質問メッセージd1に含まれる撮影画像を表示して、ユーザUに、自走式掃除機1が検出した物体を見せる。それとともに、GUI画面作成部71は、ユーザUが回答を作成するためのGUI画面を呼び出すボタン(図7の「回答するボタン」)を表示する。GUI画面作成部71は、ユーザUによって「回答するボタン」がタッチされると、次に、例えば、図8および図9に示すとおり、回答を作成するためのGUI画面を表示する。GUI画面作成部71は、図8に示すとおり、物体を分類することによって正体を特定するために、予め定められている物体の呼称の一覧表(以下、物体特定品目)を表示して、その中から物体に該当する呼称をユーザUに選択させてもよい。上記物体特定品目を記憶する物体特定品目記憶部6は、例えば、自走式掃除機1、通信端末装置3および情報管理サーバ4が通信ネットワーク5を介してアクセスできるように、仮想部屋利用システム100上に設けられている。
図10は、物体特定品目記憶部6に記憶されている物体特定品目のデータ構造および具体例を示す図である。なお、図10において、物体特定品目をテーブル形式のデータ構造にて示したことは一例であって、物体特定品目のデータ構造を、テーブル形式に限定する意図はない。以降、データ構造を説明するためのその他の図においても同様である。
物体特定品目は、少なくとも、1つのカラムを有し、物体の正体を表す呼称の各々を記憶する。図10に示す例では、物体特定品目は、一例として、物体を分類する規模を大分類、中分類、小分類の3段階に分けるため、分類の規模ごとに3つのカラムを有する。
大分類に相当する「物体カテゴリ」のカラムには、物体をおおまかに分類するための呼称が記憶される。例えば、実空間RSに配置されているテレビ、エアコン、冷蔵庫、空気清浄機、扇風機などをまとめて「家電機器」に分類する。
中分類に相当する「物体名」のカラムには、物体を分類するための呼称が記憶される。本実施形態では、このカラムには、あらゆる物体の一般的な名称が格納される。例えば、家電機器であれば、「テレビ」、「エアコン」、家具であれば、「ソファ」、「テーブル」、インテリアであれば、「観葉植物」、「造花」、などである。
上述したとおり、物体特定品目は、少なくともいずれか1つの分類カラムを有していればよい。しかし、図10に示すとおり、物体特定品目が、数段階の分類規模に対応して複数の分類カラムを有している場合には、ユーザに最も馴染み深い呼称を用いたり、空間情報利用装置としての通信端末装置3の機能に応じてより詳細な呼称を用いたりして、呼称を分類規模に応じて選択的に用いることができるので利便性が高い。
図8に示す例では、GUI画面作成部71は、図10に示す物体特定品目を参照し、中分類の「物体名」のカラムから物体の呼称のリストを読み出して、これを表示部に表示している。これによりユーザは、呼称のリストの中から、撮影画像に写っている物体の呼称をタッチして選択するだけで、簡単に、自走式掃除機1に対する回答を作成することができる。例えば、ユーザUは、撮影画像に写っているのがテレビであるので、「テレビ」をリストから選択する。物体名がユーザUによって選択されると、GUI画面作成部71は、図9に示すGUI画面を表示する。すなわち、自走式掃除機1に対して回答を送信するための「送信するボタン」を表示する。
ユーザUによって、「テレビ」が選択された状態で、「送信するボタン」がタッチされると、正体情報生成部72は、自走式掃除機1からの質問メッセージd1に対する回答として、文字列「テレビ」を含む正体情報d2を自走式掃除機1に送信する。
なお、通信端末装置3は、図示しない音声認識部を有していてもよい。この場合、質問メッセージd1を見たユーザUが、音声で「テレビ」と回答する。正体情報生成部72は、音声認識部を介して入力された「テレビ」という音声から文字列「テレビ」を生成する。正体情報生成部72は、通信部311を介して、生成した文字列「テレビ」を含む正体情報d2を自走式掃除機1に送信する。
自走式掃除機1の正体情報取得部41は、通信端末装置3から正体情報d2を受信すると、これを、物体特定部42に通知する。
なお、正体情報生成部72は、ユーザUから回答として、文字列「テレビ」を受け付けるとともに、物体を視覚的に表す物体画像を受け付けてもよい。この場合、正体情報生成部72は、文字列「テレビ」と、テレビに対応する物体画像とを含む正体情報d2を自走式掃除機1に送信する。自走式掃除機1側では、検出された物体が、「テレビ」であるという情報とともに、その物体を表す物体画像(テレビのアイコンなど)を物体に紐付けて管理することが可能となる。
正体情報取得部41が正体情報を取得する他の方法について、図11に示す。
例えば、図6の(a)に示すとおり、衝突の知覚に基づいて、物体検出部40が物体を検出した場合、正体情報取得部41は、その場で、操作パネル12に質問メッセージd1を表示してもよい。操作パネル12に質問メッセージd1を表示した例を、図11に示す。この場合、正体情報取得部41は、質問メッセージd1として、「これは何ですか?」とユーザに対して質問するメッセージとともに、衝突が知覚された方向を示す矢印のマークを表示させることが好ましい。例えば、ユーザUは、自走式掃除機1の操作パネル12を見て、自走式掃除機1がテレビの前で止まっているので、自走式掃除機1が知りたい物体の正体が「テレビ」であると知る。ユーザUは、操作パネル12に表示された質問メッセージd1に対する回答として、「テレビ」と発声する。正体情報取得部41は、音声入力部31を制御して、ユーザUが発する音声を取得させる。正体情報取得部41は、「テレビ」と発音されたユーザUの音声から文字列「テレビ」を認識し、これを、質問メッセージd1に対する正体情報d2として取得する。操作パネル12に代えて、あるいは、加えて、正体情報取得部41は、音声出力部14を制御して、質問メッセージd1を音声出力させてもよい。また、正体情報取得部41は、操作パネル12に十分な領域を確保できる場合には、図7〜図9に示したのと同様のGUI画面を自走式掃除機1の操作パネル12に表示してもよい。そして、正体情報取得部41は、音声入力部31からに限らず、操作パネル12を介して入力された回答を、正体情報d2として取得してもよい。
正体情報取得部41は、回答として、物体の呼称を取得するだけでなく、当該物体が既知の物体である場合には、それが既知の物体である旨を示す情報を回答として受け付けてもよい。既知の物体とは、ここでは、空間情報記憶部2に記憶されている空間情報に既に登録がされている物体であって、物体の正体がすでに判明している物体を意味する。
例えば、ユーザが、音声によって回答を行う場合、ユーザが既知の物体であることを意味する決まり文句(例えば「登録済です」)を発声することが考えられる。あるいは、正体情報取得部41は、文字列「登録済」を取得することが考えられる。「登録済です」という音声を認識した正体情報取得部41は、次に、検出された物体が、空間情報記憶部2の空間情報に含まれている既知の物体の中のどの物体であるのかをユーザに問い合わせる。ユーザに問い合わせる方法としては、物体名のリストを操作パネル12または通信端末装置3の表示部に表示して、ユーザに選ばせてもよい。あるいは、空間情報に基づいて作成された仮想空間VSを操作パネル12または通信端末装置3の表示部に表示して、配置された物体のアイコンをユーザに選ばせてもよい。
このように、正体情報取得部41は、未知の物体に関する正体情報d2ではなく、別の場所に動いただけの既知の物体に関する情報を取得してもよい。この場合、物体登録部43が、当該既知の物体に関する位置座標の更新などを行えばよい。
物体特定部42は、正体情報取得部41によって取得された正体情報に基づいて、物体を特定するものである。本実施形態では、物体特定部42は、物体特定品目記憶部6の物体特定品目に定められた呼称(物体特定情報)を検出された物体に紐付けることにより、物体の正体を特定する。
正体情報取得部41から、文字列「テレビ」が含まれた正体情報d2が供給された場合には、物体特定部42は、文字列「テレビ」に基づいて、合致する呼称(物体名)を図10に示す物体特定品目から検索する。そして、物体特定品目における物体名「テレビ」を、物体検出部40が検出した物体に紐付ける。具体的には、物体特定部42は、検出された未知の物体に、新たな物体IDを割り当て、その物体にIDに、物体名「テレビ」を紐付ける。このようにして、物体に、物体特定情報(ここでは、物体名「テレビ」)を関連付けることにより、仮想部屋利用システム100において空間情報記憶部2および物体特定品目記憶部6にアクセスするすべての装置が、当該物体の正体を「テレビ」であると認識することが可能となる。
なお、正体情報取得部41は、小分類に対応する「物体機種」まで特定することが可能な正体情報d2を取得することができる。このような場合には、物体特定部42は、物体の正体を、図10の物体機種のカラムに基づいて、物体機種に基づいて特定してもよい。例えば、正体情報取得部41は、撮影部32によって取得されたテレビの撮影画像に基づいて、インターネットを介してテレビの商品カタログを取得し、撮影画像に写っているテレビと形状が一致するテレビを検索し、そのテレビの型番(機種)情報を取得することが考えられる。正体情報取得部41が、文字列「TV37−X」を含む正体情報d2を物体特定部42に供給すると、物体特定部42は、図10の物体機種のカラムに基づいて、物体の正体を、物体名「テレビ」、物体機種「TV37−X」であると特定することができる。
物体特定部42は、検出された物体の正体を特定する呼称(物体名、物体カテゴリまたは物体機種など)を、物体特定情報d3として、物体登録部43に通知する。
物体登録部43は、空間情報記憶部2に記憶されている空間情報を管理するものである。具体的には、物体登録部43は、実空間RSに存在する各物体についての情報を新規に登録したり、既知の物体の情報を更新したりする。
図12は、空間情報記憶部2に記憶されている、実空間RSの空間情報のデータ構造および具体例を示す図である。図13は、空間情報が定義する、実空間RSの座標系を示す図である。図12に示す空間情報は、図2に示す実空間RSのものである。空間情報は、実空間RSに存在する各物体の情報を含むものであり、仮想空間VSを作成するのに用いられる。
空間情報は、各物体の情報を格納した複数の物体レコード(物体情報)によって構成される。なお、図示しないが、本実施形態では、空間情報は、実空間RSに対応する座標系を定義する情報を含む。図13に示す例では、実空間RSの直方体の左下一番奥を原点((X、Y、Z)=(0、0、0))とする3次元の座標系を定義する。例えば、実空間RSのサイズは一例として、幅(X軸)1000×奥行き(Y軸)500×高さ(Z軸)600と定義されている。サイズの数値は、実寸サイズである必要はない。よって、数字には単位は示されない。
空間情報の各物体レコードは、実空間RSに配置された物体を、先に定義した座標系の対応する位置にプロットするために、少なくとも、物体の位置座標のカラムを有する。図12に示す例では、物体登録部43は、物体特定部42によって特定された物体IDおよび物体特定情報に関連付けて、位置座標のカラムに各物体の位置座標を格納する。
なお、物体登録部43は、各物体の位置座標d4を、後述の位置座標特定部44から取得する。
さらに、物体登録部43は、各物体のサイズ情報を取得して各物体に関連付けて格納することが好ましい。この場合、図12に示すとおり、空間情報は、各物体のサイズ情報を格納するためのサイズ情報のカラムを有している。物体登録部43は、各物体のサイズ情報d5を、後述のサイズ特定部46から取得する。
さらに、物体登録部43は、各物体の向き情報を取得して各物体に関連付けて格納することが好ましい。この場合、図12に示すとおり、空間情報は、各物体の向き情報を格納するための向き情報のカラムを有している。物体登録部43は、各物体の向き情報d6を、後述の向き特定部47から取得する。
さらに、物体登録部43は、各物体の画像を取得して各物体に関連付けて格納することが好ましい。この場合、図12に示すとおり、空間情報は、各物体の画像(または、画像の保存先アドレス)を格納するための物体画像のカラムを有している。物体の画像は、物体を平面的に表現した2D画像であってもよいし、物体を立体的に表現した2D画像であってもよいし、物体を多方面から立体的に表示できる3D画像であってもよい。物体の画像は、例えば、以下のようにして取得される。正体情報取得部41が、取得した正体情報d2(物体名、物体機種)に関連付けられた画像を、通信ネットワーク5を介して外部から検索して取得することができる。あるいは、撮影部32が取得した撮影画像から、正体情報取得部41が、画像処理によって物体を切り出して当該物体の画像とすることが考えられる。あるいは、物体特定品目記憶部6において、各呼称(物体カテゴリ、物体名、または、物体機種)ごとに、予め固定の画像が関連付けて記憶されていてもよい。この場合、物体特定部42は、物体の正体として、呼称(物体特定情報)を特定するとともに、特定した呼称に紐付けられた画像を当該物体の画像として取得すればよい。
位置座標特定部44は、物体検出部40によって検出された物体の位置座標を取得するものである。本実施形態では、位置座標特定部44は、物体の中心を推測し、推測した中心の、座標系における座標値を、当該物体の位置座標として特定する。
走行制御部45は、自走式掃除機1の走行駆動部15を制御して、自走式掃除機1を自走させるものである。走行制御部45は、自走式掃除機1に係る走行情報を位置座標特定部44に供給することができる。走行情報は、自走式掃除機1が、充電台からどの方向にどれだけの距離を移動したのかを示す情報、または、予め定められている走行ルートのどのあたりをどの向きに走行していたのかを示す情報などを含む。
位置座標特定部44は、まず、走行制御部45から供給された走行情報に基づいて、物体検出部40が物体を検出したときの自走式掃除機1の位置座標および向きを特定する。自走式掃除機1の位置座標とは、例えば、図13に示すとおり、自走式掃除機1の中心であり、向きとは、自走式掃除機1の走行方向(図13の自走式掃除機1の中心から延びる矢印の方向)である。
次に、位置座標特定部44は、センサ部30が取得したセンシング情報と、先に特定した自走式掃除機1の位置座標とに基づいて、検出された物体の中心を推測する。例えば、位置座標特定部44は、衝突検知部37によって検知された衝突の方向、撮影部32によって撮影された物体の撮影画像、測距部33によって測定された自走式掃除機1と物体との距離などに基づいて物体の中心の、上記座標系における位置座標を特定する。
なお、位置座標特定部44は、後述するサイズ特定部46によって特定された物体のサイズ情報に基づいて物体の中心を推測してもよい。
あるいは、位置座標特定部44は、センシング情報(撮影部32からの撮影画像など)に基づいて、既知の物体と、新たに検出された物体との位置関係を把握し、既知の物体の位置座標に基づいて、検出された物体の中心を推測してもよい。
位置座標特定部44は、推測した物体の中心の、座標系における位置座標d4を求め、これを物体登録部43に供給する。
サイズ特定部46は、物体検出部40によって検出された物体のサイズを特定するものである。具体的には、サイズ特定部46は、物体に外接する直方体(図15参照)を認識し、当該直方体のサイズ情報を取得する。サイズ情報は、図13の座標系における、物体の直方体の幅(X)、奥行(Y)、および、高さ(Z)の値を含む情報である。
サイズ特定部46が、物体のサイズ情報を取得する方法について、具体例を挙げると、以下のとおりである。
例えば、物体特定部42によって、物体の正体として物体機種(物体特定情報)が特定される場合には、サイズ特定部46は、特定された物体機種に基づいて、寸法表から物体のサイズを取得することができる。寸法表の一具体例を図14に示す。寸法表は、図示しないサーバにアップロードされており、通信ネットワーク5を介して自走式掃除機1の通信部11が取得できるものであってもよいし、自走式掃除機1の記憶部13が保持するものであってもよい。例えば、物体特定部42が、検出された物体の機種を、図10の物体特定品目から「TV60−LL」と特定したとする。この場合、サイズ特定部46は、図14の寸法表を参照して、物体機種「TV60−LL」に関連付けられた、「TV60−LL」モデルのテレビの実寸サイズ(幅×奥行×高さ=152.7cm×25.5cm×94.1cm)を取得する。そして、サイズ特定部46は、取得した実寸サイズを、図13の座標系におけるサイズ情報(幅(X)×奥行(Y)×高さ(Z))に変換する。実寸サイズ○○cmが、図13の座標系の何目盛に相当するのかを示すスケール情報は、予め、自走式掃除機1の記憶部13が保持している。よって、サイズ特定部46は、物体の実寸サイズから、座標系におけるサイズ情報を求めることが可能である。
サイズ特定部46が物体のサイズ情報を取得する他の方法について、図15に示す。
例えば、図15に示すとおり、物体検出部40が、空間情報記憶部2に未登録の物体(以下、未知の物体)62を検出したとする。この場合、撮影部32は、空間情報記憶部2に登録済の物体(既知の物体)61とともに、未知の物体62を撮影し、撮影画像60を得る。サイズ特定部46は、既知の物体61が一緒に写っている未知の物体62の撮影画像60を画像処理し、既知の物体61を比較対象として未知の物体62の相対的なサイズを把握する。これにより、サイズ特定部46は、既知の物体61のサイズ情報に基づいて、未知の物体62のサイズ情報を求めることができる。
サイズ特定部46は、検出された未知の物体について取得したサイズ情報d5を、物体登録部43に供給する。
向き特定部47は、物体検出部40によって検出された物体の向きを特定するものである。例えば、物体が構造上、正面および背面を有する場合に、向き特定部47は、物体の正面がどの面であるのか(物体がどちらの方向に向いているのか)を特定する。具体的には、向き特定部47は、テレビ、冷蔵庫などがどの向きに設置されているのかを特定する。あるいは、物体が動作して特定の方向に何らかの作用を及ぼす場合に、物体の動作方向を特定する。具体的には、向き特定部47は、エアコン、扇風機、空気清浄機などによって生じる風の向きを特定する。
向き特定部47が、物体の向きを特定する方法について、具体例を挙げると、以下のとおりである。
本実施形態では、向き特定部47は、物体の直方体において、幅に対する奥行が所定以上小さい形状(薄型テレビなどのような平板形状)を有する物体について物体の向きを特定することができる。具体的には、向き特定部47は、上記物体が、壁を背にして壁沿い(壁と並行)に設置されているのか、空間(部屋)の角で2面の壁を背にして斜めに設定されているのかを判断することにより、物体の向きを特定する。
図16の(a)および(b)は、撮影部32によって撮影された撮影画像60の一例を示す図である。図16の(c)および(d)は、実空間(部屋)と未知の物体62との位置関係を模式的に示す図であり、実空間(部屋)を上から見た図である。
未知の物体62について、図16の(a)に示す撮影画像60が得られたとする。向き特定部47は、撮影画像60の中から、2面の壁の境界線63を検出する。壁の境界線の検出は、公知のエッジ検出技術、モデルマッチング技術などを用いて実現すればよい。
向き特定部47は、境界線63が、未知の物体62によって欠けているか否かを判定する。図16の(a)に示すように、境界線63が一部も欠けずに天井から床まで写っている場合には、向き特定部47は、平板形状の物体が、壁を背にして壁沿い(壁と並行)に設置されていると判定する。そして、向き特定部47は、図16の(c)に示すとおり、未知の物体62が、第1壁を背にして、第1壁の向かいの壁(第3壁)の方を向いていると判断し、未知の物体62の向きを同図の矢印のように特定する。
一方、未知の物体62について、図16の(b)に示す撮影画像60が得られたとする。向き特定部47は、撮影画像60の中から、2面の壁の境界線63を検出する。図16の(b)に示すように、境界線63が一部でも未知の物体62によって欠けて写っている場合には、向き特定部47は、平板形状の物体が、角で2面の壁を背にして斜めに設定されている判定する。そして、向き特定部47は、図16の(d)に示すとおり、未知の物体62が、第1壁および第2壁の角を背にして、第3壁と第4壁との境界線の方を向いている(斜め向きである)と判断し、未知の物体62の向きを同図の矢印のように特定する。
向き特定部47は、未知の物体62について特定した向きを表す向き情報を物体登録部43に供給する。
なお、図16においては、発明の理解を助けるために、実空間(部屋)の直方体の4つの側面、上面、および、底面のそれぞれを、第1壁、第2壁、第3壁、第4壁、天井、および、床と称している。しかし、座標系においても、同様に、実空間(部屋)の直方体の6面を、第1壁、第2壁、第3壁、第4壁、天井、および、床を定義しておくことが好ましい。例えば、図17に示すとおり、座標系において、実空間(部屋)に対応する直方体のZ座標が最大(600)の面を「天井」、最小(0)の面を「床」、Y座標が最小(0)の面を「第1壁」、X座標が最大(1000)の面を「第2壁」、Y座標が最大(500)の面を「第3壁」、X座標が最小(0)の面を「第4壁」と定義する。
上記構成によれば、X、Y、Zの各軸の正の方向を‘1’とし、負の方向‘0’として、容易な形式で、向き情報を生成することが可能となる。
例えば、向き特定部47は、図16の(c)に示す、第3壁の方を向いた未知の物体62の方向情報を、「Y=‘1’」と生成することができる。また、向き特定部47は、図16の(d)に示す、第3壁および第4壁の方を向いた未知の物体62の方向情報を、「X=‘0’、Y=‘1’」と生成することができる。
本実施形態では、幅と奥行の比率がほぼ同じ形状(冷蔵庫などのような柱状)を有する物体であっても、当該物体が実空間(部屋)の角に設置されている場合には、当該物体の向きを特定することができる。具体的には、向き特定部47は、未知の物体の撮影画像において、上記物体の正面の領域と、物体が設置されている角を形成する2面の壁の境界線とを特定し、両者の位置関係に応じて当該物体の向きを特定する。
図18の(a)および(b)は、別の部屋において、撮影部32によって撮影された撮影画像60の一例を示す図である。図18の(c)および(d)は、上記部屋と未知の物体62との位置関係を模式的に示す図であり、部屋を上から見た図である。
未知の物体62について、図18の(a)に示す撮影画像60が得られたとする。向き特定部47は、撮影画像60の中から、境界線63と、未知の物体62の正面を写している正面領域64とを検出する。例えば、未知の物体62が冷蔵庫である場合には、冷蔵庫の正面の特徴部分(取っ手の部分など)を手掛かりにして、正面領域64を検出すればよい。
向き特定部47は、図18の(a)に示すように、撮影画像60において、正面領域64が、境界線63よりも左寄り、すなわち、第1壁寄りにある場合には、図18の(c)に示すように、物体は、第2壁を背にして設置され、第4壁の方を向いていると判断する。そして、向き特定部47は、未知の物体62の向きを図18の(c)の矢印のように特定する。
向き特定部47は、未知の物体62について特定した向きを表す向き情報「X=‘0’」を物体登録部43に供給する。
一方、未知の物体62について、図18の(b)に示す撮影画像60が得られたとする。向き特定部47は、境界線63および正面領域64を検出する。
向き特定部47は、図18の(b)に示すように、撮影画像60において、正面領域64が、境界線63よりも右寄り、すなわち、第2壁寄りにある場合には、図18の(d)に示すように、物体は、第1壁を背にして設置され、第3壁の方を向いていると判断する。そして、向き特定部47は、未知の物体62の向きを図18の(d)の矢印のように特定する。
向き特定部47は、未知の物体62について特定した向きを表す向き情報d6(例えば、「Y=‘1’」)を物体登録部43に供給する。
さらに、向き特定部47は、正面領域64に対して、未知の物体62の側面領域65を検出することが好ましい。
この場合、向き特定部47は、正面領域64と側面領域65との位置関係に応じて、物体の向きを特定することができる。
図18に示すように、正面領域64と境界線63との位置関係のみを考慮して、あらゆるパターンの撮影画像60から、すべて、正しい向きを判断することは困難である。例えば、図23の(a)および(b)に示す例では、正面領域64と境界線63との位置関係のみからでは、向き特定部47は正しい向きを特定することはできない。
そのため、向き特定部47は、正面領域64だけでなく、側面領域65を検出し、側面領域65と正面領域64との位置関係も考慮することが好ましい。これにより、向き特定部47は、未知の物体62の向きをより精度良く判断することが可能となる。
具体的には、向き特定部47は、図18または図23の(a)に示すように、撮影画像60において、正面領域64が、側面領域65よりも左(第1壁側)にある場合には、図18の(c)に示すように、物体は、第4壁の方を向いていると判断する。そして、向き特定部47は、未知の物体62の向きを図18の(c)の矢印のように特定する。
一方、向き特定部47は、図18または図23の(b)に示すように、撮影画像60において、正面領域64が、側面領域65よりも右(第2壁側)にある場合には、図18の(d)に示すように、物体は、第3壁の方を向いていると判断する。そして、向き特定部47は、未知の物体62の向きを図18の(d)の矢印のように特定する。
以上述べてきたとおり、本発明の自走式掃除機1の構成によれば、物体登録部43は、物体検出部40が検出した未知の物体について、各部から物体に関する情報を受け取り、それを元に物体レコードを作成し、空間情報記憶部2に記憶されている空間情報に新規に登録する。
より具体的には、図12に示すとおり、物体検出部40によって検出された物体に対して割り当てられた物体IDに、物体特定情報、位置座標、サイズ、向き、および、画像を関連付けて空間情報記憶部2に記憶する。物体特定情報は、物体特定部42から供給された、当該物体の正体を表す呼称(物体カテゴリ、物体名、または、物体機種など)である。位置座標は、位置座標特定部44から供給された、座標系における当該物体の位置を示す情報である。サイズ情報は、サイズ特定部46から供給された、座標系における当該物体の大きさを示す情報である。向き情報は、向き特定部47から供給された、座標系における当該物体の向きを示す情報である。物体画像は、正体情報取得部41または物体特定部42によって取得された、当該物体を視覚的に表す情報である。
以上のとおり、本願発明の空間情報生成装置によれば、ユーザの手を煩わせることなく、新しく検出された未知の物体の情報を、空間情報に新規に登録すること可能になる。
そして、通信端末装置3などの空間情報利用装置は、空間情報記憶部2に記憶された空間情報を利用して、実空間RSに対応する仮想空間VSを作成し、自装置の表示部に仮想空間VSを表示して、ユーザUに提示することができる。仮想空間VSは、実空間RSを模して作成されたものであるので、ユーザUにとって便利でかつ面白味のあるユーザインターフェースを実現することができる。空間情報利用装置としての通信端末装置3の機能については後に詳述する。
〔処理フロー〕
図19は、自走式掃除機1の空間情報生成機能に係る処理の流れを示すフローチャートである。
自走式掃除機1が、本来の機能(本実施形態では掃除機能)を実行するために、実空間RSを自走する。このとき、自走式掃除機1のセンサ部30の各部は、実空間RSにおける周囲環境をセンシングする(S101)。得られたセンシング情報は、物体検出部40に供給される。
物体検出部40は、センサ部30から得られたセンシング情報を分析し、物体が存在するか否かを判断する(S102)。物体検出部40が、センシング情報に基づいて物体の存在を認識した場合には、すなわち、実空間RSにおいて物体を検出した場合には(S103においてYES)、正体情報取得部41が、外部に向けて、検出された物体に関する問い合わせを実施する(S104)。より詳細には、正体情報取得部41は、検出された物体が何であるのかをユーザUに問い合わせるメッセージを含む質問メッセージd1を生成し、これを、各種出力先(操作パネル12、音声出力部14など)に出力する(例えば、図7および図11など)。
ユーザUは、出力された質問メッセージd1に対する回答を、各種入力手段を用いて自走式掃除機1に入力する。正体情報取得部41は、通信部11、操作パネル12、または、音声入力部31などの各種入力手段を介して、ユーザUからの回答を、正体情報d2として取得する(S105)。
正体情報取得部41によって正体情報d2が取得されると(S105においてYES)、物体特定部42は、正体情報d2に基づいて、物体の正体を特定する。具体的には、物体特定部42は、物体特定品目記憶部6に記憶されている物体特定品目から、正体情報d2と合致する物体特定情報(物体カテゴリ、物体名、物体機種などの物体に対する呼称)を選択し、これをS103にて検出された物体に紐付ける(S106)。ここでは、物体特定部42は、当該物体に対して新規の物体IDを割り当て、その物体IDに上記物体特定情報を関連付ける。
さらに、サイズ特定部46が、S103にて検出された物体のサイズ情報を特定してもよい(S107)。さらに、向き特定部47が、S103にて検出された物体の向き情報を特定してもよい(S108)。
一方で、位置座標特定部44は、S103にて検出された物体の位置座標を特定する(S109)。例えば、実空間RSに対応する座標系において、上記物体を直方体として捉えたときの中心の位置座標を、物体の位置座標として特定する。なお、図19に示す処理フロー、特に、S104〜S109は、図示される特定の順序で行われることを意図していない。具体的には、S107およびS108は省略されてもよく、また、位置座標を特定するステップ(S109)は、S104より先に実行されてもよい。
最後に、物体登録部43は、上流の各部から得られた、物体についての各種情報に基づいて、当該物体の物体レコードを生成し、空間情報記憶部2の空間情報に登録する(S110)。例えば、図12に示すとおり、物体登録部43は、1つの新規の物体について、
物体IDに関連付けて、S106で得られた物体特定情報、S109で得られた位置座標、S107で得られたサイズ情報、および、S108で得られた向き情報を、空間情報記憶部2に記憶する。さらに、物体登録部43は、正体情報取得部41または物体特定部42によって取得された物体画像を上記物体IDに関連付けて空間情報記憶部2に記憶してもよい。
上記方法によれば、ユーザの手を煩わせることなく、新しく検出された未知の物体の情報を、空間情報に新規に登録すること可能になる。
なお、本発明の空間情報生成機能に係る処理方法は、図19に示すとおり、登録済処理を実行するステップ(S105’)を含んでいてもよい。登録済処理とは、S104の質問メッセージに対する、ユーザからの回答が、具体的な物体の正体に係る情報ではなく、「物体は、未知の物体ではなく、登録済の既知の物体である」主旨のメッセージを含んでいる場合に対応するための処理である。
自走式掃除機1は、検出された物体が、新規の物体のつもりで問い合わせたが、ユーザからの回答によって、当該物体が既知の物体であると判明した場合、下流の工程の一部(S106、S107など)を省略することが可能である。
図24は、自走式掃除機1の登録済処理の流れを示すフローチャートである。
図19のS105において、質問メッセージd1に対する回答が受領されると(S105においてYES)、次に、正体情報取得部41は、受領した回答が「登録済」というキーワードを含んでいるか否かを判定する(S201)。ここでは、上述したとおり、ユーザは、S104の問い合わせに対して、問い合わせされている物体が既知の物体である場合に、当該物体が既知の物体であることを意味する決まり文句(例えば「登録済です」)を発声し回答することが想定されている。あるいは、ユーザが文字列「登録済」を入力したり、「登録済」の項目を選択したりして回答することが想定されている。もちろん、それ以外の単語であっても、受領した回答が「登録済」である旨解釈できるような文章となっていればよいことは言うまでもない。
受領した回答が、正体情報d2であって、「登録済」が含まれていない、つまり、当該物体が既知の物体である旨の回答が得られなかった場合には、制御部10は、S106に復帰し、既述の方法で、新規の物体について物体レコードを登録する(S106〜S110)。
一方、正体情報取得部41は、受領した回答に「登録済」が含まれている場合には(S201においてYES)、2回目の質問メッセージを生成し、同じ問合せ先に当該質問メッセージを出力する(S202)。ここで、2回目の質問メッセージは、S104の1回目の質問メッセージとは異なる。すなわち、正体情報取得部41は、問い合わせ中の物体が、空間情報記憶部2の空間情報に登録されている既知の物体の中のどの物体であるのかを、2回目の質問メッセージによってユーザに問い合わせる。2回目の質問メッセージは、既述のとおり、1回目の質問メッセージと同様の方法でユーザに提示され、同様の方法で回答が受け付けられればよい。
こうして、正体情報取得部41は、未知の物体に関する正体情報d2ではなく、別の場所に動いただけの既知の物体に関する物体特定情報を回答として取得することができる。正体情報取得部41は、既知の物体の物体特定情報を受領すると(S203においてYES)、検出された、置き場所が変化した物体について、必要な情報が更新されるように各部(位置座標特定部44、向き特定部47、物体登録部43)に伝達する。具体的には、既知の物体の置き場所が変化したケースでは、物体のサイズ、および、物体の正体には変化がない。そこで、物体特定部42およびサイズ特定部46による動作は省略される。一方、物体の位置座標は当然変化し、物体の向きも変化した可能性がある。そこで、向き特定部47と位置座標特定部44とが、検出された既知の物体について新しい情報を取得する。
向き特定部47は、既述の方法で、上記既知の物体について新しい向き情報を特定する(S204)。また、位置座標特定部44は、既述の方法で、上記既知の物体について新しい位置座標を特定する(S205)。新しく特定された向き情報および位置座標は、物体登録部43に供給される。
最後に、物体登録部43は、S203の回答(すなわち、物体特定情報)に基づいて特定された物体の物体レコードを更新する(S206)。具体的には、上記物体レコードのうち、位置座標および向き情報を、新しく特定されたものに更新する。
上記方法によれば、正体情報取得部41が誤って既知の物体について正体を問い合わせる処理を行ったとしても、重複して実行する必要がない処理(物体特定部42およびサイズ特定部46の処理など)を省略し、自走式掃除機1全体の処理負荷を軽減することが可能となる。
〔変形例〕
本発明の自走式掃除機1の制御部10は、機能ブロックとして、さらに、物体判定部48を備えていることが好ましい。
物体判定部48は、物体検出部40によって検出された物体が、空間情報記憶部2の空間情報に未登録の未知の物体であるのか、空間情報に既に登録されている既知の物体であるのかを判定するものである。
物体判定部48が備えられている構成では、空間情報は、図12に示すとおり、カラム「位置座標」に加えて、カラム「物体画像」を少なくとも有している。
物体検出部40が物体を検出すると、撮影部32が検出された物体を撮影し、撮影画像を得る。物体判定部48は、上記撮影画像に写る物体を、空間情報に登録されている各物体の物体画像と比較する。物体判定部48は、撮影画像に写る物体が、登録済の物体画像に写る物体と同じものである場合には、物体検出部40が今回検出した物体が既知の物体であると判定する。ここで、撮影画像に写る物体が、登録済の物体画像に写る物体と同じであるか否かを判断する方法は特に限定されない。例えば、物体判定部48が、画像処理によって、各画像から色、形状などに基づいて特徴量を抽出し、特徴量の一致度が所定閾値以上か否かによって両画像の同一性を判断することが考えられる。
物体判定部48は、検出された物体が、未知であるのか既知であるのかを示す判定結果を、正体情報取得部41などの各部に供給する。
正体情報取得部41は、物体検出部40によって検出された物体が未知の物体であると判定された場合には、実施形態1で述べた方法によって未知の物体の正体を特定するために、外部に問合せを行って情報を収集する。
一方、物体が既知の物体であると判定された場合には、正体情報取得部41は、外部への問合せを行わない。
なお、物体が既知の物体である場合、物体判定部48は、画像が一致した既知の物体が検出されたことを、物体登録部43および位置座標特定部44にも通知する。位置座標特定部44は、センサ部30が取得したセンシング情報に基づいて、当該既知の物体の新しい位置座標を特定する。物体登録部43は、検出された既知の物体について、新しい位置座標に更新する。物体が既知の物体である場合には、すでに正体、サイズ、向きなどが判明しているので、物体特定部42、サイズ特定部46および向き特定部47の各部は動作する必要はない。
このように、物体判定部48を備えていることにより、既知の物体が単に別の場所に移動しただけである場合に、すでに登録済の情報を重複して収集したり、下流の各部が無駄な処理を重複して実行したりすることを回避することができる。
さらに、物体検出部40は、自走式掃除機1が行う巡回の間に、物体検出部40が物体を検出した検出の履歴を所定期間記憶部13に記憶することが好ましい。これにより、物体判定部48は、物体が未知か既知かの判定をより正確に行うことが可能となる。
例えば、同型の物体(例えば、テレビ)がすでに1台、既知の物体として実空間RSに設置され、空間情報に登録されているとする。ここで、登録されているのとは別の位置で、テレビが検出されたとする。この場合、上述のように、画像を突き合わせるだけでは、既知の物体(テレビ)が移動したのか、2台目の新しいテレビが新規に設置されたのかを正確に判断することができない。そこで、物体判定部48は、画像に基づいて、検出された物体が、登録済の既知の物体と同一と判断した場合には、さらに、検出の履歴を参照する。そして、当該既知の物体に関連付けられている位置座標にて当該物体が検出されず、かつ、上記位置座標とは異なる場所で、今回物体が検出されたという場合には、物体判定部48は、当該既知の物体が、今回検出された場所に移動したと判定する。この場合には、物体登録部43が、位置座標の更新を行うのみで、その他の情報収集や登録作業を省略することができる。
一方、当該既知の物体に関連付けられている位置座標にて当該物体が検出されているにもかかわらず、今回の別の場所で同型の物体が検出されたという場合には、物体判定部48は、画像が一致した登録済の既知の物体が検出されたわけではなく、同型ではあるが、未登録の物体(すなわち、未知の物体)が検出されたと判定する。この場合は、実施形態1に記載したとおり、下流の各部が、この未知の物体に関して、情報の収集および登録作業を実行すればよい。
以上のとおり、物体判定部48は、検出の履歴を参照することにより、同型の物体が複数回検出された場合に、既知の物体(登録済のテレビ)が移動したのか、未知の物体(2台目の新しいテレビ)が新規に設置されたのかを正確に判断することができる。
〔通信端末装置の機能構成−空間情報利用機能〕
ユーザの通信端末装置3は、空間情報記憶部2に記憶されている実空間RSの空間情報を利用して、実空間RSを模した仮想空間VSを作成する機能を備えている。
図20に示すとおり、通信端末装置3の制御部310は、機能ブロックとして、空間情報取得部73および仮想空間作成部74を備えている。
空間情報取得部73は、通信端末装置3の表示部121に表示すべき仮想空間の元となる空間情報を取得するものである。空間情報取得部73は、通信端末装置3の端末IDまたはユーザIDなどを、空間情報記憶部2を管理する情報管理サーバ4に送信し、通信端末装置3のユーザUの部屋に対応する空間情報をリクエストする。そして、情報管理サーバ4から返ってきた空間情報を、仮想空間作成部74に供給する。
仮想空間作成部74は、通信端末装置3の表示部121に表示すべき仮想空間を作成するものである。仮想空間作成部74は、空間情報記憶部2に記憶された空間情報に登録された物体レコード(物体特定情報、位置座標、サイズ情報、向き情報、および、物体画像など)に基づいて、個々の物体を表す図形を座標系に配置して、仮想空間VSを作成する。
仮想空間作成部74が作成する仮想空間VSが、どのような表示形態を持つのかについては特に限定されない。空間情報取得部73が、空間情報記憶部2から、物体についてどのような情報を取得するのかによって、様々な表示形態が考えられる。
図21は、仮想空間作成部74が作成した仮想空間VSの表示形態の一具体例を示す図である。図21は、仮想空間作成部74によって作成された仮想空間VSが通信端末装置3の表示部121に表示されている様子を示している。
図21に示す仮想空間VSの表示形態は、仮想空間VSを、実空間RSを上から見たときの平面図として示すものであり、各物体を、固定の図形およびそれぞれの物体名で示すものである。
仮想空間作成部74が、図21に示す表示形態の仮想空間VSを作成する構成では、自走式掃除機1は、空間情報記憶部2に記憶される空間情報に、物体ID、物体特定情報(物体名)、および、位置座標を登録するための構成を有しているだけでよい。また、自走式掃除機1の位置座標特定部44は、位置座標として、X座標値およびY座標値からなる2次元座標を取得するだけでよい。
仮想空間作成部74は、実空間RSに対応するX軸とY軸とがなす2次元座標系に、仮想空間VSをプロットする。そして、各物体について、物体特定情報(物体名)を固定の図形に組み合わせて、当該図形を、2次元の位置座標に基づいて、仮想空間VSに配置する。結果として、仮想空間作成部74は、図21に示す平面的な仮想空間VSを表示部121に表示することができる。
例えば、この仮想空間VSは、ユーザUが、実空間RSに存在する各物体を管理したり、遠隔操作したりするためのユーザインターフェースとして用いることが可能である。例えば、ユーザUは、仮想空間VS上に配置されている物体のうち、所望の物体に対応するアイコンをタッチする。通信端末装置3は、このユーザUのタッチ操作に応じて、タッチされたアイコンに対応する物体に関して何らかの情報を提供したり、当該物体に対して何らかの働きかけを行ったりすることが考えられる。
仮想空間VS上では、実空間RSに実際に配置されているとおりに各物体が配置される。そのため、ユーザUが自分の部屋を俯瞰するかのような感覚で操作できるユーザインターフェースを実現することが可能となる。
空間情報記憶部2に記憶されている空間情報において、位置座標が、図12に示すとおり、3次元座標(幅(X)、奥行き(Y)、高さ(Z))である場合には、仮想空間作成部74は、実空間RSに対応する直方体を、図13に示す座標系にプロットして、立体的な仮想空間VSを作成する。そして、仮想空間作成部74は、各物体の3次元座標に基づいて、各物体を仮想空間VSに配置する。
上記構成によれば、表示部121に、立体的な表現によって、実空間RSにより近い表示形態の仮想空間VSを表示することができる。結果として、ユーザUがより直感的に自分の部屋を操作することが可能なユーザインターフェースを実現することが可能となる。
空間情報記憶部2に記憶されている空間情報が、図12に示すとおり、さらに、各物体のサイズ情報を有しているデータ構造である場合には、仮想空間作成部74は、仮想空間VSに配置する各物体の図形(アイコン)のサイズを、上記サイズ情報に基づいて変更する。
上記構成によれば、各物体の図形は、実空間RSにおける当該物体の大きさを模して、仮想空間VSにおける相対的に同じサイズで仮想空間VSに配置される。よって、実空間RSにより近い表示形態の仮想空間VSを表示することができる。結果として、ユーザUがより直感的に自分の部屋を操作することが可能なユーザインターフェースを実現することが可能となる。
空間情報記憶部2に記憶されている空間情報が、図12に示すとおり、さらに、各物体の物体画像を有しているデータ構造である場合には、仮想空間作成部74は、仮想空間VSに配置する物体の図形に、上記物体画像を使用することが好ましい。
上記構成によれば、仮想空間作成部74は、物体の実際の色・形状などを模した図形を配置した仮想空間VSを作成することができる。このような仮想空間VSが表示部121に表示されれば、ユーザUは、一目見て、仮想空間VSに何が配置されているのかを容易に確認することができる。よって、実空間RSにより近い表示形態の仮想空間VSを表示することができる。結果として、ユーザUがより直感的に自分の部屋を操作することが可能なユーザインターフェースを実現することが可能となる。
空間情報記憶部2に記憶されている空間情報が、図12に示すとおり、さらに、各物体の向き情報を有しているデータ構造である場合には、仮想空間作成部74は、図形の形状、色、記号などを変更することにより、物体の向きを表現した図形を仮想空間VSに配置することが好ましい。
例えば、仮想空間作成部74は、物体の向き情報に応じて、固定の図形に対して方向を示す矢印の記号を付加することができる。あるいは、仮想空間作成部74は、物体の正面または背面を表す図形の一部を異なる色にすることができる。あるいは、仮想空間作成部74は、上述の物体画像を仮想空間VSに配置する図形に使用する場合には、上記向き情報に合致する物体画像を、当該物体を様々な方向から捉えた物体画像の中から選択することができる。あるいは、物体画像が3D画像である場合には、仮想空間作成部74は、物体を回転させるなどして当該3D画像を編集し、上記向き情報に合致した物体画像を仮想空間VSに配置する。
図22は、仮想空間作成部74が作成した仮想空間VSの表示形態の一具体例を示す図である。図22に示す表示形態を有した仮想空間VSは、この状態で、表示部121に表示される。
図22に示す仮想空間VSの表示形態は、仮想空間VSを、斜め上から見たときの実空間RSを立体的に示すものであり、各物体を、対応する物体画像で示すものである。
仮想空間作成部74は、実空間RSに対応するX−Y−Z軸がなす座標系に、直方体の仮想空間VSをプロットする。そして、各物体の物体画像を、3次元の位置座標に基づいて、配置する。さらに、図22に示す例では、仮想空間作成部74は、各物体のサイズ情報を参照し、上記物体画像の大きさを調節する。さらに、仮想空間作成部74は、各物体の向き情報を参照し、実際に当該向きに設置された物体が、上記斜め上から見られたときと同じ見え方になる物体画像を選択する(あるいは同じ見え方になるように物体画像を編集する)。さらに、仮想空間作成部74は、図22に示すように、物体の向きを表現する図形として、物体が出力する風などを表現した図形を物体の図形に追加してもよい。
このように向き情報を利用して、物体の図形の形状・色などを編集することにより、実空間RSにより一層近い表示形態の仮想空間VSを表示することができる。結果として、ユーザUがより直感的に自分の部屋を操作することが可能なユーザインターフェースを実現することが可能となる。
上述の実施形態において、仮想部屋利用システム100を構成する、空間情報生成装置としての自走式掃除機1、空間情報利用装置としての通信端末装置3および情報管理サーバ4、その他仮想部屋利用システム100が含み得る各種装置、ならびに、空間情報記憶部2および物体特定品目記憶部6などの各種記憶部は、クラウドコンピューティングによって実現されてもよい。
また、ここで言う「システム」とは、複数の装置(又は特定の機能を実現する機能モジュール)が論理的に集合した物のことを言い、各種装置、各種記憶部、および、機能モジュールが単一の筐体内にあるか否かは特に問わない。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
〔ソフトウェアによる実現例〕
最後に、自走式掃除機1および通信端末装置3の各ブロック、特に、物体検出部40、正体情報取得部41、物体特定部42、物体登録部43、位置座標特定部44、走行制御部45、サイズ特定部46、向き特定部47および物体判定部48、ならびに、質問メッセージ取得部70、GUI画面作成部71、正体情報生成部72、空間情報取得部73および仮想空間作成部74は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、自走式掃除機1および通信端末装置3は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである自走式掃除機1(または通信端末装置3)の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記自走式掃除機1(または通信端末装置3)に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、自走式掃除機1および通信端末装置3を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR(High Data Rate)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明の空間情報生成装置は、実空間をセンシングするあらゆる情報処理装置に適用することが可能であるが、好ましくは、実空間を自走して実空間の物体の存否をセンシングする自走式機器(例えば、自走式掃除機など)に適用される。さらに、本発明の空間情報生成装置によって生成された物体情報は、空間情報利用装置が実空間に対応する仮想空間を作成するために、好適に用いられる。そのため、本発明の空間情報生成装置は、好ましくは、空間情報利用装置とともに空間情報利用システムに適用される。
1 自走式掃除機(空間情報生成装置)
2 空間情報記憶部
3 通信端末装置(空間情報利用装置)
4 情報管理サーバ(空間情報利用装置)
5 通信ネットワーク
6 物体特定品目記憶部
10 制御部
11 通信部
12 操作パネル
13 記憶部
14 音声出力部
15 走行駆動部
16 駆動輪
16a 回転軸
17 LEDランプ点灯部
18 LEDランプ
19 電圧検出部
20 バッテリー
21 充電端子
22 回転ブラシ駆動部
23 回転ブラシ
24 サイドブラシ駆動部
25 サイドブラシ
26 送風装置
27 イオン発生装置
30 センサ部(センサ)
31 音声入力部(センサ)
32 撮影部(センサ)
33 測距部(センサ)
34 段差検知部(センサ)
35 臭気測定部(センサ)
36 温度測定部(センサ)
37 衝突検知部(センサ)
40 物体検出部(物体検出手段)
41 正体情報取得部(正体情報取得手段)
42 物体特定部(物体特定手段)
43 物体登録部(物体登録手段)
44 位置座標特定部(位置座標特定手段)
45 走行制御部(走行制御手段)
46 サイズ特定部(サイズ特定手段)
47 向き特定部(向き特定手段)
48 物体判定部(物体判定手段)
60 撮影画像
61 既知の物体
62 未知の物体
63 境界線
64 正面領域
65 側面領域
70 質問メッセージ取得部
71 GUI画面作成部
72 正体情報生成部
73 空間情報取得部
74 仮想空間作成部
100 仮想部屋利用システム(空間情報利用システム)
102 本体筐体
103 蓋部
105 バンパー
106 吸込口
107 排気口
120 入力部
121 表示部
126 後輪
127 前輪
130 集塵部
310 制御部
311 通信部
312 操作パネル
313 記憶部
RS 実空間
VS 仮想空間
d1 質問メッセージ
d2 正体情報
d3 物体特定情報
d4 位置座標
d5 サイズ情報
d6 向き情報

Claims (15)

  1. 実空間をセンシングするセンサから得られたセンシング情報に基づいて、実空間に存在する物体を検出する物体検出手段と、
    上記物体検出手段によって検出された物体の正体を問い合わせる質問メッセージを出力し、当該質問メッセージに対する回答として入力された正体情報を取得する正体情報取得手段と、
    検出された上記物体の正体を示す物体特定情報を、上記正体情報取得手段によって取得された正体情報に基づいて特定する物体特定手段と、
    実空間から検出された上記物体の位置を、当該実空間に対応する座標系の位置座標として特定する位置座標特定手段と、
    上記実空間に対応する仮想空間を作成するための空間情報を構成する、上記実空間に存在する各物体についての物体情報を記憶する空間情報記憶部に、上記物体特定情報と上記位置座標とを関連付けて、検出された上記物体の物体情報を登録する物体登録手段とを備えていることを特徴とする空間情報生成装置。
  2. 上記物体検出手段によって検出された物体の大きさを、上記座標系における大きさで表すサイズ情報を特定するサイズ特定手段を備え、
    上記物体登録手段は、
    上記サイズ特定手段によって特定された、上記物体のサイズ情報を上記空間情報記憶部に記憶することを特徴とする請求項1に記載の空間情報生成装置。
  3. 上記物体検出手段によって検出された物体を撮影する撮影部を備え、
    上記サイズ特定手段は、上記撮影部より得られた撮影画像を処理して、上記物体のサイズ情報を特定することを特徴とする請求項2に記載の空間情報生成装置。
  4. 上記センサは、センシング情報として物体を撮影した撮影画像を取得する撮影部であり、
    上記物体検出手段は、上記撮影部より得られた撮影画像を画像処理して、実空間に存在する物体を検出することを特徴とする請求項1から3までのいずれか1項に記載の空間情報生成装置。
  5. 上記物体検出手段によって検出された物体を撮影する撮影部を備え、
    上記正体情報取得手段は、
    上記撮影部より得られた撮影画像を含む質問メッセージをユーザに提示することにより、該ユーザに物体の正体を問い合わせることを特徴とする請求項1から4までのいずれか1項に記載の空間情報生成装置。
  6. 上記正体情報取得手段が、上記質問メッセージに対する回答として、検出された上記物体が上記空間情報記憶部に物体情報が既に登録されている既知の物体であることを示すメッセージを受け付けた場合には、
    上記物体登録手段は、
    検出された上記物体の物体情報を登録する代わりに、当該物体の登録済みの物体情報のうち、位置座標を更新することを特徴とする請求項5に記載の空間情報生成装置。
  7. 上記物体検出手段によって検出された物体の向きを、上記座標系における向きで表す向き情報を特定する向き特定手段を備え、
    上記物体登録手段は、
    上記向き特定手段によって特定された、上記物体の向き情報を上記空間情報記憶部に記憶することを特徴とする請求項1から6までのいずれかに記載の空間情報生成装置。
  8. 上記物体検出手段によって検出された物体を撮影する撮影部を備え、
    上記向き特定手段は、上記撮影部より得られた撮影画像を処理して、上記物体の向き情報を特定することを特徴とする請求項7に記載の空間情報生成装置。
  9. 上記物体検出手段によって検出された物体が、上記空間情報記憶部に未登録の未知の物体であるのか、登録済の既知の物体であるのかを判定する物体判定手段を備え、
    上記空間情報記憶部において、各物体には、物体情報の一部として、当該物体の外観を表す物体画像が関連付けられており、
    上記物体判定手段は、
    検出された物体の撮影を行う撮影部から得られた撮影画像を、上記空間情報記憶部に登録された既知の物体の物体画像のそれぞれと比較することにより物体が未知か既知かの判定を行い、
    上記正体情報取得手段は、
    検出された上記物体が、上記物体判定手段によって未知の物体であると判定された場合に、物体の正体を問い合わせることを特徴とする請求項1から8までのいずれか1項に記載の空間情報生成装置。
  10. 上記物体判定手段は、
    上記撮影画像の物体と同一と判定した物体画像に対応する物体が、関連付けられている位置座標にて先に検出されていた場合には、今回検出された上記撮影画像の物体は、上記物体画像の物体とは別の未知の物体であると判定し、
    上記撮影画像の物体と同一と判定した物体画像に対応する物体が、関連付けられている位置座標にて検出されなかった場合には、今回検出された上記撮影画像の物体は、上記物体画像の物体と同一であり、既知の物体であると判定することを特徴とする請求項9に記載の空間情報生成装置。
  11. 請求項1から10までのいずれか1項に記載の空間情報生成装置と、
    上記空間情報生成装置によって生成された実空間に存在する各物体の物体情報を記憶する上記空間情報記憶部と、
    上記空間情報記憶部に記憶されている物体情報を利用して、上記実空間に対応する仮想空間を作成する空間情報利用装置とを含むことを特徴とする空間情報利用システム。
  12. 上記空間情報利用装置は、ユーザが所持する通信端末装置であり、
    上記空間情報生成装置の正体情報取得手段は、上記質問メッセージを上記通信端末装置に送信するとともに、回答としての正体情報を上記通信端末装置から受信することを特徴とする請求項11に記載の空間情報利用システム。
  13. 実空間をセンシングするセンサから得られたセンシング情報に基づいて、実空間に存在する物体を検出する物体検出ステップと、
    上記物体検出ステップにて検出された物体の正体を問い合わせる質問メッセージを出力する問合せステップと、
    上記質問メッセージに対する回答として入力された正体情報を取得する正体情報取得ステップと、
    検出された上記物体の正体を示す物体特定情報を、上記正体情報取得ステップにて取得された正体情報に基づいて特定する物体特定ステップと、
    上記物体検出ステップから上記物体特定ステップまでのいずれかのステップの後に、実空間から検出された上記物体の位置を、当該実空間に対応する座標系の位置座標として特定する位置座標特定ステップと、
    上記実空間に対応する仮想空間を作成するための空間情報を構成する、上記実空間に存在する各物体についての物体情報を記憶する空間情報記憶部に、上記物体特定情報と上記位置座標とを関連付けて、検出された上記物体の物体情報を登録する物体登録ステップとを含むことを特徴とする空間情報生成方法。
  14. コンピュータを、請求項1から10までのいずれか1項に記載の空間情報生成装置の各手段として機能させるための制御プログラム。
  15. 請求項14に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2012119058A 2012-05-24 2012-05-24 空間情報生成装置、空間情報利用システム、空間情報生成方法、制御プログラム、および、記録媒体 Pending JP2013246589A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012119058A JP2013246589A (ja) 2012-05-24 2012-05-24 空間情報生成装置、空間情報利用システム、空間情報生成方法、制御プログラム、および、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012119058A JP2013246589A (ja) 2012-05-24 2012-05-24 空間情報生成装置、空間情報利用システム、空間情報生成方法、制御プログラム、および、記録媒体

Publications (1)

Publication Number Publication Date
JP2013246589A true JP2013246589A (ja) 2013-12-09

Family

ID=49846315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012119058A Pending JP2013246589A (ja) 2012-05-24 2012-05-24 空間情報生成装置、空間情報利用システム、空間情報生成方法、制御プログラム、および、記録媒体

Country Status (1)

Country Link
JP (1) JP2013246589A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017091230A (ja) * 2015-11-10 2017-05-25 日本信号株式会社 利用者誘導システム
JP2018513416A (ja) * 2015-04-07 2018-05-24 フォルヴェルク・ウント・ツェーオー、インターホールディング・ゲーエムベーハーVorwerk & Compagnie Interholding Gesellshaft Mit Beschrankter Haftung 床の処理方法
JP6384891B1 (ja) * 2018-06-13 2018-09-05 オリンパス株式会社 情報端末機器、撮影機器、撮影方法及び撮影プログラム
JP2021039795A (ja) * 2018-10-30 2021-03-11 株式会社Mujin 自動物体検出機構を備えたロボットシステム、および、その動作方法
WO2022050122A1 (ja) * 2020-09-01 2022-03-10 ソニーグループ株式会社 情報処理装置、ロボット及び情報処理方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018513416A (ja) * 2015-04-07 2018-05-24 フォルヴェルク・ウント・ツェーオー、インターホールディング・ゲーエムベーハーVorwerk & Compagnie Interholding Gesellshaft Mit Beschrankter Haftung 床の処理方法
JP2017091230A (ja) * 2015-11-10 2017-05-25 日本信号株式会社 利用者誘導システム
JP6384891B1 (ja) * 2018-06-13 2018-09-05 オリンパス株式会社 情報端末機器、撮影機器、撮影方法及び撮影プログラム
JP2018182746A (ja) * 2018-06-13 2018-11-15 オリンパス株式会社 情報端末機器、撮影機器、撮影方法及び撮影プログラム
JP2021039795A (ja) * 2018-10-30 2021-03-11 株式会社Mujin 自動物体検出機構を備えたロボットシステム、および、その動作方法
JP7352260B2 (ja) 2018-10-30 2023-09-28 株式会社Mujin 自動物体検出機構を備えたロボットシステム、および、その動作方法
US12002007B2 (en) 2018-10-30 2024-06-04 Mujin, Inc. Robotic system with automated package scan and registration mechanism and methods of operating the same
WO2022050122A1 (ja) * 2020-09-01 2022-03-10 ソニーグループ株式会社 情報処理装置、ロボット及び情報処理方法

Similar Documents

Publication Publication Date Title
CN109431381B (zh) 机器人的定位方法及装置、电子设备、存储介质
TWI757570B (zh) 清掃機器人及其控制方法
CN106175606B (zh) 机器人及其实现自主操控的方法、装置
CN110313863B (zh) 自主移动清扫机、自主移动清扫机的清扫方法以及程序
CN110313867B (zh) 自主移动清扫机、自主移动清扫机的清扫方法及记录介质
KR101412590B1 (ko) 로봇 청소기의 원격 제어 시스템 및 방법
WO2018087951A1 (ja) 自律走行体
KR101366860B1 (ko) 이동 로봇 및 이의 제어 방법
TWI603699B (zh) 行動機器人及其控制方法
EP3308911A1 (en) Mobile robot and method of controlling same
KR101703460B1 (ko) 레이아웃 정보 작성 장치, 레이아웃 정보 작성 방법, 가전 기기 조작 시스템 및 자주식 전자 기기
CN106239517B (zh) 机器人及其实现自主操控的方法、装置
JP6397663B2 (ja) 自走式電子機器
KR101649645B1 (ko) 로봇 청소기 및 이의 제어 방법
TW201824794A (zh) 自行移動式機器人之操作方法
JP6062200B2 (ja) 機器制御装置、および自走式電子機器
CN104080386B (zh) 自走式电子设备
JP6609463B2 (ja) 自走式電子機器
JP2013246589A (ja) 空間情報生成装置、空間情報利用システム、空間情報生成方法、制御プログラム、および、記録媒体
JP2013242738A (ja) ロボット装置、端末装置、ロボット装置の遠隔操作システム及びプログラム
KR20100109257A (ko) 단일 카메라를 장착한 로봇 청소기의 3차원 환경 인식 방법
JP2013235351A (ja) 自走式電子機器
JP2019171001A (ja) 自律移動掃除機、掃除方法、及びプログラム
JP2013246588A (ja) 機能実行装置、空間情報利用システム、機能実行方法、制御プログラム、および、記録媒体
JP6054123B2 (ja) レイアウト情報作成装置、レイアウト情報作成方法、および自走式電子機器