JP2004345784A

JP2004345784A - Article management system, article management server and article management method

Info

Publication number: JP2004345784A
Application number: JP2003143815A
Authority: JP
Inventors: Satoshi Sato; 智佐藤; Shusaku Okamoto; 修作岡本; Masamichi Nakagawa; 雅通中川; Kazuo Nobori; 一生登; Yasuhiro Morinaka; 康弘森中; Katsuji Aoki; 勝司青木; Osamu Yamada; 修山田; Tomonobu Naruoka; 知宣成岡; Yoshihiko Matsukawa; 善彦松川
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-05-21
Filing date: 2003-05-21
Publication date: 2004-12-09

Abstract

<P>PROBLEM TO BE SOLVED: To improve convenience by managing the entering and leaving of an article to a predetermined space by a new technique for the article not taken heretofore. <P>SOLUTION: This article management system includes: a sensing means 121 for detecting that an article is passed through an entrance by an article handling main body; an article specifying means 32 for specifying an article passed through the entrance; an article handling main body specifying means 33 for specifying an article handling main body causing the article to be passed; and a storage means 162 for storing the article passed through the entrance and the article handling main body causing the article to be passed with a correspondence between them. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、所定の空間に対する物品の出入を管理する物品管理システム、物品管理サーバ、物品管理方法に関する。
【０００２】
【従来の技術】
従来より、事業所や家庭において電子タグを用いて物品を管理する物品管理システムが知られている（例えば特許文献１参照）。
【０００３】
また、近年、生活空間で人間と共存しながら人間の生活を支援するためのロボットの研究開発がさかんに行われている。それによって将来は、物品を把持可能なロボットが一般家庭等に導入され、例えば老人等の物品の持ち運びが不自由な人に代わってロボットが物品の移動を行うといったロボットシステムが実現すると考えられる。
【０００４】
【特許文献１】
特開２０００−３５７２５１号公報
【０００５】
【発明が解決しようとする課題】
上記特許文献１に記載された物品管理システムでは、事業所や一般家庭の室内（空間内）における各物品の現在位置を管理している。このため、空間内に存在していた物品が、その空間の外に持ち出されたときには、その物品は管理の対象から外れてしまい、その物品を管理することができない。
【０００６】
こうした人が活動を行う生活空間（上記の事業所（オフィス）や一般家庭は勿論のこと、その他ホテル、店舗、病院等を含む）では、物品は様々な人によって移動され、例えば、ある人（人物Ａ）が、空間内にあった物品（物品Ｂ）をその空間の外に持ち出すことは多々ある。この場合、特許文献１に記載された物品管理システムでは、上述したように、その空間の外に持ち出された物品Ｂはシステムの管理対象から外れてしまう。このため、他の人（人物Ｃ）がその持ち出された物品Ｂの位置を確認しようとしても、その物品Ｂの位置がわからないという不都合が生じる。
【０００７】
これを解消するために、例えば空間に対する物品の出入を管理することが考えられる。ところが、物品の出入を管理しただけでは、空間から物品が持ち出されたことは把握することができても、その物品が現在どこにあるのかは把握することができない。
【０００８】
本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、所定の空間に対する物品の出入を、従来にはない新たな物品の手法で管理することにあり、それによって、利便性を向上させることにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、本発明は、所定の空間に対する物品の出入を管理するだけでなく、その物品を出入させた者（物品取扱主体）とを対応付けて管理することとした。こうすることで、例えば上記の例では、人物Ｃが、空間から持ち出された物品Ｂの位置を確認しようとしたときには、システムはその物品Ｂを持ち出した者が人物Ａであることを人物Ｃに提示することができる。これによって、人物Ｃは人物Ａに問い合わせる等して、物品Ｂの現在位置を把握することが可能になる。
【００１０】
このように環境に対する物品の出入とその物品を出入させた物品取扱主体とを対応付けて管理することは、上記の例のほかにも様々な状況に利用することができる。そして、従来の物品管理システムでは実現し得なかった様々な利便性が得られるのである。
【００１１】
具体的に、本発明の物品管理システムは、所定の空間に対する物品の出入を管理するシステムである。
【００１２】
上記物品管理システムは、上記物品が上記空間と外部とをつなぐ出入口を物品取扱主体によって通過されたことを検出するセンシング手段と、上記センシング手段による検出結果を受けて、上記出入口を通過した物品を特定する物品特定手段と、上記センシング手段による検出結果を受けて、上記物品を通過させた物品取扱主体を特定する物品取扱主体特定手段と、上記物品特定手段による特定結果と上記物品取扱主体特定手段による特定結果とを受けて、上記出入口を通過した物品とその物品を通過させた物品取扱主体とを対応付けて記憶する記憶手段と、を備える。
【００１３】
この構成によると、センシング手段は、物品が物品取扱主体によって出入口を通過されたことを検出する。これによって、物品が空間内に持ち込まれたこと、又は物品が空間外に持ち出されたことが検出される。ここで、物品取扱主体は、物品の移動を行う人（取扱者）や動物、及び作業命令を受けて物品の取り扱い作業を行う作業ロボットを含む。
【００１４】
物品特定手段は、上記センシング手段による検出結果を受けて、上記出入口を通過した物品が何であるかを特定する。
【００１５】
移動体特定手段は、上記センシング手段による検出結果を受けて、上記物品を通過させた物品取扱主体が何であるかを特定する。
【００１６】
こうして、上記物品特定手段によって物品が特定されかつ、上記物品取扱主体特定手段によって移動体が特定されれば、記憶手段は、それらの特定結果を受けて上記出入口を通過した物品とその物品を通過させた物品取扱主体とを対応付けて記憶する。その結果、上述した例では、物品Ｂと人物Ａとが対応付けられて記憶手段に記憶される。
【００１７】
ここで、上記センシング手段は、物品が物品取扱主体によって出入口を通過して空間内に持ち込まれたことと、上記出入口を通過して空間内から持ち出されたこととを区別して検出し、上記記憶手段は、上記センシング手段による検出結果を受けて、上記出入口を通過した物品と、その物品を通過させた物品取扱主体と、その物品の持込／持出とを対応付けて記憶するようにしてもよい。
【００１８】
また、上記物品取扱主体特定手段は、物品と共に出入口を通過した移動体を、当該物品を通過させた物品取扱主体と特定してもよい。
【００１９】
これとは異なり、上記物品取扱主体特定手段は、物品が通過する際に出入口近傍に存在した移動体を、当該物品を通過させた物品取扱主体と特定してもよい。
【００２０】
上記物品管理システムは、上記記憶手段に記憶されている情報をユーザに提示する提示手段をさらにえてもよい。この提示手段は、問い合わせ入力に応じて記憶手段に記憶されている情報をユーザに提示するものとしてもよい。
【００２１】
上記記憶手段は、空間に対する物品の出入の履歴を記憶するのが好ましい。
【００２２】
上記物品管理システムは、移動体の認証情報を登録する登録手段をさらに備え、上記物品取扱主体特定手段は、上記センシング手段による検出結果と、上記登録手段に登録されている認証情報とに基づいて物品取扱主体の認証を行うようにしてもよい。
【００２３】
この場合に物品管理システムは、上記物品取扱主体特定手段の認証によって物品取扱主体の同定ができないときに、その旨の報知を行う報知手段をさらに備えてもよい。
【００２４】
また、上記物品取扱主体特定手段は、物品がロボットによって出入口を通過されたときには、当該ロボットへの作業命令を発した対象を、上記物品を通過させた物品取扱主体と特定してもよい。
【００２５】
本発明の物品管理サーバは、所定の空間に対する物品の出入を管理するサーバである。
【００２６】
この物品管理サーバは、上記物品が上記空間と外部とをつなぐ出入口を物品取扱主体によって通過されたことの検出結果を受けて、上記出入口を通過した物品を特定する物品特定手段と、上記検出結果を受けて、上記物品を通過させた物品取扱主体を特定する物品取扱主体特定手段と、上記物品特定手段による特定結果と上記物品取扱主体特定手段による特定結果とを受けて、上記出入口を通過した物品とその物品を通過させた物品取扱主体とを対応付けて記憶する記憶手段と、を備える。
【００２７】
本発明の物品管理方法は、所定の空間に対する物品の出入を管理する方法である。
【００２８】
この物品管理方法は、上記物品が上記空間と外部とをつなぐ出入口を物品取扱主体によって通過されたことを検出する検出ステップと、上記検出ステップの検出結果を受けて、上記出入口を通過した物品を特定する物品特定ステップと、上記検出ステップの検出結果を受けて、上記物品を通過させた物品取扱主体を特定する物品取扱主体特定ステップと、上記物品特定ステップの特定結果と物品取扱主体特定ステップの特定結果とを受けて、上記出入口を通過した物品とその物品を通過させた物品取扱主体とを対応付けて記憶する記憶ステップと、を含む。
【００２９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。本発明に係る物品管理システムは、所定の空間に対する物品の出入を管理するシステムである。本実施形態では、所定の空間は、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う空間（生活空間）とし、特に本実施形態では、一般家庭のある一つの部屋を、物品管理システムの対象空間（以下これを環境と呼ぶ）とする。
【００３０】
本システムは、図１に示すように、環境管理サーバ１０１（以下、単にサーバと省略することもある）、作業ロボット１０２（以下、単にロボットと省略することもある）、及び操作端末１０３の大きく分けて３つのサブシステムから構成される。これら３つのサブシステム１０１〜１０３は、無線又は有線のネットワークを介して接続されていて、このネットワークを介して情報のやり取りを行うように構成されている。
【００３１】
３つのサブシステム１０１〜１０３はそれぞれ、制御手段１１０，１１５，１１９と送受信手段１０９とを備えている。各サブシステム１０１〜１０３の送受信手段１０９は処理が同じであるため、同じ符号を付すことにする。
【００３２】
ここで、物品とは、人や作業ロボット１０２によって取り扱われるものをいう。また、人及び作業ロボット１０２は物品の取り扱いを行うものであり、以下、これら総称して移動体と呼ぶ。さらに、物品の取り扱いを行っている移動体を、物品取扱主体と呼ぶ。
【００３３】
−センシング手段の構成−
本システムは、環境内の状況を把握するセンシング手段１２０を備え、このセンシング手段１２０は、１番目のサブシステムである環境管理サーバ１０１に接続されている。
【００３４】
上記センシング手段１２０は、環境の出入口の状況を検出する出入口センシング手段１２１と、環境内の状況を検出する環境内センシング手段１２２とから構成されている。
【００３５】
（出入口センシング手段）
上記出入口センシング手段１２１は、移動体が環境内に物品を持ち込んだこと、及び環境外へ物品を持ち出したことを検出するものである。つまり、出入口センシング手段１２１は、物品が物品取扱主体によって出入口を通過されたことを検出する。
【００３６】
この出入口センシング手段１２１としては、電子タグとリーダライタとからなるものを採用することができる。
【００３７】
電子タグとはデータを蓄えるＩＣとデータを無線で送受信するアンテナとから構成されるデバイスであり、リーダライタとは電子タグに書き込まれた情報を読みとったり、電子タグに情報を書き込んだりすることのできる装置である。
【００３８】
この電子タグとリーダライタとからなる出入口センシング手段１２１は、例えば図２に示すように、環境と外部との出入口である窓５１及びドア５２の開口部それぞれに、ゲート型のリーダライタ（ＲＦアンテナ）４１，４２を配設して構成される。
【００３９】
また、この出入口を通過する全ての物品には、予め上記電子タグを付す。この電子タグには、その物品に関するデータ、例えば物品の種類、形状、重さ、その物品の画像、製造年月日等のデータを埋め込むのがよい。
【００４０】
さらに、この出入口を通過する移動体にも、予め電子タグを付す。人に付す電子タグは、その人が常時携帯するもの（例えば腕時計や指輪等）に埋め込んでもよい。移動体に付す電子タグには、その移動体に関するデータ、例えば人の名前や生年月日等の情報を書き込むのがよい。
【００４１】
出入口センシング手段１２１をこのように構成することによって、物品及び移動体がこの窓５１やドア５２を通過するときには、その出入口に設置されたリーダライタ４１，４２が、物品及び移動体に取り付けられた電子タグからの情報を読み取ることになる。こうして、電子タグからの情報を読み取ることによって、出入口センシング手段１２１は、物品及び移動体が出入口を通過したことを検出することができる。
【００４２】
また、上記リーダライタを出入口に対して二重に設置するように構成すれば、出入口センシング手段１２１は、物品が出入口を通過したことだけではなく、物品が環境内に持ち込まれたのか、環境内から持ち出されたのかを区別して検出することができる。
【００４３】
つまり、図示は省略するが、第１のリーダライタを環境外である、窓５１やドア５２の開口部の外側に設置する一方で、第２リーダライタを環境内である、窓５１やドア５２の開口部の内側に設置するのである。この構成によって、環境の外側に設置された第１リーダライタが電子タグからの情報を検出した後に、内側に設置された第２リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品は、外部から環境内に持ち込まれた（又は移動体が外部から環境内に入った）と特定することができる。逆に、環境の内側に設置された第２リーダライタが電子タグからの情報を検出した後に、外側に設置された第１リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品は、環境内から外部に持ち出された（又は移動体が環境内から外部に出た）と特定することができる。
【００４４】
尚、図２では、窓５１やドア５２の開口部の上下左右を囲むようにリーダライタ４１，４２を設置しているが、これは電子タグの向きに依存せず高精度の検出を行なうためであり、リーダライタ４１，４２は、窓５１やドア５２の上下位置のみ、左右位置のみ、又はその中央位置に設置してもよい。
【００４５】
尚、出入口センシング手段１２１は、電子タグとリーダライタとからなるものに限らず、その他の構成のものを採用してもよい。その場合も、物品の持ち出しと持ち込みとを区別して検出できることが好ましい。但し、後述する環境内センシング手段１２２によって、環境内の存在する物品は検出可能であることから、出入口センシング手段１２１が、物品の持ち出しと持ち込みとを区別して検出できなくても、この環境内センシング手段１２２の検出結果と出入口センシング手段１２１の検出結果とを組み合わせることによって、物品が環境外に持ち出されたか、環境内に持ち込まれたかを区別することは可能である。
【００４６】
（環境内センシング手段）
上記環境内センシング手段１２２は、環境内に存在する物品や設備（家具等を含む）、及び人やロボット１０２の位置と状態とを常時検出するものである。
【００４７】
この環境内センシング手段１２２としては、画像センサを用いるものを採用することができる。画像センサを用いる環境内センシング手段１２２は、部屋の天井や壁等に固定したカメラを備え、そのカメラが撮像したカメラ画像によって、室内の物品等の検出を行うように構成される。
【００４８】
カメラ画像を用いて環境内の物品や移動体を検出する一般的な方法の一つに、背景差分法があり、環境内センシング手段１２２としては、その背景差分法を利用することができる。この背景差分法とは、背景としてのモデル画像を予め用意しておき、現在のカメラ画像と上記モデル画像との差分を取ることによって、対象物を検出する方法である。
【００４９】
本システムにおける環境内センシング手段１２２は、環境内の物品や移動体を検出・監視することが目的であるため、モデル画像としては、環境の状況変動が少ない場合は、その環境内に物品・移動体が存在していないときに撮像した画像を用いればよい。尚、環境の状況変動が激しい場合は、所定の時間間隔を空けて撮影された複数の画像を平均して得られた画像を、モデル画像として用いればよい。
【００５０】
具体的に、背景差分法による物品の検出方法について、図３を参照しながら説明する。ここで、図３（ａ）はモデル画像の例を示す図であり、図３（ｂ）はある時点でカメラが撮影した画像（入力画像）を示す図であり、図３（ｃ）は、入力画像からモデル画像を差し引くことによって得られた背景差分画像の例を示す図である。図３（ｃ）から分かるように、背景差分画像では、入力画像とモデル画像との差のある部分が浮き出てくる（同図の網掛け部分参照）。このため、その浮き出た部分のみをそれぞれ取り出すことで環境内に存在する物品を検出することができる。さらに、その画像を画像処理することによって、その物品が何であるかを特定する（この処理は、後述する物品特定手段３２が行う）。このように、背景差分法を用いることによって、環境内の物品及び移動体の状況を検出することが可能になる。
【００５１】
また、環境内センシング手段１２２としては、上記出入口センシング手段１２１と同様に、電子タグ及びリーダライタを用いるものも採用することができる。
【００５２】
この電子タグとリーダライタとからなる環境内センシング手段１２２は、図示は省略するが、環境内にリーダライタを多数設置することで構成される。また、環境内に存在する各物品及び各移動体には、上述したように、電子タグを付す。この構成により、環境内に設置されたリーダライタは、環境内に存在している各物品に付された電子タグからの情報を読み取ることになり、それによって、カメラがなくても、環境内に存在する物品や移動体を検出することが可能になる。
【００５３】
また、カメラを用いる構成の環境内センシング手段１２２は、単に物品の存在を検出するだけであるが、電子タグとリーダライタを用いる構成の環境内センシング手段１２２は、物品の存在を検出することに加えて、電子タグに埋め込まれている情報を利用することが可能である。それによって、その物品が何であるかを確実に特定することが可能になる、その物品の製造年月日データによる品質期限の管理が可能になる、物品の形状データにより後述するロボット１０２の物品の把持作業が容易になる等、さらに利便性を高めることができる。
【００５４】
尚、カメラを用いた物品等の検出には、明るさの変化に弱い、解像度が低い、物品が他の物に隠されて見えなくなる、物品が重なっているとそれらが一つの物品として検出されてしまう等、一般的に多くの問題もある。
【００５５】
例えば死角の問題を解決しようとすれば、環境内に複数台のカメラを略均等に配置し、その環境内に存在する物品は全て、いずれかのカメラによって撮像可能にすればよい。しかしながら死角が無くなるようにカメラを多数設置しただけでは、解像度の問題及び物品の重なりの問題は解決しないため、背景差分画像で浮き出た部分が何であるかを判断することが困難になる場合がある。つまり、環境内センシング手段１２２をカメラを用いたものとしたときには、検出した物品を特定することが困難になるという不都合がある。
【００５６】
一方、電子タグとリーダライタとのデータのやりとりには人体に影響のない非常に弱い無線電波を使わざるを得ないため、通信距離が数１０ｃｍと非常に短い。このため、環境内の全ての物品を漏れなく検出するにはリーダライタを環境内に多数設置しなければならないが、リーダライタはカメラに比べてコストが高く、環境内に多数設置することは現実的ではない。環境内センシング手段１２２を電子タグとリーダライタを用いたものとしたときには、検出した物品を特定することが容易である反面、コストの増大を招くという不都合がある。
【００５７】
このように、カメラを用いた場合と電子タグ及びリーダライタを用いた場合とでは、それぞれに不都合が生じる。このため、環境内センシング手段１２２を、画像センサと電子タグとの双方を用いるものとすることによって、単独のセンサ構成で生じてしまう不都合を共に解消することが考えられる。つまり、上述した背景差分法によって、環境内の物品の位置を特定し、さらに電子タグを使ってその物品を特定するというハイブリッド処理を行うのである。具体的な処理として、以下の２つの例を挙げることができる。
【００５８】
一つの例は、環境内の天井や壁等にカメラを設置し、作業ロボット１０２にはリーダライタを取り付けて環境内センシング手段１２２を構成する。また、各物品及び移動体には電子タグを取り付けておく。そして、上記カメラ画像を用いた背景差分法によって、環境内の物品の位置を特定する。次に、特定した物品の近傍に上記ロボット１０２を移動させて、そのロボット１０２に取り付けたリーダライタによって、その物品に取り付けられた電子タグから情報を読みとり、その物品を特定する。
【００５９】
もう一つの例は、環境内の天井や壁等にカメラを設置し、その環境内に複数個のリーダライタを略均等に設置して環境内センシング手段１２２を構成する。このリーダライタは、電子タグのデータ読みとりに関して指向性を有しかつ、その読み取り方向が可変であるものとする。そして、上記カメラ画像を用いた背景差分法によって、環境内の物品の位置を特定する。次に、特定した物品に最も近い位置に設置されたリーダライタを選択すると共に、そのリーダライタの読みとり方向をその物品に向ける。こうして、その物品に取り付けられた電子タグから情報を読み取り、その物品を特定する。尚、この例では、リーダライタと電子タグとの間の距離が長くなる場合があるため、比較的強い無線電波を用いることになる。このため、環境内に人がいないことを、例えば背景差分法によって確認した上で、リーダライタが電子タグの情報を読み取ることが好ましい。
【００６０】
尚、環境内センシング手段１２２はここで説明した以外の方法（例えば、光ビーコンを用いたセンシング手法）を採用してもよい。
【００６１】
上記センシング手段１２０は、以上のようにして環境に対する物品の持ち込み・持ち出し、及び環境内における物品の移動（取扱い）を検出したときには、その検出結果を、サーバ１０１の物品／移動体検索・管理手段１０５に送信する。
【００６２】
−環境管理サーバの構成−
環境管理サーバ１０１は、図１に示すように、上記センシング手段１２０によって把握した状況のうち、環境内に存在する物品と移動体との状況を管理する物品／移動体検索・管理手段１０５及びその物品及び移動体のデータを蓄積する物品／移動体データベース１６０と、上記物品及び移動体以外の環境全体の状況を管理する環境マップ管理手段１０７及びその環境全体のデータを蓄積する環境マップ１０８と、物品／移動体データベース１６０のデータや環境マップ１０８のデータの問い合わせ（信号）を外部から受信したり、その応答信号を外部に発信したり、また、ロボット１０２に対する制御コマンドを送信したりする送受信手段１０９と、これらの手段１０５，１０７，１０９をコントロールする制御手段１１０とからなる。
【００６３】
この環境管理サーバ１０１としては汎用コンピュータを用いることが可能である。この場合は、後述する各処理を実行する制御プログラムをコンピュータが読み込むことによって、そのコンピュータを環境管理サーバ１０１として用いることが可能になる。
【００６４】
（物品／移動体検索・管理手段）
物品／移動体検索・管理手段１０５は、センシング手段１２０によって検出された各物品及び移動体の情報を、物品／移動体データベース（ＤＢ）１６０に蓄積するものである。
【００６５】
また、物品／移動体検索・管理手段１０５は、センシング手段１２０の検出結果に基づいて、物品の特定を行うと共に、その物品を取り扱っている移動体を特定し、それらの特定結果を上記物品／移動体ＤＢ１６０に蓄積するように構成されている。
【００６６】
さらに、詳しくは後述するが、上記物品／移動体検索・管理手段１０５は、制御手段１１０から物品／移動体ＤＢ１６０に問い合わせがあった場合に、その問い合わせの内容に応じて必要な情報を物品／移動体ＤＢ１６０から取り出し、その情報を制御手段１１０に送ることも行う。
【００６７】
上記物品／移動体検索・管理手段１０５は、図４に示すように、センシング手段１２０の検出結果を受けて物品が移動体によって取り扱われていること（物品取扱状態）を検出する物品取扱検出手段３１と、上記物品取扱検出手段３１の検出結果を受けて、移動体に取り扱われている物品を特定する物品特定手段３２と、上記物品取扱検出手段３１の検出結果を受けて、物品を取り扱っている移動体（物品取扱主体）を特定する物品取扱主体特定手段３３と、を備えている。
【００６８】
上記物品取扱検出手段３１は、出入口センシング手段１２１の検出結果に基づいて、環境の出入口における物品取扱状態を検出する。具体的には、物品と移動体とが共に出入口を通過したことを出入口センシング手段１２１が検出したときに、上記物品取扱手段３１は、出入口において物品が取り扱われたと検出する。
【００６９】
また、物品取扱検出手段３１は、環境内センシング手段１２２の検出結果に基づいて、環境内における物品取扱状態を検出する。具体的には、環境内センシング手段１２２が、上述した背景差分法を利用して環境内における物品の検出を行っているときには、入力画像（カメラ画像）とモデル画像とに差のある部分が生じたときに、上記物品取扱検出手段３１は、その部分で物体が取り扱われていると検出する。
【００７０】
また、環境内センシング手段１２２が、上述した電子タグとリーダライタとを利用して環境内における物品の検出を行っているときには、電子タグからの情報を読み取っていたリーダライタが、その電子タグからの情報が読み取れなくなったとき、逆に、電子タグからの情報を読み取っていなかったリーダライタが、電子タグからの情報を読み取ることができるようになったときに、上記物品取扱検出手段３１は、その電子タグが付された物品が取り扱われていると検出する。
【００７１】
上記物品特定手段３２は、上記物品取扱検出手段３１が物品取扱状態を検出したときに、物品取扱主体に取り扱われている物品を特定し、その物品の情報を物品／移動体ＤＢ１６０に蓄積するものである。
【００７２】
上記物品特定手段３２は、上述したように、センシング手段１２０が電子タグとリーダライタを用いたものであるときには、その電子タグからの情報に基づいて物品の特定をする。また、センシング手段１２０がカメラ画像を用いたものであるときには、そのカメラ画像に基づいて物品の認識処理を行い、その物品の特定を行う。
【００７３】
上記物品取扱主体特定手段３３は、上記物品取扱検出手段３１が物品取扱状態を検出したときに、その物品を取り扱っている物品取扱主体を特定し、その物品取扱主体の情報を物品／移動体ＤＢ１６０に蓄積するものである。
【００７４】
上記物品取扱主体特定手段３３は、物品取扱検出手段３１が出入口における物品の取り扱い（物品の移入又は移出）を検出したときには、その物品と同時に出入口を通過した移動体を物品取扱主体と特定する。この物品取扱主体は、移動体に付された電子タグからの情報に基づいて特定すればよい。
【００７５】
一方、上記物品取扱主体特定手段３３は、物品取扱検出手段３１が環境内における物品の取り扱いを検出したときには、次のようにして物品取扱主体を特定する。つまり、環境内センシング手段１２２がカメラを用いて物品を検出しているときには、物品取扱主体特定手段３３は、そのカメラに物品取扱状態が検出された領域を撮像させ、その撮像した画像に対して顔認証処理を行い、その認証処理によって移動体を特定する。こうして特定された移動体は、取扱いがされた物品の近傍にいたと考えられるので、その移動体を物品取扱主体と推定することができる。ここで、環境内センシング手段１２２として用いるカメラは、背景差分法による物品検出に用いるため、通常、広域を撮影する広角カメラである。この広角カメラの撮像画像は解像度が比較的低く、顔認証処理を行なうには解像度が足りない場合がある。そこで、背景差分法に用いるカメラとは別に、顔認証処理用のカメラとして狭角の高分解能カメラを、環境内に設置又はロボット１０２に設置してもよい。この場合、物品取扱主体特定手段３３は、狭角カメラに、上記物品取扱検出手段３１が物品取扱状態を検出した領域を撮像させ、その撮像した画像に対して顔認証処理を行う。こうすることにより、物品取扱主体特定手段３３は物品取扱主体を精度よく特定することができる。
【００７６】
尚、物品取扱主体特定手段３３における物品取扱主体の特定方法は、顔認証処理に限らず、例えば虹彩認証等のその他の認証処理によって行ってもよい。また、カメラ画像に対する認証処理を行わなくても、そのカメラ画像自体を物品／移動体ＤＢ１６０に蓄積することによって、物品取扱主体の情報を保持してもよい。これは、認証処理によって移動体を特定することができなかったときに限って行ってもよい。
【００７７】
また、物品取扱主体の特定は、電子タグを利用して行ってもよいし、光ビーコンを利用して行ってもよい。
【００７８】
尚、上述した出入口における物品取扱主体の特定を、カメラ画像を用いた認証処理によって行ってもよい。
【００７９】
本システムでは、物品の取扱いは人に限らず、後述するように人が操作端末１０３において指定した作業内容に応じてロボット１０２も物品の取扱いを行う。このようにロボット１０２が物品の取扱いを行う場合、その物品取扱主体はロボット１０２としてもよいし、そのロボット１０２に作業命令を発した対象を物品取扱主体としてもよい。本実施形態では、ロボット１０２に作業命令を発した対象を物品取扱主体とする。
【００８０】
（物品／移動体データベース）
環境管理サーバ１０１の物品／移動体ＤＢ１６０は、物品及び移動体の情報を蓄積するＤＢであり、例えば図５〜図７に示すように構成される。つまり、この物品／移動体ＤＢ１６０は、物品を扱う物品データベース１６１，１６２（図５，６）と、移動体を扱う移動体データベース１６３（図７）とからなる。
【００８１】
物品ＤＢ１６１，１６２は、物品データ、物品履歴データ、及び物品属性データ、の３種類のデータをそれぞれ蓄積するサブデータベースからなる。さらに、物品履歴データは、環境内における履歴データ（図５参照）と、出入口における履歴データ（図６参照）とから構成される。各サブデータベースに蓄積されるデータ内容は以下の通りである。
【００８２】
１）物品データ：個々の物品を区別するためのＩＤ、物品履歴データへのポインタ、及び物品属性データへのポインタ、が蓄積される。ここで、複数の物品について、その種類が同じであっても物理的に別の存在であれば、それらはそれぞれ別の物品として扱うため異なるＩＤが割り当てられる。一方、種類が同じ物品は同じ物品属性を持つため、異なるＩＤが割り当てられていても、同じ物品属性データへのポインタを持つ。これにより、データベースの容量を節約する。
【００８３】
２）（環境内）物品履歴データ：環境内において物品が取り扱われた履歴を格納するもので、取り扱われた時刻、取扱内容、物品取扱主体、取扱い後の位置、の４項目からなる。この内、位置データの表し方としては種々の表現が考えられるが、ここでは、図５に示すように、６つのパラメータで位置を表現することとする。つまり、最初の３つのパラメータ（ｘ１，ｙ１，ｚ１）は物品の位置（重心位置等を用いる）を表し、後の３つのパラメータ（ｌ１，ｍ１，ｎ１）は、物品の向きを表す。また、物品履歴データにおける物品取扱主体は、上記物品取扱主体特定手段３３によって特定された移動体である。
【００８４】
３）物品属性データ：物品が有する物理的な属性情報を格納するもので、属性情報の例としては、図５に示すように、物品の重さ、形状モデル・サイズ、その外観の画像データが挙げられる。
【００８５】
４）（出入口）物品履歴データ１６２：出入口（図６ではドア）において物品が取り扱われた履歴を格納するもので、取り扱われた時刻、取り扱われた物品、取扱内容、物品取扱主体、イベントの５項目からなる。
【００８６】
この内、取扱内容には、物品が環境内に持ち込まれたか、環境外に持ち出されたかが択一的に設定される。
【００８７】
また、取扱い物品の項目で「物品名＠カバンＣ」と設定されているのは、その物品が、カバンＣの中に入れられた状態でドアを通過したことを示している。これは、カバンＣにリーダライタを設置することによって検出することが可能である。図例では、時刻ｔ９に、お父さんが衣類Ａ、タオルＣ，かさＢをカバンＣに入れて環境（部屋）から持ち出したことが記憶されている。
【００８８】
さらに、イベントの項目は、物品の持出がイベントの実行に関連する場合に設定される項目であって、この項目はユーザが入力を行うことによって登録される。図例では、お父さんが、衣類Ａ、タオルＣ，かさＢをカバンＣに入れて環境（部屋）から持ち出したことと、出張とが対応付けられている。
【００８９】
これに対し、移動体ＤＢ１６３は、図７に示すように、移動体データ、及び移動体履歴データ、の２種類のデータをそれぞれ蓄積するサブデータベースからなり、各サブデータベースに蓄積されるデータ内容は以下の通りである。
【００９０】
１）移動体データ：個々の移動体を区別するためのＩＤ、移動体履歴データへのポインタ、が蓄積される。移動体データに格納される移動体は、ユーザが手動で予め登録するようにすればよい。
【００９１】
２）移動体履歴データ：移動体の、ある時刻における位置と、その時刻における状態との３項目からなる。ここで、移動体は、物品とは異なり空間内に占める体積が大きく、ロボット１０２が環境内を移動するときの障害物となる。このため、移動体の位置はできるだけ現実に則した表現が好ましい。ここでは、床面上で移動体が占めるおおよその領域を円で表すこととする。すなわち、円の中心位置のＸＹ座標（ｘ４，ｙ４）と円の半径（ｒ１）で移動体の位置を表す。これは、ロボット１０２が障害物を避けつつ経路作成が可能となる一方で、移動体の位置を必要最小限の情報で表すためである。尚、移動体が占める領域は、さらに厳密な表現をしてもよい。例えば移動体の床面上で占める領域の輪郭を近似する複数個の線分ベクトルを使って、移動体の位置を表現してもよい。
【００９２】
また、移動体履歴データにおける移動体の状態とは、その移動体が人であれば、「座る」「立つ」「寝る」「歩く」等の一般的な人の動作を表し、移動体がロボット１０２であれば、「把持」「解放」等のロボット１０２が物品に対して行う動作を表す。例えば移動体の状態となり得る状態候補を予め複数用意しておき、センシング手段１２０による検出結果等に基づいて移動体の状態がどの状態候補に当てはまるかを判断すればよい。尚、ロボット１０２に関する移動体履歴データでは、その動作だけでなく、作業対象の物品ＩＤと併せて「物品ＩＤ：動作内容」として格納する。具体的には、「ｋａｎ−ｓｍａｌｌ−０００１：把持」となる。
【００９３】
（環境マップ管理手段・環境マップ）
環境マップ管理手段１０７は、センシング手段１２０からの情報に基づいて環境マップ１０８を作成すると共に、その作成した環境マップ１０８の管理を行うものである。この環境マップ１０８は、ロボット１０２が環境内を移動する際に利用するものである。ロボット１０２は、後述するように、この環境マップ１０８をサーバ１０１から取得して移動経路計画を立てる。
【００９４】
また、上記環境マップ管理手段１０７は、詳しくは後述するが、制御手段１１０から環境マップ１０８に問い合わせがあった場合に、その問い合わせの内容に応じて必要な情報を制御手段１１０に送ることも行う。
【００９５】
環境マップ１０８は、例えば環境の実状況が、図８（ａ）に示される場合に、その実状況を立体モデルで簡略化したもの（図８（ｂ））を環境マップ１０８としてもよい。また、図８（ｃ）に示すように、さらに平面モデルで簡略化したものを環境マップ１０８としてもよい。さらに、図８（ａ）に示される環境の実状況をそのまま立体モデル化したものを、環境マップ１０８としてもよい。すなわち環境マップ１０８は、そのマップの用途や、そのマップ作成にかけることのできる時間（手間）に応じて作成すればよい。例えば、立体モデルからなる環境マップを極めて短時間で作成する必要があるときは、環境内に存在する立体物を、その立体物を覆う最小の直方体でモデル化すればよい。図８（ｂ）に示す環境マップ１０８はその例であり、テーブル及び本棚をそれぞれ直方体でモデル化し、ゴミ箱を略円柱でモデル化している。平面モデルからなる環境マップも同様であり、図８（ｃ）に示す作業マップ１０８では、テーブル及び本棚を平面に正射影した矩形領域（斜線を付した領域）でそれぞれモデル化し、ゴミ箱を円領域（斜線を付した領域）でモデル化している。また、この平面モデルからなるマップ１０８では、上記２つの矩形領域及び円領域をロボット１０２が移動不可能な領域に設定する。
【００９６】
（制御手段）
環境管理サーバ１０１における制御手段１１０はサーバ全体を制御する部分であり、主な制御内容としては以下のものがある。
【００９７】
１）送受信手段１０９が、サーバ内にある各種データに関する問い合わせ受信したときに、その問い合わせ内容を判断し、その判断結果に応じて物品／移動体検索・管理手段１０５や環境マップ管理手段１０７にデータの参照要求を出す。
【００９８】
２）上記要求に対して物品／移動体検索管理手段１０５又は環境マップ管理手段１０７から送られてきた結果を、送受信手段１０９を介して問い合わせ元に送る。
【００９９】
３）操作端末１０３から送受信手段１０９を介して送信されたロボットの作業内容メッセージを解釈し、そのロボット１０２に動作を実行させるためのロボット制御コマンド列を生成して上記ロボット１０２に送信する。尚、ロボット制御コマンド列については、後述する。
【０１００】
４）必要に応じて、一定時間毎に、物品／移動体ＤＢ１６０で管理している物品の一部又は全部の状況や、環境マップ１０８の状況を、送受信手段１０９を通じてロボット１０２やユーザ（操作端末１０３）にブロードキャストする。
【０１０１】
上記の１），２）の処理の詳細については、後述する。
【０１０２】
−作業ロボットの構成−
２番目のサブシステムである作業ロボット１０２は、ユーザによって指定された作業命令に従って物品の取扱い作業を行うものである。
【０１０３】
図１に示すように、ロボット１０２はその基本構成として、ロボット１０２の近辺の障害物等を検知する障害物センサ１１１、物品を把持する把持手段１１２、環境マップ１０８を使って移動計画を立てる移動計画作成手段１１３、上記ロボット１０２自体を移動させる移動手段１１４、環境管理サーバ１０１や操作端末１０３との間で種々のデータの送受信を行う送受信手段１０９、これらのセンサ１１１及び各手段１０９，１１２〜１１４をコントロールする制御手段１１５とからなる。
【０１０４】
図９は、本システムにおけるロボット１０２の構造の一例を示した模式図であり、このロボット１０２は、移動計画作成手段１１３や制御手段１１５等を収容する略箱型の本体部１０を備えている。以下、図９における紙面右側を前側、左側を後側、紙面奥側を左側、紙面手前側を右側と呼ぶ。
【０１０５】
把持手段１１２は、多関節アーム１２ａとそのアーム１２ａの先端に配設されたハンド１２ｂとから構成され、上記本体部１０の上面に取り付けられている。上記アーム１２ａ及びハンド１２ｂは、モータ制御によるアクチュエータを用いたものとしてもよいし、その他のアクチュエータ、例えば人工筋肉によるアクチュエータを用いたものとしても構わない。
【０１０６】
移動手段１１４は車輪１４によって構成されており、この車輪１４は、上記本体部１０の左右両側にそれぞれ２つ取り付けられている（図例では、左側の車輪の図示を省略する）。ここでは、移動手段１１４を車輪１４で構成したが、移動手段１１４の構成は、そのロボットが使用される環境に応じて最適な構成を選択すればよい。例えば環境の床面の起伏が激しい場合は、移動手段１１４をクローラ型や多足歩行型に構成することが好ましい。
【０１０７】
障害物センサ１１１は、本システムでは、超音波センサ１１ａ、視覚センサとしてのカメラ１１ｂ、及び衝突センサ１１ｃから構成される。
【０１０８】
上記超音波センサ１１ａは、超音波を発してその反射波を受信するまでの時間を測定することにより当該センサ１１ａから障害物までの距離を計算するもので、近距離の障害物を、それに衝突する前に検知するためのものである。この超音波センサは、本体部の各側面（前面、後面、左右側面）に、３つずつ取り付けられている。
【０１０９】
上記カメラ１１ｂは、ロボット１０２の周囲の状況を画像として入力し、その画像の認識等の処理を行うことで、障害物の有無の判断や把持対象物品のより正確な情報を得るためのものである。このカメラ１１ｂは、本体部１０の前部に取り付けられている。
【０１１０】
上記衝突センサ１１ｃは、ロボット１０２に所定の衝撃力が加わったことを検知するセンサである。例えば障害物がロボット１０２に衝突してきたことや、ロボット１０２自体が移動中に障害物に衝突したことを、この衝突センサ１１ｃで検知する。この衝突センサ１１ｃは、本体部の前面と後面とのそれぞれに取り付けられている。
【０１１１】
移動計画作成手段１１３は、ロボット１０２に物品の移動作業やその他の作業に伴う移動が指定されたときに、そのロボット１０２の現在位置から指定された位置（目的位置）までの移動経路を、環境マップ１０８を使って作成するものである。この際、現在位置から目的位置までの移動経路上に障害物があってはならないが、環境マップ１０８には、上述したように、ロボットが移動不可領域（例えば図８（ｃ）の斜線を付した領域）が設定されている。このため、この移動不可領域以外の領域で移動経路を作成すれば、障害物を回避した移動経路が作成される。例えば図８（ｃ）の平面モデルを用いた環境マップ１０８を用いてロボットをＡ１地点からＡ２地点まで移動させる際には、ロボット１０２の大きさを考慮して移動不可領域を回避するルート（図８（ｃ）に矢線参照）が作成される。こうした移動経路の作成に当たっては、最も一般的な方法であるダイクストラ法を使ってもよいし、環境が複雑であれば、ダイクストラ法を改良した経路探索アルゴリズムを用いてもよい。
【０１１２】
尚、環境の状況が複雑すぎてロボット１０２の移動経路の算出が出来ない、又はその算出に多大な時間を要するような場合等の対策として、ユーザがロボット１０２の移動経路を指定するモードを設けてもよい。
【０１１３】
作業ロボット１０２の制御手段１１５は、主に環境管理サーバ１０１から送受信手段１０９を介して送られてきたロボット制御コマンド列を解釈し、そのロボット制御コマンドを順に実行するものである。
【０１１４】
ここで、ロボット制御コマンドとは、物品の把持や、ロボット１０２自体の移動の制御を行うためのコマンドであって、本実施形態では以下の「移動」「把持」「解放」の３種類が設定されている。
【０１１５】
１）移動：（ｍｏｖｅ，座標）
ロボット１０２の現在位置から座標で指定された位置まで移動するコマンドである。座標は世界座標系で指定し、現在位置から目的位置までの移動経路は移動計画作成手段１１３が計画する。
【０１１６】
２）把持：（ｇｒａｂ，物品ＩＤ）
物品ＩＤで指定された物品を、ハンド１２ｂによって把持するコマンドである。物品の場所は物品ＤＢを参照し、把持計画は把持手段１１２が作成する。
【０１１７】
３）解放：（ｒｅｌｅａｓｅ）
ハンド１２ｂを解放するコマンドである。
【０１１８】
ロボット制御コマンドはこの３種類に限らず、必要に応じて増やしてもよい。
【０１１９】
尚、本実施形態では、作業ロボット１０２を、車輪１４によって構成された移動手段１１４を有する自走ロボットとしたが、作業ロボット１０２は、この構成に限るものではない。例えば上述したアーム１２ａとハンド１２ｂとからなる把持手段１１２を、環境内の天井に取り付けたガイドレールに組み付けることで、作業ロボット１０２を構成してもよい。この構成の作業ロボット１０２は、上記把持手段１１２がガイドレールに案内されて移動することにより、指定された位置に移動することができ、それによって、環境内で指定された物品を指定された位置に移動させる作業を実行することができる。
【０１２０】
また、作業ロボット１０２は、複数の把持手段１１２（アーム１２ａとハンド１２ｂとからなるもの）を、環境内の所定の位置にそれぞれ固定設置することによって構成してもよい。この場合、生活空間内に存在する全ての物品がいずれかの把持手段１１２によって把持可能となるように、各把持手段１１２を配置する。この構成の作業ロボット１０２は、指定された物品を指定された位置に移動させるときには、複数の把持手段１１２の中から、その物品にハンド１２ｂを届かせることのできる把持手段１１２を選択し、その選択した把持手段１１２が物品を把持すると共に、そのアーム１２ａとハンド１２ｂとによって把持した物品を指定された位置に移動させるようにすればよい。尚、指定された位置が、選択した把持手段１１２のアーム１２ａの届かない位置であるときには、複数の把持手段１１２間で物品を手渡ししながら、指定された位置まで物品を移動させればよい。
【０１２１】
−操作端末の構成−
３番目のサブシステムである操作端末１０３は、本システムにおけるユーザインタフェースであり、主にロボット１０２に対する物品の取扱い作業を指示するためにユーザが操作する端末である。
【０１２２】
操作端末１０３はその基本構成として、図１に示すように、ロボット１０２の作業内容を指定するための操作画面や、サーバ１０１に対する物品の問い合わせ内容（物品の検索内容）を入力するための入力画面を表示する、例えばＣＲＴや液晶ディスプレイからなる表示部１１７、上記操作画面や入力画面上での入力を行うための、例えばポインティングデバイスやキーボードからなる入力部１１６、上記表示部１１７に表示される画面の作成等の表示制御を行う表示制御手段１１８、上記入力部１１６にて入力されたロボット１０２の作業内容や問い合わせ内容を環境管理サーバ１０１に送る送受信手段１０９、これらの各手段１０９，１１６〜１１８をコントロールする制御手段１１９からなる。
【０１２３】
この操作端末１０３としては、例えば汎用ＰＣを用いることも可能である。この場合、制御プログラムをＰＣが読み込むことによって、そのＰＣを操作端末１０３として用いることが可能になる。
【０１２４】
ユーザは、この操作端末１０３を用いてロボット１０２の作業内容を指定したり、物品／移動体ＤＢ１６０に登録されている物品に関する情報をサーバ１０１に問い合わせるための問い合わせ内容を入力したりする。
【０１２５】
操作端末１０３は、ユーザが作業内容の指定や、問い合わせ内容の入力をする際にユーザの認証処理を行う。認証処理は、操作端末１０３にパスワードを入力させることによって行ってもよいし、指紋認証、顔認証、声紋認証、虹彩認証等のバイオメトリクス認証処理を行ってもよい。
【０１２６】
こうして認証処理によって同定したユーザ（移動体）の情報は、後述するように物品取扱主体の特定に利用される。
【０１２７】
−物品管理手順−
次に、上記構成の物品管理システムにおける物品管理手順について、図５〜７，１０を参照しながら説明する。
【０１２８】
図１０は、一般家庭における、ある部屋（環境）内を示す俯瞰図であって、２つの缶ジュース２１，２２が、この部屋に対して出入すると共に、これらの缶ジュース２１，２２が環境内を移動される様子を示す図である。
【０１２９】
同図において、各缶ジュース２１，２２の移動は矢線によって示され、これらの矢線に付されているｔ１，ｔ２，ｔ５，ｔ７の文字は、矢線に従って缶ジュースが移動された時刻を示す。時刻は、ｔ０〜ｔ７の順で進んだものとする。
【０１３０】
尚、部屋の出入口（ドア）には、図示は省略するが、出入口センシング手段１２１としてリーダライタが設置されていて、物品及び移動体の移入と移出とを区別して検出すると共に、部屋内には、環境内センシング手段１２２としてリーダライタが設置されていて、環境内における物品及び移動体の移動を検出するものとする。
【０１３１】
また、各缶ジュース２１，２２並びに部屋を出入する人及びロボット１０２にはそれぞれ電子タグが付されているとする。この各缶ジュース２１，２２の物品属性データは、電子タグに埋め込まれている情報をリーダライタが読み取ることによって得ることとする。移動体ＤＢ１６３の移動体データには各移動体の情報が登録されているものとし、移動体履歴データは既に初期化されているものとする。また、物品ＤＢ１６１の物品データには、何も記録されていない空の状況であるとする。
【０１３２】
先ず、時刻ｔ０に、移動体ＤＢ１６３の移動体データに登録されているお父さん（図示省略）が、缶ジュース２１を持ってドアから部屋内に入ってくる。このとき、ドアに設けられた出入口センシング手段１２１は、お父さんと、缶ジュース２１とが、部屋内に移入したことを検出する。
【０１３３】
その検出結果は、センシング手段１２０から物品／移動体検索・管理手段１０５に送られ、それを受けた物品／移動体検索・管理手段１０５は、缶ジュースとお父さんとを特定する。そして、その缶ジュース２１に［ｋａｎ−ｓｍａｌｌ−０００１］というＩＤを割り当て、物品属性データへのポインタと対応付けて物品データに格納する（図５参照）。これと共に、物品／移動体検索・管理手段１０５は、その缶ジュース２１の物品属性データを格納する。さらに、物品／移動体検索・管理手段１０５は、その缶ジュースの移動履歴を格納するための「位置履歴リスト１」を作成する。この時点では環境内の位置履歴リスト１の中身はまだ空のままである。
【０１３４】
さらに、物品／移動体検索・管理手段１０５は、ドアにおける物品の出入を管理する物品履歴データ１６２の内容をセットする（図６参照）。具体的には、
時刻：ｔ０
物品：ｋａｎ−ｓｍａｌｌ−０００１
取扱内容：持込
物品取扱主体：お父さん
をセットする。
【０１３５】
一方で、センシング手段１２０により検出したお父さんの移動体履歴を更新するために、物品／移動体検索・管理手段１０５は、移動体データ１６３におけるＩＤ「お父さん」の位置履歴を参照して、「位置履歴リスト３」の内容をセットする（図７参照）。具体的には、
時刻：ｔ０
位置：−
状態：入室
をセットする。ここで、位置が「−」となっているのは、移動体が環境外から環境内に移動したことを示している。尚、位置の情報としては、部屋に入室する際に通過したドアの位置情報をセットしてもよい。
【０１３６】
時刻ｔ１に、お父さんがテーブル近傍の位置Ｐ４（ｘ４，ｙ４）に座り、持っていた缶ジュース２１をそのテーブル上のＰ１（ｘ１，ｙ１，ｚ１）に置く。そのことを環境内センシング手段１２２が検出すると、物品／移動体検索・管理手段１０５は、物品履歴データ１６１の位置履歴リスト１の内容をセットする（図５参照）。具体的には、
時刻：ｔ１
取扱内容：新規
物品取扱主体：お父さん
取扱後の位置：Ｐ１（ｘ１，ｙ１，ｚ１，ｌ１，ｍ１，ｎ１）
をセットする。ここで、取扱内容が「新規」となっているのは、それまで環境内に存在していなかった物品が、新たに外部から持ち込まれたことを意味する。
【０１３７】
また、物品／移動体検索・管理手段１０５は、移動体履歴データ１６３の位置履歴リスト３の内容をセットする（図７参照）。具体的には、
時刻：ｔ１
位置：（ｘ４，ｙ４，ｒ１）
状態：座る
をセットする。
【０１３８】
時刻ｔ２に、移動体ＤＢ１６０の移動体データに登録されている別の移動体である息子（図示省略）が、Ｐ１（ｘ１，ｙ１，ｚ１）に置かれた上記の缶ジュース２１を床の上であるＰ２（ｘ２，ｙ２，ｚ２）に移動させる。そのことを環境内センシング手段１２２が検出すると、その検出結果を受けて物品／移動体検索・管理手段１０５は、物品履歴データ１６１の位置履歴リスト１の新たな内容をセットする（図５参照）。具体的には、
時刻：ｔ２
取扱内容：移動
物品取扱主体：息子
取扱後の位置：Ｐ２（ｘ２，ｙ２，ｚ２，ｌ２，ｍ２，ｎ２）
をセットする。ここで、取扱内容が「移動」となっているのは、すでに物品履歴データに登録されている物品が、環境内で移動されたためである。尚、時刻ｔ２で息子の位置が変わるため、物品／移動体検索・管理手段１０５は環境内センシング手段１２２の検出結果を受けて、息子の移動体履歴データ１６３（位置履歴リスト４）の内容をセットするが、ここではその図示を省略する。
【０１３９】
時刻ｔ３に、お父さんが部屋の外に出る。そのことを環境内センシング手段１２２が検出すると、物品／移動体検索・管理手段１０５は、移動体履歴データ１６３の位置履歴リスト３の新たな内容をセットする（図７参照）。具体的には、
時刻：ｔ３
位置：−
状態：外出
をセットする。ここで、位置が「−」となっているのは、環境外に出たことで、環境内センシング手段１２２がお父さんを検出することができなくなったためである。尚、位置情報としては、外出する際に通過したドアの位置情報を設定してもよい。
【０１４０】
また、その部屋の外に出る際にお父さんが操作端末１０３を操作して、ロボット１０２に缶ジュース２１を環境外の所定の位置に移動させる内容の作業命令を入力する。サーバ１０１を介してその作業命令を受けたロボット１０２は、缶ジュースの位置Ｐ２（ｘ２，ｙ２）まで移動し、時刻ｔ４にその缶ジュースを把持する。このことを環境内センシング手段１２２が検出すれば、物品／移動体検索・管理手段１０５は、ロボット１０２の移動体履歴データ１６３（位置履歴リスト５）の内容をセットする（図７参照）。具体的には、
時刻：ｔ４
位置：（ｘ２，ｙ２，ｒ２）
状態：［ｋａｎ−ｓｍａｌｌ−０００１］：把持
をセットする。尚、ロボット１０２の動作は、環境内センシング手段１２２が検出してもよいが、サーバ１０１が、ロボット１０２からの動作情報を受信することによって、ロボット１０２の動作を検出してもよい。
【０１４１】
時刻ｔ５に、上記ロボット１０２が缶ジュース２１を把持した状態でドアから環境外に移動する。環境内センシング手段１２２がそのことを検出すれば、物品／移動体検索・管理手段１０５は、移動体履歴データ１６３の位置履歴リスト５の新たな内容をセットする（図７参照）。具体的には、
時刻：ｔ５
位置：−
状態：［ｋａｎ−ｓｍａｌｌ−０００１］：把持
をセットする。
【０１４２】
また、物品／移動体検索・管理手段１０５は、物品履歴データ１６１の位置履歴リスト１の新たな内容をセットする（図５参照）。具体的には、
時刻：ｔ５
取扱内容：移動
物品取扱主体：お父さん（ロボット）
取扱後の位置：−
このように、物品／移動体検索・管理手段１０５は、ロボット１０２が物品の取り扱いを行ったときには、そのロボット１０２に作業命令を発した対象を物品取扱主体として物品履歴データ１６１に記録する。上述したように、操作端末１０３においてロボット１０２の作業内容を指定する際にユーザ認証処理が行われるため、作業命令を発した対象（物品取扱主体）は、その認証結果に基づいて特定される。
【０１４３】
さらに、出入口センシング手段１２１は、ロボット１０２が缶ジュース２１を把持した状態でドアを通過したことを検出するため、物品／移動体検索・管理手段１０５は、ドアにおける物品の出入を管理する物品履歴データ１６２の内容をセットする（図６参照）。具体的には、
時刻：ｔ５
物品：ｋａｎ−ｓｍａｌｌ−０００１
取扱内容：持出
物品取扱主体：お父さん（ロボット）
をセットする。
【０１４４】
このドアにおける物品履歴データ１６２でも、ロボット１０２が実際の物品取扱主体であるときには、そのロボット１０２に作業命令を発した対象を、物品取扱主体として記憶する。
【０１４５】
時刻ｔ６に、移動体ＤＢ１６０の移動体データに登録されているさらに別の移動体であるお母さんが、新たな缶ジュース２２を持ってドアから部屋に入ってくる。出入口センシング手段１２１が、お母さんと新たな缶ジュース２２とが部屋内に移入したことを検出すると、物品／移動体検索・管理手段１０５は、その新たな缶ジュース２２に［ｋａｎ−ｓｍａｌｌ−０００２］というＩＤを割り当て、物品属性データへのポインタと対応付けて物品データ１６１に格納する。この新たな缶ジュース２２の物品属性データは、上記の缶ジュース２１と同じである。また、その新たな缶ジュース２２の移動履歴を格納するための「位置履歴リスト２」を作成する（図５参照）。この時点では位置履歴リスト２の中身はまだ空のままである。
【０１４６】
そして、物品／移動体検索・管理手段１０５は、ドアにおける物品の出入を管理する物品履歴データ１６２の内容をセットする（図６参照）。具体的には、
時刻：ｔ６
物品：ｋａｎ−ｓｍａｌｌ−０００２
取扱内容：持込
物品取扱主体：お母さん
をセットする。
【０１４７】
時刻ｔ７に、お母さんが新たな缶ジュース２２を床の上であるＰ３（ｘ３，ｙ３，ｚ３）に置く。そのことを環境内センシング手段１２２が検出すると、物品／移動体検索・管理手段１０５は、物品履歴データ１６１の位置履歴リスト２の内容をセットする（図５参照）。具体的には、
時刻：ｔ７
取扱内容：新規
物品取扱主体：お母さん
取扱後の位置：Ｐ３（ｘ３，ｙ３，ｚ３，ｌ３，ｍ３，ｎ３）
をセットする。尚、図７では、お母さんの移動体データ及び移動体履歴は省略している。
【０１４８】
以上のようにして、物品／移動体検索・管理手段１０５は、物品／移動体ＤＢ１６０に物品や移動体の情報を格納・更新する。ここでは、データベースの更新を、物品／移動体ＤＢ１６０に登録されている各物品や移動体の位置が変更される毎に行う例を示したが、データベースの更新タイミングはこれに限るものではなく、適宜設定すればよい。
【０１４９】
こうして本システムにおいては、物品／移動体ＤＢ１６０に、物品に関する種々の情報が格納されることになる。このため、本システムでは、ユーザが操作端末１０３を操作することによって、所望の物品の検索を行うことが可能に構成されている。
【０１５０】
具体的にユーザは、操作端末１０３の入力部１１６を操作することによって、物品の検索条件を入力する。物品ＤＢ１６１，１６２には、物品の名称は勿論のこと、図５に示すように、物品属性データ及び物品履歴データが記憶されているため、物品の種類、物品取扱主体、取り扱われた日時等を検索キーとして検索することが可能である。操作端末１０３において検索条件を入力する形態は、こうした検索キーを入力する形態としてもよい。また、例えば「○月△日×時頃にテーブルの上に置いたお金を誰がどこに移動させたか？」等の自然言語文を入力する形態としてもよい。
【０１５１】
操作端末１０３に入力された検索条件の情報は、ネットワークを介して環境管理サーバ１０１に送られ、その情報を受けたサーバ１０１の物品／移動体検索・管理手段１０５は、物品／移動体ＤＢ１６０を参照して、指定された条件に合致する情報を検索する。こうした情報の検索手法は、一般的な手法を採用すればよい。
【０１５２】
物品／移動体検索・管理手段１０５による検索結果は、サーバ１０１からネットワークを介して操作端末１０３に送られ、検索結果を受けた操作端末１０３は、その検索結果をユーザに提示する。例えば、環境内のマップを表示部１１７に表示して、その物品の現在の場所をそのマップ上で指し示すようにしてもよい。また、例えば「それは、○○さんが△△に移動させた」と音声でユーザに情報を提示してもよい。
【０１５３】
このように、物品ＤＢ１６１には、環境内に存在する各物品の現在位置の情報が蓄積されているため、ユーザからの問い合わせに応じて各物品の現在位置をユーザに提示することが可能になる。また、物品ＤＢ１６１には、取り扱われた物品と、その物品を取り扱った移動体（物品取扱主体）とが対応付けられて記憶されているため、その物品取扱主体の情報をもユーザに提示することが可能になる。
【０１５４】
さらに、物品ＤＢのドアにおける物品履歴データ１６２（図６参照）には、物品の情報と、その物品を環境の外に持ち出した移動体（物品取扱主体）の情報とが対応付けられて蓄積されている。このため、ユーザからの問い合わせに係る物品が環境の外に持ち出されていて、環境内の物品履歴データ１６１には、その物品の現在位置の情報が蓄積されていないときには、物品／移動体検索・管理手段１０５は、ドアにおける物品履歴データ１６２を参照することによって物品を環境外に持ち出した物品取扱主体の情報を抽出し、サーバ１０１は、その情報をネットワークを介して操作端末１０３に送信する。操作端末１０３は、物品を環境外に持ち出した物品取扱主体の情報を表示部１１７に表示する等して、ユーザに情報を提示する。こうすることでユーザは、所望の物品が部屋から持ち出されていることを把握することができる上に、その持出を行った移動体を特定することができる。このため、ユーザは、物品の持出を行った移動体に物品の現在位置を直接尋ねる等して、所望の物品の現在位置を把握することが可能になる。このように本システムは、環境の外に物品が持ち出されるときには、その持出者の情報を管理することによって、環境外にあって直接的に管理することのできない物品を、間接的に管理するシステムに構成されている。
【０１５５】
また、移動体ＤＢ１６３（図７参照）に、各移動体の連絡先（電話番号や電子メールアドレス）を登録しておけば、検索に係る物品が環境の外に持ち出されていたときには、サーバ１０１からその物品の持出者に電話をかけたり、電子メールを送信したりすることで、その持出者に物品の現在位置を問い合わせることが可能になる。こうして問い合わせた結果を操作端末１０３に送信して、ユーザに提示してもよい。
【０１５６】
また、物品管理システムが、複数の環境それぞれを管理するサーバ１０１同士が、互いに接続されて構成されているときには、物品を持ち出した物品取扱主体が現在位置している環境を検出し、その環境を管理するサーバ１０１に対して、持ち出された物品の現在位置を問い合わせるようにしてもよい。
【０１５７】
また、本システムでは、上述したように、物品の取扱いを行った移動体がロボット１０２であるときには、そのロボット１０２に対して作業命令を発した対象が、物品の物品取扱主体として物品ＤＢ１６１，１６２に記憶される。作業命令に応じてロボット１０２が環境外に物品を持ち出したときには、その作業命令を発した者がその物品の現在位置を把握している。このことから、ロボット１０２に対して作業命令を発した対象を物品の物品取扱主体と特定することで、物品の検索を行うユーザに適切な情報を提示することができる。尚、ここでは、ロボット１０２に対して作業命令を発した対象を物品の物品取扱主体と特定しているが、これとは異なり、ロボット１０２を物品の物品取扱主体と特定するようにしてもよい。また、図５及び図６に示すように、物品履歴データ１６１，１６２の物品取扱主体には、「お父さん（ロボット）」として、双方の移動体の情報を格納しているが、物品履歴データ１６１，１６２の物品取扱主体には、例えばロボット１０２に対して作業命令を発した対象（移動体）の情報のみを格納してもよいし、実際の物品取扱主体としてのロボット１０２の情報のみを格納してもよい。
【０１５８】
上記物品ＤＢの物品履歴データ１６１，１６２には、物品の取扱い履歴が格納されているため、ユーザは、その履歴情報によって、物品の移動を追跡することができる。
【０１５９】
特に、図６に示すように、環境の出入口における物品の出入を管理する物品履歴データ１６２において、物品の出入の履歴情報を蓄積することによって、次のような応用処理も実現する。
【０１６０】
すなわち、図６に示す物品履歴データ１６２では、時刻ｔ９に、お父さんが、衣類Ａ、タオルＣ，かさＢをカバンＣに入れて部屋から持ち出したことが記憶されている。また、上述したように、物品履歴データ１６２では、それらの物品の持出と、イベントとが対応付けられている。
【０１６１】
物品履歴データ１６２をこのような構成とすることによって、今後、お父さんが出張に出かけるときには、操作端末１０３において、「出張」と入力する。その情報を受けて、物品／移動体検索・管理手段１０５は物品履歴データ１６２を参照することにより、以前、出張に出かけたときに持ち出された物品を抽出する。こうして抽出した物品の情報をユーザに提示することによって、ユーザは以前に行ったイベントを繰り返して行うときには、そのイベントの実行に必要な物品を容易に確認することができる。さらに、ユーザがロボット１０２にそれらの物品を、所定の位置に移動させる作業を指定する、又はサーバ１０１が自動的に作業を指定するようにすれば、ロボット１０２によってイベントの実行に必要な物品が集められるようになり、ユーザの利便性を大幅に向上させることができる。
【０１６２】
尚、物品／移動体ＤＢ１６０における物品履歴データ及び移動体履歴データは、できるだけ長時間に亘ってデータ蓄積すれば、より過去に遡って履歴を調べることができ好ましい。また、移動体履歴データは、できるだけ短い時間間隔でデータを蓄積すれば、人やロボット１０２等の移動体の移動経路を管理することができ好ましい。
【０１６３】
但し、物品／移動体ＤＢ１６０の容量には限界があるため、ある一定の期間のデータを蓄積することとし、その期間よりも過去のデータは随時消去してもよい。また、移動体の状態変化が激しいときには、データを蓄積する時間間隔を短くし、状態変化が少ないときには、時間間隔を長くするようにしてもよい。
【０１６４】
（変形例１）
上記の実施形態では、作業ロボット１０２を備えたシステムについて説明したが、本発明に係る物品管理システムは、作業ロボット１０２を有しないシステムにおいても適用可能である。
【０１６５】
（変形例２）
本発明に係る物品管理システムは、上述したように、一般家庭に適用されるだけでなく、その他の場所にも適用が可能である。変形例２として、商品（物品）を顧客に貸し出す店舗（例えば、レンタルビデオ店等）に、本システムを適用した例を説明する。
【０１６６】
この例における物品管理システムは、図１１に示すように構成される。尚、図１１において、図１と同一の構成要素については同一の符号を付し、その詳細な説明は省略する。
【０１６７】
この例では、店舗内が環境となり、その店舗の出入口には出入口センシング手段１２１が、店舗内には環境内センシング手段１２２がそれぞれ配設される。この出入口センシング手段１２１及び環境内センシング手段１２２は、上述したように、電子タグとリーダライタと用いたものを採用するのが好ましい。つまり、商品には全て電子タグを付しておく。商品は、例えば店舗内に設置した陳列棚に陳列させればよい。また、顧客は、その人物が特定できるような電子タグを携帯するようにする。電子タグは、例えばカード型のものを採用してもよいし、腕時計や携帯電話等の機器に電子タグを取り付けてもよい。
【０１６８】
物品／移動体データベース１６０の物品ＤＢ１６１には、各商品の情報（少なくともその商品の内容と、その陳列位置との情報）を蓄積しておく。環境内センシング手段１２２が、店舗内に陳列されている商品のタグ情報を検出し、物品／移動体検索・管理手段１０５が、その検出結果を受けて各商品の情報を物品ＤＢ１６１に蓄積するようにしてもよい。こうすることで、新たな商品を店舗内で陳列するだけで、物品ＤＢ１６１には新たな商品の情報を自動的に記憶させることができる。
【０１６９】
また、移動体ＤＢ１６３には、顧客（会員）の情報を蓄積（登録）しておく。例えば氏名、年齢、住所、電話番号等の情報のほか、後述するように顧客の認証に必要な認証情報を、移動体ＤＢ１６３に蓄積しておく。
【０１７０】
さらに、操作端末１０３は店舗内に設置し、顧客が商品の検索を行う場合に利用するものとする。
【０１７１】
こうして構成された物品管理システムにおいて、顧客は、店舗内に陳列されている商品の中から所望の商品を選ぶ。このときに顧客は、上記操作端末１０３を操作することによって、所望の商品を検索することが可能にされている。具体的には、上述したように、操作端末１０３の入力部１１６を操作することによって、検索キーを入力する。これにより、その情報が操作端末１０３からサーバ１０１に送られ、サーバ１０１の物品／移動体検索・管理手段１０５は、物品／移動体ＤＢ１６０を参照して、指定された条件に合致する商品の検索を行う。その検索結果は、サーバ１０１から操作端末１０３に送られて顧客に提示されることになる。これにより顧客は、所望の商品の陳列位置を把握することが可能になる。
【０１７２】
また、この物品管理システムを、ロボット１０２を有するシステムとすれば、サーバ１０１がロボット１０２にロボット制御コマンド列を送信することによって、顧客が検索した商品を、ロボット１０２が顧客の所まで搬送するように構成することも可能である。
【０１７３】
所望の商品を選択した顧客は、その商品を持ったまま出入口を通過する。このときに、出入口センシング手段１２１は、持ち出される商品の情報を、その商品に付された電子タグから取得すると共に、その商品を持ち出す移動体（物品取扱主体）の情報を、その移動体が携帯する電子タグから取得する。
【０１７４】
物品／移動体検索・管理手段１０５は、上記出入口センシング手段１２１の検出結果を受けて、物品取扱主体の認証処理を実行する。この認証処理は、出入口センシング手段１２１によって検出された電子タグに埋め込まれている情報と、移動体ＤＢに登録されている移動体の認証情報とに基づいて行われる。この認証処理としては、顔認証や光彩認証等のバイオメトリクス認証を採用してもよい。また、パスワードを用いた認証を採用してもよい。こうして、電子タグに埋め込まれている情報と、その電子タグを携帯している顧客との同一性を判断する。
【０１７５】
そして、商品を持ち出そうとしている顧客の同定が完了すれば、上記物品／移動体検索・管理手段１０５は、出入口における物品の出入を管理する物品履歴データに、時刻、物品（商品）、取扱内容（ここでは貸出）、物品取扱主体を互いに対応付けて記録する。この場合の物品履歴データの図示は省略するが、その構成は図６に示す物品履歴データと同じである。この情報の記録の際には、サーバ１０１は、商品の貸し出しに係る決済処理を行うようにしてもよい。
【０１７６】
尚、顧客が店舗から出て行く際に、物品・移動体検索・管理手段１０５が商品の特定や顧客の同定ができなかったとき、又は電子タグに埋め込まれている情報と、その電子タグを携帯している顧客とが同一でなかったときには、サーバ１０１は、そのサーバ１０１に接続された報知手段１２３によって、その旨を例えば音声で報知することが好ましい。こうして、顧客に再度認証を行うようにさせる。
【０１７７】
さらに、顧客がその報知を無視して店舗から出て行く場合を考慮して、出入口にはカメラを設置して、その様子を撮像した画像をデータベースに蓄積するようにしたり、その旨を店舗の管理者や、警察、警備会社等に、電話・電子メールで報告したりする、セキュリティ機能を設けてもよい。
【０１７８】
また、顧客が店舗に入る際に、出入口センシング手段１２１の検出結果と、移動体ＤＢ１６３の認証情報とに基づいて、その顧客に対する認証処理を実行するようにしてもよい。こうすることで、セキュリティ性がより一層向上する。
【０１７９】
このように、空間から物品を持ち出す際に、その物品とその物品を持ち出す移動体とを特定して管理することによって、商品の貸出の処理を自動的に行うことができる。このため、店舗を無人にすることも可能になって、店舗のオーナーは大きなメリットが得られる。一方、顧客は貸出の処理を行わなくてもよいというメリットが得られる。
【０１８０】
上記の例では、出入口センシング手段１２１は、物品と移動体とが、出入口を通過することを検出できればよいが、例えば、物品及び移動体の空間に対する移入と移出とを区別して検出するように出入口センシング手段１２１を構成すれば、商品の貸し出し処理だけでなく、貸し出した商品の返却処理をも自動化することが可能になる。
【０１８１】
つまり、借りた商品を店舗に持って返却にきた顧客が、その店舗内に入店するときに、出入口センシング手段１２１が、商品が移動体によって店舗内に持ち込まれたことを検出する。物品／移動体検索・管理手段１０５は、その検出結果を受けて、持ち込まれた商品を特定すると共に、その商品を持ち込んだ物品取扱主体を特定する。そして、特定した物品と物品取扱主体とを対応付けて物品ＤＢの物品履歴データ１６２に記憶させる。
【０１８２】
さらに、物品／移動体検索・管理手段１０５は、物品ＤＢの物品履歴データ１６２を参照することによって、その返却された商品の貸し出し時の情報を抽出し、その貸出情報と返却情報とを比較することによって、返却処理を完了させる。このときに、例えば商品の延滞に係る決済処理を実行するようにしてもよい。
【０１８３】
尚、この商品の返却の際には、商品の検出と特定とだけを行い、移動体の特定は行わなくてもよい。また、商品の返却の際にも、認証情報を用いて移動体の認証処理を行うようにしてもよい。
【０１８４】
この変形例２において示した店舗の適用例は、本を利用者に貸し出す図書館にもそのまま適用することが可能である。
【０１８５】
また、こうした店舗や図書館に適用した物品管理システムでは、少なくとも出入口における物品の出入を管理すればよく、環境内における物品の取扱い（移動）を逐次管理する必要はない。
【０１８６】
但し、環境内センシング手段１２２の検出結果を用いて、環境内における物品の移動をも管理すれば、次のような効果が得られる。
【０１８７】
例えば図書館では、全ての書籍を、小説、エッセイ、心理学等のカテゴリで分類し、決められたブロックにその分類毎にまとめて配置している。また、各書籍には上記の分類を基にしてコードが付されており、そのコードと書籍の配置ブロックとを対応付けてデータベースに記録して、書籍を管理するようにしている。こうしたシステムとすることによって、ユーザからの検索要求を受けたときには、データベースを参照することにより、その書籍が配置されているブロックをユーザに提示することができる。
【０１８８】
しかし、このようにデータベースで書籍の配置を管理していたとしても、利用者が誤ったブロックに書籍を返却してしまうこともある。この場合は、書籍がどこに置かれているかを把握することが困難になってしまう。
【０１８９】
そこで、環境内センシング手段１２２の検出結果を用いて、環境内における物品の移動を管理する。つまり、環境内（図書館内）における各書籍の移動を環境内センシング手段１２２が逐次検出して、その検出結果に基づいて、物品／移動体検索・管理手段１０５が物品ＤＢ１６１にその情報を蓄積する。こうすることで、書籍は定められた位置に返却されていなくても、物品ＤＢ１６１を参照することによって、その書籍の現在位置を把握することが可能になり、利用者の利便性が向上する。
【０１９０】
さらに、こうした図書館に適用するシステムも、作業ロボット１０２を備えるシステムとすれば、ロボット１０２が所望の書籍を利用者の所に届けることが実現する。
【０１９１】
尚、例えば図書館等では、その建物がセクション毎に別れていることがあるが、この場合、図書館の建物全体を一つの環境として、サーバ１０１が管理してもよいし、各セクションを一つの環境として、セクション毎にサーバ１０１が物品の管理を行ってもよい。
【０１９２】
さらに、変形例２で示した物品管理システムは、例えば、スーパーマーケットやコンビニエンスストア等の一般小売店に適用することも可能である。この場合は、顧客が商品を持って店舗を出て行くときに、出入口センシング手段１２１がそのことを検出し、物品／移動体検索・管理手段１０５は、商品（物品）の特定と、顧客（物品取扱主体）の特定とを行う。こうして、商品と物品取扱主体とを特定した上で、決済処理を行えばよい。
【０１９３】
また、物品／移動体検索・管理手段１０５は、商品の情報と物品取扱主体の情報とを対応付けて物品ＤＢ１６２に記憶させる。こうすることで、物品ＤＢ１６２に記憶された情報は、どの商品を、どの顧客層が購入したかを示す情報となり、マーケティング情報として利用することができるようになる。
【０１９４】
（変形例３）
本発明に係る物品管理システムを、交通機関（電車、バス等を含む）に適用したときには、乗客の忘れ物の防止に有効なシステムを構築することができる。
【０１９５】
この例における物品管理システムも、図１１に示す構成とすればよい。この例では、車内が環境となり、その出入口には出入口センシング手段１２１が、車内には環境内センシング手段１２２がそれぞれ配設される。尚、この例では、環境内センシング手段１２２は省略してもよい。出入口センシング手段１２１及び環境内センシング手段１２２は、上述したように、電子タグとリーダライタとを用いたものを採用するのが好ましい。
【０１９６】
この場合、乗客の持ち物であって、出入口を通過する各物品には電子タグを付す。また、乗客は、その人物が特定できるような電子タグを携帯する。これらの電子タグは、上記実施形態で述べたように、一般家庭でのセンシングに利用する電子タグをそのまま利用してもよい。
【０１９７】
物品／移動体データベース１６０の物品ＤＢ１６２には、後述するように、車内に持ち込まれる物品（持込物）の情報とその持込者（物品取扱主体）の情報とが対応付けられて蓄積されると共に、車内から持ち出される物品（持出物）の情報とその持出者（物品取扱主体）の情報とが対応付けられて蓄積される。この物品ＤＢ１６２は、図６に示すものと同じ構成とすればよい。
【０１９８】
また、操作端末１０３は、例えば車両の管理者（例えば車掌）が操作するものとする。
【０１９９】
この構成の物品管理システムにおいて、乗客が出入口から車内に乗り込むときに、出入口センシング手段１２１は、持込物と持込者とを検出する。その検出結果を受けて、物品／移動体検索・管理手段１０５は、その持込物と持込者とを対応付けて、物品履歴データ１６２に記憶させる。
【０２００】
そして、乗客が出入口から車外に降りるときに、出入口センシング手段１２１は、再び持出物と持出者とを検出する。その検出結果を受けて、物品／移動体検索・管理手段１０５は、その持出物と持出者とを対応付けて、物品履歴データ１６２に記憶させる。そして、物品／移動体検索・管理手段１０５は、物品履歴データ１６２を参照することによって、同一の乗客の持込物と持出物との照合を行う。この照合によって持込物と持出物とが一致しないことが判明したときには、その乗客が車内に忘れ物をしていると判断することが可能になる。
【０２０１】
忘れ物をしていることが判明したときには、サーバ１０１は、報知手段１２３によって降車しようとしている乗客にその旨を報知するようにしてもよい。報知手段１２３は、例えば車両の出入口に音声又は表示で報知する構成のものを採用することができる。
【０２０２】
また、環境内センシング手段１２２によって、その忘れ物の現在位置を検出し、サーバ１０１から操作端末１０３に、忘れ物が発生した旨と、その忘れ物の現在位置とを送信してもよい。それによって車両の管理者は、その忘れ物を保管して、その忘れ物をした乗客に別途連絡をすることができる。
【０２０３】
このシステムでは、乗客が車両に乗り込むときと、車両から降りるときとのそれぞれにおいて、その乗客の持ち物を検出し、それを物品ＤＢ１６２に蓄積するため、この物品ＤＢ１６２を参照すれば、物品を車内に持ち込んだ者と、その物品を車外に持ち出した者とが異なることを検出することが可能である。これを利用すれば、例えば車内で窃盗の発生を判断することもできる。このように物品の持込者と持出者とが異なるときには、その持出者に対して報知手段１２３によって警告を行うようにしてもよい。また、サーバ１０１から警察や警備会社等に自動的にその旨を連絡するようにしてもよい。
【０２０４】
また、このシステムでは、乗客が車両に乗り込むときに、その持ち物の特定を行うため、車内への持込を禁じられている物品（危険物等）が持ち込まることを、未然に検出することができるという、付随的な効果も得られる。
【０２０５】
（変形例４）
本発明に係る物品管理システムは、上述したように、人が活動を行う生活空間に適用されるだけでなく、例えば物品を収容する収容部を有する設備（冷蔵庫や戸棚等を含む）に適用することが可能である。
【０２０６】
この例における物品管理システムも、図１１に示す構成とすればよい。但し、環境内センシング手段１２２は省略される。この例では、設備の収容部が環境となり、その出入口には出入口センシング手段１２１が配置される。例えば、出入口センシング手段１２１を、冷蔵庫や戸棚等の開口部に設置したゲート型のリーダライタで構成すれば、収容部に対して出し入れされる物品を検出することが可能になる。また、上述したように、ゲート型のリーダライタを開口部に対して二重に配置すれば、収容部に対する物品の持込と持出とを区別して検出することができる。
【０２０７】
尚、この例では、物品の出し入れを行う物品取扱主体が、ゲート型のリーダライタを通過することがない。このため、出入口センシング手段１２１は、その設備の開口部の近傍に存在する移動体を検出するのがよい。開口部の近傍に存在する移動体は物品の出し入れを行う物品取扱主体と考えられるためである。こうした移動体の検出は、電子タグとリーダライタを用いて行ってもよいし、カメラ画像を利用して行ってもよい。
【０２０８】
出入口センシング手段１２１が物品の出入を検出すれば、物品／移動体検索・管理手段１０５は、その物品を特定すると共に、その物品を出し入れする移動体（物品取扱主体）を特定する。ここで特定される物品取扱主体は、上述したように、開口部の近傍に位置する移動体である。
【０２０９】
そして、上記物品／移動体検索・管理手段１０５は、特定した物品と、その物品取扱主体とを対応付けて、物品履歴データ１６２に記憶させる。この物品履歴データ１６２の構成は、図６の物品履歴データと同じにすればよい。
【０２１０】
こうすることで、例えば冷蔵庫や戸棚等における物品の出入を、移動体と対応付けて管理することが可能になる。それによって、その物品履歴データ１６２を参照すれば物品を取り出した移動体が特定されるため、収容部から取り出された物品を間接的に管理することができる。また、例えば新たな物品が収容部内に持ち込まれていたときでも、その物品を持ち込んだ者（その物品の所有者）を特定することができるようになる。
【０２１１】
この例の物品管理システムは、例えば薬品保管庫における薬品の管理に適用することも可能である。この場合は、誰が、どの薬品を使用したか（保管庫から取り出したか、保管庫に持ち込んだか）を、物品ＤＢ１６２で自動的に管理することが可能になる。さらに、薬品保管庫から薬品を取り出す際に、その物品取扱主体に対する認証処理を行うようにすれば、不正な薬品使用を防止することもでき、セキュリティ性を向上させることができる。
【０２１２】
このように、本発明による物品管理システムは、所定の空間（環境）に対する物品の出入を管理するシステムであって、上記物品が移動体によって上記空間と外部とをつなぐ出入口を通過されたことを検出するセンシング手段（出入口センシング手段）１２１と、上記センシング手段１２１による検出結果を受けて、上記出入口を通過した物品を特定する物品特定手段３２と、上記センシング手段１２１による検出結果を受けて、上記物品を通過させた物品取扱主体を特定する物品取扱主体特定手段３３と、上記物品特定手段３２による特定結果と上記物品取扱主体特定手段３３による特定結果とを受けて、上記出入口を通過した物品とその物品を通過させた物品取扱主体とを対応付けて記憶する記憶手段（物品ＤＢ１６２）と、を備える。
【０２１３】
記憶手段１６２に、出入口を通過した物品とその物品を通過させた物品取扱主体とを対応付けて記憶させることによって、上述したように、環境の外に持ち出された物品を間接的に管理することが可能になる。それによって、本システムを店舗や図書館に適用したときには、貸し出し処理や、決済処理を自動化することができる。
【０２１４】
また、上記センシング手段１２１は、物品が移動体によって出入口を通過して空間内に持ち込まれたことと、空間内から持ち出されたこととを区別して検出し、上記記憶手段１６２は、上記センシング手段１２１による検出結果を受けて、上記出入口を通過した物品と、その物品を通過させた物品取扱主体と、その物品の持込／持出とを対応付けて記憶する。
【０２１５】
物品の持込と持出とを区別して記憶することによって、環境内に持ち込まれた物品と環境内から持ち出された物品との比較が可能になる。それによって、本システムを店舗等に適用したときには、貸出・返却処理を自動化することができる。また、本システムを公共交通機関に適用したときには、乗客の忘れ物を防止するシステムとすることができる。
【０２１６】
上記物品取扱主体特定手段３３は、物品と共に出入口を通過した移動体を、当該物品を通過させた物品取扱主体と特定する。これにより、物品取扱主体を正確に特定することができる。
【０２１７】
また、上記物品取扱主体特定手段３３は、物品が通過する際に出入口近傍に存在した移動体を、当該物品を通過させた物品取扱主体と特定する。これにより、環境が設備の収容部であるときに、物品取扱主体を正確に特定することができる。
【０２１８】
また、記憶手段１６２に記憶されている情報をユーザに提示する提示手段（操作端末１０３）をさらに備えることにより、本システムを一般家庭や設備に適用したときには、ユーザに、環境外にある物品について、適切な情報を提供することができる。
【０２１９】
記憶手段１６２が、空間に対する物品の出入の履歴を記憶することによって、ユーザは、物品の出入を追跡することが可能になる。また、その履歴情報とイベント情報とを対応付けることによって、ユーザは、イベントの実行に必要な物品を容易に確認することができる。
【０２２０】
また、上記物品取扱主体特定手段３３が、上記センシング手段１２１による検出結果と、登録手段（移動体ＤＢ１６３）に登録されている認証情報とに基づいて物品取扱主体の認証を行うことにより、本システムを例えば店舗等に適用したときには、セキュリティ性を向上させることができる。
【０２２１】
さらに、認証によって物品取扱主体の同定ができないときに、その旨の報知を行う１２３をさらに備えることによって、セキュリティ性のさらなる向上が図られる。報知手段１２３による報知は、物品取扱主体に対して行ってもよいし、その物品取扱主体とは異なる移動体（人）に対して行ってもよい。
【０２２２】
また、上記物品取扱主体特定手段３３が、物品がロボット１２０によって出入口を通過されたときには、当該ロボットへの作業命令を発した対象を、上記物品を通過させた物品取扱主体と特定することにより、ユーザに適切な情報を提供することができる。
【０２２３】
−他の実施形態−
尚、本実施形態では、物品管理システムを、環境管理サーバ１０１、ロボット１０２、操作端末１０３の３つのサブシステムからなり、それらサブシステム１０１〜１０３が無線又は有線等のネットワークを介して互いに情報をやりとりするような構成とした。しかし、物品管理システムはこの構成に限らず、例えば操作端末１０３が環境管理サーバ１０１に一体となった構成でもよい。
【０２２４】
またロボット１０２は１台ではなく複数台が協調しながら作業を並行して行う構成でもよい。
【０２２５】
【発明の効果】
以上説明したように、本発明による物品管理システム、物品管理サーバ、物品管理方法によると、記憶手段に、出入口を通過した物品とその物品を通過させた物品取扱主体とを対応付けて記憶させるという新たな管理手法によって、一般家庭は勿論のこと、店舗や図書館、公共交通機関等の生活空間全般、又は、設備に適用することができる。その結果、それぞれに適用例に応じて、環境外の物品についての情報提供、貸出・返却処理及び決済処理の自動化、忘れ物の防止、等の様々な利便性を得ることができる。
【図面の簡単な説明】
【図１】本実施形態に係る物品管理システムの全体構成を示すブロック図である。
【図２】ゲート型のリーダライタを環境内のドアや窓に配置した例を示す図である。
【図３】背景差分法の原理を示す説明図である。
【図４】物品／移動体検索・管理手段の構成を示すブロック図である。
【図５】物品／移動体データベースの内、物品データベースの構成と記載内容例を示す図である。
【図６】ドアにおける物品履歴データの構成と記載内容例を示す図である。
【図７】物品／移動体データベースの内、移動体データベースの構成と記載内容例を示す図である。
【図８】環境の実状況と、それに対応する環境マップとを示す図である。
【図９】作業ロボットの構成の一例を示す概略図である。
【図１０】環境内で物品が移動する一例を説明する説明図である。
【図１１】変形例２〜４に係る物品管理システムの全体構成を示すブロック図である。
【符号の説明】
１０１・・・環境管理サーバ（物品管理サーバ）
１０２・・・作業ロボット（ロボット）
１０３・・・操作端末（提示手段）
１２０・・・センシング手段
１２１・・・出入口センシング手段
１２２・・・環境内センシング手段
１２３・・・報知手段
１６０・・・物品／移動体データベース
１６１・・・物品データベース
１６２・・・物品データベース（記憶手段）
１６３・・・移動体データベース（登録手段）
３１・・・・物品取扱検出手段
３２・・・・物品特定手段
３３・・・・物品取扱主体特定手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an article management system, an article management server, and an article management method for managing entry and exit of articles into and from a predetermined space.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, an article management system that manages articles by using an electronic tag at a business office or at home has been known (for example, see Patent Document 1).
[0003]
In recent years, research and development of robots for supporting human life while coexisting with humans in living space have been actively performed. Thereby, in the future, a robot capable of grasping an article will be introduced into a general household or the like, and a robot system in which the robot moves the article in place of a person, such as an elderly person, who has difficulty carrying the article will be realized.
[0004]
[Patent Document 1]
JP 2000-357251 A
[0005]
[Problems to be solved by the invention]
In the article management system described in Patent Literature 1, the current position of each article in a room (in a space) of an office or a general home is managed. Therefore, when an article that has been in the space is taken out of the space, the article is removed from the management target, and the article cannot be managed.
[0006]
In a living space where such people are active (including the above-mentioned establishments (offices) and ordinary households, as well as other hotels, stores, hospitals, etc.), goods are moved by various people, for example, a certain person ( In many cases, the person A) takes an article (article B) that was in the space out of the space. In this case, in the article management system described in Patent Literature 1, as described above, the article B taken out of the space is not managed by the system. For this reason, even if another person (person C) tries to check the position of the article B taken out, there is a disadvantage that the position of the article B is not known.
[0007]
In order to solve this, for example, it is conceivable to manage entry and exit of articles into and out of the space. However, by simply managing the entry / exit of an article, it is possible to grasp that the article has been taken out of the space, but not to know where the article is currently.
[0008]
The present invention has been made in view of such circumstances, and an object of the present invention is to manage the entry and exit of articles into a predetermined space using a new article method that has not been used in the past. The purpose is to improve convenience.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, the present invention not only manages the entry and exit of articles into and from a predetermined space, but also manages the persons who have entered and exited the articles (article handling entities) in association with each other. By doing so, for example, in the above example, when the person C tries to confirm the position of the article B taken out of the space, the system informs the person C that the person who took out the article B is the person A. Can be presented. Thereby, the person C can grasp the current position of the article B by making an inquiry to the person A or the like.
[0010]
In this way, the management of the entry / exit of an article into and out of the environment in association with the article handling entity that has caused the entry / exit can be used in various situations other than the above example. In addition, various conveniences that cannot be realized by the conventional article management system can be obtained.
[0011]
Specifically, the article management system of the present invention is a system that manages the entry and exit of articles to and from a predetermined space.
[0012]
The article management system includes a sensing unit that detects that the article has passed through an entrance / exit connecting the space and the outside by an article handling entity, and receives a detection result by the sensing unit, and receives the article that has passed through the entrance / exit. An article specifying means for specifying, an article handling subject specifying means for receiving the detection result by the sensing means, and specifying an article handling subject that has passed the article, a specifying result by the article specifying means, and the article handling subject specifying means Storage means for receiving, in response to the identification result, the article passing through the entrance and the article handling entity passing the article in association with each other.
[0013]
According to this configuration, the sensing unit detects that the article has passed through the entrance by the article handling subject. Thus, it is detected that the article has been brought into the space or that the article has been taken out of the space. Here, the article handling subject includes a person (handler) or an animal who moves the article, and a work robot that performs an article handling operation in response to a work instruction.
[0014]
The article specifying means receives the detection result by the sensing means and specifies what the article has passed through the entrance.
[0015]
The moving body specifying means receives the detection result by the sensing means and specifies what the article handling entity has passed the article.
[0016]
In this way, if the article is specified by the article specifying means and the moving body is specified by the article handling subject specifying means, the storage means receives the specified results and passes the article passing through the entrance and the article. The article handling entity that has been made to correspond is stored. As a result, in the above-described example, the article B and the person A are stored in the storage unit in association with each other.
[0017]
Here, the sensing means distinguishes and detects that the article has been taken into the space after passing through the doorway by the article handling entity, and detected as having been taken out of the space after passing through the doorway. The means receives the detection result by the sensing means, stores the article that has passed through the entrance, the article handling entity that has passed the article, and the carry-in / take-out of the article in association with each other. Is also good.
[0018]
Further, the article handling subject specifying means may specify a moving body that has passed through the entrance and exit together with the article as an article handling subject that has passed the article.
[0019]
Alternatively, the article handling subject specifying means may specify a moving body existing near the entrance when the article passes as the article handling subject that has passed the article.
[0020]
The article management system may further include a presentation unit that presents information stored in the storage unit to a user. The presenting means may present information stored in the storage means to the user in response to the inquiry input.
[0021]
It is preferable that the storage means stores a history of articles entering and exiting the space.
[0022]
The article management system further includes a registration unit for registering the authentication information of the moving object, and the article handling subject identification unit based on the detection result by the sensing unit and the authentication information registered in the registration unit. The authentication of the article handling entity may be performed.
[0023]
In this case, the article management system may further include notifying means for notifying that the article handling entity cannot be identified by the authentication of the article handling entity specifying means.
[0024]
Further, when the article has passed through the entrance / exit by the robot, the article handling subject specifying means may specify a subject that has issued a work command to the robot as the article handling subject that has passed the article.
[0025]
The article management server of the present invention is a server that manages the entry and exit of articles in a predetermined space.
[0026]
The article management server receives the detection result that the article has passed through the entrance connecting the space and the outside by the article handling entity, and identifies the article that has passed the entrance through the article identification unit; Receiving the article, the article handling entity identifying means for identifying the article handling entity that passed the article, and the identification result by the article identifying means and the identification result by the article handling entity identifying means, and passed through the entrance. Storage means for storing the article and the article handling entity that has passed the article in association with each other.
[0027]
The article management method of the present invention is a method for managing the entry and exit of articles in a predetermined space.
[0028]
The article management method includes: a detection step of detecting that the article has passed through an entrance / exit connecting the space and the outside by an article handling entity; and receiving a detection result of the detection step, receiving the article passing through the entrance / exit. Receiving the detection result of the detection step, an article handling entity identifying step of identifying an article handling entity that has passed the article, and an identification result of the article identification step and an article handling entity identification step. Receiving the specified result and storing the article that has passed through the entrance and the article handling entity that has passed the article in association with each other.
[0029]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. An article management system according to the present invention is a system that manages entry and exit of articles in a predetermined space. In the present embodiment, the predetermined space is a space (living space) where a person performs an activity, such as a general home, office, hotel, store, and hospital. In the present embodiment, in particular, one room of a general home is It is defined as a target space of the article management system (hereinafter referred to as an environment).
[0030]
As shown in FIG. 1, the present system includes an environment management server 101 (hereinafter, sometimes simply referred to as a server), a work robot 102 (hereinafter, sometimes simply referred to as a robot), and an operation terminal 103. It is divided into three subsystems. These three subsystems 101 to 103 are connected via a wireless or wired network, and are configured to exchange information via this network.
[0031]
Each of the three subsystems 101 to 103 includes control means 110, 115, 119 and a transmission / reception means 109. Since the transmission / reception means 109 of each of the subsystems 101 to 103 has the same processing, the same reference numerals are given.
[0032]
Here, the article refers to an object handled by a person or the work robot 102. The human and the work robot 102 handle articles, and are hereinafter collectively referred to as moving objects. Further, a moving body that handles articles is referred to as an article handling entity.
[0033]
-Configuration of sensing means-
The present system includes a sensing unit 120 for grasping a situation in an environment. The sensing unit 120 is connected to an environment management server 101 which is a first subsystem.
[0034]
The sensing means 120 comprises an entrance / exit sensing means 121 for detecting a state of an entrance / exit of the environment, and an in-environment sensing means 122 for detecting a situation in the environment.
[0035]
(Entrance sensing means)
The entrance / exit sensing means 121 detects that the moving object has brought the article into the environment and has taken the article out of the environment. That is, the entrance sensing means 121 detects that the article has passed through the entrance by the article handling subject.
[0036]
As the entrance / exit sensing means 121, an entrance / exit sensing means comprising an electronic tag and a reader / writer can be employed.
[0037]
An electronic tag is a device consisting of an IC that stores data and an antenna that transmits and receives data wirelessly.A reader / writer is a device that reads information written on an electronic tag and writes information to an electronic tag. It is a device that can do it.
[0038]
As shown in FIG. 2, for example, as shown in FIG. 2, a gate type reader / writer (RF antenna) is provided at each of the windows 51 and doors 52, which are entrances and exits between the environment and the outside. ) 41 and 42 are arranged.
[0039]
In addition, all the articles passing through the entrance are provided with the electronic tag in advance. It is preferable to embed data relating to the article in the electronic tag, for example, data such as the type, shape, and weight of the article, an image of the article, and the date of manufacture.
[0040]
Further, a moving object passing through the entrance is also provided with an electronic tag in advance. The electronic tag attached to a person may be embedded in an object that the person always carries (for example, a wristwatch or a ring). It is preferable to write data relating to the moving object, for example, information such as a person's name and date of birth, in the electronic tag attached to the moving object.
[0041]
By configuring the entrance / exit sensing means 121 in this way, when the article and the moving body pass through the window 51 or the door 52, the reader / writers 41 and 42 installed at the entrance are attached to the article and the moving body. The information from the electronic tag will be read. Thus, by reading the information from the electronic tag, the doorway sensing means 121 can detect that the article and the moving object have passed through the doorway.
[0042]
In addition, if the reader / writer is configured so as to be doubled with respect to the doorway, the doorway sensing means 121 not only detects that the article has passed through the doorway, but also determines whether the article was brought into the environment. It can be detected by distinguishing whether or not it was taken out.
[0043]
That is, although not shown, the first reader / writer is located outside the opening of the window 51 or the door 52 outside the environment, while the second reader / writer is located outside the opening of the window 51 or the door 52. It is installed inside the opening. According to this configuration, when the second reader / writer installed inside detects the information from the electronic tag after the first reader / writer installed outside the environment detects the information from the electronic tag, the electronic tag detects the information from the electronic tag. The attached article can be identified as being brought into the environment from the outside (or the moving object has entered the environment from the outside). Conversely, when the first reader / writer installed outside detects the information from the electronic tag after the second reader / writer installed inside the environment detects the information from the electronic tag, the electronic tag is attached. The removed article can be specified as being taken out of the environment (or the moving object has come out of the environment).
[0044]
In FIG. 2, the reader / writers 41 and 42 are installed so as to surround the upper, lower, left, and right sides of the opening of the window 51 or the door 52. The reader / writers 41 and 42 may be installed only at the vertical position of the window 51 or the door 52, only at the left and right positions, or at the center position.
[0045]
Note that the entrance / exit sensing means 121 is not limited to the one composed of the electronic tag and the reader / writer, but may have another configuration. Also in this case, it is preferable that the detection can be performed by distinguishing the carry-out and the carry-in of the article. However, since the articles present in the environment can be detected by the in-environment sensing means 122 to be described later, even if the entrance / exit sensing means 121 cannot detect the carry-out and carry-in of the articles in a distinguishable manner, the in-environment sensing can be performed. By combining the detection result of the means 122 and the detection result of the entrance / sensing means 121, it is possible to distinguish whether the article is taken out of the environment or brought into the environment.
[0046]
(Sensing means in the environment)
The in-environment sensing means 122 constantly detects articles and equipment (including furniture and the like) existing in the environment, and the position and state of a person or the robot 102.
[0047]
As the in-environment sensing means 122, one using an image sensor can be adopted. The in-environment sensing means 122 using an image sensor includes a camera fixed to a ceiling or a wall of a room, and is configured to detect an article or the like in the room based on a camera image taken by the camera.
[0048]
One of the general methods for detecting an article or a moving object in an environment using a camera image is a background subtraction method, and the environment difference means 122 can use the background subtraction method. The background subtraction method is a method of preparing a model image as a background in advance and calculating a difference between a current camera image and the model image to detect an object.
[0049]
The purpose of the in-environment sensing means 122 in the present system is to detect and monitor articles and moving objects in the environment. Therefore, if there is little change in the state of the environment, the model / image What is necessary is just to use the image imaged when the body is not present. If the environmental situation fluctuates greatly, an image obtained by averaging a plurality of images photographed at predetermined time intervals may be used as a model image.
[0050]
Specifically, an article detection method using the background subtraction method will be described with reference to FIG. Here, FIG. 3A is a diagram illustrating an example of a model image, FIG. 3B is a diagram illustrating an image (input image) captured by a camera at a certain point in time, and FIG. FIG. 14 is a diagram illustrating an example of a background difference image obtained by subtracting a model image from an input image. As can be seen from FIG. 3C, in the background difference image, a portion having a difference between the input image and the model image appears (see a hatched portion in FIG. 3). Therefore, it is possible to detect an article present in the environment by taking out only the protruding portion. Further, the image is subjected to image processing to specify what the article is (this processing is performed by an article specifying unit 32 described later). As described above, by using the background subtraction method, it is possible to detect the status of articles and moving objects in the environment.
[0051]
Further, as the in-environment sensing means 122, similarly to the entrance / exit sensing means 121, one using an electronic tag and a reader / writer can be adopted.
[0052]
Although not shown, the in-environment sensing means 122 composed of the electronic tag and the reader / writer is configured by installing a number of reader / writers in the environment. Also, each article and each moving object existing in the environment are provided with an electronic tag as described above. With this configuration, the reader / writer installed in the environment reads the information from the electronic tag attached to each article present in the environment, thereby allowing the reader / writer to operate in the environment without a camera. It becomes possible to detect existing articles and moving objects.
[0053]
In addition, the environmental sensing means 122 using a camera simply detects the presence of an article, but the environmental sensing means 122 using an electronic tag and a reader / writer can detect the presence of an article. In addition, it is possible to use information embedded in the electronic tag. As a result, it is possible to reliably identify what the article is, to manage the quality expiration date based on the date of manufacture of the article, and to check the article of the robot 102 Convenience can be further improved, for example, the gripping operation becomes easy.
[0054]
In addition, in detecting an article or the like using a camera, if the article is weak to a change in brightness, the resolution is low, the article is hidden by another object and cannot be seen, and if the articles are overlapped, they are detected as one article. In general, there are many problems.
[0055]
For example, in order to solve the problem of the blind spot, a plurality of cameras may be arranged substantially equally in the environment, and all the articles existing in the environment may be imaged by any one of the cameras. However, simply installing a large number of cameras so as to eliminate blind spots does not solve the problem of resolution and the problem of overlapping of articles, so it may be difficult to determine what is the prominent part in the background difference image. . That is, when the in-environment sensing means 122 uses a camera, there is an inconvenience that it is difficult to identify the detected article.
[0056]
On the other hand, when exchanging data between the electronic tag and the reader / writer, a very weak radio wave which does not affect the human body has to be used, so that the communication distance is very short, several tens of cm. For this reason, many readers / writers must be installed in the environment in order to detect all items in the environment without omission, but the cost of a reader / writer is higher than that of a camera. Not a target. When the in-environment sensing means 122 uses an electronic tag and a reader / writer, it is easy to identify the detected article, but there is a disadvantage that the cost is increased.
[0057]
As described above, inconvenience occurs when a camera is used and when an electronic tag and a reader / writer are used. For this reason, by using both the image sensor and the electronic tag as the in-environment sensing means 122, it is conceivable to solve both of the disadvantages caused by the single sensor configuration. That is, the hybrid processing is performed in which the position of the article in the environment is specified by the above-described background subtraction method, and the article is specified using the electronic tag. The following two examples can be given as specific processing.
[0058]
In one example, a camera is installed on a ceiling, a wall, or the like in the environment, and a reader / writer is attached to the work robot 102 to constitute the environment sensing means 122. Also, an electronic tag is attached to each article and the moving body. Then, the position of the article in the environment is specified by the background subtraction method using the camera image. Next, the robot 102 is moved to the vicinity of the specified article, and information is read from the electronic tag attached to the article by a reader / writer attached to the robot 102 to specify the article.
[0059]
In another example, a camera is installed on a ceiling, a wall, or the like in an environment, and a plurality of reader / writers are installed approximately evenly in the environment to constitute the environment sensing means 122. It is assumed that this reader / writer has directivity for reading data of the electronic tag and the reading direction is variable. Then, the position of the article in the environment is specified by the background subtraction method using the camera image. Next, the reader / writer installed at the position closest to the specified article is selected, and the reading direction of the reader / writer is directed to the article. Thus, the information is read from the electronic tag attached to the article, and the article is specified. In this example, since the distance between the reader / writer and the electronic tag may be long, a relatively strong radio wave is used. For this reason, it is preferable that the reader / writer reads the information of the electronic tag after confirming that there is no person in the environment by, for example, the background subtraction method.
[0060]
Note that the in-environment sensing means 122 may employ a method other than that described here (for example, a sensing method using an optical beacon).
[0061]
The sensing means 120 detects the carry-in / take-out of the article with respect to the environment and the movement (handling) of the article in the environment as described above. 105.
[0062]
-Configuration of environmental management server-
As shown in FIG. 1, the environment management server 101 includes an article / moving object search / management means 105 for managing a situation between an article and a moving object existing in the environment among the situations grasped by the sensing means 120, and An article / moving object database 160 for storing data of articles and moving objects, an environment map management means 107 for managing the status of the entire environment other than the articles and moving objects, and an environment map 108 for storing data of the entire environment; Transmission / reception means for receiving an inquiry (signal) for data of the article / mobile object database 160 and data of the environment map 108 from the outside, transmitting a response signal to the outside, and transmitting a control command to the robot 102 109 and control means 110 for controlling these means 105, 107, 109. It made.
[0063]
A general-purpose computer can be used as the environment management server 101. In this case, the computer reads a control program for executing each process described below, so that the computer can be used as the environment management server 101.
[0064]
(Article / moving object search / management means)
The article / moving object search / management means 105 accumulates information on each article and the moving object detected by the sensing means 120 in an article / moving object database (DB) 160.
[0065]
The article / moving object search / management means 105 identifies the article based on the detection result of the sensing means 120, identifies the moving object handling the article, and returns the identification result to the article / moving object. It is configured to accumulate in the mobile DB 160.
[0066]
Further, as will be described later in detail, when the article / moving object search / management means 105 receives an inquiry from the control means 110 to the article / moving object DB 160, the article / moving object DB 160 sends necessary information according to the content of the inquiry. The information is also taken out from the mobile object DB 160 and the information is sent to the control means 110.
[0067]
As shown in FIG. 4, the article / moving object search / management means 105 receives the detection result of the sensing means 120 and detects that the article is handled by the moving object (article handling state). 31; an article specifying unit 32 that receives the detection result of the article handling detection unit 31 to identify the article handled by the moving object; and receives the detection result of the article handling detection unit 31 to handle the article. Article handling entity specifying means 33 for identifying a moving object (article handling entity).
[0068]
The article handling detection means 31 detects the article handling state at the entrance and exit of the environment based on the detection result of the entrance sensing means 121 1. Specifically, when the entrance / exit sensing means 121 detects that both the article and the moving object have passed through the entrance / exit, the article handling means 31 detects that the article has been handled at the entrance / exit.
[0069]
The article handling detection means 31 detects the article handling state in the environment based on the detection result of the environment sensing means 122. Specifically, when the in-environment sensing unit 122 detects an article in the environment using the above-described background subtraction method, a part having a difference between the input image (camera image) and the model image occurs. The article handling detection means 31 detects that the object is being handled in that part.
[0070]
Also, when the in-environment sensing unit 122 detects an article in the environment using the above-described electronic tag and reader / writer, the reader / writer that has read information from the electronic tag reads the information from the electronic tag. When the information of the electronic tag cannot be read, conversely, when the reader / writer that has not read the information from the electronic tag can read the information from the electronic tag, It is detected that the article with the electronic tag is being handled.
[0071]
The article specifying means 32, when the article handling detecting means 31 detects the article handling state, identifies the article handled by the article handling entity and stores the information of the article in the article / moving object DB 160. It is.
[0072]
As described above, when the sensing means 120 uses an electronic tag and a reader / writer, the article specifying means 32 specifies an article based on information from the electronic tag. When the sensing means 120 uses a camera image, the article recognition processing is performed based on the camera image to specify the article.
[0073]
When the article handling detecting means 31 detects the article handling state, the article handling entity specifying means 33 identifies the article handling entity handling the article, and stores the information of the article handling entity in the article / moving object DB 160. Is to accumulate.
[0074]
When the article handling detection means 31 detects the handling of an article (transfer or transfer of an article) at an entrance / exit, the article handling entity specifying means 33 identifies a moving body that has passed through the entrance / exit simultaneously with the article as the article handling entity. The article handling entity may be specified based on information from the electronic tag attached to the moving object.
[0075]
On the other hand, when the article handling detecting means 31 detects the handling of the article in the environment, the article handling entity specifying means 33 specifies the article handling entity as follows. That is, when the in-environment sensing unit 122 detects an article using a camera, the article handling subject specifying unit 33 causes the camera to image an area where the article handling state is detected, and performs A face authentication process is performed, and the moving object is specified by the authentication process. Since the moving body specified in this manner is considered to be near the handled article, the moving body can be estimated as the article handling subject. Here, the camera used as the in-environment sensing means 122 1 is usually a wide-angle camera for photographing a wide area, since it is used for article detection by the background subtraction method. The image captured by the wide-angle camera has a relatively low resolution, and the resolution may be insufficient for performing the face authentication processing. Therefore, apart from the camera used for the background subtraction method, a narrow-angle high-resolution camera may be installed in the environment or the robot 102 as a camera for face authentication processing. In this case, the article handling subject specifying unit 33 causes the narrow-angle camera to capture an image of the area in which the article handling detection unit 31 has detected the article handling state, and performs face authentication processing on the captured image. By doing so, the article handling subject specifying means 33 can accurately specify the article handling subject.
[0076]
Note that the method of specifying the article handling entity in the article handling entity specifying means 33 is not limited to the face authentication processing, and may be performed by other authentication processing such as iris authentication. Further, even without performing the authentication process on the camera image, the information of the entity handling the article may be held by accumulating the camera image itself in the article / moving object DB 160. This may be performed only when the moving object cannot be identified by the authentication processing.
[0077]
The specification of the article handling entity may be performed using an electronic tag, or may be performed using an optical beacon.
[0078]
Note that the identification of the article handling entity at the entrance may be performed by an authentication process using a camera image.
[0079]
In the present system, the handling of articles is not limited to humans, and the robot 102 also handles articles in accordance with the work contents specified by the human at the operation terminal 103 as described later. When the robot 102 handles an article in this manner, the subject of handling the article may be the robot 102 or the subject that issues a work command to the robot 102 may be the subject of handling the article. In the present embodiment, the object that issues a work command to the robot 102 is the subject of handling articles.
[0080]
(Article / mobile object database)
The article / moving object DB 160 of the environment management server 101 is a DB that stores information on articles and moving objects, and is configured as shown in, for example, FIGS. That is, the article / moving object DB 160 includes article databases 161 and 162 (FIGS. 5 and 6) for handling articles and a moving object database 163 (FIG. 7) for handling moving objects.
[0081]
The article DBs 161 and 162 are composed of sub-databases each storing three types of data: article data, article history data, and article attribute data. Further, the article history data includes history data in the environment (see FIG. 5) and history data at the doorway (see FIG. 6). The data content stored in each sub-database is as follows.
[0082]
1) Article data: An ID for distinguishing individual articles, a pointer to article history data, and a pointer to article attribute data are stored. Here, if a plurality of articles are of the same type but are physically different, they are treated as different articles, so that different IDs are assigned. On the other hand, articles of the same type have the same article attribute, and therefore have a pointer to the same article attribute data even if different IDs are assigned. This saves database capacity.
[0083]
2) (Inside environment) article history data: Stores the history of handling of articles in the environment, and is composed of four items: the time of handling, handling contents, subject of handling articles, and position after handling. Among these, various expressions are conceivable as a method of expressing the position data. Here, as shown in FIG. 5, the position is expressed by six parameters. That is, the first three parameters (x1, y1, z1) represent the position of the article (using the center of gravity or the like), and the last three parameters (11, m1, n1) represent the orientation of the article. Further, the article handling entity in the article history data is the moving object specified by the article handling entity specifying means 33.
[0084]
3) Article attribute data: This stores physical attribute information possessed by the article. As an example of the attribute information, as shown in FIG. 5, the weight, shape model / size, and image data of the appearance of the article are stored. No.
[0085]
4) (Entrance) Article history data 162: Stores the history of articles handled at the doorway (the door in FIG. 6). Consists of items.
[0086]
In the handling contents, whether the article is brought into the environment or taken out of the environment is selectively set.
[0087]
Further, the setting of “article name @ bag C” in the item of the handled article indicates that the article has passed through the door in a state of being put in the bag C. This can be detected by installing a reader / writer in the bag C. In the illustrated example, it is stored that at the time t9, the father put the clothes A, the towel C, and the bulk B in the bag C and took them out of the environment (room).
[0088]
Further, the event item is an item set when taking out of an article is related to the execution of the event, and this item is registered by a user performing an input. In the illustrated example, the fact that the father puts the clothes A, the towel C, and the bulk B in the bag C and takes it out of the environment (room) is associated with the business trip.
[0089]
On the other hand, as shown in FIG. 7, the mobile object DB 163 includes sub-databases for storing two types of data, mobile object data and mobile object history data, respectively. It is as follows.
[0090]
1) Moving object data: An ID for distinguishing each moving object and a pointer to moving object history data are stored. The mobile object stored in the mobile object data may be manually registered in advance by the user.
[0091]
2) Moving body history data: The moving body history data includes three items: a position of the moving body at a certain time and a state at the time. Here, the moving object, unlike the article, occupies a large volume in the space, and becomes an obstacle when the robot 102 moves in the environment. For this reason, it is preferable that the position of the moving object be represented as realistically as possible. Here, an approximate area occupied by the moving object on the floor is represented by a circle. That is, the position of the moving object is represented by the XY coordinates (x4, y4) of the center position of the circle and the radius (r1) of the circle. This is because while the robot 102 can create a route while avoiding obstacles, the position of the moving object is represented by the minimum necessary information. The area occupied by the moving object may be expressed more strictly. For example, the position of the moving object may be represented using a plurality of line segment vectors that approximate the outline of the area occupied on the floor of the moving object.
[0092]
Further, the state of the moving object in the moving object history data indicates a general motion of a person such as “sit,” “stand,” “sleep,” “walk,” if the moving object is a person. 102 indicates an operation performed by the robot 102 on an article, such as “gripping” or “release”. For example, a plurality of state candidates that can be the state of the moving object are prepared in advance, and it may be determined which state candidate the state of the moving object corresponds to based on the detection result by the sensing means 120 or the like. In the moving body history data relating to the robot 102, not only the operation but also the article ID of the work target is stored as "article ID: operation content". Specifically, it is “kan-small-0001: grip”.
[0093]
(Environment map management means and environment map)
The environment map management means 107 creates an environment map 108 based on the information from the sensing means 120 and manages the created environment map 108. The environment map 108 is used when the robot 102 moves in the environment. The robot 102 acquires the environment map 108 from the server 101 and makes a movement route plan, as described later.
[0094]
The environment map management means 107 also sends necessary information to the control means 110 in accordance with the contents of the inquiry when the environment map 108 is inquired from the control means 110, which will be described in detail later. .
[0095]
For example, when the actual situation of the environment is shown in FIG. 8A, the environment map 108 may be a simplified version of the actual situation using a three-dimensional model (FIG. 8B). In addition, as shown in FIG. 8C, an environment map 108 may be further simplified with a plane model. Further, a three-dimensional model of the actual situation of the environment shown in FIG. 8A may be used as the environment map 108. That is, the environment map 108 may be created in accordance with the use of the map and the time (time and labor) required for creating the map. For example, when it is necessary to create an environment map composed of a three-dimensional model in a very short time, a three-dimensional object existing in the environment may be modeled with a minimum rectangular parallelepiped covering the three-dimensional object. The environment map 108 shown in FIG. 8B is an example of this, in which a table and a bookshelf are modeled by a rectangular parallelepiped, respectively, and a trash can is modeled by a substantially cylindrical column. The same is true of the environment map composed of a plane model. In the work map 108 shown in FIG. (Shaded area). In the map 108 composed of the plane model, the two rectangular areas and the circular area are set as areas in which the robot 102 cannot move.
[0096]
(Control means)
The control means 110 in the environment management server 101 is a part for controlling the entire server, and the main control contents are as follows.
[0097]
1) When the transmission / reception unit 109 receives an inquiry about various data in the server, it determines the content of the inquiry, and sends the data to the article / mobile object search / management unit 105 and the environment map management unit 107 according to the result of the determination Issue a reference request.
[0098]
2) The result sent from the article / mobile object search management means 105 or the environment map management means 107 in response to the request is sent to the inquiry source via the transmission / reception means 109.
[0099]
3) Interpret the robot work content message transmitted from the operation terminal 103 via the transmission / reception means 109, generate a robot control command sequence for causing the robot 102 to execute an operation, and transmit the generated sequence to the robot 102. The robot control command sequence will be described later.
[0100]
4) If necessary, the status of a part or all of the articles managed in the article / moving object DB 160 and the status of the environment map 108 are transmitted to the robot 102 or the user (operation terminal) through the transmission / reception means 109 at regular time intervals. 103).
[0101]
Details of the processes 1) and 2) will be described later.
[0102]
-Work robot configuration-
The work robot 102, which is the second subsystem, performs a work of handling articles according to a work command specified by a user.
[0103]
As shown in FIG. 1, the robot 102 has, as its basic components, an obstacle sensor 111 for detecting an obstacle or the like in the vicinity of the robot 102, a gripper 112 for gripping an article, and a movement for making a movement plan using an environment map 108. Plan creating means 113, moving means 114 for moving the robot 102 itself, transmitting and receiving means 109 for transmitting and receiving various data to and from the environment management server 101 and the operation terminal 103, these sensors 111 and means 109, 112,. And control means 115 for controlling the control signal 114.
[0104]
FIG. 9 is a schematic diagram showing an example of the structure of the robot 102 in the present system. The robot 102 includes a substantially box-shaped main body 10 that accommodates a movement plan creating unit 113, a control unit 115, and the like. . Hereinafter, the right side of FIG. 9 is referred to as a front side, the left side is referred to as a rear side, the back side of the sheet is referred to as a left side, and the near side of the sheet is referred to as a right side.
[0105]
The gripping means 112 comprises an articulated arm 12a and a hand 12b disposed at the tip of the arm 12a, and is attached to the upper surface of the main body 10. The arm 12a and the hand 12b may use an actuator controlled by a motor, or may use another actuator, for example, an actuator using artificial muscle.
[0106]
The moving means 114 is constituted by wheels 14, and two wheels 14 are attached to each of the left and right sides of the main body 10 (the left wheel is not shown in the figure). Here, the moving means 114 is constituted by the wheels 14, but the structure of the moving means 114 may be selected in accordance with the environment in which the robot is used. For example, when the floor of the environment is highly uneven, it is preferable to configure the moving means 114 as a crawler type or a multi-legged type.
[0107]
In the present system, the obstacle sensor 111 includes an ultrasonic sensor 11a, a camera 11b as a visual sensor, and a collision sensor 11c.
[0108]
The ultrasonic sensor 11a calculates the distance from the sensor 11a to the obstacle by measuring the time from when the ultrasonic wave is emitted to when the reflected wave is received. This is for detecting before performing. Three ultrasonic sensors are attached to each side surface (front surface, rear surface, left and right side surfaces) of the main body.
[0109]
The camera 11b is for inputting the situation around the robot 102 as an image and performing processing such as recognition of the image to determine the presence or absence of an obstacle and to obtain more accurate information of the object to be grasped. is there. The camera 11b is attached to the front of the main body 10.
[0110]
The collision sensor 11c is a sensor that detects that a predetermined impact force is applied to the robot 102. For example, the collision sensor 11c detects that an obstacle has collided with the robot 102 or that the robot 102 itself has collided with the obstacle while moving. The collision sensor 11c is attached to each of the front and rear surfaces of the main body.
[0111]
The movement plan creation means 113, when the movement of an article or other work is specified to the robot 102, specifies the movement path from the current position of the robot 102 to the specified position (target position). It is created using the map 108. At this time, there must be no obstacle on the movement path from the current position to the destination position. However, as described above, the environment map 108 indicates that the robot cannot move (for example, the hatched area in FIG. 8C). Area) is set. Therefore, if a movement route is created in an area other than the immovable area, a movement path that avoids obstacles is created. For example, when the robot is moved from the point A1 to the point A2 using the environment map 108 using the plane model of FIG. 8C, a route that avoids the immovable area in consideration of the size of the robot 102 (FIG. 8 (c) is created). In creating such a moving route, the Dijkstra method, which is the most general method, may be used, or if the environment is complicated, a route search algorithm obtained by improving the Dijkstra method may be used.
[0112]
In addition, as a countermeasure in a case where the environment condition is too complicated to calculate the movement route of the robot 102 or a long time is required for the calculation, a mode in which the user specifies the movement route of the robot 102 is provided. You may.
[0113]
The control means 115 of the work robot 102 mainly interprets a robot control command sequence sent from the environment management server 101 via the transmission / reception means 109 and executes the robot control commands in order.
[0114]
Here, the robot control command is a command for controlling gripping of an article and movement of the robot 102 itself. In the present embodiment, the following three types of “movement”, “gripping”, and “release” are set. Have been.
[0115]
1) Movement: (move, coordinates)
This is a command for moving from the current position of the robot 102 to a position specified by coordinates. The coordinates are designated in the world coordinate system, and the movement route from the current position to the destination position is planned by the movement plan creating means 113.
[0116]
2) Grasping: (grab, article ID)
This is a command for holding the article specified by the article ID with the hand 12b. The location of the article is referred to the article DB, and the grasping plan is created by the grasping means 112.
[0117]
3) Release: (release)
This is a command for releasing the hand 12b.
[0118]
The robot control commands are not limited to these three types, and may be increased as necessary.
[0119]
In the present embodiment, the work robot 102 is a self-propelled robot having the moving means 114 constituted by the wheels 14, but the work robot 102 is not limited to this structure. For example, the work robot 102 may be configured by assembling the gripping means 112 composed of the arm 12a and the hand 12b described above to a guide rail attached to a ceiling in the environment. The work robot 102 having this configuration can move to the designated position by the gripping means 112 being guided by the guide rail and thereby move the designated article in the environment to the designated position. Can be performed.
[0120]
Further, the work robot 102 may be configured by fixedly installing a plurality of gripping means 112 (composed of the arm 12a and the hand 12b) at predetermined positions in the environment. In this case, each gripping means 112 is arranged such that all the articles existing in the living space can be gripped by any of the gripping means 112. When moving the designated article to the designated position, the work robot 102 having this configuration selects the grasping means 112 that can reach the hand 12b from the plurality of grasping means 112, and The selected gripping means 112 may grip the article and move the article gripped by the arm 12a and the hand 12b to a designated position. When the specified position is a position where the arm 12a of the selected gripping means 112 cannot reach, the article may be moved to the specified position while handing the article between the plurality of gripping means 112.
[0121]
-Configuration of operation terminal-
An operation terminal 103, which is a third subsystem, is a user interface in the present system, and is a terminal operated by a user mainly to instruct a robot 102 to handle an article.
[0122]
As shown in FIG. 1, the operation terminal 103 has, as its basic configuration, an operation screen for designating the work contents of the robot 102 and an input screen for inputting the contents of the inquiry to the server 101 (article search contents). , A display unit 117 composed of, for example, a CRT or a liquid crystal display; an input unit 116 composed of, for example, a pointing device or a keyboard for inputting on the operation screen or the input screen; a screen displayed on the display unit 117 Display control means 118 for performing a display control such as creation of a job, transmission / reception means 109 for sending the work contents and inquiry contents of the robot 102 input by the input unit 116 to the environment management server 101, and these means 109, 116 to 118 Is controlled by a control means 119.
[0123]
For example, a general-purpose PC can be used as the operation terminal 103. In this case, when the control program is read by the PC, the PC can be used as the operation terminal 103.
[0124]
The user uses the operation terminal 103 to specify the work content of the robot 102 or to input the content of inquiry for inquiring the server 101 about information registered in the article / mobile object DB 160.
[0125]
The operation terminal 103 performs a user authentication process when the user specifies work contents or inputs inquiry contents. The authentication processing may be performed by inputting a password to the operation terminal 103, or may be performed by performing biometrics authentication processing such as fingerprint authentication, face authentication, voiceprint authentication, and iris authentication.
[0126]
The information of the user (mobile body) identified by the authentication processing in this way is used for specifying the article handling subject as described later.
[0127]
-Article management procedure-
Next, an article management procedure in the article management system having the above configuration will be described with reference to FIGS.
[0128]
FIG. 10 is a bird's-eye view showing a certain room (environment) in a general household. Two can juices 21 and 22 enter and leave this room, and these can juices 21 and 22 are placed in the environment. It is a figure which shows a mode that is moved.
[0129]
In the figure, the movement of the can juices 21 and 22 is indicated by arrows, and the characters t1, t2, t5 and t7 attached to these arrows indicate the time at which the can juice was moved according to the arrows. Show. It is assumed that the time has advanced in the order of t0 to t7.
[0130]
Although not shown, a reader / writer is installed as an entrance / exit sensing means 121 at the entrance / exit (door) of the room. It is assumed that a reader / writer is installed as the in-environment sensing means 122 to detect the movement of articles and moving objects in the environment.
[0131]
In addition, it is assumed that electronic tags are attached to the can juices 21 and 22 and the person entering and leaving the room and the robot 102 respectively. The item attribute data of each can juice 21 and 22 is obtained by reading information embedded in the electronic tag by a reader / writer. It is assumed that information on each moving object is registered in the moving object data of the moving object DB 163, and that the moving object history data has already been initialized. It is also assumed that the article data in the article DB 161 is empty with nothing recorded.
[0132]
First, at time t0, a father (not shown) registered in the moving object data of the moving object DB 163 enters the room with the can juice 21 from the door. At this time, the doorway sensing means 121 provided on the door detects that the father and the can juice 21 have moved into the room.
[0133]
The detection result is sent from the sensing means 120 to the article / moving object search / management means 105, and the article / moving object search / management means 105 receiving the information specifies the can juice and the dad. Then, an ID [kan-small-0001] is assigned to the can juice 21 and stored in the article data in association with a pointer to the article attribute data (see FIG. 5). At the same time, the article / moving object search / management means 105 stores the article attribute data of the can juice 21. Further, the article / moving object search / management means 105 creates a "position history list 1" for storing the movement history of the can juice. At this point, the contents of the position history list 1 in the environment are still empty.
[0134]
Further, the article / moving object search / management means 105 sets the contents of article history data 162 for managing entry / exit of articles at the door (see FIG. 6). In particular,
Time: t0
Article: kan-small-0001
Handling contents: carry-on
Goods handling entity: Dad
Is set.
[0135]
On the other hand, in order to update the dad's moving body history detected by the sensing means 120, the article / moving body search / management means 105 refers to the position history of the ID “dad” in the moving body data 163 and reads “position The contents of "history list 3" are set (see FIG. 7). In particular,
Time: t0
Position:-
Condition: Entry
Is set. Here, the position “−” indicates that the moving object has moved into the environment from outside the environment. As the position information, the position information of a door that has passed when entering the room may be set.
[0136]
At time t1, the dad sits at a position P4 (x4, y4) near the table and places the can juice 21 that he had at P1 (x1, y1, z1) on the table. When the in-environment sensing means 122 detects this, the article / moving object search / management means 105 sets the contents of the position history list 1 of the article history data 161 (see FIG. 5). In particular,
Time: t1
Handling contents: New
Goods handling entity: Dad
Position after handling: P1 (x1, y1, z1, l1, m1, n1)
Is set. Here, the handling content being “new” means that an article that did not exist in the environment until then has been newly brought in from the outside.
[0137]
The article / moving object search / management means 105 sets the contents of the position history list 3 of the moving object history data 163 (see FIG. 7). In particular,
Time: t1
Position: (x4, y4, r1)
Condition: Sit
Is set.
[0138]
At time t2, another son (not shown), which is another moving object registered in the moving object data of the moving object DB 160, puts the can juice 21 placed at P1 (x1, y1, z1) on the floor. To P2 (x2, y2, z2). When the in-environment sensing means 122 detects this, the article / mobile object search / management means 105 receives the detection result and sets new contents of the position history list 1 of the article history data 161 (see FIG. 5). . In particular,
Time: t2
Handling contents: Move
Goods handling entity: son
Position after handling: P2 (x2, y2, z2, l2, m2, n2)
Is set. Here, the reason why the handling content is “moved” is that an article already registered in the article history data has been moved in the environment. Since the son's position changes at time t2, the article / moving object search / management unit 105 receives the detection result of the in-environment sensing unit 122 and changes the contents of the son's moving object history data 163 (position history list 4). Although set, illustration is omitted here.
[0139]
At time t3, the dad goes out of the room. When the in-environment sensing means 122 detects this, the article / moving object search / management means 105 sets new contents of the position history list 3 of the moving object history data 163 (see FIG. 7). In particular,
Time: t3
Position:-
Condition: going out
Is set. Here, the reason why the position is "-" is that the in-environment sensing means 122 cannot detect the father because the user has gone out of the environment. As the position information, the position information of the door that has passed when going out may be set.
[0140]
In addition, when the father goes out of the room, the father operates the operation terminal 103 to input a work instruction to the robot 102 to move the can juice 21 to a predetermined position outside the environment. The robot 102 that has received the work instruction via the server 101 moves to the position P2 (x2, y2) of the can juice and holds the can juice at time t4. If the in-environment sensing means 122 detects this, the article / moving object search / management means 105 sets the contents of the moving object history data 163 (position history list 5) of the robot 102 (see FIG. 7). In particular,
Time: t4
Position: (x2, y2, r2)
State: [kan-small-0001]: grip
Is set. The operation of the robot 102 may be detected by the in-environment sensing means 122, but the operation of the robot 102 may be detected by the server 101 receiving operation information from the robot 102.
[0141]
At time t5, the robot 102 moves out of the environment from the door while holding the can juice 21. When the in-environment sensing means 122 detects this, the article / moving object search / management means 105 sets new contents of the position history list 5 of the moving object history data 163 (see FIG. 7). In particular,
Time: t5
Position:-
State: [kan-small-0001]: grip
Is set.
[0142]
Further, the article / moving object search / management unit 105 sets new contents of the position history list 1 of the article history data 161 (see FIG. 5). In particular,
Time: t5
Handling contents: Move
Goods handling entity: Dad (robot)
Position after handling:-
As described above, when the robot 102 handles an article, the article / moving object search / management unit 105 records in the article history data 161 the subject that has issued a work instruction to the robot 102 as the article handling entity. As described above, since the user authentication processing is performed when the operation content of the robot 102 is specified in the operation terminal 103, the target (subject handling the article) that issued the operation instruction is specified based on the authentication result.
[0143]
Further, since the entrance / exit sensing means 121 detects that the robot 102 has passed through the door while holding the can juice 21, the article / moving object search / management means 105 has an article history for managing entry / exit of articles at the door. The contents of the data 162 are set (see FIG. 6). In particular,
Time: t5
Article: kan-small-0001
Handling contents: Take out
Goods handling entity: Dad (robot)
Is set.
[0144]
Also in the article history data 162 of the door, when the robot 102 is the actual article handling entity, the object that issued the work command to the robot 102 is stored as the article handling entity.
[0145]
At time t6, a mother who is still another moving object registered in the moving object data of the moving object DB 160 enters the room with a new can juice 22 from the door. When the entrance / exit sensing means 121 detects that the mother and the new can juice 22 have moved into the room, the article / moving object search / management means 105 adds [kan-small-0002] to the new can juice 22. Is stored in the article data 161 in association with the pointer to the article attribute data. The article attribute data of the new can juice 22 is the same as that of the can juice 21 described above. Further, a “position history list 2” for storing the movement history of the new can juice 22 is created (see FIG. 5). At this point, the contents of the position history list 2 are still empty.
[0146]
Then, the article / moving object search / management means 105 sets the contents of the article history data 162 for managing entry / exit of articles at the door (see FIG. 6). In particular,
Time: t6
Article: kan-small-0002
Handling contents: carry-on
Goods handling entity: Mother
Is set.
[0147]
At time t7, the mother puts a new can juice 22 on P3 (x3, y3, z3) on the floor. When the in-environment sensing means 122 detects this, the article / mobile object search / management means 105 sets the contents of the position history list 2 of the article history data 161 (see FIG. 5). In particular,
Time: t7
Handling contents: New
Goods handling entity: Mother
Position after handling: P3 (x3, y3, z3, l3, m3, n3)
Is set. In FIG. 7, the moving object data and moving object history of the mother are omitted.
[0148]
As described above, the article / moving object search / management unit 105 stores / updates information of the article / moving object in the article / moving object DB 160. Here, an example is shown in which the database is updated each time the position of each article or moving object registered in the article / moving object DB 160 is changed, but the update timing of the database is not limited to this. What is necessary is just to set suitably.
[0149]
In this way, in the present system, various information on the article is stored in the article / moving object DB 160. For this reason, the present system is configured so that a user can search for a desired article by operating the operation terminal 103.
[0150]
Specifically, the user operates the input unit 116 of the operation terminal 103 to input the article search condition. The article DBs 161 and 162 store article attribute data and article history data as shown in FIG. 5 as well as article names, so that the article type, article handling entity, date and time of handling, etc. It is possible to search as a search key. The mode in which the search condition is input on the operation terminal 103 may be such a mode in which such a search key is input. Alternatively, a natural language sentence such as “Who moved the money placed on the table at the time of ○ / × / ×?” May be input.
[0151]
The search condition information input to the operation terminal 103 is sent to the environment management server 101 via the network, and the article / mobile object search / management means 105 of the server 101 receiving the information searches the article / mobile object DB 160 Browse and search for information that matches the specified conditions. A general method may be employed as a method for searching for such information.
[0152]
The search result by the article / mobile object search / management means 105 is sent from the server 101 to the operation terminal 103 via the network, and the operation terminal 103 receiving the search result presents the search result to the user. For example, a map of the environment may be displayed on the display unit 117, and the current location of the article may be indicated on the map. Further, for example, information may be presented to the user by voice saying “It has been moved to △△ by XX”.
[0153]
As described above, since the information on the current position of each article existing in the environment is stored in the article DB 161, the current position of each article can be presented to the user in response to an inquiry from the user. . In the article DB 161, the handled article and the moving object (article handling entity) handling the article are stored in association with each other, so that information on the article handling entity is also presented to the user. Becomes possible.
[0154]
Further, in the article history data 162 (see FIG. 6) in the door of the article DB, information on the article and information on a mobile body (an article handling entity) that has taken the article out of the environment are stored in association with each other. ing. For this reason, when the article related to the inquiry from the user is taken out of the environment and the information on the current position of the article is not stored in the article history data 161 in the environment, the article / moving object search / The management unit 105 extracts the information of the article handling entity that brought the article out of the environment by referring to the article history data 162 at the door, and the server 101 transmits the information to the operation terminal 103 via the network. The operation terminal 103 presents information to the user by, for example, displaying information on the entity handling the article that brought the article out of the environment on the display unit 117. By doing so, the user can grasp that the desired article has been taken out of the room, and can specify the moving object that has taken out the article. For this reason, the user can know the current position of the desired article by directly asking the moving object that has taken out the article about the current position of the article. As described above, when an article is taken out of the environment, the system manages the information of the person who takes the article out of the environment, and indirectly manages the article that is outside the environment and cannot be directly managed. System is configured.
[0155]
If the contact information (telephone number and e-mail address) of each mobile object is registered in the mobile object DB 163 (see FIG. 7), the server 101 is used when the article to be searched is taken out of the environment. By making a telephone call or sending an e-mail to the person who carried out the article from, it is possible to inquire the person who brought out the article about the current location of the article. The result of the inquiry may be transmitted to the operation terminal 103 and presented to the user.
[0156]
Further, when the article management system is configured such that the servers 101 that manage each of the plurality of environments are connected to each other, the environment in which the article handling entity that took out the article is currently located is detected, and the environment is determined. The management server 101 may be inquired about the current position of the taken-out article.
[0157]
Further, in the present system, as described above, when the mobile object that has handled the article is the robot 102, the object that issues a work command to the robot 102 is the article DB 161, 162 Is stored in When the robot 102 takes out an article out of the environment in response to the work order, the person who issued the work order knows the current position of the article. Thus, by specifying the target that has issued the work command to the robot 102 as the subject of handling the article, appropriate information can be presented to the user who searches for the article. Note that, here, the target that has issued the work command to the robot 102 is specified as the subject of the article, but the robot 102 may be specified as the subject of the article. . As shown in FIGS. 5 and 6, the article handling data of the article history data 161 and 162 stores information of both moving bodies as “father (robot)”. , 162 may store, for example, only the information of the object (moving body) that issued the work command to the robot 102, or may store only the information of the robot 102 as the actual article handling entity. May be.
[0158]
Since the article history data 161 and 162 of the article DB store the article handling history, the user can track the movement of the article based on the history information.
[0159]
In particular, as shown in FIG. 6, the following applied processing is also realized by accumulating the article entry / exit history information in the article history data 162 for managing entry / exit of articles at the entrance / exit of the environment.
[0160]
That is, in the article history data 162 shown in FIG. 6, it is stored that at the time t9, the father put the clothes A, the towel C, and the bulk B in the bag C and took them out of the room. In addition, as described above, in the article history data 162, the removal of those articles is associated with the event.
[0161]
With the article history data 162 having such a configuration, when the father goes on a business trip in the future, the user inputs “business trip” on the operation terminal 103. In response to the information, the article / moving object search / management means 105 refers to the article history data 162 to extract the articles that were previously taken out on a business trip. By presenting the information of the article thus extracted to the user, the user can easily confirm the article necessary for executing the event when the previously performed event is repeatedly performed. Further, if the user designates the robot 102 to perform a task of moving those articles to a predetermined position, or if the server 101 automatically designates the task, articles necessary for the robot 102 to execute an event can be obtained. The user's convenience can be greatly improved.
[0162]
It is preferable that the article history data and the moving body history data in the article / moving body DB 160 be accumulated for as long as possible so that the histories can be checked retroactively. It is preferable that the moving object history data be stored at as short a time interval as possible so that the moving path of a moving object such as a human or a robot 102 can be managed.
[0163]
However, since the capacity of the article / mobile object DB 160 is limited, data for a certain period is stored, and data past that period may be deleted at any time. Further, when the state change of the moving object is severe, the time interval for accumulating data may be shortened, and when the state change is small, the time interval may be lengthened.
[0164]
(Modification 1)
In the above-described embodiment, a system including the work robot 102 has been described. However, the article management system according to the present invention can be applied to a system without the work robot 102.
[0165]
(Modification 2)
As described above, the article management system according to the present invention can be applied not only to ordinary households but also to other places. As a second modification, an example will be described in which the present system is applied to a store that rents a product (article) to a customer (for example, a rental video store).
[0166]
The article management system in this example is configured as shown in FIG. In FIG. 11, the same components as those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof will be omitted.
[0167]
In this example, the environment is inside the store, and an entrance / exit sensing means 121 is provided at an entrance / exit of the store, and an in-environment sensing means 122 is provided in the store. As described above, the entrance / exit sensing means 121 and the in-environment sensing means 122 preferably employ an electronic tag and a reader / writer. That is, electronic tags are attached to all products. The product may be displayed on a display shelf installed in the store, for example. Further, the customer carries an electronic tag so that the person can be identified. For example, a card-type electronic tag may be employed, or the electronic tag may be attached to a device such as a wristwatch or a mobile phone.
[0168]
In the article DB 161 of the article / moving object database 160, information on each product (at least information on the content of the product and its display position) is stored. The in-environment sensing means 122 detects the tag information of the goods displayed in the store, and the article / mobile object search / management means 105 receives the detection result and accumulates information of each article in the article DB 161. It may be. By doing so, it is possible to automatically store information on the new product in the article DB 161 simply by displaying the new product in the store.
[0169]
In addition, information on customers (members) is stored (registered) in the mobile object DB 163. For example, in addition to information such as a name, an age, an address, and a telephone number, authentication information necessary for authentication of a customer is stored in the mobile object DB 163 as described later.
[0170]
Further, the operation terminal 103 is installed in a store, and is used when a customer searches for a product.
[0171]
In the article management system thus configured, the customer selects a desired product from the products displayed in the store. At this time, the customer can search for a desired product by operating the operation terminal 103. Specifically, as described above, the search key is input by operating the input unit 116 of the operation terminal 103. As a result, the information is sent from the operation terminal 103 to the server 101, and the article / moving object search / management means 105 of the server 101 refers to the article / moving object DB 160 to search for a product that matches the specified condition. I do. The search result is sent from the server 101 to the operation terminal 103 and presented to the customer. This allows the customer to know the display position of the desired product.
[0172]
Further, if the article management system is a system having a robot 102, the server 101 transmits a robot control command sequence to the robot 102 so that the robot 102 can transport the goods searched by the customer to the customer. It is also possible to configure.
[0173]
The customer who has selected the desired product passes through the entrance with the product. At this time, the entrance / exit sensing means 121 acquires the information of the product to be taken out from the electronic tag attached to the product, and acquires the information of the moving body (the article handling entity) that takes out the product, and the mobile body carries the information. To get from the electronic tag.
[0174]
The article / moving object search / management means 105 receives the detection result of the entrance / exit sensing means 121 and executes an authentication process of the article handling entity. This authentication processing is performed based on the information embedded in the electronic tag detected by the entrance / exit sensing means 121 and the authentication information of the moving object registered in the moving object DB. As this authentication processing, biometrics authentication such as face authentication or iris authentication may be employed. Further, authentication using a password may be adopted. In this manner, the identity of the information embedded in the electronic tag and the customer carrying the electronic tag is determined.
[0175]
When the identification of the customer who intends to take out the product is completed, the article / moving object search / management means 105 stores the time, the product (product), the handling in the product history data for managing the entry / exit of the product at the entrance / exit. The contents (here, loan) and the article handling entity are recorded in association with each other. Although the illustration of the article history data in this case is omitted, the configuration is the same as the article history data shown in FIG. At the time of recording this information, the server 101 may perform a settlement process for lending a product.
[0176]
When the customer goes out of the store, the article / moving object search / management means 105 cannot identify the product or identify the customer, or the information embedded in the electronic tag and the electronic tag and When the carrying customer is not the same, it is preferable that the server 101 informs the fact by, for example, voice by the notifying means 123 connected to the server 101. In this way, the customer is re-authenticated.
[0177]
Further, in consideration of the case where the customer ignores the notification and goes out of the store, a camera is installed at the entrance and the image of the situation is stored in the database, and the effect is described in the store. A security function for reporting to the administrator, the police, a security company, or the like by telephone or e-mail may be provided.
[0178]
Further, when the customer enters the store, the authentication process for the customer may be executed based on the detection result of the entrance / exit sensing means 121 and the authentication information of the mobile object DB 163. By doing so, the security is further improved.
[0179]
As described above, when an article is taken out of the space, by specifying and managing the article and the moving object that takes out the article, the lending process of the article can be automatically performed. For this reason, it is also possible to make the store unmanned, and the store owner has a great advantage. On the other hand, there is an advantage that the customer does not need to perform the lending process.
[0180]
In the above example, the entrance / exit sensing means 121 is only required to be able to detect that the article and the moving body pass through the entrance / exit. For example, the entrance / exit is configured to detect the entrance and the exit of the article and the moving body in and out of the space. If the sensing means 121 is configured, it is possible to automate not only the lending process of the product but also the return process of the lent product.
[0181]
That is, when a customer who has returned a borrowed product to the store enters the store, the entrance / exit sensing means 121 detects that the product has been brought into the store by a mobile object. The article / moving object search / management means 105 receives the detection result, specifies the brought-in article, and specifies the article handling entity that brought the article. Then, the specified article and the article handling entity are stored in the article history data 162 of the article DB in association with each other.
[0182]
Further, the article / moving object search / management unit 105 refers to the article history data 162 of the article DB to extract the information at the time of lending the returned goods, and compares the lending information with the return information. This completes the return process. At this time, for example, a settlement process related to the delinquency of the product may be executed.
[0183]
When returning the product, it is only necessary to detect and specify the product and not to specify the moving object. Also, when returning the product, the authentication processing of the moving object may be performed using the authentication information.
[0184]
The application example of the store shown in the modified example 2 can be applied as it is to a library that lends books to users.
[0185]
Further, in the article management system applied to such stores and libraries, it is sufficient to manage at least entry and exit of articles at entrances and exits, and it is not necessary to sequentially manage handling (movement) of articles in the environment.
[0186]
However, if the movement of articles in the environment is also managed using the detection result of the in-environment sensing means 122, the following effects can be obtained.
[0187]
For example, in a library, all books are classified into categories such as novels, essays, and psychology, and are arranged in predetermined blocks for each classification. Each book is assigned a code based on the above classification, and the book is managed by associating the code with an arrangement block of the book in a database. With such a system, when a search request is received from a user, the block in which the book is arranged can be presented to the user by referring to the database.
[0188]
However, even if the arrangement of the books is managed in the database in this way, the user may return the books to an incorrect block. In this case, it is difficult to know where the book is placed.
[0189]
Therefore, the movement of the article in the environment is managed using the detection result of the environment sensing means 122 1. In other words, the movement of each book in the environment (in the library) is sequentially detected by the environment sensing means 122, and based on the detection result, the article / mobile object search / management means 105 stores the information in the article DB 161. . By doing so, even if the book is not returned to the predetermined position, it is possible to grasp the current position of the book by referring to the article DB 161, thereby improving the convenience for the user.
[0190]
Furthermore, if the system applied to such a library is also a system including the work robot 102, the robot 102 can deliver a desired book to the user.
[0191]
In a library or the like, for example, the building may be divided into sections. In this case, the server 101 may manage the entire library building as one environment, or each section may be managed in one environment. Alternatively, the server 101 may manage the articles for each section.
[0192]
Furthermore, the article management system shown in Modification 2 can be applied to, for example, general retail stores such as supermarkets and convenience stores. In this case, when the customer goes out of the store with the goods, the entrance / exit sensing means 121 detects this, and the goods / moving object search / management means 105 specifies the goods (articles) and Identify the entity that handles the goods). In this way, the settlement process may be performed after specifying the merchandise and the article handling entity.
[0193]
The article / moving object search / management unit 105 stores the article information in the article DB 162 in association with the information of the article handling entity. By doing so, the information stored in the article DB 162 becomes information indicating which merchandise has been purchased by which customer, and can be used as marketing information.
[0194]
(Modification 3)
When the article management system according to the present invention is applied to transportation (including trains, buses, and the like), it is possible to construct an effective system for preventing leftovers of passengers.
[0195]
The article management system in this example may have the configuration shown in FIG. In this example, the inside of the vehicle is an environment, and an entrance / exit sensing means 121 is provided at the entrance, and an in-environment sensing means 122 is provided inside the vehicle. In this example, the in-environment sensing means 122 may be omitted. As described above, the entrance / exit sensing means 121 and the in-environment sensing means 122 preferably employ an electronic tag and a reader / writer.
[0196]
In this case, an electronic tag is attached to each article belonging to the passenger and passing through the entrance. Further, the passenger carries an electronic tag by which the person can be identified. As described in the above embodiment, the electronic tags used for sensing in ordinary households may be used as these electronic tags as they are.
[0197]
In the article DB 162 of the article / moving body database 160, as will be described later, information on articles (carrying objects) brought into the vehicle and information on the carry-on person (article handling entity) are stored in association with each other. At the same time, information on the article (items to be taken out) taken out of the vehicle and information on the person who brought it out (the article handling entity) are stored in association with each other. The article DB 162 may have the same configuration as that shown in FIG.
[0198]
The operation terminal 103 is operated by, for example, a manager of a vehicle (for example, a conductor).
[0199]
In the article management system having this configuration, when the passenger gets into the vehicle from the entrance, the entrance sensing means 121 detects the carry-in object and the carry-on person. In response to the detection result, the article / moving object search / management unit 105 stores the brought-in article in the article history data 162 in association with the carry-on person.
[0200]
Then, when the passenger gets out of the vehicle from the entrance, the entrance sensing means 121 detects the brought-out material and the exporter again. In response to the detection result, the article / moving object search / management unit 105 associates the brought-out item with the take-out person and stores the item in the article history data 162. Then, the article / moving object search / management means 105 refers to the article history data 162 to collate the brought-in and carried-out articles of the same passenger. If it is determined that the carry-in and the carry-out do not match by this collation, it is possible to determine that the passenger has left behind in the vehicle.
[0201]
When it is determined that the user has left something behind, the server 101 may notify the passenger who is about to get off by the notification means 123 to that effect. For example, the notification unit 123 may be configured to notify the entrance and exit of the vehicle by voice or display.
[0202]
Alternatively, the current location of the forgotten object may be detected by the in-environment sensing means 122, and the server 101 may transmit the fact that the forgotten object has occurred and the current location of the forgotten object to the operation terminal 103. This allows the vehicle manager to keep the lost item and contact the passenger who left the lost item separately.
[0203]
In this system, when a passenger gets into the vehicle and when he gets off the vehicle, the belongings of the passenger are detected and stored in the article DB 162. It is possible to detect that the person who brought in the article is different from the person who took out the article outside the vehicle. By using this, it is possible to determine the occurrence of theft in a car, for example. As described above, when the bringer of an article is different from the exporter, a warning may be issued to the exporter by the notification unit 123. Alternatively, the server 101 may automatically notify the police or security company of the fact.
[0204]
In addition, in this system, when a passenger gets into a vehicle, the belongings are identified, and therefore, it is possible to detect beforehand that an article (hazardous material, etc.) prohibited from being brought into the vehicle is brought in. There is an additional effect that can be achieved.
[0205]
(Modification 4)
As described above, the article management system according to the present invention is applied not only to a living space in which a person performs an activity, but also to, for example, equipment (including a refrigerator and a cupboard) having a storage section for storing articles. It is possible.
[0206]
The article management system in this example may have the configuration shown in FIG. However, the in-environment sensing means 122 is omitted. In this example, the accommodation section of the facility becomes the environment, and the entrance sensing means 121 is disposed at the entrance. For example, if the entrance / exit sensing means 121 is constituted by a gate-type reader / writer installed in an opening of a refrigerator, a cabinet or the like, it is possible to detect an article to be taken in and out of the storage section. Further, as described above, if the gate-type reader / writer is arranged in a double manner with respect to the opening, it is possible to detect the carry-in and the carry-out of the article into the storage section separately.
[0207]
Note that, in this example, the article handling entity that takes articles in and out does not pass through the gate type reader / writer. For this reason, it is preferable that the entrance / exit sensing means 121 detects a moving object existing near the opening of the facility. This is because the moving body existing near the opening is considered to be an article handling entity that takes in and out articles. Such detection of a moving object may be performed using an electronic tag and a reader / writer, or may be performed using a camera image.
[0208]
If the entrance / exit sensing means 121 detects entry / exit of an article, the article / moving object search / management means 105 identifies the article and also identifies a moving object (entity handling entity) which takes the article in and out. The article handling entity specified here is the moving body located near the opening as described above.
[0209]
Then, the article / moving object search / management means 105 stores the specified article in the article history data 162 in association with the article handling entity. The configuration of the article history data 162 may be the same as the article history data of FIG.
[0210]
By doing so, it is possible to manage the entry and exit of articles in a refrigerator, a cabinet or the like, for example, in association with the moving object. By referring to the article history data 162, the mobile object from which the article is taken out is specified, so that the article taken out of the storage unit can be indirectly managed. Further, for example, even when a new article is brought into the storage unit, it is possible to specify a person who brought the article (owner of the article).
[0211]
The article management system of this example can be applied to, for example, management of medicine in a medicine storage. In this case, it is possible to automatically manage in the article DB 162 who used which medicine (whether the medicine was taken out of the storage or brought into the storage). Furthermore, when taking out the medicine from the medicine storage, if the authentication process is performed for the article handling entity, unauthorized use of the medicine can be prevented, and the security can be improved.
[0212]
As described above, the article management system according to the present invention is a system that manages entry and exit of articles in a predetermined space (environment), and that the article has passed through an entrance that connects the space to the outside by a moving body. The sensing means (entrance sensing means) 121 for detecting, the article identification means 32 for receiving the detection result by the sensing means 121 and identifying the article passing through the entrance / exit, and the detection result by the sensing means 121 1 An article handling entity specifying means 33 for specifying an article handling entity that has passed the article, and an article passing through the entrance and exit receiving the identification result by the article identifying means 32 and the identification result by the article handling entity identifying means 33. Storage means (article DB 162) for storing the article handling entity that has passed the article in association with each other. .
[0213]
As described above, indirectly managing the articles taken out of the environment by storing the articles that have passed through the entrance and the article handling entity that has passed the articles in the storage unit 162 in association with each other. Becomes possible. Thereby, when the present system is applied to a store or a library, the lending process and the settlement process can be automated.
[0214]
Also, the sensing means 121 detects whether the article has been brought into the space by passing through the doorway by the moving body, and has been taken out of the space. In response to the detection result by the control unit 121, the article that has passed through the entrance, the article handling entity that has passed the article, and the carry-in / take-out of the article are stored in association with each other.
[0215]
By separately storing and bringing in an article, it is possible to compare an article brought into the environment with an article taken out of the environment. Thereby, when the present system is applied to a store or the like, the lending / returning process can be automated. Further, when the present system is applied to public transportation, a system for preventing left-behind passengers can be provided.
[0216]
The article handling entity specifying means 33 identifies a moving body that has passed through the entrance and exit together with the article as an article handling entity that has passed the article. As a result, the article handling entity can be specified accurately.
[0219]
In addition, the article handling subject specifying means 33 specifies a moving body present near the entrance when the article passes as the article handling subject that has passed the article. Thus, when the environment is the accommodation section of the facility, the article handling entity can be specified accurately.
[0218]
In addition, by further providing a presenting unit (operation terminal 103) for presenting information stored in the storage unit 162 to the user, when the present system is applied to a general home or facility, the user is informed of articles outside the environment. Can provide appropriate information.
[0219]
The storage unit 162 stores the history of the entry and exit of the articles into and out of the space, so that the user can track the entry and exit of the articles. Further, by associating the history information with the event information, the user can easily confirm the articles required for executing the event.
[0220]
In addition, the article handling entity specifying means 33 authenticates the article handling entity based on the detection result by the sensing means 121 and the authentication information registered in the registration means (mobile object DB 163), whereby the present system is realized. For example, when is applied to a store or the like, the security can be improved.
[0221]
Further, when the identity of the article handling entity cannot be identified by the authentication, a further notification 123 is provided to further improve security. The notification by the notification unit 123 may be performed for the article handling entity, or may be performed for a mobile body (person) different from the article handling entity.
[0222]
Further, when the article is passed through the entrance / exit by the robot 120, the article handling entity identifying means 33 identifies the subject that has issued a work instruction to the robot as the article handling entity that has passed the article, Appropriate information can be provided to the user.
[0223]
-Other embodiments-
In this embodiment, the article management system is composed of three subsystems: an environment management server 101, a robot 102, and an operation terminal 103. These subsystems 101 to 103 exchange information with each other via a wireless or wired network. It was configured to communicate. However, the article management system is not limited to this configuration. For example, the configuration may be such that the operation terminal 103 is integrated with the environment management server 101.
[0224]
Also, the robot 102 may be configured so that the work is performed in parallel with a plurality of robots instead of one.
[0225]
【The invention's effect】
As described above, according to the article management system, the article management server, and the article management method according to the present invention, it is possible to store the article that has passed through the entrance and the article handling entity that has passed the article in the storage unit in association with each other. The new management method can be applied not only to ordinary households but also to general living spaces such as stores, libraries, and public transportation, or facilities. As a result, it is possible to obtain various conveniences such as provision of information on articles outside the environment, automation of lending / returning processing and settlement processing, prevention of left-behind items, etc., according to the respective application examples.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an overall configuration of an article management system according to an embodiment.
FIG. 2 is a diagram showing an example in which a gate type reader / writer is arranged on a door or a window in an environment.
FIG. 3 is an explanatory diagram showing the principle of the background subtraction method.
FIG. 4 is a block diagram illustrating a configuration of an article / moving object search / management unit.
FIG. 5 is a diagram showing a configuration of a product database and an example of contents described in the product / moving object database;
FIG. 6 is a diagram showing a configuration of article history data in a door and an example of description contents.
FIG. 7 is a diagram showing a configuration of a moving object database and an example of contents described in the article / moving object database.
FIG. 8 is a diagram showing an actual situation of an environment and an environment map corresponding thereto.
FIG. 9 is a schematic diagram illustrating an example of a configuration of a work robot.
FIG. 10 is an explanatory diagram illustrating an example in which an article moves in an environment.
FIG. 11 is a block diagram illustrating an overall configuration of an article management system according to Modifications 2 to 4.
[Explanation of symbols]
101: Environmental management server (article management server)
102 ... Work robot (robot)
103 ・・・ Operation terminal (presentation means)
120 sensing means
121 ・・・ Gateway sensing means
122 ・・・ Environmental sensing means
123 ... notification means
160 ... Article / mobile object database
161 ... article database
162... Article database (storage means)
163: Mobile object database (registration means)
31 ... Article handling detection means
32 ... Article specifying means
33 ··· Article handling entity identification means

Claims

An article management system that manages entry and exit of articles in a predetermined space,
Sensing means for detecting that the article has passed through the doorway connecting the space and the outside by the article handling entity,
In response to the detection result by the sensing means, an article specifying means for specifying an article that has passed through the entrance,
In response to the detection result by the sensing means, an article handling subject specifying means for specifying an article handling subject that has passed the article,
Storage means for receiving the identification result by the article identification means and the identification result by the article handling entity identification means, storing the article passing through the entrance and the article handling entity passing the article in association with each other,
An article management system comprising:

In claim 1,
The sensing means detects that the article has been brought into the space through the doorway by the article handling entity and that the article has been taken out of the space through the doorway, and detected.
The storage means receives the detection result of the sensing means, and stores the article passing through the entrance, the article handling entity passing the article, and the carry-in / take-out of the article in association with each other and storing the article management. system.

In claim 1,
The article handling entity specifying means is an article management system for identifying a moving body that has passed through an entrance and exit together with an article as an article handling entity that has passed the article.

In claim 1,
The article handling entity specifying means is an article management system for identifying a moving body existing near an entrance when an article passes, as an article handling entity that has passed the article.

In claim 1,
An article management system further comprising presentation means for presenting information stored in a storage means to a user.

In claim 1 or claim 5,
The storage means is an article management system that stores a history of articles entering and exiting the space.

In claim 1,
A registration unit for registering the authentication information of the mobile unit,
An article management system for authenticating an article handling entity based on a detection result of the sensing means and authentication information registered in the registration means.

In claim 7,
An article management system further comprising a notifying means for notifying that the article handling entity cannot be identified by the authentication of the article handling entity specifying means.

In claim 1,
The robot further includes a robot that receives the work instruction and performs a work of moving the article.
An article management system that, when an article is passed through an entrance / exit by the robot, identifies an object that issues a work instruction to the robot as an article handling entity that has passed the article.

An article management server that manages entry and exit of articles to and from a predetermined space,
In response to a detection result that the article has passed through the doorway connecting the space and the outside by the article handling entity, article specifying means for specifying the article that has passed through the doorway,
In response to the detection result, an article handling subject identifying means for identifying an article handling entity that has passed the article,
Storage means for receiving the identification result by the article identification means and the identification result by the article handling entity identification means, storing the article passing through the entrance and the article handling entity passing the article in association with each other,
An article management server comprising:

An article management method for managing entry and exit of articles in a predetermined space,
A detection step of detecting that the article has passed through the doorway connecting the space and the outside by the article handling entity,
Receiving the detection result of the detection step, an article identification step of identifying an article that has passed through the entrance,
In response to the detection result of the detection step, an article handling subject identification step of identifying an article handling entity that has passed the article,
A storage step of receiving the identification result of the article identification step and the identification result of the article handling entity identification step, and storing the article passing through the entrance and the article handling entity passing the article in association with each other,
Article management method including.