JP2005056213A - System, server and method for providing information - Google Patents

System, server and method for providing information Download PDF

Info

Publication number
JP2005056213A
JP2005056213A JP2003287337A JP2003287337A JP2005056213A JP 2005056213 A JP2005056213 A JP 2005056213A JP 2003287337 A JP2003287337 A JP 2003287337A JP 2003287337 A JP2003287337 A JP 2003287337A JP 2005056213 A JP2005056213 A JP 2005056213A
Authority
JP
Japan
Prior art keywords
means
information
processing
image data
mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003287337A
Other languages
Japanese (ja)
Other versions
JP2005056213A5 (en
Inventor
Yoshihiko Matsukawa
Tomonobu Naruoka
Kazuo Nobori
Shusaku Okamoto
Satoshi Sato
智 佐藤
修作 岡本
知宣 成岡
善彦 松川
一生 登
Original Assignee
Matsushita Electric Ind Co Ltd
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Ind Co Ltd, 松下電器産業株式会社 filed Critical Matsushita Electric Ind Co Ltd
Priority to JP2003287337A priority Critical patent/JP2005056213A/en
Publication of JP2005056213A publication Critical patent/JP2005056213A/en
Publication of JP2005056213A5 publication Critical patent/JP2005056213A5/ja
Application status is Pending legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a system for properly changing the contents or level of information to be provided when the system is applied to various spaces such as a home, a day nursery, a nursing-care facility, a hospital, an office, a hotel and a store, so as to provide the information concerning the situations in the spaces. <P>SOLUTION: The system includes a sensing means 120 for picking-up the inner part of the space; an article/mobile body retrieval management means 105 for specifying a situation in the space; an image management means 104 for recognizing information concerning a mobile body and/or an article, which are included in the picked-up image data; a display control means 118 for processing the image data through the use of a recognition result in response to processing contents corresponding to the specified situation by referring to a display control database 123 for storing the situation in the space and the processing contents of the image data with association; and a display part 117 for displaying the processed image data. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、所定の空間内の状況に関する情報を提供する情報提供システム、情報提供サーバ、情報提供方法に関する。 The present invention relates to an information providing system for providing information on the status of the predetermined space, the information providing server, an information providing method.

例えば特許文献1には、所定の空間(託児所)内の状況に関する情報として、子供の様子を撮像した画像データを提供するシステムが開示されている。 For example, Patent Document 1, as the information on the status of the predetermined space (nursery), a system for providing image data of the captured state of children is disclosed.

この情報提供(監視)システムは、託児所内の子供を撮像するカメラを制御する撮像制御手段を有していて、ユーザからのリクエストに応じて、撮像制御手段は、そのユーザの子供を撮像するカメラアングルを定め、ズームアップした画像を撮像し、その画像をネットワークを介してユーザに配信するシステムに構成されている。 Camera The information providing (monitoring) system, it has an imaging control means for controlling a camera for imaging a child childcare premises, in response to a request from the user, the imaging control means, for imaging a child of the user It defines the angle captures an image zoomed up, is constructed in a system for distributing the image to a user via a network. この構成により、配信される画像には我が子のみが含まれて他人の子供は含まれないため、お互いの子供のプライバシーを保護しつつ、ユーザは託児所内の我が子の様子を確認することができる。 With this configuration, since the image to be delivered is not included in the children of others contain only my child, while protecting the children of the privacy of each other, the user confirms the state of my children of the Child house be able to.
特開2002−269209号公報 JP 2002-269209 JP

上記特許文献1に開示された情報提供システムは、プライバシーの保護を目的としてカメラアングル及びズームアップを制御することにより、空間内の特定の人を撮像するシステムである。 Patent Document 1 information providing system disclosed in, by controlling the camera angle and zoom up the purpose of protection of privacy, a system for imaging a specific person in the space. つまり、特許文献1に開示された情報提供システムは、含まれる情報を一つに制限した画像データを撮像するシステムであるため、例えば、他人の子供は画像に含まれない一方で、託児所内全体を様子と我が子の様子との双方を画像に含めるといった対応が不可能である。 That is, the information providing system disclosed in Patent Document 1, since a system for imaging the image data is limited to one information included, for example, children of others while not included in the image, the entire Child house it is impossible to support such include both the state of the state and my child to the image.

本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、一般家庭、託児所、介護施設、病院、オフィス、ホテル及び店舗、等の様々な空間に適用されて、その空間内の状況に関する情報を提供する情報提供システムであって、提供する情報の内容やレベルを適宜変更可能なシステムを実現することにある。 The present invention has been made in view of the foregoing, it is an object of the present invention, homes, child care, long-term care facility, is applied hospitals, offices, hotels and shops, a variety of space and the like, the an information providing system for providing information on the status of the space is to realize an appropriate modifiable system content and level of information provided.

本発明は、所定の空間内を撮像した画像データを空間内の状況に応じて加工するものである。 The present invention is processed in accordance with the situation in the space captured image data within a predetermined space.

本発明の情報提供システムは、所定の空間内の状況に関する情報を提供するシステムである。 Information providing system of the present invention is a system for providing information on the status of the predetermined space.

この情報提供システムは、上記空間内を撮像する撮像手段と、上記撮像手段が撮像した空間内の状況を特定する特定手段と、上記撮像手段が撮像した画像データに含まれる移動体及び/又は物品についての情報を認識する認識手段と、上記空間内の状況と画像データの加工内容とを対応付けて記憶する加工内容管理データベースと、上記加工内容管理データベースを参照して、上記特定手段が特定した状況に対応する加工内容に従い、上記認識手段の認識結果を用いて上記撮像手段が撮像した画像データを加工する加工手段と、上記加工された画像データを表示する表示手段と、を備える。 The information providing system includes an imaging means for capturing an in the space, a specifying unit which the imaging means to identify the status of the space captured, mobile and / or articles the imaging means included in the image data captured recognition means for recognizing information about the contents of the machining management database in association with the processing specifics of the situation and the image data in the space, by referring to the processing contents management database and identified the specific means provided in accordance with the processing contents corresponding to the situation, and processing means for processing the image data recognition result the imaging unit using the captured of the recognition means, and display means for displaying the processed image data, a.

ここで、移動体とは、人、動物、ロボット、等を含み、空間内において種々の活動を行うものをいう。 Here, a moving body, comprising human, animal, robot, etc., refers to performing the various activities in the space.

この構成によると、撮像手段が空間内を撮像したときには、特定手段はその空間内の状況を特定し、認識手段は画像データに含まれる移動体及び/又は物品についての情報を認識する。 According to this configuration, when the imaging means has captured the space, the specifying means specifies the status of that space, recognizing means recognizes the information about the mobile and / or articles contained in the image data.

そして、加工手段は、加工内容管理データベースを参照して、上記特定手段によって特定された状況に対応する加工内容に従い、上記認識手段の認識結果を用いて上記撮像手段が撮像した画像データを加工する。 Then, the processing unit refers to the processing contents management database, in accordance with the processing contents corresponding to the situation identified by the identifying means, the imaging means for processing the image data captured using the recognition result of the recognition means . こうして、画像データが空間内の状況に応じて加工され、それによって、必要な情報は画像データに含めつつ、不要な情報は画像データから削除する等の加工が可能になる。 Thus, the image data is processed according to the condition of the space, whereby, while including information necessary for image data, unnecessary information will allow processing such to remove from the image data.

こうして加工された画像データは、表示手段によって表示される。 Thus processed image data is displayed by the display means. ユーザは、表示された画像データによって、空間内の状態を確認することができる。 User by the display image data, it is possible to check the status of the space.

上記情報提供システムは、ユーザ操作に応じて画像データの表示要求信号を出力する操作手段をさらに備え、上記加工内容管理データベースは、ユーザ情報及び空間内の状況と、画像データの加工内容とを対応付けて記憶し、上記加工手段は、上記表示要求信号を受けて、その表示要求信号の出力に係るユーザの情報を取得し、当該ユーザ情報と特定手段が特定した状況とに対応する加工内容に従って画像データを加工してもよい。 The information providing system further includes an operation means for outputting a display request signal of the image data in accordance with a user operation, the processing contents management database, corresponding to the situation of the user information and space, and a processing content of the image data give stored, the processing means receives the display request signal, in accordance with the processing specifics of acquiring the information of the user according to the output of the display request signal, corresponding to the situation where a particular device identified with the user information image data may be processed.

上記加工内容管理データベースは、空間内の状況として、当該空間の属性と、当該空間内に存在する移動体及び/又は物品の属性との組合せを記憶してもよい。 The processing contents management database, as the conditions in the space, and attributes of the space may store the combination of the attributes of the mobile and / or articles present in the space.

上記情報提供システムは、空間内に存在する移動体及び/又は物品を検出するセンシング手段をさらに備え、上記特定手段は、上記センシング手段の検出結果に基づいて、空間内の状況を特定し、上記認識手段は、撮像手段が撮像した画像データ及び/又は上記センシング手段の検出結果に基づいて画像データに含まれる移動体及び/又は物品についての情報を認識してもよい。 The information providing system further includes a sensing means for detecting a moving object and / or articles present in the space, the specifying unit, based on a detection result of said sensing means to identify the status of the space, the recognition means, the imaging means may recognize the information about the mobile and / or articles contained in the image data based on the detection result of the image data and / or the sensing means and imaging.

上記認識手段は、移動体及び/又は物品についての情報を複数の情報レベル毎に認識し、上記加工内容管理データベースは、空間内の状況と、その状況に応じて選択された情報レベルの認識結果が加工後の画像データに含まれるよう設定された加工内容とを対応付けて記憶してもよい。 Said recognition means, information about the mobile and / or articles recognized in each of a plurality of information levels, the processing contents management database, the status of the space, the recognition result of the selected information level depending on the situation There may be stored in association with the processing contents set to be included in the image data after processing.

ここで、情報レベルとは、画像データに含まれる大量の情報を、個別に分けたものである。 Here, the information level, a large amount of information included in the image data, and divided individually. 例えば画像データに移動体が含まれるときには、1)移動体の存在の有無、2)移動体が何(誰)であるか(移動体の属性)、3)移動体の位置、4)移動体の顔の位置、5)移動体の輪郭形状、6)移動体が何をしているか(移動体の動作)、等が、情報レベルの例示として挙げられる。 For example, when included moving body image data is 1) the presence or absence of the mobile, 2) whether the mobile is what (who) (attribute of the mobile), 3) position of the moving body, 4) mobile position of the face, 5) outline shape of the movable body, 6) or the moving body is doing (operation of the mobile), and the like, are mentioned as examples of the information level.

上記情報提供システムは、上記撮像手段が撮像した画像データと認識手段が認識した認識結果とを対応付けて蓄積する画像管理データベースをさらに備え、上記加工手段は、上記画像管理データベースに蓄積されている画像データを、上記画像管理データベースに蓄積されている認識結果を用いて加工してもよい。 The information providing system further includes an image management database for storing in association with recognition results by the image data recognition means for said imaging means has captured recognizes, the processing means is stored in the image management database the image data may be processed using the recognition result stored in the image management database.

本発明の情報提供サーバは、所定の空間内の状況に関する情報を提供するサーバである。 Information providing server of the present invention is a server that provides information on the status of the predetermined space.

この情報提供サーバは、撮像手段が撮像した空間内の状況を特定する特定手段と、上記撮像手段が撮像した画像データに含まれる移動体及び/又は物品についての情報の認識を行う認識手段と、上記空間内の状況と画像データの加工内容とを対応付けて記憶する加工内容管理データベースを参照して、上記特定手段が特定した状況に対応する加工内容に従い、上記認識手段の認識結果を用いて上記撮像手段が撮像した画像データを加工する加工手段と、上記加工された画像データを出力する出力手段と、を備える。 The information providing server includes a recognition means for performing a specifying unit which imaging means for specifying a state of the space obtained by imaging, the recognition of the information about the mobile and / or articles the imaging unit is included in the captured image data, Referring to machining contents management database in association with the processing specifics of the situation and the image data in the space, in accordance with the processing contents corresponding to a situation in which the specific means has identified, by using the recognition result of the recognition means comprising a processing unit which the imaging means for processing the captured image data, and output means for outputting the processed image data, a.

本発明の情報提供方法は、所定の空間内の状況に関する情報を提供する方法である。 Information providing method of the present invention is a method of providing information on the status of the predetermined space.

この情報提供方法は、上記空間内を撮像する撮像ステップと、上記撮像ステップで撮像した空間内の状況を特定する特定ステップと、上記撮像ステップで撮像した画像データに含まれる移動体及び/又は物品についての情報を認識する認識ステップと、上記特定ステップで特定した状況に対応して設定された加工内容に従い、上記認識ステップの認識結果を用いて上記撮像ステップで撮像した画像データを加工する加工ステップと、上記加工ステップで加工した画像データを表示する表示ステップと、を含む。 The information providing method includes: an imaging step for imaging the inside the space, and specifying step for specifying a state of the space taken by the image pickup step, mobile and / or articles contained in the image data captured by the imaging step and information recognizing step for, in accordance with the processing contents set in response to the situation identified in the specific step, processing step of processing the image data captured by the imaging step using the recognition result of the recognition step If, comprising a display step of displaying the image data processed in the above processing steps, a.

本発明の情報提供システム、情報提供サーバ、情報提供方法によれば、撮像した画像データを空間内の状況に応じて加工することによって提供する情報の内容やレベルが変更可能になり、それによって必要な情報を画像データに含めつつ、不要な情報は画像データから削除するといった、柔軟な対応を実現することができる。 Information providing system of the present invention, the information providing server, according to the information providing method, will be able to modify the contents and the level of information to be provided by processing in accordance with image data captured in the situation in space required by it while including such information in the image data, unnecessary information such deletes from the image data, can be realized flexibility.

以下、本発明の実施の形態について、図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. 本発明に係る情報提供システム(監視システム)は、所定の空間において物品及び人(移動体)の管理をする物品/移動体管理システムに含まれるシステムである。 Information providing system according to the present invention (monitoring system) is a system that is included in the article / mobility management system for management of goods and people (mobile) in a predetermined space. この監視システムは、物品/移動体管理システムで用いられる撮像手段(センシング手段)を利用して、空間内の監視を行う。 The monitoring system utilizes an imaging device used in the article / mobile management system (sensing means), for monitoring the space. 尚、所定の空間は、一般家庭、託児所、介護施設、オフィス、ホテル、店舗及び病院等の、人が活動を行う空間(生活空間)であり、本実施の形態では、一般家庭を対象空間とする。 It should be noted that the predetermined space, homes, child care, nursing homes, offices, hotels, such as stores and hospitals, is a space (living space) a person performing the activity, in the present embodiment, the target space the general household to. また、一般家庭における部屋一つ一つを空間として、その各空間(部屋)を環境と呼ぶ。 Moreover, the room one by one in the household as a space, referred to its respective space (room) and the environment.

上記物品/移動体管理システムは、図1に示すように、環境管理サーバ101 (以下、単にサーバと省略することもある)、作業ロボット102 (以下、単にロボットと省略することもある)、及び操作端末103 の大きく分けて3つのサブシステムから構成される。 The article / mobility management system, as shown in FIG. 1, environmental management server 101 (hereinafter, may be simply abbreviated as the server), the work robot 102 (hereinafter, may be simply abbreviated as robots), and roughly made up of three subsystems operating terminal 103. これら3つのサブシステム101 〜103 は、無線又は有線のネットワークを介して接続されていて、このネットワークを介して情報のやり取りを行うように構成される。 These three subsystems 101-103, which is connected via a wireless or wired network, configured to exchange information through the network.

3つのサブシステム101 〜103 はそれぞれ、制御手段110 ,115 ,119 と送受信手段109 とを備える。 Each of the three sub-systems 101-103 is provided with a control unit 110, 115, 119 and transceiver unit 109. 各サブシステム101 〜103 の送受信手段109 は処理が同じであるため、同じ符号を付すことにする。 Since each transmitting and receiving means 109 of the subsystem 101 to 103 are the process is the same, it will be given the same reference numerals.

ここで、物品とは、人や作業ロボット102 によって取り扱われるものをいう。 Here, the article refers to those handled by the people and the work robot 102. また、人及び作業ロボット102 は物品の取り扱いを行うものであり、以下、これら総称して移動体と呼ぶ。 Also, human and the work robot 102 is to carry out the handling of the article, hereinafter referred to as mobile these collectively. さらに、物品の取り扱いを行っている移動体を、物品取扱主体と呼ぶ。 In addition, the moving body is doing the handling of goods, referred to as the article handling entity.

−センシング手段の構成− - configuration of sensing means -
物品/移動体管理システムは、各環境内の状況を把握するセンシング手段120 を備えており、このセンシング手段120 は、1番目のサブシステムである環境管理サーバ101 に接続される。 Article / mobility management system comprises sensing means 120 to grasp the situation in each environment, the sensing means 120 is connected to the environmental management server 101 which is the first sub-system.

上記センシング手段120 は、各環境の出入口の状況を検出する出入口センシング手段121 と、各環境内の状況を検出する環境内センシング手段122 とから構成される。 It said sensing means 120 includes a doorway sensing means 121 for detecting the status of entrance of the environment, and from the environment within the sensing means 122 for detecting a status in each environment.

(出入口センシング手段) (Entrance sensing means)
上記出入口センシング手段121 は、環境に対して物品及び移動体が出入したことを検出するものである。 The entrance sensing means 121 is for detecting that the article and the moving body is and from the environment. 出入口センシング手段121 は、環境毎に設置される。 Entrance sensing means 121 is installed for each environment.

この出入口センシング手段121 としては、電子タグとリーダライタとからなるものを採用することができる。 As the entrance sensing means 121, it can be adopted consisting of electronic tag and the reader-writer.

電子タグとはデータを蓄えるICとデータを無線で送受信するアンテナとから構成されるデバイスであり、リーダライタとは電子タグに書き込まれた情報を読みとったり、電子タグに情報を書き込んだりすることのできる装置である。 The electronic tag is a device composed of an antenna for transmitting and receiving IC and data storing data wirelessly, or read the information written in the electronic tag to the reader-writer, the to write information to the electronic tag it is possible equipment.

この電子タグとリーダライタとからなる出入口センシング手段121 は、例えば図2に示すように、環境と外部との出入口である窓51及びドア52の開口部それぞれに、ゲート型のリーダライタ(RFアンテナ)41,42を配設して構成される。 Entrance sensing means 121 consisting of the electronic tag and the reader-writer, for example, as shown in FIG. 2, the opening of the windows 51 and doors 52 a doorway each of the environment and the external gate type reader-writer (RF antenna ) 41, 42 constructed by arranging a.

また、この出入口を通過する全ての物品には、予め上記電子タグが付される。 Further, all of the articles passing through the doorway, advance the electronic tag is attached. この電子タグには、その物品に関するデータ、例えば物品の種類、形状、重さ、その物品の画像、製造年月日等のデータを埋め込むのがよい。 The electronic tag, data related to the article, for example, the type of the article, shape, weight, image of the article, it is preferable to embed data such as date of manufacture.

さらに、この出入口を通過する移動体にも、予め電子タグが付される。 Further, the moving body passing through the doorway, advance electronic tag is attached. 人に付す電子タグは、その人が常時携帯するもの(例えば腕時計や指輪等)に埋め込んでもよい。 Electronic tags to be subjected to human, may be embedded in what the person is to carry at all times (for example, watch and rings, etc.). 移動体に付す電子タグには、その移動体に関するデータ、例えば人の名前や生年月日等の情報を書き込むのがよい。 The electronic tag to be subjected to the moving body, the data related to the mobile, it is, for example, to write information such as the person's name and date of birth.

出入口センシング手段121 をこのように構成することによって、物品や移動体がこの窓51やドア52を通過するときには、その出入口に設置されたリーダライタ41,42が、物品や移動体に取り付けられた電子タグからの情報を読み取ることになる。 By configuring the entrance sensing means 121 in this manner, when the goods and the moving body passes through the window 51 and door 52, the reader writer 41 and 42 installed in the doorway, attached to the article and mobile It will read the information from the electronic tag. こうして、電子タグからの情報を読み取ることによって、出入口センシング手段121 は、物品及び移動体が出入口を通過したことを検出することができる。 Thus, by reading the information from the electronic tag, entrance sensing means 121 can detect that the article and the moving body has passed through the doorway.

また、上記リーダライタを出入口に対して二重に設置すれば、出入口センシング手段121 は、物品及び移動体が環境内に入ったのか、環境内から出たのかを区別して検出することができる。 Furthermore, if placed in double the writer relative to the doorway, the doorway sensing means 121 may be detected by distinguishing whether the article and moving body whether enters the environment, leaving the environment.

つまり、図示は省略するが、第1のリーダライタを環境外である、窓51やドア52の開口部の外側に設置する一方で、第2リーダライタを環境内である、窓51やドア52の開口部の内側に設置するのである。 That is, although not shown, the first reader-writer is outside environment, while also installed outside of the window opening 51 and door 52, a second writer is environment, windows 51 and doors 52 it is to install the inside of the opening. この構成によって、環境の外側に設置された第1リーダライタが電子タグからの情報を検出した後に、内側に設置された第2リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品又は移動体は、外部から環境内に入ったと特定することができる。 This configuration, after the first reader-writer, which is installed outside the environment detects information from an electronic tag, when the second reader-writer, which is installed inside detects information from the electronic tag is the electronic tag attached article or moving body can be identified to have entered from the outside environment. 逆に、環境の内側に設置された第2リーダライタが電子タグからの情報を検出した後に、外側に設置された第1リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品又は移動体は、環境内から外部に出たと特定することができる。 Conversely, after the second reader-writer, which is installed inside the environment detects information from an electronic tag, when the first reader-writer, which is installed outside detects information from the electronic tag attached its electronic tag was article or moving body can be identified to have moved out to the outside from the environment.

尚、図2では、窓51やドア52の開口部の上下左右を囲むようにリーダライタ41,42を設置しているが、これは電子タグの向きに依存せず高精度の検出を行なうためであり、リーダライタ41,42は、窓51やドア52の上下位置のみ、左右位置のみ、又はその中央位置に設置してもよい。 In FIG 2, because it has been established writer 41 so as to surround the upper, lower, left and right of the opening of the windows 51 and doors 52, which carried out a highly accurate detection without depending on the orientation of the electronic tag , and the reader-writer 41, only the vertical position of the window 51 and door 52, left and right positions only, or it may be installed in the center position.

尚、出入口センシング手段121 は、電子タグとリーダライタとからなるものに限らず、その他の構成のものを採用してもよい。 Note, entrance sensing means 121 is not limited to those comprising an electronic tag and the reader-writer may be employed those of other configurations.

(環境内センシング手段) (Environment within the sensing means)
上記環境内センシング手段122 は、環境内に存在する物品や設備(家具等を含む)、及び人やロボット102 の位置と状態とを常時検出するものであり、環境毎に設置される。 The environment in sensing means 122 (including furniture) articles and equipment present in the environment, and is intended to constantly detect the position and status of the person or the robot 102 is installed in each environment. 環境内センシング手段122 は、ここでは画像センサを用いたものに構成される。 Environment in sensing means 122 is configured to the one using the image sensor here. つまり、この環境内センシング手段122 は、部屋の天井や壁等に固定されて環境内の様子を撮像するカメラを備えており、このカメラが撮像したカメラ画像によって、環境内の物品及び移動体の検出が行われる。 In other words, this environment within the sensing means 122 is fixed to the ceiling or wall of a room or the like and provided with a camera for imaging the state of the environment, the camera image to which the camera is captured, the article and the moving body in the environment detection is performed.

ここで、物品及び移動体を検出する方法について説明する。 Here, a method for detecting an article and mobile. カメラ画像を用いて環境内の物品や移動体を検出する一般的な方法の一つに、背景差分法があり、環境内センシング手段122 としては、その背景差分法を利用することができる。 One common method for detecting an article and moving body in the environment using a camera image, there is a background difference method, as the environment in the sensing unit 122 can utilize the background difference method. この背景差分法とは、背景としてのモデル画像を予め用意しておき、現在のカメラ画像と上記モデル画像との差分を取ることによって、対象物を検出する方法である。 And the background difference method, are prepared in advance the model image as a background, by taking the difference between the current camera image and the model image is a method of detecting an object. 環境内センシング手段122 は、環境内に存在する物品や移動体を検出するため、モデル画像としては、環境の状況変動が少ない場合は、その環境内に物品・移動体が存在していないときに撮像した画像を用いればよい。 Environment in sensing means 122 for detecting an article and moving objects present in the environment, as the model image, if status change of environment is small, when not present goods and mobile in its environment it may be used a captured image. 尚、環境の状況変動が激しい場合は、所定の時間間隔を空けて撮影された複数の画像を平均して得られた画像を、モデル画像として用いればよい。 In the case status fluctuation of the environment is intense, the image obtained by averaging a plurality of images taken at a predetermined time interval may be used as a model image.

具体的に、背景差分法による物品及び移動体の検出方法について、図3を参照しながら説明する。 Specifically, a method for detecting an article and a mobile according to the background difference method is described with reference to FIG. ここで、図3(a)はモデル画像の例を示す図であり、図3(b)はある時点でカメラが撮影した画像(入力画像)を示す図であり、図3(c)は、入力画像からモデル画像を差し引くことによって得られた背景差分画像の例を示す図である。 Here, FIG. 3 (a) is a diagram showing an example of a model image, a diagram illustrating a FIG. 3 (b) images the camera is taken when one (input image), FIG. 3 (c), it is a diagram illustrating an example of the resulting background differential image by subtracting the model image from the input image. 図3(c)から分かるように、背景差分画像では、入力画像とモデル画像との差のある部分が浮き出てくる(同図の網掛けの領域参照(差分領域))。 As can be seen from FIG. 3 (c), in the background differential image, some parts come stand out of the difference between the input image and the model image (area see shaded in FIG (differential area)). このため、その浮き出た部分のみをそれぞれ取り出すことで環境内に存在する物品又は移動体を検出することができる。 Therefore, it is possible to detect an article or mobile present in the environment by retrieving its standing out portion only, respectively. さらに、その画像を画像処理することによって、その物品又は移動体が何であるかを特定する(この処理は、後述する物品/移動体検索・管理手段105 が行う)。 Further, by image processing the image, the article or mobile identifies what the (This process is performed by the article / mobile searching and managing means 105 to be described later). このように、背景差分法を用いることによって、環境内の物品及び移動体の状況を検出することが可能になる。 Thus, by using the background subtraction method, it is possible to detect the status of the article and mobile in the environment. さらに、環境内に2つのカメラを設けるようにすれば、ステレオ視による三次元計測技術を用いて物品の形状及び姿勢の情報を取得することも可能になる。 Moreover, if the provided two cameras in the environment, it also becomes possible to obtain information shape and orientation of the article with a three-dimensional measurement technique using stereo.

上述した電子タグ及びリーダライタを用いれば、電子タグに埋め込まれた情報によって物品及び移動体の特定が容易に行い得ることから、環境内センシング手段122 は、画像センサと電子タグとの双方を用いるものとすることも可能である。 With the electronic tag and the reader-writer as described above, since the specific article and mobile may easily be carried out by the information embedded in the electronic tag, the environment within the sensing means 122 uses both the image sensor and the electronic tag it is also possible to use a thing. つまり、上述した背景差分法によって、環境内の物品及び移動体の位置を特定し、さらに電子タグを使ってその物品及び移動体を特定するというハイブリッド処理を行うのである。 That is, by the background subtraction method described above, to locate the article and moving body in the environment, it is performed a hybrid process that identifies the article and mobile further using an electronic tag. 具体的な処理として、以下の2つの例を挙げることができる。 As specific processing, it is possible the following two examples.

一つの例は、環境内の天井や壁等にカメラを設置し、作業ロボット102 にはリーダライタを取り付けて環境内センシング手段122 を構成する。 One example is a camera installed on a ceiling or wall or the like in the environment, the work robot 102 constituting the environment in sensing means 122 is attached to the reader writer. また、各物品及び移動体には電子タグを取り付けておく。 Furthermore, permanently installing electronic tag to each article and mobile. そして、上記カメラ画像を用いた背景差分法によって、環境内の物品又は移動体の位置を特定する。 Then, the background subtraction method using the camera image, identifies the location of the article or mobile in the environment. 次に、位置特定した物品又は移動体の近傍に上記ロボット102 を移動させて、そのロボット102 に取り付けたリーダライタによって、その物品又は移動体に取り付けられた電子タグから情報を読みとり、その物品又は移動体を特定する。 Then, by moving the robot 102 in the vicinity of a position specified article or mobile, the reader-writer attached to the robot 102, and reads information from an electronic tag attached to the article or mobile, the article or to identify the moving object.

もう一つの例は、環境内の天井や壁等にカメラを設置し、その環境内に複数個のリーダライタを略均等に設置して環境内センシング手段122 を構成する。 Another example is a camera installed on a ceiling or wall or the like in the environment, a plurality of reader-writer substantially evenly placed to configure the environment in sensing means 122 in the environment. このリーダライタは、電子タグのデータ読みとりに関して指向性を有しかつ、その読み取り方向が可変であるものとする。 The interrogator, and has a directivity with respect to data read electronic tag, it is assumed that the reading direction is variable. そして、上記カメラ画像を用いた背景差分法によって、環境内の物品又は移動体の位置を特定する。 Then, the background subtraction method using the camera image, identifies the location of the article or mobile in the environment. 次に、位置特定した物品又は移動体に対し最も近い位置に設置されたリーダライタを選択すると共に、そのリーダライタの読みとり方向をその物品又は移動体に向ける。 Next, the selecting writer installed at a position closest to the position specified article or mobile, direct direction and reading the reader-writer to the article or mobile. こうして、その物品又は移動体に取り付けられた電子タグから情報を読み取り、その物品又は移動体を特定する。 Thus, reading the information from the electronic tag attached to the article or mobile, to identify the article or mobile.

上記センシング手段120 は、以上のようにして物品又は移動体を検出したときには、その検出結果を、サーバ101 の物品/移動体検索・管理手段105 に送信する。 It said sensing means 120, but when it detects an article or mobile as described above, the detection result is transmitted to the article / mobile searching and managing means 105 of the server 101.

−環境管理サーバの構成− - environmental management server configuration -
環境管理サーバ101 は、図1に示すように、上記各出入口センシング手段121 及び環境内センシング手段122 によって把握した状況のうち、環境内に存在する物品と移動体との状況を管理する物品/移動体検索・管理手段105 及びその物品及び移動体のデータを蓄積する物品/移動体データベース160 と、上記物品及び移動体以外の環境全体の状況を管理する環境マップ管理手段107 及びその環境全体のデータを蓄積する環境マップ108 と、カメラの撮像した画像データ等を蓄積する画像管理データベース106 及び画像管理データベース106 に蓄積するデータの管理をする画像管理手段104 と、物品/移動体データベース160 のデータや環境マップ108 のデータの問い合わせ(信号)を外部から受信したり、その応答信号を外部に発信したり、また、ロボット1 Environmental management server 101, as shown in FIG. 1, one of the situations grasped by the respective entrance sensing means 121 and the environment within the sensing means 122, article / movement to manage the status of the article and the moving objects present in the environment an article / mobile database 160 for storing data of the body search and management unit 105 and the article and moving body, said article and environment map manager 107 and its environment overall data managing status of the entire environment than mobile the environment map 108 for storing an image managing means 104 for managing the data stored in the image management database 106 and the image management database 106 stores the image data captured in a camera or the like, Ya data of the article / mobile database 160 and it receives inquiry data environment map 108 (signal) from the outside, and initiates the response signal to the outside, also, the robot 1 02 に対する制御コマンドを送信したりする送受信手段109 と、これらの手段104 ,105 ,107 ,109 をコントロールする制御手段110 とからなる。 And receiving means 109 and transmits a control command for the 02, consisting of means 104, 105, 107, 109 control to the control means 110..

この環境管理サーバ101 としては汎用コンピュータを用いることが可能である。 As the environmental management server 101 is possible using a general-purpose computer. この場合は、後述する各処理を実行する制御プログラムをコンピュータが読み込むことによって、そのコンピュータを環境管理サーバ101 として用いることが可能になる。 In this case, by reading the control program for executing each processing described later computer, it is possible to use the computer as environmental management server 101.

(物品/移動体検索・管理手段) (Goods / mobile search and management means)
物品/移動体検索・管理手段105 は、センシング手段120 によって検出された各物品及び移動体の情報を、物品/移動体データベース(DB)160 に蓄積するものである。 Article / mobile searching and managing means 105, the information of each article and the mobile object detected by the sensing means 120 is for storing the article / mobile database (DB) 160.

また、物品/移動体検索・管理手段105 は、センシング手段120 の検出結果に基づいて、物品及び移動体の特定し、それらの特定結果を上記物品/移動体DB160 に蓄積する。 Moreover, the article / mobile searching and managing means 105, based on the detection result of the sensing means 120, and specific goods and mobile, their specific results accumulated in the article / mobile DB 160. こうして、物品及び移動体の特定をすることによって、環境内の状況を特定する。 Thus, by the particular article and moving body, it identifies the condition of the environment.

さらに、上記物品/移動体検索・管理手段105 は、制御手段110 から物品/移動体DB160 に問い合わせがあった場合に、その問い合わせの内容に応じて必要な情報を物品/移動体DB160 から取り出し、その情報を制御手段110 に送ることも行う。 Furthermore, the article / mobile searching and managing means 105, when the control unit 110 an inquiry to the article / mobile DB 160, retrieves the required information according to the content of the inquiry from the article / mobile DB 160, performed also send the information to the control unit 110.

上記物品/移動体検索・管理手段105 は、図4に示すように、それぞれセンシング手段120 の検出結果を受けて、物品を特定する物品特定手段32及び移動体を特定する移動体特定手段33と、を備える。 The article / mobile searching and managing means 105, as shown in FIG. 4, respectively receives the detection result of the sensing means 120, and the mobile identifying means 33 for identifying an article specifying means 32 and the mobile identifying the article , comprising a.

上記物品特定手段32は、上記センシング手段120 によって検出された物品が何であるかを特定し、その物品の情報を物品/移動体DB160 に蓄積するものである。 The article specifying means 32 is the article detected by said sensing means 120 identifies what accumulates information of the article to the article / mobile DB 160. この物品特定手段32は、上述したように、センシング手段120 が電子タグとリーダライタを用いたものであるときには、その電子タグからの情報に基づいて物品の特定をする。 The article identification means 32, as described above, when the sensing means 120 is obtained using an electronic tag and the reader-writer is a particular article on the basis of information from the electronic tag. また、センシング手段120 がカメラ画像を用いたものであるときには、そのカメラ画像に基づいて物品の認識処理を行い、その物品の特定を行う。 Further, when the sensing means 120 is obtained using a camera image, it performs recognition processing of an article based on the camera image, make certain the article.

上記移動体特定手段33は、上記センシング手段120 によって検出された移動体が誰であるかを特定し、その移動体の情報を物品/移動体DB160 に蓄積するものである。 It said mobile identifying means 33 is for the mobile object detected by the sensing means 120 to identify who is, storing information of the mobile to the article / mobile DB 160.

この移動体特定手段33は、上述したように、センシング手段120 が電子タグとリーダライタを用いたものであるときには、その電子タグからの情報に基づいて移動体の特定をする。 The mobile identification means 33, as described above, when the sensing means 120 is obtained using an electronic tag and the reader-writer is a particular mobile based on the information from the electronic tag.

また、センシング手段120 がカメラ画像を用いたものであるときには、そのカメラ画像に基づいて移動体の認証処理を行い、その移動体の特定を行う。 Further, when the sensing means 120 is obtained using a camera image, it performs an authentication process of the moving object based on the camera image, make certain the mobile. 具体的には、カメラに移動体が存在する領域を撮像させ、その撮像した画像に対して顔認証処理を行い、その認証処理によって移動体を特定する。 Specifically, the area which the mobile camera is present is captured, it performs face authentication processing for the captured image, to identify the moving object by the authentication process. ここで、環境内センシング手段122 として用いるカメラは、環境内の全体を撮像するカメラであるため、通常、広域を撮影する広角カメラである。 Here, a camera is used as the environment within the sensing means 122 are the camera for imaging the entire environment is usually a wide-angle camera for photographing a wide area. この広角カメラの撮像画像は解像度が比較的低く、顔認証処理を行なうには解像度が足りない場合がある。 Capturing images of the wide-angle camera resolution is relatively low, it is to perform the face authentication process there are cases where the resolution is insufficient. そこで、背景差分法に用いるカメラとは別に、顔認証処理用のカメラとして狭角の高分解能カメラを、環境内に設置又はロボット102 に設置してもよい。 Therefore, apart from the camera using the background subtraction method, a high-resolution camera narrow angle as a camera for face authentication processing may be installed in the installing or robot 102 in the environment. この場合、移動体特定手段33は、狭角カメラに移動体が存在する領域を撮像させ、その撮像した画像に対して顔認証処理を行う。 In this case, the mobile identification unit 33 causes the imaging region there are mobile in a narrow angle camera performs face authentication processing for the captured image. こうすることにより、移動体特定手段33は物品取扱主体を精度よく特定することができる。 By doing so, the mobile identifying means 33 can identify accurately article handling entity. 尚、移動体特定手段33における移動体の特定方法は、顔認証処理に限らず、例えば虹彩認証等のその他の認証処理によって行ってもよい。 The specific method of a mobile in a mobile identification means 33 is not limited to the face authentication process may be performed by other authentication process, for example, iris recognition, or the like.

また、物品/移動体検索・管理手段105 は、物品が移動体によって取り扱われていることを検出し、この場合は、物品とそれを取り扱う移動体(物品取扱主体)とをそれぞれ特定する。 Moreover, the article / mobile searching and managing means 105 detects that the article is being handled by the mobile, in this case, identifies the mobile handling it and the article a (article handling entity), respectively.

(物品/移動体データベース) (Goods / mobile database)
環境管理サーバ101 の物品/移動体DB160 は、物品及び移動体の情報を蓄積するDBであり、例えば図5,図6に示すように構成される。 Article / mobile DB160 environmental management server 101 is a DB for storing information of the article and a mobile, for example 5, configured as shown in FIG. つまり、この物品/移動体DB160 は、物品を扱う物品データベース61(図5)と、移動体を扱う移動体データベース62(図6)とからなる。 That is, the article / mobile DB160 is composed of an article database 61 for handling the articles (Fig. 5), the mobile database 62 to handle moving body (Fig. 6). 後述するように、物品/移動体DB160 に蓄積される情報は、環境内の状況を特定する際にも利用される。 As described later, information stored in the article / mobile DB160 is also used in identifying conditions in the environment.

物品DB61は、物品データ611 、物品履歴データ612 、物品属性データ613 の3種類のデータをそれぞれ蓄積するサブデータベースからなる。 Article DB61, the article data 611, the article history data 612, consisting of the sub-database for storing each of the three types of data of the article attribute data 613. 各サブデータベースに蓄積されるデータ内容は以下の通りである。 Data contents accumulated in each sub-database is as follows.

1)物品データ611 :個々の物品を区別するためのID、物品履歴データへのポインタ、物品の属性が記載された物品属性データへのポインタ、が蓄積される。 1) The article data 611: ID for distinguishing individual articles, a pointer to the article history data, a pointer to the article attribute data attributes are described in the article are accumulated. ここで、複数の物品について、その種類が同じであっても物理的に別の存在であれば、それらはそれぞれ別の物品として扱うため異なるIDが割り当てられると共に、異なる物品属性データへのポインタを持つ。 Here, for a plurality of articles, if the type is physically a separate existence even in the same, together with their assigned different ID treat as separate articles, a pointer to the different articles attribute data with. 一方、種類が同じ物品は同じ物品属性を持つため、異なるIDが割り当てられていても、同じ物品属性データへのポインタを持つ。 On the other hand, the same article types with the same article attributes, be assigned different ID is has a pointer to the same goods attribute data. これにより、データベースの容量を節約する。 Accordingly, to save space in the database.

2)物品履歴データ612 :環境内において物品が取り扱われた履歴を格納するもので、取り扱われた時刻(取り扱い日時)、取扱内容、物品取扱主体、取扱い後の位置、の4項目からなる。 2) The article history data 612: adapted to store a history of the article is handled in the environment, handling as to time (handling time), the handling contents, article handling mainly position after handling consists four items. この内、取扱内容は、新規、移動等と表される。 Of these, handling content, novel, denoted moved like. また、位置データの表し方としては種々の表現が考えられるが、ここでは、図5に示すように、6つのパラメータで位置を表現することとする。 Although as a way of showing the positional data are considered various representations, here, as shown in FIG. 5, and to express the position of six parameters. つまり、最初の3つのパラメータ(x1 ,y1 ,z1)は物品の位置(重心位置等を用いる)を表し、後の3つのパラメータ(α1 ,β1 ,γ1 )は、物品の向きを表す。 In other words, the first three parameters (x1, y1, z1) represents the position of the article (using the center of gravity position, etc.), three parameters after ([alpha] 1, .beta.1, .gamma.1) represents the orientation of the article. 物品の位置及び姿勢は、センシング手段120 又は作業ロボット102 のセンサ111 によって取得する。 The position and orientation of the article is obtained by the sensor 111 of the sensing means 120 or the work robot 102. また、物品履歴データにおける物品取扱主体は、上記移動体特定手段33によって特定された移動体である。 Further, article handling entity in the article history data is a moving body that is identified by the mobile identifying means 33. 物品履歴データでは、「取扱後の位置」における最新のデータが、物品の現在位置の情報となる。 In the article historical data, the most recent data in the "position after handling" is, the information of the current position of the article.

3)物品属性データ613 :物品が有する物理的な属性情報を格納するもので、属性情報の例としては、図5に示すように、物品の重さ、形状モデル・サイズが挙げられる。 3) The article attribute data 613: adapted to store physical attribute information article has, as an example of the attribute information, as shown in FIG. 5, the weight of the articles include shape model and size. こうした属性情報は、物品に取り付けられた電子タグから取得してデータベースに格納してもよいし、ユーザが手動で入力した情報をデータベースに格納してもよい。 Such attribute information may be stored may be stored in the database acquired from the electronic tag attached to the article, the information input by the user manually into the database.

移動体DB62は、図6に示すように、移動体データ621 、移動体履歴データ622 、及び移動体属性データ(図示省略)の3種類のデータをそれぞれ蓄積するサブデータベースからなり、各サブデータベースに蓄積されるデータ内容は以下の通りである。 Mobile DB62, as shown in FIG. 6, the mobile data 621 become mobile history data 622, and the mobile attribute data (not shown) three types of data from the sub-database for storing each of the respective sub-database data content to be stored is as follows.

1)移動体データ621 :個々の移動体を区別するためのID、移動体履歴データへのポインタが蓄積される。 1) mobile data 621: ID for identifying an individual mobile, the pointer is stored to a mobile history data. 移動体データ621 に格納される移動体は、ユーザが手動で予め登録するようにすればよい。 Mobile stored in the mobile data 621 may be the user to pre-registered manually.

2)移動体履歴データ622 :移動体の、ある時刻における位置と、その時刻における状態との3項目からなる。 2) MOBILE history data 622: mobile, a position at a certain time, consists of three items the state at that time. ここで、移動体は、物品とは異なり空間内に占める体積が大きく、ロボット102 が環境内を移動するときの障害物となる。 Here, the mobile has a large volume occupied in the space unlike article becomes an obstacle when the robot 102 moves in the environment. このため、移動体の位置はできるだけ現実に則した表現が好ましい。 Therefore, the position of the mobile object representation conforming to possible reality preferred. ここでは、床面上で移動体が占めるおおよその領域を円で表すこととする。 Here, it is assumed to represent the approximate area the mobile is occupied on the floor in a circle. すなわち、円の中心位置のXY座標(x4 ,y4)と円の半径(r1)で移動体の位置を表す。 That represents the position of the moving body in the XY coordinates (x4, y4) and a circle having a radius (r1) of the center of the circle. これは、ロボット102 が障害物を避けつつ経路作成が可能となる一方で、移動体の位置を必要最小限の情報で表すためである。 While this robot 102 becomes possible route creating while avoiding obstacles, in order to represent the position of the moving body at the minimum necessary information. 尚、移動体が占める領域は、さらに厳密な表現をしてもよい。 The area mobile occupied may further strict representation. 例えば移動体の床面上で占める領域の輪郭を近似する複数個の線分ベクトルを使って、移動体の位置を表現してもよい。 For example, using a plurality of line segment vector which approximates the contour of the area occupied on the floor surface of the movable body, may represent the position of the moving body.

また、移動体履歴データにおける移動体の状態とは、その移動体が人であれば、「座る」「立つ」「寝る」「歩く」等の一般的な人の動作を表し、移動体がロボット102 であれば、「把持」「解放」等のロボット102 が物品に対して行う動作を表す。 In addition, the state of the mobile in mobile history data, if the moving object is a person, "sit", "stand", "sleep", "walk" represents a common human behavior, such as, a mobile robot if 102, the robot 102 such as "grip", "release" represents the operation to be performed on the article. 例えば移動体の状態となり得る状態候補を予め複数用意しておき、センシング手段120 による検出結果等に基づいて移動体の状態がどの状態候補に当てはまるかを判断すればよい。 For example the state candidate obtaining a state of the moving body in advance a plurality prepared, may determine whether applies to any state candidate states of the moving body on the basis of the detection result or the like by the sensing means 120. 尚、ロボット102 に関する移動体履歴データでは、その動作だけでなく、作業対象の物品IDと併せて「物品ID:動作内容」として格納する。 In the mobile historical data on the robot 102, but the only work in conjunction with the article ID of the work object: storing as "article ID operation content". 具体的には、「kan-small-0001:把持」となる。 Specifically,: the "kan-small-0001 grip".

3)移動体属性データ:移動体が有する共有の属性情報を蓄積するものであり、移動体属性データとしては、移動体の重さや形状等の物理属性が挙げられる。 3) the mobile Attribute: is intended to accumulate sharing attribute information which the mobile body has, as the moving body attribute data include weight and physical attributes such as the shape of the moving object. この移動体属性データは、センシング手段120 (電子タグとリーダライタ)によって取得することが可能である。 The mobile attribute data may be acquired by the sensing means 120 (electronic tag and the reader-writer). また、手動でこれらの情報を入力してもよい。 In addition, it may be manually enter these information.

この物品/移動体DB160 へのアクセスは、物品/移動体検索・管理手段105 にのみ許可されており、これにより、同じ物品又は移動体データに対する書き込みと読み出しとが同時に行われないようにする。 Access to the article / mobile DB160 is allowed only to the article / mobile searching and managing means 105, thereby, writing and reading for the same article or mobile data is prevented performed simultaneously.

次に、センシング手段120 によって検出された物品や、人及びロボット102 等の移動体の情報が、物品/移動体検索・管理手段105 によって、どのように物品/移動体DB160 に格納されるか、また、その物品/移動体DB160 のデータがどのように更新されていくかについて、図5〜7を参照しながら具体的に説明する。 Next, whether or articles that are detected by the sensing means 120, the information of the movable body, such as human and the robot 102, the article / mobile searching and managing means 105, are stored how the article / mobile DB 160, the data of the article / mobile DB160 is how will be updated will be specifically described with reference to FIGS. 5-7.

図7は、一般家庭における、ある部屋(環境)内を示す俯瞰図であって、2つの缶ジュース21,22が、この部屋に対して出入すると共に、これらの缶ジュース21,22が環境内を移動される様子を示す図である。 7, in a general household, a bird's-eye view showing the inside of a room (environment), 2 Tsunokan juice 21 and 22, together with and out with respect to this room, these canned juice 21, 22 in the environment it is a diagram showing how to be moved.

同図において、各缶ジュース21,22の移動は矢線によって示され、これらの矢線に付されているt1,t2,t5,t6,の文字は、矢線に従って缶ジュースが移動された時刻を示す。 In the figure, the movement of each canned juice 21 and 22 indicated by the arrow, is applied to these arrows t1, t2, t5, t6, the character, the time the can juice is moved according to arrow It is shown. 時刻は、t1〜t6の順で進んだものとする。 Time shall be advanced in the order of t1~t6.

尚、部屋の出入口(ドア)には、図示は省略するが、出入口センシング手段121 としてリーダライタが設置されていて、物品及び移動体の移入と移出とを区別して検出すると共に、部屋内には、環境内センシング手段122 としてカメラ及びリーダライタが設置されていて、環境内における物品及び移動体の移動を検出するものとする。 Note that the room entrance (door), not shown, have been interrogator installed as entrance sensing means 121, and detects and distinguishes between export and import of the article and a mobile, in the room , have been installed cameras and the reader writer as the environment within the sensing means 122, and detects the movement of the article and a mobile in the environment.

また、各缶ジュース21,22並びに部屋を出入する人及びロボット102 にはそれぞれ電子タグが付されているとする。 Further, the each of the respective canned juice 21, 22 and human and robot 102 and out the room electronic tag is attached. この各缶ジュース21,22の物品属性データは、電子タグに埋め込まれている情報をリーダライタが読み取ることによって得ることとする。 The article attribute data of each canned juice 21 and 22, and to obtain the information embedded in the electronic tag by reading the reader-writer. 移動体DB62の移動体データ621 には各移動体の情報が登録されているものとし、移動体履歴データ622 は既に初期化されているものとする。 The mobile data 621 of the mobile DB62 is assumed that information of each mobile is registered, the mobile history data 622 are assumed to have already been initialized. また、物品DB61の物品データ611 には、何も記録されていない空の状況であるとする。 Also, in the article data 611 of the article DB61, and nothing is empty of circumstances that have not been recorded.

先ず、移動体DB62の移動体データ621 に登録されているお父さん(図示省略)が、缶ジュース21を持ってドアから部屋内に入ってくる。 First, father registered in the mobile data 621 of the mobile DB62 (not shown), coming into the room from the door with a can of juice 21. このとき、ドアに設けられた出入口センシング手段121 は、お父さんと、缶ジュース21とが、部屋内に移入したことを検出する。 At this time, the entrance sensing means 121 provided in the door, and Dad, and the canned juice 21, detects that it has transferred in the room.

その検出結果は、センシング手段120 から物品/移動体検索・管理手段105 に送られ、それを受けた物品/移動体検索・管理手段105 は、缶ジュースとお父さんとを特定する。 The detection result is sent from the sensing means 120 to the article / mobile searching and managing means 105, the article / mobile searching and managing means 105 which has received it, identifies the canned juice and father. そして、その缶ジュース21に[kan-small-0001]というIDを割り当て、物品属性データ613 へのポインタと対応付けて物品データ611 に格納する(図5参照)。 Then, its canned juice 21 assigned an ID of [kan-small-0001], stored in the article data 611 in association with the pointer to the article attribute data 613 (see FIG. 5). これと共に、物品/移動体検索・管理手段105 は、その缶ジュース21の物品属性データ613を格納する。 At the same time, the article / mobile searching and managing means 105 stores the article attribute data 613 of the canned juice 21. さらに、物品/移動体検索・管理手段105 は、その缶ジュースの移動履歴を物品履歴データ612 に格納するための「位置履歴リスト1」を作成する。 Furthermore, the article / mobile searching and managing means 105 creates a "position history list 1" for storing the movement history of the canned juice in the article history data 612.

一方で、センシング手段120 により検出したお父さんの移動体履歴データ622 を更新するために、物品/移動体検索・管理手段105 は、移動体データ621 におけるID「お父さん」の位置履歴を参照して、「位置履歴リスト3」を呼び出す(図6参照)。 On the other hand, in order to update the father of the moving body history data 622 detected by sensing means 120, article / mobile searching and managing means 105 refers to the location history of the ID "father" in the mobile data 621, call the "position history list 3" (see FIG. 6).

時刻t1に、お父さんがテーブル近傍の位置P4(x4 ,y4)に座り、持っていた缶ジュース21をそのテーブル上のP1(x1,y1,z1)に置く。 At time t1, father sat position of the table near the P4 (x4, y4), placing the cans juice 21 had the P1 (x1, y1, z1) on the table. そのことを環境内センシング手段122 が検出すると、物品/移動体検索・管理手段105 は、物品履歴データ612 の位置履歴リスト1の内容をセットする(図5参照)。 When that the detected environment in sensing unit 122, the article / mobile searching and managing means 105 sets the position contents of the history list 1 of the article history data 612 (see FIG. 5). 具体的には、 In particular,
時刻:t1 Time: t1
取扱内容:新規 物品取扱主体:お父さん 取扱後の位置:P1(x1,y1,z1,α1 ,β1 ,γ1 ) Handling content: new goods handling subject: position after the father Handling: P1 (x1, y1, z1, α1, β1, γ1)
をセットする。 To set. ここで、取扱内容が「新規」となっているのは、それまで環境内に存在していなかった物品が、新たに外部から持ち込まれたことを意味する。 Here, the handling content has become a "new" is an article that did not exist in the environment until then, which means that it has been newly brought in from outside.

また、物品/移動体検索・管理手段105 は、移動体履歴データ622 の位置履歴リスト3の内容をセットする(図6参照)。 Moreover, the article / mobile searching and managing means 105 sets the position contents of the history list 3 mobile history data 622 (see FIG. 6). 具体的には、 In particular,
時刻:t1 Time: t1
位置:(x4 ,y4 ,r1) Position: (x4, y4, r1)
状態:座るをセットする。 State: to set a sit.

時刻t2に、移動体DB62の移動体データ621 に登録されている別の移動体である息子(図示省略)が、P1(x1,y1,z1)に置かれた上記の缶ジュース21を床の上であるP2(x2,y2,z2)に移動させる。 At time t2, the son is another mobile registered in the mobile data 621 of the mobile DB 62 (not shown), P1 (x1, y1, z1) to put the above the canned juice 21 floors move to a top P2 (x2, y2, z2). そのことを環境内センシング手段122 が検出すると、その検出結果を受けて物品/移動体検索・管理手段105 は、物品履歴データ612 の位置履歴リスト1の新たな内容をセットする(図5参照)。 Upon detecting that the environment within the sensing means 122, the detection result received by the article / mobile searching and managing means 105 sets the new contents of the location history list 1 of the article history data 612 (see FIG. 5) . 具体的には、 In particular,
時刻:t2 Time: t2
取扱内容:移動 物品取扱主体:息子 取扱後の位置:P2(x2,y2,z2,α2 ,β2 ,γ2) Handling content: moving goods handling subject: position after the son Handling: P2 (x2, y2, z2, α2, β2, γ2)
をセットする。 To set. ここで、取扱内容が「移動」となっているのは、すでに物品履歴データ612 に登録されている物品が、環境内で移動されたためである。 Here, the handling contents is "moving" is an article that is already registered in the article history data 612, because that is moved in the environment. 尚、時刻t2で息子の位置が変わるため、物品/移動体検索・管理手段105 は環境内センシング手段122 の検出結果を受けて、息子の移動体履歴データ622 (位置履歴リスト4)の内容をセットするが、ここではその図示を省略する。 Since the son's position changes at time t2, the article / mobile searching and managing means 105 receives the detection result of the environmental in sensing means 122, the contents of the son of a mobile history data 622 (position history list 4) Although set for them are omitted here shown.

時刻t3に、お父さんが部屋の外に出る。 At time t3, dad is out of the room. そのことを環境内センシング手段122 が検出すると、物品/移動体検索・管理手段105 は、移動体履歴データ622 の位置履歴リスト3の新たな内容をセットする(図6参照)。 When that the detected environment in sensing unit 122, the article / mobile searching and managing means 105 sets the new contents of the location history list 3 mobile history data 622 (see FIG. 6). 具体的には、 In particular,
時刻:t3 Time: t3
位置:− Position: -
状態:外出をセットする。 State: to set going out. ここで、位置が「−」となっているのは、環境外に出たことで、環境内センシング手段122 がお父さんを検出することができなくなったためである。 Here, the position of "-" and become by What, by leaving out the environment, because the environment in the sensing unit 122 is no longer able to detect the father. 尚、位置情報としては、外出する際に通過したドアの位置情報を設定してもよい。 As the position information, it may be to set the position information of the door and through which to go out.

また、その部屋の外に出る際にお父さんが操作端末103 を操作して、ロボット102 に缶ジュース21をP1(x1,y1,z1)に移動させる内容の作業命令を入力する。 Moreover, by operating the father operating terminal 103 as it leaves outside the room, enter the work order of the content to move the can of juice 21 to the robot 102 to P1 (x1, y1, z1). サーバ101 を介してその作業命令を受けたロボット102 は、缶ジュースの位置P2(x2, y2)まで移動し、時刻t4にその缶ジュースを把持する。 Robot 102 that has received the work command through the server 101 moves to the position of the canned juice P2 (x2, y2), to grip the can of juice at time t4. このことを環境内センシング手段122 が検出すれば、物品/移動体検索・管理手段105 は、ロボット102 の移動体履歴データ622 (位置履歴リスト5)の内容をセットする(図6参照)。 In this the by detecting the environment within the sensing means 122, article / mobile searching and managing means 105 sets the contents of the moving body history data 622 of the robot 102 (position history list 5) (see FIG. 6). 具体的には、 In particular,
時刻:t4 Time: t4
位置:(x2 ,y2 ,r2) Position: (x2, y2, r2)
状態:[kan-small-0001]:把持をセットする。 State: [kan-small-0001]: to set the grip. 尚、ロボット102 の動作は、環境内センシング手段122 が検出してもよいが、サーバ101 が、ロボット102 からの動作情報を受信することによって、ロボット102 の動作を検出してもよい。 The operation of the robot 102 is environmental in sensing means 122 may detect, server 101, by receiving the operation information from the robot 102 may detect the operation of the robot 102.

時刻t5に、上記ロボット102 が缶ジュース21を把持した状態で、P4(x4 ,y4)に移動し、テーブルの上P1 (x1,y1,z1)で把持した缶ジュース21を解放する。 At time t5, the robot 102 is in a state of gripping the canned juice 21, moves to P4 (x4, y4), releasing the can of juice 21 gripped on the table P1 (x1, y1, z1). 環境内センシング手段122 がそのことを検出すれば、物品/移動体検索・管理手段105 は、移動体履歴データ622 の位置履歴リスト5の新たな内容をセットする(図6参照)。 If the environment in the sensing unit 122 detects that the article / mobile searching and managing means 105 sets the new contents of the location history list 5 of the mobile history data 622 (see FIG. 6). 具体的には、 In particular,
時刻:t5 Time: t5
位置:(x4 ,y4 ,r2) Position: (x4, y4, r2)
状態:[kan-small-0001]:解放をセットする。 State: [kan-small-0001]: to set a release.

また、物品/移動体検索・管理手段105 は、物品履歴データ612 の位置履歴リスト1の新たな内容をセットする(図5参照)。 Moreover, the article / mobile searching and managing means 105 sets the new contents of the location history list 1 of the article history data 612 (see FIG. 5). 具体的には、 In particular,
時刻:t5 Time: t5
取扱内容:移動 物品取扱主体:ロボット 取扱後の位置:P1(x1,y1,z1,α1 ,β1 ,γ1 ) Content may: move article handling entity: position after the robot Handling: P1 (x1, y1, z1, α1, β1, γ1)
その後、移動体DB62の移動体データ621 に登録されているさらに別の移動体であるお母さんが、新たな缶ジュース22を持ってドアから部屋に入ってくる。 Then, mom is yet another mobile has been registered in the mobile data 621 of the mobile DB62 is, coming into the room from the door with a new can of juice 22. 出入口センシング手段121 が、お母さんと新たな缶ジュース22とが部屋内に移入したことを検出すると、物品/移動体検索・管理手段105 は、その新たな缶ジュース22に[kan-small-0002]というIDを割り当て、物品属性データ613 へのポインタと対応付けて物品データ611 に格納する。 Entrance sensing means 121 detects that the and the new canned juice 22 mother transferred in the room, the article / mobile searching and managing means 105, its new canned juice 22 [kan-small-0002] Assigning an ID of, stored in the article data 611 in association with the pointer to the article attribute data 613. この新たな缶ジュース22の物品属性データ613 は、上記の缶ジュース21と同じである。 Article attribute data 613 of the new canned juice 22 is the same as the above canned juice 21. また、その新たな缶ジュース22の移動履歴を物品履歴データ612 に格納するための「位置履歴リスト2」を作成する(図5参照)。 Also, to create a "position history list 2" for storing the movement history of the new canned juice 22 to the article history data 612 (see FIG. 5).

時刻t6に、お母さんが新たな缶ジュース22を床の上であるP3(x3,y3,z3)に置く。 To the time t6, the mother put a new can of juice 22 to be on the floor P3 (x3, y3, z3). そのことを環境内センシング手段122 が検出すると、物品/移動体検索・管理手段105 は、物品履歴データ612 の位置履歴リスト2の内容をセットする(図5参照)。 When that the detected environment in sensing unit 122, the article / mobile searching and managing means 105 sets the contents of the location history list 2 of the article history data 612 (see FIG. 5). 具体的には、 In particular,
時刻:t6 Time: t6
取扱内容:新規 物品取扱主体:お母さん 取扱後の位置:P3(x3,y3,z3,α3 ,β3 ,γ3 ) Handling content: new goods handling subject: position after mom Handling: P3 (x3, y3, z3, α3, β3, γ3)
をセットする。 To set. 尚、図6では、お母さんの移動体データ及び移動体履歴は省略している。 In FIG. 6, mom mobile data and a mobile history are omitted.

以上のようにして、物品/移動体検索・管理手段105 は、物品/移動体DB160 に物品や移動体の情報を格納・更新する。 As described above, the article / mobile searching and managing means 105 stores and updates the information of the article and the moving body to the article / mobile DB 160. ここでは、データベースの更新を、物品/移動体DB160 に登録されている各物品や移動体の位置が変更される毎に行う例を示したが、データベースの更新タイミングはこれに限るものではなく、適宜設定すればよい。 Here, the updating of the database, the article / the position of the mobile DB160 each article or mobile registered in showed an example in which each time it is changed, the update timing of the database is not limited to this, it may be appropriately set.

(環境マップ管理手段・環境マップ) (Environment map managing means and the environment map)
環境マップ管理手段107 は、センシング手段120 からの情報に基づいて環境マップ108 を作成すると共に、その作成した環境マップ108 の管理を行うものである。 Environment map manager 107 is configured to create an environment map 108 based on information from the sensing means 120, and performs management of the environment map 108 that create it. この環境マップ108 は、ロボット102 が環境内を移動する際に利用するものである。 The environment map 108 is to be used when the robot 102 moves in the environment. ロボット102 は、後述するように、この環境マップ108 をサーバ101 から取得して移動経路計画を立てる。 Robot 102, as described below, make a movement path plan to acquire the environment map 108 from the server 101.

また、上記環境マップ管理手段107 は、制御手段110 から環境マップ108 に問い合わせがあった場合に、その問い合わせの内容に応じて必要な情報を制御手段110 に送ることも行う。 Moreover, the environment map managing unit 107, when the control unit 110 an inquiry in the environment map 108, also performs sending necessary information to the control unit 110 according to the content of the inquiry.

環境マップ108 は、例えば環境の実状況が、図8(a)に示される場合に、その実状況を立体モデルで簡略化したもの(図8(b))を環境マップ108 としてもよい。 Environment map 108, for example, the actual status of the environment, in the case shown in FIG. 8 (a), it may be obtained by simplified the actual availability stereoscopic model (Fig. 8 (b)) as an environment map 108. また、図8(c)に示すように、さらに平面モデルで簡略化したものを環境マップ108 としてもよい。 Further, as shown in FIG. 8 (c), it may be used as an environment map 108 which further simplified the plane model. さらに、図8(a)に示される環境の実状況をそのまま立体モデル化したものを、環境マップ108 としてもよい。 Furthermore, as it is obtained by three-dimensional modeling real situation of the environment shown in FIG. 8 (a), or as an environment map 108. すなわち環境マップ108 は、そのマップの用途や、そのマップ作成にかけることのできる時間(手間)に応じて作成すればよい。 That environment map 108, the application and the map may be created according to the time (time), which can be subjected to the map creation. 例えば、立体モデルからなる環境マップを極めて短時間で作成する必要があるときは、環境内に存在する立体物を、その立体物を覆う最小の直方体でモデル化すればよい。 For example, when there is a need to create an extremely short time environment map consisting of three-dimensional model, a three-dimensional object present in the environment may be modeled with a minimum rectangular parallelepiped which covers the three-dimensional object. 図8(b)に示す環境マップ108 はその例であり、テーブル及び本棚をそれぞれ直方体でモデル化し、ゴミ箱を略円柱でモデル化している。 Environment map 108 shown in FIG. 8 (b) is an example, modeled by rectangular tables and bookshelves each models the trash substantially cylindrical. 平面モデルからなる環境マップも同様であり、図8(c)に示す作業マップ108 では、テーブル及び本棚を平面に正射影した矩形領域(斜線を付した領域)でそれぞれモデル化し、ゴミ箱を円領域(斜線を付した領域)でモデル化している。 Environment map consisting of planar model is also similar, the task map 108 shown in FIG. 8 (c), respectively model the table and bookshelves plane orthogonally projecting rectangular area (the hatched regions), circles the trash area It is modeled with (the hatched regions). また、この平面モデルからなるマップ108 では、上記2つの矩形領域及び円領域をロボット102 が移動不可能な領域に設定する。 Also, the map 108 consists of the plane model, the two rectangular regions and a circular region robot 102 is set to immovable areas.

(画像管理データベース・画像管理手段) (Image management database image management means)
画像管理データベース106 は、センシング手段120 を構成するカメラが、環境内を撮像した画像データを蓄積して管理するデータベースである。 Image management database 106, a camera constituting the sensing means 120 is a database that manages and stores image data obtained by imaging the environment. この画像管理DB106 は、図9に示すように構成されていて、画像データ71、認識結果データ72の2種類のデータをそれぞれ蓄積するサブデータベースからなる。 The image management DB106 is be configured as shown in FIG. 9, the image data 71, consisting of two types of data of the recognition result data 72 from the sub-database for storing respectively. 各サブデータベースに蓄積されるデータ内容は以下の通りである。 Data contents accumulated in each sub-database is as follows.

1)画像データ71:カメラが環境内を撮像した画像が、時刻を管理するタイムコードと対応付けられて蓄積される。 1) the image data 71: camera image is captured with the environment, is accumulated in association with the time code manages time. この画像データ71には、カメラが撮像した全ての時刻の画像を保存する必要はなく、例えば、一定時間毎に画像を保存する、イベントの発生時にのみ画像を保存する、特定の時刻は画像を保存しない、等の保存条件を適宜設定することによって必要な時間帯の画像のみを保存すればよい。 The image data 71, the camera is not necessary to store images of all the time captured, for example, to store the image at predetermined time intervals, stores the image only when an event occurs, a specific time image do not save may be stored only images for the necessary time period by setting the storage conditions and the like as appropriate. 画像の保存条件は、画像管理手段104 が設定する。 Storage conditions of the image, the image managing means 104 sets. また、画像データ71に蓄積した画像は、所定の条件に従って削除される。 Also, images stored in the image data 71 is deleted in accordance with a predetermined condition. 削除条件は、保存後一定時間が経過したときに削除する、特定のイベントに関連する画像を削除する、等と設定すればよい。 Deletion condition is deleted when a predetermined time after the storage has elapsed, deleting the images associated with a particular event, it may be set and so on. 画像の削除条件も、画像管理手段104 が設定する。 Deletion condition of the image is also an image managing means 104 sets. また、この画像データ71は、本システムに含まれるカメラ毎に、画像が保存しており画像管理手段104 は、画像を保存するカメラと、画像を保存しないカメラとをそれぞれ設定する。 The image data 71, for each camera included in the system, the image has been saved image management unit 104 sets the camera for storing images, and a camera that does not store the image, respectively. 画像データ71には各カメラが撮像する範囲の情報が保存されていて(図例では、カメラ1が寝室、カメラ2がリビングを撮像する)、画像管理手段104 は、その情報に基づいて、画像データ71に画像を保存するカメラと保存しないカメラとをそれぞれ設定する。 The image data 71 is stored the information of the range each camera imaging (in the illustrated example, the camera 1 bedroom, camera 2 captures living), image management unit 104, based on the information, the image respectively set and a camera that does not store the camera for storing the image data 71.

2)認識結果データ72:画像データ71に保存されている画像から得られる情報を認識した結果が保存される。 2) recognition data 72: the result of recognizing the information obtained from images stored in the image data 71 is stored. この認識結果データ72は、タイムコード毎でかつカメラ毎に認識結果を保存する。 The recognition result data 72 stores the recognition result for each a and each camera time code. 認識結果は、認識レベル(情報レベル)毎に保存される。 Recognition result is stored in each recognition level (information level). この認識レベルとは、画像に含まれる情報のレベルに対応して環境内の状況及びその環境内を撮像した画像に含まれる移動体及び/又は物品についての情報を認識した結果を意味する。 The recognition level is meant the result of recognizing the information about the mobile and / or articles contained in the status and image of the captured its environment in the environment in response to the level of information included in the image. 情報レベルとしては、例えば、1)環境内に移動体又は物品が存在するか否かの情報、2)画像データに含まれる移動体又は物品の、画像中における位置及び実空間における位置の情報、3)画像データに含まれる移動体又は物品の属性の情報、4)移動体又は物品の姿勢の情報、5)画像において物品及び移動体が占める領域を囲む矩形領域の情報、6)画像における物品及び移動体の輪郭の情報、7)画像における移動体の顔の領域の情報、8)移動体が移動したときの、その移動経路の情報、9)移動体の視線方向の情報、10)移動体が所持している物品の情報、11)画像において移動速度が最も速い領域の情報、12)画像においてサイズが最も大きい領域の情報、等を例示することができる。 The information level, for example, 1) whether the information the mobile or articles are present in the environment, 2) of the moving body or article contained in the image data, the position and information of the position in the real space in the image, 3) the attribute of the moving body or article contained in the image data information, 4) information of the posture of the moving body or article, 5) information of a rectangular region surrounding the region occupied by the article and mobile in an image, 6) article in the image and contour information of the moving object, 7) information of the area of ​​the face of the moving object in the image, 8) when the moving object moves, information on the travel route, 9) line-of-sight direction information of the movable body, 10) move information of the article body in possession, 11) the fastest area information of the moving speed in the image, 12) the largest area information of the size in the image, or the like can be exemplified. 図例では、「認識レベル1」は(移動体又は物品の)実空間での位置を認識した結果、「認識レベル2」は、検出した物体(物品及び移動体)の属性を認識した結果となっている。 In the illustrated example, "recognition level 1" is the result of recognizing the position in the real space (mobile or article), "Recognition Level 2", the result of recognizing the attributes of the detected objects (articles and mobile) going on. この認識レベルを利用して、後述するように表示制御が行われる。 Using this recognition level, the display control as described below is performed.

画像管理手段104 は、後述するように、上記の認識処理を行うと共に、その結果をDBに保存する。 Image management means 104, as will be described later, performs the recognition processing and stores the result in DB. また、この画像管理手段104 は、どのカメラが撮像した画像データに対して認識した認識結果を保存するか、の設定をしたり、その認識の際にどの情報レベルの認識を行うか、の設定をしたりする。 The image managing means 104, which the camera stores the recognition result recognized on the image data captured, or to the setting, or to recognize what information level during its recognition, setting It was or.

(制御手段) (Control means)
環境管理サーバ101 における制御手段110 はサーバ全体を制御する部分であり、主な制御内容としては以下のものがある。 Control means 110 in environmental management server 101 is a part that controls the entire server, the main control contents are as follows.

1)送受信手段109 が、サーバ内にある各種データに関する問い合わせ受信したときに、その問い合わせ内容を判断し、その判断結果に応じて物品/移動体検索・管理手段105 、環境マップ管理手段107 にデータの参照要求を出す。 Data 1) transmitting and receiving means 109, when the query received about various data in the server, to determine its inquiry, the article / mobile searching and managing means 105 according to the determination result, the environment map managing means 107 It issues a reference request.

2)上記要求に対して物品/移動体検索・管理手段105 、環境マップ管理手段107 から送られてきた結果を、送受信手段109 を介して問い合わせ元に送る。 2) the goods / mobile searching and managing means 105 with respect to the request, the results sent from the environment map management unit 107, and sends the inquiry source via the transmitting and receiving unit 109.

3)操作端末103 から送受信手段109 を介して送信されたロボット102 の作業内容メッセージを解釈し、そのロボット102 に動作を実行させるためのロボット制御コマンド列を生成して上記ロボット102 に送信する。 3) interprets the work messages robot 102 sent via the transceiver unit 109 from the operation terminal 103, and generates a robot control command sequence for executing the operation to that robot 102 sends to the robot 102. 尚、ロボット制御コマンド列については、後述する。 Note that the robot control command sequence will be described later.

4)必要に応じて、一定時間毎に、物品/移動体DB160 で管理している物品の一部又は全部の状況、環境マップ108 の状況を、送受信手段109 を通じてロボット102 やユーザ(操作端末103 )にブロードキャストする。 4) If necessary, every fixed time, the article / mobile DB160 part or all of the conditions of the article that are managed by the status of the environment map 108, the robot 102 through the transceiver unit 109 or the user (operation terminal 103 ) to broadcast.

−作業ロボットの構成− - the configuration of the working robot -
2番目のサブシステムである作業ロボット102 は、ユーザによって指定された作業命令に従って物品の取扱い作業を行うものである。 A second subsystem work robot 102 is configured to perform the handling operations of goods in accordance with the work instruction specified by the user.

図1に示すように、ロボット102 はその基本構成として、ロボット102 の近辺の障害物等を検知する障害物センサ111 、物品を把持する把持手段112 、環境マップ108 を使って移動計画を立てる移動計画作成手段113 、上記ロボット102 自体を移動させる移動手段114 、環境管理サーバ101 や操作端末103 との間で種々のデータの送受信を行う送受信手段109 、これらのセンサ111 及び各手段109 ,112 〜114をコントロールする制御手段115 とからなる。 As shown in FIG. 1, the robot 102 as its basic configuration, an obstacle sensor 111 that detects the obstacle or the like in the vicinity of the robot 102, gripping means 112 for gripping the article, with the environment map 108 make a movement plan moving planning means 113, the robot 102 moving means 114 for moving itself, transmitting and receiving means 109 for transmitting and receiving various data to and from the environmental management server 101 and the operation terminal 103, the sensors 111 and the means 109, 112 to 114 consists of the control to the control unit 115. the.

図10は、本システムにおけるロボット102 の構造の一例を示した模式図であり、このロボット102 は、移動計画作成手段113 や制御手段115 等を収容する略箱型の本体部10を備える。 Figure 10 is a schematic diagram showing an example of the structure of the robot 102 in the present system, the robot 102 includes a body portion 10 of the substantially box-accommodating movement planning unit 113, control unit 115 or the like. 以下、図10における紙面右側を前側、左側を後側、紙面奥側を左側、紙面手前側を右側と呼ぶ。 Hereinafter referred to as the right side in FIG. 10 the front, rear and left side, the depth of the page surface left, the front side and the right side.

把持手段112 は、多関節アーム12a とそのアーム12a の先端に配設されたハンド12b とから構成され、上記本体部10の上面に取り付けられる。 Gripping means 112 is composed of a multi-joint arm 12a and the hand 12b disposed at the distal end of the arm 12a, it is attached to the upper surface of the body portion 10. 上記アーム12a 及びハンド12b は、モータ制御によるアクチュエータを用いたものとしてもよいし、その他のアクチュエータ、例えば人工筋肉によるアクチュエータを用いたものでもよい。 The arm 12a and the hand 12b may be a one using an actuator by the motor control, other actuators may be for example one using an actuator according to the artificial muscle.

移動手段114 は車輪14によって構成されており、この車輪14は、上記本体部10の左右両側にそれぞれ2つ取り付けられる(図例では、左側の車輪の図示を省略する)。 Moving means 114 is constituted by a wheel 14, the wheel 14 is respectively two mounting the left and right sides of the main body portion 10 (in the illustrated example, not shown in the left wheel). ここでは、移動手段114 を車輪14で構成したが、移動手段114 の構成は、そのロボットが使用される環境に応じて最適な構成を選択すればよい。 Here, although constituting a moving means 114 with the wheel 14, the configuration of the mobile unit 114 may select the optimum configuration depending on the environment in which the robot is used. 例えば環境の床面の起伏が激しい場合は、移動手段114 をクローラ型や多足歩行型に構成することが好ましい。 For example, when undulation of the floor of the environment is severe, it is preferable to constitute the moving means 114 to the crawler-type or multi-legged walking type.

障害物センサ111 は、本システムでは、超音波センサ11a 、視覚センサとしてのステレオカメラ11b 、及び衝突センサ11c から構成される。 Obstacle sensor 111 is, in this system, ultrasonic sensor 11a, composed of the stereo camera 11b, and the collision sensor 11c as a visual sensor.

上記超音波センサ11a は、超音波を発してその反射波を受信するまでの時間を測定することにより当該センサ11a から障害物までの距離を計算するもので、近距離の障害物を、それに衝突する前に検知するためのものである。 The ultrasonic sensor 11a, by measuring the time until receiving the reflected wave by emitting an ultrasonic intended to calculate the distance from the sensor 11a to the obstacle, a short distance of the obstacle, the collision therewith it is used to detect before. この超音波センサは、本体部の各側面(前面、後面、左右側面)に、3つずつ取り付けられる。 The ultrasonic sensor, each side (front, rear, left and right side surfaces) of the main body portion, attached triplicate.

上記ステレオカメラ11b は、ロボット102 の周囲の状況を画像として入力し、その画像の認識等の処理を行うことで、障害物の有無の判断や把持対象物品のより正確な情報を得るためのものである。 The stereo camera 11b inputs the conditions surrounding the robot 102 as an image, the process of recognition of the image by performing, for the purpose of obtaining more precise information on the presence or absence of the judgment and the gripping target object obstacle it is. このステレオカメラ11b は、本体部10の前部に取り付けられる。 The stereo camera 11b is attached to the front of the main body portion 10.

上記衝突センサ11c は、ロボット102 に所定の衝撃力が加わったことを検知するセンサである。 The collision sensor 11c is a sensor for detecting that the predetermined impact force is applied to the robot 102. 例えば障害物がロボット102 に衝突してきたことや、ロボット102 自体が移動中に障害物に衝突したことを、この衝突センサ11c で検知する。 For example, the obstacle has collided with the robot 102, the robot 102 itself has collided with an obstacle during movement, detected by the collision sensor 11c. この衝突センサ11c は、本体部の前面と後面とのそれぞれに取り付けられる。 The collision sensor 11c is attached to each of the front and rear faces of the body portion.

移動計画作成手段113 は、ロボット102 に物品の移動作業やその他の作業に伴う移動が指定されたときに、そのロボット102 の現在位置から指定された位置(目的位置)までの移動経路を、環境マップ108 を使って作成するものである。 Movement plan creation means 113, when a movement with the movement operations and other operations of the article specified in the robot 102, a movement path to the position specified by the current position of the robot 102 (target position), the environment it is intended to create using the map 108. この際、現在位置から目的位置までの移動経路上に障害物があってはならないが、環境マップ108 には、上述したように、ロボットが移動不可領域(例えば図8(c)の斜線を付した領域)が設定される。 In this case, although there should be no obstacle to the movement route to the target position from the current position, in the environment map 108, as described above, with the shaded robot unmovable region (e.g. FIG. 8 (c) regions) are set. このため、この移動不可領域以外の領域で移動経路を作成すれば、障害物を回避した移動経路が作成される。 Therefore, by creating a movement path in a region other than the unmovable region, the movement path is created that avoids obstacles. 例えば図8(c)の平面モデルを用いた環境マップ108 を用いてロボットをA1地点からA2地点まで移動させる際には、ロボット102 の大きさを考慮して移動不可領域を回避するルート(図8(c)に矢線参照)が作成される。 When moving the robot from the A1 point to the point A2 by using the environment map 108 using planar model of FIG. 8 (c) for example, the root (Fig avoiding unmovable region in consideration of the size of the robot 102 see arrow line) is created in 8 (c). こうした移動経路の作成に当たっては、最も一般的な方法であるダイクストラ法を使ってもよいし、環境が複雑であれば、ダイクストラ法を改良した経路探索アルゴリズムを用いてもよい。 In preparing these movement paths may be used Dijkstra's algorithm which is the most common method, if the environment is complex, it may be used path routing algorithm with improved Dijkstra algorithm.

作業ロボット102 の制御手段115 は、主に環境管理サーバ101 から送受信手段109 を介して送られてきたロボット制御コマンド列を解釈し、そのロボット制御コマンドを順に実行するものである。 Working control unit 115 of the robot 102 is intended primarily to interpret the robot control command sequence sent through the transmitting and receiving unit 109 from the environment management server 101, and executes the robot control command sequentially.

ここで、ロボット制御コマンドとは、物品の把持や、ロボット102 自体の移動の制御を行うためのコマンドであって、本実施の形態ではロボット102 の現在位置から座標で指定された位置まで移動するコマンドである「移動」、物品IDで指定された物品を、ハンド12b によって把持するコマンドである「把持」、ハンド12b を解放するコマンドである「解放」の3種類が設定される。 Here, the robot control command, grip and the article, a command for controlling the movement of the robot 102 itself, in the present embodiment moves from the current position of the robot 102 to the position specified by the coordinates a command "move", the article specified by the article ID, a command for gripping by the hand 12b "gripping" is a command to release the hand 12b 3 kinds of "release" are set. 尚、ロボット制御コマンドはこの3種類に限らず、必要に応じて増やしてもよい。 Incidentally, the robot control command is not limited to these three types may be increased as necessary.

−操作端末の構成− - of the operation terminal configuration -
3番目のサブシステムである操作端末103 は、本システムにおけるユーザインタフェースであり、主にロボット102 に対する物品の取扱い作業を指示するためにユーザが操作する端末である。 A third sub-system operating terminal 103 is a user interface in the present system, a terminal operated by a user for mainly indicating the handling of the article with respect to the robot 102. また、この操作端末103 は、ユーザの要求に応じてカメラが撮像した画像を表示する。 Moreover, the operating terminal 103, the camera displays an image captured at the request of the user. これによりユーザは、各環境内の様子を確認することができる。 Thus the user can see how in each environment.

操作端末103 はその基本構成として、図1に示すように、ロボット102 の作業内容を指定するための操作画面、カメラが撮像した画像を表示する監視画面を表示する、例えばCRTや液晶ディスプレイからなる表示部117 、上記操作画面上での入力を行うための、例えばポインティングデバイスやキーボードからなる入力部116 、上記表示部117 に表示される監視画面を作成する表示制御手段118 、及びその表示制御のためのデータを蓄積する表示制御データベース123 、上記入力部116 にて入力されたロボット102 の作業内容等を環境管理サーバ101 に送る送受信手段109 、これらの各手段109 ,116 〜118 をコントロールする制御手段119 からなる。 Operating terminal 103 as its basic configuration, as shown in FIG. 1, the operation screen for designating the work of the robot 102, the camera displays a monitoring screen for displaying the image captured, for example, a CRT or a liquid crystal display display unit 117, for performing input on the operation screen, for example, an input unit 116 composed of a pointing device or a keyboard, the display control unit 118 to create a monitoring screen displayed on the display unit 117, and the display control display control database 123 for storing data for transmission and reception unit 109 sends a work or the like of the robot 102 that is input by the input unit 116 to the environment management server 101, each of these means 109, 116 to 118 control to control consisting of means 119.

この操作端末103 としては、例えば汎用PCを用いることも可能である。 As the operation terminal 103, for example, also possible to use a general-purpose PC. この場合、制御プログラムをPCが読み込むことによって、そのPCを操作端末103 として用いることが可能になる。 In this case, by the PC reads a control program, it is possible to use the PC as an operation terminal 103.

ユーザは、この操作端末103 を用いてロボット102 の作業内容を指定したり、後述するように、環境内の状況を確認したりする。 Users can specify the work of the robot 102 using the operation terminal 103, as described below, or to check the status of the environment. また、ユーザは、物品/移動体の管理として、この操作端末103 を用いて、物品/移動体管理DB160 に蓄積される物品や移動体の情報を入力したり、サーバ101 に対して、物品の現在位置の検索を要求したりすることも行う。 The user, as article management / mobile, using the operating terminal 103, and inputs the information of the article and moving body to be stored in the article / mobility management DB 160, the server 101, the article also carried out or to request a search of the current position. 物品の現在位置の検索結果は、サーバ101 から送られて操作端末103 の表示部117 に表示される。 Results of the current position of the article is displayed transmitted from the server 101 to the display unit 117 of the operation terminal 103.

上記表示制御DB123 には、上述したように、監視画面を作成するためのデータが保存される。 The above display control DB 123, as described above, data for creating a monitoring screen is saved. この表示制御DB123 は、図11に示すように構成されていて、状況データ81、アクセス権データ82、表示制御データ83の3種類のデータをそれぞれ蓄積するサブデータベースからなる。 The display control DB123 is be configured as shown in FIG. 11, status data 81, the access right data 82, consisting of three types of data in the display control data 83 from the sub-database for storing respectively. 各サブデータベースに蓄積されるデータ内容は以下の通りである。 Data contents accumulated in each sub-database is as follows.

1)状況データ81:画像データの加工に係る環境内の状況内容を保存していて、各状況内容は状況IDと対応付けられる。 1) status data 81: the status contents in the environment in accordance with the processing of the image data have been stored, each situation content is associated with status ID. また、状況IDに対応付けられて「説明」が設けられているが、この「説明」は状況内容を説明するものであって、省略することが可能である。 Although associated with the status ID "explanation" are provided, the "explanation" has been made to explain the situation contents, it is possible to omit.

ここで、状況内容は、移動体、移動体の動作、物品、場所(環境の属性)、時間、気候、及びこれらの組合せによって表現される。 Here, the situation content, mobile, operation of the mobile article, location (attribute of the environment), time, weather, and is represented by those combinations. 移動体としては、「父」「子供」「男性」「訪問者」「ペット」が例示され、移動体の動作としては、「就寝」「食事」「物を運搬」「タンスを覗く」「不在」、が例示され、物品としては、「布団」「缶ジュース」が例示され、場所としては、「寝室」「風呂」「食卓」「テレビの前」が例示され、時間としては、「9時〜10時」「水曜日」「休日」が例示され、気候としては、「雨」「20度以上」が例示される。 As the mobile, is exemplified the "father," "children," "man," "visitor", "pet", as the operation of the mobile, "bedtime", "meal", "carrying things," "look into the chest of drawers," "absence ", is exemplified, as the article," futon "," canned juice "is illustrated, as is the location," bedroom "," bath "," table "," front of the TV "and the like, and examples of the time," 9 o'clock 10 o'clock "," Wednesday "," holiday "and the like, and examples of the climate," rain "," more than 20 degrees "is exemplified. これらを組合せことで、図11に示すように、就寝の状況を表す状況内容として、「人;大人、場所;寝室、物品;布団」が設定される。 These By combining, as shown in FIG. 11, STATUS contents representing the sleeping status, "human; adult, place; bedroom articles; futon" is set. これらの各状況は、センシング手段120 の検出結果、物品/移動体DB160 に蓄積されている情報、画像データの認識結果、から取得される。 Each of these conditions of the detection result of the sensing means 120, information stored in the article / mobile DB 160, the image data recognition result is obtained from.

2)アクセス権データ82:本システムにアクセスするユーザ(本システムを利用するユーザ)が、アクセス権毎に分類(アクセスユーザ)されて保存される。 2) access data 82: user accessing the system (user of the present system) is stored is classified according to the access right (access user). 各アクセスユーザにはアクセスIDが付加される。 Each access user is added access ID. アクセスユーザは、個人でもよい(図例では、父、母)し、同じ属性を有する個人を含むグループとしてもよい(図例では、子供。この他にも大人、男性、女性)。 Access the user, may be of a personal (In the example shown in the figure, father, mother), and may be as a group, including individuals with the same attributes (in the illustrated example, children. In addition to adults, men, women).

3)表示制御データ83:表示IDと対応付けられて、画像の加工内容及び加工条件が保存される。 3) the display control data 83: in association with the display ID, processing contents of the image and the processing conditions are stored. 後述するように、表示制御手段118 は、加工条件が成立したときには、それに対応する加工内容に従って画像データを加工して監視画面を作成する。 As described later, the display control unit 118, when the machining condition is satisfied, by processing the image data to create a monitoring screen according to a machining content corresponding thereto.

上記加工条件には、上記状況IDとアクセスIDとが記述される。 The above processing conditions, and the status ID and the access ID are written. また、加工内容には、ユーザから要求された画像に施す加工の具体的な内容が記述される。 Further, the processing contents, specific contents of processing performed on the requested image from the user is described. 加工内容としては、例えば、1)画像における移動体の顔の領域を認識した結果を用いて、その顔の領域にモザイク処理を施す、2)移動体の属性を認識した結果と、画像における移動体の位置を認識した結果とを用いて、画像におけるユーザの家族をマスクする処理(家族以外の人が画像に含まれる処理)、3)画像において移動体が占める領域を囲む矩形領域を認識した結果とを用いて、画像に含まれる人物をアイコンに置換する処理、4)移動体が所持している物品を認識した結果を用いて、画像において人が持っている物体をマスクする処理、5)実空間における移動体の位置を認識した結果を用いて、移動体の位置を示すマップを作成する処理、6)環境内に存在する移動体の属性を認識した結果を用いて、環境内にいる移動体が The processing contents, for example, 1) by using the result of recognition of the area of ​​the face of the moving object in the image, subjected to mosaic processing in the region of the face, 2) a result of recognizing the attributes of the mobile, movement in the image by using the result obtained by recognizing the position of the body, a process for masking the user's family in the image (processing person other than the family are included in the image), 3) recognized the rectangular region surrounding the region occupied by the moving object in the image results using a process of replacing a person included in the image in the icon, 4) using the result mobile recognizes an article in possession masks the object has a human in the image processing, 5 ) using the result of recognizing the position of the moving body in real space, the process of creating a map indicating the location of the moving body, 6) using the result of recognizing the attributes of the moving objects present in the environment, in the environment mobile there are であるかの情報(テキスト情報)のみを含む画面を作成する(画面全体をマスクする)処理、等が例示される。 In a one of the information to create a screen including the (text information) only (for masking the entire screen) process, etc. are exemplified. 図例では、表示ID:0002の加工内容として、人物をアイコンで置換する処理が記述されている。 In the illustrated example, the display ID: as a processing content of the 0002 process of replacing a person with icons is described.

−情報提供処理− - information providing process -
次に、上記構成の情報提供システムにおける情報提供処理について説明する。 Next, a description will be given information providing process in the information providing system of the above configuration. この情報提供処理は、カメラ画像とそのカメラ画像の認識結果とをデータベースに蓄積する画像認識処理と、環境内の状況とアクセスユーザとに応じて加工した画像をユーザに提示する画像提示処理とを含む。 This information providing process, the image recognition processing for storing the recognition result of the camera image and its camera image in the database, and an image presentation processing for presenting an image obtained by processing according to the status and access the user's environment to the user including.

(画像認識処理) (Image recognition processing)
図12は、画像認識処理のフローチャートを示していて、先ず、ステップS1301では、全てのカメラ(センシング手段120 )が撮像した画像を入力する。 Figure 12 is shows a flowchart of the image recognition processing, first, in step S1301, all the cameras (sensing means 120) inputs the image captured. そして、ステップS1302で、画像管理手段104 は、予め設定した保存条件に従って、画像管理DB106 の画像データ71に、カメラ画像をタイムコードを付加して保存する。 Then, in step S1302, the image managing means 104, according to storage conditions set in advance, the image data 71 of the image management DB 106, stores the camera image by adding the time code. 保存条件は、上述したように、一定時間毎に画像を保存する、イベントの発生時にのみ画像を保存する、特定の時刻は画像を保存しない、等が設定され、この保存条件を満たすか否かを判定するために、上記画像管理手段104 は、必要に応じて物品/移動体DB160 に記憶されている情報を利用する。 Storage conditions, as described above, stores the image at predetermined time intervals, stores the image only when an event occurs, a specific time is not save images, etc. is set, whether the storage condition is satisfied to determine, the image management unit 104 utilizes the information stored in the article / mobile DB160 if necessary.

ステップS1303で、画像管理手段104 は、ステップS1302で保存した各画像に対する認識処理を行う。 In step S1303, the image management unit 104 performs recognition processing on the image stored in step S1302. この認識の際には、物品/移動体DB106 に記憶されている情報を適宜利用すると共に、必要に応じてセンシング手段104 によるセンシングを実行する。 During this recognition, with appropriate use of the information stored in the article / mobile DB 106, it executes sensing by sensing unit 104 as necessary.

そして、ステップS1304で、画像管理手段104 は、予め設定した認識結果を保存するカメラの条件及び認識レベルの条件に従って、認識した結果を、画像管理DB106 の認識結果データ72に、認識レベル毎に保存する。 Then, stored in step S1304, the image managing means 104, according to the conditions of the camera conditions and recognition level for storing the recognition result of the preset the result of the recognition, the recognition result data 72 of the image management DB 106, for each recognition level to. 尚、ステップS1303及びステップS1304の処理は、画像データ71に保存されている全てのカメラ画像に対しかつ、認識結果データ72に登録されている全ての認識レベルについて実行する。 Note that the processing in step S1303 and step S1304 are and for all camera image stored in the image data 71 is executed for all the recognition level registered in the recognition result data 72. こうして、画像管理DB106 には、カメラが撮像した画像データと、その画像データの認識結果とが対応付けられて蓄積される。 Thus, in the image management DB 106, and the image data by the camera is captured, the image data recognition result are stored in association with each other.

(画像提示処理) (Image presentation processing)
図13は、画像提示処理のフローチャートを示していて、先ずステップS1401で、ユーザが、操作端末103 を介してシステムに対し、カメラ画像の閲覧を要求する。 Figure 13 is shows a flowchart of image presentation process, first, in step S1401, the user, to the system via the operation terminal 103, requests the viewing of the camera image. このときユーザは、少なくとも閲覧したい環境(部屋)を指定する。 This time, the user specifies the environment (room) that you want to at least browse. また、閲覧したい移動体、移動体の動作、時刻、気候等の条件をさらに指定してもよい。 In addition, the mobile you want to view, operation of the mobile, time, may further specify the conditions of climate and the like.

続くステップS1402で、表示制御手段118 は、システムにアクセスしたユーザを識別する。 In step S1402, the display control unit 118 identifies a user who has accessed the system. これは、操作端末103 での操作に先立って、ID及びパスワードによるユーザ認証を行ってもよいし、センシング手段120 の検出結果に基づいて、操作端末103 を操作しているユーザを特定してもよい(物品/移動体DB160 には、センシング手段120 の検出結果に基づいて特定した操作端末103 を操作するユーザの情報が蓄積されている)。 This is prior to the operation from the operation terminal 103, may perform user authentication by ID and password based on the detection result of the sensing means 120, also to identify the user operating the operation terminal 103 good (the article / mobile DB 160, the user of the information to operate the operating terminal 103 specified based on the detection result of the sensing means 120 are stored).

そして、ステップS1403では、画像管理DB106 から閲覧要求に係る環境を撮像したカメラ画像を抽出すると共に、その抽出したカメラ画像に対応する環境内の状況を確認する。 In step S1403, extracts the camera image of the captured environment according to the browsing request from the image management DB 106, confirms the status of the environment corresponding to the extracted camera image. これは、画像管理DB106 に蓄積されている情報、及び物品/移動体DB160 に蓄積されている情報、また、必要に応じてセンシング手段120 によって新たに検出した情報に基づいて確認する。 This information is stored in the image management DB 106, and the article / information stored in the mobile DB 160, also confirms based on the newly detected information by the sensing means 120 as necessary.

ステップS1404で、表示制御手段118 は、上記ステップS1402 で取得したユーザ情報に基づいてアクセスIDを特定すると共に、上記ステップS1403 で確認した状況に基づいて状況内容(状況ID)を特定する。 In step S1404, the display control unit 118 is configured to identify the access ID based on the user information acquired in step S1402, identifies the status contents (situation ID) based on the status confirmed in step S1403. 具体的には、表示制御DB123 のアクセス権データ82を検索して、ステップS1402で識別したユーザ(アクセスユーザ)に対応するアクセスIDを抽出する。 Specifically, by searching the access data 82 of the display control DB 123, it extracts the corresponding access ID to the user (access user) identified in step S1402. また、表示制御DB123 の状況データ81を検索して、ステップS1403で確認した状況に対応する状況IDを抽出する。 Further, by searching the status data 81 of the display control DB 123, extracts the status ID corresponding to the confirmed availability step S1403.

こうして、アクセスID及び状況IDを抽出すれば、表示制御DB123 の表示制御データ83を参照することにより、そのアクセスIDと状況IDとの組合せに対応する表示IDを抽出する。 Thus, if extracts an access ID and status ID, by referring to the display control data 83 of the display control DB 123, it extracts the display ID corresponding to the combination of the access ID and status ID.

ステップS1405で、表示制御手段は、上記ステップS1404で抽出した表示IDに対応する加工内容に従って、認識結果を利用して画像の加工を行い、その加工した画像から構成される監視画面を表示部117 に表示させる。 In step S1405, the display control means, according to a machining contents corresponding to the display ID extracted in step S1404, the recognition result by utilizing performs processing of the image, the display unit 117 the monitoring screen composed of the processed image to be displayed on.

次に、具体例を挙げながら上記の画像認識処理及び画像提示処理について説明する。 Then, while a specific example will be described image recognition processing and image presentation process described above. 図14は、具体例に係る画像管理DB106 及び表示制御DB123 の構成を示している。 Figure 14 shows the configuration of the image management DB106 and display control DB123 according to embodiments.

先ず、上述したように、センシング手段120 を構成するカメラが撮像した画像が入力されれば、画像管理手段104 は、設定されている保存条件に従ってカメラ画像を画像管理DB106 に保存する。 First, as described above, when receiving an image camera constituting the sensing means 120 is captured, the image management unit 104 stores the camera image in the image management DB106 according storage conditions that have been set. ここでは、「1秒間隔で全カメラの画像を保存」という保存条件が設定されているものとし、これにより、カメラ1及びカメラ2のそれぞれが撮像した画像が、タイムコードと対応付けられて画像管理DB106 の画像データ71に蓄積される(図14参照)。 Here, it is assumed that storage conditions is set as "save images of all cameras in 1 second intervals" Thus, images each camera 1 and the camera 2 is imaged, associated time code image It is stored in the image data 71 of the management DB 106 (see FIG. 14). この内、カメラ2は、リビング内を撮像するカメラであり、このカメラ2の、タイムコード0000003の画像として、同図に示す画像が蓄積される。 Among these, the camera 2 is a camera for imaging the inside living, the camera 2, as an image of the time code 0000003, images shown in the figure is accumulated. 尚、タイムコード0000003は、食後の時間帯に対応するものとする。 The time code 0000003 is intended to correspond to the time zone of the meal.

また、カメラ画像の蓄積と同時に、センシング手段120 による物品及び移動体の検出結果に基づいて、カメラによって撮像された環境内における物品及び移動体の情報が、物品/移動体DB160 に蓄積される。 The storage of the camera image at the same time, based on the detection result of the article and a mobile according to the sensing means 120, information of the article and the moving body in the imaged environment by the camera is stored in the article / mobile DB 160.

画像管理手段104 は、画像データ71に蓄積されている画像について認識処理を行う。 Image management means 104 performs recognition processing on the image stored in the image data 71. ここでは、認識結果データ72に、認識レベル1「画像中における移動体の矩形領域」と認識レベル2「移動体の属性」とが設定されているため、上記画像管理手段104 はこれら認識レベル1,2に係る認識処理を行う。 Here, the recognition result data 72, recognizing the level 1 to "rectangular area of ​​the moving object in the image" and the "attribute of the mobile" recognition level 2 and is set, the image management unit 104 These recognition level 1 , performs recognition processing according to 2. 認識レベル1の「画像中における移動体の矩形領域」は、背景差分画像における差分領域に外接する矩形を算出することによって得られる。 "Rectangular area of ​​the moving object in the image" of the recognition level 1 is obtained by calculating the rectangle circumscribing the difference region in the background differential image. この外接矩形は、その矩形の対角の2点の座標「(X1,Y1)−(X2,Y2)」で表すことができる(図14参照)。 The circumscribed rectangle, the two points of coordinates of the rectangle diagonal - can be represented by "(X1, Y1) (X2, Y2)" (see FIG. 14). また、認識レベル2の「移動体の属性」は、物品/移動体DB160 に記憶されている情報によって得られる。 Further, "the attribute of a mobile" recognition level 2 is obtained by the information stored in the article / mobile DB 160. こうして、カメラ2の、タイムコード0000003の認識結果として、認識レベル1「(X1,Y1)−(X2,Y2)」が、認識レベル2「父」がそれぞれ認識結果データ72に保存される。 Thus, the camera 2, as the recognition result of the time code 0000003, recognition level 1 "(X1, Y1) - (X2, Y2)" is recognized Level 2 "father" is stored in the recognition result data 72, respectively.

この状態において、子供が「リビングの様子が知りたい」として、操作端末103 を介してシステムに対しリビング内を撮像したカメラ画像の閲覧を要求したとする。 In this state, the as children "want to know how the living room", was requested access to the camera image captured through the living to the system via the operation terminal 103.

表示制御手段118 は、物品/移動体DB160 を参照して、アクセスしたユーザの識別を行う。 Display control means 118 refers to the article / mobile DB 160, and identifies the user who has accessed. これにより、アクセスユーザが「子供」であることが特定される。 As a result, it is specified access user is a "child".

次に、表示制御手段118 は、ユーザがリビング内を撮像したカメラ画像を指定していることから、画像データ71に保存されているカメラ2の画像を抽出する。 Next, the display control unit 118, the user is extracted from the fact that specifies the camera image captured inside the living, the image of the camera 2 that is stored in the image data 71. この画像に対応するリビング内の状況を、画像管理DB106 及び物品/移動体DB160 の情報に基づいて確認する。 The situation in the living room corresponding to the image to confirm based on the information of the image management DB106 and article / mobile DB 160. 画像管理DB106 の認識結果データ72における認識レベル2には、「父」と認識されているため、リビングに父が存在している状況であることが確認される。 The recognition level 2 in the recognition result data 72 of the image management DB 106, because it is recognized as "father", it is confirmed that a situation in which there is father living. また、タイムコード0000003は、食後の時間帯に対応することから、画像データ71に保存された、タイムコード0000003の、カメラ2の画像に対応する状況は、「父」「リビング」「食後」である。 Furthermore, time code 0000003, since corresponding to the time zone of the postprandial, stored in the image data 71, the time code 0000003, conditions corresponding to the image of the camera 2, the "father", "living room", "postprandial" is there.

そして、表示制御手段118 は、識別したユーザに基づいてアクセスIDを特定する。 Then, the display control unit 118 specifies an access ID on the basis of the identified user. アクセスユーザは「子供」であるため、アクセスIDは、000003である。 Because the access user is a "child", access ID is 000003. また、画像に対応する状況に基づいて状況IDを特定する。 Furthermore, specifying a state ID based on the status corresponding to the image. タイムコード0000003の、カメラ2の画像に対応する状況は、「父」「リビング」「食後」であるため、状況IDは、0002である。 Of the time code 0000003, the situation corresponding to the camera 2 image, because it is a "father", "living", "postprandial", status ID is 0002.

こうして、アクセスIDと状況IDとをそれぞれ特定すれば、表示制御手段118 は、アクセスIDと状況IDとの組合せに対応する表示IDを、表示制御DB123 の表示制御データ83から抽出する。 Thus, if each specifying the access ID and status ID, the display control unit 118, the display ID corresponding to the combination of the access ID and status ID, extracted from the display control data 83 of the display control DB 123. ここでは、状況ID:0002、アクセスID000003であるため、表示ID:0002が抽出される。 Here, the situation ID: 0002, since the access ID000003, the display ID: 0002 is extracted.

こうして抽出した表示IDに対応する加工内容に従って、タイムコード0000003の、カメラ2の画像を加工する。 Thus according to a machining content corresponding to the extracted display ID, the processing of the time code 0000003, the image of the camera 2. ここでは、加工内容として、「人物をアイコンに置換する」ことが設定されているため、認識結果データ72における認識レベル1「画像中の矩形領域」のデータを利用して、その矩形領域にアイコンを貼り付ける処理をする。 Here, as the processing contents, for "replacing person icon" that is set by using the data of the recognition level 1 "rectangular area in the image" in the recognition result data 72, the icon in the rectangular region the paste process. こうして、図15に示す画像が作成され、これが、操作端末103 の表示部117 に表示される。 Thus, an image is created as shown in FIG. 15, which is displayed on the display unit 117 of the operation terminal 103. この画像の加工においては、認識レベル2の情報を用いて、アイコンにその人の属性(ここでは「父」)を表示してもよい。 In this processing of the image, by using the information of the recognition level 2, the person's attribute (here, "Father") icon may be displayed.

このように、本発明の情報提供システムは、所定の空間内の状況に関する情報を提供するシステムであって、上記空間内を撮像する撮像手段(センシング手段120 )と、上記撮像手段が撮像した空間内の状況を特定する特定手段(物品/移動体検索管理手段105 及び表示制御手段118 )と、上記撮像手段が撮像した画像データに含まれる移動体及び/又は物品についての情報を認識する認識手段(画像管理手段104 )と、上記空間内の状況と画像データの加工内容とを対応付けて記憶する加工内容管理データベース(表示制御データベース123 )と、上記加工内容管理データベースを参照して、上記特定手段が特定した状況に対応する加工内容に従い、上記認識手段の認識結果を用いて上記撮像手段が撮像した画像データを加工する加工手段(表示 Thus, the information providing system of the present invention is a system for providing information on the status of the predetermined space, imaging means for imaging the interior of the space (the sensing means 120), the space in which the imaging means has captured and specifying means for specifying a state of the inner (article / mobile search manager 105 and the display control unit 118), recognition means for recognizing information about the mobile and / or articles the imaging means included in the image data captured (image managing means 104), and the processing content management database in association with the processing specifics of the situation and the image data in the space (display control database 123), with reference to the processing contents management database, the specific according processing content corresponding to the means specified circumstances, processing means for processing the image data which the imaging means has captured using a recognition result of the recognition means (display 御手段118 )と、上記加工された画像データを表示する表示手段(操作端末103 )と、を備える。 Comprising a control means 118), display means for displaying the processed image data (the operation terminal 103), the.

この構成により、撮像した画像データを空間内の状況に応じて加工することによって提供する情報の内容やレベルが変更可能になる。 With this configuration, the content and the level of information provided by the processing becomes changeable in accordance with image data captured in the situation in space. それによって必要な情報を画像データに含めつつ、不要な情報は画像データから削除することができ、空間内の状況に関する情報を提供する際に、その状況に応じた柔軟な対応が実現する。 While including it with the necessary information to the image data, unnecessary information can be deleted from the image data, in providing information on the status of the space, flexibility is achieved in accordance with the situation.

また、上記情報提供システムは、ユーザ操作に応じて画像データの表示要求信号を出力する操作手段(操作端末103 )をさらに備え、加工内容管理データベースは、ユーザ情報及び空間内の状況と、画像データの加工内容とを対応付けて記憶し、加工手段は、上記表示要求信号を受けて、その表示要求信号の出力に係るユーザの情報を取得し、当該ユーザ情報と特定手段が特定した状況とに対応する加工内容に従って画像データを加工する。 Further, the information providing system further comprises, processing contents management database operation means (operation terminal 103) that outputs a display request signal of the image data in accordance with a user operation, the status of the user information and space, the image data machining content and stored in association with, the processing means receives the display request signal, obtains information of the user according to the output of the display request signal, to the situation in which the identifying means has identified with the user information processing the image data in accordance with the corresponding processing contents. これにより、画像データを閲覧するユーザと空間内の状況との組合せにおいて、そのユーザに対して適切な情報を提供することができる。 Thus, in combination with the status of the user and space for browsing image data, it is possible to provide appropriate information to the user.

上記加工内容管理データベースは、空間内の状況として、当該空間の属性と、当該空間内に存在する移動体及び/又は物品の属性との組合せを記憶する。 The processing contents management database, as the conditions in the space, and stores the attribute of the space and the combination of the attributes of the mobile and / or articles present in the space.

空間内の状況を、空間の属性と移動体及び/又は物品の属性との組合せで特定するため、より適切な情報を提供することが可能になる。 The situation in the space, to identify a combination of attributes and attribute the mobile and / or articles of space, it is possible to provide more appropriate information. 例えば、一般家庭であれば、空間の属性が浴室であるときには、画像データの加工によって浴室に存在する移動体の情報を削除し、空間の属性がリビングであるときには、画像データの加工によってリビングに存在する移動体の情報を含めることが実現する。 For example, if the general household, when the attribute of the space is full, delete the information of the moving object present in the bath by the processing of the image data, when the attribute space is living, the living by the processing of the image data realized that the inclusion of information of the movable body present.

上記情報提供システムは、空間内に存在する移動体及び/又は物品を検出するセンシング手段120 をさらに備え、特定手段は、上記センシング手段の検出結果に基づいて、空間内の状況を特定し、認識手段は、撮像手段が撮像した画像データ及び/又は上記センシング手段の検出結果に基づいて画像データに含まれる移動体及び/又は物品についての情報を認識する。 The information providing system further includes a sensing means 120 for detecting a moving object and / or articles present in the space, the specific means, based on a detection result of said sensing means to identify the status of the space, recognition means, imaging means for recognizing information about the mobile and / or articles contained in the image data based on the detection result of the image data and / or the sensing means captured.

この構成により、特定手段は、空間内の状況を的確に特定することができ、認識手段は、画像データに含まれる移動体及び/又は物品についての情報を的確に認識することができる。 By this configuration, the identifying unit may identify accurately the conditions in the space, recognition means, the mobile is included in the image data and / or information about the article can be recognized accurately.

上記認識手段は、移動体及び/又は物品についての情報を複数の情報レベル毎に認識し、加工内容管理データベースは、空間内の状況と、その状況に応じて選択された情報レベルの認識結果が加工後の画像データに含まれるよう設定された加工内容とを対応付けて記憶する。 Said recognition means, information about the mobile and / or articles recognized in each of a plurality of information levels, the processing contents management database, the situation in space, information level of the recognition result selected according to the situation in association with the set processing contents to be included in the image data after processing.

こうすることで、画像データに含める情報(情報レベル)を、よりきめ細かく変更することが可能になり、必要な情報を画像データに含めつつ、不要な情報を画像データから削除することが適切に行い得る。 In this way, the inclusion in the image data information (level), more precisely it is possible to change, while including information necessary for image data, performs unnecessary information is properly to be deleted from the image data obtain.

上記情報提供システムは、撮像手段が撮像した画像データと認識手段が認識した認識結果とを対応付けて蓄積する画像管理データベース106 をさらに備え、加工手段は、上記画像管理データベースに蓄積されている画像データを、上記画像管理データベースに蓄積されている認識結果を用いて加工する。 The information providing system further includes an image management database 106 by the imaging means for storing in association with the recognition result recognized by the image data recognition means captured, processing means is stored in the image management database images the data is processed using a recognition result stored in the image management database.

こうすることで、撮像手段が撮像した画像データは、画像管理データベースに蓄積されるため、必要に応じて加工前の画像データを閲覧することが可能になる。 Thereby, image data captured means captured is to be stored in the image management database, it is possible to view the image data before processing if needed.

(他の実施形態) (Other embodiments)
尚、上記実施の形態では、情報提供システムを、環境管理サーバ101 、ロボット102 、操作端末103 の3つのサブシステムからなり、それらサブシステム101 〜103 が無線又は有線等のネットワークを介して互いに情報をやりとりするような構成とした。 In the above embodiment, the information providing system, environmental management server 101, the robot 102 consists of three subsystems operating terminal 103, to each other information via a network such as those subsystems 101-103 are wireless or wired It was such that the exchange constitutes a. しかし、情報提供システムはこの構成に限らず、例えば操作端末103 が環境管理サーバ101 に一体となった構成でもよい。 However, the information providing system is not limited to this arrangement may be configured, for example, the operation terminal 103 are integrated environmental management server 101. つまり、入力部116 、表示部117 、表示制御手段118 及び表示制御データベース123 が、環境管理サーバ101 に含まれる構成としてもよい。 That is, the input unit 116, display unit 117, the display control unit 118 and the display control database 123 may be configured to be included in the environmental management server 101. またロボット102 は省略してもよい。 The robot 102 may be omitted.

また、上記実施の形態では、画像データとその認識結果とを画像管理データベース106 に蓄積し、表示制御手段118 は、画像管理データベース106 に蓄積されている画像データを認識結果を用いて加工しているが、画像管理データベース106 を省略して、センシング手段120 が撮像した画像データを逐次加工して、その加工した画像を表示するシステムとしてもよい。 In the above embodiment, and stores the image data and the result of recognition in the image management database 106, the display control unit 118, and processed using a recognition result image data stored in the image management database 106 it is, but omitting the image management database 106, and sequentially processing the image data sensing unit 120 is captured, or as a system for displaying the processed images.

さらに、上記実施の形態では、本システムを一般家庭に適用させたが、この他にも託児所、介護施設、病院、オフィス、ホテル及び店舗、等の様々な空間に適用することが可能であり、これらに空間の監視に利用することができる。 In addition, in the above-described embodiment, the present system was applied to the general household, Child Care in addition to this, long-term care facility, it is possible to apply hospitals, offices, hotels and shops, a variety of space etc. it can be used to monitor these spaces. また、本実施の形態では、主に移動体のプライバシー保護を目的としていたが、本システムは、例えば情報セキュリティの確保を目的とすることができる。 Further, in this embodiment, mainly but the privacy of the mobile was intended, the system, for example, the information security can be of interest. 具体的には、空間内を撮像した画像データに機密文書が含まれているときには、その画像データにおける機密文書の領域にマスク処理を施すことにより、情報漏えいを防止することができる。 More specifically, when the confidential document is included in the captured image data in the space, by performing a mask process in the region of the confidential document in the image data, it is possible to prevent the information leakage. これは、例えばオフィス等に適用することが可能である。 This can be applied to, for example, an office or the like.

以上説明したように、本発明は、画像データを、空間内の状況に応じて加工することで、提供する情報の内容やレベルを容易に変更することができ、一般家庭、託児所、介護施設、病院、オフィス、ホテル及び店舗、等の様々な空間内の状況に関する情報を提供するシステムについて有用である。 As described above, the present invention is an image data, is processed according to the condition of the space, it is possible to easily change the content or level of information provided, homes, nursery, nursing homes it is useful for a system that provides information hospitals, offices, hotels and shops, on the status of various space and the like.

本実施形態に係る情報提供システムの全体構成の一例を示すブロック図である。 Is a block diagram showing an example of the overall configuration of an information providing system according to this embodiment. ゲート型のリーダライタを環境内のドアや窓に配置した例を示す図である。 The gate of the reader-writer is a diagram showing an example in which the doors and windows in the environment. 背景差分法の原理を示す説明図である。 Is an explanatory view showing the principle of a background difference method. 物品/移動体検索・管理手段の構成を示すブロック図である。 It is a block diagram showing the configuration of the article / mobile searching and managing means. 物品データベースの構成とその記載内容例を示す図である。 Is a diagram illustrating a structure and description examples of articles database. 移動体データベースの構成とその記載内容例を示す図である。 It is a view showing a structure and description examples of the mobile database. 環境内で物品が移動する一例を説明する説明図である。 The article in the environment is an explanatory diagram for explaining an example of movement. 環境の実状況と、それに対応する環境マップとを例示する図である。 The actual situation of the environment, is a diagram illustrating an environment map corresponding thereto. 画像管理データベースの構成とその記載内容例とを示す図である。 Is a diagram showing an image management database structure and its description examples. 作業ロボットの構成の一例を示す概略図である。 It is a schematic diagram showing an example of the configuration of a working robot. 表示制御データベースの構成とその記載内容例とを示す図である。 It is a diagram showing a configuration of a display control database and its description examples. 画像認識処理のフローチャートである。 It is a flowchart of an image recognition processing. 画像提供処理のフローチャートである。 It is a flowchart of an image providing process. 具体例に係る画像管理データベース及び表示制御データベースの記載内容を示す図である。 It is a diagram illustrating a description of the image management database and display control database according to the embodiment. 加工された画像データの一例である。 It is an example of the processed image data.

符号の説明 DESCRIPTION OF SYMBOLS

101 環境管理サーバ(情報提供サーバ) 101 environmental management server (information providing server)
103 操作端末(表示手段、操作手段) 103 operating terminal (display unit, operation means)
104 画像管理手段(認識手段) 104 image management unit (recognizing means)
105 物品/移動体検索管理手段(特定手段) 105 articles / mobile search management unit (specifying means)
106 画像管理データベース 106 image management database
110 制御手段 110 controller
116 入力部 116 input section
117 表示部 117 display unit
118 表示制御手段(特定手段、加工手段) 118 display control unit (specifying means, processing means)
120 センシング手段 120 sensing means
123 表示制御データベース(加工内容管理データベース) 123 display control database (processing contents management database)
160 物品/移動体データベース 160 articles / mobile database

Claims (8)

  1. 所定の空間内の状況に関する情報を提供する情報提供システムであって、 An information providing system for providing information on the status of the predetermined space,
    上記空間内を撮像する撮像手段と、 Imaging means for imaging the inside of the space,
    上記撮像手段が撮像した空間内の状況を特定する特定手段と、 A specifying unit which the imaging means for specifying a state of the space captured,
    上記撮像手段が撮像した画像データに含まれる移動体及び/又は物品についての情報を認識する認識手段と、 Recognition means for recognizing information about the mobile and / or articles the imaging unit is included in the captured image data,
    上記空間内の状況と画像データの加工内容とを対応付けて記憶する加工内容管理データベースと、 And processing the content management database in association with the processing specifics of the situation and the image data in the space,
    上記加工内容管理データベースを参照して、上記特定手段が特定した状況に対応する加工内容に従い、上記認識手段の認識結果を用いて上記撮像手段が撮像した画像データを加工する加工手段と、 With reference to the processing contents management database, in accordance with the processing contents corresponding to the situation in which the specific means has identified, and processing means for said imaging means for processing the image data captured using the recognition result of said recognition means,
    上記加工された画像データを表示する表示手段と、を備える情報提供システム。 Information providing system and a display means for displaying the processed image data.
  2. 請求項1に記載の情報提供システムにおいて、 The information providing system according to claim 1,
    ユーザ操作に応じて画像データの表示要求信号を出力する操作手段をさらに備え、 Further comprising an operation means for outputting a display request signal of the image data in accordance with a user operation,
    加工内容管理データベースは、ユーザ情報及び空間内の状況と、画像データの加工内容とを対応付けて記憶し、 Processing content management database is stored in association with the user's situation information and space, and a processing content of the image data,
    加工手段は、上記表示要求信号を受けて、その表示要求信号の出力に係るユーザの情報を取得し、当該ユーザ情報と特定手段が特定した状況とに対応する加工内容に従って画像データを加工する情報提供システム。 Processing means receives the display request signal, obtains information of the user according to the output of the display request signal, processing the image data according to a machining content corresponding to the situation where a particular device identified with the user information information provide system.
  3. 請求項1に記載の情報提供システムにおいて、 The information providing system according to claim 1,
    加工内容管理データベースは、空間内の状況として、当該空間の属性と、当該空間内に存在する移動体及び/又は物品の属性との組合せを記憶する情報提供システム。 Processing contents management database, as the status of the space, the information providing system that stores the attributes of the space, the combination of the attributes of the mobile and / or articles present in the space.
  4. 請求項1に記載の情報提供システムにおいて、 The information providing system according to claim 1,
    空間内に存在する移動体及び/又は物品を検出するセンシング手段をさらに備え、 Further comprising a sensing means for detecting a moving object and / or articles present in the space,
    特定手段は、上記センシング手段の検出結果に基づいて、空間内の状況を特定し、 Specifying means based on a detection result of said sensing means to identify the status of the space,
    認識手段は、撮像手段が撮像した画像データ及び/又は上記センシング手段の検出結果に基づいて画像データに含まれる移動体及び/又は物品についての情報を認識する情報提供システム。 Recognition means, the image data and / or mobile and / or information providing system recognizes the information about the article contained in the image data based on a detection result of said sensing means for imaging means has captured.
  5. 請求項1に記載の情報提供システムにおいて、 The information providing system according to claim 1,
    認識手段は、移動体及び/又は物品についての情報を複数の情報レベル毎に認識し、 Recognizing means recognizes the information about the mobile and / or articles to a plurality of information levels each,
    加工内容管理データベースは、空間内の状況と、その状況に応じて選択された情報レベルの認識結果が加工後の画像データに含まれるよう設定された加工内容とを対応付けて記憶する情報提供システム。 Processing contents management database, the information providing system in association with conditions in space, and a set processing contents to information level of the recognition result selected according to the situation is included in the image data after processing .
  6. 請求項1に記載の情報提供システムにおいて、 The information providing system according to claim 1,
    撮像手段が撮像した画像データと認識手段が認識した認識結果とを対応付けて蓄積する画像管理データベースをさらに備え、 Further comprising an image management database imaging means for storing in association with the recognition result recognized by the image data recognition means captured,
    加工手段は、上記画像管理データベースに蓄積されている画像データを、上記画像管理データベースに蓄積されている認識結果を用いて加工する情報提供システム。 Processing means, the information providing system for processing the image data stored in the image management database, using the recognition result stored in the image management database.
  7. 所定の空間内の状況に関する情報を提供する情報提供サーバであって、 An information providing server for providing information on the status of the predetermined space,
    撮像手段が撮像した空間内の状況を特定する特定手段と、 Specifying means for imaging means for specifying a state of the space captured,
    上記撮像手段が撮像した画像データに含まれる移動体及び/又は物品についての情報の認識を行う認識手段と、 And recognition means for recognizing information about the mobile and / or articles the imaging unit is included in the captured image data,
    上記空間内の状況と画像データの加工内容とを対応付けて記憶する加工内容管理データベースを参照して、上記特定手段が特定した状況に対応する加工内容に従い、上記認識手段の認識結果を用いて上記撮像手段が撮像した画像データを加工する加工手段と、 Referring to machining contents management database in association with the processing specifics of the situation and the image data in the space, in accordance with the processing contents corresponding to a situation in which the specific means has identified, by using the recognition result of the recognition means and processing means for said imaging means for processing the captured image data,
    上記加工された画像データを出力する出力手段と、を備える情報提供サーバ。 The information providing server comprising output means for outputting the processed image data, a.
  8. 所定の空間内の状況に関する情報を提供する情報提供方法であって、 An information providing method for providing information on the status of the predetermined space,
    上記空間内を撮像する撮像ステップと、 An imaging step for imaging the inside the space,
    上記撮像ステップで撮像した空間内の状況を特定する特定ステップと、 A specifying step for specifying a state of the space taken by the image pickup step,
    上記撮像ステップで撮像した画像データに含まれる移動体及び/又は物品についての情報を認識する認識ステップと、 A recognition step of recognizing information about the mobile and / or articles contained in the image data captured by the imaging step,
    上記特定ステップで特定した状況に対応して設定された加工内容に従い、上記認識ステップの認識結果を用いて上記撮像ステップで撮像した画像データを加工する加工ステップと、 According processing contents set in response to the situation identified in the specific step, a processing step of processing the image data captured by the imaging step using the recognition result of the recognition step,
    上記加工ステップで加工した画像データを表示する表示ステップと、を含む情報提供方法。 Information providing method comprising: a display step of displaying the image data processed in the above processing steps, a.
JP2003287337A 2003-08-06 2003-08-06 System, server and method for providing information Pending JP2005056213A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003287337A JP2005056213A (en) 2003-08-06 2003-08-06 System, server and method for providing information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003287337A JP2005056213A (en) 2003-08-06 2003-08-06 System, server and method for providing information

Publications (2)

Publication Number Publication Date
JP2005056213A true JP2005056213A (en) 2005-03-03
JP2005056213A5 JP2005056213A5 (en) 2006-10-19

Family

ID=34366341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003287337A Pending JP2005056213A (en) 2003-08-06 2003-08-06 System, server and method for providing information

Country Status (1)

Country Link
JP (1) JP2005056213A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005277680A (en) * 2004-03-24 2005-10-06 Hitachi Ltd Video processor, its operation program, and portable terminal
JP2008097379A (en) * 2006-10-12 2008-04-24 Chugoku Electric Power Co Inc:The Crime prevention unit and image provision method
JP2008250686A (en) * 2007-03-30 2008-10-16 Matsushita Electric Ind Co Ltd Watching system and masking processing method
WO2009113265A1 (en) * 2008-03-11 2009-09-17 パナソニック株式会社 Tag sensor system and sensor device, and object position estimating device and object position estimating method
JP2010118851A (en) * 2008-11-12 2010-05-27 Toyota Motor Corp Traveling object, traveling object system, and image management method
JP2010529738A (en) * 2007-05-31 2010-08-26 イーストマン コダック カンパニー Video communication system for In-Home
JP2011515736A (en) * 2008-02-27 2011-05-19 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー How to capture the depth data of the scene, to apply the action of the computer
JP2011128816A (en) * 2009-12-16 2011-06-30 Canon Inc Image processing method and device
JP2013114315A (en) * 2011-11-25 2013-06-10 Sony Corp Image processing device, program, image processing method, and terminal
JP2018510537A (en) * 2015-01-30 2018-04-12 ノキア テクノロジーズ オサケユイチア surveillance

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005277680A (en) * 2004-03-24 2005-10-06 Hitachi Ltd Video processor, its operation program, and portable terminal
JP4509619B2 (en) * 2004-03-24 2010-07-21 株式会社日立製作所 Operation program of the image processing apparatus
JP2008097379A (en) * 2006-10-12 2008-04-24 Chugoku Electric Power Co Inc:The Crime prevention unit and image provision method
JP2008250686A (en) * 2007-03-30 2008-10-16 Matsushita Electric Ind Co Ltd Watching system and masking processing method
JP2010529738A (en) * 2007-05-31 2010-08-26 イーストマン コダック カンパニー Video communication system for In-Home
JP2011515736A (en) * 2008-02-27 2011-05-19 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー How to capture the depth data of the scene, to apply the action of the computer
WO2009113265A1 (en) * 2008-03-11 2009-09-17 パナソニック株式会社 Tag sensor system and sensor device, and object position estimating device and object position estimating method
JP5385893B2 (en) * 2008-03-11 2014-01-08 パナソニック株式会社 Location system and the sensor device
US8243136B2 (en) 2008-03-11 2012-08-14 Panasonic Corporation Tag sensor system and sensor device, and object position estimating device and object position estimating method
JP2010118851A (en) * 2008-11-12 2010-05-27 Toyota Motor Corp Traveling object, traveling object system, and image management method
JP2011128816A (en) * 2009-12-16 2011-06-30 Canon Inc Image processing method and device
JP2013114315A (en) * 2011-11-25 2013-06-10 Sony Corp Image processing device, program, image processing method, and terminal
CN103946850A (en) * 2011-11-25 2014-07-23 索尼公司 An information processing device and an information processing method
US9760265B2 (en) 2011-11-25 2017-09-12 Sony Corporation Information processing device and an information processing method
CN103946850B (en) * 2011-11-25 2018-10-23 索尼公司 The information processing apparatus and information processing method
JP2018510537A (en) * 2015-01-30 2018-04-12 ノキア テクノロジーズ オサケユイチア surveillance

Similar Documents

Publication Publication Date Title
Brooks The intelligent room project
US7671728B2 (en) Systems and methods for distributed monitoring of remote sites
CN101322091B (en) Detection of multiple targets and application project status navigation system
US9563206B2 (en) Robotic ordering and delivery system software and methods
US7206753B2 (en) Methods for facilitating a retail environment
US7248933B2 (en) Article locating and tracking system
JP5746378B2 (en) Mobile location method and apparatus for determining
US20070061041A1 (en) Mobile robot with wireless location sensing apparatus
Kulyukin et al. Robocart: Toward robot-assisted navigation of grocery stores by the visually impaired
US20050035862A1 (en) Article locating and tracking apparatus and method
JP5852706B2 (en) Mobile robotic system
US6584375B2 (en) System for a retail environment
US20160210790A1 (en) Systems and methods for presenting building information
US20090112541A1 (en) Virtual reality tools for development of infection control solutions
US20170178082A1 (en) Assignment of a motorized personal assistance apparatus
Mann Smart technology for aging, disability, and independence
CN103459099B (en) Remote robot with a movable communicate with each other
US20070283004A1 (en) Systems and methods for distributed monitoring of remote sites
US20130024025A1 (en) Autonomous Robot and A Positioning Method Thereof
US20090005650A1 (en) Method and apparatus for implementing digital video modeling to generate a patient risk assessment model
US20050259035A1 (en) User support apparatus
US20090006125A1 (en) Method and apparatus for implementing digital video modeling to generate an optimal healthcare delivery model
US9734464B2 (en) Automatically generating labor standards from video data
JP2014146348A5 (en)
US7269479B2 (en) Article transporting robot

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060714

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090804

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100105