JP5130246B2 - Autonomous mobile robot and web server - Google Patents
Autonomous mobile robot and web server Download PDFInfo
- Publication number
- JP5130246B2 JP5130246B2 JP2009086682A JP2009086682A JP5130246B2 JP 5130246 B2 JP5130246 B2 JP 5130246B2 JP 2009086682 A JP2009086682 A JP 2009086682A JP 2009086682 A JP2009086682 A JP 2009086682A JP 5130246 B2 JP5130246 B2 JP 5130246B2
- Authority
- JP
- Japan
- Prior art keywords
- tenant
- information
- coordinates
- image data
- landscape image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000013500 data storage Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Description
本発明は、商業施設サイトで使用する店舗の風景を撮影した店舗画像データの収集を行なう自律移動ロボット、および、その商業施設サイトを運営するＷｅｂサーバに関する。 The present invention relates to an autonomous mobile robot that collects store image data obtained by photographing a landscape of a store used in a commercial facility site, and a Web server that operates the commercial facility site.
従来、ショッピングセンター等の商業施設について、その情報を宣伝するために、その商業施設についてのショッピングサイトをインターネット上に設けることが行われている。 Conventionally, in order to advertise information about a commercial facility such as a shopping center, a shopping site for the commercial facility has been provided on the Internet.
このようなサイトには、対象となる商業施設について、各フロアにどのような店舗（テナント）が設けられ、各店舗ではどのような商品を販売しているか、という情報を画面を通して端末のユーザに表示している。 In such a site, information about what stores (tenants) are provided on each floor and what products are sold at each store for the target commercial facility is displayed to the terminal user through the screen. it's shown.
そのようにしてユーザに表示される情報の１つに、店舗の外観（風景）を撮影した画像（静止画、動画）がある。店舗の情報とリンクされるべき、その店舗の風景を撮影した画像データは、多数の商業施設のサイトにおいて、古い画像がいつまでも使われている場合が見受けられる。
そのため、商業施設に入っている各店舗を宣伝する目的で設けられているそのサイトが本来の役割を果たさなくなっている、という問題がある。
One of the information displayed to the user in this way is an image (still image, moving image) obtained by photographing the appearance (landscape) of the store. The image data that captures the scenery of the store, which should be linked to the store information, can be found in many commercial sites where old images are used forever.
Therefore, there is a problem that the site provided for the purpose of advertising each store in the commercial facility does not play its original role.
ショッピングセンター等の商業施設には似たような店構えのテナントが多くあり、店舗間での区別ができず、分かりにくい。また、商業施設ではレイアウト変更や模様換えが一定の頻度で行なわれており、興味ある商品を扱うテナントの場所や外観が分からなくなる。また、広告商品のイメージと、トータルな店構えのイメージが違っている場合があり、実際に店に行く前にチェックしたい、というニーズもある。店舗の風景画像を高頻度で更新し、常に最新のものにしておくことは、このような問題を解決することにつながるため、重要なことである。 There are many tenants with similar stores in commercial facilities such as shopping centers, and it is difficult to distinguish between stores. Also, in commercial facilities, layout changes and redesigns are made at a certain frequency, making it difficult to understand the location and appearance of tenants that handle products of interest. In addition, the image of the advertising product may differ from the image of the total storefront, and there is a need to check before going to the store. It is important to update the store landscape image at a high frequency and keep it up-to-date, since this will solve such problems.
商業施設のサイトにおいて、各店舗を撮影した画像データを更新するには、最新の画像を得るために、人がその店舗の場所まで出向いて撮影を行なう必要がある。さらに、その商業施設のその店舗があるフロアを示した画像データと撮影した画像データとのリンク作業なども行なう必要がある。 In order to update the image data obtained by photographing each store in a commercial facility site, it is necessary for a person to go to the store location and take a photograph in order to obtain the latest image. In addition, it is necessary to link the image data indicating the floor where the store is located in the commercial facility and the captured image data.
各店舗の画像データの更新処理はツールによりある程度は作業効率を上げることはできるが、上記したように煩雑で手間がかかる処理であり、それが、多数の商業施設のサイトにおいて、店舗の外観を示す画像データとして、古い画像がいつまでも使われている理由ではないかと考える。 The update process of image data of each store can increase the work efficiency to some extent by using a tool, but it is a complicated and time-consuming process as described above. As the image data to be shown, it is considered that the old image has been used forever.
なお、関連技術として、特許文献１では、車両により収集した町並み映像と広告情報とをリンクさせ、広告から映像、映像から広告を表示可能とした広告情報提供装置が示されている。 As a related technique, Patent Document 1 discloses an advertisement information providing device that links a streetscape video collected by a vehicle and advertisement information so that the advertisement can be displayed and the advertisement can be displayed from the video.
また、特許文献２では、ロボットが顧客の要求により陳列商品の画像データを取得することを可能とした商品販売システムが示されている。
また、特許文献３では、現在位置を確認しながら自律移動するロボットと、利用者に提供する情報を位置毎に管理する位置情報管理サーバとから構成される移動型ロボットによる情報配信システムが示されている。
Patent Document 2 discloses a product sales system that enables a robot to acquire image data of a displayed product at the request of a customer.
Patent Document 3 discloses an information distribution system using a mobile robot composed of a robot that moves autonomously while checking the current position, and a position information management server that manages information provided to the user for each position. ing.
本発明は、以上の問題点を考慮してなされたものであり、商業施設サイトで使用する店舗の風景を撮影した店舗画像データを、手間をかけることなく更新することを可能とした自律移動ロボットおよびＷｅｂサーバを提供することを目的とする。 The present invention has been made in consideration of the above-described problems, and is an autonomous mobile robot that can update store image data obtained by shooting a landscape of a store used on a commercial facility site without taking time and effort. And it aims at providing a Web server.
提案する自律移動ロボットは、商業施設内の所定のフロアを、テナント風景を撮影しながら巡回移動する。この自律移動ロボットは、フロア地図情報記憶部と、撮影部と、テナント風景画像データ記憶部と、特徴点座標計測部と、テナント領域情報生成部と、送信部と、を有する。 The proposed autonomous mobile robot moves around a predetermined floor in a commercial facility while photographing a tenant landscape. This autonomous mobile robot includes a floor map information storage unit, a photographing unit, a tenant landscape image data storage unit, a feature point coordinate measurement unit, a tenant area information generation unit, and a transmission unit.
前記フロア地図情報記憶部は、前記巡回を行なう経路についての情報である巡回経路情報と、前記フロア内のテナントを識別するテナント識別ＩＤを、そのテナント領域を指定する二次元端点座標と対応付けたフロア情報と、を有するフロア地図情報を記憶する。前記撮影部は、前記巡回経路情報に基づく巡回移動中に、一定時間毎にテナント風景を撮影する。前記テナント風景画像データ記憶部は、撮影したテナント風景画像データを保存する。前記特徴点座標計測部は、保存したテナント風景画像データから、テナントとテナントの間に位置する鉛直方向に設けられた縦線上の特徴点のうちの上側端点と下側端点とを抽出し、ロボットの自己位置を基準にして、前記上側端点と下側端点の三次元座標を計測する。前記テナント領域情報生成部は、計測された三次元の上側端点と下側端点を、保存したテナント風景画像データ上の二次元画像座標と対応付けて、対応付け情報を生成し、生成した対応付け情報の組み合わせにより指定されるテナント領域と、前記保存したテナント風景画像データのＩＤとを有するテナント領域情報を生成する。前記送信部は、前記フロア情報と、前記テナント風景画像データと、前記テナント領域情報とを外部のＷｅｂサーバに送信する。 The floor map information storage unit associates the traveling route information, which is information about the route to be visited, and the tenant identification ID for identifying the tenant in the floor with the two-dimensional end point coordinates that specify the tenant area. Floor map information having floor information is stored. The imaging unit captures a tenant landscape at regular intervals during a patrol movement based on the patrol route information. The tenant landscape image data storage unit stores photographed tenant landscape image data. The feature point coordinate measurement unit extracts an upper end point and a lower end point among feature points on a vertical line provided between tenants and a vertical line located between tenants from the saved tenant landscape image data, and a robot The three-dimensional coordinates of the upper end point and the lower end point are measured on the basis of the self position. The tenant area information generation unit associates the measured three-dimensional upper end point and lower end point with the two-dimensional image coordinates on the saved tenant landscape image data, generates association information, and generates the generated association Tenant area information having a tenant area designated by a combination of information and the ID of the stored tenant landscape image data is generated. The transmission unit transmits the floor information, the tenant landscape image data, and the tenant area information to an external Web server.
提案するＷｅｂサーバは、商業施設内の所定のフロア内のテナントを識別するテナント識別ＩＤを、そのテナント領域を指定する二次元端点座標と対応付けたフロア情報と、前記テナント識別ＩＤを、広告コンテンツＩＤと対応付けたテナント・広告コンテンツ対応情報と、前記フロア内で撮影されたテナント風景画像データと、前記テナント風景画像データから抽出された、テナントとテナントの間に位置する鉛直方向に設けられた縦線上の特徴点のうちの上側端点と下側端点の三次元座標を、前記テナント風景画像データ上の二次元画像座標と対応付けて、対応付け情報を生成し、生成した対応付け情報の組み合わせにより指定されるテナント領域と、前記テナント風景画像データのＩＤとを有するテナント領域情報と、を有する記憶部、を有する。 The proposed Web server includes a floor information in which a tenant identification ID for identifying a tenant in a predetermined floor in a commercial facility is associated with a two-dimensional end point coordinate for designating the tenant area, and the tenant identification ID. Tenant / advertising content correspondence information associated with an ID, tenant landscape image data shot in the floor, and a vertical direction located between the tenant extracted from the tenant landscape image data Of the feature points on the vertical line, the three-dimensional coordinates of the upper end point and the lower end point are associated with the two-dimensional image coordinates on the tenant landscape image data to generate association information, and a combination of the generated association information And a tenant area information having tenant area designated by the tenant area image ID and the tenant landscape image data ID Having.
また、Ｗｅｂサーバは、テナント識別ＩＤ特定部と、端点座標取得部と、テナント風景画像データ取得部と、第１送信部と、検索部と、特徴点座標取得部と、テナント・広告コンテンツ特定部と、第２送信部と、を有する。 The Web server includes a tenant identification ID specifying unit, an end point coordinate acquiring unit, a tenant landscape image data acquiring unit, a first transmitting unit, a search unit, a feature point coordinate acquiring unit, a tenant / advertisement content specifying unit. And a second transmitter.
前記テナント識別ＩＤ特定部は、外部のＷｅｂクライアントから、広告コンテンツＩＤを受信したときに、前記テナント・広告コンテンツ対応情報を参照して、その受信した広告コンテンツＩＤに対応するテナント識別ＩＤを特定する。前記端点座標取得部は、前記フロア情報を参照して、特定したテナント識別ＩＤのテナントの領域を指定する端点座標を取得する。前記テナント風景画像データ取得部は、その取得した端点の少なくとも２つを、ｘ座標およびｙ座標に持つ特徴点座標の組み合わせを持つテナント領域情報を取得し、その取得したテナント領域情報のテナント風景画像データを取得する。前記第１送信部は、取得したテナント風景画像データを前記外部のＷｅｂクライアントに送信する。 The tenant identification ID specifying unit, when receiving an advertisement content ID from an external Web client, refers to the tenant / advertisement content correspondence information and specifies a tenant identification ID corresponding to the received advertisement content ID. . The end point coordinate acquisition unit refers to the floor information and acquires end point coordinates that specify a tenant area of the specified tenant identification ID. The tenant landscape image data acquisition unit acquires tenant region information having a combination of feature point coordinates having at least two of the acquired end points as x and y coordinates, and the tenant landscape image of the acquired tenant region information Get the data. The first transmission unit transmits the acquired tenant landscape image data to the external Web client.
前記検索部は、前記外部のＷｅｂクライアントの画面に表示されているテナント風景画像中の指示された位置座標を受信したときに、前記テナント風景画像に対応するテナント風景画像データを持つとともに、前記対応付け情報の組み合わせ内の画像座標の端点座標で指定される領域内部に受信した位置座標が含まれるテナント領域情報ファイルを検索する。前記特徴点座標取得部は、該当するテナント領域情報が見つかった場合、そのファイルの画像座標に対応する三次元の特徴点座標において、ｚ成分を無視することで得られる少なくとも２つの二次元の特徴点座標を取得する。前記テナント・広告コンテンツ特定部は、前記フロア情報を参照して、取得した少なくとも２つの二次元の特徴点座標を端点座標に持つテナント識別ＩＤを取得し、前記テナント・広告コンテンツ対応情報を参照して、取得したテナント識別ＩＤに対応する広告コンテンツを特定する。前記第２送信部は、特定された広告コンテンツを前記外部のＷｅｂクライアントに送信する。 The search unit has tenant landscape image data corresponding to the tenant landscape image when the designated position coordinates in the tenant landscape image displayed on the screen of the external Web client are received, and the correspondence A tenant area information file including the received position coordinates within the area specified by the end point coordinates of the image coordinates in the combination of the attached information is searched. The feature point coordinate acquisition unit, when the corresponding tenant area information is found, at least two two-dimensional features obtained by ignoring the z component in the three-dimensional feature point coordinates corresponding to the image coordinates of the file Get the point coordinates. The tenant / advertisement content specifying unit refers to the floor information, acquires a tenant identification ID having at least two acquired two-dimensional feature point coordinates as end point coordinates, and refers to the tenant / advertisement content correspondence information. Thus, the advertisement content corresponding to the acquired tenant identification ID is specified. The second transmission unit transmits the specified advertisement content to the external Web client.
提案する自律移動ロボットでは、テナント領域情報生成部により、計測された三次元の上側端点と下側端点が、撮影して得たテナント風景画像データ上の二次元画像座標と対応付けられて、対応付け情報が生成され、生成された対応付け情報の組み合わせにより指定されるテナント領域と、その撮影して得たテナント風景画像データのＩＤとを有するテナント領域情報が生成される。また、Ｗｅｂサーバもこのテナント領域情報を自律移動ロボットから受信して保存している。 In the proposed autonomous mobile robot, the tenant area information generator correlates the measured three-dimensional upper and lower endpoints with the two-dimensional image coordinates on the tenant landscape image data obtained by shooting. The attached information is generated, and tenant region information having the tenant region specified by the combination of the generated association information and the ID of the tenant landscape image data obtained by photographing the generated tenant region is generated. The Web server also receives and stores the tenant area information from the autonomous mobile robot.
経路や自己位置推定の座標情報として利用されるフロア情報を、このテナント領域情報と組み合わせることにより、テナント風景画像上の指示された位置座標から該当するテナントの広告コンテンツを特定したり（逆引き）、指示された広告コンテンツＩＤから該当するテナントが含まれるテナント風景画像を特定したり（順引き）することができる。すなわち、自律移動ロボットによる巡回移動時の撮影により、広告コンテンツとテナント風景画像との間の双方向のリンク情報を含む形でテナント風景画像が得られ、例えば商業施設サイトで使用する店舗（テナント）の風景を撮影したテナント風景画像データを、手間をかけることなく最新のものに更新することができる。 By combining floor information used as coordinate information for route and self-location estimation with this tenant area information, the advertisement content of the corresponding tenant can be specified from the indicated position coordinates on the tenant landscape image (reverse lookup) The tenant landscape image including the corresponding tenant can be specified from the instructed advertisement content ID (ordered). That is, a tenant landscape image including bidirectional link information between the advertisement content and the tenant landscape image is obtained by shooting during the traveling by the autonomous mobile robot. For example, a store (tenant) used in a commercial facility site It is possible to update the tenant landscape image data obtained by photographing the scenery to the latest without trouble.
以下図面に基づいて、実施形態について詳細を説明する。
図１は、本発明の一実施形態に係る商業施設サイト用店舗画像データの収集・更新システムを示す図である。
Hereinafter, embodiments will be described in detail based on the drawings.
FIG. 1 is a diagram showing a collection / update system for store image data for a commercial facility site according to an embodiment of the present invention.
図１に示すように、このシステムは、ショッピングセンター等の商業施設内の各フロアの予め設定された巡回経路を自律的に巡回移動して、そのフロアの店舗（テナント）の外観画像（風景画像）を撮影し、テナント風景画像データとして取り込むロボット１と、ロボット１からテナント風景画像データ等の各種データを受信し、その受信した各種データに基づいて、例えば、インターネットを通して接続されたＷｅｂクライアント（ここではパソコン３）上のＷｅｂブラウザに対し、所定の通信プロトコル（例えばＨＴＴＰ（HyperText Transfer Protocol））に基づいて、ＨＴＭＬ（HyperText Markup Language）やオブジェクト（画面データ等）等の表示用データを送信するＷｅｂサーバ２とにより構成される。 As shown in FIG. 1, this system autonomously patrols a preset patrol route on each floor in a commercial facility such as a shopping center, and an external image (landscape image) of a store (tenant) on that floor. ), And receives various data such as tenant landscape image data from the robot 1. Based on the received data, for example, a Web client (here) connected via the Internet In this case, a Web for transmitting display data such as HTML (HyperText Markup Language) and objects (screen data, etc.) to a Web browser on the personal computer 3) based on a predetermined communication protocol (for example, HTTP (HyperText Transfer Protocol)). And server 2.
続いて、ロボット１によるテナント風景画像データの収集から、収集したテナント風景画像データ等の各種データのＷｅｂサーバ２への送信までの一連の処理を図２〜図７を参照して説明する。 Next, a series of processes from collection of tenant landscape image data by the robot 1 to transmission of various data such as collected tenant landscape image data to the Web server 2 will be described with reference to FIGS.
図２は、ロボット用フロア地図ファイルの内容を示す図である。
対象とするショッピングセンター等の商業施設の該当するフロアを基準とした三次元のロボット座標系があり、このロボット座標系の高さ方向を考慮しないフロア面内の二次元座標として図２に示すロボット地図座標系がある。
FIG. 2 is a diagram showing the contents of the robot floor map file.
There is a three-dimensional robot coordinate system based on the corresponding floor of a commercial facility such as a shopping center, and the robot shown in FIG. 2 as a two-dimensional coordinate in the floor plane that does not consider the height direction of this robot coordinate system. There is a map coordinate system.
ロボット用フロア地図ファイルの実際の内容としては、巡回経路情報とフロア情報がある。
巡回経路情報としては、ロボット地図座標系におけるロボット１が巡回する巡回経路上の各位置の座標（初期位置、折れ線としての巡回経路上の進行方向を変える位置や撮影を止まって行なう位置、撮影を止まって行なう位置の場合、その撮影時のロボット１の向き）が指定されている。
The actual contents of the robot floor map file include patrol route information and floor information.
As the traveling route information, the coordinates of each position on the traveling route on which the robot 1 circulates in the robot map coordinate system (the initial position, the position for changing the traveling direction on the traveling route as a broken line, the position where photographing is stopped, and photographing are performed. In the case of the position to be stopped, the direction of the robot 1 at the time of shooting is designated.
フロア情報としては、そのフロアに入っている各テナントのテナント識別ＩＤと、そのテナント領域を地図上で指定する端点座標（テナント領域が矩形の場合、４端点）との対応付け情報が指定されている。 As floor information, correspondence information between tenant identification ID of each tenant on the floor and end point coordinates (four end points when the tenant area is rectangular) specifying the tenant area on the map is specified. Yes.
図２の例では、ロボット１の位置は、初期位置１０−１に始めに設定される。初期位置１０−１のロボット地図座標系における座標は例えば（２Ｄｘ０，２Ｄｙ０）である。なお、各成分の冒頭の“２Ｄ”はその座標が二次元であることを示している。 In the example of FIG. 2, the position of the robot 1 is initially set at the initial position 10-1. The coordinates of the initial position 10-1 in the robot map coordinate system are, for example, (2Dx0, 2Dy0). Note that “2D” at the beginning of each component indicates that the coordinates are two-dimensional.
図２の例では、ロボット１は、初期位置１０−１→位置１０−２→位置１０−３→位置１０−４→位置１０−５→位置１０−６→位置１０−７の順に巡回移動する。
また、ロボット１は、位置１０−４に達したときに停止し、テナントＡの方を向いて、テナントＡのショーウィンドウ風景などのテナント風景を正面から撮影する。
In the example of FIG. 2, the robot 1 cyclically moves in the order of the initial position 10-1 → position 10-2 → position 10-3 → position 10-4 → position 10-5 → position 10-6 → position 10-7. .
Further, the robot 1 stops when it reaches the position 10-4, faces the tenant A, and photographs the tenant scenery such as the tenant A show window scenery from the front.
巡回移動中、具体的には、ロボット１は、移動しながら一定時間毎にステレオカメラを使用して、ロボット１自身の進行方向を撮影している。例えば、図２の位置１０−３付近では、ロボット１は図３に示すような複数のテナントを含む風景画像が視野に入り、このような風景画像をステレオカメラにより撮影し、テナント風景画像データとして取り込むことになる。 Specifically, during the cyclic movement, the robot 1 photographs the traveling direction of the robot 1 using a stereo camera at regular intervals while moving. For example, in the vicinity of a position 10-3 in FIG. 2, the robot 1 enters a view of a landscape image including a plurality of tenants as shown in FIG. 3, and such a landscape image is captured by a stereo camera as tenant landscape image data. Will be captured.
図３に示したようなテナント風景画像データは、図４に示すように、ロボット１のメモリ（不図示）に、例えばファイル名“２００９０３０６ｘｘ．ｂｍｐ”を持つテナント風景画像ファイル１４として保存され、その保存されたテナント風景画像データにおいて、柱などのコントラストの強い縦線１５−１、１５−２、１６−１、１６−２などの上にある特徴点が複数抽出され、ロボット１自身のその画像撮影時の位置を基準にして、三角測量の技術を用いて、その各特徴点の三次元座標が計測される。 The tenant landscape image data as shown in FIG. 3 is stored in the memory (not shown) of the robot 1 as, for example, the tenant landscape image file 14 having the file name “2009090306xx.bmp” as shown in FIG. In the saved tenant landscape image data, a plurality of feature points on the vertical lines 15-1, 15-2, 16-1, 16-2 having strong contrast such as pillars are extracted, and the image of the robot 1 itself is extracted. Using the position at the time of shooting as a reference, the three-dimensional coordinates of each feature point are measured using a triangulation technique.
フロアの柱は、通常鉛直方向に設けられているはずであり、計測された１つの柱（縦線）上の各特徴点の高さ方向（ｚ座標）を除くｘ座標およびｙ座標はすべて一致しているはずである。 The pillars of the floor should normally be provided in the vertical direction, and the x and y coordinates except for the height direction (z coordinate) of each feature point on one measured pillar (vertical line) are all one. Should have done.
また、例えば、計測された縦線１５−１、１５−２の各特徴点のｘ座標およびｙ座標は、図２に示したロボット用フロア地図におけるテナント領域を指定する端点座標１１−１、１１−２にそれぞれ一致し、計測された縦線１６−１、１６−２の各特徴点のｘ座標およびｙ座標は、図２に示したロボット用フロア地図におけるテナント領域を指定する端点座標１２−１、１２−２にそれぞれ一致する。このようにして、ロボット１は、計測された縦線上の特徴点と、ロボット用フロア地図上のテナント領域を指定する端点座標とをマッチング（照合）して自己位置を推定し、巡回経路上を自律移動する。 Further, for example, the measured x-coordinate and y-coordinate of each feature point of the vertical lines 15-1 and 15-2 are end point coordinates 11-1 and 11 for designating a tenant area in the robot floor map shown in FIG. 2 and x coordinates and y coordinates of the measured feature points of the vertical lines 16-1 and 16-2 are end point coordinates 12- that specify the tenant area in the robot floor map shown in FIG. 1 and 12-2 respectively. In this way, the robot 1 estimates its own position by matching (matching) the measured feature points on the vertical line with the end point coordinates that specify the tenant area on the robot floor map, and moves along the patrol route. Move autonomously.
ロボット１が、移動しながら風景の撮影を行なうので、あたかも人が自分自身で図２に示した巡回経路を移動しているようなテナント風景画像が撮影・保存できる。
ロボット１は、テナント風景画像データ（図４のテナント風景画像ファイル１４）をメモリ（不図示）に保存すると、上述した処理により、縦線１５−１、１５−２、１６−１、１６−２から抽出した複数の特徴点のうちで、一番上寄りの点（上側端点）と一番下寄りの点（下側端点）とを各縦線について抽出する。そして、２つの縦線に挟まれた領域、より具体的には、その２つの縦線の４端点で指定される領域としてテナント領域が指定される。
Since the robot 1 shoots a landscape while moving, it is possible to shoot and store a tenant landscape image as if a person is moving on the patrol route shown in FIG.
When the robot 1 saves the tenant landscape image data (tenant landscape image file 14 in FIG. 4) in a memory (not shown), the vertical lines 15-1, 15-2, 16-1, 16-2 are obtained by the processing described above. Among the plurality of feature points extracted from the above, the uppermost point (upper end point) and the lowermost point (lower end point) are extracted for each vertical line. Then, a tenant area is specified as an area between two vertical lines, more specifically, an area specified by the four end points of the two vertical lines.
例えば図４において、テナントＡは、縦線１５−１と１５−２の４端点で指定される台形領域に正面からは矩形のショーウィンドウを構えている。また、テナントＣは、縦線１６−１と１６−２の４端点で指定される台形領域に正面からは矩形のショーウィンドウを構えている。 For example, in FIG. 4, tenant A has a rectangular show window from the front in a trapezoidal area designated by the four end points of vertical lines 15-1 and 15-2. The tenant C has a rectangular show window from the front in the trapezoidal area designated by the four end points of the vertical lines 16-1 and 16-2.
ロボット１は、計測された三次元の特徴点座標のうちの上側端点および下側端点と、ロボット１自身が撮影したテナント風景画像データ上の上側端点および下側端点に対応する二次元座標（以下、“画像座標”という）との対応付けを行い、この対応付け情報を図５に示すテナント領域情報ファイルに格納する。 The robot 1 has two-dimensional coordinates corresponding to the upper and lower end points of the measured three-dimensional feature point coordinates and the upper and lower end points on the tenant landscape image data photographed by the robot 1 itself (hereinafter referred to as the two-dimensional coordinate points). , “Image coordinates”), and this association information is stored in the tenant area information file shown in FIG.
図５のテナント領域情報ファイルは、図４のテナント風景画像ファイル１４に対応してそのファイル１４中に含まれるテナント毎に生成されたファイルであり、次のデータ構造を有する。
テナント風景画像ファイル名 対象テナントの第１縦線についての対応付け情報 対象テナントの第２縦線についての対応付け情報
The tenant area information file in FIG. 5 is a file generated for each tenant included in the file 14 corresponding to the tenant landscape image file 14 in FIG. 4 and has the following data structure.
Tenant landscape image file name Correlation information about the first vertical line of the target tenant Correlation information about the second vertical line of the target tenant
例えば図４に示すファイル名“２００９０３０６ｘｘ．ｂｍｐ”を持つテナント風景画像ファイル１４のテナントＡについては、上記“テナント風景画像ファイル名”は、“２００９０３０６ｘｘ．ｂｍｐ”であり、テナントＡの縦線１５−１についての対応付け情報は、図４の上側端点についての対応付け情報２２（特徴点座標（３Ｄｘ２，３Ｄｙ１，３Ｄｚ１）＋画像座標（Ｐｘ２，Ｐｙ２））と、図４の下側端点についての対応付け情報２４（特徴点座標（３Ｄｘ２，３Ｄｙ１，３Ｄｚ２）＋画像座標（Ｐｘ２，Ｐｙ４））とである。なお、各成分の冒頭の“３Ｄ”は、特徴点が三次元座標であることを示している。 For example, for the tenant A of the tenant landscape image file 14 having the file name “2009090306xx.bmp” shown in FIG. 4, the “tenant landscape image file name” is “2009090306xx.bmp”, and the vertical line 15- 1 is associated with the upper end point in FIG. 4 (feature point coordinates (3Dx2, 3Dy1, 3Dz1) + image coordinates (Px2, Py2)) and the lower end point in FIG. Additional information 24 (feature point coordinates (3Dx2, 3Dy1, 3Dz2) + image coordinates (Px2, Py4)). Note that “3D” at the beginning of each component indicates that the feature point is a three-dimensional coordinate.
また、テナントＡの縦線１５−２についての対応付け情報は、図４の上側端点についての対応付け情報２１（特徴点座標（３Ｄｘ１，３Ｄｙ１，３Ｄｚ１）＋画像座標（Ｐｘ１，Ｐｙ１）と、図４の下側端点についての対応付け情報２３（特徴点座標（３Ｄｘ１，３Ｄｙ１，３Ｄｚ２）＋画像座標（Ｐｘ１，Ｐｙ３））とである。 Further, the association information about the vertical line 15-2 of the tenant A includes the association information 21 (feature point coordinates (3Dx1, 3Dy1, 3Dz1) + image coordinates (Px1, Py1) for the upper end point in FIG. 4 corresponding to the lower end point 4 (feature point coordinates (3Dx1, 3Dy1, 3Dz2) + image coordinates (Px1, Py3)).
図２のロボット用フロア地図に示される巡回経路を位置１０−７まで自律移動して、そのフロアのテナント風景画像データの収集が完了すると、続いて、ロボット１は、ロボット用フロア地図ファイル、収集した各テナント風景画像データ、テナント風景画像データの中に写っているテナント毎のテナント領域情報ファイルを図６に示すように、Ｗｅｂサーバ２に送信する。なお、図６に示すように、Ｗｅｂサーバ２上には、すでに、各テナントで陳列されている商品を示す広告コンテンツ群２６が画面データとして作成され保存されている。 When the traveling route shown in the robot floor map of FIG. 2 autonomously moves to the position 10-7 and the collection of tenant landscape image data on that floor is completed, the robot 1 then collects the robot floor map file and the collection. Each tenant landscape image data and the tenant area information file for each tenant reflected in the tenant landscape image data are transmitted to the Web server 2 as shown in FIG. As shown in FIG. 6, on the Web server 2, an advertisement content group 26 indicating products displayed by each tenant is already created and stored as screen data.
図７は、ロボットの詳細構成を示すブロック図である。
図７に示すように、ロボット１は、ステレオカメラ３１、メモリ３２、特徴点抽出部３８、特徴点座標計測部４１、自己位置推定部４２、移動機構４３、マッチング処理部４４、データ送信部４５、を有する。
FIG. 7 is a block diagram showing a detailed configuration of the robot.
As shown in FIG. 7, the robot 1 includes a stereo camera 31, a memory 32, a feature point extraction unit 38, a feature point coordinate measurement unit 41, a self-position estimation unit 42, a moving mechanism 43, a matching processing unit 44, and a data transmission unit 45. Have.
ステレオカメラ３１は、巡回移動中に、一定時間毎にテナント風景を撮影する。
メモリ３２は、巡回を行なう経路についての情報である巡回経路情報３７と、商業施設のフロア内のテナントを識別するテナント識別ＩＤを、そのテナント領域を指定する二次元端点座標と対応付けたフロア情報３６と、を有するロボット用フロア地図情報３５、撮影して得たテナント風景画像データ３３、保存したテナント風景画像データ３３から抽出された、テナントとテナントの間に位置する鉛直方向に設けられた縦線上の特徴点のうちの上側端点と下側端点を、保存したテナント風景画像データ上の二次元画像座標と対応付けて、対応付け情報を生成し、生成した対応付け情報の組み合わせにより指定されるテナント領域と、保存したテナント風景画像データ３３の名称とを有するテナント領域情報３４、を記憶する。
The stereo camera 31 captures a tenant landscape at regular intervals during a patrol movement.
The memory 32 is the floor information in which the traveling route information 37 that is information on the route to be visited and the tenant identification ID that identifies the tenant in the floor of the commercial facility are associated with the two-dimensional end point coordinates that specify the tenant area. 36, the robot floor map information 35, the tenant landscape image data 33 obtained by photographing, and the vertical position provided between the tenant and the tenant extracted from the saved tenant landscape image data 33. Of the feature points on the line, the upper end point and the lower end point are associated with the two-dimensional image coordinates on the saved tenant landscape image data to generate association information, which is designated by a combination of the generated association information Tenant area information 34 having the tenant area and the name of the saved tenant landscape image data 33 is stored.
特徴点抽出部３８は、保存したテナント風景画像データ３３からテナントとテナントの間に位置する鉛直方向に設けられた縦線上の複数の特徴点を抽出する。
特徴点座標計測部４１は、抽出された複数の特徴点に対し、ロボットの自己位置を基準にして、三角測量の技術により、特徴点の三次元座標を計測する。
The feature point extraction unit 38 extracts a plurality of feature points on a vertical line provided in the vertical direction located between tenants from the tenant landscape image data 33 stored.
The feature point coordinate measurement unit 41 measures the three-dimensional coordinates of the feature points by the triangulation technique with respect to the extracted plurality of feature points with reference to the robot's own position.
自己位置推定部４２は、計測された縦線上の特徴点と、ロボット用フロア地図３５上のテナント領域を指定する端点座標とをマッチング（照合）して自己位置を推定し、巡回経路上を正しく自律移動するために移動機構４３に指示を出す。 The self-position estimation unit 42 estimates the self-position by matching (matching) the measured feature points on the vertical line with the end point coordinates specifying the tenant area on the robot floor map 35, and correctly corrects the route on the patrol route. An instruction is issued to the moving mechanism 43 for autonomous movement.
マッチング処理部４４は、計測された複数の三次元の特徴点のうちの上側端点と下側端点を、保存したテナント風景画像データ上の二次元画像座標と対応付けて、対応付け情報を生成し、生成した対応付け情報の組み合わせにより指定されるテナント領域と、前記保存したテナント風景画像データのＩＤとを有するテナント領域情報を生成する。
データ送信部４５は、ロボット用フロア地図情報３５と、テナント風景画像データ３３と、テナント領域情報３４とを外部のＷｅｂサーバ２に送信する。
The matching processing unit 44 generates association information by associating the upper end point and the lower end point of the measured three-dimensional feature points with the two-dimensional image coordinates on the saved tenant landscape image data. Then, tenant area information having a tenant area designated by a combination of the generated association information and an ID of the stored tenant landscape image data is generated.
The data transmission unit 45 transmits the robot floor map information 35, the tenant landscape image data 33, and the tenant area information 34 to the external Web server 2.
図８および図９は、Ｗｅｂサーバの詳細構成を示すブロック図である。
図８および図９において、ロボット用フロア地図情報５４、フロア情報５５、巡回経路情報５６、テナント風景画像データ５７、テナント領域情報５８は、図７のロボット用フロア地図情報３５、フロア情報３６、巡回経路情報３７、テナント風景画像データ３３、テナント領域情報３４に対応しており、説明を省略する。
8 and 9 are block diagrams showing the detailed configuration of the Web server.
8 and 9, the robot floor map information 54, floor information 55, patrol route information 56, tenant landscape image data 57, and tenant area information 58 are the robot floor map information 35, floor information 36, patrol of FIG. This corresponds to the route information 37, the tenant landscape image data 33, and the tenant area information 34, and a description thereof will be omitted.
図８に示すように、Ｗｅｂサーバ２は、Ｗｅｂクライアントから、広告コンテンツＩＤを受信したときに、メモリ５１内の前記テナント識別ＩＤ５３と広告コンテンツＩＤ５２との対応付け情報を参照して、その受信した広告コンテンツＩＤに対応するテナント識別ＩＤを特定する。また、Ｗｅｂサーバ２は、端点座標取得部６１と、テナント風景画像データ取得部６２とを有する。 As shown in FIG. 8, when the web server 2 receives the advertisement content ID from the web client, the web server 2 refers to the association information between the tenant identification ID 53 and the advertisement content ID 52 in the memory 51 and receives the advertisement content ID. A tenant identification ID corresponding to the advertisement content ID is specified. Further, the Web server 2 includes an end point coordinate acquisition unit 61 and a tenant landscape image data acquisition unit 62.
端点座標取得部６１は、ロボット用フロア地図情報５４のフロア情報５５を参照して、特定したテナント識別ＩＤのテナントの領域を指定する端点座標を取得する。
テナント風景画像データ取得部６２は、その取得した端点の少なくとも２つを、ｘ座標およびｙ座標に持つ特徴点座標の組み合わせを持つテナント領域情報を取得し、その取得したテナント領域情報のテナント風景画像データを取得する。
なお、取得したテナント風景画像データはＷｅｂクライアントに送信される。
また、図９に示すように、Ｗｅｂサーバ２は、特徴点座標取得部６４と、テナント識別ＩＤ・広告コンテンツＩＤ特定部６５とを有する。
The end point coordinate acquisition unit 61 refers to the floor information 55 of the robot floor map information 54 and acquires end point coordinates that specify the tenant area of the identified tenant identification ID.
The tenant landscape image data acquisition unit 62 acquires tenant region information having a combination of feature point coordinates having at least two of the acquired end points in the x coordinate and the y coordinate, and the tenant landscape image of the acquired tenant region information. Get the data.
The acquired tenant landscape image data is transmitted to the Web client.
As shown in FIG. 9, the Web server 2 includes a feature point coordinate acquisition unit 64 and a tenant identification ID / advertisement content ID specifying unit 65.
まず、Ｗｅｂクライアントの画面に表示されているテナント風景画像中の指示された位置座標と、テナント風景画像データＩＤがデータ６３として受信される。
特徴点座標取得部６４は、受信データ６３に基づいて、そのテナント風景画像に対応するテナント風景画像データを持つとともに、対応付け情報の組み合わせ内の画像座標の端点座標で指定される領域内部に受信した位置座標が含まれるテナント領域情報５８を検索する機能と、該当するテナント領域情報が見つかった場合、そのファイルの画像座標に対応する三次元の特徴点座標において、ｚ成分を無視することで得られる少なくとも２つの二次元の特徴点座標を取得する機能とを有する。
First, the instructed position coordinates in the tenant landscape image displayed on the screen of the Web client and the tenant landscape image data ID are received as data 63.
Based on the received data 63, the feature point coordinate acquisition unit 64 has tenant landscape image data corresponding to the tenant landscape image and receives it within the area specified by the end point coordinates of the image coordinates in the association information combination. This function is obtained by ignoring the z component in the three-dimensional feature point coordinates corresponding to the image coordinates of the file when the function for searching the tenant area information 58 including the position coordinates and the corresponding tenant area information are found. A function of acquiring at least two two-dimensional feature point coordinates.
テナント識別ＩＤ・広告コンテンツＩＤ特定部６５は、ロボット用フロア地図情報５４のフロア情報５５を参照して、取得した少なくとも２つの二次元の特徴点座標を端点座標に持つテナント識別ＩＤを取得し、テナント識別ＩＤ５３・広告コンテンツＩＤ５２の対応付け情報を参照して、取得したテナント識別ＩＤに対応する広告コンテンツＩＤを特定する。
なお、特定された広告コンテンツＩＤあるいは広告コンテンツＩＤの広告コンテンツはＷｅｂクライアントに送信される。
The tenant identification ID / advertisement content ID specifying unit 65 refers to the floor information 55 of the robot floor map information 54, acquires a tenant identification ID having the acquired at least two two-dimensional feature point coordinates as end point coordinates, With reference to the association information of the tenant identification ID 53 and the advertisement content ID 52, the advertisement content ID corresponding to the acquired tenant identification ID is specified.
The specified advertisement content ID or the advertisement content with the advertisement content ID is transmitted to the Web client.
図１０は、ブラウザで商業施設サイトを閲覧する際のＷｅｂクライアントとＷｅｂサーバとの間のやり取りを示すフローチャートである。
この商業施設サイトのあるフロアのあるエリア（例えば図２のテナントＡ〜Ｄの一角）に対応する画面７０には、左側に、そのエリアの各テナントが扱う商品一覧を示す広告用コンテンツ群７１が表示され、右側に、そのエリアの各テナントの風景が一望できる視点（例えば図２の位置１０−３）から撮影されたテナント風景画像７３が表示されている。
FIG. 10 is a flowchart showing an exchange between a Web client and a Web server when browsing a commercial facility site with a browser.
On the left side of the screen 70 corresponding to an area on the floor where the commercial facility site is located (for example, one corner of the tenants A to D in FIG. 2), there is an advertising content group 71 showing a list of products handled by each tenant in the area. On the right side, a tenant landscape image 73 photographed from a viewpoint (for example, position 10-3 in FIG. 2) from which the landscape of each tenant in the area can be seen is displayed.
広告用コンテンツ群７１のうちのあるテナント（ここではテナントＡ）の広告用コンテンツ７２がＷｅｂクライアント（パソコン３）のブラウザ上でマウス（不図示）でクリックされたときに、テナント風景画像７３中の対応するテナント（ここではテナントＡ）部分を強調表示して、テナント風景画像７３を更新することをここでは“順引き”という。図１０では、ステップＳ１からＳ５までの処理がこの順引きに対応する。 When an advertisement content 72 of a tenant (here, tenant A) in the advertisement content group 71 is clicked with a mouse (not shown) on the browser of the Web client (PC 3), Updating the tenant landscape image 73 by highlighting the corresponding tenant (here, tenant A) portion is referred to as “forwarding” here. In FIG. 10, the processing from step S1 to S5 corresponds to this forward lookup.
一方、テナント風景画像７３中の興味があるテナント（ここではテナントＡ）の領域７４がパソコン３のブラウザ上でマウスによりクリックされたときに、そのテナントに対応する広告コンテンツ７２を強調表示して、広告用コンテンツ群７１を更新することをここでは“逆引き”という。図１０では、ステップＳ６からＳ１０までの処理がこの逆引きに対応する。 On the other hand, when an area 74 of a tenant (in this case, tenant A) in the tenant landscape image 73 is clicked with the mouse on the browser of the personal computer 3, the advertisement content 72 corresponding to the tenant is highlighted. Here, updating the advertising content group 71 is referred to as “reverse lookup”. In FIG. 10, the process from step S6 to S10 corresponds to this reverse lookup.
始めに、順引きについて説明する。
図１０のステップＳ１で、広告用コンテンツ群７１のうちのあるテナント（ここではテナントＡ）の広告用コンテンツ７２がパソコン３のブラウザ上でマウス（不図示）によりクリックされ、そのクリックされた広告用コンテンツ７２の画面ＩＤがＷｅｂサーバ２に送信される。この画面ＩＤを受信したＷｅｂサーバ２は、ステップＳ２で、画面ＩＤとテナント識別ＩＤとを対応付けたテーブル（不図示）を参照して、その受信した画面ＩＤに対応するテナント識別ＩＤを特定する。
First, ordering will be described.
In step S1 of FIG. 10, the advertisement content 72 of a certain tenant (here, tenant A) in the advertisement content group 71 is clicked with a mouse (not shown) on the browser of the personal computer 3, and the clicked advertisement content is displayed. The screen ID of the content 72 is transmitted to the Web server 2. In step S2, the Web server 2 that has received the screen ID refers to a table (not shown) in which the screen ID and the tenant identification ID are associated with each other, and identifies the tenant identification ID corresponding to the received screen ID. .
続くステップＳ３で、Ｗｅｂサーバ２は、ロボット用フロア地図ファイルを参照して、特定したテナント識別ＩＤのテナントの領域を指定する端点座標を取得する。そして、ステップＳ４で、その取得した端点の少なくとも２つを、ｘ座標およびｙ座標に持つ特徴点座標の組み合わせを持つテナント領域情報ファイルを取得し、その取得したテナント領域情報ファイルの、テナント風景画像ファイル名の項目に示されるファイルをテナント風景画像ファイルとして取得し、ステップＳ５で、その取得したテナント風景画像ファイルを、そのテナント風景画像ファイル中の強調表示すべき領域の情報とともに、Ｗｅｂクライアント（パソコン３）に送信することで、テナント風景画像７３の更新を行なう。 In subsequent step S <b> 3, the Web server 2 refers to the robot floor map file and acquires end point coordinates that specify the tenant area of the identified tenant identification ID. In step S4, a tenant area information file having a combination of feature point coordinates having at least two of the acquired end points as x and y coordinates is acquired, and the tenant landscape image of the acquired tenant area information file is acquired. The file indicated in the item of the file name is acquired as a tenant landscape image file. In step S5, the acquired tenant landscape image file is displayed together with information on the area to be highlighted in the tenant landscape image file. The tenant landscape image 73 is updated by transmitting to 3).
続いて、逆引きについて説明する。
図１０のステップＳ６で、テナント風景画像７３中の興味があるテナント（ここではテナントＡ）の領域７４がパソコン３のブラウザ上でマウスによりクリックされると、そのクリックされた位置座標（画面上の二次元座標、上記“画像座標”に相当）が、そのテナント風景画像７３の画面ＩＤとともにＷｅｂサーバ２に送信される。この画面ＩＤと位置座標を受信したＷｅｂサーバ２は、ステップＳ７で、その画面ＩＤをテナント風景画像ファイル名として持つとともに、４つの画像座標の端点座標で指定される領域内部にクリックされた位置座標が含まれるテナント領域情報ファイルを検索する。そのようなテナント領域情報ファイルが見つからなければ、クリックした位置はクリッカブルでないものとして一連の処理を終了する。
Subsequently, reverse lookup will be described.
In step S6 of FIG. 10, when the region 74 of the tenant (tenant A in this case) in the tenant landscape image 73 is clicked with the mouse on the browser of the personal computer 3, the clicked position coordinates (on the screen) Two-dimensional coordinates (corresponding to the “image coordinates”) are transmitted to the Web server 2 together with the screen ID of the tenant landscape image 73. In step S7, the Web server 2 that has received the screen ID and the position coordinates has the screen ID as the tenant landscape image file name and the position coordinates clicked inside the area specified by the end point coordinates of the four image coordinates. Search the tenant area information file that contains. If no such tenant area information file is found, the clicked position is assumed not to be clickable, and the series of processing ends.
一方、そのようなテナント領域情報ファイルが見つかった場合、そのファイルの４つの画像座標に対応する４つの特徴点座標（三次元）において、ｚ成分を無視することで得られる２つの特徴点座標（ｘ、ｙ成分のみ、二次元）が取得される。 On the other hand, when such a tenant area information file is found, the two feature point coordinates (three-dimensional) corresponding to the four image coordinates of the file are obtained by ignoring the z component ( x and y components only, two-dimensional) are acquired.
そして、続くステップＳ８において、Ｗｅｂサーバ２は、ロボット用フロア地図ファイルを参照して、取得した２つの二次元の特徴点座標を端点座標に持つテナント識別ＩＤが取得され、ステップＳ９において、取得したテナント識別ＩＤに対応する広告コンテンツ７２を特定し、ステップＳ１０において、特定した広告コンテンツ７２を強調表示する指示をＷｅｂクライアント（パソコン３）に送信することで、広告用コンテンツ群７１の更新を行なう。 Then, in the subsequent step S8, the Web server 2 refers to the robot floor map file, acquires the tenant identification ID having the two acquired two-dimensional feature point coordinates as end point coordinates, and acquired in step S9. The advertisement content 72 corresponding to the tenant identification ID is specified, and in step S10, the advertisement content group 71 is updated by transmitting an instruction to highlight the specified advertisement content 72 to the Web client (personal computer 3).
１ 自律移動ロボット
２ Ｗｅｂサーバ
３ Ｗｅｂクライアント（パソコン）
１０−１ 初期位置
１０−２、１０−３、１０−４、１０−５、１０−６、１０−７ 位置
１１−１、１１−２、１２−１、１２−２ 端点座標
１４ テナント風景画像ファイル
１５−１、１５−２、１６−１、１６−２ 縦線
２１、２２ 上側端点についての対応付け情報
２３、２４ 下側端点についての対応付け情報
２６ 広告コンテンツ群
３１ ステレオカメラ
３２、５１ メモリ
３３、５７ テナント風景画像データ
３４、５８ テナント領域情報
３５、５４ ロボット用フロア地図情報
３６、５５ フロア情報
３７、５６ 巡回経路情報
３８ 特徴点抽出部
４１ 特徴点座標計測部
４２ 自己位置推定部
４３ 移動機構
４４ マッチング処理部
４５ データ送信部
５２ 広告コンテンツＩＤ
５３ テナント識別ＩＤ
６１ 端点座標取得部
６２ テナント風景画像データ取得部
６３ 受信データ
６４ 特徴点座標取得部
６５ テナント識別ＩＤ・広告コンテンツＩＤ特定部
７０ 画面
７１ 広告用コンテンツ群
７２ 広告用コンテンツ
７３ テナント風景画像
７４ テナント領域
1 Autonomous Mobile Robot 2 Web Server 3 Web Client (PC)
10-1 Initial position 10-2, 10-3, 10-4, 10-5, 10-6, 10-7 Position 11-1, 11-2, 12-1, 12-2 End point coordinates 14 Tenant landscape image Files 15-1, 15-2, 16-1, 16-2 Vertical lines 21, 22 Corresponding information about the upper end point 23, 24 Corresponding information about the lower end point 26 Advertising content group 31 Stereo camera 32, 51 Memory 33, 57 Tenant landscape image data 34, 58 Tenant area information 35, 54 Robot floor map information 36, 55 Floor information 37, 56 Traveling route information 38 Feature point extraction unit 41 Feature point coordinate measurement unit 42 Self-position estimation unit 43 Movement Mechanism 44 Matching processing unit 45 Data transmission unit 52 Advertising content ID
53 Tenant identification ID
61 end point coordinate acquisition unit 62 tenant landscape image data acquisition unit 63 received data 64 feature point coordinate acquisition unit 65 tenant identification ID / advertisement content ID identification unit 70 screen 71 advertising content group 72 advertising content 73 tenant landscape image 74 tenant area
Claims (3)
前記巡回を行なう経路についての情報である巡回経路情報と、前記フロア内のテナントを識別するテナント識別ＩＤを、そのテナント領域を指定する二次元端点座標と対応付けたフロア情報と、を有するフロア地図情報を記憶するフロア地図情報記憶部と、
前記巡回経路情報に基づく巡回移動中に、一定時間毎にテナント風景を撮影する撮影部と、
撮影したテナント風景画像データを保存するテナント風景画像データ記憶部と、
保存したテナント風景画像データから、テナントとテナントの間に位置する鉛直方向に設けられた縦線上の特徴点のうちの上側端点と下側端点とを抽出し、ロボットの自己位置を基準にして、前記上側端点と下側端点の三次元座標を計測する特徴点座標計測部と、
計測された三次元の上側端点と下側端点を、保存したテナント風景画像データ上の二次元画像座標と対応付けて、対応付け情報を生成し、生成した対応付け情報の組み合わせにより指定されるテナント領域と、前記保存したテナント風景画像データのＩＤとを有するテナント領域情報を生成するテナント領域情報生成部と、
前記フロア情報と、前記テナント風景画像データと、前記テナント領域情報とを外部のＷｅｂサーバに送信する送信部と、を有することを特徴とする自律移動ロボット。 In an autonomous mobile robot that moves around a predetermined floor in a commercial facility while photographing tenant scenery,
A floor map having patrol route information that is information about a route for performing the patrol, and floor information in which a tenant identification ID that identifies a tenant in the floor is associated with a two-dimensional end point coordinate that specifies the tenant area. A floor map information storage unit for storing information;
During a patrol movement based on the patrol route information, a photographing unit that photographs a tenant landscape at regular intervals;
A tenant landscape image data storage unit for storing photographed tenant landscape image data;
From the saved tenant landscape image data, the upper end point and the lower end point of the feature points on the vertical line provided between the tenant and the tenant are extracted, and based on the robot's own position, A feature point coordinate measuring unit that measures the three-dimensional coordinates of the upper end point and the lower end point;
The tenant specified by the combination of the generated association information by associating the measured three-dimensional upper and lower end points with the two-dimensional image coordinates on the saved tenant landscape image data. A tenant area information generating unit for generating tenant area information having an area and an ID of the saved tenant landscape image data;
An autonomous mobile robot comprising: a transmission unit configured to transmit the floor information, the tenant landscape image data, and the tenant area information to an external Web server.
前記テナント識別ＩＤを、広告コンテンツＩＤと対応付けたテナント・広告コンテンツ対応情報と、
前記フロア内で撮影されたテナント風景画像データと、
前記テナント風景画像データから抽出された、テナントとテナントの間に位置する鉛直方向に設けられた縦線上の特徴点のうちの上側端点と下側端点の三次元座標を、前記テナント風景画像データ上の二次元画像座標と対応付けて、対応付け情報を生成し、生成した対応付け情報の組み合わせにより指定されるテナント領域と、前記テナント風景画像データのＩＤとを有するテナント領域情報と、を有する記憶部と、
外部のＷｅｂクライアントから、広告コンテンツＩＤを受信したときに、前記テナント・広告コンテンツ対応情報を参照して、その受信した広告コンテンツＩＤに対応するテナント識別ＩＤを特定するテナント識別ＩＤ特定部と、
前記フロア情報を参照して、特定したテナント識別ＩＤのテナントの領域を指定する端点座標を取得する端点座標取得部と、
その取得した端点の少なくとも２つを、ｘ座標およびｙ座標に持つ特徴点座標の組み合わせを持つテナント領域情報を取得し、その取得したテナント領域情報のテナント風景画像データを取得するテナント風景画像データ取得部と、
取得したテナント風景画像データを前記外部のＷｅｂクライアントに送信する第１送信部と、を有することを特徴とするＷｅｂサーバ。 Floor information in which a tenant identification ID for identifying a tenant in a predetermined floor in a commercial facility is associated with a two-dimensional end point coordinate designating the tenant area;
Tenant / advertisement content correspondence information in which the tenant identification ID is associated with the advertisement content ID;
Tenant landscape image data shot on the floor;
The three-dimensional coordinates of the upper end point and the lower end point among the feature points on the vertical line provided between the tenant and the vertical line extracted from the tenant landscape image data are represented on the tenant landscape image data. Storage that includes correspondence information generated in association with the two-dimensional image coordinates of the tenant region, tenant region information that is specified by a combination of the generated correspondence information, and an ID of the tenant landscape image data And
A tenant identification ID identifying unit that identifies a tenant identification ID corresponding to the received advertisement content ID with reference to the tenant / advertisement content correspondence information when receiving an advertisement content ID from an external Web client;
With reference to the floor information, an end point coordinate acquisition unit that acquires end point coordinates specifying a tenant area of the identified tenant identification ID;
Tenant landscape image data acquisition that acquires tenant region information having a combination of feature point coordinates having x coordinates and y coordinates of at least two of the acquired end points, and acquires tenant landscape image data of the acquired tenant region information And
And a first transmission unit that transmits the acquired tenant landscape image data to the external Web client.
該当するテナント領域情報が見つかった場合、そのファイルの画像座標に対応する三次元の特徴点座標において、ｚ成分を無視することで得られる少なくとも２つの二次元の特徴点座標を取得する特徴点座標取得部と、
前記フロア情報を参照して、取得した少なくとも２つの二次元の特徴点座標を端点座標に持つテナント識別ＩＤを取得し、前記テナント・広告コンテンツ対応情報を参照して、取得したテナント識別ＩＤに対応する広告コンテンツを特定するテナント・広告コンテンツ特定部と、
特定された広告コンテンツを前記外部のＷｅｂクライアントに送信する第２送信部と、を有することを特徴とする請求項２記載のＷｅｂサーバ。 When the designated position coordinates in the tenant landscape image displayed on the screen of the external Web client are received, the tenant landscape image data corresponding to the tenant landscape image is included, and the combination information in the association information is included. A search unit for searching for a tenant area information file including the received position coordinates within the area specified by the end point coordinates of the image coordinates of
Feature point coordinates for obtaining at least two two-dimensional feature point coordinates obtained by ignoring the z component in the three-dimensional feature point coordinates corresponding to the image coordinates of the file when corresponding tenant area information is found An acquisition unit;
Referring to the floor information, acquire a tenant identification ID having at least two acquired two-dimensional feature point coordinates as endpoint coordinates, and refer to the tenant / advertisement content correspondence information to correspond to the acquired tenant identification ID A tenant / advertisement content identification unit that identifies advertisement content to be
The web server according to claim 2, further comprising: a second transmission unit that transmits the specified advertisement content to the external web client.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009086682A JP5130246B2 (en) | 2009-03-31 | 2009-03-31 | Autonomous mobile robot and web server |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009086682A JP5130246B2 (en) | 2009-03-31 | 2009-03-31 | Autonomous mobile robot and web server |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010238066A JP2010238066A (en) | 2010-10-21 |
| JP5130246B2 true JP5130246B2 (en) | 2013-01-30 |
Family
ID=43092311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009086682A Expired - Fee Related JP5130246B2 (en) | 2009-03-31 | 2009-03-31 | Autonomous mobile robot and web server |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5130246B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7163820B2 (en) | 2019-02-27 | 2022-11-01 | トヨタ自動車株式会社 | Information processing device, information processing method, and program |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9014848B2 (en) * | 2010-05-20 | 2015-04-21 | Irobot Corporation | Mobile robot system |
| CN102915686A (en) * | 2011-08-06 | 2013-02-06 | 董亮 | Mobile terminal advertisement showing method based on three-dimensional scene |
| WO2018074475A1 (en) * | 2016-10-17 | 2018-04-26 | アルボット株式会社 | Communication robot and communication system |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000099612A (en) * | 1998-09-25 | 2000-04-07 | Hitachi Ltd | Method for preparing electronic catalog and system therefor |
| JP4870546B2 (en) * | 2006-12-27 | 2012-02-08 | 株式会社岩根研究所 | CV tag video display device with layer generation / selection function |
-
2009
- 2009-03-31 JP JP2009086682A patent/JP5130246B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7163820B2 (en) | 2019-02-27 | 2022-11-01 | トヨタ自動車株式会社 | Information processing device, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010238066A (en) | 2010-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102321325B1 (en) | Method, method, and apparatus for determining pose information for augmented reality display | |
| TWI574223B (en) | Navigation system using augmented reality technology | |
| JP6180647B2 (en) | Indoor map construction apparatus and method using cloud points | |
| JP5255595B2 (en) | Terminal location specifying system and terminal location specifying method | |
| WO2018116790A1 (en) | Inconsistency detection system, mixed reality system, program, and inconsistency detection method | |
| JP2019530035A (en) | Multiple camera systems for inventory tracking | |
| WO2016017253A1 (en) | Information processing device, information processing method, and program | |
| JP2020535509A (en) | Methods, devices and systems for automatically annotating target objects in images | |
| CN108053473A (en) | A kind of processing method of interior three-dimensional modeling data | |
| WO2011118282A1 (en) | Server using world coordinate system database and terminal | |
| JP7073850B2 (en) | Input device and input method of input device | |
| JPWO2016017254A1 (en) | Information processing apparatus, information processing method, and program | |
| JP2013507677A (en) | Display method of virtual information in real environment image | |
| KR100484941B1 (en) | System for constructing and browsing geographic information using video data and method thereof | |
| JP5130246B2 (en) | Autonomous mobile robot and web server | |
| JP2007122247A (en) | Automatic landmark information production method and system | |
| JP2018106661A (en) | Inconsistency detection system, mixed reality system, program, and inconsistency detection method | |
| US11395102B2 (en) | Field cooperation system and management device | |
| JP5883723B2 (en) | 3D image display system | |
| EP2310799A1 (en) | Stereoscopic measurement system and method | |
| JP2019163172A (en) | System, information processor, information processing method, program and storage medium | |
| JP5707238B2 (en) | Image search apparatus and image search system | |
| US11604904B2 (en) | Method and system for space design | |
| WO2023179782A1 (en) | Three-dimensional scanning system, method and apparatus, and mobile computing module | |
| JP7266422B2 (en) | Gaze behavior survey system and control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110804 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121030 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121105 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5130246 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151109 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |