JP2019139516A - Movement control system and movement control method for robot - Google Patents

Movement control system and movement control method for robot Download PDF

Info

Publication number
JP2019139516A
JP2019139516A JP2018022348A JP2018022348A JP2019139516A JP 2019139516 A JP2019139516 A JP 2019139516A JP 2018022348 A JP2018022348 A JP 2018022348A JP 2018022348 A JP2018022348 A JP 2018022348A JP 2019139516 A JP2019139516 A JP 2019139516A
Authority
JP
Japan
Prior art keywords
robot
server
movement
movement control
current position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018022348A
Other languages
Japanese (ja)
Other versions
JP6402266B1 (en
Inventor
正 大槻
Tadashi Otsuki
正 大槻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
UNITY GUARD SYST KK
Original Assignee
UNITY GUARD SYST KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by UNITY GUARD SYST KK filed Critical UNITY GUARD SYST KK
Priority to JP2018022348A priority Critical patent/JP6402266B1/en
Application granted granted Critical
Publication of JP6402266B1 publication Critical patent/JP6402266B1/en
Publication of JP2019139516A publication Critical patent/JP2019139516A/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

To provide a movement control system and a movement control method capable of estimating a current position of a robot and performing movement control without installing an RFID or a marker and the like.SOLUTION: A movement control system comprises: a server 2; a robot 1 moving on a floor; and a plurality of fixed cameras 3 provided on the upper layer part of a floor ceiling, and the like. The server 2 estimates a current position of the robot 1 based on a plurality of images imaged by the plurality of fixed cameras 3. A movement instruction for moving the robot 1 to a first position different from the current position is transmitted to the robot 1 based on the estimated current position.SELECTED DRAWING: Figure 1

Description

本発明は、ロボットの現在位置を推定し、ロボットの移動制御を行う移動制御システム及び移動制御方法に関する。   The present invention relates to a movement control system and a movement control method for estimating a current position of a robot and performing movement control of the robot.

従来、ロボット等の移動装置の移動を制御する技術が知られている。ロボット等の移動装置の現在位置を確認するために、従来は、対象となる場所の床面にマーカやＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）等を設置し、それらによる情報に従い、移動装置の現在位置の確認や移動制御を行っている（例えば特許文献１）。   Conventionally, a technique for controlling movement of a moving device such as a robot is known. In order to confirm the current position of a mobile device such as a robot, conventionally, a marker, an RFID (Radio Frequency Identification System), or the like is installed on the floor surface of the target location, and the current position of the mobile device is determined according to the information from them. Confirmation and movement control are performed (for example, Patent Document 1).

特開２０１７−２０４０４３号公報JP 2017-204043 A

しかしながら、対象となる場所の床面にマーカやＲＦＩＤを設置する場合、これらを設置するために手間がかかり、また追加費用が必要でありコストがかさむ。また床面にマーカを設置する場合、経年劣化によりマーカが磨耗した際には、移動装置の現在位置を推定することが困難になるためマーカを張り替えなければならず、手間であるとともにコストがさらにかさむ。加えてマーカは、移動装置が画像認識できる態様のものでなければならず、床面の美観に影響を及ぼす可能性もある。   However, when markers and RFIDs are installed on the floor surface of the target location, it takes time to install them, and additional costs are required, increasing costs. In addition, when installing a marker on the floor, it becomes difficult to estimate the current position of the moving device when the marker is worn out due to deterioration over time. It is bulky. In addition, the marker must be in such a manner that the moving device can recognize the image, and may affect the aesthetics of the floor surface.

従って、上記のような問題点に鑑みてなされた本発明の目的は、ＲＦＩＤやマーカ等を設置しなくても、ロボットの現在位置の推定及び移動制御を行うことができる移動制御システム及び移動制御方法を提供することにある。   Therefore, an object of the present invention made in view of the above problems is to provide a movement control system and a movement control that can perform estimation and movement control of the current position of the robot without installing an RFID or a marker. It is to provide a method.

上記課題を解決するために本発明の一実施形態に係る移動制御システムは、サーバと、フロア内を移動するロボットと、前記フロアの天井等の上層部に設けられた複数の固定カメラとを備え、前記サーバは、
前記複数の固定カメラによって撮影された複数の画像に基づき、前記ロボットの現在位置を推定し、
推定した現在位置に基づき、前記ロボットを現在位置と異なる第１の位置に移動させる移動指示を前記ロボットに送信する。 In order to solve the above problems, a movement control system according to an embodiment of the present invention includes a server, a robot that moves in a floor, and a plurality of fixed cameras provided in an upper layer portion such as a ceiling of the floor. The server is
Based on a plurality of images taken by the plurality of fixed cameras, the current position of the robot is estimated,
Based on the estimated current position, a movement instruction for moving the robot to a first position different from the current position is transmitted to the robot.

また、本発明の一実施形態に係る移動制御システムは、前前記ロボットが待機状態において、前記ロボットは現在位置を基準とした所定範囲内において自律移動可能である。   Further, in the movement control system according to an embodiment of the present invention, when the previous robot is in a standby state, the robot can autonomously move within a predetermined range based on the current position.

また、本発明の一実施形態に係る移動制御システムは、前記サーバは、前記複数の固定カメラにより撮影された画像に基づき、前記ロボットを移動させるためのマップを作成する。   In the movement control system according to an embodiment of the present invention, the server creates a map for moving the robot based on images taken by the plurality of fixed cameras.

また、本発明の一実施形態に係る移動制御システムは、前記ロボットが同時に撮影された１以上の画像に写っていない場合、過去の移動指示に基づき、前記ロボットが存在する現在位置を推定する。   In addition, the movement control system according to an embodiment of the present invention estimates a current position where the robot is present based on a past movement instruction when the robot is not captured in one or more images taken at the same time.

また、本発明の一実施形態に係る移動制御システムは、前記ロボットが同時に撮影された１以上の画像に写っていない場合、前記複数の固定カメラにより同時に写る撮影範囲に前記ロボットを移動させる移動指示を送信する。   In addition, the movement control system according to an embodiment of the present invention provides a movement instruction for moving the robot to an imaging range simultaneously captured by the plurality of fixed cameras when the robot is not captured in one or more images captured simultaneously. Send.

また、本発明の一実施形態に係る移動制御システムは、前記移動指示に基づいて移動している途中に、所定イベントが生じた場合、前記ロボットを待機状態に移行させる。   In addition, the movement control system according to an embodiment of the present invention shifts the robot to a standby state when a predetermined event occurs during movement based on the movement instruction.

また、本発明の一実施形態に係る移動制御システムは、前記サーバが、前記ロボットが待機状態である場合、前記第１の位置へ移動する移動指示を送信する。   In the movement control system according to an embodiment of the present invention, the server transmits a movement instruction to move to the first position when the robot is in a standby state.

また、本発明の一実施形態に係る移動制御システムは、前記第１の位置へ移動する移動指示を所定回数送信しても前記ロボットが前記第１の位置へ移動しない場合、前記第１の位置とは異なる第２の位置へ移動する移動指示を送信する。   The movement control system according to an embodiment of the present invention may be configured such that the first position is determined when the robot does not move to the first position even if a movement instruction to move to the first position is transmitted a predetermined number of times. The movement instruction | indication which moves to the 2nd position different from is transmitted.

また、本発明の一実施形態に係る移動制御システムは、前記第１の位置へ移動する移動指示を所定回数送信しても前記ロボットが前記第１の位置へ移動しない場合、前記ロボットと前記第１の位置との間に障害物があると推定する。   The movement control system according to an embodiment of the present invention may further include the robot and the first robot when the robot does not move to the first position even if a movement instruction to move to the first position is transmitted a predetermined number of times. It is estimated that there is an obstacle between the position of 1.

また、本発明の一実施形態に係る移動制御方法は、サーバと、フロア内を移動するロボットと、前記フロアの天井等の上層部に設けられた複数の固定カメラとを備えた移動制御システムにおける移動制御方法であって、前記複数の固定カメラによって撮影された複数の画像に基づき、前記ロボットの現在位置を推定するステップと、
推定した現在位置に基づき、前記ロボットを現在位置と異なる第１の位置に移動させる移動指示を前記ロボットに送信するステップと、
を含む。 A movement control method according to an embodiment of the present invention is a movement control system including a server, a robot that moves in a floor, and a plurality of fixed cameras provided in an upper layer portion such as a ceiling of the floor. A movement control method for estimating a current position of the robot based on a plurality of images taken by the plurality of fixed cameras;
Transmitting a movement instruction to move the robot to a first position different from the current position based on the estimated current position;
including.

本発明における移動制御システム及び移動制御方法によれば、ＲＦＩＤやマーカ等を設置しなくても、ロボットの現在位置の推定及び移動制御を行うことができる。   According to the movement control system and movement control method of the present invention, it is possible to perform estimation and movement control of the current position of the robot without installing an RFID or a marker.

本発明の一実施形態に係る移動制御システムの概要図である。It is a schematic diagram of the movement control system concerning one embodiment of the present invention. 図１のロボットのブロック図である。It is a block diagram of the robot of FIG. 図１のサーバのブロック図である。It is a block diagram of the server of FIG. ロボットがフロア内に配置され、複数の固定カメラにより撮影されている様子を示す図である。It is a figure which shows a mode that the robot is arrange | positioned in a floor and is image | photographed with the some fixed camera. フロアのレイアウト及び複数の固定カメラの配置を示す平面図である。It is a top view which shows the layout of a floor and arrangement | positioning of several fixed cameras. 本発明の一実施形態に係る移動制御システムによるマップ作成の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of map creation by the movement control system which concerns on one Embodiment of this invention. 本発明の一実施形態に係る移動制御システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the movement control system which concerns on one Embodiment of this invention. 移動制御に係るサーバの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the server which concerns on movement control. 移動制御に係るロボットの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the robot which concerns on movement control.

以下、本発明の実施の形態について説明する。   Embodiments of the present invention will be described below.

（実施の形態）
図１は本発明の一実施形態に係る移動制御システム１０の概要図である。移動制御システム１０は、書店、コンビニエンスストア、ドラッグストア等の店舗や、ショッピングモール等において用いることが可能であり、以下では書店にて用いられる場合について説明する。本発明の一実施形態に係る移動制御システム１０は、ロボット１と、サーバ２と、複数の固定カメラ３とを備える。ロボット１は、フロア内を巡回し、万引き防止のための監視、追尾、及び声かけや、来店者に対する広告情報の提供等を行う。サーバ２は、例えば移動制御システム１０の運営者等が管理するサーバ装置等の情報処理装置であり、ロボット１に移動指示を送信する。複数の固定カメラ３は、書店のフロアの天井等の上層部に設けられている。複数の固定カメラ３は常時フロア内を撮影し、撮影した画像をサーバ２に送信する。ロボット１、サーバ２、及び複数の固定カメラ３は、例えばイントラネットやインターネット等のネットワークＮにより接続される。なお図１では、ロボット１を１台例示しているが、ロボット１の台数はこれに限られず、複数のロボット１が備えられてもよい。また図１では、サーバ２を５台示しているが、サーバ２の台数はこれに限られず、任意の台数のサーバ２が備えられてもよく、例えばサーバの台数は１台であってもよい。また固定カメラ３を３台例示しているが、固定カメラの台数は２台以上であれば、これに限られない。 (Embodiment)
FIG. 1 is a schematic diagram of a movement control system 10 according to an embodiment of the present invention. The movement control system 10 can be used in a store such as a bookstore, a convenience store, a drug store, a shopping mall, or the like, and a case where it is used in a bookstore will be described below. A movement control system 10 according to an embodiment of the present invention includes a robot 1, a server 2, and a plurality of fixed cameras 3. The robot 1 circulates in the floor, and performs monitoring, tracking, and calling for shoplifting prevention, and providing advertisement information to customers. The server 2 is an information processing apparatus such as a server apparatus managed by, for example, an operator of the movement control system 10 and transmits a movement instruction to the robot 1. The plurality of fixed cameras 3 are provided in an upper layer portion such as a ceiling of a bookstore floor. The plurality of fixed cameras 3 always shoots the inside of the floor and transmits the taken images to the server 2. The robot 1, the server 2, and the plurality of fixed cameras 3 are connected by a network N such as an intranet or the Internet. In FIG. 1, one robot 1 is illustrated, but the number of robots 1 is not limited to this, and a plurality of robots 1 may be provided. In FIG. 1, five servers 2 are shown. However, the number of servers 2 is not limited to this, and an arbitrary number of servers 2 may be provided. For example, the number of servers may be one. . Further, although three fixed cameras 3 are illustrated, the number is not limited to this as long as the number of fixed cameras is two or more.

本実施形態に係る移動制御システム１０の概略について説明する。本実施形態に係る移動制御システム１０は、複数の固定カメラ３を用いてフロア内のロボット１を撮影し、撮影された複数の画像に基づき、ロボットが撮影時に存在する位置（以下、現在位置という。）を推定する。サーバ２は、フロアのマップと推定した現在位置とに基づき、フロア内をロボット１が移動するための移動指示を作成し、当該移動指示をロボット１に送信する。ロボット１は、サーバ２から送信された移動指示を受信し、当該移動指示に基づきフロア内を移動する。またロボット１は、移動指示に基づきフロア内を移動しながら、例えば周囲の映像を常時撮影し、万引き防止のための監視、追尾、及び声かけや、来店者に対する広告情報の提供等の動作を行う。このようにロボット１、サーバ２、及び複数の固定カメラ３が協働して、移動制御システム１０が実現される。以下、移動制御システム１０の各構成要素について説明する。   An outline of the movement control system 10 according to the present embodiment will be described. The movement control system 10 according to the present embodiment photographs the robot 1 in the floor using a plurality of fixed cameras 3, and based on the plurality of photographed images, a position where the robot is present at the time of photographing (hereinafter referred to as a current position). .) The server 2 creates a movement instruction for the robot 1 to move within the floor based on the floor map and the estimated current position, and transmits the movement instruction to the robot 1. The robot 1 receives the movement instruction transmitted from the server 2 and moves in the floor based on the movement instruction. In addition, the robot 1 constantly moves around the floor based on the movement instruction, for example, constantly taking pictures of surroundings, and performs operations such as monitoring, tracking, and calling out for shoplifting prevention, and providing advertisement information to customers. Do. Thus, the movement control system 10 is realized by the cooperation of the robot 1, the server 2, and the plurality of fixed cameras 3. Hereinafter, each component of the movement control system 10 will be described.

（ロボット１の構成）
はじめにロボット１の構成について説明する。好適にはロボット１は、図１に図示するような人型のロボットであり、顔を含む頭部、胴体部、腕部を備える。図２に、ロボット１のブロック図を示す。ロボット１は、通信部１１と、移動手段１２と、撮影部１３と、入力部１４と、出力部１５と、記憶部１６と、制御部１７とを備える。通信部１１と、移動手段１２と、撮影部１３と、入力部１４と、出力部１５と、記憶部１６と、制御部１７とは、バス１８によりそれぞれ接続されている。 (Configuration of robot 1)
First, the configuration of the robot 1 will be described. The robot 1 is preferably a humanoid robot as shown in FIG. 1 and includes a head including a face, a torso, and an arm. FIG. 2 shows a block diagram of the robot 1. The robot 1 includes a communication unit 11, a moving unit 12, a photographing unit 13, an input unit 14, an output unit 15, a storage unit 16, and a control unit 17. The communication unit 11, the moving unit 12, the photographing unit 13, the input unit 14, the output unit 15, the storage unit 16, and the control unit 17 are connected by a bus 18.

通信部１１は、外部装置と無線又は有線によって通信し、情報の送受信を行うインターフェースである。本実施形態において通信部１１は、ネットワークＮを介して、サーバ２との間で情報を相互に送受信可能である。なお通信部１１は、サーバ２と通信する際に、ロボット１の固体認証の処理（ログイン処理等）を適宜行う。これにより複数のロボットが存在する場合、複数のロボットの中のどのロボットからのアクセスであるかをサーバ２が把握する。また正規のログインでない場合は、サーバ２へのアクセスを適切に遮断する。   The communication unit 11 is an interface that communicates with an external device wirelessly or by wire and transmits and receives information. In the present embodiment, the communication unit 11 can transmit and receive information to and from the server 2 via the network N. The communication unit 11 appropriately performs solid authentication processing (login processing or the like) of the robot 1 when communicating with the server 2. Thus, when there are a plurality of robots, the server 2 grasps from which robot among the plurality of robots the access is made. If it is not a regular login, access to the server 2 is appropriately blocked.

移動手段１２は、ロボット１本体を全方向（前後左右）に移動及び回転させるものであり、例えばオムニホイールである。オムニホイールは全方向に移動可能なタイヤであり、複数個の回転可能なローラを有している。当該ローラの回転を制御することにより、任意の方向に移動することが可能であり、また回転動作をすることも可能である。本実施の形態において、ロボット１は書店にて用いられているため、来店者等と衝突しないように、ゆっくりと移動することが好ましい。例えば移動手段１２による移動速度の最大値を２ｋｍ／ｈとする。なお移動手段１２はオムニホイールに限らず、任意の移動手段を採用することができる。   The moving means 12 moves and rotates the main body of the robot 1 in all directions (front and rear, left and right), and is, for example, an omni wheel. The omni wheel is a tire that can move in all directions, and has a plurality of rotatable rollers. By controlling the rotation of the roller, it is possible to move in any direction, and it is also possible to rotate. In the present embodiment, since the robot 1 is used at a bookstore, it is preferable to move slowly so as not to collide with a visitor or the like. For example, the maximum value of the moving speed by the moving means 12 is 2 km / h. The moving means 12 is not limited to the omni wheel, and any moving means can be adopted.

撮影部１３は、来店者等を撮影するものであり、例えば少なくとも１つの２Ｄカメラを含み、所定の画面解像度及びフレームレートにて映像を撮影する。画面解像度は例えばフルハイビジョン（１９２０×１０８０ピクセル）である。またフレームレートは例えば３０ｆｐｓである。例えば２Ｄカメラの台数は２台であり、ロボット１の顔部の異なる位置（例えば額の位置及び口元）にそれぞれ設けられる。異なる位置に２Ｄカメラを配置することで、片方の２Ｄカメラが来店者等を撮影できない場合（例えば額のすぐ前に遮蔽物が存在し、遮蔽物により撮影範囲の一部又は全部が遮られる場合）においても、もう一方の２Ｄカメラにより来店者等を撮影することができる。   The photographing unit 13 photographs a customer or the like, and includes, for example, at least one 2D camera and photographs a video with a predetermined screen resolution and frame rate. The screen resolution is, for example, full high vision (1920 × 1080 pixels). The frame rate is 30 fps, for example. For example, the number of 2D cameras is two, and they are provided at different positions (for example, the position of the forehead and the mouth) of the face of the robot 1. When 2D cameras are placed at different positions and one of the 2D cameras cannot shoot a visitor etc. (for example, there is a shielding object in front of the forehead and part or all of the shooting range is blocked by the shielding object) ), The other 2D camera can take a picture of a visitor or the like.

ロボット１は、２Ｄカメラで撮影した映像に基づき、来店者の存在を検知する。具体的には２Ｄカメラにより店内の映像を常時撮影し、撮影した映像を通信部１１によりサーバ２に送信する。なお映像は静止画でも動画であってもよい。好適には撮影部１３は、圧縮した映像をサーバ２に送信する。例えば映像の縦横を各々１／４に圧縮し、出力映像を４８０×２７０ピクセルとする。またフレームレートを１／２に圧縮し、１５ｆｐｓにする。これにより映像送信に係る通信リソース及びサーバ２の記憶容量の効率化を図ることができる。   The robot 1 detects the presence of the store visitor based on the video imaged by the 2D camera. Specifically, the in-store video is constantly taken by the 2D camera, and the taken video is transmitted to the server 2 by the communication unit 11. The video may be a still image or a moving image. Preferably, the photographing unit 13 transmits the compressed video to the server 2. For example, the vertical and horizontal directions of the video are each compressed to ¼, and the output video is 480 × 270 pixels. Also, the frame rate is compressed to ½ to 15 fps. As a result, it is possible to improve the efficiency of communication resources related to video transmission and the storage capacity of the server 2.

さらに撮影部１３により、対象物までの距離を計測可能である。例えば撮影部１３は、少なくとも１つの３Ｄカメラを含んでもよい。３Ｄカメラは、赤外視線を照射して反射光を検出することにより、対象物までの距離を取得することができる。３Ｄカメラは、所定の画面解像度（例えば３２０×２４０ピクセル）及び所定フレームレート（例えば２０ｆｐｓ）にて３Ｄの映像（距離情報を含む映像）を取得する。例えば３Ｄカメラの台数は２台であり、ロボット１の顔部の異なる位置（例えば両目の位置）にそれぞれ設けられる。異なる位置に３Ｄカメラを配置することで、片方の３Ｄカメラが来店者を撮影できない場合（例えば右目の前に遮蔽物が存在し、撮影範囲が遮蔽物により遮られる場合）においても、もう一方の３Ｄカメラ（左目の位置に設けられた３Ｄカメラ）により来店者を撮影することができる。ロボット１は、３Ｄカメラにより対象物までの距離を検知し、検知した距離に基づいて、移動手段１２により自律移動する。   Furthermore, the distance to the object can be measured by the photographing unit 13. For example, the photographing unit 13 may include at least one 3D camera. The 3D camera can acquire the distance to the object by irradiating the infrared line of sight and detecting the reflected light. The 3D camera acquires 3D video (video including distance information) at a predetermined screen resolution (for example, 320 × 240 pixels) and a predetermined frame rate (for example, 20 fps). For example, the number of 3D cameras is two, and they are provided at different positions (for example, positions of both eyes) of the face of the robot 1. By placing 3D cameras at different positions, if one 3D camera cannot capture a visitor (for example, if there is a shield in front of the right eye and the shooting range is blocked by the shield), the other Visitors can be photographed by a 3D camera (a 3D camera provided at the position of the left eye). The robot 1 detects the distance to the object using a 3D camera, and moves autonomously by the moving unit 12 based on the detected distance.

入力部１４は、音声入力及び操作入力を受け付けるデバイスである。例えば入力部１４は、来店者の会話の音声を集音する。また入力部１４は、来店者によるタッチ等の入力操作を受け付ける。例えば入力部１４は、マイクと、タッチセンサ等の入力センサとを含んで構成される。   The input unit 14 is a device that accepts voice input and operation input. For example, the input unit 14 collects the voice of the store visitor's conversation. Further, the input unit 14 receives an input operation such as a touch by a visitor. For example, the input unit 14 includes a microphone and an input sensor such as a touch sensor.

出力部１５は、音声出力及び画面、画像、映像等を表示するデバイスである。例えば出力部１５は、スピーカと、ディスプレイとを含んで構成される。ディスプレイは、例えば液晶ディスプレイ、有機ＥＬディスプレイ等である。出力部１５は、サーバ２から通信部１１を介して受信した広告情報等を出力する。広告情報は、商品ＣＭ、商品説明、告知情報等である。広告情報の対象商品は、ロボット１が配置された場所で取り扱う商品を含む。また対象商品はこれに限らず、他店舗の商品又はサービスであってもよい。例えば、ロボット１が配置された書店に隣接する、別の店舗の商品・サービスに関するものであってもよく、書店に隣接して喫茶店が併設されている場合、当該喫茶店のメニューやサービスを広告情報の対象としてもよい。このようにすることで、異なる店舗間、業種間等におけるサービスの連携を図ることもできる。   The output unit 15 is a device that displays audio output and screens, images, videos, and the like. For example, the output unit 15 includes a speaker and a display. The display is, for example, a liquid crystal display or an organic EL display. The output unit 15 outputs advertisement information received from the server 2 via the communication unit 11. The advertisement information is a product CM, product description, notification information, and the like. The target product of the advertisement information includes a product handled at a place where the robot 1 is disposed. The target product is not limited to this, and may be a product or service of another store. For example, it may be related to products / services of another store adjacent to the bookstore where the robot 1 is arranged. When a coffee shop is installed adjacent to the bookstore, the menu or service of the coffee shop is displayed as advertising information. It is good also as an object of. By doing in this way, the cooperation of the service in different stores, between industries, etc. can also be aimed at.

本実施の形態では、ロボット１の胸部にタッチパネルが備えられている。タッチパネルは、来店者の入力操作を受け付ける入力デバイスであり、かつ、多様な画面、画像、映像等を表示する出力デバイスである。本実施の形態では、タッチパネル及びマイクにより入力部１４の機能を実現し、当該タッチパネルとスピーカにより出力部１５の機能を実現している。   In the present embodiment, a touch panel is provided on the chest of the robot 1. The touch panel is an input device that accepts an input operation of a store visitor and an output device that displays various screens, images, videos, and the like. In the present embodiment, the function of the input unit 14 is realized by a touch panel and a microphone, and the function of the output unit 15 is realized by the touch panel and a speaker.

記憶部１６は、例えば一次記憶装置及び二次記憶装置を含み、サーバ２から提供される種々の情報及び情報処理に必要なプログラムを記憶する。例えば、記憶部１６は、移動制御システム１０のロボット用のアプリケーション（以下、ロボ用アプリという。）を記憶する。ロボ用アプリは、例えばネットワークＮを介して所定の配信サーバから取得可能である。ロボ用アプリが実行（起動）された状態で、ロボット１の本実施形態に係る動作が実現される。   The storage unit 16 includes, for example, a primary storage device and a secondary storage device, and stores various information provided from the server 2 and programs necessary for information processing. For example, the storage unit 16 stores a robot application of the movement control system 10 (hereinafter referred to as a robot application). The robot application can be acquired from a predetermined distribution server via the network N, for example. The operation according to this embodiment of the robot 1 is realized in a state where the robot application is executed (activated).

制御部１７は、専用又は汎用のプロセッサを含む。制御部１７は、ロボット１全体の動作をロボ用アプリにより制御する。例えば制御部１７は、通信部１１により情報の送受信を行う。具体的には例えば制御部１７は、撮影部１３により撮影した映像を、通信部１１によりサーバ２に送信する。また制御部１７は、入力部１４により集音した来店者の音声をサーバ２に送信する。   The control unit 17 includes a dedicated or general-purpose processor. The control unit 17 controls the operation of the entire robot 1 using the robot application. For example, the control unit 17 transmits and receives information through the communication unit 11. Specifically, for example, the control unit 17 transmits the video imaged by the imaging unit 13 to the server 2 by the communication unit 11. In addition, the control unit 17 transmits the store visitor's voice collected by the input unit 14 to the server 2.

また制御部１７は、ロボット１の移動に係る制御を行う。制御部１７は、サーバ２からの移動指示に基づき、移動手段１２によりロボット１を移動させる。移動指示は、例えば現在位置と異なる第１の位置にロボット１を移動させる命令である。移動指示は、ロボット１の前後左右方向への移動、回転に係る命令を含む。移動指示は具体的には例えば、「前方へ３ｍ進め」との命令である。この場合、現在位置と異なる第１の位置は、ロボットの現在位置から見て、ロボットの正面方向の３ｍ先の地点である。移動指示はこれに限られず他にも「時計回りに９０度回転し、回転後に前方へ４ｍ進め」等でもよい。あるいは移動指示は、移動方向、距離による命令ではなく、移動手段１２の制御を直接指定する命令であってもよい。例えば移動指示は、オムニホイールのローラの回転数を指定する命令等でもよい。   The control unit 17 performs control related to the movement of the robot 1. The control unit 17 moves the robot 1 by the moving unit 12 based on the movement instruction from the server 2. The movement instruction is, for example, an instruction to move the robot 1 to a first position different from the current position. The movement instruction includes instructions related to the movement and rotation of the robot 1 in the front-rear and left-right directions. Specifically, the movement instruction is, for example, an instruction “3m forward”. In this case, the first position different from the current position is a point 3 m ahead in the front direction of the robot as seen from the current position of the robot. The movement instruction is not limited to this, and may be “rotate 90 degrees clockwise and advance 4 m forward after rotation”. Alternatively, the movement instruction may be an instruction that directly designates control of the moving unit 12 instead of an instruction based on the moving direction and distance. For example, the movement instruction may be a command for designating the rotation speed of the omni wheel roller.

ここでロボット１の状態は、サーバ２からの移動指示を待っている状態（以下、待機状態ともいう。）と、サーバ２からの移動指示に基づき移動している状態（以下、アクティブ状態ともいう。）との２つのいずれかである。ロボット１が待機状態又はアクティブ状態のいずれであるかは、例えばロボット１の記憶部１６に記憶される。なおロボット１の状態をサーバ２に送信し、サーバ２において記憶しておいてもよい。ロボット１が待機状態でない場合（ロボット１がアクティブ状態である場合）、制御部１７は、サーバ２から受信した移動指示に基づいて、移動手段１２によりロボット１を移動させる。他方、ロボット１が待機状態である場合、制御部１７はロボット１の現在位置を基準とした所定範囲内においてロボット１を自律移動させる。つまり制御部１７は、移動指示に基づかずにロボット１のセンサ（カメラ等）に基づきロボット１を移動させる。ここで現在位置を基準とした所定範囲は、例えば現在位置を中心とした半径５０ｃｍの範囲である。   Here, the robot 1 is in a state of waiting for a movement instruction from the server 2 (hereinafter also referred to as a standby state) and a state of being moved based on a movement instruction from the server 2 (hereinafter also referred to as an active state). .)). Whether the robot 1 is in the standby state or the active state is stored in, for example, the storage unit 16 of the robot 1. The state of the robot 1 may be transmitted to the server 2 and stored in the server 2. When the robot 1 is not in the standby state (when the robot 1 is in the active state), the control unit 17 moves the robot 1 by the moving unit 12 based on the movement instruction received from the server 2. On the other hand, when the robot 1 is in a standby state, the controller 17 autonomously moves the robot 1 within a predetermined range based on the current position of the robot 1. That is, the control unit 17 moves the robot 1 based on a sensor (camera or the like) of the robot 1 without being based on the movement instruction. Here, the predetermined range based on the current position is, for example, a range having a radius of 50 cm centered on the current position.

また制御部１７は、移動指示に基づく移動が完了した場合、ロボット１を待機状態に移行させる。待機状態に移行した場合、上述のように制御部１７は、ロボット１の現在位置を基準とした所定範囲内においてロボット１を自律移動させる。   In addition, when the movement based on the movement instruction is completed, the control unit 17 shifts the robot 1 to the standby state. When shifting to the standby state, the control unit 17 autonomously moves the robot 1 within a predetermined range based on the current position of the robot 1 as described above.

また制御部１７は、移動指示に基づきロボット１が移動中において、所定イベントが発生した場合、移動指示をキャンセルして待機状態に移行させる。所定イベントは、例えばロボット１の進行方向の、固定カメラ３で撮影できない位置に、障害物が存在している等のイベントである。例えば障害物は、荷物、買い物カゴ等の障害物が置かれている場合や、立ち止まっている人がいる場合である。所定イベントが発生したか否かは、撮影部１３又は入力部１４の少なくとも一方からの入力に基づき、制御部１７が判定する。所定イベントが生じた場合、制御部１７はサーバ２からの移動指示をキャンセルして、ロボット１を待機状態に移行させる。ロボット１が待機状態に移行した場合、上述のように制御部１７は、ロボット１の現在位置を基準とした所定範囲内においてロボット１を自律移動させる。   Further, when a predetermined event occurs while the robot 1 is moving based on the movement instruction, the control unit 17 cancels the movement instruction and shifts to a standby state. The predetermined event is an event such as an obstacle present at a position in the traveling direction of the robot 1 that cannot be captured by the fixed camera 3. For example, the obstacle is a case where an obstacle such as a luggage or a shopping cart is placed, or a case where there is a person who has stopped. Whether or not the predetermined event has occurred is determined by the control unit 17 based on an input from at least one of the imaging unit 13 or the input unit 14. When a predetermined event occurs, the control unit 17 cancels the movement instruction from the server 2 and shifts the robot 1 to the standby state. When the robot 1 shifts to the standby state, the control unit 17 autonomously moves the robot 1 within a predetermined range based on the current position of the robot 1 as described above.

（サーバ２の構成）
図３は、本発明の一実施形態に係るサーバのブロック図である。サーバ２は、サーバ通信部２１と、サーバ記憶部２２と、サーバ制御部２３とを備える。サーバ通信部２１と、サーバ記憶部２２と、サーバ制御部２３とは、バス２４によりそれぞれ接続されている。 (Configuration of server 2)
FIG. 3 is a block diagram of a server according to an embodiment of the present invention. The server 2 includes a server communication unit 21, a server storage unit 22, and a server control unit 23. The server communication unit 21, the server storage unit 22, and the server control unit 23 are connected to each other by a bus 24.

サーバ通信部２１は、外部装置と無線又は有線によって通信し、情報の送受信を行うインターフェースである。本実施形態において、サーバ通信部２１は、ネットワークＮを介してロボット１及び複数の固定カメラ３と情報を相互に送受信可能である。   The server communication unit 21 is an interface that communicates with an external device wirelessly or by wire and transmits and receives information. In the present embodiment, the server communication unit 21 can transmit and receive information to and from the robot 1 and the plurality of fixed cameras 3 via the network N.

サーバ記憶部２２は、例えば一次記憶装置及び二次記憶装置を含み、移動制御システム１０の提供及び制御に必要な種々の情報及びプログラムを記憶する。   The server storage unit 22 includes, for example, a primary storage device and a secondary storage device, and stores various information and programs necessary for providing and controlling the movement control system 10.

サーバ制御部２３は、専用又は汎用のプロセッサを含み、種々の処理を行う。サーバ制御部２３は、サーバ２全体の動作を制御する。例えばサーバ制御部２３は、サーバ通信部２１により情報の送受信を行う。具体的にはサーバ制御部２３は、ロボット１及び複数の固定カメラ３から送信された映像及び音声を、サーバ通信部２１により受信する。またサーバ制御部２３は、受信した情報（映像及び音声）をサーバ記憶部２２に記憶させる。記憶した情報は、記憶してから一定期間保存し、その後削除する。一定期間は例えば１ヶ月である。１ヶ月間でのデータ保存量は、１台のロボット１又は固定カメラ３からの映像を記憶する場合、約１ＴＢである（１０時間／日、３０日の稼動の場合）。サーバ記憶部２２は必要な記憶容量を備える。   The server control unit 23 includes a dedicated or general-purpose processor and performs various processes. The server control unit 23 controls the operation of the entire server 2. For example, the server control unit 23 transmits and receives information using the server communication unit 21. Specifically, the server control unit 23 receives video and audio transmitted from the robot 1 and the plurality of fixed cameras 3 by the server communication unit 21. The server control unit 23 stores the received information (video and audio) in the server storage unit 22. The stored information is stored for a certain period after being stored, and then deleted. The certain period is, for example, one month. The amount of data stored in one month is about 1 TB when storing images from one robot 1 or fixed camera 3 (10 hours / day, 30 days operation). The server storage unit 22 has a necessary storage capacity.

またサーバ制御部２３は、受信した映像に基づき、来店者の認証を行う。受信した映像に基づき来店者を認証する場合、サーバ制御部２３は、映像に含まれる来店者の顔画像を抽出して、データベースに基づく顔認証を行う。顔認証には人工知能の技術を適宜用い、機械学習により認証の精度を向上させる。データベースには、来店者に係る情報（以下、ユーザ情報ともいう。）が格納されており、サーバ記憶部２２に記憶されている。当該データベースは、ユーザＩＤ、氏名、顔画像、性別、年齢、会員カードＩＤ、嗜好等のユーザ情報を含む。ユーザＩＤとは、来店者を一意に特定するための識別子である。データベースには、ユーザＩＤに対応付けて、当該ＩＤに係る来店者の氏名、顔画像、性別、年齢、会員カードＩＤ、嗜好等のユーザ情報が格納されている。ユーザ情報には他の情報が含まれてもよく、例えば携帯電話の電話番号を含んでもよい。また携帯電話の情報に基づき他の店の購入履歴等の情報を適宜関連付けてもよく、この場合、他店舗における購入履歴等、来店者に関する各種情報を用いることが可能となる。サーバ制御部２３は、サーバ記憶部２２にアクセスして、ロボット１から受信した映像に含まれる来店者の顔画像に一致又は類似するレコードがあるか否かを検索し、顔認証を行なう。好適には、かかるデータベースは暗号化される。暗号化することにより、外部に情報が万一漏れても顔画像や指名、年齢等の情報が実質的に復元不可能とすることができ、プライバシーを適切に保護することができる。   Further, the server control unit 23 authenticates the store visitor based on the received video. When authenticating the store visitor based on the received video, the server control unit 23 extracts the face image of the store visitor included in the video and performs face authentication based on the database. Artificial intelligence technology is used as appropriate for face authentication, and the accuracy of authentication is improved by machine learning. The database stores information related to the store visitor (hereinafter also referred to as user information) and is stored in the server storage unit 22. The database includes user information such as a user ID, name, face image, gender, age, membership card ID, and preferences. The user ID is an identifier for uniquely identifying a store visitor. The database stores user information such as the name, face image, gender, age, membership card ID, and preferences of the store visitor associated with the ID in association with the user ID. The user information may include other information, for example, a mobile phone number. In addition, information such as purchase history of other stores may be associated as appropriate based on the information of the mobile phone. In this case, it is possible to use various types of information related to visitors such as purchase history at other stores. The server control unit 23 accesses the server storage unit 22 to search whether there is a record that matches or is similar to the face image of the store visitor included in the video received from the robot 1 and performs face authentication. Preferably, such a database is encrypted. By encrypting, even if information leaks to the outside, information such as a face image, nomination, and age can be substantially unrecoverable, and privacy can be appropriately protected.

またサーバ制御部２３は、複数の固定カメラ３により撮影された複数の画像に基づき、ロボット１の現在位置を推定する。図４に、ロボットが店内に配置され、複数の固定カメラ３により撮影されている様子を示す。図４では３つの固定カメラ３の鉛直方向の視野角はαであり、各固定カメラ３により撮影された画像にロボット１が写っている様子を示している。なお図４では全ての固定カメラ３の鉛直方向の視野角をαとしているが、固定カメラ毎に視野角を変えてもよい。なお図４に示すように、ロボット１は、書棚４の間の通路を移動する。したがって、複数の固定カメラ３に写るように、書棚４の高さに応じて、ロボット１の高さを設定することが好ましい。   The server control unit 23 estimates the current position of the robot 1 based on a plurality of images taken by the plurality of fixed cameras 3. FIG. 4 shows a state in which the robot is placed in the store and photographed by a plurality of fixed cameras 3. In FIG. 4, the viewing angle in the vertical direction of the three fixed cameras 3 is α, and the robot 1 is shown in the image captured by each fixed camera 3. In FIG. 4, the viewing angle in the vertical direction of all the fixed cameras 3 is α, but the viewing angle may be changed for each fixed camera. As shown in FIG. 4, the robot 1 moves in the passage between the bookshelves 4. Therefore, it is preferable to set the height of the robot 1 according to the height of the bookshelf 4 so that it can be seen in the plurality of fixed cameras 3.

サーバ制御部２３は、ロボット１が１以上の画像に写っている場合、ロボット１が写っている当該１以上の画像に基づき、ロボット１の現在位置を推定する。固定カメラ３の設置位置は予め定まっている。ロボット１が２以上の画像に写っている場合、当該２以上の画像は、異なる固定カメラ３により、異なる方向から略同時に撮影されたものである。したがって２以上の画像におけるロボット１の場所が定まれば、ロボット１の現在位置を高精度で推定することができる。すなわち、各固定カメラ３の視野角の中で、ロボット１を検出できる画像から、それぞれ水平方向及び垂直方向の角度を測定することによりロボット１の現在位置を推定できる。なおロボット１が画像に写っているか否かの検出は、任意の画像認識手法を用いることができる。また、ロボットが１の画像に写っている場合も、当該１の画像からロボット１の現在位置を推定できる。具体的には、ロボット１が写っている当該画像からロボット１の方向を検出し、また固定カメラ３の床からの高さが既知であることから、画像の画角のどの位置にロボット１が移っているかに基づき、固定カメラ３からロボット１までの距離を計算することができる。当該方向及び距離に基づき、ロボット１の現在位置を推定することができる。   When the robot 1 is shown in one or more images, the server control unit 23 estimates the current position of the robot 1 based on the one or more images showing the robot 1. The installation position of the fixed camera 3 is determined in advance. When the robot 1 is shown in two or more images, the two or more images are taken from different directions by the different fixed cameras 3 at substantially the same time. Therefore, if the location of the robot 1 in two or more images is determined, the current position of the robot 1 can be estimated with high accuracy. That is, the current position of the robot 1 can be estimated by measuring the angle in the horizontal direction and the vertical direction from the image from which the robot 1 can be detected within the viewing angle of each fixed camera 3. Note that any image recognition method can be used to detect whether or not the robot 1 is in the image. Even when the robot is shown in one image, the current position of the robot 1 can be estimated from the one image. Specifically, the direction of the robot 1 is detected from the image in which the robot 1 is captured, and the height of the fixed camera 3 from the floor is known. The distance from the fixed camera 3 to the robot 1 can be calculated based on whether it is moving. Based on the direction and the distance, the current position of the robot 1 can be estimated.

他方、ロボット１が１以上の画像に写っていない場合、サーバ制御部２３は、過去の移動指示に基づき、ロボット１の現在位置を推定する。つまり過去に移動指示を出した時間と、現在の時刻とに基づき、ロボット１の現在位置を推定する。   On the other hand, when the robot 1 is not shown in one or more images, the server control unit 23 estimates the current position of the robot 1 based on the past movement instruction. That is, the current position of the robot 1 is estimated based on the time when the movement instruction was issued in the past and the current time.

またサーバ制御部２３は、ロボット１が待機状態であるか否かを判定し、ロボット１が待機状態である場合に、ロボット１に移動指示を送信する。他方、ロボット１が待機状態でない場合は、サーバ制御部２３は、ロボット１に移動指示を送信しない。ロボット１が待機状態であるか否かは、例えばロボット１から状態に係る情報を受信して判定する。当該判定は、移動指示に基づく第１の位置に所定時間内に移動しているか否かにより行ってもよい。あるいは当該判定は、ロボット１が現在位置を基準とした所定範囲内での移動を行っているか否かにより判定してもよい。   The server control unit 23 determines whether or not the robot 1 is in a standby state, and transmits a movement instruction to the robot 1 when the robot 1 is in a standby state. On the other hand, when the robot 1 is not in the standby state, the server control unit 23 does not transmit a movement instruction to the robot 1. Whether or not the robot 1 is in a standby state is determined by receiving information on the state from the robot 1, for example. The determination may be performed based on whether or not the first position based on the movement instruction has been moved within a predetermined time. Alternatively, this determination may be made based on whether or not the robot 1 is moving within a predetermined range based on the current position.

上述のように、複数の固定カメラ３の位置は予め定まっており、それぞれフロアの天井等の上層部の所定位置に設けられている。図５は、店内を上方から見た場合の書棚４等のレイアウト及び複数の固定カメラ３の配置を示す平面図の一例である。図５に示すように、固定カメラ３をロボット１の移動経路の上方の天井等の上層部に設置し、また、近接する固定カメラ３の撮影方向がそれぞれ異なるように調整している。各固定カメラ３の水平方向の視野角はβである。このような固定カメラ３の配置及び調整により、フロア内の大部分において、１以上の固定カメラ３でロボット１を撮影でき、高精度にロボット１の位置を推定できる。なお固定カメラ３の配置、撮影方向、及び視野角はこれに限られず、フロアの各場所をそれぞれ１以上の固定カメラ３で撮影できるように固定カメラ３の配置、及び撮影角度、視野角を適宜設定できる。また全ての固定カメラ３の水平方向の視野角をβとしているが、カメラ毎に視野角を変えてもよい。   As described above, the positions of the plurality of fixed cameras 3 are determined in advance, and are respectively provided at predetermined positions on the upper layer portion such as the ceiling of the floor. FIG. 5 is an example of a plan view showing the layout of the bookcase 4 and the like and the arrangement of the plurality of fixed cameras 3 when the inside of the store is viewed from above. As shown in FIG. 5, the fixed camera 3 is installed on an upper layer such as a ceiling above the movement path of the robot 1, and the shooting directions of the adjacent fixed cameras 3 are adjusted to be different from each other. The horizontal viewing angle of each fixed camera 3 is β. By arranging and adjusting the fixed camera 3 as described above, the robot 1 can be photographed with one or more fixed cameras 3 in most of the floor, and the position of the robot 1 can be estimated with high accuracy. The arrangement, shooting direction, and viewing angle of the fixed camera 3 are not limited thereto, and the arrangement, shooting angle, and viewing angle of the fixed camera 3 are appropriately set so that each place on the floor can be shot with one or more fixed cameras 3. Can be set. Moreover, although the viewing angle in the horizontal direction of all the fixed cameras 3 is β, the viewing angle may be changed for each camera.

またサーバ制御部２３は、複数の固定カメラ３により撮影した画像により、ロボット１を移動させるためのフロア全体のマップを作成可能である。マップの作成は、サーバ２がマップ作成指示を受信した場合に行う。マップ作成指示は、管理者によるサーバ２への入力でも、サーバ２とは異なる管理者端末からの指示であってもよい。あるいはマップ作成指示は、サーバ２が移動制御システム１０の初期起動時や、定期的に自動的に生成してもよい。マップ作成指示を受信するとサーバ制御部２３は、フロア内に設置された全ての固定カメラ３から、各固定カメラ３により撮影した画像を受信し、当該画像に基づき、マップを作成する。サーバ制御部２３は、当該マップに基づき、ロボット１が移動可能な場所及び経路にて、移動指示を生成する。   Further, the server control unit 23 can create a map of the entire floor for moving the robot 1 based on images taken by the plurality of fixed cameras 3. A map is created when the server 2 receives a map creation instruction. The map creation instruction may be an input to the server 2 by an administrator or an instruction from an administrator terminal different from the server 2. Alternatively, the map creation instruction may be automatically generated by the server 2 at the initial startup of the movement control system 10 or periodically. Upon receiving the map creation instruction, the server control unit 23 receives images captured by each fixed camera 3 from all the fixed cameras 3 installed in the floor, and creates a map based on the images. Based on the map, the server control unit 23 generates a movement instruction at a place and route where the robot 1 can move.

またサーバ制御部２３は、移動指示の生成において、ロボット１周囲の画像に基づき移動指示を生成してもよい。すなわち、サーバ制御部２３は、ロボット１の周辺に障害物や人がいるか否かを、固定カメラ３の画像から判定する。ロボット１の周辺に障害物や人がいると判定した場合、サーバ制御部２３は、当該障害物や人を避けるように移動指示を生成する。つまり当該障害物や人にぶつかる移動指示は生成しない。これによりロボット１が障害物や人を避けて移動することが可能となる。   The server control unit 23 may generate a movement instruction based on an image around the robot 1 in generating the movement instruction. That is, the server control unit 23 determines whether there are obstacles or people around the robot 1 from the image of the fixed camera 3. When it is determined that there are obstacles or people around the robot 1, the server control unit 23 generates a movement instruction so as to avoid the obstacles or people. That is, the movement instruction to hit the obstacle or the person is not generated. As a result, the robot 1 can move while avoiding obstacles and people.

（固定カメラ３の構成）
複数の固定カメラ３は、上述のようにフロアの天井等の上層部の所定位置に設けられる。複数の固定カメラ３として、従来からフロアの天井等の上層部に設けられている防犯カメラ等を用いてもよい。なお複数の固定カメラ３は、防犯カメラ設置用のパイプに取り付けられてもよい。この場合も、フロアの上層部から、フロア内の画像を撮影することができる。あるいは複数の固定カメラ３は、フロアの側壁の上層部に設けられていてもよい。固定カメラ３は、所定の画面解像度（例えば１９２０×１０８０ピクセル）及び所定の時間間隔にて画像を取得し、取得した画像をサーバ２に送信する。 (Configuration of the fixed camera 3)
As described above, the plurality of fixed cameras 3 are provided at predetermined positions on the upper layer portion such as the ceiling of the floor. As the plurality of fixed cameras 3, a security camera or the like conventionally provided in an upper layer portion such as a ceiling of a floor may be used. The plurality of fixed cameras 3 may be attached to a pipe for installing a security camera. Also in this case, an image in the floor can be taken from the upper layer part of the floor. Or the some fixed camera 3 may be provided in the upper layer part of the side wall of a floor. The fixed camera 3 acquires images at a predetermined screen resolution (eg, 1920 × 1080 pixels) and a predetermined time interval, and transmits the acquired images to the server 2.

（移動制御システム１０の動作）
次に、本発明の一実施形態に係る移動制御システム１０について、図６から図９に示すフローチャートによりその動作を説明する。 (Operation of the movement control system 10)
Next, the operation of the movement control system 10 according to an embodiment of the present invention will be described with reference to the flowcharts shown in FIGS.

図６は、本発明の一実施形態に係る移動制御システム１０によるマップ作成の動作を示すフローチャートである。はじめに、サーバ２は、サーバ通信部２１を介してマップ作成指示を受信する（ステップＳ１０）。マップ作成指示を受信すると、サーバ制御部２３は、フロア内に設置された全ての固定カメラ３から、サーバ通信部２１を介して、各固定カメラ３により撮影された画像を受信する（ステップＳ２０）。続いてサーバ制御部２３は、受信した複数の画像に基づき、マップを作成する（ステップＳ３０）。このように、本実施形態に係る移動制御システム１０によれば、ロボット１を動作させずともフロアのマップを作成できるため、従来のロボットにおけるＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）と比較して高速にマップを作成することができる。また、複数の固定カメラ３の設置位置が予め分かっているため、高精度のマップを作成することができる。   FIG. 6 is a flowchart showing a map creation operation by the movement control system 10 according to an embodiment of the present invention. First, the server 2 receives a map creation instruction via the server communication unit 21 (step S10). When receiving the map creation instruction, the server control unit 23 receives images captured by the fixed cameras 3 from all the fixed cameras 3 installed in the floor via the server communication unit 21 (step S20). . Subsequently, the server control unit 23 creates a map based on the received plurality of images (step S30). As described above, according to the movement control system 10 according to the present embodiment, a floor map can be created without operating the robot 1, so that the map can be mapped at a higher speed than SLAM (Simultaneous Localization and Mapping) in a conventional robot. Can be created. In addition, since the installation positions of the plurality of fixed cameras 3 are known in advance, a highly accurate map can be created.

図７は、本発明の一実施形態に係る移動制御システム１０による、ロボット１の現在位置推定及び移動制御に係る動作を示すフローチャートである。   FIG. 7 is a flowchart showing operations related to the current position estimation and movement control of the robot 1 by the movement control system 10 according to the embodiment of the present invention.

はじめにサーバ２は、サーバ通信部２１により、複数の固定カメラ３により撮影された複数の画像を受信する（ステップＳ１００）。   First, the server 2 receives a plurality of images taken by the plurality of fixed cameras 3 through the server communication unit 21 (step S100).

次にサーバ制御部２３は、複数の固定カメラ３により撮影された複数の画像に基づき、ロボット１の現在位置を推定する。まずサーバ制御部２３は、ロボット１が１以上の画像に写っているか否かを判定する（ステップＳ１１０）。ロボット１が１以上の画像に写っている場合（ステップＳ１１０：はい）、サーバ制御部２３は、ロボット１が写っている当該１以上の画像に基づき、ロボット１の現在位置を推定する（ステップＳ１２０）。他方で、ロボット１が１以上の画像に写っていない場合（ステップＳ１１０：いいえ）、サーバ制御部２３は、過去の移動指示に基づき、ロボット１の現在位置を推定する（ステップＳ１３０）。   Next, the server control unit 23 estimates the current position of the robot 1 based on a plurality of images taken by the plurality of fixed cameras 3. First, the server control unit 23 determines whether or not the robot 1 is shown in one or more images (step S110). When the robot 1 is shown in one or more images (step S110: Yes), the server control unit 23 estimates the current position of the robot 1 based on the one or more images showing the robot 1 (step S120). ). On the other hand, when the robot 1 is not shown in one or more images (step S110: No), the server control unit 23 estimates the current position of the robot 1 based on the past movement instruction (step S130).

ロボット１の現在位置を推定した後、サーバ制御部２３は、ロボット１の移動制御を行う（ステップＳ１４０）。移動制御は主に、サーバ制御部２３からロボット１に送信する移動指示により行う。移動指示は、サーバ２により作成したマップ及び推定したロボット１の現在位置に基づき作成する。   After estimating the current position of the robot 1, the server control unit 23 performs movement control of the robot 1 (step S140). The movement control is mainly performed by a movement instruction transmitted from the server control unit 23 to the robot 1. The movement instruction is created based on the map created by the server 2 and the estimated current position of the robot 1.

図８及び図９は、ロボット１の移動制御に係る動作を示すフローチャートである。図８は、サーバ２の動作を示すフローチャートであり、図９は、ロボット１の動作を示すフローチャートである。まずサーバ２の動作について、図８により説明する。   8 and 9 are flowcharts showing operations related to movement control of the robot 1. FIG. 8 is a flowchart showing the operation of the server 2, and FIG. 9 is a flowchart showing the operation of the robot 1. First, the operation of the server 2 will be described with reference to FIG.

はじめにサーバ制御部２３は、ロボット１が待機状態であるか否かを判定する（ステップＳ２００）。ロボット１が待機状態であると判定した場合、サーバ制御部２３は、サーバ通信部２１によりロボット１に移動指示を送信する（ステップＳ２１０）。他方で、ロボット１が待機状態でないと判定した場合、サーバ制御部２３は、サーバ通信部２１によりロボット１に移動指示を送信しない。   First, the server control unit 23 determines whether or not the robot 1 is in a standby state (step S200). When it is determined that the robot 1 is in the standby state, the server control unit 23 transmits a movement instruction to the robot 1 through the server communication unit 21 (step S210). On the other hand, when it is determined that the robot 1 is not in the standby state, the server control unit 23 does not transmit a movement instruction to the robot 1 by the server communication unit 21.

続いてロボット１の動作について、図９により説明する。はじめにロボット１の制御部１７は、自己の状態が待機状態であるか否かを判定する（ステップＳ３００）。待機状態ではない場合（ステップＳ３００：いいえ）、制御部１７は、サーバ２からの移動指示に基づき、移動手段１２によりロボット１を移動させる（ステップＳ３１０）。   Next, the operation of the robot 1 will be described with reference to FIG. First, the control unit 17 of the robot 1 determines whether or not its own state is a standby state (step S300). When not in the standby state (step S300: No), the control unit 17 moves the robot 1 by the moving unit 12 based on the movement instruction from the server 2 (step S310).

次に制御部１７は、移動指示に基づきロボット１が移動中において、所定イベントが発生したか否かを判定する（ステップＳ３２０）。所定イベントが発生していないと判定した場合（ステップＳ３２０：いいえ）、ステップＳ３３０に進む。   Next, the control unit 17 determines whether or not a predetermined event has occurred while the robot 1 is moving based on the movement instruction (step S320). When it is determined that the predetermined event has not occurred (step S320: No), the process proceeds to step S330.

移動指示に基づく移動が完了した場合（ステップＳ３３０）、制御部１７は、ロボット１を待機状態に移行させる（ステップＳ３４０）。そして制御部１７は、ロボット１の現在位置を基準とした所定範囲内においてロボット１を自律移動させる（ステップＳ３５０）。   When the movement based on the movement instruction is completed (step S330), the control unit 17 shifts the robot 1 to the standby state (step S340). Then, the control unit 17 autonomously moves the robot 1 within a predetermined range based on the current position of the robot 1 (step S350).

ステップＳ３００において、ロボット１が待機状態であると判定した場合、ステップＳ３５０に進み、制御部１７は、ロボット１の現在位置を基準とした所定範囲内においてロボット１を自律移動させる。   In step S300, when it is determined that the robot 1 is in the standby state, the process proceeds to step S350, and the control unit 17 autonomously moves the robot 1 within a predetermined range based on the current position of the robot 1.

またステップＳ３２０において、所定イベントが発生したと判定した場合、ステップＳ３４０に進み、ロボット１を待機状態に移行し、その後制御部１７は、ロボット１の現在位置を基準とした所定範囲内においてロボット１を自律移動させる（ステップＳ３５０）。   If it is determined in step S320 that a predetermined event has occurred, the process proceeds to step S340, the robot 1 is shifted to a standby state, and the control unit 17 then moves the robot 1 within a predetermined range based on the current position of the robot 1. Are moved autonomously (step S350).

このように本発明の一実施形態に係る移動制御システム１０によれば、複数の固定カメラ３によって撮影した複数の画像によりロボット１の現在位置を推定し、推定した現在位置に基づき移動指示をロボット１に送信してロボット１の移動制御を行うため、ＲＦＩＤやマーカ等を設置しなくても、ロボット１の現在位置の推定及び移動制御を行うことができる。   As described above, according to the movement control system 10 according to the embodiment of the present invention, the current position of the robot 1 is estimated from a plurality of images photographed by the plurality of fixed cameras 3, and a movement instruction is given based on the estimated current position. 1 to perform movement control of the robot 1, it is possible to perform estimation and movement control of the current position of the robot 1 without installing an RFID or a marker.

また、本発明の一実施形態に係る移動制御システム１０によれば、複数の固定カメラ３によりフロアの大半の領域の状況を把握した上でロボット１の移動制御を行うため、より適した位置にロボット１を移動及び配置することができ、ロボット１による万引き防止のための監視、追尾、声かけ、来店者に対する広告情報の提供等の動作の効果を高めることが期待できる。また、複数のロボット１をフロアにて移動制御する場合にも、フロア全体の状況を考慮しながら、複数のロボットの配置及び移動制御を行うことができる。   Further, according to the movement control system 10 according to the embodiment of the present invention, the movement control of the robot 1 is performed after grasping the situation of the most area of the floor by the plurality of fixed cameras 3, so that the position is more suitable. The robot 1 can be moved and arranged, and it can be expected that the effects of operations such as monitoring, tracking, calling out, and providing advertisement information to shoppers for preventing shoplifting by the robot 1 can be expected. Also, when movement control of a plurality of robots 1 is performed on the floor, the arrangement and movement control of the plurality of robots can be performed in consideration of the situation of the entire floor.

また、本発明の一実施形態に係る移動制御システム１０では、ロボット１が待機状態、すなわち移動指示を受けていない状態において、現在位置を基準とした所定範囲内でロボット１が自律移動する。このためロボット１が常時自律移動しているように見え、万引き防止や広告提供の効果を高めることができる。また常時ロボット１が移動することで、ロボット１の周囲の映像等をより広範囲に取得することができる。   Further, in the movement control system 10 according to an embodiment of the present invention, the robot 1 autonomously moves within a predetermined range with the current position as a reference when the robot 1 is in a standby state, that is, in a state where no movement instruction is received. For this reason, it seems that the robot 1 is always autonomously moving, and the effect of shoplifting prevention and advertisement provision can be enhanced. In addition, since the robot 1 always moves, images around the robot 1 can be acquired in a wider range.

なお、ロボット１が複数の固定カメラ３により撮影された画像のうち、１以上の画像に写っていない場合、サーバ２のサーバ制御部２３は、複数の固定カメラ３により同時に写る撮影範囲にロボット１を移動させる移動指示を送信するようにしてもよい。このようにすることで、当該移動指示に基づいて移動した後のロボット１は複数の固定カメラ３により撮影されるため、ロボット１の現在位置を高精度で推定することができる。   If the robot 1 is not shown in one or more images among the images taken by the plurality of fixed cameras 3, the server control unit 23 of the server 2 moves the robot 1 into the shooting range simultaneously shown by the plurality of fixed cameras 3. You may make it transmit the movement instruction | indication which moves. By doing in this way, since the robot 1 after moving based on the movement instruction is photographed by the plurality of fixed cameras 3, the current position of the robot 1 can be estimated with high accuracy.

なお、ロボット１に第１の位置へ移動する移動指示を所定回数送信してもロボット１が第１の位置へ移動しない場合、サーバ２は、第１の位置とは異なる第２の位置へ移動する移動指示を送信するようにしてもよい。例えばロボット１の進行方向に障害物がある場合には、ロボット１が移動指示に基づき移動しようとしても、毎回同一の所定イベントが生じ、第１の位置に移動できない可能性がある。当該事象によりロボット１が移動できなくなることを防止するために、同一の移動指示の再送回数を所定回数に制限する。そして、所定回数送信しても移動指示に基づく移動が行われない場合、移動先を第１の位置とは異なる第２の位置に変更する。これにより、ロボット１が移動できない状態を抑制し、ロボット１を効率よく移動制御することができる。   If the robot 1 does not move to the first position even if the movement instruction to move to the first position is transmitted to the robot 1 a predetermined number of times, the server 2 moves to a second position different from the first position. You may make it transmit the movement instruction | indication to perform. For example, when there is an obstacle in the traveling direction of the robot 1, even if the robot 1 tries to move based on the movement instruction, the same predetermined event may occur every time and the robot 1 may not move to the first position. In order to prevent the robot 1 from moving due to the event, the number of retransmissions of the same movement instruction is limited to a predetermined number. If the movement based on the movement instruction is not performed even after the predetermined number of transmissions, the movement destination is changed to a second position different from the first position. Thereby, the state where the robot 1 cannot move can be suppressed, and the robot 1 can be controlled to move efficiently.

さらに、サーバ２が第１の位置へ移動する移動指示を所定回数送信してもロボット１が第１の位置へ移動しない場合、サーバ制御部２３は、ロボット１と第１の位置との間に障害物があると推定してもよい。またサーバ制御部２３は、当該推定に基づき、フロアのマップ内に、障害物が存在するとの情報を含めるよう、マップを更新してもよい。マップを更新することにより、サーバ制御部２３は、当該障害物の存在を考慮してロボット１への移動指示を作成でき、ロボット１が移動できない状態を抑制し、ロボット１を効率よく移動制御することができる。   Further, if the robot 1 does not move to the first position even if the server 2 transmits a movement instruction to move to the first position a predetermined number of times, the server control unit 23 may be located between the robot 1 and the first position. It may be estimated that there is an obstacle. Further, the server control unit 23 may update the map based on the estimation so as to include information that an obstacle exists in the floor map. By updating the map, the server control unit 23 can create a movement instruction to the robot 1 in consideration of the presence of the obstacle, suppress the state in which the robot 1 cannot move, and efficiently control the movement of the robot 1. be able to.

なお、本実施の形態では、ロボット１が待機状態において、現在位置を基準とした所定範囲内において自律移動させるとしたがこれに限られず、ロボット１は待機状態において停止するようにしてもよい。ロボット１に自律移動の機能を持たせない場合には、ロボット１の機能を簡素化することができる。   In the present embodiment, the robot 1 is autonomously moved within a predetermined range based on the current position when the robot 1 is in the standby state. However, the present invention is not limited to this, and the robot 1 may be stopped in the standby state. When the robot 1 is not provided with an autonomous movement function, the function of the robot 1 can be simplified.

なお、本実施の形態では、ロボット１の位置の推定、移動制御のための移動指示の作成を、サーバ２にて行う例について説明したが、例えばロボット１が、サーバ２の機能の一部又は全部を備えてもよい。例えばサーバ２にてロボット１の現在位置の推定を行い、サーバ２がロボット１に現在位置の情報を送信し、ロボット１が、現在位置の情報に基づき自己の移動制御を行ってもよい。ロボット１がサーバ２の機能を全部備える場合は、サーバ２を設けなくともロボット１及び複数の固定カメラ３により、移動制御システムを構成することができる。   In the present embodiment, the example in which the server 2 estimates the position of the robot 1 and creates a movement instruction for movement control has been described. However, for example, the robot 1 may be a part of the function of the server 2 or You may have everything. For example, the server 2 may estimate the current position of the robot 1, the server 2 may transmit information on the current position to the robot 1, and the robot 1 may perform its own movement control based on the information on the current position. When the robot 1 has all the functions of the server 2, the movement control system can be configured by the robot 1 and the plurality of fixed cameras 3 without providing the server 2.

以上、本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。   Although the present invention has been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various modifications and corrections based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention. For example, the functions included in each means, each step, etc. can be rearranged so that there is no logical contradiction, and a plurality of means, steps, etc. can be combined or divided into one. .

１ ロボット
２ サーバ
３ 固定カメラ
４ 書棚
１０ 移動制御システム
１１ 通信部
１２ 移動手段
１３ 撮影部
１４ 入力部
１５ 出力部
１６ 記憶部
１７ 制御部
１８、２４ バス
２１ サーバ通信部
２２ サーバ記憶部
２３ サーバ制御部 DESCRIPTION OF SYMBOLS 1 Robot 2 Server 3 Fixed camera 4 Bookcase 10 Movement control system 11 Communication part 12 Movement means 13 Image pick-up part 14 Input part 15 Output part 16 Storage part 17 Control part 18, 24 Bus 21 Server communication part 22 Server storage part 23 Server control part

Claims (10)

サーバと、フロア内を移動するロボットと、前記フロアの天井等の上層部に設けられた複数の固定カメラとを備え、前記サーバは、
前記複数の固定カメラによって撮影された複数の画像に基づき、前記ロボットの現在位置を推定し、
推定した現在位置に基づき、前記ロボットを現在位置と異なる第１の位置に移動させる移動指示を前記ロボットに送信する移動制御システム。 A server, a robot that moves in the floor, and a plurality of fixed cameras provided in an upper layer such as a ceiling of the floor,
Based on a plurality of images taken by the plurality of fixed cameras, the current position of the robot is estimated,
A movement control system that transmits a movement instruction to move the robot to a first position different from the current position based on the estimated current position. 前記ロボットが待機状態において、前記ロボットは現在位置を基準とした所定範囲内において自律移動可能である、請求項１に記載の移動制御システム。   The movement control system according to claim 1, wherein the robot is capable of autonomous movement within a predetermined range based on a current position when the robot is in a standby state. 前記サーバは、前記複数の固定カメラにより撮影された画像に基づき、前記ロボットを移動させるためのマップを作成する、請求項１又は２に記載の移動制御システム。   The movement control system according to claim 1 or 2, wherein the server creates a map for moving the robot based on images taken by the plurality of fixed cameras. 前記ロボットが１以上の画像に写っていない場合、過去の移動指示に基づき、前記ロボットが存在する現在位置を推定する、請求項１乃至３のいずれか一項に記載の移動制御システム。   The movement control system according to any one of claims 1 to 3, wherein when the robot is not shown in one or more images, a current position where the robot is present is estimated based on a past movement instruction. 前記ロボットが１以上の画像に写っていない場合、前記複数の固定カメラにより同時に写る撮影範囲に前記ロボットを移動させる移動指示を送信する、請求項１乃至４のいずれか一項に記載の移動制御システム。   The movement control according to any one of claims 1 to 4, wherein when the robot is not shown in one or more images, a movement instruction for moving the robot to a shooting range simultaneously shot by the plurality of fixed cameras is transmitted. system. 前記移動指示に基づいて移動している途中に、所定イベントが生じた場合、前記ロボットを待機状態に移行させる、請求項１乃至５のいずれか一項に記載の移動制御システム。   The movement control system according to any one of claims 1 to 5, wherein when a predetermined event occurs during movement based on the movement instruction, the robot is shifted to a standby state. 前記サーバは、前記ロボットが待機状態である場合、前記第１の位置へ移動する移動指示を送信する、請求項１乃至６のいずれか一項に記載の移動制御システム。   The movement control system according to claim 1, wherein the server transmits a movement instruction to move to the first position when the robot is in a standby state. 前記第１の位置へ移動する移動指示を所定回数送信しても前記ロボットが前記第１の位置へ移動しない場合、前記第１の位置とは異なる第２の位置へ移動する移動指示を送信する、請求項７に記載の移動制御システム。   If the robot does not move to the first position even if a movement instruction to move to the first position is transmitted a predetermined number of times, a movement instruction to move to a second position different from the first position is transmitted. The movement control system according to claim 7. 前記第１の位置へ移動する移動指示を所定回数送信しても前記ロボットが前記第１の位置へ移動しない場合、前記ロボットと前記第１の位置との間に障害物があると推定する、請求項７に記載の移動制御システム。   If the robot does not move to the first position even if a movement instruction to move to the first position is transmitted a predetermined number of times, it is estimated that there is an obstacle between the robot and the first position. The movement control system according to claim 7. サーバと、フロア内を移動するロボットと、前記フロアの天井等の上層部に設けられた複数の固定カメラとを備えた移動制御システムにおける移動制御方法であって、
前記複数の固定カメラによって撮影された複数の画像に基づき、前記ロボットの現在位置を推定するステップと、
推定した現在位置に基づき、前記ロボットを現在位置と異なる第１の位置に移動させる移動指示を前記ロボットに送信するステップと、
を含む移動制御方法。 A movement control method in a movement control system comprising a server, a robot that moves in a floor, and a plurality of fixed cameras provided in an upper layer such as a ceiling of the floor,
Estimating a current position of the robot based on a plurality of images taken by the plurality of fixed cameras;
Transmitting a movement instruction to move the robot to a first position different from the current position based on the estimated current position;
A movement control method including:
JP2018022348A 2018-02-09 2018-02-09 Robot movement control system and movement control method Expired - Fee Related JP6402266B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018022348A JP6402266B1 (en) 2018-02-09 2018-02-09 Robot movement control system and movement control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018022348A JP6402266B1 (en) 2018-02-09 2018-02-09 Robot movement control system and movement control method

Publications (2)

Publication Number Publication Date
JP6402266B1 JP6402266B1 (en) 2018-10-10
JP2019139516A true JP2019139516A (en) 2019-08-22

Family

ID=63788213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018022348A Expired - Fee Related JP6402266B1 (en) 2018-02-09 2018-02-09 Robot movement control system and movement control method

Country Status (1)

Country Link
JP (1) JP6402266B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021039525A (en) * 2019-09-03 2021-03-11 廣美 畑中 Guidance and handling of suspicious person using artificially intelligent robot, and method thereof
JP2021160071A (en) * 2020-04-03 2021-10-11 Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 Robot control device, robot control system and robot control method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114413901A (en) * 2020-10-28 2022-04-29 光宝电子(广州)有限公司 Floor positioning and map construction system and method thereof
JP7563267B2 (en) 2021-03-24 2024-10-08 トヨタ自動車株式会社 Item recovery system, item recovery robot, item recovery method, and item recovery program

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003170376A (en) * 2001-12-06 2003-06-17 Sharp Corp Autonomously acting robot and autonomously acting robot system
JP2003295951A (en) * 2002-03-29 2003-10-17 Sogo Keibi Hosho Co Ltd Autonomous mobile-body patrolling system and method for compensating for position of autonomous mobile-body
JP2007216381A (en) * 2004-07-13 2007-08-30 Matsushita Electric Ind Co Ltd Robot
JP2011022157A (en) * 2000-05-26 2011-02-03 Honda Motor Co Ltd Position detection apparatus, position detection method and position detection program
JP2011108056A (en) * 2009-11-19 2011-06-02 Hitachi Industrial Equipment Systems Co Ltd Mobile robot
US20120158282A1 (en) * 2010-12-15 2012-06-21 Electronics And Telecommunications Research Institute Camera-based indoor position recognition apparatus and method
JP2013114500A (en) * 2011-11-29 2013-06-10 Hitachi Ltd Service control system and service system
JP2015035139A (en) * 2013-08-09 2015-02-19 トヨタ自動車株式会社 Autonomous mobile body, obstacle discrimination method, and obstacle avoidance method
JP2017021791A (en) * 2015-07-09 2017-01-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Map generation method, mobile robot, and map generation system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011022157A (en) * 2000-05-26 2011-02-03 Honda Motor Co Ltd Position detection apparatus, position detection method and position detection program
JP2003170376A (en) * 2001-12-06 2003-06-17 Sharp Corp Autonomously acting robot and autonomously acting robot system
JP2003295951A (en) * 2002-03-29 2003-10-17 Sogo Keibi Hosho Co Ltd Autonomous mobile-body patrolling system and method for compensating for position of autonomous mobile-body
JP2007216381A (en) * 2004-07-13 2007-08-30 Matsushita Electric Ind Co Ltd Robot
JP2011108056A (en) * 2009-11-19 2011-06-02 Hitachi Industrial Equipment Systems Co Ltd Mobile robot
US20120158282A1 (en) * 2010-12-15 2012-06-21 Electronics And Telecommunications Research Institute Camera-based indoor position recognition apparatus and method
JP2013114500A (en) * 2011-11-29 2013-06-10 Hitachi Ltd Service control system and service system
JP2015035139A (en) * 2013-08-09 2015-02-19 トヨタ自動車株式会社 Autonomous mobile body, obstacle discrimination method, and obstacle avoidance method
JP2017021791A (en) * 2015-07-09 2017-01-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Map generation method, mobile robot, and map generation system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021039525A (en) * 2019-09-03 2021-03-11 廣美 畑中 Guidance and handling of suspicious person using artificially intelligent robot, and method thereof
JP2021160071A (en) * 2020-04-03 2021-10-11 Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 Robot control device, robot control system and robot control method
JP7454161B2 (en) 2020-04-03 2024-03-22 Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 Robot control device, robot control system, and robot control method

Also Published As

Publication number Publication date
JP6402266B1 (en) 2018-10-10

Similar Documents

Publication Publication Date Title
JP6402266B1 (en) Robot movement control system and movement control method
JP6402219B1 (en) Crime prevention system, crime prevention method, and robot
US11756307B2 (en) Vehicle video system
US9796093B2 (en) Customer service robot and related systems and methods
JP5003731B2 (en) Patrol security support system, method and program
JP6440327B2 (en) Crime prevention system, crime prevention method, and robot
US20180241938A1 (en) Robotic Camera System
US11979685B2 (en) System and method for remote observation in a non-networked production facility
JP6609588B2 (en) Autonomous mobility system and autonomous mobility control method
US20210142045A1 (en) Method Of And System For Recognising A Human Face
JP6393377B1 (en) Robot, information providing method and information providing system
KR101821159B1 (en) System for tracking moving path of objects using multi-camera
KR101696243B1 (en) Virtual reality system and method for realizing virtual reality therof
US20220152836A1 (en) Robot
JP2020154569A (en) Display device, display control method, and display system
US12078989B2 (en) Systems and methods for remote viewing of self-driving vehicles
CN112788443A (en) Interaction method and system based on optical communication device
CN112291701B (en) Positioning verification method, positioning verification device, robot, external equipment and storage medium
CN112055034B (en) Interaction method and system based on optical communication device
CN112055033B (en) Interaction method and system based on optical communication device
JP7109141B2 (en) SHOPPING SUPPORT SYSTEM AND SHOPPING SUPPORT METHOD
CN110502170B (en) Position-based adjustment of display content
JP2017167985A (en) Notification control program, notification control method and notification control device
JP7572517B1 (en) DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD, INFORMATION PROCESSING TERMINAL, AND PROGRAM
WO2023162016A1 (en) Monitoring system, monitoring device, monitoring method, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180209

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180209

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180910

R150 Certificate of patent or registration of utility model

Ref document number: 6402266

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees