JP4282662B2 - Moving path generation device for autonomous mobile robot - Google Patents

Moving path generation device for autonomous mobile robot Download PDF

Info

Publication number
JP4282662B2
JP4282662B2 JP2005356363A JP2005356363A JP4282662B2 JP 4282662 B2 JP4282662 B2 JP 4282662B2 JP 2005356363 A JP2005356363 A JP 2005356363A JP 2005356363 A JP2005356363 A JP 2005356363A JP 4282662 B2 JP4282662 B2 JP 4282662B2
Authority
JP
Japan
Prior art keywords
node
robot
route
map
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005356363A
Other languages
Japanese (ja)
Other versions
JP2006195969A (en
Inventor
慎一 松永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2005356363A priority Critical patent/JP4282662B2/en
Publication of JP2006195969A publication Critical patent/JP2006195969A/en
Application granted granted Critical
Publication of JP4282662B2 publication Critical patent/JP4282662B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0217Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with energy consumption, time reduction or distance reduction criteria

Description

本発明は、自律移動ロボットの移動経路生成装置に関し、特に、プログラミングの簡略化や演算処理の負荷軽減を実現し得る自律移動ロボットの移動経路生成装置に関するものである。   The present invention relates to a movement path generation apparatus for an autonomous mobile robot, and more particularly to a movement path generation apparatus for an autonomous mobile robot that can realize simplification of programming and reduction of the load of arithmetic processing.

自律移動ロボットにおいては、床上に固定物のある環境下にて、指示された目的位置まで固定物を避けながら円滑に移動する能力が重要である。このような能力をロボットに与えるための手法として、ロボットの視覚情報に基づいて検出した固定物の位置を地図上に記録した障害物データベースを作成し、その地図を参照して移動経路をプログラミングすることが知られている(特許文献1を参照されたい)。
特開2003−266345号公報
In an autonomous mobile robot, the ability to smoothly move to an instructed target position while avoiding a fixed object in an environment with a fixed object on the floor is important. As a method to give such a capability to the robot, create an obstacle database that records the position of the fixed object detected based on the visual information of the robot on the map, and program the movement path with reference to the map It is known (see Patent Document 1).
JP 2003-266345 A

しかるに、例えば、ショウルームやアトラクションのステージなどのように、通路が実質的に規定されていない環境下においては、目的地点を指定された時の移動経路の設定は思いの外厄介である。と言うのは、格別に通路が設定されていない平面上で目的地点を指定されたロボットは、単に現在位置から指定された目的地点までを直線で結んだルートを設定し、そのルート上にある障害物のところだけを避けて通るように自律制御することが一般的だからである。つまりこの従来の制御によると、障害物の直前まで直進し、障害物と所定の距離をあけるようにして障害物の周囲を迂回しつつ移動することになるので、移動時間が無駄になりがちであった。   However, in an environment where a passage is not substantially defined, such as a showroom or an attraction stage, setting a movement route when a destination point is designated is unexpectedly troublesome. This is because a robot with a destination point specified on a plane that does not have a special passage simply sets a route that connects a straight line from the current position to the specified destination point, and is on that route. This is because it is common to perform autonomous control so that only obstacles are avoided. In other words, according to this conventional control, the vehicle travels straight ahead just before the obstacle and moves around the obstacle so as to leave a predetermined distance from the obstacle, so the movement time tends to be wasted. there were.

視覚情報を加味して自己判断するプログラムを組むことも可能ではあるが、経路設定のアルゴリズムが複雑になり、演算処理の負荷が高くなるために消費電力が過大になるなど、バッテリを搭載した自律移動ロボットとしての実用化は極めて困難である。   Although it is possible to build a program to make self-judgment with visual information, the algorithm for route setting becomes complicated, and the load of calculation processing increases, so the power consumption becomes excessive and the autonomous system equipped with the battery Practical application as a mobile robot is extremely difficult.

本発明は、このような従来技術の問題点を解消すべく案出されたものであり、その主な目的は、指定された目的地へ移動する際の情報処理を簡略化し得る自律移動ロボットの移動経路生成装置を提供することにある。   The present invention has been devised to solve such problems of the prior art, and the main purpose of the present invention is an autonomous mobile robot that can simplify information processing when moving to a specified destination. It is to provide a movement path generation device.

本発明による自律移動ロボットの移動経路生成装置は、前記ロボットの移動領域内における経由候補点としてユーザによって任意に設定される複数のノードの位置と、障害物の位置に関わる情報を記述した地図を管理する地図管理手段(地図データ管理部7)と、前記地図に記述された前記各ノードについて、ノード間の距離が所定の閾値内にあり、且つ途中に前記障害物がないノード同士を互いに直線で結び、ロボットが通行すべきエッジを設定するエッジ設定手段(エッジ設定処理部11a)と、前記地図上における前記ロボットの現在位置を検出する現在位置検出手段(現在位置検出部15)と、前記ロボットの目的地を前記地図上に設定する入力手段(ユーザ端末13)と、前記エッジを接続し、前記現在位置から前記目的地に至る距離が最短となる経路を算出する経路演算手段(経路演算処理部11b)とを有する。
本発明による自律移動ロボットの移動経路生成装置は、好ましくは、更に、前記エッジ設定手段は、前記地図上における前記ロボットの現在位置を前記地図に予め設定されたノード以外の追加ノードとして認識し、当該追加ノードに可及的に近い位置あって途中に前記障害物がないノードと前記追加ノードとを直線で結び、ロボットが通行すべき追加エッジを設定する機能を備え、前記経路演算手段は、予め設定された前記ノードに基づく前記エッジに加えて前記追加エッジをも経路算出の対象とする。
An apparatus for generating a movement path of an autonomous mobile robot according to the present invention provides a map that describes the position of a plurality of nodes arbitrarily set by a user as route candidate points in the movement area of the robot and information related to the position of an obstacle. Map management means (map data management unit 7) to manage, and for each of the nodes described in the map, the distance between the nodes is within a predetermined threshold, and the nodes without the obstacle in the middle are straight An edge setting means (edge setting processing unit 11a) for setting an edge to be passed by the robot, a current position detecting means (current position detecting unit 15) for detecting the current position of the robot on the map, an input means for setting the destination of the robot on the map (user terminal 13), connect the front Symbol edge, leading to the destination from the current position Away has a route calculation means for calculating a route having the shortest (route calculation processing unit 11b).
Preferably, in the autonomous mobile robot movement path generation device according to the present invention, the edge setting means recognizes the current position of the robot on the map as an additional node other than a node set in advance on the map, A node that is located as close as possible to the additional node and that has no obstacle in the middle and the additional node is connected by a straight line, and has a function of setting an additional edge to be passed by the robot , the path calculation means, In addition to the edge based on the preset node, the additional edge is also subject to route calculation .

本発明による自律移動ロボットの移動経路生成装置は、好ましくは、前記経路演算手段は、移動距離に加えて、移動時間、エネルギ消費量を勘案した評価値が最高になる経路算出を行う。また、前記ノードは、ロボットが検出可能なように移動領域内に設置されたランドマークを含むものであってよい。また、前記入力手段を、ロボットが経由すべき追加ノードとして少なくとも1つの経由点を設定すべく適合されていてよい。また、前記入力手段は、ロボットの移動領域を画像表示する表示手段を有していてよい。更に、前記現在位置検出手段は、ロボットに備えられ且つその情報を入力手段に転送するようになっていてよい。 In the movement route generation apparatus for an autonomous mobile robot according to the present invention, preferably, the route calculation means performs a route calculation in which an evaluation value considering the movement time and energy consumption in addition to the movement distance is maximized . The node may include a landmark installed in the movement area so that the robot can detect it. The input means may be adapted to set at least one waypoint as an additional node to be routed by the robot . The input means may include display means for displaying an image of the movement area of the robot . Further, the current position detecting means may be provided in the robot and transfer the information to the input means .

本発明による自律移動ロボットの移動経路生成装置によれば、安全に通過可能な経由候補点(ノード)および経由候補点同士間を結ぶ経路(エッジ)を予め設定しておけるので、ロボットはその経路を辿れば安全に目標地点へ到達することができることとなる。しかも、全てのノード間の全ての組み合わせについてエッジを設定せずに、互いに比較的近接したノード間のみにエッジを設定するので、ルート生成の際の経路の候補を最小化することができる。従って、本発明によれば、演算処理などの負荷を過大にせずに円滑な移動経路を容易に且つ柔軟に生成することができる。 According to the movement route generation device for an autonomous mobile robot according to the present invention, a route candidate point (node) that can be safely passed and a route (edge) that connects the route candidate points can be set in advance. If you follow, you can safely reach the target point. In addition, since edges are set only between nodes that are relatively close to each other without setting edges for all combinations between all nodes, it is possible to minimize route candidates at the time of route generation. Therefore, according to the present invention, it is possible to easily and flexibly generate a smooth movement route without excessive load such as arithmetic processing.

更には、追加エッジを設定する機能を有することにより、ロボットの出発点、到着点を自由に設定することができ、ロボットの行動をより自由なものとすることが可能となる。
更に、経路演算手段が、移動距離に加えて、移動時間、エネルギ消費量を勘案した評価値が最高になる経路算出を行うことにより、高度に合理的な移動経路の生成が可能になる。
更に、ノードが、ロボットにより検出可能なように前記移動領域内に設置されたランドマークを含むことや、前記ロボットが経由すべき追加ノードとして少なくとも1つの経由点を設定すべく適合されていることにより、経路設定のより一層の多様化を図ることができる。
更には、ロボットの移動領域を画像表示する表示手段が設けられることにより、グラフィック・ユーザ・インターフェイスを介してロボットの移動経路生成に関する指示をオペレータが発することができるようになり、ロボットの移動経路を簡単にかつ正確に生成することが可能となる。
更に、現在位置検出手段がロボットに備えられ且つその情報を入力手段に転送することにより、自己位置を自動的に補正しつつロボットが移動することができ、長距離を移動する際に誤差が累積して逸脱量が増大する不都合を容易に払拭することができる。
Furthermore, by having the function of setting an additional edge, it is possible to freely set the starting point and the arriving point of the robot, and to make the robot's behavior more free.
Further, the route calculation means calculates a route that maximizes the evaluation value in consideration of the travel time and energy consumption in addition to the travel distance, so that a highly rational travel route can be generated.
Furthermore, the node includes a landmark installed in the moving area so that it can be detected by the robot, and is adapted to set at least one waypoint as an additional node that the robot should go through. Thus , it is possible to further diversify the route setting.
Furthermore, by providing a display means for displaying an image of the movement area of the robot, the operator can issue an instruction regarding generation of the movement path of the robot via the graphic user interface. It can be generated easily and accurately.
Furthermore, the current position detection means is provided in the robot and the information is transferred to the input means, so that the robot can move while automatically correcting its own position, and errors accumulate when moving over a long distance. Thus, it is possible to easily eliminate the disadvantage that the deviation amount increases.

以下に添付の図面を参照して本発明について詳細に説明する。   Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

図1は、本発明が適用される自律移動ロボットの概略構成を示すブロック図である。このロボット1には、スピーカ2、ビデオカメラ3、及びマイクロフォン4が設けられており、ビデオカメラ3からの画像信号が画像処理部5に入力され、マイクロフォン4からの音声信号が音処理部6に入力され、適宜な合成音声生成手段で生成された音声信号がスピーカ2から出力される。   FIG. 1 is a block diagram showing a schematic configuration of an autonomous mobile robot to which the present invention is applied. The robot 1 is provided with a speaker 2, a video camera 3, and a microphone 4. An image signal from the video camera 3 is input to the image processing unit 5, and an audio signal from the microphone 4 is input to the sound processing unit 6. An audio signal that is input and generated by an appropriate synthesized speech generation means is output from the speaker 2.

ビデオカメラ3は、モノクロまたはカラーの撮像素子を備えており、パン(左右方向)及びチルト(上下方向)動作がモータによって行われる。このビデオカメラ3からの画像出力は、フレームグラバーによってディジタル化され、連続または任意の間隔の2フレーム間の差分から動体が抽出される。また、左右一対のビデオカメラ3の画像から立体視して目標物までの距離情報が得られる。さらに画像情報からオプティカルフローに基づいて人の輪郭や移動体の位置を求め、人の顔を識別するための画像処理が行われる。   The video camera 3 includes a monochrome or color image sensor, and pan (left-right direction) and tilt (up-down direction) operations are performed by a motor. The image output from the video camera 3 is digitized by a frame grabber, and a moving object is extracted from the difference between two frames continuously or at an arbitrary interval. Further, distance information to the target can be obtained by stereoscopic viewing from the images of the pair of left and right video cameras 3. Further, image processing for identifying the human face is performed by obtaining the contour of the person and the position of the moving body based on the optical flow from the image information.

音処理部6では、暗騒音や残響成分を除去して目標音を抽出し易くすると共に、音の立ち上がり部分から、人が発する音声であるか、何らかの物体同士がぶつかり合う衝撃音であるかを推定する。また、一対のマイクロフォン4間の音圧差及び音の到達時間差に基づいて音源位置を特定する処理が行われる。   The sound processing unit 6 makes it easy to extract the target sound by removing background noise and reverberation components, and determines whether the sound is generated by a person from the rising part of the sound or is an impact sound in which some objects collide with each other. presume. Further, a process of specifying the sound source position based on the sound pressure difference between the pair of microphones 4 and the sound arrival time difference is performed.

一方、このロボット1には、ロボットの移動領域における固定物などの配置、あるいは、例えば変圧器の設置場所や発熱体の周辺など、ロボットの活動に不適な区域を記述した地図データを格納すると共に、後記するユーザ端末からオペレータが入力したロボットの移動領域内における経由候補点としての複数のノードの位置を記録する地図データ管理部7と、ID・氏名・性別・生年月日・血液型などの一般情報、会社名・所属・役職・電話番号・メールアドレス・端末情報などの職業情報、及び顔認識のための顔データとからなる個人データを格納した個人データ管理部8と、地図を適宜に分画した領域毎の照明の種類、明るさ、平均騒音レベル、残響特性、床の硬さなどの環境データに基づく制御パラメータを格納したパラメータデータ管理部9とを備えたロボット支援サーバ10からの各種情報が与えられる。   On the other hand, the robot 1 stores map data describing an area unsuitable for the robot's activity, such as the placement of a fixed object in the moving area of the robot, or the location of the transformer or the vicinity of the heating element, for example. The map data management unit 7 that records the positions of a plurality of nodes as route candidate points in the movement area of the robot input by the operator from the user terminal described later, and the ID, name, sex, date of birth, blood type, etc. Personal data management unit 8 storing personal information consisting of general information, occupation information such as company name, affiliation, job title, telephone number, e-mail address, terminal information, and face data for face recognition, and map as appropriate Parameter data that stores control parameters based on environmental data such as lighting type, brightness, average noise level, reverberation characteristics, and floor hardness for each segmented area Various information from the robot support server 10 and a management unit 9 is provided.

このロボット1は、画像、音、地図、環境、および個人の各情報を基に、タスク設定部11がロボット1の行動様式を定義し、遂行すべき行動指令を行動制御部12に発する。また、タスク設定部11には、画像処理部5からの画像処理信号ならびに音処理部6からの音声信号が直接入力され、ロボット1の周辺情況の変化に対応した行動の修正指示を行動制御部12に発する。   In the robot 1, the task setting unit 11 defines the behavior mode of the robot 1 based on the image, sound, map, environment, and individual information, and issues a behavior command to be performed to the behavior control unit 12. The task setting unit 11 is directly input with the image processing signal from the image processing unit 5 and the audio signal from the sound processing unit 6, and receives an action correction instruction corresponding to a change in the surrounding situation of the robot 1. Depart to twelve.

タスク設定部11には、キーボードやタッチパネルなどの入力デバイスと、液晶ディスプレーなどのモニタを備えたパーソナルコンピュータからなるユーザ端末13が接続されている。これは、ロボット1の起動・停止・原点復帰などをオペレータが指示してロボット1を遠隔操作するためのユーザインターフェースとして用いられると共に、ビデオカメラ3の映像やマイクロフォン4からの音、あるいは制御パラメータの設定状況など、ロボット自体の作動状況の監視に用いられる。さらに、各種情報や制御パラメータの新規・更新登録をオペレータが任意に行うことができる。またタスク設定部11には、地図データ管理部7に登録された各ノード同士間を所定の基準に基づいて結び、ロボットが通行すべき線としてのエッジを設定するエッジ設定処理部11aと、設定されたエッジを接続することによって所定の基準を満足する現在位置から目的地に至る経路を算出するための経路演算処理部11bとが含まれている。   The task setting unit 11 is connected to a user terminal 13 including a personal computer having an input device such as a keyboard and a touch panel and a monitor such as a liquid crystal display. This is used as a user interface for remotely operating the robot 1 by an operator instructing the start / stop / origin return of the robot 1, and the image of the video camera 3, sound from the microphone 4, or control parameters. It is used to monitor the operation status of the robot itself, such as the setting status. Furthermore, the operator can arbitrarily register various information and control parameters as new or updated. The task setting unit 11 is connected to each node registered in the map data management unit 7 based on a predetermined standard, and an edge setting processing unit 11a that sets an edge as a line that the robot should pass, and a setting And a route calculation processing unit 11b for calculating a route from the current position satisfying a predetermined standard to the destination by connecting the generated edges.

行動制御部12では、タスク設定部11からの所定の動作指令に基づいて設定されたアクション指示値を手足関節部14に設けられたアクチュエータなどに与え、ロボット1の運動を制御する。特に脚部は、歩幅および歩数(歩容)の指示を受け、それに基づいて脚関節部を制御する。   In the behavior control unit 12, an action instruction value set based on a predetermined operation command from the task setting unit 11 is given to an actuator or the like provided in the limb joint unit 14 to control the movement of the robot 1. In particular, the leg receives instructions of the stride and the number of steps (gait) and controls the leg joint based on the instructions.

現在位置検出部15は、ロボット1の方向転換角度や移動距離を検出し、これとジャイロコンパス等からの検出値から最新の自己位置を推定し、この現在位置データを地図データ管理部7を介してタスク設定部11にフィードバックする。これによって目標地点と自己位置とを比較しつつ進路の補正を行う。   The current position detection unit 15 detects the direction change angle and the movement distance of the robot 1, estimates the latest self-position from the detected value from the gyrocompass and the like, and uses the map data management unit 7 to store the current position data. To the task setting unit 11. Thus, the course is corrected while comparing the target point and the self position.

図2は、ロボットの移動領域Eの一例を示す平面図である。この平面図は、地図データ管理部7に格納された地図データに基づいており、障害物として認識される固定物F1〜F4、並びに例えば光学マークを床面に施したランドマークL1・L2の位置が、ユーザ端末13のモニタ画面に画像表示され、オペレータがマウスポインタなどで指示情報を入力するグラフィック・ユーザ・インターフェースとなるように構成されている。なお、障害物有りと認識される領域は、単なる固定物の設置場所に限らず、上述したロボットの活動に不適な区域も含まれる。   FIG. 2 is a plan view showing an example of the movement area E of the robot. This plan view is based on the map data stored in the map data management unit 7, and the positions of the fixed objects F1 to F4 recognized as obstacles and the landmarks L1 and L2 provided with optical marks on the floor surface, for example. Is displayed on the monitor screen of the user terminal 13, and is configured to be a graphic user interface through which an operator inputs instruction information with a mouse pointer or the like. Note that the area recognized as having an obstacle is not limited to a place where a fixed object is installed, but also includes an area unsuitable for the activity of the robot described above.

オペレータは、この平面図上にてロボットの通過経由地点をノードとして画面上で任意に設定・登録することができる(例えば図3の点a〜点f)。ここでオペレータが設定・登録するノードは、上述したランドマークL1・L2を含むものであって良い。また、ロボットが行動することが予定されている領域において、あるノードから次のノードまでの距離は、後記する閾値以内の距離にあるように設定する必要がある。即ち、互いに隣り合うノード同士の間隔が閾値を越えることがないように、各ノードの位置を設定・登録する。   The operator can arbitrarily set and register on the screen the passing point of the robot as a node on this plan view (for example, point a to point f in FIG. 3). Here, the node set and registered by the operator may include the landmarks L1 and L2 described above. Further, in the region where the robot is scheduled to act, the distance from one node to the next node needs to be set so as to be within a threshold value described later. That is, the position of each node is set and registered so that the interval between adjacent nodes does not exceed the threshold.

ロボットは、このようにして登録されたノード同士間を結ぶ経路、即ちエッジに沿って移動することになる。このエッジは、2つの条件を満たすように設定される。第1の条件は、あるノードから、所定の閾値内の距離にあるノードのみに向けてエッジが設定されることである。第2の条件は、ロボットが通過するのに適していない領域或いは障害物を通過するようなエッジは排除することである。以下、この条件を満たすエッジを設定するための処理フローについて図4を参照して説明する。   The robot moves along the path connecting the nodes registered in this way, that is, along the edge. This edge is set to satisfy two conditions. The first condition is that an edge is set only from a certain node toward a node at a distance within a predetermined threshold. The second condition is to exclude an edge that passes through an area or obstacle that is not suitable for the robot to pass. Hereinafter, a processing flow for setting an edge that satisfies this condition will be described with reference to FIG.

先ず、カウンタiを0とし(ST1)、ノードN0を検索するが、これを一般化するために、ノードNiから検索するものとして説明する。ノードNiを検索の結果、その存在が確認されたならば(ST2:YES)、ノードNiを取得する(ST3)。ここでノードNiが発見されない場合は(ST2:NO)、ノードが設定・登録されていないので、この処理を終了する。次に、ノードNiとは異なる全てのノードNjを、j=i+1から順次検索し(ST4)、それが存在すれば(ST5:YES)、ノードNjを取得する(ST6)。   First, the counter i is set to 0 (ST1), and the node N0 is searched. In order to generalize this, it is assumed that the search is performed from the node Ni. If the presence of the node Ni is confirmed as a result of the search (ST2: YES), the node Ni is acquired (ST3). If the node Ni is not found here (ST2: NO), the node is not set / registered, so this process is terminated. Next, all nodes Nj different from the node Ni are sequentially searched from j = i + 1 (ST4), and if it exists (ST5: YES), the node Nj is acquired (ST6).

次にエッジを設定するが、このエッジは、仮に基点とするノードNiとの距離が、所定の閾値T、例えば、経路決定に適する単位として5mの距離よりも小さい位置にあるノードNjとのみ結ぶことができる(ST7:YES)。即ち、ノードNiから閾値(5m)以内の範囲に存在するノードNjを検索する。これに伴って、ノードNiとノードNjとの間に、ロボットの通行を妨げるような障害物、或いは高熱であったりしてロボットが接近するのに適していない領域の無いノードNjを検索する(ST8:YES)。これらの条件を満たすノードNjが取得されたならば、ノードNiとノードNjとの間にエッジEijを登録し(ST9)、ステップST10へ進む。この逆に、検索されたノードNjが遠すぎたり(ST7:NO)、間に障害物などがあったりした場合は(ST8:NO)、エッジを登録せずに処理フローはST10へと進む。   Next, an edge is set. This edge is connected only to a node Nj whose distance from the node Ni as a base point is smaller than a predetermined threshold T, for example, a distance of 5 m as a unit suitable for route determination. (ST7: YES). That is, the node Nj existing in the range within the threshold (5 m) from the node Ni is searched. Along with this, a node Nj is searched between the node Ni and the node Nj that has no obstacle that prevents the passage of the robot, or a region that is not suitable for the robot to approach due to high heat ( ST8: YES). If the node Nj satisfying these conditions is acquired, the edge Eij is registered between the node Ni and the node Nj (ST9), and the process proceeds to step ST10. Conversely, if the retrieved node Nj is too far (ST7: NO) or there are obstacles between them (ST8: NO), the process flow proceeds to ST10 without registering an edge.

ステップST10では、カウンタをj=j+1としてST5に戻り、ノードNiを基点とした上記の条件を満たすノードNjが存在しなくなるまで上記ステップを繰り返す。例えば、図5において、ノードbに対するノードc並びにノードdは上記の条件を満たすのでこれらの間にエッジを登録できるが、ノードbに対するノードeは距離が遠すぎるのでこれらの間にエッジを登録できない。また、ノードdとノードf間、あるいはノードeとノードf間は、これらの間に障害物F2が存在するのでエッジを登録できない。そしてノードNiとの間にエッジEijを登録できるノードNjが尽きたならば、カウンタをi=i+1とし(ST11)、基点とするノードを次に移し、ST2からの処理フローを繰り返す。このようにして、エッジEijを結ぶ基点となるノードNiが尽きる(ST2:NO)まで、上記ステップを繰り返すことにより、図5に示すように、各ノードNi・Njを経由してロボットが通行すべきエッジEijを全て登録する。なお、オペレータは、閾値Tの距離、例えば5mを単位としたエッジの設定に行き詰まることの無いような密度でノードを設定・登録しておくと良い。   In step ST10, the counter is set to j = j + 1, and the process returns to ST5, and the above steps are repeated until there is no node Nj that satisfies the above condition with the node Ni as a base point. For example, in FIG. 5, the node c and the node d for the node b satisfy the above-mentioned condition, so that an edge can be registered between them. However, the node e for the node b is too far away to register an edge between them. . Further, since there is an obstacle F2 between the node d and the node f or between the node e and the node f, an edge cannot be registered. When the node Nj that can register the edge Eij with the node Ni is exhausted, the counter is set to i = i + 1 (ST11), the node as the base point is moved to the next, and the processing flow from ST2 is repeated. In this way, by repeating the above steps until the node Ni serving as the base point connecting the edges Eij is exhausted (ST2: NO), the robot passes through the nodes Ni and Nj as shown in FIG. All the power edges Eij are registered. It should be noted that the operator may set and register nodes at such a density that does not get stuck in the edge setting in units of the threshold T, for example, 5 m.

ロボットが実際に移動する経路を設定する際には、先ずロボットの現在位置及び目的地を地図データ上に設定する。これらの位置は、必ずしも登録されたノードの位置とは一致しなくても良い。また、所望に応じて、1つ又は複数の経由地を設定しても良い。以下、ロボットの現在位置及び目的地並びに経由地を、上述の処理で登録されたノードに接続するエッジを設定・登録する過程について図6を参照して説明する。   When setting the route on which the robot actually moves, the current position and destination of the robot are first set on the map data. These positions do not necessarily match the registered node positions. Further, one or more waypoints may be set as desired. Hereinafter, a process of setting and registering an edge that connects the current position, destination, and waypoint of the robot to the node registered in the above-described process will be described with reference to FIG.

先ず、ロボットの現在位置UN0(例えば図7におけるHP)及び目的地UN1(例えば図7における点A)、更に必要に応じて経由地UN2を入力し(ST21)、それらを登録する(ST22)。次にカウンタkを0とし(ST23)、ノードUN0を検索する。これを一般化するために、ノードUNkを検索するものとして説明する。ノードUNkの存在が確認されたならば(ST24:YES)、ノードUNkを取得する(ST25)。次いで既に登録されているノードNjを順次検索し(ST26)、それが存在するか否かを判別する(ST27)。ノードNjが存在すれば、それがノードUNkとは一致しないものであるか否かを判別する(ST28)。ノードNjがノードUNkと一致していなければ(ST28:YES)、ノードNjを取得する(ST29)。   First, the robot's current position UN0 (for example, HP in FIG. 7) and destination UN1 (for example, point A in FIG. 7), and further via-point UN2 as necessary are input (ST21), and these are registered (ST22). Next, the counter k is set to 0 (ST23), and the node UN0 is searched. In order to generalize this, it is assumed that the node UNk is searched. If the existence of the node UNk is confirmed (ST24: YES), the node UNk is acquired (ST25). Next, the already registered node Nj is sequentially searched (ST26), and it is determined whether or not it exists (ST27). If the node Nj exists, it is determined whether or not the node Nj does not match the node UNk (ST28). If the node Nj does not match the node UNk (ST28: YES), the node Nj is acquired (ST29).

ロボットが、予め登録されたノード或いはエッジのネットワーク外のある現在位置、目的地或いは経由地等の特定位置から、予め登録されたノード或いはエッジのネットワーク内に移行する際には、ネットワーク内のノードの内でも、前記特定位置に可及的に近いノードを選択することが合理的である。そこで、取得されたノードNjのうちでも、更に2つの条件を満たすもののみについてエッジを登録する。第1の条件としては、ノードUNkとノードNjの間の距離が、所定の閾値T、例えば、経路決定に適する単位として5mの距離よりも小さいものとする(ST30)。即ち、ノードUNkから閾値T以内の距離の範囲に存在するノードNjを検索する。この閾値Tは、必要に応じて、図4に示した処理フローで用いた閾値とは異なる値に設定することもできる。第2の条件として、ノードUNk・ノードNj間に通行を妨げるような障害物或いは高熱であったりしてロボットが通行するのに適していない領域が無いようなノードNjを検索する(ST31)。このような条件を満たすノードNjが取得されたなら、ノードUNk・ノードNj間にエッジUEkjを登録し(ST32)、処理フローはST33へ進み、カウンタをj=j+1とした上でST27へ戻り、新たなノードNjを検索する。   When a robot moves from a specific position such as a current location, destination, or waypoint outside a pre-registered node or edge network to a pre-registered node or edge network, the node in the network Of these, it is reasonable to select a node as close as possible to the specific position. Therefore, among the acquired nodes Nj, edges are registered only for nodes that satisfy two conditions. As a first condition, it is assumed that the distance between the node UNk and the node Nj is smaller than a predetermined threshold T, for example, a distance of 5 m as a unit suitable for route determination (ST30). That is, the node Nj existing in the range of the distance within the threshold T from the node UNk is searched. The threshold T can be set to a value different from the threshold used in the processing flow shown in FIG. 4 as necessary. As a second condition, a search is made for a node Nj where there is no obstacle between the node UNk and the node Nj or there is no area that is not suitable for the robot to pass due to high fever (ST31). If the node Nj satisfying such conditions is acquired, the edge UEkj is registered between the node UNk and the node Nj (ST32), the process flow proceeds to ST33, the counter is set to j = j + 1, and the process returns to ST27. Search for a new node Nj.

ST27において、全てのノードNjの検索が完了したならば、カウンタをk=k+1とした上でST24に戻り、新たなノードUNkを検索する。ST24において、全てのノードUNkの検索が完了したならば、ロボットが通行し得るエッジEij、UEkjが全て登録されたことになるので、公知の手法を利用して、現在位置から目的地に至るエッジEij、UEkjを通過する最短コースを計算する(ST35)。図7は、既に登録されているノードNij或いはエッジEijのネットワークに加えて、ネットワーク外の現在位置HP、目的地A、或いは経由地(図示せず)等の特定位置から、ネットワークに至るエッジUEkjを追加した様子を示している(請求項2)。   If all the nodes Nj have been searched in ST27, the counter is set to k = k + 1 and the process returns to ST24 to search for a new node UNk. If all the nodes UNk are searched in ST24, all the edges Eij and UEkj through which the robot can pass are registered. Therefore, the edge from the current position to the destination using a known method The shortest course that passes through Eij and UEkj is calculated (ST35). FIG. 7 shows an edge UEkj that reaches the network from a specific position such as a current position HP, a destination A, or a transit point (not shown) outside the network in addition to the already registered node Nij or edge Eij network. (Claim 2).

平面図が表示されたモニタ上で、例えば現在位置HPから目的地点Aへ移動せよという指令を入力すると、登録されたエッジを結びつつA地点に例えば最短距離で到達できるルートHP〜c〜e〜L2〜Aが自動的に検索されるので、ロボットは、その経路を順次辿って移動すれば良い。なお、移動ルートの設定は、例えば床面の平坦度や傾斜の程度、あるいは混雑の程度などの違いが地図上での距離だけでは加味されないので、距離だけで移動ルートを決めることが必ずしも適切ではない場合もあり得る。そこで所要時間やエネルギ消費量を勘案した評価値を算出し、その評価値が最高となるルートを選択するようにすると良い(請求項3)。またこの評価値の算出基準は、オペレータが予め設定したり、ロボットが実際に移動した結果を経験値として蓄積し、次の時にその値を反映させるようにしたりすると良い。   For example, when a command to move from the current position HP to the destination point A is input on the monitor on which the plan view is displayed, a route HP that can reach the point A with the shortest distance while connecting the registered edges, for example, HP to c to e. Since L2 to A are automatically searched, the robot may move by following the route sequentially. Note that the setting of the movement route is not always appropriate because the difference in the flatness of the floor, the degree of inclination, the degree of congestion, etc. is not taken into account only by the distance on the map. It may not be. Therefore, it is preferable to calculate an evaluation value considering the required time and energy consumption, and to select a route having the highest evaluation value (claim 3). The evaluation value calculation criteria may be set in advance by the operator, or the result of actual movement of the robot may be accumulated as an experience value so that the value is reflected at the next time.

一方、このようにして自律移動するロボットは、ジャイロコンパスやアクチュエータの変位量で移動距離並びに方向を認識しつつ移動するが、現在位置検出部15が算出した自己位置は、あくまでも推定値であり、移動平面上の絶対座標を表すものではない。そこで絶対座標として床面に直接設置されたランドマークL1・L2を適所に用意しておき、特に移動距離がある所定値を超える時には、いずれかのランドマークL1・L2を必ず経由するように経路を設定し、ランドマークL1・L2を通過するときに現在位置を補正するようにすることにより、移動中に誤差が累積することを回避することができる(請求項4)。なお、ランドマークL1・L2は、視覚により認識するもののみならず、磁気信号の発信器を床面に設置するものでも良い。   On the other hand, the robot autonomously moving in this way moves while recognizing the moving distance and direction based on the displacement amount of the gyrocompass and the actuator, but the self-position calculated by the current position detector 15 is an estimated value to the last, It does not represent absolute coordinates on the moving plane. Therefore, the landmarks L1 and L2 installed directly on the floor surface as absolute coordinates are prepared in appropriate places, and when the moving distance exceeds a predetermined value, a route is sure to pass through one of the landmarks L1 and L2. Is set, and the current position is corrected when passing through the landmarks L1 and L2, so that accumulation of errors during movement can be avoided (claim 4). The landmarks L1 and L2 are not limited to those visually recognized, but may be a magnetic signal transmitter installed on the floor.

また、家具の配置換えを行うなどして経路マップ中のあるノード間が通行不能となることがあり得る。このような事態に直ちに対処し得るように、既に登録されたエッジの削除並びに変更をオペレータが任意に行うことができるようにすると良い(請求項5)。例えば、ノードcとノードeとの間のエッジが何らかの理由で通行不能になったときにエッジc〜eを削除すると、エッジc〜eを経由せずに最短距離で現在位置HPから目標地点Aへ到達できる経路として、HP〜b〜d〜L1〜f〜Aの経路が選択される。   Further, it may be impossible to pass between certain nodes in the route map by rearranging furniture. In order to cope with such a situation immediately, it is preferable that the operator can arbitrarily delete and change the registered edge (claim 5). For example, if the edges c to e are deleted when the edge between the node c and the node e becomes impassable for some reason, the target point A from the current position HP is reached at the shortest distance without passing through the edges c to e. The routes HP to b to d to L1 to f to A are selected as the routes that can be reached.

以上の説明によって明らかなように本発明によれば、従来のような障害物を避けるための複雑な計算を行う必要がなく、また、設定可能な全てのエッジを計算対象として計算量を膨大とすることもなく、初期位置から目的地に至る最短コースを簡単かつ迅速に決定することができる。特に、設定されるべきノードの数及び位置を計画的に定めて置けば、より一層好適に本発明を実施することができる。   As is apparent from the above description, according to the present invention, it is not necessary to perform a complicated calculation for avoiding obstacles as in the prior art, and the calculation amount is enormous with all settable edges as calculation targets. Without doing so, the shortest course from the initial position to the destination can be determined easily and quickly. In particular, if the number and positions of nodes to be set are determined in a planned manner, the present invention can be implemented more suitably.

本発明が適用されるロボットの構成を示すブロック図である。It is a block diagram which shows the structure of the robot with which this invention is applied. 本発明が適用されるロボットの移動エリアを示すレイアウト図である。It is a layout figure which shows the movement area of the robot with which this invention is applied. ノードが設定・登録された状態を説明するレイアウト図である。FIG. 6 is a layout diagram illustrating a state in which nodes are set / registered. 本発明によるエッジの登録に関わる処理フロー図である。It is a processing flowchart regarding the registration of the edge by this invention. エッジが登録された状態を説明するレイアウト図である。It is a layout figure explaining the state where the edge was registered. 目標地点までのロボットの移動経路を設定する処理に関わるフロー図である。It is a flowchart in connection with the process which sets the movement path | route of the robot to a target point. 目標地点までのロボットの移動経路が設定された状態を説明するレイアウト図である。It is a layout figure explaining the state where the movement route of the robot to a target point was set up.

符号の説明Explanation of symbols

7 地図データ(地図管理手段)
11a エッジ設定処理部
11b 経路演算処理部
13 ユーザ端末(入力手段)
15 現在位置検出部(現在位置検出手段)
L1・L2 ランドマーク
F1〜F3 固定物
a〜f ノード(経由候補点)
7 Map data (map management means)
11a Edge setting processing unit 11b Route calculation processing unit 13 User terminal (input means)
15 Current position detection unit (current position detection means)
L1 ・ L2 Landmark F1 to F3 Fixed object a to f Node (via candidate point)

Claims (6)

自律移動ロボットの移動経路生成装置であって、
前記ロボットの移動領域内における経由候補点として設定される複数のノードの位置と、障害物の位置に関わる情報を記述した地図を管理する地図管理手段と、
前記ロボットの目的地を前記地図上に設定し、前記地図に基づいてモニタに画像表示された前記ロボットの移動領域の任意の地点に前記ノードをポインタによってユーザが設定するグラフィック・ユーザ・インタフェースによる入力手段と、
前記地図に記述された前記各ノードについて、ノード間の距離が所定の閾値内にあり、且つ途中に前記障害物がないノード同士を互いに直線で結び、ロボットが通行すべきエッジを設定するエッジ設定手段と、
前記地図上における前記ロボットの現在位置を検出する現在位置検出手段と、
前記エッジを接続し、前記現在位置から前記目的地に至る距離が最短となる経路を算出する経路演算手段と、
を有することを特徴とする自律移動ロボットの移動経路生成装置。
A movement path generation device for an autonomous mobile robot,
Map management means for managing a map describing information related to the position of a plurality of nodes set as via candidate points in the movement area of the robot and the position of an obstacle;
An input by a graphic user interface in which the destination of the robot is set on the map, and the user sets the node by a pointer at an arbitrary point in the moving area of the robot displayed on the monitor based on the map Means,
For each of the nodes described in the map, an edge setting in which the distance between the nodes is within a predetermined threshold and nodes that do not have the obstacle in the middle are connected with each other by a straight line, and an edge to be passed by the robot is set. Means,
Current position detecting means for detecting the current position of the robot on the map;
Route calculating means for connecting the edges and calculating a route having the shortest distance from the current position to the destination;
A moving path generation apparatus for an autonomous mobile robot characterized by comprising:
前記エッジ設定手段は、前記地図上における前記ロボットの現在位置を前記地図に予め設定されたノード以外の追加ノードとして認識し、当該追加ノードに可及的に近い位置あって途中に前記障害物がないノードと前記追加ノードとを直線で結び、ロボットが通行すべき追加エッジを設定する機能を備え、
前記経路演算手段は、予め設定された前記ノードに基づく前記エッジに加えて前記追加エッジをも経路算出の対象とするものであることを特徴とする請求項1に記載の自律移動ロボットの移動経路生成装置。
The edge setting means recognizes the current position of the robot on the map as an additional node other than a node set in advance on the map, and the obstacle is located at a position as close as possible to the additional node. A function of connecting a non-existing node and the additional node with a straight line and setting an additional edge to be passed by the robot;
The route of the autonomous mobile robot according to claim 1, wherein the route calculation means uses the additional edge in addition to the edge based on the preset node as a route calculation target. Generator.
前記経路演算手段は、移動距離に加えて、移動時間、エネルギ消費量を勘案した評価値が最高になる経路算出を行うことを特徴とする請求項1又は2に記載の自律移動ロボットの移動経路生成装置。   The route of the autonomous mobile robot according to claim 1, wherein the route calculation means performs a route calculation in which an evaluation value considering a travel time and energy consumption in addition to a travel distance is maximized. Generator. 前記ノードが、前記ロボットにより検出可能なように前記移動領域内に設置されたランドマークを含むことを特徴とする請求項1乃至3のいずれか1つに記載の自律移動ロボットの移動経路生成装置。   4. The movement path generation device for an autonomous mobile robot according to claim 1, wherein the node includes a landmark installed in the movement area so that the node can be detected by the robot. . 前記入力手段が、前記ロボットが経由すべき追加ノードとして少なくとも1つの経由点を設定すべく適合されていることを特徴とする請求項1乃至4のいずれか1つに記載の自律移動ロボットの移動経路生成装置。   5. The movement of an autonomous mobile robot according to claim 1, wherein the input means is adapted to set at least one waypoint as an additional node to be routed by the robot. Route generator. 前記現在位置検出手段が、前記ロボットに備えられ且つその情報を前記入力手段に転送するようにされていることを特徴とする請求項1乃至のいずれか1つに記載の自律移動ロボットの移動経路生成装置。 Moving the current position detecting means, the autonomous mobile robot according to any one of claims 1 to 5, characterized in that is a and the information provided in the robot to transfer to said input means Route generator.
JP2005356363A 2004-12-14 2005-12-09 Moving path generation device for autonomous mobile robot Expired - Fee Related JP4282662B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005356363A JP4282662B2 (en) 2004-12-14 2005-12-09 Moving path generation device for autonomous mobile robot

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004360814 2004-12-14
JP2005356363A JP4282662B2 (en) 2004-12-14 2005-12-09 Moving path generation device for autonomous mobile robot

Publications (2)

Publication Number Publication Date
JP2006195969A JP2006195969A (en) 2006-07-27
JP4282662B2 true JP4282662B2 (en) 2009-06-24

Family

ID=36801977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005356363A Expired - Fee Related JP4282662B2 (en) 2004-12-14 2005-12-09 Moving path generation device for autonomous mobile robot

Country Status (1)

Country Link
JP (1) JP4282662B2 (en)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1795314B1 (en) 2005-12-12 2009-10-21 HONDA MOTOR CO., Ltd. Legged mobile robot control system
KR100966875B1 (en) * 2006-09-26 2010-06-29 삼성전자주식회사 Localization method for robot by omni-directional image
JP4936288B2 (en) 2007-12-10 2012-05-23 本田技研工業株式会社 Target route generation system
JP5057239B2 (en) * 2008-05-28 2012-10-24 株式会社Ihi Unmanned transfer device and method for determining transfer route
JP6106490B2 (en) * 2013-03-28 2017-03-29 シャープ株式会社 Self-propelled electronic device and travel area designation system for self-propelled electronic device
JP5986533B2 (en) * 2013-04-18 2016-09-06 株式会社豊田中央研究所 Route correction device
DE102015119501A1 (en) * 2015-11-11 2017-05-11 RobArt GmbH Subdivision of maps for robot navigation
KR20170061968A (en) * 2015-11-27 2017-06-07 주식회사코어벨 Patrol system using robot
EP3451103A4 (en) * 2016-04-27 2019-12-11 Nidec Shimpo Corporation System, method, and computer program for mobile body management
CN107341442B (en) * 2017-05-22 2023-06-06 腾讯科技(上海)有限公司 Motion control method, motion control device, computer equipment and service robot
JP2020004342A (en) * 2018-07-02 2020-01-09 株式会社Soken Mobile body controller
JP7285441B2 (en) * 2018-07-03 2023-06-02 パナソニックIpマネジメント株式会社 Design support system, design support method and program
US11199840B2 (en) * 2018-07-03 2021-12-14 Panasonic Intellectual Property Management Co., Ltd. Mover control system, mover system, mover control method, and non-transitory storage medium
JP7341704B2 (en) * 2019-04-09 2023-09-11 清水建設株式会社 integrated management system
JP2022014996A (en) * 2020-07-08 2022-01-21 ソニーグループ株式会社 Information processing device, information processing method and program
US20230259134A1 (en) * 2020-07-21 2023-08-17 Sony Group Corporation Information processing device, information processing method, and program
CN112486172A (en) * 2020-11-30 2021-03-12 深圳市普渡科技有限公司 Road edge detection method and robot

Also Published As

Publication number Publication date
JP2006195969A (en) 2006-07-27

Similar Documents

Publication Publication Date Title
JP4282662B2 (en) Moving path generation device for autonomous mobile robot
US7474945B2 (en) Route generating system for an autonomous mobile robot
US20080079383A1 (en) Method of controlling movement of robot, mobile robot, and computer program product
JP4771147B2 (en) Route guidance system
WO2010038353A1 (en) Autonomous movement device
KR101439921B1 (en) Slam system for mobile robot based on vision sensor data and motion sensor data fusion
US8145425B2 (en) Navigation device and navigation method
JP2011506913A (en) Support device for human navigation
EP3669143B1 (en) Meeting point indication in an image
US11785430B2 (en) System and method for real-time indoor navigation
JP2008260107A (en) Mobile robot system
WO2017057053A1 (en) Information processing device, information processing method
KR20130073476A (en) Mobile apparatus and localization method of mobile apparatus
CN109760674A (en) Vehicle control apparatus
JP4315872B2 (en) Mobile robot controller
JP2020126634A (en) Method and apparatus for detecting emergency vehicle in real time and planning travel route for accommodating situation which may be caused by emergency vehicle
JP2006242978A (en) Moving route map creating method
JP3768957B2 (en) Mobile robot path setting method
JP6609588B2 (en) Autonomous mobility system and autonomous mobility control method
JP2018072069A (en) Map data structure, transmitter, and map display device
JP6923304B2 (en) Information processing device, terminal device, travel control device, control method, program and storage medium
KR20200013156A (en) Method and system for improving signage detection performance
JP4189377B2 (en) Mobile robot, mobile robot movement method, and mobile program
WO2022085368A1 (en) Information processing device, information processing system, method, and program
JP7095220B2 (en) Robot control system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090317

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090317

R150 Certificate of patent or registration of utility model

Ref document number: 4282662

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130327

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130327

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140327

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees