JP5160311B2 - Autonomous mobile device and control method of autonomous mobile device - Google Patents

Autonomous mobile device and control method of autonomous mobile device Download PDF

Info

Publication number
JP5160311B2
JP5160311B2 JP2008148335A JP2008148335A JP5160311B2 JP 5160311 B2 JP5160311 B2 JP 5160311B2 JP 2008148335 A JP2008148335 A JP 2008148335A JP 2008148335 A JP2008148335 A JP 2008148335A JP 5160311 B2 JP5160311 B2 JP 5160311B2
Authority
JP
Japan
Prior art keywords
mobile device
moving
obstacle
autonomous mobile
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008148335A
Other languages
Japanese (ja)
Other versions
JP2009294934A (en
Inventor
宗彦 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
IHI Aerospace Co Ltd
Original Assignee
IHI Corp
IHI Aerospace Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp, IHI Aerospace Co Ltd filed Critical IHI Corp
Priority to JP2008148335A priority Critical patent/JP5160311B2/en
Publication of JP2009294934A publication Critical patent/JP2009294934A/en
Application granted granted Critical
Publication of JP5160311B2 publication Critical patent/JP5160311B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0289Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling with means for avoiding collisions between vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、制御装置を搭載し制御装置によって制御されて自律移動を行う自律移動装置及びこのような自律移動装置の制御方法に関する。   The present invention relates to an autonomous mobile device that is equipped with a control device and performs autonomous movement under the control of the control device, and a control method for such an autonomous mobile device.

従来、制御装置を搭載し、この制御装置によって制御されて自律移動を行う自律移動装置が提案されている。この自律移動装置は、予め地図情報に対応されて指定された移動ルート上を移動し、または、移動ルートを指定する遠隔操作信号に基づいて、指定された移動ルート上を移動する。   2. Description of the Related Art Conventionally, an autonomous mobile device that is equipped with a control device and performs autonomous movement under the control of the control device has been proposed. The autonomous mobile device moves on a designated movement route in advance corresponding to map information, or moves on a designated movement route based on a remote operation signal designating the movement route.

このような自律移動装置における制御装置は、自律移動装置を目的地に到達させるために、外界の障害物の有無をセンサにより計測し、移動の可否を判断して、移動ルートを修正する。すなわち、制御装置は、指定された移動ルートを辿りつつも、移動ルート上に障害物が存在する場合には、この障害物を回避するために一旦は指定された移動ルートを外れ、障害物を回避した後に、指定された移動ルートに戻るという制御を行う。   In order to make the autonomous mobile device reach the destination, the control device in such an autonomous mobile device measures the presence or absence of an obstacle in the outside world by using a sensor, determines whether or not the vehicle can move, and corrects the movement route. In other words, when there is an obstacle on the movement route while following the designated movement route, the control device once deviates from the designated movement route to avoid the obstacle, and removes the obstacle. After avoiding, control is performed to return to the designated travel route.

このような自律移動装置において、移動ルート上の障害物の有無を計測するには、レーザレンジファインダ(LRF)やステレオカメラなどのセンサを用い、これらセンサから得られる情報から形状情報を得て、障害物の有無を判定している。これにより、障害物を回避しながらの自律移動が可能となる。   In such an autonomous mobile device, in order to measure the presence or absence of an obstacle on the moving route, using a sensor such as a laser range finder (LRF) or a stereo camera, obtaining shape information from information obtained from these sensors, Judging whether there is an obstacle. Thereby, autonomous movement while avoiding an obstacle becomes possible.

ところで、乗用車など人が運転する装置においては、見通しの悪い交差点などを通過するときには、運転者は、まず、見通しの悪い箇所があることを認識し、次に、一旦停止をするなどして見通しを確保し、他の装置などの移動障害物がないことを確認してから、移動を再開するようにしている。また、そのような道路においては、一般的に、信号や一旦停止などの標識が存在し、運転者は、これらに従って運転することにより安全を確保している。   By the way, in a passenger-driven device such as a passenger car, when passing through an intersection with poor visibility, the driver first recognizes that there is a portion with poor visibility, and then stops and looks at it. After confirming that there are no moving obstacles such as other devices, the movement is resumed. Also, on such roads, there are generally signs such as traffic lights and temporary stops, and the driver ensures safety by driving according to these signs.

自律移動装置においては、センサの計測範囲内に移動障害物が存在する場合には、自動的に移動障害物を追跡し、移動障害物の移動経路を先読みして、未然に衝突を回避している。しかし、自律移動装置は、交差点など見通しの悪い場所においては、見通しの悪い箇所があることを認識することができないので、一旦停止をするなど見通しを確保する動作をとることができず、移動障害物の有無を十分に確認することができない。また、自律移動装置は、信号や一旦停止などの標識を認識することができない。   In an autonomous mobile device, if there is a moving obstacle within the measurement range of the sensor, it automatically tracks the moving obstacle, prefetches the movement path of the moving obstacle, and avoids a collision in advance. Yes. However, since autonomous mobile devices cannot recognize that there are places with poor visibility in places with poor visibility, such as intersections, it is not possible to take action to secure the visibility, such as temporarily stopping, and moving obstacles The presence or absence of an object cannot be fully confirmed. Further, the autonomous mobile device cannot recognize a signal or a sign such as a temporary stop.

このような交差点などにおける衝突回避動作を実現するための技術として、例えば、特許文献1には、GPS情報と地図情報とに基づき、また、ウインカの動作や横断歩道の有無などを検出して、自動的に交差点及び移動障害物の存在可能性を推定する技術が記載されている。   As a technique for realizing a collision avoidance operation at such an intersection or the like, for example, in Patent Document 1, based on GPS information and map information, the operation of a blinker, the presence or absence of a pedestrian crossing, and the like are detected. A technique for automatically estimating the existence of intersections and moving obstacles is described.

また、特許文献2には、歩行者等移動障害物に予め発信機を取り付けておき、この発信機が発する信号を自律移動装置において検出することにより、見通しの悪い領域での安全を確保する技術が記載されている。   Patent Document 2 discloses a technique for securing safety in a region with poor visibility by attaching a transmitter in advance to a moving obstacle such as a pedestrian and detecting a signal emitted by the transmitter in an autonomous mobile device. Is described.

特許3617307号公報Japanese Patent No. 3617307 特開平11−232569号公報Japanese Patent Laid-Open No. 11-232669

従来の自律移動装置における移動障害物回避方法は、全ての移動障害物がセンサの計測範囲内に存在している必要がある。したがって、従来の自律移動装置は、死角から飛び出す移動障害物には対処することができなかった。   The conventional moving obstacle avoidance method in an autonomous mobile device requires that all moving obstacles exist within the measurement range of the sensor. Therefore, the conventional autonomous mobile device cannot cope with a moving obstacle that pops out from the blind spot.

そして、交差点などにおける衝突回避動作を実現するための従来の技術を自律移動装置に適用する場合には、以下の問題点が考えられる。   And when applying the conventional technique for implement | achieving the collision avoidance operation | movement in an intersection etc. to an autonomous mobile device, the following problems can be considered.

すなわち、信号や標識などを認識できるようにするため、これら信号等を自動的に検出するには、画像処理などを行うための専用の検出装置が必要となり、装置構成が複雑化、大型化してしまう。   That is, in order to be able to recognize signals, signs, etc., in order to automatically detect these signals, etc., a dedicated detection device for performing image processing, etc. is required, and the device configuration becomes complicated and large. End up.

また、信号や標識などが認識できても、信号や標識が設置されていない道路や環境においては、衝突の危険を回避することができない。   Even if a signal or sign can be recognized, the danger of a collision cannot be avoided on a road or environment where no signal or sign is installed.

また、特許文献1に記載されているように、GPS情報及び地図情報を用いる技術においては、路上に駐車された車輌の陰など、既知情報にはない見通しの悪い箇所に存在する移動障害物については、衝突の危険を回避することができない。また、横断歩道などを検出することにより交差点を検出するようにしても、横断歩道などが設けられていない道路においては、衝突の危険を回避することができない。   In addition, as described in Patent Document 1, in the technology using GPS information and map information, moving obstacles that exist in places with poor visibility that are not in known information, such as the shadow of a vehicle parked on the road. Can not avoid the danger of collision. Even if an intersection is detected by detecting a pedestrian crossing or the like, the risk of a collision cannot be avoided on a road without a pedestrian crossing or the like.

さらに、特許文献2に記載されているように、移動障害物に発信機を取り付ける技術においては、全ての移動障害物に発信機を取り付ける必要があり、任意の環境において実行できるものではない。   Furthermore, as described in Patent Document 2, in the technique of attaching a transmitter to a moving obstacle, it is necessary to attach a transmitter to all the moving obstacles, which cannot be executed in any environment.

そこで、本発明は、前述の実情に鑑みて提案されるものであり、自律移動装置及び自律移動装置の制御方法であって、壁などによる未計測領域(死角)が存在し不用意に未知の移動障害物が飛び出し得る領域を移動する場合において、装置構成を複雑化、大型化することなく、信号や標識、横断歩道などの設置の有無に拘わらず、出会い頭の衝突を自律的に回避することができる自律移動装置及び自律移動装置の制御方法を提供することを目的とする。   Therefore, the present invention is proposed in view of the above-described circumstances, and is an autonomous mobile device and a method for controlling the autonomous mobile device, where an unmeasured region (dead angle) due to a wall or the like exists and is not carelessly unknown. When moving in an area where a moving obstacle can pop out, the collision of the encounter is autonomously avoided regardless of the presence of signals, signs, pedestrian crossings, etc., without complicating and increasing the size of the device configuration. It is an object of the present invention to provide an autonomous mobile device and a method for controlling the autonomous mobile device.

前述の課題を解決し、前記目的を達成するため、本発明は、以下の構成のいずれか一を有するものである。   In order to solve the above-described problems and achieve the object, the present invention has any one of the following configurations.

〔構成1〕
本発明に係る自律移動装置は、移動可能となされた無人移動装置と、無人移動装置に搭載されこの無人移動装置の周囲の固定障害物及び移動障害物の有無を計測するセンサと、無人移動装置に搭載されセンサによる計測結果に基づいて固定障害物のない移動可能領域を検出してこの移動可能領域内において無人移動装置の移動予定路を決定し無人移動装置を制御して移動予定路上を移動させるとともにセンサによる計測結果に基づいて移動障害物を検出してこの移動障害物の移動経路を予測して該移動障害物との衝突を回避させる制御手段とを備え、制御手段は、移動予定経路上の任意の点から直角方向に、固定障害物、または、移動障害物による未計測領域と移動可能領域とが接する境界が発見された場合には、任意の点から境界までの距離が未計測領域から移動障害物が飛び出した後に衝突回避動作ができる余裕のある距離である場合を除いて、その探索の開始位置を飛び出し可能性区間とし、無人移動装置からみて飛び出し可能性区間が始まる位置までに、減速、または、停止できるように制動を行い、移動障害物を検出した場合には、停止状態を続け、移動障害物が存在しない場合には、当初の速度に復帰して、移動予定経路に沿った移動を再開することを特徴とするものである。
[Configuration 1]
An autonomous mobile device according to the present invention includes an unmanned mobile device that can be moved, a sensor that is mounted on the unmanned mobile device and measures the presence of fixed obstacles and moving obstacles around the unmanned mobile device, and the unmanned mobile device Based on the measurement result of the sensor mounted on the vehicle, a movable area without a fixed obstacle is detected, a planned movement path of the unmanned mobile device is determined in this movable area, and the unmanned mobile device is controlled to move on the planned movement path Control means for detecting a moving obstacle based on a measurement result of the sensor and predicting a movement path of the moving obstacle to avoid a collision with the moving obstacle. orthogonally from any point above distance of the fixed obstacle, or, if the boundary and the movable region and the non-measurement area by the moving obstacle contact is found, from any point to the boundary There, except where it is a certain distance enough to accommodate a collision avoidance operation after moving obstacle from unmeasured region flew out, and with the possibility segment pop-out the start position of the search, possibly interval popping viewed from the unmanned mobile device Brake is performed so that the vehicle can be decelerated or stopped by the start position, and when a moving obstacle is detected, the stop state is continued, and when there is no moving obstacle, the speed returns to the original speed, The movement along the planned movement path is resumed.

〔構成2〕
本発明に係る自律移動装置の制御方法は、移動可能な無人移動装置に搭載され周囲の固定障害物及び移動障害物の有無を計測するセンサによる計測結果に基づいて無人移動装置の移動を制御する自律移動装置の制御方法であって、センサによる計測結果に基づいて固定障害物のない移動可能領域を検出しこの移動可能領域内において無人移動装置の移動予定路を決定し、センサによる計測結果に基づいて移動障害物を検出してこの移動障害物の移動経路を予測し、無人移動装置を制御して移動障害物との衝突を回避させつつ移動予定路上を移動させ、移動予定経路上の任意の点から直角方向に、固定障害物、または、移動障害物による未計測領域と移動可能領域とが接する境界が発見された場合には、任意の点から境界までの距離が未計測領域から移動障害物が飛び出した後に衝突回避動作ができる余裕のある距離である場合を除いて、その探索の開始位置を飛び出し可能性区間とし、無人移動装置からみて飛び出し可能性区間が始まる位置までに、減速、または、停止できるように制動を行い、移動障害物を検出した場合には、停止状態を続け、移動障害物が存在しない場合には、当初の速度に復帰して、移動予定経路に沿った移動を再開することを特徴とするものである。
[Configuration 2]
The method for controlling an autonomous mobile device according to the present invention controls the movement of the unmanned mobile device based on a measurement result by a sensor mounted on a movable unmanned mobile device and measuring the presence or absence of a surrounding fixed obstacle and a moving obstacle. A method for controlling an autonomous mobile device, in which a movable area without a fixed obstacle is detected based on a measurement result by a sensor, a planned movement path of an unmanned mobile device is determined in the movable area, and the measurement result by the sensor Based on the detection of the moving obstacle and predicting the moving path of the moving obstacle, controlling the unmanned moving device to avoid the collision with the moving obstacle, moving on the planned moving path, and arbitrarily moving on the planned moving path. perpendicularly from the viewpoint of a fixed obstacle, or, if the boundary and the movable region and the non-measurement area by the moving obstacle contact is found, the unmeasured territory distance from any point to the boundary Except when moving obstacle is the distance a margin that may collision avoidance operation after jumped out, and the search of start position from jumping out potential section, in to a position where potential section popping viewed from the unmanned mobile device begins If the vehicle is detected so that it can be decelerated or stopped and a moving obstacle is detected, it will continue to stop, and if there is no moving obstacle, it will return to its original speed and enter the planned movement route. The movement along the line is resumed.

構成1を有する本発明に係る自律移動装置においては、制御手段は、移動予定経路上の任意の点から直角方向に、固定障害物、または、移動障害物による未計測領域と移動可能領域とが接する境界が発見された場合には、任意の点から境界までの距離が未計測領域から移動障害物が飛び出した後に衝突回避動作ができる余裕のある距離である場合を除いて、その探索の開始位置を飛び出し可能性区間とし、無人移動装置からみて飛び出し可能性区間が始まる位置までに、減速、または、停止できるように制動を行い、移動障害物を検出した場合には、停止状態を続け、移動障害物が存在しない場合には、当初の速度に復帰して、移動予定経路に沿った移動を再開するので、未計測領域(死角)が存在し、不用意に移動障害物の飛び出しが発生するような領域を移動する場合においても、出会い頭の衝突を自律的に回避することが可能である。 In the autonomous mobile device according to the present invention having the configuration 1, the control means includes a fixed obstacle or an unmeasured area and a movable area due to the moving obstacle in a direction perpendicular to an arbitrary point on the planned movement route. If a touching boundary is found, start the search unless the distance from any point to the boundary is a distance that allows a collision avoidance action after a moving obstacle has popped out of the unmeasured area Set the position as a pop-out possibility section, brake it so that it can decelerate or stop until the position where the pop-out possibility section starts when viewed from the unmanned mobile device, and if a moving obstacle is detected, continue the stop state, When there are no moving obstacles, the speed returns to the original speed and the movement along the planned movement path is resumed, so there is an unmeasured area (blind spot) and the moving obstacles pop out inadvertently. In the case of moving the so that a region, it is possible to autonomously avoid collision Crossing.

したがって、この自律移動装置は、移動障害物の飛び出しの可能性の無い領域においては高速で移動し、飛び出しの可能性のある領域においては、減速することにより、確実に衝突を回避することが可能である。   Therefore, this autonomous mobile device can avoid collisions reliably by moving at high speed in areas where there is no possibility of jumping out of moving obstacles and decelerating in areas where there is a possibility of jumping out. It is.

構成2を有する本発明に係る自律移動装置の制御方法においては、移動予定経路上の任意の点から直角方向に、固定障害物、または、移動障害物による未計測領域と移動可能領域とが接する境界が発見された場合には、任意の点から境界までの距離が未計測領域から移動障害物が飛び出した後に衝突回避動作ができる余裕のある距離である場合を除いて、その探索の開始位置を飛び出し可能性区間とし、無人移動装置からみて飛び出し可能性区間が始まる位置までに、減速、または、停止できるように制動を行い、移動障害物を検出した場合には、停止状態を続け、移動障害物が存在しない場合には、当初の速度に復帰して、移動予定経路に沿った移動を再開するので、未計測領域(死角)が存在し、不用意に移動障害物の飛び出しが発生するような領域を移動させる場合においても、出会い頭の衝突を自律的に回避させることが可能である。 In the control method of the autonomous mobile device according to the present invention having the configuration 2, the fixed obstacle or the unmeasured area due to the moving obstacle and the movable area are in contact with each other at a right angle from any point on the planned movement route. If a boundary is found , the search start position , except when the distance from any point to the boundary is a distance that allows a collision avoidance operation after a moving obstacle has popped out of the unmeasured area If the obstacle is detected by moving to a position where it can be decelerated or stopped until it reaches the position where the pop-out possibility section starts when viewed from the unmanned mobile device, the stop state is continued and moved. If there are no obstacles, the speed will return to the original speed, and the movement along the planned route will be resumed, so there will be an unmeasured area (dead zone) and the moving obstacle will pop out inadvertently. In the case of moving the area as well, it is possible to autonomously avoid collision Crossing.

したがって、この自律移動装置の制御方法によれば、移動障害物の飛び出しの可能性の無い領域においては高速で移動させ、飛び出しの可能性のある領域においては、減速させることにより、確実に衝突を回避させることが可能である。   Therefore, according to the control method of the autonomous mobile device, the collision is surely performed by moving at a high speed in an area where a moving obstacle is not likely to jump out and decelerating in an area where the obstacle is likely to jump out. It is possible to avoid it.

すなわち、本発明は、自律移動装置及び自律移動装置の制御方法であって、壁などによる未計測領域(死角)が存在し不用意に未知の移動障害物が飛び出し得る領域を移動する場合において、装置構成を複雑化、大型化することなく、信号や標識、横断歩道などの設置の有無に拘わらず、出会い頭の衝突を自律的に回避することができる自律移動装置及び自律移動装置の制御方法を提供することができるものである。   That is, the present invention is an autonomous mobile device and an autonomous mobile device control method, in the case where there is an unmeasured area (dead angle) due to a wall or the like, and when moving an area where an unknown moving obstacle can pop out carelessly, An autonomous mobile device and an autonomous mobile device control method capable of autonomously avoiding a collision at an encounter, regardless of whether a signal, a sign, a pedestrian crossing, or the like is installed without complicating or increasing the size of the device It can be provided.

以下、本発明の実施の形態を図面に基づいて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

〔自律移動装置の構成〕
図1は、本発明に係る自律移動装置の外観構成を示す側面図である。
[Configuration of autonomous mobile device]
FIG. 1 is a side view showing an external configuration of an autonomous mobile device according to the present invention.

この自律移動装置は、図1に示すように、移動可能となされた無人車(UGV)1と、この無人車1に搭載された制御手段(自律制御用コンピュ−タ)2とを備えている。無人車1は、制御手段2によって制御される。この制御手段2は、地図情報に基づいて、無人車1の自律移動を可能とする。   As shown in FIG. 1, the autonomous mobile device includes an unmanned vehicle (UGV) 1 that can be moved, and a control unit (autonomous control computer) 2 mounted on the unmanned vehicle 1. . The unmanned vehicle 1 is controlled by the control means 2. This control means 2 enables autonomous movement of the unmanned vehicle 1 based on the map information.

無人車1には、周囲の固定障害物及び移動障害物を計測するセンサ3、自己位置計測のためのGPS受信装置4、オドメータ、姿勢計測のためのバーチカルジャイロ等が搭載されている。センサ3としては、例えば、レーザレンジファインダ(LRF)や、測距センサとなるステレオカメラなどを用いることができる。   The unmanned vehicle 1 is equipped with a sensor 3 for measuring surrounding fixed obstacles and moving obstacles, a GPS receiver 4 for self-position measurement, an odometer, a vertical gyro for posture measurement, and the like. As the sensor 3, for example, a laser range finder (LRF), a stereo camera serving as a distance measuring sensor, or the like can be used.

図2は、本発明に係る自律移動装置における制御ハードウェア構成を示すブロック図である。   FIG. 2 is a block diagram showing a control hardware configuration in the autonomous mobile device according to the present invention.

この自律移動装置の制御手段2は、センサデータ入力コンピュータ2a、移動可否領域判定/地図生成コンピュータ2b及び機体制御処理コンピュータ2cからなる。各コンピュータ2a,2b,2cは、LAN10で接続されており、それぞれの処理結果の通信を行う。   The control means 2 of this autonomous mobile device comprises a sensor data input computer 2a, a movable area determination / map generation computer 2b, and a machine control processing computer 2c. Each computer 2a, 2b, 2c is connected by LAN10 and communicates each processing result.

この制御手段2のセンサデータ入力コンピュータ2aには、外界計測デバイス5及び自己位置計測デバイス6からのデータが、I/Oバス(データバス)8を通じて入力される。移動可否領域判定/地図生成コンピュータ2bは、センサデータ入力コンピュータ2aに入力されたデータ及び地図情報に基づき、予め設定された移動ルートの移動が可能か否かを判定する。機体制御処理コンピュータ2cは、I/Oバス9を通じて、モータドライバやD/Aコンバータに接続され、ハンドルアクチュエータ及びブレーキ・アクセル・バイワイヤ等からなる車体制御デバイス7を制御して、無人車1の移動の制御を行う。   Data from the external measuring device 5 and the self-position measuring device 6 are input to the sensor data input computer 2 a of the control means 2 through the I / O bus (data bus) 8. The movable area determination / map generation computer 2b determines whether or not movement of a predetermined movement route is possible based on the data and map information input to the sensor data input computer 2a. The airframe control processing computer 2c is connected to a motor driver and a D / A converter through an I / O bus 9, and controls a vehicle body control device 7 including a handle actuator, a brake, an accelerator, a by-wire, and the like to move the unmanned vehicle 1 Control.

図3は、本発明に係る自律移動装置における制御ソフトウェア構成を示すブロック図である。   FIG. 3 is a block diagram showing a control software configuration in the autonomous mobile device according to the present invention.

この自律移動装置の制御手段2における制御ソフトウェア構成においては、複数のセンサデータI/Oモジュール、すなわち、LRFデータI/Oモジュール11、自己位置データI/Oモジュール12及び機体制御I/Oモジュール13を有している。これらセンサデータI/Oモジュールにおいては、レーザレンジファインダ(LRF)については座標変換、自己位置についてはデータ統合などの前処理を行う。自己位置情報生成モジュール14は、無人車1の自己位置の情報を生成する。障害物検出モジュール19は、LRFデータI/Oモジュール11からのセンサデータに基づいて、周囲の固定障害物及び移動障害物の有無を計測し、障害物/移動可能領域情報を生成して、地図生成モジュール15に送る。   In the control software configuration in the control means 2 of the autonomous mobile device, a plurality of sensor data I / O modules, that is, an LRF data I / O module 11, a self-position data I / O module 12, and an airframe control I / O module 13 are used. have. In these sensor data I / O modules, pre-processing such as coordinate conversion is performed for the laser range finder (LRF) and data integration is performed for the self-position. The self position information generation module 14 generates self position information of the unmanned vehicle 1. The obstacle detection module 19 measures the presence or absence of surrounding fixed obstacles and moving obstacles based on the sensor data from the LRF data I / O module 11, generates obstacle / movable area information, and Send to generation module 15.

そして、地図生成モジュール15は、移動しながら得られたレーザレンジファインダ(LRF)からのデータに基づく移動可否情報を、一枚の格子状の地図上にマッピングし、障害物/移動可能領域/未計測領域を示す地図を生成する。   Then, the map generation module 15 maps the movement availability information based on the data from the laser range finder (LRF) obtained while moving on a single grid-like map, and displays the obstacle / movable area / A map showing the measurement area is generated.

移動経路生成モジュール17は、作成した地図に基づいて、移動予定経路106を生成する。飛び出し領域検出モジュール18は、移動可能領域と未計測領域との境界、すなわち、「飛び出し領域」を検出し、この「飛び出し領域」と移動予定経路106との距離を検出する。また、機体制御モジュール16は、決定された移動予定経路106に沿った移動を行うため、各アクチュエータの動作量を決定し、ハンドル角度/車速を機体制御I/Oモジュール13に指示する。   The movement route generation module 17 generates the planned movement route 106 based on the created map. The pop-out area detection module 18 detects the boundary between the movable area and the unmeasured area, that is, the “pop-out area”, and detects the distance between the “pop-out area” and the planned movement path 106. In addition, the aircraft control module 16 determines the amount of operation of each actuator to move along the determined planned movement path 106 and instructs the aircraft control I / O module 13 on the steering wheel angle / vehicle speed.

〔自律移動装置の動作〕
図4は、本発明に係る自律移動装置の移動障害物が存在する場合の移動状態を示す平面図である。
[Operation of autonomous mobile device]
FIG. 4 is a plan view showing a moving state when there is a moving obstacle of the autonomous mobile device according to the present invention.

図4に示すように、本発明に係る自律移動装置に設けられたセンサ3は、LRFやステレオカメラ等、測距が可能なセンサであって、所定の計測範囲(角度範囲及び距離により特定される領域)内の固定障害物及び移動障害物の有無を検出する。   As shown in FIG. 4, the sensor 3 provided in the autonomous mobile device according to the present invention is a sensor capable of ranging, such as an LRF or a stereo camera, and is specified by a predetermined measurement range (angle range and distance). The presence or absence of fixed obstacles and moving obstacles in the area).

この自律移動装置は、センサ計測範囲に移動障害物101が入ると、この移動障害物101の位置及び移動方向を検出し、この検出結果に基づいて、移動障害物101との衝突を回避するための旋回/制動制御を行うようになっている。   This autonomous mobile device detects the position and moving direction of the moving obstacle 101 when the moving obstacle 101 enters the sensor measurement range, and avoids a collision with the moving obstacle 101 based on the detection result. The turning / braking control is performed.

図5は、壁に囲まれた道における交差点のような、見通しの悪い状況を示す平面図である。   FIG. 5 is a plan view showing a situation with poor visibility, such as an intersection on a road surrounded by walls.

図5に示すように、壁102に囲まれた道における交差点のような見通しの悪い状況においては、本来ならばセンサ計測範囲内(所定の角度範囲内及び所定の距離内)となる位置に移動障害物101が存在しても、固定障害物(壁など)102など見通しを遮る物体が存在することにより、センサ3に死角が発生し、移動障害物101の検出が不可能となる。   As shown in FIG. 5, in a situation with poor visibility such as an intersection on a road surrounded by a wall 102, the robot moves to a position that would normally be within the sensor measurement range (within a predetermined angle range and within a predetermined distance). Even if the obstacle 101 exists, the presence of an obstructing object such as a fixed obstacle (such as a wall) 102 causes a blind spot in the sensor 3 and makes it impossible to detect the moving obstacle 101.

図6は、見通しの悪い状況におけるセンサによる計測状態を示す平面図である。   FIG. 6 is a plan view showing a measurement state by the sensor in a situation where visibility is poor.

図6に示すように、壁102などは、固定障害物として検出可能であり、自律移動装置は、これら固定障害物を避けながら移動可能領域を移動する。交差点内は、移動可能領域103として検出されているため、従来の自律移動装置は、旋回や制動を行うことなく交差点内に進入する。このとき、交差点内において、移動障害物101と衝突する虞がある。   As shown in FIG. 6, the wall 102 and the like can be detected as fixed obstacles, and the autonomous mobile device moves in the movable region while avoiding these fixed obstacles. Since the inside of the intersection is detected as the movable region 103, the conventional autonomous mobile device enters the intersection without turning or braking. At this time, there is a possibility of colliding with the moving obstacle 101 in the intersection.

図7は、見通しの悪い状況における自律制御の移動制御に使用する地図の例を示す平面図である。   FIG. 7 is a plan view showing an example of a map used for autonomous control movement control in a situation with poor visibility.

すなわち、従来の自律移動装置は、図7に示すように、センサ計測結果を逐次判断し、移動可能領域103と固定障害物102との区別を行い、移動可能領域を連続的に繋ぐ移動予定経路106を自動的に生成し、この経路上を移動する。   That is, as shown in FIG. 7, the conventional autonomous mobile device sequentially determines sensor measurement results, distinguishes between the movable area 103 and the fixed obstacle 102, and a planned movement path that continuously connects the movable areas. 106 is automatically generated and moved on this route.

図8は、飛び出しの可能性のある領域の検出原理を示す平面図である。   FIG. 8 is a plan view showing the principle of detection of a region with a possibility of popping out.

センサ計測結果から作成される地図上においては、図8に示すように、移動可能領域103と未計測領域104とが接する境界105が存在する。これは、見通しを遮る固定障害物102が存在することにより発生する。これら境界105においては、未計測領域104の方向に、移動可能領域103が広がっている可能性がある。移動可能領域103は、移動障害物101にとっても移動可能な領域であるため、これら未計測領域104を移動する移動障害物101が存在する可能性がある。   On the map created from the sensor measurement result, there is a boundary 105 where the movable area 103 and the unmeasured area 104 are in contact with each other, as shown in FIG. This occurs due to the presence of a fixed obstacle 102 that blocks the line of sight. At these boundaries 105, there is a possibility that the movable area 103 extends in the direction of the unmeasured area 104. Since the movable area 103 is an area that can be moved by the moving obstacle 101, there is a possibility that the moving obstacle 101 that moves in the unmeasured area 104 exists.

しかし、自律移動装置のセンサ3からは、固定障害物102に遮られた移動可能領域103に存在する移動障害物101を計測することができない。   However, the moving obstacle 101 existing in the movable area 103 blocked by the fixed obstacle 102 cannot be measured from the sensor 3 of the autonomous mobile device.

したがって、移動可能領域103と未計測領域104とが接する境界105を検出することにより、飛び出しの可能性がある領域を自動的に検出することが可能となる。   Therefore, by detecting the boundary 105 where the movable area 103 and the unmeasured area 104 are in contact with each other, it is possible to automatically detect an area that may be popped out.

図9中の(a)は、飛び出しの可能性がある領域の検出手法を示す平面図であり、図9中の(b)は、実際に検出された地図を示す平面図である。   (A) in FIG. 9 is a plan view showing a method for detecting a region that may jump out, and (b) in FIG. 9 is a plan view showing a map that is actually detected.

この自律移動装置においては、図9中の(a)に示すように、地図上において移動予定経路106上の任意の点(p0,p1,・・・pi)から直角方向に、地図上の属性を評価する。このとき、移動可能領域103から未計測領域104に変化する箇所(境界105)が発見された場合には、その探索の開始位置(p0,p1,・・・pi)を記憶する。   In this autonomous mobile device, as shown in (a) of FIG. 9, the attribute on the map is perpendicular to the arbitrary point (p0, p1,..., Pi) on the planned movement path 106 on the map. To evaluate. At this time, if a location (boundary 105) that changes from the movable region 103 to the unmeasured region 104 is found, the search start position (p0, p1,..., Pi) is stored.

このとき、道幅が広い場合など、探索開始位置から境界105までの距離が十分に大きい場合がある。この場合には、その距離と移動障害物101の一般的な移動速度を考慮して、移動障害物101が未計測領域104から飛び出した後に通常の衝突回避動作ができる余裕のある距離と判断されれば、以下に述べる衝突回避処理は行わない。   At this time, the distance from the search start position to the boundary 105 may be sufficiently large, such as when the road is wide. In this case, in consideration of the distance and the general moving speed of the moving obstacle 101, it is determined that the distance that allows a normal collision avoidance operation after the moving obstacle 101 jumps out of the unmeasured area 104 is determined. If so, the collision avoidance process described below is not performed.

このような検索の終了後、記憶された移動予定経路106上の探索開始位置が、飛び出し可能性のある飛び出し可能性区間106aとなる。   After such a search is completed, the stored search start position on the planned movement route 106 becomes a pop-out possibility section 106a that may pop out.

なお、センサ3の水平方向の計測角度範囲が180°より少ない場合には、自律移動装置の近傍の領域においては、固定障害物102が存在しなくとも、移動可能領域103と未計測領域104とが接する境界105が発生する。このような境界105を無視するため、自律移動装置からの距離が所定の距離以下である近傍領域においては、境界105の検出処理を行わない。このような近傍領域の範囲は、センサ3の計測角度範囲や道幅、移動障害物101の想定される速度等に基づいて決定する。   When the horizontal measurement angle range of the sensor 3 is smaller than 180 °, the movable area 103 and the unmeasured area 104 are not included in the area near the autonomous mobile device even if the fixed obstacle 102 is not present. A boundary 105 that contacts is generated. Since such a boundary 105 is ignored, the boundary 105 is not detected in the vicinity region where the distance from the autonomous mobile device is equal to or less than a predetermined distance. The range of such a nearby region is determined based on the measurement angle range and road width of the sensor 3, the assumed speed of the moving obstacle 101, and the like.

また、移動予定経路106が曲線状であっても、前述したように、移動予定経路106から直角方向への探索が可能である。ただし、円弧の外側は検索密度が疎になるため、この場合には、適宜遠方になるにつれ探索幅を広げるなどの処理を行うとよい。   Further, even when the planned movement route 106 is curved, as described above, a search in the direction perpendicular to the planned movement route 106 is possible. However, since the search density is sparse outside the arc, in this case, it is preferable to perform processing such as widening the search width as it becomes farther away.

実際のセンサを用いる場合には、図9中の(a)に示すような密な地図が得られない場合がある。この場合には、障害物領域を保持しながら、メディアンフィルタやモルフォロジー処理により、島状の未計測領域やノイズを除去することが可能であり、図9中の(b)に示すように、実用上問題のない地図が得られる。なお、図9中の(b)においては、黒色部分が障害物領域(路肩)、白色部分が移動可能領域103を示している。   When an actual sensor is used, a dense map as shown in FIG. 9A may not be obtained. In this case, it is possible to remove the island-like unmeasured area and noise by the median filter and the morphological process while holding the obstacle area. As shown in FIG. A map with no problems is obtained. In FIG. 9B, the black portion indicates the obstacle region (road shoulder), and the white portion indicates the movable region 103.

図10は、飛び出し発生区間を検出した後の本発明に係る自律移動装置の制御を示す平面図である。   FIG. 10 is a plan view showing the control of the autonomous mobile device according to the present invention after the pop-out occurrence section is detected.

この自律移動装置は、図10に示すように、移動予定経路106上に、飛び出し可能性のある飛び出し可能性区間106aが発生した場合には、車体からみて飛び出し可能性区間106aが始まる位置までに、減速、または、停止できるように制動を行う。   As shown in FIG. 10, in the autonomous mobile device, when a pop-out possibility section 106a having a possibility of popping out occurs on the planned movement route 106, the autonomous mobile device reaches the position where the pop-out possibility section 106a starts when viewed from the vehicle body. , Brake so that you can slow down or stop.

図11は、本発明に係る自律移動装置が飛び出し可能性区間に近づいたときの様子を示す平面図である。   FIG. 11 is a plan view showing a state when the autonomous mobile device according to the present invention approaches the popping possibility section.

本発明に係る自律移動装置は、図11に示すように、飛び出し可能性区間106aに近づくと、減速、または、停止するため、他の移動障害物101に自ら衝突することはない。飛び出し可能性区間106aに近づくにつれ、死角は少なくなり、より広い領域を計測することができるようになる。   As shown in FIG. 11, the autonomous mobile device according to the present invention decelerates or stops when approaching the pop-out possibility section 106 a, so that it does not collide with another moving obstacle 101 by itself. As it approaches the pop-out possibility section 106a, the blind spot is reduced, and a wider area can be measured.

なお、センサ3の計測角度範囲が180°より狭い場合には、センサ3のパン制御などにより、くまなく計測を行うようにしてもよい。このとき、自律移動装置は、減速、または、停止しているので、計測に時間がかかっても問題とならない。   In addition, when the measurement angle range of the sensor 3 is narrower than 180 °, the measurement may be performed all over by pan control of the sensor 3 or the like. At this time, since the autonomous mobile device is decelerated or stopped, there is no problem even if measurement takes time.

移動障害物101を検出した場合には、停止状態を続ける。移動障害物101が存在しない場合には、当初の速度に復帰し、移動予定経路106に沿った移動を再開する。 When the moving obstacle 101 is detected, the stop state is continued. When the moving obstacle 101 does not exist, and returns to the original speed, resumes movement along the movement scheduled route 106.

図12は、本発明に係る自律移動装置がブラインドコーナー(曲がった隧道など)を通過する状態を示す平面図である。   FIG. 12 is a plan view showing a state in which the autonomous mobile device according to the present invention passes through a blind corner (such as a curved saddle road).

本発明に係る自律移動装置がブラインドコーナー(曲がった隧道など)を通過する場合には、図12に示すように、交差点などに比較して、飛び出し可能性区間106aは進行方向について奥まった部分となる。また、カーブにおいては、自律移動装置の進行につれて、逐次死角が減少していくため、飛び出し可能性区間106aを目標に制動制御を開始することにより、おのずと衝突回避が可能となる。   When the autonomous mobile device according to the present invention passes through a blind corner (curved road, etc.), as shown in FIG. 12, the pop-out possibility section 106a is deeper in the traveling direction than the intersection or the like. Become. Further, in the curve, since the blind spot is sequentially decreased as the autonomous mobile device progresses, the collision can be avoided by starting the braking control with the jumping possibility section 106a as a target.

図13は、飛び出し可能性区間を探索する動作を示すフローチャートである。   FIG. 13 is a flowchart showing an operation of searching for a pop-out possibility section.

この自律移動装置の制御手段2は、図13に示すように、ステップst1において動作を開始し、ステップst2に進むと、図9中の(a)に示したように、移動予定経路106上の探索開始位置(p0,p1,・・・pi)を定義する。このとき、p0は、自律移動装置の前方の直近位置とする。これは、自律移動装置が飛び出し可能性区間106aに接近して減速、または、停止したときに、センサ3の計測範囲を180°とし、高速移動時には、過去に計測して保持されたデータに基づく地図を利用するためである。すなわち、過去に計測したデータを保持しておけば、センサ3の計測範囲が180°以下であっても、図9中の(b)に示したように、自律移動装置の近傍位置まで計測結果が存在するからである。図9中の(b)の右側に示した図は、実際に取得されたデータに基づいて作成された障害物地図であり、過去に遠方からデータを取得した地点に自律移動装置が移動するため、センサ3の計測範囲が180°でなくとも、自律移動装置の直近の位置についても地図上に計測結果が存在している。   As shown in FIG. 13, the control means 2 of this autonomous mobile device starts operation in step st1, and when it proceeds to step st2, as shown in (a) in FIG. Search start positions (p0, p1,..., Pi) are defined. At this time, p0 is the nearest position in front of the autonomous mobile device. This is based on data measured and held in the past when the autonomous mobile device approaches the pop-out possibility section 106a and decelerates or stops, and the measurement range of the sensor 3 is 180 °. This is to use a map. That is, if the data measured in the past is held, even if the measurement range of the sensor 3 is 180 ° or less, as shown in FIG. Because there exists. The diagram shown on the right side of (b) in FIG. 9 is an obstacle map created based on the actually acquired data, because the autonomous mobile device moves to a point where data was acquired from a distance in the past. Even if the measurement range of the sensor 3 is not 180 °, there is a measurement result on the map for the nearest position of the autonomous mobile device.

次に、ステップst3に進み、移動予定経路106の左右方向に独立して、移動可能領域103と未計測領域104との境界105を探索する。左右方向に独立して検索を行うので、左右いずれか片側のみに壁などの固定障害物102がある場合にも対応可能である。   Next, the process proceeds to step st3, and a boundary 105 between the movable area 103 and the unmeasured area 104 is searched independently of the planned movement path 106 in the left-right direction. Since the search is performed independently in the left-right direction, it is possible to deal with a case where there is a fixed obstacle 102 such as a wall on only one of the left and right sides.

ステップst4に進み、境界105が検出されたか否かを判別し、境界105が検出されたならばステップst5に進み、境界105が検出されないならばステップst6に進む。   It progresses to step st4, it is discriminate | determined whether the boundary 105 was detected, and if the boundary 105 is detected, it will progress to step st5, and if the boundary 105 is not detected, it will progress to step st6.

ステップst5では、探索開始位置から、移動可能領域103と未計測領域104との境界105までの長さL及び境界105が左右いずれの側にあったかを記録し、ステップst6に進む。この長さLは、後述する処理において、自律移動装置が移動する道が十分に広いか否かの判断に用いる。   In step st5, the length L from the search start position to the boundary 105 between the movable area 103 and the unmeasured area 104 and the left or right side of the boundary 105 are recorded, and the process proceeds to step st6. This length L is used to determine whether or not the path on which the autonomous mobile device moves is sufficiently wide in the processing described later.

ステップst6では、piが検索の終了点になったかを判別し、終了点でなければステップst7に進み、終了点であればステップst8に進む。検索の終了点とは、移動予定経路106上におけるセンサ3の計測レンジの限界点(最遠点)のことである。   In step st6, it is determined whether pi has reached the end point of the search. If it is not the end point, the process proceeds to step st7, and if it is the end point, the process proceeds to step st8. The search end point is a limit point (farthest point) of the measurement range of the sensor 3 on the planned movement path 106.

ステップst7では、piを1つ進め(加算し)、ステップst3に戻る。すなわち、検索は、探索開始位置を逐次前方に進めながら行う。進める間隔は、想定される移動障害物101の幅をAとしたとき、その半分以下とする。移動障害物101の幅は、例えば、人なら0.5m、車輌なら1.5m程度である。   In step st7, pi is advanced by one (added), and the process returns to step st3. That is, the search is performed while the search start position is sequentially advanced. When the width of the assumed moving obstacle 101 is A, the interval to be advanced is less than half of that. For example, the width of the moving obstacle 101 is about 0.5 m for a person and about 1.5 m for a vehicle.

ステップst8以降は、飛び出し可能性区間106aが狭い場合及び広い場合に対応するための処理である。ステップst8では、境界105の連続性のチェックを開始するため、ステップst9に進む。   Steps after step st8 are processing for dealing with cases where the pop-out possibility section 106a is narrow and wide. In step st8, in order to start checking the continuity of the boundary 105, the process proceeds to step st9.

ステップst9では、移動予定経路106の側方に境界105が検索されているかを判別し、境界105が検索されていればステップst10に進み、境界105が検索されていなければステップst13に進む。   In step st9, it is determined whether the boundary 105 is searched to the side of the planned movement route 106. If the boundary 105 is searched, the process proceeds to step st10, and if the boundary 105 is not searched, the process proceeds to step st13.

ステップst10では、境界105が検出された場所の近傍について、境界105の連続性を調べ、ステップst11に進む。   In step st10, the continuity of the boundary 105 is examined in the vicinity of the place where the boundary 105 is detected, and the process proceeds to step st11.

ステップst11においては、探索開始位置piにおいて、移動予定経路106上に記録された移動可能領域103と未計測領域104との境界105の連続性について、移動障害物101の幅A以上の連続性(道幅)を持つか否かを判別する。境界105の連続性が移動障害物101の幅A以上である場合は、ステップst12に進み、移動障害物101の幅A以上でない場合は、移動障害物101は出てこられないと判断されるため、飛び出し可能性区間106aではないと判断して、ステップst13に進む。   In step st11, the continuity of the boundary 105 between the movable area 103 and the unmeasured area 104 recorded on the planned movement path 106 at the search start position pi is greater than the width A of the moving obstacle 101 ( It is determined whether or not it has a road width. If the continuity of the boundary 105 is equal to or greater than the width A of the moving obstacle 101, the process proceeds to step st12. If the boundary 105 is not equal to or larger than the width A of the moving obstacle 101, it is determined that the moving obstacle 101 cannot come out. Therefore, it is determined that it is not the pop-out possibility section 106a, and the process proceeds to step st13.

ステップst12では、飛び出し可能性区間106aを記録し、ステップst13に進む。   In step st12, the pop-out possibility section 106a is recorded, and the process proceeds to step st13.

ステップst13では、piが境界105の連続性チェックの終了点になったかを判別し、終了点でなければステップst14に進み、終了点であればステップst15に進んで処理を終了する。   In step st13, it is determined whether pi is the end point of the continuity check of the boundary 105. If it is not the end point, the process proceeds to step st14, and if it is the end point, the process proceeds to step st15 to end the process.

ステップst14では、piを1つ進め(加算し)、ステップst9に戻る。   In step st14, pi is advanced by one (added), and the process returns to step st9.

図14は、飛び出し可能性区間の検出モジュールの動作を示すフローチャートである。   FIG. 14 is a flowchart illustrating the operation of the pop-out possibility section detection module.

図14に示す処理は、前記図3に示した飛び出し領域検出モジュール18における処理の詳細である。この制御方法は、自律移動装置の前方に存在する移動障害物101に、自らが衝突することを避けることを目的とする処理である。自律移動装置の後方から自律移動装置より速い速度で追突されるような状況は考慮していない。   The process shown in FIG. 14 is the details of the process in the pop-out area detection module 18 shown in FIG. This control method is a process aimed at avoiding a collision with the moving obstacle 101 existing in front of the autonomous mobile device. A situation in which a rear-end collision is performed at a higher speed than the autonomous mobile device from behind the autonomous mobile device is not considered.

図14に示すように、ステップst16において処理を開始すると、ステップst17に進み、地図及び移動予定経路106のデータを取得し、ステップst18に進む。ステップst18では、前述したように、飛び出し可能性区間106aを検索し、ステップst19に進む。   As shown in FIG. 14, when the process is started in step st16, the process proceeds to step st17, the map and the data of the planned movement route 106 are acquired, and the process proceeds to step st18. In step st18, as described above, the pop-out possibility section 106a is searched, and the process proceeds to step st19.

ステップst19では、移動予定経路106上に飛び出し可能性区間106aが存在するか否かを判別し、飛び出し可能性区間106aが存在すればステップst20に進み、飛び出し可能性区間106aが存在しなければステップst22に進む。   In step st19, it is determined whether or not a pop-out possibility section 106a exists on the scheduled movement route 106. If there is a pop-out possibility section 106a, the process proceeds to step st20, and if there is no pop-out possibility section 106a, a step is performed. Proceed to st22.

ステップst20においては、図13のステップst5において記録された移動予定経路106から移動可能領域103と未計測領域104との境界105までの長さLに基づいて、自律移動装置の目標速度Vdを決定し、ステップst21に進む。目標速度Vdは、所定の地点に到達するまでに減速し、その速度となるように制御するための目標値である。   In step st20, the target speed Vd of the autonomous mobile device is determined based on the length L from the planned movement path 106 recorded in step st5 of FIG. 13 to the boundary 105 between the movable area 103 and the unmeasured area 104. Then, the process proceeds to step st21. The target speed Vd is a target value for performing control so that the vehicle decelerates to reach a predetermined point and reaches that speed.

距離Lに基づく目標速度Vdの決定は、以下のようにして行う。すなわち、距離Lが十分に大きい場合には、移動予定経路106が飛び出し発生の可能性がある境界105から十分に離れており、飛び出しが発生した場合にも、移動障害物101が移動予定経路106に交錯するまでの時間が長い。この場合には、移動障害物101が検出された後に、旋回などにより衝突を回避することが可能であるため、速度Vdは、当初の目標速度から変化させない。これらは、自律移動装置の制御応答速度及び旋回性能、移動障害物101の速度をパラメータとして導出することが可能である。例えば、移動障害物101として50km/h(14m/sec)で移動する装置を想定すると、距離Lが30m程度あれば、飛び出しが発生しても移動予定経路106に交錯するまでの時間が約2秒あるため、その間に旋回による回避動作が可能である。   The target speed Vd based on the distance L is determined as follows. In other words, when the distance L is sufficiently large, the planned movement route 106 is sufficiently separated from the boundary 105 where the pop-out may occur, and even when the pop-out occurs, the moving obstacle 101 is moved along the planned movement route 106. It takes a long time to cross. In this case, since the collision can be avoided by turning after the moving obstacle 101 is detected, the speed Vd is not changed from the initial target speed. These can be derived using the control response speed and turning performance of the autonomous mobile device and the speed of the moving obstacle 101 as parameters. For example, assuming a device that moves at 50 km / h (14 m / sec) as the moving obstacle 101, if the distance L is about 30 m, the time required to cross the planned movement route 106 is about 2 even if a jump occurs. Since there are seconds, an avoidance operation by turning is possible during that time.

距離Lが比較的短い場合、目標速度Vdは、減速もしくは徐行となる。すなわち、目標速度Vdは、移動障害物101の急な飛び出しがあった場合に、これが移動予定経路106に交錯するまでに自律移動装置が停止できる速度とする。これらは、自律移動装置の制御応答時間及びブレーキ性能、移動障害物101の速度をパラメータとして導出することが可能である。例えば、移動障害物101として50km/h(14m/sec)で移動する車輌を想定すると、距離Lが10m程度であれば、飛び出しが発生した場合に1秒以内に移動予定経路106に交錯する可能性があるため、それまでに自律移動装置が停車可能な速度、例えば、5km/h程度に減速する。   When the distance L is relatively short, the target speed Vd is decelerated or slowed down. In other words, the target speed Vd is set to a speed at which the autonomous mobile device can stop before the moving obstacle 101 suddenly jumps out and crosses the planned movement path 106. These can be derived using the control response time and braking performance of the autonomous mobile device and the speed of the moving obstacle 101 as parameters. For example, assuming a vehicle moving at 50 km / h (14 m / sec) as the moving obstacle 101, if the distance L is about 10 m, it is possible to cross the planned movement route 106 within one second when a jump occurs. Therefore, the speed is reduced to a speed at which the autonomous mobile device can stop by that time, for example, about 5 km / h.

距離Lが極めて短い場合、目標速度Vdを0とし、一旦停止とする。これは、自律移動装置の制御応答時間が有限であるため、移動障害物101を検出してから制動を行っても衝突する虞がある場合である。例えば、移動障害物101として50km/h(14m/sec)で移動する車輌を想定すると、距離Lが2m程度の場合は、およそ0.15秒で移動予定経路106と交錯する。このような時間においては、移動障害物101の発見後においては、制動制御の遅延などにより自律移動装置を停止させることができないため、あらかじめ停止しておく必要がある。   When the distance L is extremely short, the target speed Vd is set to 0 and temporarily stopped. This is a case where the control response time of the autonomous mobile device is finite, so that there is a possibility of collision even if braking is performed after the moving obstacle 101 is detected. For example, assuming that the moving obstacle 101 is a vehicle moving at 50 km / h (14 m / sec), when the distance L is about 2 m, it intersects with the planned movement route 106 in about 0.15 seconds. In such a time, after the mobile obstacle 101 is discovered, the autonomous mobile device cannot be stopped due to a delay in braking control or the like, and thus needs to be stopped in advance.

これら目標速度Vdは、ステップst5で記録された距離Lに基づいて左右方向のそれぞれについて独立に決定されるが、安全を確保するためには、目標速度Vdが小さい方の値を採用する。   These target speeds Vd are independently determined for each of the left and right directions based on the distance L recorded in step st5. In order to ensure safety, a value with the smaller target speed Vd is adopted.

図15は、目標速度決定の関数の一例を示すグラフである。   FIG. 15 is a graph illustrating an example of a function for determining the target speed.

目標速度Vdは、図15に示すように、距離Lが所定の下限値以下であるときは0、距離Lが所定の上限値以上であるときは減速なしと設定され、下限値と上限値との間は、距離Lに対して単調増加する関数(例えば、一次関数)として設定される。なお、これら目標速度Vdと距離Lとの関係は、自律移動装置の移動速度や制動性能、旋回性能、制御応答時間等に依存するため、必ずしもこのような一次関数で表現される関係とは限らない。   As shown in FIG. 15, the target speed Vd is set to 0 when the distance L is less than or equal to a predetermined lower limit value, and is set to no deceleration when the distance L is greater than or equal to a predetermined upper limit value. Is set as a function (for example, a linear function) that monotonously increases with respect to the distance L. Since the relationship between the target speed Vd and the distance L depends on the moving speed, braking performance, turning performance, control response time, etc. of the autonomous mobile device, it is not always the relationship expressed by such a linear function. Absent.

ステップst21においては、ステップst20で決定された目標速度Vdに基づいて、制動速度計画を決定し、ステップst22に進む。これは、遠方までに減速すればよい場合は緩やかな制動を行い、近傍にて停止する必要がある場合には急制動を行う等を決定する処理である。   In step st21, a braking speed plan is determined based on the target speed Vd determined in step st20, and the process proceeds to step st22. This is a process for deciding whether to perform gentle braking when it is necessary to decelerate far, and to perform sudden braking when it is necessary to stop in the vicinity.

ステップst22乃至ステップst24は、センサ3の計測範囲が180°以下の場合を想定した処理である。すなわち、ステップst22では、徐行(3km/h)程度の速度閾値Vlをあらかじめ設定しておき、現在の自律移動装置の移動速度が速度閾値Vl以下であるかを判別する。移動速度が速度閾値Vl以下であればステップst24に進み、移動速度が速度閾値Vl以下でなければステップst23に進む。   Steps st22 to st24 are processes assuming that the measurement range of the sensor 3 is 180 ° or less. That is, in step st22, a speed threshold Vl of about 3 km / h is set in advance, and it is determined whether the current moving speed of the autonomous mobile device is equal to or lower than the speed threshold Vl. If the moving speed is equal to or less than the speed threshold Vl, the process proceeds to step st24, and if the moving speed is not equal to or less than the speed threshold Vl, the process proceeds to step st23.

ステップst23では、センサ3のパン動作を行わず、通常動作のまま、ステップst25に進む。   In step st23, the pan operation of the sensor 3 is not performed, and the process proceeds to step st25 while maintaining the normal operation.

ステップst24では、自律移動装置の移動速度が速度閾値Vl以下であるので、センサ3のパン動作などを行い、180°以上の計測範囲を確保して検出を行い、ステップst25に進む。自律移動装置の移動速度が速度閾値Vl以下であれば、必ずこのシーケンスが行われ、センサ3の計測範囲が180°以上となされることにより、自律移動装置の出発時や、飛び出しを想定した一旦停止時など、全ての場合において、センサ3により、180°以上の計測範囲に亘る検出が行われる。したがって、図13のステップst2に示したように、探索開始位置p0を自律移動装置の前方の直近位置としても、飛び出し可能性区間106aの検出を問題なく行うことができ、また、一旦停止後の再スタート時においても、飛び出し可能性区間106aの検出を行うことができる。   In step st24, since the moving speed of the autonomous mobile device is equal to or less than the speed threshold value V1, panning of the sensor 3 is performed, detection is performed while ensuring a measurement range of 180 ° or more, and the process proceeds to step st25. If the movement speed of the autonomous mobile device is less than or equal to the speed threshold value Vl, this sequence is always performed, and the measurement range of the sensor 3 is set to 180 ° or more. In all cases, such as when stopped, the sensor 3 performs detection over a measurement range of 180 ° or more. Therefore, as shown in step st2 of FIG. 13, even if the search start position p0 is set to the nearest position in front of the autonomous mobile device, the pop-out possibility section 106a can be detected without any problem. Even at the restart, the pop-out possibility section 106a can be detected.

ステップst25においては、移動予定経路106及び速度計画の情報を機体制御I/Oモジュール13に送り、ステップst17に戻る。   In step st25, the information on the planned movement route 106 and the speed plan is sent to the machine control I / O module 13, and the process returns to step st17.

なお、本発明に係る自律移動装置においては、画像処理の認識アルゴリズムが十分に高度なものであれば、カメラにより取得された画像に基づいて、前述したと同様に、飛び出し可能性区間106aを検出することが可能である。   In the autonomous mobile device according to the present invention, if the image processing recognition algorithm is sufficiently advanced, the pop-out possibility section 106a is detected based on the image acquired by the camera in the same manner as described above. Is possible.

なお、前述した実施の形態においては、自律移動装置が車輌タイプの無人移動機構である場合を示しているが、本発明は、これに限定されるものではない。すなわち、本発明における自律移動装置は、例えば、歩行タイプの無人移動機構であってもよい。   In the above-described embodiment, the autonomous mobile device is a vehicle-type unmanned mobile mechanism, but the present invention is not limited to this. That is, the autonomous mobile device in the present invention may be, for example, a walking type unmanned moving mechanism.

また、前述した飛び出し可能性区間を探索する手法については、自律移動装置のみならず、操縦者により操縦される有人の車両に搭載することにより、操縦者に警告を発する装置として構成することも可能である。   In addition, the method of searching for the pop-out possibility section described above can be configured not only as an autonomous mobile device but also as a device that issues a warning to the driver by being mounted on a manned vehicle operated by the driver. It is.

本発明に係る自律移動装置の外観構成を示す側面図である。It is a side view which shows the external appearance structure of the autonomous mobile device which concerns on this invention. 本発明に係る自律移動装置における制御ハードウェア構成を示すブロック図である。It is a block diagram which shows the control hardware constitutions in the autonomous mobile device which concerns on this invention. 本発明に係る自律移動装置における制御ソフトウェア構成を示すブロック図である。It is a block diagram which shows the control software structure in the autonomous mobile apparatus which concerns on this invention. 本発明に係る自律移動装置の移動障害物が存在する場合の移動状態を示す平面図である。It is a top view which shows a movement state when the movement obstruction of the autonomous mobile device which concerns on this invention exists. 壁に囲まれた道における交差点のような、見通しの悪い状況を示す平面図である。It is a top view which shows the situation where a line of sight is bad like an intersection in the road surrounded by walls. 見通しの悪い状況におけるセンサによる計測状態を示す平面図である。It is a top view which shows the measurement state by the sensor in the condition where a line of sight is bad. 見通しの悪い状況における自律制御の移動制御に使用する地図の例を示す平面図である。It is a top view which shows the example of the map used for the movement control of the autonomous control in a situation with a bad view. 飛び出しの可能性のある領域の検出原理を示す平面図である。It is a top view which shows the detection principle of the area | region which may jump out. (a)は、飛び出しの可能性がある領域の検出手法を示す平面図であり、(b)は、実際に検出された地図を示す平面図である。(A) is a top view which shows the detection method of the area | region which may jump out, (b) is a top view which shows the map actually detected. 飛び出し発生区間を検出した後の本発明に係る自律移動装置の制御を示す平面図である。It is a top view which shows control of the autonomous mobile apparatus which concerns on this invention after detecting a jump generation | occurrence | production area. 本発明に係る自律移動装置が飛び出し可能性区間に近づいたときの様子を示す平面図である。It is a top view which shows a mode when the autonomous mobile apparatus which concerns on this invention approaches the popping possibility area. 本発明に係る自律移動装置がブラインドコーナー(曲がった隧道など)を通過する状態を示す平面図である。It is a top view which shows the state in which the autonomous mobile device which concerns on this invention passes a blind corner (curved tunnel etc.). 飛び出し可能性区間を探索する動作を示すフローチャートである。It is a flowchart which shows the operation | movement which searches for a popping possibility area. 飛び出し可能性区間の検出モジュールの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the detection module of a popping possibility area. 目標速度決定の関数の一例を示すグラフである。It is a graph which shows an example of the function of target speed determination.

符号の説明Explanation of symbols

1 無人車
2 制御手段
3 センサ
4 GPS受信装置
101 移動障害物
102 固定障害物
103 移動可能領域
104 未計測領域
105 境界
106 移動予定経路
106a飛び出し可能性区間
DESCRIPTION OF SYMBOLS 1 Unmanned vehicle 2 Control means 3 Sensor 4 GPS receiver 101 Moving obstruction 102 Fixed obstruction 103 Movable area 104 Unmeasured area 105 Boundary 106 Expected movement path 106a

Claims (2)

移動可能となされた無人移動装置と、
前記無人移動装置に搭載され、この無人移動装置の周囲の固定障害物及び移動障害物の有無を計測するセンサと、
前記無人移動装置に搭載され、前記センサによる計測結果に基づいて前記固定障害物のない移動可能領域を検出して、この移動可能領域内において前記無人移動装置の移動予定路を決定し、前記無人移動装置を制御して前記移動予定路上を移動させるとともに、前記センサによる計測結果に基づいて前記移動障害物を検出して、この移動障害物の移動経路を予測して該移動障害物との衝突を回避させる制御手段と
を備え、
前記制御手段は、移動予定経路上の任意の点から直角方向に、前記固定障害物、または、前記移動障害物による未計測領域と前記移動可能領域とが接する境界が発見された場合には、前記任意の点から前記境界までの距離が、前記未計測領域から移動障害物が飛び出した後に衝突回避動作ができる余裕のある距離である場合を除いて、その探索の開始位置を飛び出し可能性区間とし、無人移動装置からみて飛び出し可能性区間が始まる位置までに、減速、または、停止できるように制動を行い、移動障害物を検出した場合には、停止状態を続け、移動障害物が存在しない場合には、当初の速度に復帰して、移動予定経路に沿った移動を再開する
ことを特徴とする自律移動装置。
An unmanned mobile device made movable;
A sensor that is mounted on the unmanned mobile device and measures the presence or absence of fixed obstacles and moving obstacles around the unmanned mobile device;
The unmanned mobile device is mounted on the unmanned mobile device, detects a movable area without the fixed obstacle based on the measurement result of the sensor, determines a planned movement path of the unmanned mobile device within the movable region, and the unmanned mobile device. The moving device is controlled to move on the planned moving path, and the moving obstacle is detected based on the measurement result of the sensor, and the moving path of the moving obstacle is predicted to collide with the moving obstacle. And a control means for avoiding
In the case where a boundary where the fixed obstacle or the unmeasured area due to the moving obstacle contacts the movable area is found in a direction perpendicular to an arbitrary point on the planned movement path, Except when the distance from the arbitrary point to the boundary is a distance that allows a collision avoidance operation after a moving obstacle has popped out of the unmeasured area, the start position of the search may be popped out. If the moving obstacle is detected by braking so that it can decelerate or stop until the position where the popping possibility section starts from the unmanned moving device, the stopped state is continued and there is no moving obstacle. In this case, the autonomous mobile device returns to the initial speed and resumes the movement along the planned movement route.
移動可能な無人移動装置に搭載され周囲の固定障害物及び移動障害物の有無を計測するセンサによる計測結果に基づいて、前記無人移動装置の移動を制御する自律移動装置の制御方法であって、
前記センサによる計測結果に基づいて前記固定障害物のない移動可能領域を検出し、この移動可能領域内において前記無人移動装置の移動予定路を決定し、
前記センサによる計測結果に基づいて前記移動障害物を検出して、この移動障害物の移動経路を予測し、
前記無人移動装置を制御して、前記移動障害物との衝突を回避させつつ、前記移動予定路上を移動させ、
移動予定経路上の任意の点から直角方向に、前記固定障害物、または、前記移動障害物による未計測領域と前記移動可能領域とが接する境界が発見された場合には、前記任意の点から前記境界までの距離が、前記未計測領域から移動障害物が飛び出した後に衝突回避動作ができる余裕のある距離である場合を除いて、その探索の開始位置を飛び出し可能性区間とし、無人移動装置からみて飛び出し可能性区間が始まる位置までに、減速、または、停止できるように制動を行い、移動障害物を検出した場合には、停止状態を続け、移動障害物が存在しない場合には、当初の速度に復帰して、移動予定経路に沿った移動を再開する
ことを特徴とする自律移動装置の制御方法。
An autonomous mobile device control method for controlling movement of the unmanned mobile device based on a measurement result by a sensor that measures the presence or absence of a surrounding fixed obstacle and a mobile obstacle mounted on a movable unmanned mobile device,
Detecting a movable area without the fixed obstacle based on the measurement result by the sensor, determining a planned movement path of the unmanned mobile device in the movable area,
Detecting the moving obstacle based on the measurement result by the sensor, predicting the movement path of the moving obstacle,
While controlling the unmanned mobile device, avoiding a collision with the moving obstacle, moving on the planned movement path,
Perpendicularly from an arbitrary point on the moving prediction path, the fixed obstacle, or, when said boundary unmeasured region by moving obstacle and said movable area in contact is found, from the arbitrary point Except when the distance to the boundary is a distance that allows a collision avoidance operation after a moving obstacle has popped out of the unmeasured area, the search start position is set as a popping possibility section, and the unmanned mobile device When braking is detected so that it can be decelerated or stopped until the position where the pop-out possibility section starts, and when a moving obstacle is detected, the stop state is continued. The method for controlling an autonomous mobile device is characterized by returning to the speed of the vehicle and resuming movement along the planned travel route.
JP2008148335A 2008-06-05 2008-06-05 Autonomous mobile device and control method of autonomous mobile device Active JP5160311B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008148335A JP5160311B2 (en) 2008-06-05 2008-06-05 Autonomous mobile device and control method of autonomous mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008148335A JP5160311B2 (en) 2008-06-05 2008-06-05 Autonomous mobile device and control method of autonomous mobile device

Publications (2)

Publication Number Publication Date
JP2009294934A JP2009294934A (en) 2009-12-17
JP5160311B2 true JP5160311B2 (en) 2013-03-13

Family

ID=41543063

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008148335A Active JP5160311B2 (en) 2008-06-05 2008-06-05 Autonomous mobile device and control method of autonomous mobile device

Country Status (1)

Country Link
JP (1) JP5160311B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107329471A (en) * 2017-06-20 2017-11-07 广州中国科学院软件应用技术研究所 A kind of intelligent decision system of automatic driving vehicle

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4717105B2 (en) 2008-08-29 2011-07-06 株式会社日立製作所 Autonomous mobile robot apparatus and jump collision avoidance method in such apparatus
JP5319255B2 (en) * 2008-12-03 2013-10-16 綜合警備保障株式会社 Autonomous mobile body and speed control method
JP6007873B2 (en) * 2013-08-30 2016-10-12 トヨタ自動車株式会社 Robot and control method thereof
US10198008B2 (en) 2013-11-15 2019-02-05 Hitachi, Ltd. Mobile robot system
JP6003942B2 (en) 2014-04-24 2016-10-05 トヨタ自動車株式会社 Operation restriction device and operation restriction method
JP6520048B2 (en) * 2014-10-30 2019-05-29 村田機械株式会社 Moving body
US10229331B2 (en) 2015-01-16 2019-03-12 Hitachi, Ltd. Three-dimensional information calculation device, three-dimensional information calculation method, and autonomous mobile device
JP7308591B2 (en) * 2017-12-19 2023-07-14 株式会社ダイヘン moving body
JP7180218B2 (en) * 2018-09-07 2022-11-30 株式会社豊田自動織機 Autonomous cart
CN109828582B (en) * 2019-02-28 2019-10-29 沈阳师范大学 Based on intelligent carriage paths planning method combined of multi-sensor information and system
JP2020187551A (en) * 2019-05-14 2020-11-19 株式会社豊田自動織機 Autonomous traveling vehicle
JP7318563B2 (en) * 2020-02-26 2023-08-01 株式会社デンソー PARKING ASSIST DEVICE AND PARKING ASSIST METHOD
US11613381B2 (en) * 2020-08-14 2023-03-28 Tusimple, Inc. Launchpad for autonomous vehicles
KR20220054104A (en) * 2020-10-23 2022-05-02 삼성전자주식회사 Electronic apparatus and control method thereof
CN113074728B (en) * 2021-03-05 2022-07-22 北京大学 Multi-AGV path planning method based on jumping point routing and collaborative obstacle avoidance
CN115016506A (en) * 2022-07-18 2022-09-06 北京大学 Heterogeneous multi-agent networking cooperative scheduling planning method based on autonomous obstacle detouring

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034898A (en) * 1999-07-21 2001-02-09 Toyota Central Res & Dev Lab Inc Investigation disable area estimating device and driving support system
JP3781370B2 (en) * 2002-11-19 2006-05-31 本田技研工業株式会社 Mobile device
JP4811128B2 (en) * 2006-05-25 2011-11-09 トヨタ自動車株式会社 Autonomous mobile device
JP4735476B2 (en) * 2006-08-28 2011-07-27 パナソニック電工株式会社 Autonomous mobile device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107329471A (en) * 2017-06-20 2017-11-07 广州中国科学院软件应用技术研究所 A kind of intelligent decision system of automatic driving vehicle

Also Published As

Publication number Publication date
JP2009294934A (en) 2009-12-17

Similar Documents

Publication Publication Date Title
JP5160311B2 (en) Autonomous mobile device and control method of autonomous mobile device
US9981658B2 (en) Autonomous driving vehicle system
JP6318864B2 (en) Driving assistance device
EP3366540B1 (en) Information processing apparatus and non-transitory computer-readable recording medium
JP6115576B2 (en) Vehicle travel control device
JP7295012B2 (en) Vehicle control system and vehicle control method
JP6380920B2 (en) Vehicle control device
JP6984172B2 (en) Driving support method and driving support device
CN112498365A (en) Delayed decision making for autonomous vehicle responsive to obstacle based on confidence level and distance
KR20190035159A (en) Vehicle motion prediction method and apparatus
CN110799403B (en) Vehicle control device
WO2007102228A1 (en) Control device and method for automobile
US20190283741A1 (en) Vehicle control device, vehicle control method, and storage medium
JP6085958B2 (en) Parking assistance device
US11142193B2 (en) Vehicle and method for performing inter-vehicle distance control
US11244179B2 (en) Stop line position estimation device and vehicle control system
JP4235090B2 (en) Vehicle travel support device
JP2005138623A (en) Vehicle travel supporting device
CN113060140A (en) Path planning before lane change based on center line displacement
US20220203985A1 (en) Vehicle control device, vehicle control method, and storage medium
JP7145178B2 (en) Travel control device, travel control method and program
US20240025398A1 (en) Vehicle control method, vehicle controller, and non-transitory computer-readable storage medium storing vehicle control program
CN115223397B (en) Traffic system
US20230294676A1 (en) Driving assistance device, driving assistance method, and storage medium
JP2022079105A (en) Travelling control method and travelling control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121212

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5160311

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250