JP5392028B2

JP5392028B2 - Autonomous mobile robot

Info

Publication number: JP5392028B2
Application number: JP2009268428A
Authority: JP
Inventors: 美和岡林; 桂樹岡林
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2009-11-26
Filing date: 2009-11-26
Publication date: 2014-01-22
Anticipated expiration: 2029-11-26
Also published as: JP2011110644A

Description

本件は、自律移動ロボットに関する。 This case relates to an autonomous mobile robot.

従来、ショッピングセンタやオフィスなど、人が共存する環境で移動し、人と対話、応対して情報提供や案内などの作業を行う自律移動ロボット（サービスロボット）がある。 2. Description of the Related Art Conventionally, there are autonomous mobile robots (service robots) that move in an environment where people coexist, such as shopping centers and offices, and interact with people and provide work such as providing information and guidance.

この種の自律移動ロボットに適用可能な技術として、例えば、特許文献１、２のような人の視線や顔の方向を検出して制御に利用する技術がある。特許文献１に記載の技術は、視線判定手段と発話判定手段を持つぬいぐるみ等の擬人的媒体で、ユーザの発話状態と視線方向の情報を連続的に取得し、当該情報に基づいて擬人的媒体の動作を制御する技術である。具体的には、擬人的媒体は、例えば、人が発話しながら横を向いた場合に、その視線方向を向くなどの動作を行う。また、特許文献２に記載の技術は、利用者の顔方向検出手段と無発話状態を検出する手段を備え、顔方向と発話状態の情報に基づいて会話モードと、作業モードとを切り換えるシステムに関するものである。会話モードでは顔方向に従って複数カメラを切り換えて顔の正面を映し出し、作業モードでは作業に集中できるよう相手の映像を正面ディスプレイから消す等の制御を行う。 As a technique applicable to this type of autonomous mobile robot, for example, there is a technique such as Patent Documents 1 and 2 that detects the direction of a person's line of sight or face and uses it for control. The technique described in Patent Document 1 is an anthropomorphic medium such as a stuffed toy having a line-of-sight determination unit and an utterance determination unit, and continuously acquires information on the user's utterance state and line-of-sight direction, and based on the information, Is a technology for controlling the operation of Specifically, the anthropomorphic medium performs an operation such as facing a line of sight when a person turns sideways while speaking. The technique described in Patent Document 2 includes a system that switches between a conversation mode and a work mode based on information on a face direction and an utterance state, including a user's face direction detection unit and a means for detecting a non-utterance state. Is. In the conversation mode, a plurality of cameras are switched in accordance with the face direction to display the front of the face, and in the work mode, the other party's image is erased from the front display so that the user can concentrate on the work.

また、自律移動ロボットに適用可能な技術として、例えば特許文献３のような接触回避技術がある。特許文献３に記載の技術は、自己の移動軌道と相手移動体の移動軌道を拡張してそれぞれ移動空間を作成し、移動空間が接触する可能性が高い場合に、接触を回避する軌道を探索して、その軌道を目標軌道に変更する技術である。この技術では、目標軌道が探索できない場合には、通行可能領域の境界に近づく軌道を探索し、相手移動体が通過後に再び軌道を探索し移動を行う。 Moreover, as a technique applicable to an autonomous mobile robot, there exists a contact avoidance technique like patent document 3, for example. The technique described in Patent Document 3 creates a moving space by expanding the moving trajectory of the own moving body and the moving body of the opponent moving body, and searches for a trajectory that avoids contact when the moving space is highly likely to contact In this technique, the trajectory is changed to the target trajectory. In this technique, when the target trajectory cannot be searched, a trajectory approaching the boundary of the passable area is searched, and the opponent mobile body searches for the trajectory again after passing and moves.

特開２００９−１０６３２５号公報JP 2009-106325 A 特開２００６−１３９０２８号公報JP 2006-139028 A 特開２００９−１３１９４０号公報JP 2009-131940 A

しかしながら、特許文献１、２に記載のように人の視線や顔の方向を検出しても、人の意図（自律移動ロボットに退いてもらいたいのか、応対してもらいたいのか）が不明な場合もある。このような場合、特許文献１、２や特許文献３を用いても、自律移動ロボットの動きを適切に制御することはできない。 However, even if a person's line of sight or face direction is detected as described in Patent Documents 1 and 2, the person's intention (whether they want the autonomous mobile robot to retreat or respond) is unknown There is also. In such a case, even if Patent Documents 1 and 2 and Patent Document 3 are used, the movement of the autonomous mobile robot cannot be appropriately controlled.

具体的には、人に「退いてください」と声掛けされたときに、人が止まっていたり、人の移動方向と顔の方向が異なっていたりすると、人がどの方向に行きたいのか、ロボットはどの方向に退けば良いのかを判別することが難しい。また、上記の場合、人が単に通り抜けたい場合に限らず、ロボットの横の棚や扉に用がある場合もあるため、ロボットが単純に広い方向に退くのでは人の意図に反する場合がある。 Specifically, when a person asks "Please retreat", if the person stops, or if the direction of the person's movement and the direction of the face are different, the robot wants to go in which direction, the robot It is difficult to determine which direction to retreat. In addition, in the above case, not only when a person simply wants to pass through, but also for a shelf or door next to the robot, there are cases where it is contrary to the intention of the person if the robot simply retreats in a wide direction. .

そこで本件は上記の課題に鑑みてなされたものであり、適切な移動を行うことが可能な自律移動ロボットを提供することを目的とする。 Therefore, the present invention has been made in view of the above problems, and an object thereof is to provide an autonomous mobile robot capable of performing appropriate movement.

本明細書に記載の自律移動ロボットは、ロボット本体と、前記ロボット本体の周囲に存在する人の位置及び移動方向を検出する人物検出部と、前記人の顔が向いている方向を検出する顔検出部と、前記人が発する音声を認識する音声認識部と、前記人物検出部と前記顔検出部の検出結果及び前記音声認識部の認識結果に基づいて、前記ロボット本体の動作を決定し、当該動作を前記ロボット本体に実行させる実行部と、前記実行部の指示により前記ロボット本体を移動させる移動部と、を備え、前記実行部が、前記音声認識部の認識結果に基づいて前記人が前記ロボット本体を退かそうとする意志があるか否かを判定するとともに、前記人物検出部と前記顔検出部の検出結果に基づいて前記人が移動したい方向を判定し、当該判定の結果、前記人に前記意志があるが、前記人が移動したい方向が不明であった場合に、前記ロボット本体を前記人から離れる方向に前記移動部により移動させ、前記ロボット本体が前記人から離れる方向に移動された後に、前記人物検出部により検出される前記人が動いた方向に基づいて、前記人から離れる方向に前記ロボット本体を前記移動部により移動させる自律移動ロボットである。 An autonomous mobile robot described in this specification includes a robot body, a person detection unit that detects a position and a movement direction of a person existing around the robot body, and a face that detects a direction in which the person's face is facing. The operation of the robot body is determined based on a detection unit, a voice recognition unit that recognizes a voice emitted by the person, a detection result of the person detection unit and the face detection unit, and a recognition result of the voice recognition unit, An execution unit that causes the robot main body to execute the operation; and a moving unit that moves the robot main body according to an instruction from the execution unit, wherein the execution unit determines whether the person is based on a recognition result of the voice recognition unit. It is determined whether or not there is a will to retreat the robot body, and the direction in which the person wants to move is determined based on the detection results of the person detection unit and the face detection unit. Previous If the person has the will but the direction in which the person wants to move is unknown, the robot body is moved by the moving unit in a direction away from the person, and the robot body is moved in the direction away from the person. Then, the autonomous mobile robot moves the robot body by the moving unit in a direction away from the person based on the direction of movement of the person detected by the person detecting unit.

本明細書に記載の自律移動ロボットは、適切な移動を行うことができるという効果を奏する。 The autonomous mobile robot described in this specification has an effect of being able to perform appropriate movement.

一実施形態に係る自律移動ロボットを概略的に示す斜視図である。1 is a perspective view schematically showing an autonomous mobile robot according to an embodiment. 自律移動ロボットの制御系を示すブロック図である。It is a block diagram which shows the control system of an autonomous mobile robot. 図３（ａ）は、自律移動ロボットが配置される領域の地図情報を模式的に示した図であり、図３（ｂ）は、地図情報ＤＢに実際に格納される、ＸＹ座標を用いた地図情報のデータを示す図である。FIG. 3A is a diagram schematically showing map information of an area where the autonomous mobile robot is arranged, and FIG. 3B uses XY coordinates actually stored in the map information DB. It is a figure which shows the data of map information. 自律移動ロボットの動作を示すフローチャート（その１）である。It is a flowchart (the 1) which shows operation | movement of an autonomous mobile robot. 自律移動ロボットの動作を示すフローチャート（その２）である。It is a flowchart (the 2) which shows operation | movement of an autonomous mobile robot. 図４のステップＳ２４の動作を説明するための図である。It is a figure for demonstrating operation | movement of step S24 of FIG. 図７（ａ）、図７（ｂ）は、人がロボットに向かって近づいてなく、ロボットを見ていない場合を示す図である。FIGS. 7A and 7B are diagrams illustrating a case where a person is not approaching the robot and is not looking at the robot. 図８（ａ）は、人が停止中の場合を示す図であり、図８（ｂ）は、人がロボットに向かって近づいており、ロボットを見ている場合を示す図である。FIG. 8A is a diagram illustrating a case where the person is stopped, and FIG. 8B is a diagram illustrating a case where the person is approaching the robot and looking at the robot. 図９（ａ）は、人がロボットに向かって近づいているが、ロボットを見ていない場合を示す図であり、図９（ｂ）は、人がロボットに向かって近づいていないが、ロボットを見ている場合を示す図である。FIG. 9A is a diagram illustrating a case where a person is approaching the robot but is not looking at the robot. FIG. 9B is a diagram illustrating a case where the person is not approaching the robot. It is a figure which shows the case where it sees. 図１０（ａ）、図１０（ｂ）は、図５のステップＳ５０を説明するための図である。FIG. 10A and FIG. 10B are diagrams for explaining step S50 in FIG. 図１１（ａ）〜図１１（ｄ）は、図５のステップＳ５２を説明するための図である。FIG. 11A to FIG. 11D are diagrams for explaining step S52 of FIG. 図５のステップＳ５８のサブルーチンの処理を示すフローチャートである。It is a flowchart which shows the process of the subroutine of step S58 of FIG. 図１３（ａ）〜図１３（ｃ）は、図１２のステップＳ６８、Ｓ７０の判断の結果を説明するための図である。FIG. 13A to FIG. 13C are diagrams for explaining the determination results of steps S68 and S70 of FIG. 図１４（ａ）〜図１４（ｃ）は、移動場所の設定方法の例を示す図である。FIG. 14A to FIG. 14C are diagrams illustrating an example of a method for setting a movement location. 図１５（ａ）、図１５（ｂ）は、移動場所の設定方法の変形例を示す図である。FIG. 15A and FIG. 15B are diagrams showing a modification of the moving location setting method.

以下、自律移動ロボットの一実施形態について、図１〜図１４に基づいて詳細に説明する。図１には、自律移動ロボット１００が斜視図にて示されている。また、図２には、自律移動ロボット１００の制御系のブロック図が示されている。この自律移動ロボット１００は、ショッピングセンタやオフィスなどに配置され、人との対話、人に対する応対を行うロボットである。また、自律移動ロボット１００は、対話や応対を行わないときには、人に接触しないように回避動作を行う。 Hereinafter, an embodiment of an autonomous mobile robot will be described in detail with reference to FIGS. In FIG. 1, an autonomous mobile robot 100 is shown in a perspective view. FIG. 2 shows a block diagram of a control system of the autonomous mobile robot 100. The autonomous mobile robot 100 is a robot that is arranged in a shopping center, an office, etc., and that interacts with and responds to people. In addition, the autonomous mobile robot 100 performs an avoidance operation so as not to contact a person when no dialogue or reception is performed.

自律移動ロボット１００は、図１に示すように、ロボット本体１０と、ロボット本体１０を２次元面内で移動させる移動部２０と、を備えている。ロボット本体１０は、頭部１０ａ、胴体部１０ｂ、及び首部１０ｃを有する。頭部１０ａには、カメラ１２と、図２に示すアレイマイク１４と、距離センサ１６と、が設けられている。カメラ１２は、例えばステレオカメラであり、撮影される映像は、図２に示すように、制御系３０の人物検出部６０、位置検出部６２及び顔検出部５２に送られる。アレイマイク１４は、周囲の音声を取得し、当該音声情報を図２に示す音源方向検出部５４及び音声認識部５６に送る。距離センサ１６は、ＬＲＦ（レーザ・レンジ・ファインダ）などを含み、周囲に存在する物体までの距離を検出することで、周辺物体の位置を検出する。当該検出結果は、図２の障害物検出部５８に送られる。 As shown in FIG. 1, the autonomous mobile robot 100 includes a robot body 10 and a moving unit 20 that moves the robot body 10 in a two-dimensional plane. The robot main body 10 includes a head 10a, a body 10b, and a neck 10c. The head 10 a is provided with a camera 12, an array microphone 14 shown in FIG. 2, and a distance sensor 16. The camera 12 is, for example, a stereo camera, and an image to be shot is sent to a person detection unit 60, a position detection unit 62, and a face detection unit 52 of the control system 30, as shown in FIG. The array microphone 14 acquires surrounding sound and sends the sound information to the sound source direction detection unit 54 and the sound recognition unit 56 shown in FIG. The distance sensor 16 includes an LRF (laser range finder) and the like, and detects the position of the surrounding object by detecting the distance to the object existing in the surroundings. The detection result is sent to the obstacle detection unit 58 in FIG.

胴体部１０ｂには、図１及び図２に示すスピーカ１８と、図２に示すジャイロセンサ３２と、地図情報保持部としての地図情報ＤＢ３４と、が設けられている。スピーカ１８は、人に対して、問い掛けや応対のための音声を出力する。ジャイロセンサ３２は、自律移動ロボット１００の角速度及び角度を検出し、当該検出結果を位置検出部６２に送る。地図情報ＤＢ３４は、自律移動ロボット１００が配置される場所の地図情報を格納する。なお、地図情報については後述する。なお、図２では、制御系３０が頭部１０ａや胴体部１０ｂとは別に記載されているが、制御系３０は、頭部１０ａや胴体部１０ｂの内部に設けられても良い。 The body 10b is provided with a speaker 18 shown in FIGS. 1 and 2, a gyro sensor 32 shown in FIG. 2, and a map information DB 34 as a map information holding unit. The speaker 18 outputs a voice for inquiring and answering a person. The gyro sensor 32 detects the angular velocity and angle of the autonomous mobile robot 100 and sends the detection result to the position detection unit 62. The map information DB 34 stores map information of a place where the autonomous mobile robot 100 is arranged. The map information will be described later. In FIG. 2, the control system 30 is described separately from the head portion 10a and the body portion 10b, but the control system 30 may be provided inside the head portion 10a and the body portion 10b.

首部１０ｃは、図２に示す首モータ３６の回転駆動により回転される。これにより、頭部１０ａやカメラ１２等が回転されるようになっている。 The neck part 10c is rotated by the rotational drive of the neck motor 36 shown in FIG. Thereby, the head 10a, the camera 12, etc. are rotated.

移動部２０は、制御系３０からの指示を受けて、ロボット本体１０を移動させるものであり、図２に示すように、複数の車輪（タイヤなど）２２と、当該車輪を回転駆動する走行モータ２４と、走行モータ２４、複数の車輪２２の回転角度及び回転数を検出するエンコーダ２６と、有する。複数の車輪２２が走行モータ２４により回転されることで、自律移動ロボット１００は、前後左右に移動可能となっている。エンコーダ２６は、複数の車輪２２それぞれの回転角度及び回転数を検出するため、結果的に自律移動ロボット１００の移動方向および移動量を検出することができる。 The moving unit 20 receives an instruction from the control system 30 and moves the robot body 10, and as shown in FIG. 2, a plurality of wheels (tires and the like) 22 and a travel motor that rotationally drives the wheels. 24, a traveling motor 24, and an encoder 26 that detects the rotation angle and the number of rotations of the plurality of wheels 22. The autonomous mobile robot 100 can move back and forth and right and left by rotating the plurality of wheels 22 by the travel motor 24. Since the encoder 26 detects the rotation angle and the rotation speed of each of the plurality of wheels 22, as a result, the movement direction and the movement amount of the autonomous mobile robot 100 can be detected.

図２の制御系３０は、顔検出部５２と、音源方向検出部５４と、音声認識部５６と、障害物検出部５８と、人物検出部６０と、ロボット本体位置検出部としての位置検出部６２と、を備える。また、制御系３０は、首制御部６４と、走行制御部６６と、発声制御部６８と、地図更新部７２と、動作決定部８０と、を備える。 2 includes a face detection unit 52, a sound source direction detection unit 54, a voice recognition unit 56, an obstacle detection unit 58, a person detection unit 60, and a position detection unit as a robot body position detection unit. 62. The control system 30 includes a neck control unit 64, a travel control unit 66, an utterance control unit 68, a map update unit 72, and an operation determination unit 80.

顔検出部５２は、カメラ１２により撮影された画像から、人の顔を検出するとともに、人の顔の方向（向き）を検出する。音源方向検出部５４は、アレイマイク１４で取得された音声情報に基づいて、人により声が発せられた方向を検出する。音声認識部５６は、アレイマイク１４で取得された音声情報から、人が発した言葉を解析して認識する。障害物検出部５８は、距離センサ１６において検出された周辺物体の位置を用いて、障害物の位置を検出する。 The face detection unit 52 detects a person's face from the image taken by the camera 12 and also detects the direction (orientation) of the person's face. The sound source direction detection unit 54 detects the direction in which a voice is uttered by a person based on the sound information acquired by the array microphone 14. The voice recognition unit 56 analyzes and recognizes words uttered by a person from the voice information acquired by the array microphone 14. The obstacle detection unit 58 detects the position of the obstacle using the positions of the surrounding objects detected by the distance sensor 16.

人物検出部６０は、カメラ１２により撮影された画像から人の位置を検出する。また、人の位置をリアルタイム連続検出した結果から、人の移動方向及び移動速度を算出する。なお、人物検出部６０は、検出精度を高めるために、距離センサ１６の検出結果を併用して、人の位置や移動方向及び速度を検出することとしても良い。また、周囲に複数の人が存在しているような場合には、音源方向検出部５４で検出される、声の発せられた方向を用いて、声を発した人を特定する。 The person detection unit 60 detects the position of the person from the image captured by the camera 12. Further, the movement direction and movement speed of the person are calculated from the result of continuously detecting the position of the person in real time. In addition, in order to improve detection accuracy, the person detection unit 60 may detect the position, movement direction, and speed of the person using the detection result of the distance sensor 16 together. When there are a plurality of people in the surrounding area, the direction of the voice that is detected by the sound source direction detection unit 54 is used to identify the person who spoke.

位置検出部６２は、例えば、カメラ１２により検出される画像から、画像処理で判別しやすい特徴的な物体（マークや構造物など）の特徴データを抽出する。そして、当該特徴データと、カメラ１２又は距離センサ１６により検出される周辺の障害物の位置とを、地図情報ＤＢ３４に格納されている地図情報とマッチングし、自律移動ロボット１００（ロボット本体１０）の初期位置を検出する。なお、周辺の障害物の位置は、カメラ１２及び距離センサ１６の両方の検出結果を用いて検出することとしてもよい。これにより検出精度を向上することができる。また、位置検出部６２は、移動を開始した後は、初期位置と、エンコーダ２６の検出結果（移動方向及び移動量）とを用いて、自律移動ロボット１００の位置を検出する。なお、移動方向及び移動量の検出精度を向上するため、移動方向や移動量の検出に、ジャイロセンサ３２やカメラ１２、距離センサ１６などの検出結果を用いることとしても良い。 For example, the position detection unit 62 extracts feature data of a characteristic object (such as a mark or a structure) that can be easily identified by image processing from an image detected by the camera 12. And the said feature data and the position of the surrounding obstacle detected by the camera 12 or the distance sensor 16 are matched with the map information stored in map information DB34, and the autonomous mobile robot 100 (robot main body 10) is matched. Detect the initial position. Note that the positions of surrounding obstacles may be detected using the detection results of both the camera 12 and the distance sensor 16. Thereby, detection accuracy can be improved. In addition, after starting the movement, the position detection unit 62 detects the position of the autonomous mobile robot 100 using the initial position and the detection result (movement direction and movement amount) of the encoder 26. In order to improve the detection accuracy of the movement direction and the movement amount, detection results of the gyro sensor 32, the camera 12, the distance sensor 16, and the like may be used for detection of the movement direction and the movement amount.

首制御部６４は、首モータ３６の回転を制御して、頭部１０ａの向き（カメラ１２の向き）を調整する。走行制御部６６は、走行モータ２４の回転を制御して、自律移動ロボット１００を移動させる。発声制御部６８は、状況に応じた音声を、音声合成などを用いて、スピーカ１８から出力する。スピーカ１８からは、人に対する応対のための音声も出力される。すなわち、スピーカ１８と発声制御部６８とを含んで、応対部としての機能が実現される。地図更新部７２は、障害物検出部５８の検出結果に基づいて、障害物の存在位置に自律移動ロボット１００が入らないようにするために、地図情報を更新する。 The neck controller 64 controls the rotation of the neck motor 36 to adjust the direction of the head 10a (the direction of the camera 12). The travel control unit 66 controls the rotation of the travel motor 24 to move the autonomous mobile robot 100. The utterance control unit 68 outputs a sound corresponding to the situation from the speaker 18 using voice synthesis or the like. The speaker 18 also outputs a voice for responding to a person. That is, including the speaker 18 and the utterance control unit 68, a function as a response unit is realized. Based on the detection result of the obstacle detection unit 58, the map update unit 72 updates the map information so that the autonomous mobile robot 100 does not enter the position where the obstacle exists.

動作決定部８０は、制御系３０の各部の検出結果を用いて、自律移動ロボット１００の動作を決定し、首制御部６４、走行制御部６６、発声制御部６８、地図更新部７２に対して指示を出す。このうち、動作決定部８０、首制御部６４、走行制御部６６、及び発声制御部６８を含んで、ロボット本体１０（自律移動ロボット１００）の動作を決定し、当該動作を移動部２０に実行させる実行部が実現される。 The operation determining unit 80 determines the operation of the autonomous mobile robot 100 using the detection results of each unit of the control system 30, and performs the operation on the neck control unit 64, the travel control unit 66, the utterance control unit 68, and the map update unit 72. Give instructions. Among these, the motion determining unit 80, the neck control unit 64, the travel control unit 66, and the utterance control unit 68 are included to determine the operation of the robot body 10 (the autonomous mobile robot 100) and execute the operation on the moving unit 20. An execution unit is realized.

次に、地図情報ＤＢ３４に格納されている地図情報について、図３（ａ）、図３（ｂ）に基づいて説明する。図３（ａ）は、自律移動ロボット１００が配置される領域の地図情報を模式的に示した図であり、図３（ｂ）は、地図情報ＤＢ３４に実際に格納される、図３（ａ）のＸＹ座標を用いた地図情報のデータを示す図である。 Next, the map information stored in the map information DB 34 will be described with reference to FIGS. 3 (a) and 3 (b). FIG. 3A is a diagram schematically showing map information of an area where the autonomous mobile robot 100 is arranged, and FIG. 3B is a diagram actually stored in the map information DB 34. It is a figure which shows the data of the map information using the XY coordinate of ().

図３（ａ）の地図情報では、移動可能範囲と、移動不可範囲と、ロボット応対可能範囲と、応対不可範囲とが定義されている。移動可能範囲は、自律移動ロボット１００が移動できる範囲を意味し、移動不可範囲は、自律移動ロボット１００が侵入できない範囲を意味する。また、ロボット応対可能範囲は、幅が狭い通路などの領域で、人に対して応対する自律移動ロボット１００が位置すべき範囲を意味する。このロボット応対範囲は、狭い通路でも、自律移動ロボット１００が人の通行の邪魔にならない範囲である。更に、応対不可範囲は、ドアなどが近傍に存在するため、応対のときに自律移動ロボット１００が位置すべきでない範囲を意味する。また、図３（ｂ）のデータでは、各ＸＹ座標に対応して、オリジナルデータとして移動可能範囲や移動不可範囲、ロボット応対可能範囲、応対不可範囲等が定義されている。また、例えば、移動可能範囲等に障害物（人など）が存在している場合には、障害物検出部５８の検出結果に基づいて、地図更新部７２が地図情報のデータの更新の項目を、「障害物あり」に更新する。更新の項目が「障害物あり」となっている場合には、オリジナルが移動可能範囲等であっても、移動不可範囲と同等の取り扱いがなされる。 In the map information of FIG. 3A, a movable range, a non-movable range, a robot serviceable range, and a non-serviceable range are defined. The movable range means a range where the autonomous mobile robot 100 can move, and the immovable range means a range where the autonomous mobile robot 100 cannot enter. The robot response possible range means a range where the autonomous mobile robot 100 that responds to a person should be located in a narrow path or the like. This robot response range is a range in which the autonomous mobile robot 100 does not interfere with human traffic even in a narrow passage. Further, the unacceptable range means a range in which the autonomous mobile robot 100 should not be located at the time of reception because a door or the like exists in the vicinity. In the data of FIG. 3B, a movable range, a non-movable range, a robot usable range, a non-respondable range, etc. are defined as original data corresponding to each XY coordinate. Further, for example, when an obstacle (such as a person) exists in the movable range or the like, based on the detection result of the obstacle detection unit 58, the map update unit 72 sets an item for updating the map information data. Update to “There is an obstacle”. When the update item is “There is an obstacle”, even if the original is a movable range, the same handling as the non-movable range is performed.

次に、自律移動ロボット１００の動作について、図４、図５、図１２のフローチャートに沿って、その他図面を適宜参照しつつ説明する。 Next, the operation of the autonomous mobile robot 100 will be described along the flowcharts of FIGS. 4, 5, and 12 with reference to other drawings as appropriate.

まず、図４のステップＳ１０では、動作決定部８０が、人物検出部６０の検出結果に基づいて、人が近づいてきたか否かを判断する。ここでの判断が否定された場合には、ステップＳ１２に移行し、判断が肯定された場合には、ステップＳ１４に移行する。ステップＳ１２に移行した場合、動作決定部８０は、音声認識部５６が音声を認識したか否かを判断する。ここでの判断が否定された場合には、ステップＳ１０に戻り、判断が肯定された場合には、ステップＳ１４に移行する。すなわち、ステップＳ１４に移行する場合とは、人が近づいてきたか、あるいは人の発する音声を認識した場合である。動作決定部８０は、近づいてきた人あるいは音声を発した人を、動作対象と認識する。 First, in step S10 of FIG. 4, the operation determination unit 80 determines whether or not a person has approached based on the detection result of the person detection unit 60. If the determination is negative, the process proceeds to step S12. If the determination is positive, the process proceeds to step S14. When the process proceeds to step S12, the operation determination unit 80 determines whether or not the voice recognition unit 56 has recognized the voice. If the determination is negative, the process returns to step S10. If the determination is positive, the process proceeds to step S14. That is, the case where the process proceeds to step S14 is a case where a person is approaching or a voice uttered by the person is recognized. The action determination unit 80 recognizes a person who is approaching or a person who has made a voice as an action target.

ステップＳ１４では、人物検出部６０が、人（動作対象）の位置及び進行方向を検出する。次いで、動作決定部８０は、ステップＳ１６において、人（動作対象）が退いて欲しい意味の音声を発したことで、音声認識部５６が当該音声を認識したか否かを判断する。ここでの判断が否定された場合には、ステップＳ３８に移行する。なお、ステップＳ３８以降の処理については後述する。一方、ステップＳ１６の判断が肯定された場合には、ステップＳ１８に移行する。 In step S 14, the person detection unit 60 detects the position and traveling direction of the person (operation target). Next, in step S 16, the action determination unit 80 determines whether or not the voice recognition unit 56 has recognized the voice because the person (action target) has uttered a voice that the user wants to withdraw. When judgment here is denied, it transfers to step S38. The processing after step S38 will be described later. On the other hand, if the determination in step S16 is affirmative, the process proceeds to step S18.

ステップＳ１８では、動作決定部８０が、人物検出部６０の検出結果に基づいて、人（動作対象）が移動中であるか否かを判断する。ここでの判断が肯定された場合には、ステップＳ２０に移行する。ステップＳ２０では、動作決定部８０が、位置検出部６２において検出される自律移動ロボット１００の位置と、人物検出部において検出される人の位置及び移動方向とを結ぶ線を算出し、当該線と人の進行方向との角度差を計算する。そして、動作決定部８０は、ステップＳ２２において、角度差が所定範囲内か否かを判断する。ここで、所定範囲としては、自律移動ロボット１００と人の位置を結ぶ線と、人の進行方向とがほぼ一致するとみなせる範囲を定めることができる。ここでの判断が否定された場合、すなわち、人が退いてほしいとの声を発し（ステップＳ１６が肯定）、人がロボットを避ける方向に移動していると判断された場合には、ステップＳ３６において、動作決定部８０は、自律移動ロボット１００の回避処理開始を決定する。具体的には、動作決定部８０は、人の移動を妨げず、人が移動しやすくなる方向、例えば、人の移動方向に垂直な方向、に移動を開始するように決定する。そして、動作決定部８０が回避処理を行うことを決定すると、走行制御部６６は、当該決定に基づいて走行モータ２４を駆動し、回避処理を行う。この回避処理が完了すると、図４、図５の全処理を終了する。 In step S 18, the motion determination unit 80 determines whether a person (motion target) is moving based on the detection result of the person detection unit 60. When judgment here is affirmed, it transfers to step S20. In step S20, the motion determining unit 80 calculates a line connecting the position of the autonomous mobile robot 100 detected by the position detecting unit 62 and the position and moving direction of the person detected by the person detecting unit, and Calculate the angle difference from the person's direction of travel. Then, in step S22, the operation determining unit 80 determines whether the angle difference is within a predetermined range. Here, as the predetermined range, a range in which the line connecting the autonomous mobile robot 100 and the person's position and the traveling direction of the person can be regarded as substantially coincident can be defined. If the determination here is negative, that is, if the person wants to retreat (step S16 is affirmative) and if it is determined that the person is moving in a direction avoiding the robot, step S36 is performed. Then, the action determination unit 80 determines the start of the avoidance process of the autonomous mobile robot 100. Specifically, the operation determination unit 80 determines to start moving in a direction in which a person can easily move without hindering movement of the person, for example, a direction perpendicular to the moving direction of the person. When the operation determination unit 80 determines to perform the avoidance process, the traveling control unit 66 drives the traveling motor 24 based on the determination and performs the avoidance process. When this avoidance process is completed, all the processes in FIGS. 4 and 5 are terminated.

一方、ステップＳ２２の判断が肯定された場合には、ステップＳ２４に移行する。ステップＳ２４に移行する場合とは、人（動作対象）が退いてほしいとの声を発し、当該人が自律移動ロボット１００の方向に向かって移動している又は停止している（ステップＳ１８が否定）場合である。すなわち、自律移動ロボット１００は、どの方向に避けるべきかが判別不能な状況であるといえる。この場合、動作決定部８０は、ステップＳ２４において、人に対して反対に移動するように決定し、走行制御部６６を介して、走行モータ２４を駆動して、人と反対方向に移動する。具体的には、図６に示すような動作を実行する。図６では、人をＨで示し、自律移動ロボット１００をＲで示している。ここで、人は、ロボットを避けて通行したいという意志を有している場合でも、ロボットとの位置関係からどちらに避ければ良いか判断できない場合がある。しかるに、人は、このような場合でもロボットと人との間隔が変われば、どちらに避ければ良いかを判断することができる場合がある。したがって、ステップＳ２４では、自律移動ロボット１００が人と反対方向に移動して、人との間隔を変えることで、人に判断及び動作を促している。 On the other hand, if the determination in step S22 is affirmed, the process proceeds to step S24. In the case of shifting to step S24, the person (action target) makes a voice saying that he / she wants to retreat, and the person is moving in the direction of the autonomous mobile robot 100 or is stopped (No in step S18). ) Is the case. That is, it can be said that the autonomous mobile robot 100 cannot determine in which direction it should be avoided. In this case, the operation determining unit 80 determines to move in the opposite direction with respect to the person in step S24, drives the traveling motor 24 via the traveling control unit 66, and moves in the opposite direction to the person. Specifically, an operation as shown in FIG. 6 is executed. In FIG. 6, a person is indicated by H, and the autonomous mobile robot 100 is indicated by R. Here, even if a person has the intention to avoid the robot and pass, there are cases in which it is not possible to determine which one to avoid from the positional relationship with the robot. However, even in such a case, if the distance between the robot and the person changes, the person may be able to determine which one to avoid. Accordingly, in step S24, the autonomous mobile robot 100 moves in the opposite direction to the person and changes the interval with the person, thereby prompting the person to make a decision and operate.

次いで、ステップＳ２６では、人物検出部６０が、人（動作対象）の位置及び進行方向を検出する。次いで、ステップＳ２８では、動作決定部８０が、人（動作対象）が移動中であるか否かを判断する。ここでの判断が肯定された場合、すなわち、人が移動している場合には、ステップＳ３２において、ステップＳ２０と同様、動作決定部８０が、自律移動ロボット１００の位置と人の位置とを結ぶ線と、人の進行方向との角度差を計算する。そして、ステップＳ３４では、ステップＳ２２と同様、動作決定部８０が、角度差が所定範囲内であるか否かを判断する。ここでの判断が否定された場合は、自律移動ロボット１００が人の進行方向とは反対の方向に移動して、様子を見た結果、人が異なる方向に移動したと推定される。このような場合には、ステップＳ３６に移行し、動作決定部８０は、前述と同様に、人が移動している方向から離れる方向を回避方向として決定する。そして、動作決定部８０は、走行制御部６６を介して、走行モータ２４を駆動して、上記回避方向に回避処理を実行する。一方、ステップＳ３４の判断が肯定された場合、すなわち、自律移動ロボット１００を人の進行方向とは反対の方向に移動させて様子を見た結果、人がまだ自律移動ロボット１００に向けて移動している場合には、ステップＳ２４に戻る。そして、ステップＳ２４を再度実行して、自律移動ロボット１００を人の進行方向と反対の方向に更に移動させて様子を見る（ステップＳ２６）。 Next, in step S 26, the person detection unit 60 detects the position and traveling direction of the person (operation target). Next, in step S 28, the motion determination unit 80 determines whether or not a person (motion target) is moving. If the determination here is affirmative, that is, if a person is moving, in step S32, as in step S20, the action determination unit 80 connects the position of the autonomous mobile robot 100 and the position of the person. Calculate the angle difference between the line and the direction of human movement. In step S34, as in step S22, the operation determining unit 80 determines whether the angle difference is within a predetermined range. If the determination here is negative, it is presumed that the autonomous mobile robot 100 has moved in a direction opposite to the direction of movement of the person, and as a result of looking at the situation, the person has moved in a different direction. In such a case, the process proceeds to step S36, and the operation determination unit 80 determines the direction away from the direction in which the person is moving as the avoidance direction, as described above. Then, the operation determining unit 80 drives the traveling motor 24 via the traveling control unit 66 and executes avoidance processing in the avoidance direction. On the other hand, if the determination in step S34 is affirmative, that is, as a result of moving the autonomous mobile robot 100 in a direction opposite to the direction of human movement and seeing the situation, the person still moves toward the autonomous mobile robot 100. If yes, the process returns to step S24. Then, step S24 is executed again, and the autonomous mobile robot 100 is further moved in the direction opposite to the human traveling direction to see the state (step S26).

これに対し、ステップＳ２８の判断が否定された場合、すなわち、人の進行方向に対して反対方向に移動した結果、人が移動を止めた場合には、ステップＳ３０に移行する。ステップＳ３０では、動作決定部８０が、位置検出部６２及び人物検出部６０の検出結果から、人と自律移動ロボット１００とが一定距離離れたか否かを判断する。ここでの判断が肯定された場合には、全処理を終了し、動作対象であった人を動作対象から解除する。一方、ステップＳ３０の判断が否定された場合には、ステップＳ２４に戻る。その後は、ステップＳ３０が肯定されるまで、あるいはステップＳ３６の処理が完了するまで、ステップＳ２４以降の処理を繰り返す。 On the other hand, if the determination in step S28 is negative, that is, if the person stops moving as a result of moving in the opposite direction to the person's traveling direction, the process proceeds to step S30. In step S 30, the operation determination unit 80 determines whether the person and the autonomous mobile robot 100 are separated by a certain distance from the detection results of the position detection unit 62 and the person detection unit 60. If the determination here is affirmed, all the processes are terminated, and the person who was the operation target is released from the operation target. On the other hand, if the determination in step S30 is negative, the process returns to step S24. After that, the process after step S24 is repeated until step S30 is affirmed or the process of step S36 is completed.

ところで、図４のステップＳ１６の判断が否定された場合、すなわち、人が退いてほしい意味の音声を発していない場合には、図５に移行して、ステップＳ３８の処理を実施する。具体的には、ステップＳ３８では、動作決定部８０が、地図情報ＤＢ３４に格納されている地図情報を用いて、自律移動ロボット１００が位置している場所の幅が一定以下か否かを判断する。ここでの判断が否定された場合、すなわち、自律移動ロボット１００が、広い場所に位置していると判断された場合には、自律移動ロボット１００が人の邪魔とならないと推定される。このため、図４、図５の全処理を終了する。一方、ステップＳ３８の判断が肯定された場合には、ステップＳ４０に移行する。 By the way, if the determination in step S16 of FIG. 4 is negative, that is, if the voice that the person wants to leave is not uttered, the process proceeds to FIG. 5 and the process of step S38 is performed. Specifically, in step S38, the operation determining unit 80 determines whether or not the width of the place where the autonomous mobile robot 100 is located is equal to or less than a certain value using the map information stored in the map information DB 34. . When the determination here is denied, that is, when it is determined that the autonomous mobile robot 100 is located in a wide place, it is estimated that the autonomous mobile robot 100 does not interfere with people. For this reason, all the processes in FIGS. 4 and 5 are terminated. On the other hand, if the determination in step S38 is affirmative, the process proceeds to step S40.

ステップＳ４０では、動作決定部８０が、人（動作対象）が移動中であるか否かを判断する。ここでの判断が否定された場合にはステップＳ５２に移行する。一方、ステップＳ４０の判断が肯定された場合には、ステップＳ４２に移行し、ステップＳ２０、Ｓ３２と同様、動作決定部８０が、自律移動ロボット１００の位置と人の位置とを結ぶ線と、人の進行方向との角度差を計算する。そして、ステップＳ４４では、ステップＳ２２、Ｓ３４と同様、動作決定部８０が、角度差が所定範囲内であるか否かを判断する。ここでの判断が肯定された場合、ステップＳ５２に移行する。一方、ステップＳ４４の判断が否定された場合にも、ステップＳ４８において、動作決定部８０が、顔検出部５２の検出結果に基づいて、人が自律移動ロボット１００に顔を向けているか否かを判断する。ここでの判断が肯定された場合には、ステップＳ５２に移行する。また、ここでの判断が否定された場合には、ステップＳ５０に移行する。 In step S40, the motion determination unit 80 determines whether a person (motion target) is moving. When judgment here is denied, it transfers to step S52. On the other hand, if the determination in step S40 is affirmative, the process proceeds to step S42, and, similarly to steps S20 and S32, the motion determination unit 80 and the line connecting the position of the autonomous mobile robot 100 and the position of the person Calculate the angle difference from the direction of travel. In step S44, as in steps S22 and S34, the operation determining unit 80 determines whether the angle difference is within a predetermined range. When judgment here is affirmed, it transfers to step S52. On the other hand, even when the determination in step S44 is negative, in step S48, based on the detection result of the face detection unit 52, the operation determination unit 80 determines whether or not a person is pointing his face to the autonomous mobile robot 100. to decide. When judgment here is affirmed, it transfers to step S52. If the determination here is negative, the process proceeds to step S50.

ここで、ステップＳ４０〜Ｓ４８の処理・判断について、図７〜図９に基づいて具体的に説明する。なお、図７〜図９では、一例として、自律移動ロボット１００が棚の前に位置している場合を図示している。 Here, the processing and determination of steps S40 to S48 will be specifically described with reference to FIGS. 7 to 9 illustrate a case where the autonomous mobile robot 100 is positioned in front of the shelf as an example.

（Ａ）ステップＳ４０〜Ｓ４８の処理・判断の結果、ステップＳ５０に移行する場合
図７（ａ）、図７（ｂ）に示すように、人が、自律移動ロボット１００に向かって近づいてなく、かつ人が自律移動ロボット１００に顔を向けていない場合であり、自律移動ロボット１００に用がないと推定される場合である。このような場合、ステップＳ４０（肯定）、ステップＳ４２、ステップＳ４４（否定）、ステップＳ４８（否定）を経て、ステップＳ５０に移行するようになっている。 (A) As a result of the processing / determination in steps S40 to S48, the process proceeds to step S50. As shown in FIGS. 7A and 7B, a person is not approaching the autonomous mobile robot 100, And it is a case where a person does not turn his / her face to the autonomous mobile robot 100 and it is estimated that the autonomous mobile robot 100 has no use. In such a case, the process proceeds to step S50 through step S40 (positive), step S42, step S44 (negative), and step S48 (negative).

（Ｂ）ステップＳ４０〜Ｓ４８の処理・判断の結果、ステップＳ５２に移行する場合
（１）人が停止している場合
図８（ａ）に示すように人が停止している場合、人が自律移動ロボット１００に退いて欲しいと考えているのか、人が棚にアクセスしたいと考えているのかが不明であると推定される。このような場合、ステップＳ４０の判断が否定された後、ステップＳ５２に移行するようになっている。 (B) As a result of the processing / determination of steps S40 to S48, when the process proceeds to step S52 (1) When the person is stopped When the person is stopped as shown in FIG. It is estimated that it is unknown whether the mobile robot 100 wants to retreat or whether a person wants to access the shelf. In such a case, after the determination in step S40 is denied, the process proceeds to step S52.

（２）人が自律移動ロボット１００に向かって近づいており、かつ自律移動ロボット１００の方向に顔を向けている場合
図８（ｂ）に示すように、人が自律移動ロボット１００に向かって近づいており、かつ自律移動ロボット１００の方向に顔を向けている場合も、人が自律移動ロボット１００に退いて欲しいと考えているのか、自律移動ロボット１００に用があるのかが不明であると推定される。このような場合、ステップＳ４０（肯定）、ステップＳ４２、ステップＳ４４（肯定）を経て、ステップＳ５２に移行するようになっている。 (2) When a person approaches toward the autonomous mobile robot 100 and faces in the direction of the autonomous mobile robot 100 A person approaches toward the autonomous mobile robot 100 as shown in FIG. Even if the person is facing in the direction of the autonomous mobile robot 100, it is estimated that it is unknown whether a person wants the autonomous mobile robot 100 to retreat or whether the autonomous mobile robot 100 has a use. Is done. In such a case, after step S40 (affirmation), step S42, and step S44 (affirmation), the process proceeds to step S52.

（３）人が自律移動ロボット１００に向かって近づいているが、自律移動ロボット１００の方向に顔を向けていない場合
図９（ａ）に示すように、人が自律移動ロボット１００に向かって近づいているが自律移動ロボット１００の方向に顔を向けていない場合も、人が自律移動ロボット１００に退いて欲しいと考えているのか不明であると推定される。このような場合も上記（２）と同様に、ステップＳ４０（肯定）、ステップＳ４２、ステップＳ４４（肯定）を経て、ステップＳ５２に移行するようになっている。 (3) When a person approaches toward the autonomous mobile robot 100 but does not face his face in the direction of the autonomous mobile robot 100 As shown in FIG. 9A, a person approaches toward the autonomous mobile robot 100. However, it is estimated that it is unknown whether a person wants the autonomous mobile robot 100 to retreat even when the face is not facing the direction of the autonomous mobile robot 100. In such a case, similarly to the above (2), the process proceeds to step S52 through step S40 (affirmation), step S42, and step S44 (affirmation).

（４）人が自律移動ロボット１００に向かって近づいていないが、自律移動ロボット１００の方向に顔を向けている場合
図９（ｂ）に示すように、人が自律移動ロボット１００に向かって近づいていないが自律移動ロボット１００の方向に顔を向けている場合も、人が自律移動ロボット１００に退いて欲しいと考えているのか不明であると推定される。このような場合、ステップＳ４０（肯定）、ステップＳ４２、ステップＳ４４（否定）、ステップＳ４８（肯定）を経て、ステップＳ５２に移行するようになっている。 (4) When a person is not approaching the autonomous mobile robot 100 but is facing his face in the direction of the autonomous mobile robot 100 As shown in FIG. 9B, a person approaches the autonomous mobile robot 100. However, even when the face is directed toward the autonomous mobile robot 100, it is estimated that it is unknown whether the person wants the autonomous mobile robot 100 to retreat. In such a case, the process proceeds to step S52 through step S40 (positive), step S42, step S44 (negative), and step S48 (positive).

図５に戻り、ステップＳ５０では、前述したステップＳ３６と同様にして、回避処理を実行する。具体的には、図１０（ａ）、図１０（ｂ）に示すように、自律移動ロボット１００が、人の進行方向から離れる方向に移動するように、動作決定部８０が移動方向を決定し、走行制御部６６を介して走行モータ２４を駆動する。 Returning to FIG. 5, in step S50, avoidance processing is executed in the same manner as in step S36 described above. Specifically, as shown in FIGS. 10A and 10B, the motion determining unit 80 determines the moving direction so that the autonomous mobile robot 100 moves in a direction away from the person's traveling direction. The travel motor 24 is driven via the travel control unit 66.

一方、ステップＳ５２では、動作決定部８０は、発声制御部６８を介してスピーカ１８から音声を出力して、人の意志を確認する。具体的には、「何か御用でしょうか」などの音声をスピーカ１８から出力する。次いで、ステップＳ５４では、動作決定部８０が、音声認識部５６において、人からの回答があったことが認識されたか否かを判断する。ここでの判断が肯定された場合にはステップＳ５６に移行し、否定された場合には、図４のステップＳ２４に移行する。 On the other hand, in step S 52, the operation determination unit 80 outputs a sound from the speaker 18 via the utterance control unit 68 and confirms the will of the person. Specifically, sound such as “Is it something for you?” Is output from the speaker 18. Next, in step S54, the action determination unit 80 determines whether or not the voice recognition unit 56 has recognized that there has been a response from a person. If the determination here is affirmed, the process proceeds to step S56. If the determination is negative, the process proceeds to step S24 in FIG.

ステップＳ５６では、動作決定部８０が、人からの回答が退いて欲しい意味の音声であったと、音声認識部５６において認識されたか否かを判断する。ここでの判断が肯定された場合には、図４のステップＳ２４に移行する。 In step S56, the action determination unit 80 determines whether or not the voice recognition unit 56 recognizes that the answer from the person is the voice that the user wants to withdraw. If the determination here is affirmative, the routine proceeds to step S24 in FIG.

図４のステップＳ２４に移行した場合、すなわち、人からの回答が無かったり、回答があったが、当該回答が退いて欲しいという意味であった場合には、ステップＳ２４以降の処理を、前述したのと同様に実行する。具体的には、図１１（ａ）のように人が停止している場合（図８（ａ）に対応）、図１１（ｂ）、図１１（ｃ）のように人が自律移動ロボット１００に向かって移動している場合（図８（ｂ）、図９（ａ）に対応）、及び図１１（ｄ）に示すように人の顔が自律移動ロボット１００に向いている場合（図９（ｂ）に対応）のいずれにおいても、人から離れる方向に移動する。そして、自律移動ロボット１００の移動後における人の動きを見て、当該人の動きから離れる方向に自律移動ロボット１００が回避するようにする（ステップＳ３６）。 When the process proceeds to step S24 in FIG. 4, that is, when there is no answer from a person or there is an answer, but it means that the answer is desired to be withdrawn, the processing after step S24 is described above. Run as you did. Specifically, when the person is stopped as shown in FIG. 11A (corresponding to FIG. 8A), the person is autonomously moving the robot 100 as shown in FIGS. 11B and 11C. (Corresponding to FIG. 8 (b) and FIG. 9 (a)) and when the human face is facing the autonomous mobile robot 100 as shown in FIG. 11 (d) (FIG. 9). In either case (corresponding to (b)), the robot moves in a direction away from a person. Then, watching the movement of the person after the movement of the autonomous mobile robot 100, the autonomous mobile robot 100 avoids the movement away from the movement of the person (step S36).

図５に戻り、ステップＳ５４の判断が否定された場合、すなわち、人に自律移動ロボット１００に退いてほしいという意志がない場合には、動作決定部８０等が、人（動作対象）に対する応対を処理を実行する（ステップＳ５８）。 Returning to FIG. 5, if the determination in step S54 is negative, that is, if the person does not want to move away from the autonomous mobile robot 100, the action determination unit 80 or the like responds to the person (action target). Processing is executed (step S58).

ステップＳ５８のサブルーチンでは、図１２に示す処理を実行する。 In the subroutine of step S58, the process shown in FIG. 12 is executed.

図１２の処理では、まず、ステップＳ６０において、動作決定部８０が、位置検出部６２で検出される自律移動ロボット１００の位置を取得する。次いで、ステップＳ６２において、動作決定部８０が、人物検出部６０で検出された人（動作対象）の位置を取得する。次いで、ステップＳ６４では、動作決定部８０の指示の下、首制御部６４が首モータ３６を駆動して、人に頭部１０ａ正面を向けるとともに、発声制御部６８がスピーカ１８を介して発話などを行うことで、応対を開始することを示す。 In the process of FIG. 12, first, in step S 60, the motion determination unit 80 acquires the position of the autonomous mobile robot 100 detected by the position detection unit 62. Next, in step S 62, the motion determination unit 80 acquires the position of the person (motion target) detected by the person detection unit 60. Next, in step S64, under the instruction of the operation determining unit 80, the neck control unit 64 drives the neck motor 36 to direct the front of the head 10a toward the person, and the utterance control unit 68 speaks through the speaker 18 or the like. Indicates that the response will start.

次いで、ステップＳ６６では、動作決定部８０が、地図情報ＤＢ３４に格納されている地図情報（図３（ｂ）参照）と、ステップＳ６０で取得した位置から、自己位置情報及び通路幅を取得する。動作決定部８０は、自己位置情報として、図３に示すデータからオリジナルの項目（例えば、移動可能範囲や応対不可範囲など）の情報を取得する。次いで、ステップＳ６８では、動作決定部８０が、自律移動ロボット１００が位置する領域における通路幅が規定幅より狭いか否かを判断する。すなわち、自律移動ロボット１００（ロボット本体１０）の周囲に所定広さ、例えば、自律移動ロボット１００の幅と人の幅（予め設定されているものとする）の合計よりも広い通路幅、が確保されているか否かを判断する。ここでの判断が否定された場合、すなわち、図１３（ａ）に示すように、通路幅が規定幅より広い場合には、ステップＳ８２に移行する。そして、ステップＳ８２では、動作決定部８０の指示の下、走行制御部６６が走行モータ２４を駆動したり、首制御部６４が首モータ３６を駆動したりすることで、自律移動ロボット１００の方向を人に向けて、応対を行う。このように、通路幅が規定幅より広い場合には、図１３（ｃ）に示すように、その場で応対を行っても、動作対象の人以外の人の通行等を邪魔することが無いことから、自律移動ロボット１００は、その場で応対を行うようにしている。なお、応対は、発声制御部６８がスピーカ１８から音声を出力したり、音声認識部５６が人の音声を認識し、人の問いかけに適切に答えたりすることにより、行われる。 Next, in step S66, the operation determining unit 80 acquires the self-position information and the passage width from the map information (see FIG. 3B) stored in the map information DB 34 and the position acquired in step S60. The action determination unit 80 acquires information of original items (for example, a movable range and a non-acceptable range) from the data shown in FIG. 3 as the self-position information. Next, in step S68, the motion determining unit 80 determines whether or not the passage width in the region where the autonomous mobile robot 100 is located is narrower than the specified width. That is, a predetermined width is secured around the autonomous mobile robot 100 (robot body 10), for example, a passage width wider than the sum of the width of the autonomous mobile robot 100 and the width of a person (assumed to be preset). It is judged whether it is done. When the determination here is negative, that is, as shown in FIG. 13A, when the passage width is wider than the specified width, the process proceeds to step S82. In step S82, the direction of the autonomous mobile robot 100 is determined by the travel control unit 66 driving the travel motor 24 or the neck control unit 64 driving the neck motor 36 under the instruction of the motion determination unit 80. Point the person at the person and respond. In this way, when the passage width is wider than the specified width, as shown in FIG. 13C, even if the reception is performed on the spot, the passage of people other than the operation target person is not disturbed. For this reason, the autonomous mobile robot 100 is configured to respond on the spot. The response is performed when the utterance control unit 68 outputs a sound from the speaker 18 or the voice recognition unit 56 recognizes a person's voice and appropriately answers the person's question.

一方、ステップＳ６８の判断が肯定されると、ステップＳ７０に移行して、動作決定部８０は、自律移動ロボット１００の位置がロボット応対可能範囲であるか否かを判断する。ここでの判断が肯定された場合、すなわち、図１３（ｂ）に示すように、既に、自律移動ロボット１００がロボット応対可能範囲に存在している場合には、特に移動することなく、前述と同様、ステップＳ８２の処理（応対）を行う。 On the other hand, when the determination in step S68 is affirmed, the process proceeds to step S70, and the motion determination unit 80 determines whether or not the position of the autonomous mobile robot 100 is within the robot serviceable range. If the determination here is affirmative, that is, as shown in FIG. 13 (b), if the autonomous mobile robot 100 is already in the robot serviceable range, the above-described operation is not performed. Similarly, the process (response) of step S82 is performed.

一方、ステップＳ７０の判断が否定された場合、すなわち図１３（ｃ）に示すように、自律移動ロボット１００がロボット応対可能範囲に存在していない場合には、ステップＳ７２に移行する。ステップＳ７２では、動作決定部８０が、障害物検出部５８で検出される障害物の位置を取得し、地図情報を更新する。具体的には、図３（ｂ）に示すように、更新の項目を「障害物あり」と更新する。 On the other hand, if the determination in step S70 is negative, that is, as shown in FIG. 13C, if the autonomous mobile robot 100 is not in the robot serviceable range, the process proceeds to step S72. In step S72, the operation determination unit 80 acquires the position of the obstacle detected by the obstacle detection unit 58, and updates the map information. Specifically, as shown in FIG. 3B, the update item is updated to “There is an obstacle”.

次いで、ステップＳ７４では、動作決定部８０が、自律移動ロボット１００の移動場所を決定する。例えば、図１４（ａ）に示すように、自律移動ロボット１００近傍に移動不可範囲や応対不可範囲が存在しない場合には、動作決定部８０は、ロボット応対可能範囲のうちで最も近い位置を移動場所として決定する。この決定においては、ポテンシャル法などの既存技術を用いることができる。また、図１４（ｂ）に示すように、自律移動ロボット１００の近傍に障害物としての人が存在している場合には、当該人に接触せずに移動でき、かつロボット応対可能範囲のうちで最も近い位置を移動場所として決定する。更に、図１４（ｃ）のように、自律移動ロボット１００の近傍に応対不可範囲がある場合には、応対不可範囲を除き、ロボット応対可能範囲のうちで最も近い位置を移動場所として決定する。図１４（ｂ），図１４（ｃ）のような場合にもポテンシャル法を用いることができる。 Next, in step S 74, the motion determination unit 80 determines the movement location of the autonomous mobile robot 100. For example, as shown in FIG. 14 (a), when there is no unmovable range or unacceptable range in the vicinity of the autonomous mobile robot 100, the motion determining unit 80 moves the closest position within the robot acceptable range. Decide as a place. In this determination, an existing technique such as a potential method can be used. Further, as shown in FIG. 14B, when there is a person as an obstacle in the vicinity of the autonomous mobile robot 100, the person can move without touching the person and is within the robot response range. The closest position is determined as the moving place. Further, as shown in FIG. 14C, when there is an unacceptable range in the vicinity of the autonomous mobile robot 100, the closest position in the range of unacceptable robots is determined as the moving location, excluding the unreachable range. The potential method can also be used in the cases shown in FIGS. 14 (b) and 14 (c).

次いで、ステップＳ７６では、動作決定部８０の指示の下、発声制御部６８がスピーカ１８を介して、人に対して移動開始を通知する。次いで、ステップＳ７８では、動作決定部８０の指示の下、走行制御部６６が、走行モータ２４を駆動して、自律移動ロボット１００を、ステップＳ７４で決定した移動場所まで移動させる。次いで、動作決定部８０は、ステップＳ８０において、移動が完了するまで待機し、移動が完了した段階で、ステップＳ８２に移行する。ステップＳ８２では、前述したのと同様に、自律移動ロボット１００の向きを人に向け、応対を行う。 Next, in step S 76, under the instruction of the operation determination unit 80, the utterance control unit 68 notifies the person of the start of movement via the speaker 18. Next, in step S78, under the instruction of the operation determining unit 80, the traveling control unit 66 drives the traveling motor 24 to move the autonomous mobile robot 100 to the moving location determined in step S74. Next, the operation determination unit 80 waits until the movement is completed in Step S80, and proceeds to Step S82 when the movement is completed. In step S82, in the same manner as described above, the autonomous mobile robot 100 is directed toward a person and a response is performed.

以上のようにして、図１２の処理が終了すると、図５に戻り、全処理を終了する。 When the process of FIG. 12 is completed as described above, the process returns to FIG. 5 and all the processes are completed.

以上、詳細に説明したように、本実施形態によると、動作決定部８０及び走行制御部６６は、音声認識部５６の認識結果に基づいて人が自律移動ロボット１００を退かそうとしているか否かを判定するとともに、人物検出部６０と顔検出部５２の検出結果に基づいて人が移動したい方向を判定する。そして、判定の結果、人に退かそうとする意志があるが移動したい方向が不明であった場合には、自律移動ロボット１００を人から離れる方向に移動させ（ステップＳ２４）、自律移動ロボット１００が人から離れる方向に移動した後に、人が動いた方向に基づいて、人から離れる方向に自律移動ロボット１００を移動する。ここで、人は、ロボットを避けて通行したいという意志を有している場合でも、ロボットとの位置関係からどちらに避ければ良いかという判断ができない場合がある。このような場合でも、人は、ロボットとの間隔が変化すると、自発的にどちらに避ければ良いかを判断し、その方向への動作を実行する習性を有している。このため、本実施形態の自律移動ロボット１００は、人が自律移動ロボット１００を退かしたいと考え、かつ人が移動したい方向が不明な場合に、人から一旦離れ、そのときの様子を見て人の移動したい方向を確認し、人から離れるように移動するようにしている。これにより、人の移動したい方向が不明な場合でも、適切な移動（回避動作）を行うことが可能である。 As described above in detail, according to the present embodiment, the motion determination unit 80 and the travel control unit 66 determine whether or not a person is leaving the autonomous mobile robot 100 based on the recognition result of the voice recognition unit 56. And the direction in which the person wants to move is determined based on the detection results of the person detection unit 60 and the face detection unit 52. As a result of the determination, if the person is willing to retreat but the direction in which the person wants to move is unknown, the autonomous mobile robot 100 is moved away from the person (step S24), and the autonomous mobile robot 100 is moved. After moving in the direction away from the person, the autonomous mobile robot 100 is moved in the direction away from the person based on the direction in which the person moved. Here, even if a person has a will to travel while avoiding a robot, there are cases where it is not possible to determine which one to avoid based on the positional relationship with the robot. Even in such a case, when the distance between the robot and the robot changes, the person has a habit of determining which one to avoid voluntarily and executing an operation in that direction. For this reason, the autonomous mobile robot 100 of this embodiment leaves | separates from a person once when the person wants to withdraw the autonomous mobile robot 100, and the direction where a person wants to move is unknown, and sees the state at that time. The direction in which the person wants to move is confirmed, and the person moves away from the person. Thereby, even when the direction in which a person wants to move is unknown, it is possible to perform an appropriate movement (avoidance operation).

また、本実施形態では、動作決定部８０及び走行制御部６６は、人の移動方向が自律移動ロボット１００に向かう方向でなく、かつ人の顔の向きが自律移動ロボット１００の方向でない場合に、自律移動ロボット１００に、人に接触しないように回避動作を実行させる。このように、人の移動方向が自律移動ロボット１００に向かう方向でなく、かつ人の顔の向きが自律移動ロボット１００の方向でない場合には、人が自律移動ロボット１００に用がある可能性が低い。したがって、自律移動ロボット１００は人に接触しないように回避動作を実行することで、人の邪魔をすることなく、同一の空間で人と共存することができるようになる。 In the present embodiment, the motion determination unit 80 and the travel control unit 66 are configured so that the movement direction of the person is not the direction toward the autonomous mobile robot 100 and the face direction of the person is not the direction of the autonomous mobile robot 100. The autonomous mobile robot 100 is caused to perform an avoidance operation so as not to contact a person. As described above, when the direction of movement of the person is not the direction toward the autonomous mobile robot 100 and the direction of the face of the person is not the direction of the autonomous mobile robot 100, there is a possibility that the person uses the autonomous mobile robot 100. Low. Accordingly, the autonomous mobile robot 100 can coexist with the person in the same space without performing the avoidance operation by performing the avoiding operation so as not to contact the person.

また、本実施形態では、動作決定部８０及び走行制御部６６並びに発声制御部６８は、音声認識部５６の認識結果に基づいて人が自律移動ロボット１００を退かそうとする意志が無いと判定した場合で、かつ、（ａ）人が移動していない場合、（ｂ）人が移動中で当該人の顔が自律移動ロボット１００の方向を向いている場合、及び（ｃ）人が自律移動ロボットの方向に移動中で当該人の顔が自律移動ロボット１００の方向を向いていない場合のいずれかに該当する場合に、スピーカ１８から人に対して意志を確認する音声を発生させ、音声認識部５６の認識結果に基づいて人が自律移動ロボット１００を退かそうとする意志があるか否かを判定する。このように、人の移動方向と人の顔の向きを確認した結果、人に自律移動ロボット１００を退かそうとする意志があるか否かが不明と判定されたときに、人の意志を確認することができる。これにより、確認結果を用いることで、自律移動ロボット１００を適切に動作させることができるようになる。 Further, in the present embodiment, the action determination unit 80, the travel control unit 66, and the utterance control unit 68 determine that the person is not willing to leave the autonomous mobile robot 100 based on the recognition result of the voice recognition unit 56. And (a) the person is not moving, (b) the person is moving and the face of the person faces the direction of the autonomous mobile robot 100, and (c) the person moves autonomously. If the person's face is moving in the direction of the robot and the face of the person is not facing the direction of the autonomous mobile robot 100, the speaker 18 generates a sound for confirming the will to the person, and the voice is recognized. Based on the recognition result of the unit 56, it is determined whether or not the person has a will to leave the autonomous mobile robot 100. As described above, when it is determined as a result of confirming the movement direction of the person and the direction of the person's face whether or not the person has the intention to retreat the autonomous mobile robot 100, Can be confirmed. Thereby, the autonomous mobile robot 100 can be appropriately operated by using the confirmation result.

また、本実施形態では、自律移動ロボット１００の位置する通路の幅が狭い場合、すなわち、自律移動ロボット１００の周囲に所定広さ、例えば、自律移動ロボット１００の幅と人の幅の合計よりも広い通路幅、が確保されていない場合に、人の意志を確認する。したがって、自律移動ロボット１００が退かなくても人の邪魔にならないような場合まで、自律移動ロボット１００を動作させなくても良くなるので、動作を効率よく行うことが可能である。 Further, in the present embodiment, when the width of the path where the autonomous mobile robot 100 is located is narrow, that is, a predetermined area around the autonomous mobile robot 100, for example, the sum of the width of the autonomous mobile robot 100 and the width of the person. If a wide passage width is not secured, confirm the will of the person. Therefore, the autonomous mobile robot 100 need not be operated until the autonomous mobile robot 100 does not get in the way even if the autonomous mobile robot 100 does not retreat. Therefore, the operation can be performed efficiently.

また、本実施形態では、人が自律移動ロボットを退かそうとする意志が無いと判定された場合に、邪魔にならない場所に移動した後、人に対する応対を行う。これにより、動作対象の人以外の人にとっても自律移動ロボット１００が邪魔にならずに、動作対象の人に対する応対を行うことができる。 Further, in this embodiment, when it is determined that there is no intention of the person to leave the autonomous mobile robot, after moving to a place where it does not get in the way, the person is treated. As a result, the autonomous mobile robot 100 can also respond to the operation target person without disturbing the person other than the operation target person.

また、本実施形態では、応対不可範囲や移動不可範囲を除く領域内で自律移動ロボット１００を移動させるので、自律移動ロボット１００を適切な範囲で移動させることが可能である。 Moreover, in this embodiment, since the autonomous mobile robot 100 is moved within an area other than the unacceptable range and the unmovable range, the autonomous mobile robot 100 can be moved within an appropriate range.

また、本実施形態では、検出した障害物の位置を、新たな応対不可範囲として地図情報に設定するため、障害物（応対する人以外の人など）に自律移動ロボット１００が接触するのを回避することができる。 Further, in this embodiment, the position of the detected obstacle is set in the map information as a new unacceptable range, so that the autonomous mobile robot 100 is prevented from contacting an obstacle (such as a person other than the person who responds). can do.

なお、上記実施形態では、図１４（ａ）〜図１４（ｃ）の回避動作に代えて、図１５（ａ）、図１５（ｂ）のような回避動作を、自律移動ロボット１００に行わせても良い。具体的には、図１５（ａ）に示すように、自律移動ロボット１００近傍に障害物（人）が存在する場合、自律移動ロボット１００は、図１５（ａ）の紙面上側及び下側のロボット応対可能範囲のいずれかに移動することができる。ここでは、動作決定部８０は、人との距離が離れないように移動場所を決定することとする。例えば、図１５（ａ）の場合であれば、人（動作対象）との距離の増加しない範囲（円Ｌ内）で、かつ移動距離が最も少なくなる位置１００’を移動場所とする。このようにすることで、場所１００”に移動する場合よりも応対時の人との位置関係を適切に保つことができる。同様に、図１５（ｂ）に示すように、応対不可範囲が自律移動ロボット１００の近傍にある場合にも、人との距離の増加しない範囲（円Ｌ内）で、かつ移動距離が最も少ない位置を移動場所とする。これにより、動作対象の人との位置関係を適切に保つことができる。 In the above embodiment, the autonomous mobile robot 100 is caused to perform avoidance operations as shown in FIGS. 15 (a) and 15 (b) instead of the avoidance operations in FIGS. 14 (a) to 14 (c). May be. Specifically, as shown in FIG. 15A, when there is an obstacle (person) in the vicinity of the autonomous mobile robot 100, the autonomous mobile robot 100 is a robot on the upper side and the lower side in FIG. 15A. You can move to any of the available ranges. Here, the operation determining unit 80 determines the moving location so that the distance from the person is not separated. For example, in the case of FIG. 15A, a position 100 ′ where the distance to the person (operation object) does not increase (within the circle L) and the movement distance is the smallest is set as the movement place. By doing so, the positional relationship with the person at the time of reception can be maintained more appropriately than when moving to the place 100 ″. Similarly, as shown in FIG. Even in the vicinity of the mobile robot 100, the position where the distance to the person does not increase (within the circle L) and has the shortest movement distance is set as the movement place. Can be kept properly.

なお、上記実施形態では、カメラ１２としてステレオカメラを用い、当該カメラ１２で撮影される画像を用いて、顔検出及び人の位置検出を行う場合について説明した。しかしながら、これに限られるものではなく、顔検出用のカメラを別途設け、当該顔検出用のカメラで撮影される画像を用いて人の顔を検出することとしても良い。 In the above embodiment, a case has been described in which a stereo camera is used as the camera 12 and face detection and human position detection are performed using an image captured by the camera 12. However, the present invention is not limited to this, and a face detection camera may be provided separately, and a human face may be detected using an image captured by the face detection camera.

なお、上記実施形態では、前述のように、ジャイロセンサ３２は、自律移動ロボット１００の向きを精度良く検出するために用いるためのものである。このため、然程精度が要求されないような場合には、ジャイロセンサ３２を設けないこととしても良い。 In the above embodiment, as described above, the gyro sensor 32 is used for detecting the orientation of the autonomous mobile robot 100 with high accuracy. Therefore, the gyro sensor 32 may not be provided when the accuracy is not so required.

また、上記実施形態では、首部１０ｃが回転可能である場合について説明したが、これに限らず、首部１０ｃは回転しなくても良い。この場合、首モータ３６や首制御部６４を省略することができる。カメラ１２の撮影方向を変更する場合には、移動部２０の走行モータ２４を用いることとすれば良い。 Moreover, although the said embodiment demonstrated the case where the neck part 10c was rotatable, it is not restricted to this, The neck part 10c does not need to rotate. In this case, the neck motor 36 and the neck controller 64 can be omitted. When the shooting direction of the camera 12 is changed, the traveling motor 24 of the moving unit 20 may be used.

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。 The above-described embodiment is an example of a preferred embodiment of the present invention. However, the present invention is not limited to this, and various modifications can be made without departing from the scope of the present invention.

１０ロボット本体
１８スピーカ（応対部の一部）
２０移動部
３４地図情報ＤＢ（地図情報保持部）
５６音声認識部
６０人物検出部
６２位置検出部（ロボット本体位置検出部）
６４首制御部（実行部の一部）
６６走行制御部（実行部の一部）
６８発声制御部（実行部の一部、発声部、応対部の一部）
８０動作決定部（実行部の一部）
１００自律移動ロボット

10 Robot body 18 Speaker (part of the reception unit)
20 moving part 34 map information DB (map information holding part)
56 voice recognition unit 60 person detection unit 62 position detection unit (robot body position detection unit)
64 Neck control unit (part of the execution unit)
66 Travel control part (part of execution part)
68 Voice control part (part of execution part, voice part, part of response part)
80 Action determination unit (part of execution unit)
100 autonomous mobile robot

Claims

The robot body,
A person detecting unit for detecting a position and a moving direction of a person existing around the robot body;
A face detection unit for detecting a direction in which the human face is facing;
A speech recognition unit for recognizing speech emitted by the person;
An execution unit that determines an operation of the robot body based on a detection result of the person detection unit and the face detection unit and a recognition result of the voice recognition unit, and causes the robot body to execute the operation;
A moving unit that moves the robot body according to an instruction from the execution unit;
With
The execution unit is
Based on the recognition result of the voice recognition unit, it is determined whether or not the person intends to leave the robot body, and the person is detected based on the detection results of the person detection unit and the face detection unit. Determine the direction you want to move,
As a result of the determination, if the person has the will, but the direction in which the person wants to move is unknown, the robot body is moved by the moving unit in a direction away from the person,
After the robot body is moved in a direction away from the person, the robot body is moved in the direction away from the person by the moving unit based on the direction of movement of the person detected by the person detection unit. An autonomous mobile robot characterized by

The execution unit is configured such that the movement direction of the person detected by the person detection unit is not a direction toward the robot body, and the direction of the human face detected by the face detection unit is not the direction of the robot body. In the case, the autonomous mobile robot according to claim 1, wherein the moving unit is caused to perform an avoidance operation so that the robot main body and the person are not in contact with each other.

The execution unit includes a utterance unit that utters voice,
When it is determined that the person is not willing to leave the robot body based on the recognition result of the voice recognition unit, and the person is not moving, the person is moving When the person's face is facing the direction of the robot body and when the person is moving in the direction of the robot body and the person's face is not facing the direction of the robot body ,
Generates a voice confirming the will from the utterance unit to the person, and determines whether or not the person is willing to leave the robot body based on a recognition result of the voice recognition unit thereafter The autonomous mobile robot according to claim 1 or 2, characterized in that:

A map information holding unit for holding map information of an area where the robot body is arranged;
A robot body position detector for detecting the position of the robot body;
The execution unit secures a predetermined area around the robot body based on the position of the robot body detected by the robot body position detection unit and the map information held in the map information holding unit. To determine whether or not
The autonomous mobile robot according to claim 3, wherein when the predetermined area is not secured, a voice for confirming a will for the person is generated from the voice generation unit.

And further comprising a reception unit for interacting with the person,
In the map information, a place that does not get in the way even if the robot body is located is set,
The execution unit, in the case where the person has been determined that there is no will to Dokaso the robot body, the moves the robot body in a location that said do not get in the way, be executed the answering before Symbol answering part The autonomous mobile robot according to claim 4.

The execution unit is configured to place the robot body by the moving unit in a place where the distance between the robot body and the person does not increase among the places that do not get in the way, and cause the reception unit to perform the reception. The autonomous mobile robot according to claim 5, wherein the robot is an autonomous mobile robot.

And further comprising a reception unit for interacting with the person,
In the map information, a prohibited place where the robot body cannot be located is set,
When the execution unit determines that the person is not willing to leave the robot body , the execution unit positions the robot body in a place other than the prohibited place by the moving unit, and handles the reception unit. The autonomous mobile robot according to claim 4 , wherein the autonomous mobile robot is executed.

An obstacle detection unit for detecting an obstacle located around the robot body;
The autonomous mobile robot according to claim 7, wherein the obstacle detection unit sets the position of the detected obstacle in the map information as a new prohibited place.