JP2009166184A - Guide robot - Google Patents
Guide robot Download PDFInfo
- Publication number
- JP2009166184A JP2009166184A JP2008007789A JP2008007789A JP2009166184A JP 2009166184 A JP2009166184 A JP 2009166184A JP 2008007789 A JP2008007789 A JP 2008007789A JP 2008007789 A JP2008007789 A JP 2008007789A JP 2009166184 A JP2009166184 A JP 2009166184A
- Authority
- JP
- Japan
- Prior art keywords
- face
- guide robot
- utterance
- person
- explanation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、美術館や展示会等で入場者に展示品を説明するガイドロボットに関し、相手の反応を確認しながら説明を行うようにしたものである。 The present invention relates to a guide robot for explaining exhibits to visitors at museums, exhibitions, etc., while explaining the reaction of the other party.
人と相互作用を行うコミュニケーションロボットでは、例えば、下記特許文献１に開示されているように、自ら能動的にコミュニケーション行動を人に提示し、それに対する人間の反応を認識して、その認識結果に応じた行動をさらに提示するロボットが開発されている。
特許文献１のコミュニケーションロボットは、たとえば、「こんにちは」と話しかけて返事があった場合に、「握手しよう」と言って一方の腕を前方に差し出す。逆に、返事がなかった場合は、「バイバイ」と言う。また、所定の方向に一方の腕及び手を向けて「あっちを見て」と言い、指差した方向に人の顔が向いたことを眼カメラの画像データで認識すると、相手の顔の向きに合わせて頭部の顔側を回転させる。
また、このロボットは、人に装着された赤外線タグの赤外線を検出する赤外線センサや相手との距離を測定する超音波距離センサを備えており、赤外線タグから放射される赤外線が検出できたときは、相手がロボットの方を向いていると判断し、相手が近くにいるのに赤外線が検出できないときは、相手がロボットの方を向いていないと判断する。
そして、コミュニケーション中の相手がロボットの方を向いていないときは、興味を失っていると判断し、話題の転換を図る。
Communication robot of Patent Document 1, for example, when there is a reply talking with "Hello", hold out one arm to say "Let's shake hands" forward. Conversely, if there is no reply, say “bye-bye”. In addition, when one arm and hand are pointed in a predetermined direction and say "Look over there" and it is recognized from the image data of the eye camera that the person's face is pointing in the direction pointed to, the direction of the other person's face Rotate the face side of the head to match.
In addition, this robot is equipped with an infrared sensor that detects the infrared rays of an infrared tag attached to a person and an ultrasonic distance sensor that measures the distance to the other party, and when the infrared rays emitted from the infrared tag can be detected. If it is determined that the other party is facing the robot and infrared rays cannot be detected even though the other party is nearby, it is determined that the other party is not facing the robot.
When the communication partner is not facing the robot, it is determined that the person is not interested and the topic is changed.
多くの美術館では、作品の解説に音声ガイドが導入されており、ヘッドホンを装着した入館者は、作品の前でヘッドホンから流れる説明に聞き入っている。
本発明者等は、この音声ガイドに代わるガイドロボットの開発に取り組んでいる。ガイドロボットの主目的は、入館者が楽しみながら作品を鑑賞できるようにサポートすることであり、入館者の興味がガイドロボットにだけ集中したのでは、所期の目的が達成できない。
そのため、ガイドロボットの場合は、相手の関心を自らに向けるように動作する特許文献１のロボットとは異なる対応が必要になる。
例えば、作品を鑑賞する入館者は、通常、作品の方に体の正面を向けるから、ガイドロボットと向き合うことはない。それ故、特許文献１のように、体がロボットに正対しているか否かを基準に入館者の反応を識別すると、ガイドロボットの場合は、判断を誤ることになる。
In many art museums, audio guides are introduced to explain the work, and visitors wearing headphones listen to the explanation that flows from the headphones in front of the work.
The present inventors are working on the development of a guide robot that can replace this voice guide. The main purpose of the guide robot is to provide support so that visitors can enjoy the work while enjoying it. If the interest of the visitor is concentrated only on the guide robot, the intended purpose cannot be achieved.
Therefore, in the case of a guide robot, a different response from the robot of Patent Document 1 that operates so as to direct the other party's interest toward itself is required.
For example, a visitor who appreciates a work usually faces the work toward the work, so it does not face the guide robot. Therefore, as in Patent Document 1, if a visitor's reaction is identified based on whether or not the body is facing the robot, the determination is incorrect in the case of a guide robot.
本発明は、こうした事情を考慮して創案したものであり、展示物を見る人が、その説明を希望している場合に、分かり易く説明するガイドロボットを提供することを目的としている。 The present invention has been created in consideration of such circumstances, and an object thereof is to provide a guide robot that easily explains when a person viewing an exhibition wants to explain it.
本発明は、入場者（被説明者）に展示物の説明を行うガイドロボットであって、周囲の状況を撮影する撮影手段と、前記撮影手段が撮影した映像から被説明者の顔を検出する顔検出手段と、前記顔検出手段が検出した顔の向きを検出する顔向き検出手段と、ロボットの発話内容及び行動を決定する発話・行動決定手段と、予め蓄積された発話データの中から前記発話・行動決定手段が決定した発話内容の発話データを音声に変換して出力する発話手段と、前記発話・行動決定手段の決定に従い、頭部を回転して顔側の向きを変える頭部回転手段と、を備え、被説明者に展示物を説明する過程で、前記頭部回転手段が、前記頭部を回転して顔側の向きを変え、前記発話・行動決定手段が、そのときに前記顔向き検出手段により検出された当該被説明者の顔向きに基づいて、その後の発話内容または行動を決定することを特徴とする。
ガイドロボットが説明の途中で人間の方に顔を向けると、説明を聞いていた人間は、その動きに連れて、顔を展示物からロボットの方に向ける。逆に、ガイドロボットが人間の方に顔を向けても、人間の反応が見られないときは、その人間はロボットの説明をあまり聞いていない、あるいは、興味がないと判定できる。このような場合に、説明の打ち切りや、説明内容の変更を行う。
The present invention is a guide robot for explaining an exhibit to an attendee (explainee), and detects a face of the explainee from an imaging unit that captures the surrounding situation and an image captured by the imaging unit. From the face detection means, the face direction detection means for detecting the face direction detected by the face detection means, the utterance / behavior determination means for determining the utterance content and action of the robot, and the utterance data stored in advance Speech means for converting the speech data of the utterance content determined by the speech / behavior determination means into speech, and head rotation for rotating the head and changing the direction of the face side according to the determination of the speech / behavior determination means In the process of explaining the exhibit to the person to be explained, the head rotating means rotates the head to change the direction of the face side, and the speech / behavior determining means is The object detected by the face direction detecting means; Based on the face orientation of the inventor, and determines a subsequent speech content or behavior.
When the guide robot turns his face toward a human being in the middle of explanation, the human who has heard the explanation turns his face from the exhibit toward the robot along with the movement. On the other hand, even if the guide robot turns its face toward a person, if no human reaction is seen, it can be determined that the person has not heard much of the explanation of the robot or is not interested. In such a case, the explanation is terminated or the explanation content is changed.
また、本発明のガイドロボットの前記発話・行動決定手段は、前記頭部回転手段が前記頭部を回転して顔側の向きを変えたのに、前記被説明者の顔向きが変わらない回数を非追従回数としてカウントし、前記非追従回数が予め設定した閾値に達したとき、前記説明を打ち切る。
このように、ガイドロボットの動きに反応しない回数が予め設定した回数に達すると、説明の打ち切りを行う。
The speech / behavior determination means of the guide robot according to the present invention may be configured such that the face orientation of the person to be explained does not change even though the head rotation means rotates the head and changes the face direction. Is counted as a non-following number, and when the non-following number reaches a preset threshold value, the description is terminated.
As described above, when the number of times of not responding to the movement of the guide robot reaches a preset number of times, the explanation is terminated.
また、本発明のガイドロボットの前記発話・行動決定手段は、前記頭部回転手段が前記頭部を回転して顔側の向きを変えたのに、前記被説明者の顔向きが変わらないとき、説明の内容を変更する。
このように、説明を打ち切る前に、説明の内容を変えて相手の反応を見る。
The speech / behavior determination unit of the guide robot of the present invention may be configured such that the head rotation unit rotates the head and changes the face side direction, but the face direction of the person to be described does not change. , Change the description.
In this way, before ending the explanation, change the contents of the explanation and see the reaction of the other party.
また、本発明のガイドロボットは、前記頭部回転手段が、説明の切れ目、または、予め設定された語の発話に合わせて、前記顔側の向きを前記展示物から前記被説明者の方向に変えるように構成している。 Further, in the guide robot of the present invention, the head rotating means changes the direction of the face side from the exhibit to the direction of the person to be explained in accordance with a break of explanation or utterance of a preset word. It is configured to change.
また、本発明のガイドロボットでは、前記予め設定された語が、重要な語、難解な語、または、数字である。
人間の説明員の説明態度を分析すると、説明員は、説明の切れ目や、重要な語を言うとき、また難解な語や数字を言うときに入場者の方に顔を向けている。説明員は、そうすることで入場者が自分の説明に付いてきているか、何か質問が無いか等を確認しており、入場者は、こうした説明員の動作が加わることで、説明が理解し易くなる。しかし、説明に興味を持たない人は、説明員の動作に反応しない。従って、説明員の動作に対する反応を検出することで、説明への興味の有無が識別できる。
In the guide robot of the present invention, the preset word is an important word, an esoteric word, or a number.
Analyzing the explanation attitudes of human explainers, the explainers look to the visitors when they explain breaks, say important words, and say difficult words and numbers. The explainer confirms whether the attendee is attached to his explanation by doing so, whether there are any questions, etc., and the attendant understands the explanation by adding the operation of such an explainer. It becomes easy to do. However, those who are not interested in explanation do not respond to the behavior of the explanation staff. Therefore, the presence or absence of interest in the explanation can be identified by detecting the response to the operation of the explanation staff.
また、本発明のガイドロボットは、さらに、前記発話・行動決定手段の決定に従い、指定された方向を手で指し示す指示手段を設け、前記指示手段が前記展示物を指示するときに、前記頭部回転手段が、前記指示手段の指示する方向に顔側の向きを変えるように前記頭部を回転し、前記発話・行動決定手段が、そのときに前記顔向き検出手段により検出された当該被説明者の顔向きに基づいて、その後の発話内容または行動を決定するように構成しても良い。 Further, the guide robot of the present invention further includes an instruction unit that indicates a designated direction by hand according to the determination of the utterance / behavior determination unit, and when the instruction unit instructs the exhibit, The rotating means rotates the head so as to change the direction of the face side in the direction indicated by the indicating means, and the speech / behavior determining means is detected by the face direction detecting means at that time. The subsequent utterance content or action may be determined based on the person's face orientation.
また、本発明のガイドロボットの前記発話・行動決定手段は、前記指示手段が指示したのに、前記被説明者の顔向きが指示した方向に向かないとき、前記指示手段の指示を予め設定された所定回数だけ繰り返し、前記所定回数を繰り返しても前記被説明者の顔向きが指示した方向に向かないとき、前記非追従回数のカウント数を１増やす。 Further, the utterance / behavior determination means of the guide robot of the present invention is preset with an instruction from the instruction means when the instruction means instructs but the face direction of the person to be explained does not face the indicated direction. When the face orientation of the person to be explained does not turn in the designated direction even if the predetermined number of times is repeated, the count number of the non-following number is increased by one.
また、本発明のガイドロボットは、前記指示手段が前記展示物を指示するときに、前記発話手段が、前記被説明者に対し、前記指示手段の指示する方向を向くように促す発話を行うように構成しても良い。 In the guide robot of the present invention, when the instruction means instructs the exhibit, the utterance means makes an utterance that urges the person to be explained to face in the direction indicated by the instruction means. You may comprise.
また、本発明のガイドロボットは、前記指示手段が、「これ」等の指示語の発話に合わせて、前記展示物の該当箇所を指示するように構成しても良い。
このように、ロボットが方向を示し、且つ、その方向に顔を向けると、被説明者は、それに連れてロボットの指し示す方向を見る。このとき、被説明者がロボットの指示する方向を見なければ、その被説明者はロボットの指示に気付いていないか、説明に対する興味が薄れていると判断できる。
In addition, the guide robot of the present invention may be configured such that the instructing unit instructs a corresponding part of the exhibit in accordance with the utterance of an instruction word such as “this”.
As described above, when the robot indicates a direction and turns its face in the direction, the person to be described looks at the direction indicated by the robot. At this time, if the person to be explained does not see the direction instructed by the robot, it can be determined that the person to be explained is not aware of the instruction from the robot or is less interested in explanation.
また、本発明のガイドロボットは、前記指示手段が、手の平を広げた状態で指示する方向を指し示し、または、一部の指だけを伸ばした状態で指示する方向を指し示すように構成することができる。
ロボットが「こちらへどうぞ」と相手を案内する場合や、展示物の全体、または、ある程度拡がりのある部分を指し示す場合は、手を広げた形にして、「この絵は・・・」または「この部分は・・・」と発話しながら説明し、展示物の一部分を指示する場合は、人差し指だけを伸ばした手の形で対象部分を指差し、「これは・・・です」と発話しながら説明する。
Further, the guide robot of the present invention can be configured such that the instruction means indicates the direction instructed with the palms extended, or indicates the direction instructed with only some fingers extended. .
When the robot guides the other party to "Please here", or when pointing to the entire exhibit or a part that has expanded to some extent, make your hand open, and "This picture is ..." or " Explain while saying "This part ...", and when pointing to a part of the exhibit, point the target part in the form of a hand with only the index finger extended, and say "This is ..." While explaining.
また、本発明のガイドロボットは、前記顔向き検出手段が、前記顔検出手段により検出された顔から、当該顔の顔向きと、頷く動作とを検出するように構成することができる。 Further, the guide robot of the present invention can be configured such that the face direction detecting means detects the face direction of the face and a whispering motion from the face detected by the face detecting means.
また、本発明のガイドロボットは、前記頭部回転手段が、横を向くように水平方向に頭部を回転し、または、頷くように垂直方向に頭部を回転するように構成することができる。
例えば、ロボットが「お分かりですね」と発話して相手の同意を求めるとき、ロボットが頷く動作を行うと、人間もそれに連れて頷き返す。こうした動作を通じて、人間はロボットの説明に深く聞き入るようになる。逆に、被説明者から、こうした反応が見られないときは、説明に対する興味が薄れていると判断できる。
Further, the guide robot of the present invention can be configured such that the head rotating means rotates the head in the horizontal direction so as to face sideways, or rotates the head in the vertical direction so as to crawl. .
For example, when the robot speaks "I understand" and asks for the consent of the other party, if the robot performs a whispering action, the human will also take it back. Through these movements, humans become deeply familiar with the explanation of the robot. On the other hand, when such a reaction is not seen from the person to be explained, it can be determined that the interest in explanation is weakened.
また、本発明のガイドロボットは、さらに、前記発話・行動決定手段の決定に従い、指定された位置にロボットを移動する移動手段を設け、前記顔検出手段が被説明者の顔を検出すると、前記移動手段が、当該被説明者の近傍への移動を行い、前記発話手段が、展示物の説明の申し出を発話するように構成することができる。 Further, the guide robot of the present invention further includes a moving unit that moves the robot to a designated position according to the determination of the utterance / behavior determining unit, and when the face detecting unit detects the face of the person to be explained, The moving means may move to the vicinity of the person to be explained, and the utterance means may utter an offer for explaining the exhibit.
また、本発明のガイドロボットは、前記発話手段により展示物の説明の申し出が行われた後、前記顔向き検出手段により所定時間以上に渡ってロボットの方を向く被説明者の顔向きが検出されると、前記移動手段が、予め定められた説明に適する位置への移動を行い、前記指示手段が、当該被説明者の誘導先の位置を指し示すように構成することができる。
このガイドロボットは、撮影手段が撮影した映像から被説明者の顔を検出すると、その人に近づいて「この作品を説明しましょうか」等と声を掛ける。その人がロボットの方を向き、説明を望んでいると判断できる場合には、ロボットは、説明位置に移動して、展示物の正面の位置を手で指し示し、「こちらへどうぞ」と誘導する。
Further, the guide robot of the present invention detects the face orientation of the person to be explained who faces the robot for a predetermined time or more by the face orientation detecting means after the speech means offers the explanation of the exhibit. Then, the moving means can be configured to move to a position suitable for a predetermined explanation, and the instruction means can indicate the position of the guidance destination of the person to be explained.
When this guide robot detects the face of the person to be explained from the video taken by the photographing means, it approaches the person and asks, “Do you want to explain this work?” If the person turns to the robot and can determine that he wants an explanation, the robot moves to the explanation position, points to the front position of the exhibit with his hand, and guides "Please come here" .
また、本発明のガイドロボットは、前記発話手段により展示物の説明の申し出が行われても、前記顔向き検出手段によりロボットの方を向く被説明者の顔向きが検出されないとき、前記発話手段が、展示物の説明の申し出を繰り返すように構成することができる。
この場合、相手の顔が検出できているときは、相手がロボットを見るまで、呼掛けを繰り返してもよいし、また、予め定めた回数だけ繰り返し、それでも相手がロボットの方を見なければ、説明が不要だと判定して止めるようにしてもよい。
In addition, the guide robot of the present invention may be configured such that, even if an offer to explain an exhibit is made by the utterance means, the face direction detection means does not detect the face orientation of the person to be explained facing the robot. However, it can be configured to repeat the offer to explain the exhibits.
In this case, when the other party's face can be detected, the call may be repeated until the other party sees the robot, or it repeats a predetermined number of times, and if the other party still does not see the robot, It may be determined that the explanation is unnecessary and stopped.
本発明のガイドロボットは、展示物の説明を希望している人に対し、分かり易い説明を行うことができる。また、その人の反応から、説明に興味を持たない人や、説明の途中で興味が薄れた人を的確に識別することができるため、それらの人に説明を無理強いすること無く、希望者のみに効率的に説明を行うことができる。 The guide robot of the present invention can give an easy-to-understand explanation to a person who wants to explain an exhibit. In addition, the person's reaction can accurately identify those who are not interested in the explanation or those who have lost interest in the explanation, so that only those who wish can do so without forcing them to explain. Can be explained efficiently.
本発明の実施形態のガイドロボットについて、図面を基に説明する。図１は、このガイドロボットの外形と機能ブロックとを模式的に示す図、図２は、このガイドロボットの構成を示すブロック図、図３は、このガイドロボットの動作を示すフロー図、また、図４は、このガイドロボットが説明に用いる説明文を示す図である。 A guide robot according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a diagram schematically showing the outline and functional blocks of this guide robot, FIG. 2 is a block diagram showing the configuration of this guide robot, FIG. 3 is a flowchart showing the operation of this guide robot, FIG. 4 is a diagram showing explanatory text used for explanation by this guide robot.
このガイドロボットは、図１に示すように、外形的に頭部１０と、胴体２０と、腕３０と、手３１と、移動用の車輪４０と、ビデオカメラ５０とを有しており、頭部１０には顔が設けられている。また、図２に示すように、駆動系のハードウエアとして、腕３０を動かす腕モータ３３、手３１の指を動かす指モータ３２、胴体２０に対して頭部１０を回転する頭部モータ１１、胴体２０の向きを変える腰モータ２１、車輪４０を回転してロボットを前後左右に移動する車輪モータ４１、及び、各モータを制御するモータ制御ボード６１を有している。また、センサ系として、距離を測定する超音波距離センサ５１、ロボットの周囲の状況を撮影するビデオカメラ５０、及び、これらへの信号の入出力を中継するセンサ入力／出力ボード６２を有している。また、オーディオ系として、発話データを音声に変換して出力するスピーカ１２、及び、スピーカ１２への信号出力を中継する音声出力ボード６３を有している。また、制御系として、ロボットを制御するＣＰＵ６４、制御プログラムや各種データが記憶されるメモリ６５、及び、ビデオカメラ５０の映像に含まれた顔画像を解析するＤＳＰ（digital signal processor）から成る顔画像処理装置６８を有している。また、通信系として、外部のコンピュータと通信を行う無線通信装置６７、及び、通信ＬＡＮボード６６を有している。 As shown in FIG. 1, this guide robot has a head 10, a body 20, an arm 30, a hand 31, a moving wheel 40, and a video camera 50. Part 10 is provided with a face. As shown in FIG. 2, as drive system hardware, an arm motor 33 that moves the arm 30, a finger motor 32 that moves the finger of the hand 31, a head motor 11 that rotates the head 10 with respect to the body 20, A waist motor 21 that changes the direction of the body 20, a wheel motor 41 that rotates the wheel 40 to move the robot back and forth and right and left, and a motor control board 61 that controls each motor are provided. Further, as a sensor system, an ultrasonic distance sensor 51 for measuring a distance, a video camera 50 for photographing a situation around the robot, and a sensor input / output board 62 for relaying input / output of signals to / from these are provided. Yes. Further, the audio system includes a speaker 12 that converts speech data into sound and outputs the sound, and a sound output board 63 that relays signal output to the speaker 12. Further, as a control system, a face image comprising a CPU 64 for controlling the robot, a memory 65 for storing control programs and various data, and a DSP (digital signal processor) for analyzing the face image included in the video of the video camera 50. A processing device 68 is included. The communication system also includes a wireless communication device 67 that communicates with an external computer and a communication LAN board 66.
なお、通信系は、有線により外部のコンピュータと接続する構成でも良い。メモリ６５には、スピーカ１２から音声出力される各種の発話データが格納され、また、ロボットの発話や行動の履歴、移動の軌跡などの情報が保持されるが、このメモリ６５を外部コンピュータのメモリで代用し、外部コンピュータとロボットとが、通信系を介して、これらの情報をやり取りするようにしても良い。また、顔画像処理装置６８は、制御プログラムに従って演算処理を行うＣＰＵ６４の機能として実現することもできる。また、外部コンピュータの側で顔画像処理装置６８を保持し、ロボットが、通信系を介して、ビデオカメラ５０の画像データを外部コンピュータに送るようにしても良い。
ビデオカメラ５０は、図１に示すように、ロボットの胴体２０に固定され、頭部１０よりも高い位置にある。そのため、頭部１０の回転の影響を受けずに、ロボットの前方を撮り続けることができる。
The communication system may be configured to connect to an external computer by wire. Various kinds of utterance data output from the speaker 12 are stored in the memory 65, and information such as utterances and behavior histories of robots and movement trajectories is stored. Alternatively, the external computer and the robot may exchange such information via a communication system. The face image processing device 68 can also be realized as a function of the CPU 64 that performs arithmetic processing according to a control program. Alternatively, the face image processing device 68 may be held on the external computer side, and the robot may send the image data of the video camera 50 to the external computer via a communication system.
As shown in FIG. 1, the video camera 50 is fixed to the body 20 of the robot and is located higher than the head 10. Therefore, the front of the robot can be continuously taken without being affected by the rotation of the head 10.
このガイドロボットは、ビデオカメラ５０の映像から人９０の顔画像を検出し、それを基に、人９０への作品９１の説明の仕方について決定する。
この動作を行うために、ガイドロボットは、図１に示すように、機能ブロックとして、ビデオカメラ５０の映像から顔画像を検出する顔検出手段７１と、検出された顔画像から顔向きを検出する顔向き検出手段７２と、顔画像や顔向きに基づいてロボットの発話内容や行動を決定する発話・行動決定手段７３と、決定された内容の発話を生成する発話生成手段７４とを備えている。顔検出手段７１及び顔向き検出手段７２は、ビデオカメラ５０の映像を処理する顔画像処理装置６８により実現され、発話・行動決定手段７３は、制御プログラムに従って処理を行うＣＰＵ６４により実現され、また、発話生成手段７４は、メモリ６５に予め格納された各種の発話データの中から制御プログラムに従ってＣＰＵ６４が選択する処理によって実現される。
This guide robot detects the face image of the person 90 from the video of the video camera 50, and determines how to explain the work 91 to the person 90 based on the detected face image.
In order to perform this operation, as shown in FIG. 1, the guide robot detects a face image from a video image of the video camera 50 and a face direction from the detected face image as functional blocks. A face direction detecting unit 72, an utterance / behavior determining unit 73 for determining the utterance content and action of the robot based on the face image and the face direction, and an utterance generating unit 74 for generating an utterance of the determined content are provided. . The face detection means 71 and the face orientation detection means 72 are realized by a face image processing device 68 that processes video of the video camera 50, and the utterance / behavior determination means 73 is realized by a CPU 64 that performs processing according to a control program. The utterance generation means 74 is realized by processing selected by the CPU 64 from various utterance data stored in advance in the memory 65 in accordance with a control program.
顔画像の検出には、幾つかの方法が知られている。例えば、図５のフロー図に示すように、ビデオカメラ５０の映像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出し（ステップ１）、また、ビデオカメラ５０の映像から、肌色領域を検出し（ステップ２）、顔矩形と肌色領域とが少なくとも一部で重なる場合に（ステップ３）、それを顔画像として検出することができる（ステップ４）。
肌色領域の検出（ステップ２）は、図６に示すように、ビデオカメラ５０の映像から、ＲＧＢカラースペース（Ｒ、Ｇ、Ｂ各８ビット）での値が、
Ｒ＞９５、Ｇ＞４０、Ｂ＞２０
Ｍａｘ｛Ｒ．Ｇ．Ｂ｝−Ｍｉｎ｛Ｒ．Ｇ．Ｂ｝＞１５
｜Ｒ−Ｇ｜＞１５
Ｒ＞Ｇ、Ｒ＞Ｂ
の条件を満たす肌色の画素の範囲を抽出し（ステップ２１）、この肌色部分のフレーム間差分を算出して、フレーム間差分の絶対値の総和が閾値を超えるか否かを識別し（ステップ２２）、フレーム間差分が閾値以下の肌色部分は、肌色の壁や机等が抽出されたものとして排除し(ステップ２４)、フレーム間差分の絶対値の総和が閾値を超える肌色部分を人物の顔の可能性がある肌色領域として検出する(ステップ２３)。
Several methods are known for detecting a face image. For example, as shown in the flowchart of FIG. 5, a face rectangle corresponding to a face is detected from a video camera 50 video using a discriminator using a rectangular feature (step 1). From this, a skin color area is detected (step 2), and when the face rectangle and the skin color area overlap at least partially (step 3), it can be detected as a face image (step 4).
As shown in FIG. 6, the detection of the skin color area (step 2) is based on the image of the video camera 50, and the value in the RGB color space (R, G, B each 8 bits)
R> 95, G> 40, B> 20
Max {R. G. B} -Min {R. G. B}> 15
| RG |> 15
R> G, R> B
A range of flesh-colored pixels satisfying the above condition is extracted (step 21), and the inter-frame difference of this flesh-color part is calculated to identify whether or not the sum of absolute values of inter-frame differences exceeds a threshold (step 22). ), Skin color parts with inter-frame differences less than or equal to the threshold value are excluded as skin color walls or desks are extracted (step 24), and skin color parts whose sum of absolute values of inter-frame differences exceeds the threshold value (Step 23).
図７（ａ）には、画像から検出された顔矩形７１１を示している。ここでは、識別器として“ＯｐｅｎＣＶ Ｈａａｒ Ｃｌａｓｓｉｆｉｅｒ”（G. Bradsky, A. kaehler, V. Pisarevskky, “Learning Based Computer Vision with Intel’s Open Source Computer Vision Library,” Intel Technology Journal, Vol.09, 2005）を正面顔を検出するように学習させたものを用いている。図７（ｂ）（ｃ）（ｄ）に示すように、この顔矩形７１１の水平方向の中心線７１２は、鼻の位置に一致している。また、図７（ｂ）（ｃ）（ｄ）には、肌色領域の水平方向の境界線を７１３として示している。 FIG. 7A shows a face rectangle 711 detected from the image. Here, “OpenCV Haar Classifier” (G. Bradsky, A. kaehler, V. Pisarevskky, “Learning Based Computer Vision with Intel's Open Source Computer Vision Library,” Intel Technology Journal, Vol. 09, 2005) is used as a discriminator. What is learned to detect the face is used. As shown in FIGS. 7B, 7C, and 7D, the horizontal center line 712 of the face rectangle 711 coincides with the position of the nose. Further, in FIGS. 7B, 7C, and 7D, a horizontal boundary line of the flesh color region is indicated as 713. FIG.
顔向きの検出は、図８のフロー図に示すように、顔矩形の検出（ステップ１）と肌色領域の検出（ステップ２）との検出結果を用いて、顔矩形７１１の水平方向の中心位置（中心線７１２の位置）と肌色領域（境界線７１３の間の領域）の水平方向の中心位置との差分を算出して求めることができる(ステップ６)。
ガイドロボットの方を向く正面顔は、ステップ６で求めた差分値と予め設定した閾値とを比較し(ステップ７)、差分値が閾値未満である場合に、正面顔と識別することができる（ステップ８）。差分値が閾値を超えていれば、正面顔ではないと識別できる（ステップ９）。
As shown in the flowchart of FIG. 8, the detection of the face orientation is performed by using the detection result of the detection of the face rectangle (step 1) and the detection of the skin color area (step 2), and the horizontal center position of the face rectangle 711. The difference between the (center line 712 position) and the horizontal center position of the skin color area (area between the boundary lines 713) can be calculated (step 6).
The front face facing the guide robot can be identified as a front face when the difference value obtained in step 6 is compared with a preset threshold value (step 7) and the difference value is less than the threshold value (step 7). Step 8). If the difference value exceeds the threshold, it can be identified that the face is not a front face (step 9).
図７（ｃ）は、人物がビデオカメラ５０の正面を向いたときの顔矩形７１１と肌色領域７１３との関係を示し、また、図７（ｂ）は、ビデオカメラ５０の多少右側を向いたとき、図７（ｄ）は、ビデオカメラ５０の多少左側を向いたときの顔矩形７１１と肌色領域７１３との関係を示している。
顔検出手段７１及び顔向き検出手段７２は、こうした処理により顔画像の検出と顔向きの検出とを継続的に行う。
FIG. 7C shows the relationship between the face rectangle 711 and the skin color region 713 when a person faces the front of the video camera 50, and FIG. 7B shows the right side of the video camera 50. FIG. 7D shows the relationship between the face rectangle 711 and the skin color region 713 when facing the video camera 50 slightly to the left.
The face detection unit 71 and the face direction detection unit 72 continuously detect the face image and the face direction by such processing.
次に、このガイドロボットの動作について、図３のフロー図を用いて説明する。
ガイドロボットの顔検出手段７１は、ビデオカメラ５０の画像から人の顔を検出する（ステップ３１）。顔画像が検出されると、発話・行動決定手段７３は、その人への接近を指令する（ステップ３２）。
このガイドロボットは、自分の存在位置を知ることが可能である。例えば、会場内に固定されている２以上の物体を基準指標とし、それらとの距離を超音波距離センサ５１で測定すれば、会場内での位置が算出できる。また、絵画９１の大きさや床からの掲示の高さ、ビデオカメラ５０の取り付け位置が既知であれば、絵画９１の隅の位置を撮影したビデオカメラ５０の画像からガイドロボットの立ち位置を求めることもできる。また、床に圧力センサを設けたり、天井や壁に位置算出用のマークを付けたりしても、位置を求める手段は実現できる。
ガイドロボットは、現在位置から、顔画像が検出された人の位置まで、例えば、移動軌跡が少し弧を描くように近付き、超音波距離センサ５１で測定したその人との距離が所定値に縮まった時点で停止する。なお、最初に人間に近付く場合、直線的に近付くと、人間が後ずさりしてしまうことがある。しかし、弧を描いて近付くと、そのようなことが少ない。
Next, the operation of this guide robot will be described with reference to the flowchart of FIG.
The face detection means 71 of the guide robot detects a human face from the image of the video camera 50 (step 31). When the face image is detected, the utterance / behavior determination means 73 commands an approach to the person (step 32).
This guide robot can know its own location. For example, if two or more objects fixed in the hall are used as reference indices and the distance between them is measured by the ultrasonic distance sensor 51, the position in the hall can be calculated. If the size of the painting 91, the height of the posting from the floor, and the mounting position of the video camera 50 are known, the standing position of the guide robot is obtained from the image of the video camera 50 that captures the corner position of the painting 91. You can also. A means for obtaining the position can be realized even if a pressure sensor is provided on the floor or a mark for position calculation is attached to the ceiling or wall.
The guide robot approaches from the current position to the position of the person from whom the face image is detected, for example, the movement trajectory approaches a little arc, and the distance to the person measured by the ultrasonic distance sensor 51 is reduced to a predetermined value. Stop at the point. In addition, when approaching a person first, when approaching linearly, a person may go back. However, when you approach an arc, this is rare.
人に近付いたガイドロボットは、発話・行動決定手段７３の指令に従って、スピーカ１２から「この作品を説明しましょうか」などと発話し、説明の申し出を行う（ステップ３３）。
説明の申し出を受けた人が、ガイドロボットの方を所定時間直視した場合、即ち、正面顔が所定時間検出されたときは（ステップ３４でＹｅｓ）、説明を希望しているものと判断する。ガイドロボットは、説明を始めるために、説明に適した位置に移動し（ステップ３５）、また、「こちらへどうぞ」と発話して、広げた手３１で鑑賞に適した位置を指し示し、その人をその場所に誘導する（ステップ３６）。
一般に絵画作品の鑑賞は、絵画全体の見易さから、絵画の中央正面であって、絵画の対角線の長さに相当する距離だけ離れた位置で見るのが適している。ガイドロボットが移動する“説明に適した位置”は、腕３０及び手３１を伸ばして、鑑賞に適した位置に人間を導くことができる位置である。この鑑賞位置及び説明位置は、予め作品ごとに定めて、メモリ６５に記憶しておくことができる。
The guide robot approaching the person utters “Let's explain this work” or the like from the speaker 12 according to a command from the utterance / behavior determination means 73 and makes an explanation (step 33).
When the person who has received the offer for explanation looks directly at the guide robot for a predetermined time, that is, when the front face is detected for a predetermined time (Yes in step 34), it is determined that the explanation is desired. In order to start explanation, the guide robot moves to a position suitable for the explanation (step 35), and also speaks “please here” and points out the position suitable for viewing with the spread hand 31. To the location (step 36).
In general, for viewing a painting, it is suitable for viewing from the center front of the painting at a distance corresponding to the length of the diagonal of the painting because of the ease of viewing the entire painting. The “position suitable for explanation” where the guide robot moves is a position where the arm 30 and the hand 31 can be extended to guide a human to a position suitable for viewing. The viewing position and the explanation position can be determined in advance for each work and stored in the memory 65.
ステップ３４において、人がガイドロボットの方を見ないとき、即ち、顔画像は検出されているが、正面顔が検出されていないときは、作品に興味を抱いているが、ロボットの発話に気が付かなかった、あるいは、ロボットの発話には気づいたが、どうしようか考慮中である、と考えられるので、申し出回数Ｋを１つインクリメントし（ステップ３８）、その回数Ｋが閾値（Ｋ0）を超えていなければ（ステップ３９でＮｏ）、説明の申し出を繰り返す（ステップ３３）。このとき、メモリ６５に格納された複数の発話データの中から、前回と異なる発話内容の発話データを選択し、例えば「どうですか。この作品に興味はございませんか」などと言って説明を勧誘する。
こうした発話の使い分けを行うため、メモリ６５には、幾通りもの発話データが用意され、また、ガイドロボットの発話の履歴や行動の履歴が記憶される。
In step 34, when the person does not look at the guide robot, that is, when the face image is detected but the front face is not detected, the person is interested in the work but is not aware of the robot's utterance. No, or noticed the utterance of the robot, but it is considered that what to do is considered, so the number of offers K is incremented by 1 (step 38), and the number of times K sets the threshold value (K 0 ). If not exceeded (No in step 39), the offer of explanation is repeated (step 33). At this time, utterance data having an utterance content different from the previous utterance data is selected from the plurality of utterance data stored in the memory 65, and the explanation is solicited, for example, "How is it? Are you not interested in this work?"
In order to properly use such utterances, various kinds of utterance data are prepared in the memory 65, and the utterance history and behavior history of the guide robot are stored.
申し出回数Ｋが閾値（Ｋ0）を超えた場合は（ステップ３９でＹｅｓ）、ガイドロボットの説明が不要と判断し、この人への説明を断念して、ステップ３１に戻る。
また、鑑賞位置に誘導した人が、その位置に移動しない場合、即ち、鑑賞位置から顔画像が検出できない場合は（ステップ３７でＮｏ）、誘導回数Ｌを１つインクリメントし（ステップ４１）、その回数Ｌが閾値（Ｌ0）を超えていなければ（ステップ４１でＮｏ）、再び「こちらへどうぞ」と発話し、腕３０及び手３１を伸ばして誘導動作を繰り返す（ステップ３３）。
誘導回数Ｌが閾値（Ｌ0）を超えた場合は（ステップ４１でＹｅｓ）、ガイドロボットの説明が聞きたくないものと判断し、この人への説明を止めて、ステップ３１に戻る。
鑑賞位置に誘導した人が、その位置に移動すると（ステップ３７でＹｅｓ）、作品９１の説明を開始する（ステップ４２）。
If the number of offers K exceeds the threshold (K 0 ) (Yes in step 39), it is determined that the explanation of the guide robot is unnecessary, the explanation for this person is abandoned, and the process returns to step 31.
If the person guided to the viewing position does not move to that position, that is, if a face image cannot be detected from the viewing position (No in step 37), the number of times of guidance L is incremented by 1 (step 41). If the number of times L does not exceed the threshold value (L 0 ) (No in step 41), “please go here” is spoken again, the arm 30 and the hand 31 are extended, and the guiding operation is repeated (step 33).
If the number of times of guidance L exceeds the threshold value (L 0 ) (Yes in step 41), it is determined that the explanation of the guide robot is not desired to be heard, the explanation to this person is stopped, and the process returns to step 31.
When the person who has been guided to the viewing position moves to that position (Yes in step 37), the description of the work 91 is started (step 42).
メモリ６５に格納された説明文には、図４に示すように、（ａ）（ａ１）（ｂ１）（ｂ２）等の制御記号が含まれている。ここで、（ａ）は、説明の切れ目に、ガイドロボットの顔を入場者の方向に向けるように指示する制御記号である。（ａ１）は、予め設定された重要な語、難解な語、数字などが出現したとき、その語を発話しながら、ガイドロボットの顔を入場者の方向に向けるように指示する制御記号である。（ｂ１）は、「これ」等の指示語が出現したとき、腕を指示語で表される対象物の方向に伸ばす（手は全ての指を伸ばした状態とする）とともに、その方向にガイドロボットの顔を向けるように指示する制御記号である。また、（ｂ２）は、指示語が出現したとき、腕を指示語で表される対象物の方向に伸ばす（手は人差し指だけを伸ばした状態とする）とともに、その方向にガイドロボットの顔を向けるように指示する制御記号である。 The explanatory text stored in the memory 65 includes control symbols such as (a) (a1) (b1) (b2) as shown in FIG. Here, (a) is a control symbol that instructs to turn the face of the guide robot in the direction of the visitor at the break of the explanation. (A1) is a control symbol for instructing the face of the guide robot to face the direction of a visitor while speaking a word when a preset important word, difficult word, number, or the like appears. . (B1) When an instruction word such as “this” appears, the arm is extended in the direction of the object represented by the instruction word (the hand is in a state where all fingers are extended) and the guide is guided in that direction. This is a control symbol for instructing the robot face to face. Also, (b2) indicates that when an instruction word appears, the arm is extended in the direction of the object represented by the instruction word (the hand is in a state where only the index finger is extended), and the face of the guide robot is extended in that direction. It is a control symbol that directs it to turn.
ガイドロボットは、この説明文を音声に変換してスピーカ１２から音声出力する。それと同時に、制御記号（ａ）が挿入された“説明の切れ目”であるか否かを識別し（ステップ４３）、説明の切れ目であれば、頭部モータ１１を駆動して頭部１０の顔の側を人９０の方に向ける（ステップ４６）。
また、ステップ４３において、説明の切れ目でないときは、制御記号（ａ１）が挿入された設定語であるか否かを識別し（ステップ４４）、設定語であれば、頭部モータ１１を駆動して頭部１０の顔の側を人９０の方に向ける（ステップ４６）。
The guide robot converts the explanatory text into sound and outputs the sound from the speaker 12. At the same time, it is discriminated whether or not the “description break” is inserted with the control symbol (a) (step 43). Is directed toward the person 90 (step 46).
In step 43, if the description is not a break, it is determined whether or not the set word is inserted with the control symbol (a1) (step 44). If it is a set word, the head motor 11 is driven. Then, the face side of the head 10 is directed toward the person 90 (step 46).
このように説明者が、説明を受けている人（鑑賞者）９０の顔を見ると、鑑賞者９０が興味を持って説明を聞いている場合、説明者の動作に反応して、鑑賞者９０も説明者の顔を見ることが本発明の発明者等の観察で確かめられている (Y. Kuno, K. Sadazuka, M. Kawashima, K. Yamazaki, A. Yamazaki, and H. Kuzuoka, Museum guide robot based on sociological interaction analysis, Proc. CHI2007, pp.1191-1194, 2007 及び Y. Kuno, K. Sadazuka, M. Kawashima, S.Tsuruta, K. Yamazaki, and A. Yamazaki, Effective head gestures for museum guide robots in interaction with humans, Proc. RO-MAN2007, pp.151-156, 2007)。
逆に、説明者の動作に鑑賞者９０が反応しない場合は、説明者の説明をあまり聞いていない状態、説明に興味が無い状態と判定できる。
Thus, when the presenter looks at the face of the person (viewer) 90 who is receiving the explanation, when the viewer 90 is interested in hearing the explanation, the viewer responds to the action of the presenter. It is confirmed by the inventors of the present invention that the face of the presenter is also 90 (Y. Kuno, K. Sadazuka, M. Kawashima, K. Yamazaki, A. Yamazaki, and H. Kuzuoka, Museum guide robot based on sociological interaction analysis, Proc. CHI2007, pp.1191-1194, 2007 and Y. Kuno, K. Sadazuka, M. Kawashima, S. Tsuruta, K. Yamazaki, and A. Yamazaki, Effective head gestures for museum guide robots in interaction with humans, Proc. RO-MAN2007, pp.151-156, 2007).
On the contrary, when the viewer 90 does not react to the operation of the presenter, it can be determined that the explanation of the presenter is not heard so much and that the explanation is not interested.
ガイドロボットの顔向き検出手段７２は、鑑賞者９０の方に顔を向けたときに（ステップ４６）、鑑賞者９０がガイドロボットの方を向いたか否かを識別する（ステップ４７）。鑑賞者９０がガイドロボットの方を向いた場合は、興味を持って説明を聞いているものと見て、説明を続ける（ステップ４２）。また、ステップ４７において、鑑賞者９０がガイドロボットの方を向かないときは、非追従回数Ｎを１つインクリメントする（ステップ５４）。
また、ステップ４４において、設定語で無いときは、制御記号（ｂ１）または（ｂ２）が挿入された指示語であるか否かを識別する（ステップ４５）。指示語であれば、制御記号（ｂ１）または（ｂ２）に従い、全ての指を伸ばした手の形で、または、人差し指だけを伸ばした手の形で、指示語で表されるものを指し示し（ステップ４８）、その方向にガイドロボットの顔を向ける（ステップ４９）。
When the face direction detecting means 72 of the guide robot faces the viewer 90 (step 46), it identifies whether or not the viewer 90 faces the guide robot (step 47). If the viewer 90 turns to the guide robot, it is assumed that the user is listening to the explanation with interest, and the explanation is continued (step 42). In step 47, when the viewer 90 does not face the guide robot, the non-following number N is incremented by one (step 54).
In step 44, if it is not a set word, it is identified whether or not it is an instruction word in which the control symbol (b1) or (b2) is inserted (step 45). In the case of a directive word, in accordance with the control symbol (b1) or (b2), the one indicated by the directive word in the form of a hand with all fingers extended or with the index finger extended (points) Step 48), the face of the guide robot is directed in that direction (Step 49).
鑑賞者９０が興味を持って説明を聞いている場合は、このガイドロボットの動作に反応して、指示された方向に顔を向ける。逆に、ガイドロボットの動作に鑑賞者９０が反応しない場合は、ガイドロボットの説明をあまり聞いていない状態、説明に興味が無い状態と判定できる。ガイドロボットの顔向き検出手段７２は、鑑賞者９０がガイドロボットの指示する方向を向いたか否かを識別する（ステップ５０）。鑑賞者９０がガイドロボットの指示する方向を向いた場合は、興味を持って説明を聞いているものと見て、説明を続ける（ステップ４２）。 When the viewer 90 is interested in listening to the explanation, the viewer 90 turns his face in the instructed direction in response to the operation of the guide robot. On the contrary, when the viewer 90 does not react to the operation of the guide robot, it can be determined that the explanation of the guide robot is not heard so much and the explanation is not interested. The face orientation detector 72 of the guide robot identifies whether or not the viewer 90 has faced the direction indicated by the guide robot (step 50). If the viewer 90 turns in the direction indicated by the guide robot, it is assumed that the explanation is received with interest and the explanation is continued (step 42).
また、ステップ５０において、鑑賞者９０がガイドロボットの指示する方向を向かないときは、この指示に気付かない場合もあるので、指示回数Ｍを１つインクリメントし（ステップ５１）、その回数Ｍが閾値（Ｍ0）を超えていなければ（ステップ５２でＮｏ）、一旦、指示する手を下ろした後に、再び手で指示を行う（ステップ５３）。また、ステップ５２において、指示回数Ｍが閾値（Ｍ0）を超えた場合は（ステップ５２でＹｅｓ）、非追従回数Ｎを１つインクリメントする（ステップ５４）。
そして、非追従回数Ｎの合計が閾値（Ｎ0）を超えた場合（ステップ５５でＹｅｓ）、鑑賞者９０は、ガイドロボットの説明に興味がないと判断し、「それでは、次の作品に行きましょうか」などと言って、説明を途中で打ち切る（ステップ５６）。また、説明文を予め幾つかの部分に分けて置き、次の切れ目まで発話して、終了するようにしても良い。
また、ステップ４５において、指示語でも無いときは、説明が完了しているか否かを識別し（ステップ５７）、完了していれば説明を終了し、完了していなければ説明を続ける（ステップ４２）。
このように、このガイドロボットは、ガイドロボットの説明を希望する人にだけ、説明を行うことができる。
In step 50, if the viewer 90 does not turn in the direction indicated by the guide robot, the instruction may not be noticed, so the instruction count M is incremented by 1 (step 51), and the count M is a threshold value. If (M 0 ) has not been exceeded (No in step 52), the hand to be instructed is once lowered and then instructed by hand again (step 53). If the instruction count M exceeds the threshold value (M 0 ) in step 52 (Yes in step 52), the non-following count N is incremented by 1 (step 54).
If the total number of non-following times N exceeds the threshold value (N 0 ) (Yes in step 55), the viewer 90 determines that he is not interested in explaining the guide robot, and says " Let ’s say “I ’ll do it,” and stop the explanation halfway (step 56). Alternatively, the explanatory text may be divided into several parts in advance, uttered until the next break, and the process may be terminated.
If the instruction is not an instruction word in step 45, it is determined whether or not the explanation is completed (step 57). If it is completed, the explanation ends. If not, the explanation continues (step 42). ).
Thus, this guide robot can explain only to those who wish to explain the guide robot.
なお、ガイドロボットの頭部モータ１１を、頭部１０の水平方向の回転だけでなく、垂直方向にも回転できるように構成すれば、ガイドロボットの動作に“頷く所作”を加えることができる。このガイドロボットが、例えば、「お分かりですね」と発話して鑑賞者の同意を求めるとき、頷く動作を併せて行うと、鑑賞者も、それに反応して頷き返す。こうした動作を通じて、鑑賞者はガイドロボットの説明に深く聞き入るようになる。逆に、鑑賞者から、こうした反応が見られないときは、説明に対する興味が薄れていると判断できる。
そのため、ガイドロボットの顔向き検出手段７２が、鑑賞者の水平方向の顔向きとともに、頷くときの垂直方向の顔向きを検出するように構成すれば、鑑賞者がガイドロボットの説明を望んでいるか否かを、頷く動作からも識別できる。なお、頷く動作は、顔画像のフレーム差分を取ることで簡単に検出可能である。
If the head motor 11 of the guide robot is configured to be able to rotate not only in the horizontal direction of the head 10 but also in the vertical direction, it is possible to add “cracking work” to the operation of the guide robot. For example, when this guide robot speaks “I understand” and asks for the viewer's consent, when the user performs a whispering motion, the viewer also turns back in response. Through these actions, viewers will deeply listen to the explanation of the guide robot. Conversely, if such a response is not seen by the viewer, it can be determined that the interest in explanation is weakened.
Therefore, if the face orientation detection means 72 of the guide robot is configured to detect the face orientation in the vertical direction when whispering together with the viewer's horizontal face orientation, does the viewer want to explain the guide robot? Whether or not it can be identified from the crawling operation. The whispering operation can be easily detected by taking the frame difference of the face image.
また、ガイドロボットの腕３０及び手３０を動かして作品９１やその一部を指し示すとき、「こちらを見て下さい」とか「もっと近付いて見て下さい」などと、鑑賞者の行動を促す発話を併せて行うようにすれば、鑑賞者を作品の説明に、より強く引き入れることができる。このとき、鑑賞者から発話に応じた反応が見られなければ、説明に対する興味が薄れていることを明確に識別できる。
また、こうした指示動作の際に、ガイドロボット自身が作品の指示する箇所に近付いたり、指示する対象に応じて、手の形や腕の振り方を変えたりすることにより、ガイドロボットの説明に対する鑑賞者の注目度を高めることができる。
例えば、「こちらへどうぞ」と相手を案内するときは手を広げる。また、絵全体、あるいは、ある程度広がりのある部分を指し示すときは、手を広げ、腕をその辺りで円を描くように動かす。狭い部分を指し示すときは、手を握って人差し指だけを伸ばし、腕は、その部分を指し続ける。
こうした動作に対して鑑賞者の反応が無ければ、説明に対する興味が薄れていることを明確に識別できる。
Also, when moving the arm 30 and hand 30 of the guide robot to point to work 91 or a part of it, utterances that encourage the viewer's actions, such as “Please look here” or “Please look closer” If done together, the viewer can be more strongly drawn into the description of the work. At this time, if there is no reaction from the viewer according to the utterance, it can be clearly identified that the interest in the explanation is weakened.
In addition, the guide robot can appreciate the explanation of the guide robot by approaching the location indicated by the work itself or by changing the shape of the hand or arm according to the instruction target during such an instruction operation. The attention level of the person can be increased.
For example, when guiding the other party, “Please come here”, spread your hands. Also, when pointing to the entire picture, or a part that has some extent, spread your hands and move your arms to draw a circle around them. When pointing to a narrow part, hold your hand and extend only your index finger, and your arm will continue to point to that part.
If there is no viewer response to these actions, it can be clearly identified that the interest in the explanation is weakened.
ガイドロボットの手（手の付いた腕を単に手と言う。）や指の動きは、説明を受ける相手に強い印象を与えるため、その動作をきめ細かく設定することも重要である。
例えば、ロボットは「これは・・・です」というような“部分”を示す発話の少し前から手でその部分の指差しに入る。この指差しに対して、相手の顔の向きが作品の方に向けば、手を下ろす（相手がすぐ向いた場合なども考慮して、一定の時間は指差すようにしてもよい）。言い換えれば、作品の方を向くまで指差しを続ける。しかし、指示の発話が終了しても相手が顔を作品の方に向けない場合は（ロボットはこの時点で手をおろす）、相手が指示に気づかないか、説明そのものに興味が薄れてきているかもしれないので、再度、指を指しながら、「これは・・・です」と繰り返す。この場合も説明の開始場面と同様に、繰り返しの際の表現を変えるようにしてもよい。
ガイドロボットのこれらの動作は、全てプログラムで指定して行わせる。
The movement of the guide robot's hand (the arm with the hand is simply called a hand) and the movement of the finger give a strong impression to the person receiving the explanation, so it is also important to set the movement in detail.
For example, the robot enters the part by hand from a short time before the utterance indicating “part” such as “This is ...”. In response to this pointing, if the face of the opponent is pointing towards the work, the hand is lowered (the finger may be pointed for a certain period of time in consideration of the case where the opponent faces immediately). In other words, keep pointing until you face the work. However, if the opponent does not turn his face toward the work even after the utterance of the instruction is finished (the robot drops his hand at this point), the opponent is not aware of the instruction or the explanation itself is less interested It may be, so while pointing your finger again, repeat "This is ...". In this case as well, the expression at the time of repetition may be changed in the same manner as the start scene of the description.
All of these operations of the guide robot are specified by the program.
また、非追従回数Ｎに基づいて説明を打ち切る前の段階で、あるいは、あらかじめ定めておいた首振りや指差し箇所での反応がなかったときに、説明の内容を別のものに変えて相手の関心を惹くことを試みるようにしても良い。つまり、打ち切りの前に、興味を引くかもしれない別の内容の説明に切り替えて相手の様子をみる動作や、ここは説明のポイントで普通は受けるはずだというところで、反応がなければ、説明を変えてみる動作をガイドロボットに行わせる。 Also, change the content of the explanation to another before the explanation is terminated based on the non-following frequency N, or when there is no reaction at a predetermined swing or pointing point. You may try to attract attention. In other words, before censoring, you can switch to another explanation that may be of interest to you and see what the other person is doing, or it should be received in terms of explanation, but if there is no response, explain Let the guide robot perform the motion to change.
なお、ここでは、ビデオカメラを用いて鑑賞者を撮影しているが、鑑賞者の顔画像を連続的に撮影できる撮影装置であればどれでも使用可能である。
また、この撮影装置の設置位置は、ガイドロボットの頭部の回転や腕の動きに邪魔されずに、ガイドロボットの正面前方が撮影できる位置であれば、どこでも良い。
また、ここで紹介した顔画像の検出方法や顔向きの検出方法は、一例であって、本発明は、それに限定されるものではない。
また、ここでは、ガイドロボットが絵画作品を説明する場合について例示したが、このガイドロボットは、商品や新製品、展示品、展示パネルなど、各種の展示物の説明に用いることができる。
Here, the viewer is photographed using a video camera, but any photographing device capable of continuously photographing the viewer's face image can be used.
Also, the installation position of the photographing apparatus may be anywhere as long as the front of the guide robot can be photographed without being obstructed by the rotation of the head of the guide robot or the movement of the arm.
The face image detection method and the face orientation detection method introduced here are merely examples, and the present invention is not limited thereto.
Although the case where the guide robot explains a picture work is illustrated here, the guide robot can be used to explain various exhibits such as products, new products, exhibits, and display panels.
本発明のガイドロボットは、美術館や博物館のガイドロボット、展示会やイベントのガイドロボット、駅等のガイドロボット、介護ロボット、店員ロボット、ウェーターロボット等として広い分野で用いることができる。 The guide robot of the present invention can be used in a wide range of fields as a guide robot for art museums, museums, guide robots for exhibitions and events, guide robots for stations, etc., nursing robots, clerk robots, waiter robots, and the like.
１０ 頭部
１１ 頭部モータ
１２ スピーカ
２０ 胴体
２１ 腰モータ
３０ 腕
３１ 手
３２ 指モータ
３３ 腕モータ
４０ 車輪
４１ 車輪モータ
５０ ビデオカメラ
５１ 超音波距離センサ
６１ モータ制御ボード
６２ センサ入力／出力ボード
６３ 音声出力ボード
６４ ＣＰＵ
６５ メモリ
６６ 通信ＬＡＮボード
６７ 無線通信装置
６８ 顔画像処理装置
７１１ 顔矩形
７１２ 顔矩形中心線
７１３ 肌色領域境界線
DESCRIPTION OF SYMBOLS 10 Head 11 Head motor 12 Speaker 20 Body 21 Waist motor 30 Arm 31 Hand 32 Finger motor 33 Arm motor 40 Wheel 41 Wheel motor 50 Video camera 51 Ultrasonic distance sensor 61 Motor control board 62 Sensor input / output board 63 Voice output Board 64 CPU
65 Memory 66 Communication LAN Board 67 Wireless Communication Device 68 Face Image Processing Device 711 Face Rectangle 712 Face Rectangle Center Line 713 Skin Color Area Border
Claims (15)
周囲の状況を撮影する撮影手段と、
前記撮影手段が撮影した映像から被説明者の顔を検出する顔検出手段と、
前記顔検出手段が検出した顔の向きを検出する顔向き検出手段と、
ロボットの発話内容及び行動を決定する発話・行動決定手段と、
予め蓄積された発話データの中から前記発話・行動決定手段が決定した発話内容の発話データを音声に変換して出力する発話手段と、
前記発話・行動決定手段の決定に従い、頭部を回転して顔側の向きを変える頭部回転手段と、
を備え、被説明者に展示物を説明する過程で、前記頭部回転手段が、前記頭部を回転して顔側の向きを変え、前記発話・行動決定手段が、そのときに前記顔向き検出手段により検出された当該被説明者の顔向きに基づいて、その後の発話内容または行動を決定することを特徴とするガイドロボット。 A guide robot that explains the exhibits to the person to be explained,
Photographing means for photographing the surrounding situation;
Face detection means for detecting the face of the person to be described from the video imaged by the imaging means;
Face orientation detecting means for detecting the orientation of the face detected by the face detecting means;
Utterance / behavior determination means for determining the utterance content and behavior of the robot;
Utterance means for converting the utterance data of the utterance contents determined by the utterance / behavior determination means from the utterance data accumulated in advance into voice and outputting the voice;
In accordance with the determination of the utterance / behavior determination means, the head rotation means for rotating the head and changing the orientation of the face side;
In the process of explaining the exhibit to the person to be explained, the head rotation means rotates the head to change the direction of the face, and the speech / behavior determination means A guide robot that determines subsequent utterance content or action based on the face orientation of the person to be explained detected by the detecting means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008007789A JP2009166184A (en) | 2008-01-17 | 2008-01-17 | Guide robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008007789A JP2009166184A (en) | 2008-01-17 | 2008-01-17 | Guide robot |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009166184A true JP2009166184A (en) | 2009-07-30 |
Family
ID=40967960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008007789A Pending JP2009166184A (en) | 2008-01-17 | 2008-01-17 | Guide robot |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009166184A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013239209A (en) * | 2013-09-04 | 2013-11-28 | Advanced Telecommunication Research Institute International | Communication robot, robot control program, and robot control method |
| JP2015066622A (en) * | 2013-09-27 | 2015-04-13 | 株式会社国際電気通信基礎技術研究所 | Robot control system, robot, output control program and output control method |
| JP2015066621A (en) * | 2013-09-27 | 2015-04-13 | 株式会社国際電気通信基礎技術研究所 | Robot control system, robot, output control program and output control method |
| JP2015066624A (en) * | 2013-09-27 | 2015-04-13 | 株式会社国際電気通信基礎技術研究所 | Robot control system, robot control program, and explanation robot |
| JP2018051701A (en) * | 2016-09-29 | 2018-04-05 | トヨタ自動車株式会社 | Communication apparatus |
| CN108732948A (en) * | 2018-03-21 | 2018-11-02 | 北京猎户星空科技有限公司 | Smart machine control method, device, smart machine and medium |
| JP2019000495A (en) * | 2017-06-19 | 2019-01-10 | 株式会社長谷工アネシス | Exercise supporting method, exercise supporting system, and exercise supporting program |
| JP2019193964A (en) * | 2018-05-02 | 2019-11-07 | 国立大学法人豊橋技術科学大学 | robot |
| KR20200054362A (en) * | 2018-11-05 | 2020-05-20 | 현대자동차주식회사 | Service providing robot for vehicle display shop and method of operating thereof |
| WO2024053767A1 (en) * | 2022-09-08 | 2024-03-14 | 엘지전자 주식회사 | Guide robot and operation method of guide robot |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001188551A (en) * | 1999-12-28 | 2001-07-10 | Sony Corp | Device and method for information processing and recording medium |
| JP2004034274A (en) * | 2002-07-08 | 2004-02-05 | Mitsubishi Heavy Ind Ltd | Conversation robot and its operation method |
| JP2005022065A (en) * | 2003-07-03 | 2005-01-27 | Sony Corp | Speech communication system and method, and robot apparatus |
| JP2005199373A (en) * | 2004-01-14 | 2005-07-28 | Toshiba Corp | Communication device and communication method |
| JP2005238382A (en) * | 2004-02-26 | 2005-09-08 | Advanced Telecommunication Research Institute International | Communication robot |
| JP2006247780A (en) * | 2005-03-10 | 2006-09-21 | Advanced Telecommunication Research Institute International | Communication robot |
| JP2006272471A (en) * | 2005-03-28 | 2006-10-12 | Advanced Telecommunication Research Institute International | Communication robot |
| JP2007072719A (en) * | 2005-09-06 | 2007-03-22 | Nec Corp | Story output system, robot device and story output method |
| JP2007118129A (en) * | 2005-10-27 | 2007-05-17 | Advanced Telecommunication Research Institute International | Communication robot and caution control system using the same |
| JP2007216363A (en) * | 2006-02-20 | 2007-08-30 | Saitama Univ | Communication robot |
| JP2007229814A (en) * | 2006-02-27 | 2007-09-13 | Toyota Motor Corp | Autonomous mobile robot |
| JP2007265329A (en) * | 2006-03-30 | 2007-10-11 | Advanced Telecommunication Research Institute International | Route guidance system |
-
2008
- 2008-01-17 JP JP2008007789A patent/JP2009166184A/en active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001188551A (en) * | 1999-12-28 | 2001-07-10 | Sony Corp | Device and method for information processing and recording medium |
| JP2004034274A (en) * | 2002-07-08 | 2004-02-05 | Mitsubishi Heavy Ind Ltd | Conversation robot and its operation method |
| JP2005022065A (en) * | 2003-07-03 | 2005-01-27 | Sony Corp | Speech communication system and method, and robot apparatus |
| JP2005199373A (en) * | 2004-01-14 | 2005-07-28 | Toshiba Corp | Communication device and communication method |
| JP2005238382A (en) * | 2004-02-26 | 2005-09-08 | Advanced Telecommunication Research Institute International | Communication robot |
| JP2006247780A (en) * | 2005-03-10 | 2006-09-21 | Advanced Telecommunication Research Institute International | Communication robot |
| JP2006272471A (en) * | 2005-03-28 | 2006-10-12 | Advanced Telecommunication Research Institute International | Communication robot |
| JP2007072719A (en) * | 2005-09-06 | 2007-03-22 | Nec Corp | Story output system, robot device and story output method |
| JP2007118129A (en) * | 2005-10-27 | 2007-05-17 | Advanced Telecommunication Research Institute International | Communication robot and caution control system using the same |
| JP2007216363A (en) * | 2006-02-20 | 2007-08-30 | Saitama Univ | Communication robot |
| JP2007229814A (en) * | 2006-02-27 | 2007-09-13 | Toyota Motor Corp | Autonomous mobile robot |
| JP2007265329A (en) * | 2006-03-30 | 2007-10-11 | Advanced Telecommunication Research Institute International | Route guidance system |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013239209A (en) * | 2013-09-04 | 2013-11-28 | Advanced Telecommunication Research Institute International | Communication robot, robot control program, and robot control method |
| JP2015066622A (en) * | 2013-09-27 | 2015-04-13 | 株式会社国際電気通信基礎技術研究所 | Robot control system, robot, output control program and output control method |
| JP2015066621A (en) * | 2013-09-27 | 2015-04-13 | 株式会社国際電気通信基礎技術研究所 | Robot control system, robot, output control program and output control method |
| JP2015066624A (en) * | 2013-09-27 | 2015-04-13 | 株式会社国際電気通信基礎技術研究所 | Robot control system, robot control program, and explanation robot |
| JP2018051701A (en) * | 2016-09-29 | 2018-04-05 | トヨタ自動車株式会社 | Communication apparatus |
| JP2019000495A (en) * | 2017-06-19 | 2019-01-10 | 株式会社長谷工アネシス | Exercise supporting method, exercise supporting system, and exercise supporting program |
| CN108732948A (en) * | 2018-03-21 | 2018-11-02 | 北京猎户星空科技有限公司 | Smart machine control method, device, smart machine and medium |
| JP2019193964A (en) * | 2018-05-02 | 2019-11-07 | 国立大学法人豊橋技術科学大学 | robot |
| JP7133836B2 (en) | 2018-05-02 | 2022-09-09 | 国立大学法人豊橋技術科学大学 | robot |
| KR20200054362A (en) * | 2018-11-05 | 2020-05-20 | 현대자동차주식회사 | Service providing robot for vehicle display shop and method of operating thereof |
| KR102610737B1 (en) | 2018-11-05 | 2023-12-07 | 현대자동차주식회사 | Service providing robot for vehicle display shop and method of operating thereof |
| WO2024053767A1 (en) * | 2022-09-08 | 2024-03-14 | 엘지전자 주식회사 | Guide robot and operation method of guide robot |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2009166184A (en) | Guide robot | |
| JP6551507B2 (en) | Robot control device, robot, robot control method and program | |
| JP5456832B2 (en) | Apparatus and method for determining relevance of an input utterance | |
| JP4976903B2 (en) | robot | |
| US20160189733A1 (en) | System and method for enhancing speech activity detection using facial feature detection | |
| US9263044B1 (en) | Noise reduction based on mouth area movement recognition | |
| WO2014125791A1 (en) | Voice recognition device, voice recognition method, and program | |
| KR20070029794A (en) | A method and a system for communication between a user and a system | |
| JP2009045692A (en) | Communication robot and its operating method | |
| JP6443419B2 (en) | Spoken dialogue apparatus and control method thereof | |
| WO2019155735A1 (en) | Information processing device, information processing method, and program | |
| TWI777229B (en) | Driving method of an interactive object, apparatus thereof, display device, electronic device and computer readable storage medium | |
| JP7340063B2 (en) | Security system and surveillance display | |
| KR20240042222A (en) | Providing audio information with a digital assistant | |
| US7984010B2 (en) | Action agenda determining apparatus | |
| JP2007160427A (en) | Robot control system | |
| WO2019142418A1 (en) | Information processing device and information processing method | |
| JP2004234631A (en) | System for managing interaction between user and interactive embodied agent, and method for managing interaction of interactive embodied agent with user | |
| JP6874437B2 (en) | Communication robots, programs and systems | |
| JP2020155944A (en) | Speaker detection system, speaker detection method, and program | |
| JP2006263873A (en) | Communication robot system and communication robot | |
| JP2007142957A (en) | Remote interaction method and apparatus | |
| JP2021135363A (en) | Control system, control device, control method, and computer program | |
| KR102613040B1 (en) | Video communication method and robot for implementing thereof | |
| WO2021153303A1 (en) | Information processing device and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Effective date: 20100222 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110719 |
|
| A131 | Notification of reasons for refusal |
Effective date: 20110726 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
| A521 | Written amendment |
Effective date: 20110926 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120117 |