【０００１】
【発明の属する技術分野】
本発明は、ロボットが発話を再度繰り返す方法に関する。
【０００２】
【従来の技術】
ロボットの発話に対してユーザが聞き取り難かったり、理解し難かったりすることがあるため、しゃべった内容をユーザから聞き返された時や、ユーザから返事がない時、ユーザから期待した返事が得られない時、従来は、再度同じ発話（イントネーション、スピード、声色、内容ともに同じ発話）を繰り返している。
【０００３】
【発明が解決しようとする課題】
しかし、同じ発話を繰り返すことは、ユーザにとってストレスとなることがあり、また、ユーザの理解を増すとは限らない。
【０００４】
本発明の課題は、ユーザから聞き返された時やユーザから返事がない時に発話を繰り返す場合、ユーザにストレスを与えず、また、ユーザの理解を増すことができる方法を提供することである。
【０００５】
【課題を解決するための手段】
第１発明は、ロボットからユーザに発話を再度繰り返す場合、前回の発話に対して、イントネーションまたはスピードまたは言葉の区切り方または省略形または声色の少なくとも１つを変えて発話を行うことを特徴とするロボットの発話方法である。
【０００６】
第２発明は、第１発明のロボットの発話方法において、言葉の区切り形を変える際、言葉と言葉の間でロボットの手を動かすことを特徴とする。
【０００７】
第３発明は、第１発明のロボットの発話方法において、省略形を変える際、前回の発話より完全な文体に近い発話をすることを特徴とする。
【０００８】
第４発明は、第１発明のロボットの発話方法において、声色を変える際、顔の表情または身振りを前回の発話時と異ならせることを特徴とする。
【０００９】
第５発明は、第１発明のロボットの発話方法において、声色を変える際、ロボット外部の機器に発話させることを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００１１】
図１にロボット１の外観を示し、ロボット本体１１は頭部１２と胸部１３と胴部（台車部）１４と左右の腕部１５とを有する人間を模したものであり、頭部１２の顔表情は図示しない駆動機構により可変となっている。また、頭部１２と胸部１３間の首関節や、胸部１３と腕部１５間の肩関節、腕部１５内の肘関節、手首関節等が図示しない駆動機構により回動可能であるとともに、胴部１４に装備された左右の走行用車輪１６が図示しない駆動機構により操舵及び走行可能である。
【００１２】
図１のロボット１は、作業空間をバッテリ駆動により自律的に移動するように構成されており、一般家庭等の屋内を作業空間として人間と共存し、例えば、一般家庭内でロボットの所有者や操作者などのユーザの生活を補助・支援・介護するために用いられる。そのため、ロボット１は、内蔵のＣＰＵ（コンピュータ）及び各種のセンサにより、ユーザと会話する機能の他、ユーザの行動を見守ったり、ユーザの行動を補助したり、ユーザと一緒に行動したりする機能を備えている。会話ロボット１の形状としては、愛玩用に動物を模したものなど、種々考えられる。
【００１３】
ロボット１はＣＰＵを用いた図示しない制御部を持ち、頭部１２には、２つのカメラ１７と２つのマイクロホン１８が装着されている。また、胸部１３の中央部に音量・音源方向センサと焦電型赤外線センサからなる人検知センサ１９、左右にスピーカ２０ａが装着されている。更に、胸部１３の中央部に画像ディスプレイ２０ａが装着され、胴部１４に超音波式障害物センサ２１及びレーザ式障害物センサ２２が装着されている。その他、キーボードやタッチセンサ等のデータ入力機器が装着されることもある。
【００１４】
また、頭部１２にはタッチセンサ２３が装着されている。このタッチセンサ２３は、ユーザが聞き返しを積極的にロボット１に指示する場合に使用される。
【００１５】
２４はスピーカを有する外部機器であり、オウム等の鳥形状をしたキャラクタ機器、あるいは、居間のテレビなどがこれに相当する。外部機器２４がオウムの場合は、ロボット１の肩に載せられるが、固定であっても、着脱可能であっても良い。外部機器２４とロボット１の間は無線または有線で接続される。
【００１６】
カメラ１７はユーザや屋内を撮影してその画像を制御部に出力し、マイクロホン１８はユーザの音声や電話のベル、呼び鈴、テレビの音などの生活音を取り込んで制御部に出力し、人検知センサ１９はユーザの有無を検出して制御部に出力する。スピーカ２０ａはマイクロホン１８とともにユーザとの会話に用いられ、画像ディスプレイ２０ｂはユーザに対する情報提供に用いられる。データ入力機器であり、ユーザの生活パターンデータを入力したり、ユーザの意思を入力するために用いられる。スピーカ２０ａはユーザに対する情報提供にも用いられる。制御部には、所定期間にわたるカレンダ及び現在の年月日及び時刻を計時するカレンダクロックが備えられている。
【００１７】
制御部には、データ入力機器と、カメラ１７、マイクロホン１８、人検知センサ１９、障害物センサ２１、２２及びタッチセンサ２３等のユーザの生活パターンを常時モニタする外界センサと、カレンダクロックといった内界センサとにより、ロボット１の自己位置に関する情報と、ユーザの位置に関する情報と、ユーザの行動に関する情報とが入力される。
【００１８】
制御部は、図示しないが、自己位置認識部と、ユーザ認識部と、会話処理部と、データベース（記憶手段）と、生活パターンデータ処理部、駆動制御部を有している。
【００１９】
自己位置認識部は、カメラ１７で撮影した画像情報に基づいてロボット１自身の位置及び方位（向き、姿勢）を認識する。
【００２０】
ユーザ認識部は、カメラ１７で撮影した画像情報及び／またはマイクロホン１８で取り込んだ音声からユーザ個人の認識を行い、また、カメラ１７と人検知センサ１９の検出結果からユーザの位置、向き、姿勢、活動量を認識する。
【００２１】
会話処理部は、ユーザと会話を行うものであり、マイクロフォン１８で取り込んだ音声からユーザが話し掛ける発言内容等を音声認識する機能と、ユーザへの話し掛けや、質問、返事等の各種会話用音声波形を作ってスピーカ２０ａを駆動する発言機能を有している。また、タッチセンサ２３が押された時や、音声認識により、ユーザの発言が聞き返し要求であると判った時、ユーザの返事からロボット１の発言を理解していないと判った時、ユーザの返事がない時、ユーザに対して再度発話を繰り返す機能を有している。更に、発話に応じた動作の指示を駆動制御部に与える機能を有している
【００２２】
データベースは、ユーザとの会話用やユーザへの話し掛け用の各種音声データ、ユーザとの会話時やユーザへの話し掛け時の身振りや顔表情の動作データ、ユーザの生活情報（ユーザの居住に関する部屋の間取りや家具の配置、ユーザ個人の日常の生活パターン、ユーザの趣味、健康状態など）を記憶している。ユーザの生活情報には、必要に応じて文字列や映像、音声などのキーワードが付される。生活パターンのデータとしては、起床、就寝、食事、薬服用、散歩、自由時間、入浴などの行動に関するイベントが上げられ、これらのイベントが時間データとともにタイムスケジュールとして記憶される。
【００２３】
音声データとしては、イントネーションが数種類異なるもの、または、スピードが数種類異なるもの、または、言葉の区切り方が数種類異なるもの、または、省略形の程度が数種類異なるもの、または、声色が男女など数種類異なるものが、全部あるいは一部、データベースに記憶されている。また、顔表情や身振りの動作データも、それぞれ種類が異なるものが複数記憶されている。
【００２４】
生活パターンデータ処理部は、ユーザがデータ入力機器から直接入力した生活情報をキーワードを付してデータベースに蓄積したり、カメラ１７やマイクロホン１８、人検知センサ１９で取得した音声認識結果などユーザの各種情報を処理することで一つ一つの生活情報にキーワードやその日時を付してデータベースに蓄積する。更に、生活パターンデータ処理部は、ユーザからの指示や話し掛けに応じて、あるいは、時刻などに応じて、これに対応する音声データをデータベースから選択して会話処理部に与え、また、これに対応する動作データをデータベースから選択し動作指示として駆動制御部に与える。
【００２５】
駆動制御部は、会話処理部や生活パターンデータ処理部の指示に応じて、ロボット１の可動部（顔の表情や、走行用車輪１６、首関節、肩関節、肘関節、手首関節など）の各駆動機能を制御することで、ロボット本体１１全体の移動、頭部１２の動き、腕部１４の動き、顔表情の変化、身振りの変化等を実現する。
【００２６】
以上説明したロボット１は、一旦発話した後、タッチセンサ２３が押された時や、音声認識により、ユーザの発言が聞き返し要求であると判った時、ユーザの返事からロボット１の発言を理解していないと判った時、ユーザの返事がない時に、次のようにして、発話をユーザに再度繰り返す。
（１） 基本的には、前回の発話に対して、イントネーションまたはスピードまたは言葉の区切り方または省略形または声色の少なくとも１つを変えて発話を行う。
（２） 言葉の区切り形を変える際、言葉と言葉の間でロボット１の手を動かす。
（３） 省略形を変える際、前回の発話より完全な文体に近い発話をする。
（４） 声色を変える際、顔の表情を前回の発話時と異ならせる。
（５） 声色を変える際、外部の機器２４に発話させる。
【００２７】
【発明の効果】
第１発明は、前回の発話に対して、イントネーションまたはスピードまたは言葉の区切り方または省略形または声色の少なくとも１つを変えて発話を再度繰り返すので、ユーザの注意を引くことができ、ユーザにストレスを与えることなく、ユーザの理解が増す。
【００２８】
第２発明は、言葉の区切り形を変える際、言葉と言葉の間でロボットの手を動かすので、一層ユーザの注意を引くことができ、ユーザの理解が増す。
【００２９】
第３発明は、省略形を変える際、前回の発話より完全な文体に近い発話をするので、ユーザの理解が増す。
【００３０】
第４発明は、声色を変える際、顔の表情または身振りを前回の発話時と異ならせるので、声色の変化による違和感を解消することができる。
【００３１】
第５発明は、声色を変える際、ロボット外部の機器に発話させるので、声色の変化による違和感を解消することができる。また、ロボットがユーザに直接言いに難いことでも、ロボット外部の機器によりしゃべることができる。
【図面の簡単な説明】
【図１】本発明の実施例に係るロボットの構成を示す図。
【符号の説明】
１ ロボット
１１ ロボット本体
１２ 頭部
１３ 胸部
１４ 胴部
１５ 腕部
１６ 走行用車輪
１７ カメラ
１８ マイクロホン
１９ 人検知センサ
２０ａ スピーカ
２０ｂ 画像ディスプレイ
２１、２２ 障害物センサ
２３ タッチセンサ
２４ 外部機器[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method for a robot to repeat an utterance again.
[0002]
[Prior art]
The user may not be able to hear or understand the utterance of the robot, so if the user talks back or does not reply, the user does not get the expected response. Conventionally, the same utterance (the same utterance of the same intonation, speed, tone, and content) is repeated again.
[0003]
[Problems to be solved by the invention]
However, repeating the same utterance may be stressful for the user, and does not always increase the user's understanding.
[0004]
An object of the present invention is to provide a method that does not stress the user and increases the user's understanding when the utterance is repeated when heard from the user or when there is no reply from the user.
[0005]
[Means for Solving the Problems]
The first invention is characterized in that, when the robot repeats the utterance to the user again, the utterance is performed by changing at least one of the intonation, the speed, the way of separating words, the abbreviation, or the voice, with respect to the previous utterance. This is how the robot speaks.
[0006]
A second invention is characterized in that, in the robot utterance method of the first invention, when changing a word delimiter, a robot hand is moved between words.
[0007]
The third invention is characterized in that, in the robot utterance method of the first invention, when changing the abbreviation, the utterance is closer to a complete style than the previous utterance.
[0008]
A fourth invention is characterized in that, in the robot utterance method of the first invention, when changing the tone, the facial expression or gesture is made different from the previous utterance.
[0009]
A fifth invention is characterized in that, in the robot utterance method of the first invention, when changing the timbre, a device outside the robot is made to utter.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0011]
FIG. 1 shows the external appearance of the robot 1. The robot body 11 simulates a human having a head 12, a chest 13, a torso (cart) 14, and left and right arms 15. The expression is variable by a drive mechanism (not shown). A neck joint between the head 12 and the chest 13, a shoulder joint between the chest 13 and the arm 15, an elbow joint, a wrist joint, and the like in the arm 15 can be rotated by a drive mechanism (not shown). The left and right traveling wheels 16 mounted on the section 14 can be steered and run by a drive mechanism (not shown).
[0012]
The robot 1 in FIG. 1 is configured to move autonomously in a work space by driving a battery, and coexists with a human as an indoor work space such as a general home. It is used to assist, support and care for the life of a user such as an operator. Therefore, the robot 1 has a built-in CPU (computer) and various sensors, in addition to a function of talking with the user, a function of watching the user's behavior, assisting the user's behavior, and acting together with the user. It has. Various shapes of the conversation robot 1 are conceivable, such as an animal model for pets.
[0013]
The robot 1 has a control unit (not shown) using a CPU, and two cameras 17 and two microphones 18 are mounted on the head 12. A human detection sensor 19 including a volume / sound source direction sensor and a pyroelectric infrared sensor is mounted at the center of the chest 13, and speakers 20a are mounted on the left and right. Further, an image display 20 a is mounted on the center of the chest 13, and an ultrasonic obstacle sensor 21 and a laser obstacle sensor 22 are mounted on the body 14. In addition, a data input device such as a keyboard or a touch sensor may be mounted.
[0014]
A touch sensor 23 is mounted on the head 12. The touch sensor 23 is used when the user actively instructs the robot 1 to listen back.
[0015]
Reference numeral 24 denotes an external device having a speaker, such as a bird-shaped character device such as a parrot, a television in a living room, or the like. When the external device 24 is a parrot, it is placed on the shoulder of the robot 1, but may be fixed or detachable. The external device 24 and the robot 1 are connected wirelessly or by wire.
[0016]
The camera 17 captures an image of the user or the room and outputs the image to the control unit, and the microphone 18 captures the user's voice and life sounds such as a telephone bell, a doorbell, and a television sound and outputs the captured image to the control unit. The sensor 19 detects the presence or absence of a user and outputs the result to the control unit. The speaker 20a is used for conversation with the user together with the microphone 18, and the image display 20b is used for providing information to the user. A data input device, which is used for inputting user's life pattern data and inputting user's intention. The speaker 20a is also used for providing information to a user. The control unit includes a calendar for a predetermined period and a calendar clock for measuring the current date and time.
[0017]
The control unit includes a data input device, an external sensor such as a camera 17, a microphone 18, a human detection sensor 19, obstacle sensors 21 and 22, and a touch sensor 23 for constantly monitoring a user's life pattern, and an inner world such as a calendar clock. The sensor inputs information on the self-position of the robot 1, information on the position of the user, and information on the behavior of the user.
[0018]
Although not shown, the control unit includes a self-position recognition unit, a user recognition unit, a conversation processing unit, a database (storage means), a life pattern data processing unit, and a drive control unit.
[0019]
The self-position recognition unit recognizes the position and azimuth (direction, posture) of the robot 1 itself based on image information captured by the camera 17.
[0020]
The user recognition unit recognizes the user from the image information captured by the camera 17 and / or the voice captured by the microphone 18, and detects the position, orientation, and posture of the user based on the detection results of the camera 17 and the human detection sensor 19. Recognize the amount of activity.
[0021]
The conversation processing unit is for conversing with the user, and has a function of recognizing a speech or the like spoken by the user from the voice captured by the microphone 18, and various speech voice waveforms for talking to the user, asking questions, answering, and the like. To drive the speaker 20a. Further, when the touch sensor 23 is pressed, when the voice recognition recognizes that the user's utterance is a reflection request, when it is determined from the user's reply that he does not understand the utterance of the robot 1, the user's reply is When there is no, there is a function to repeat the utterance again to the user. Further, it has a function of giving an operation instruction corresponding to the utterance to the drive control unit.
The database includes various voice data for conversation with the user and for talking to the user, movement data of gestures and facial expressions at the time of conversation with the user and talking to the user, and living information of the user (for a room related to the residence of the user). Layout, furniture arrangement, user's personal daily life pattern, user's hobby, health condition, etc.). A keyword such as a character string, video, or audio is added to the user's life information as needed. As the life pattern data, events related to activities such as getting up, going to bed, eating, taking medicine, taking a walk, free time, and taking a bath are listed, and these events are stored as time schedules together with time data.
[0023]
Audio data with several different intonations, with different speeds, with several different ways of separating words, with different abbreviations, or with different voices such as gender Are stored in the database in whole or in part. A plurality of different facial expression and gesture motion data are also stored.
[0024]
The life pattern data processing unit stores the life information input directly by the user from the data input device in a database with a keyword attached thereto, and various types of user recognition such as voice recognition results obtained by the camera 17, the microphone 18, and the human detection sensor 19. By processing the information, each piece of life information is attached to the database with a keyword and its date and time. Further, the life pattern data processing unit selects the corresponding voice data from the database according to the instruction or the speech from the user, or the time, etc., and provides the voice data to the conversation processing unit. The operation data to be performed is selected from the database and given to the drive control unit as an operation instruction.
[0025]
The drive control unit controls the movable parts of the robot 1 (facial expressions, running wheels 16, neck joints, shoulder joints, elbow joints, wrist joints, etc.) according to instructions from the conversation processing unit and the life pattern data processing unit. By controlling each driving function, movement of the entire robot body 11, movement of the head 12, movement of the arm 14, change in facial expression, change in gesture, and the like are realized.
[0026]
The robot 1 described above understands the utterance of the robot 1 from the user's reply when the touch sensor 23 is pressed or the voice acknowledgment indicates that the user's utterance is a request to hear back, after once speaking. When it is determined that there is no response, when there is no reply from the user, the utterance is repeated to the user as follows.
(1) Basically, the utterance is performed by changing at least one of the intonation, the speed, the way of separating words, the abbreviation, or the timbre of the previous utterance.
(2) When changing the word delimiter, move the hand of the robot 1 between words.
(3) When changing the abbreviation, utter an utterance closer to the complete style than the previous utterance.
(4) When changing the timbre, make the facial expression different from the previous utterance.
(5) When changing the tone, the external device 24 is made to speak.
[0027]
【The invention's effect】
According to the first invention, the utterance is repeated again by changing at least one of the intonation, the speed, the way of separating words, the abbreviation, or the timbre, with respect to the previous utterance. The user's understanding is increased without giving.
[0028]
According to the second aspect of the present invention, when changing the word delimiter, the robot's hand is moved between words, so that the user's attention can be further attracted and the user's understanding is increased.
[0029]
In the third invention, when changing the abbreviation, the utterance is closer to a complete style than the previous utterance.
[0030]
According to the fourth aspect of the present invention, when changing the timbre, the facial expression or gesture is made different from the previous utterance, so that the discomfort due to the change in the timbre can be eliminated.
[0031]
According to the fifth aspect of the present invention, when changing the timbre, a device outside the robot is made to speak, so that a sense of discomfort due to the change in timbre can be eliminated. In addition, even if the robot is difficult for the user to directly speak, it can be spoken by a device outside the robot.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a robot according to an embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Robot 11 Robot main body 12 Head 13 Chest 14 Body 15 Arm 16 Running wheel 17 Camera 18 Microphone 19 Human detection sensor 20a Speaker 20b Image displays 21, 22 Obstacle sensor 23 Touch sensor 24 External device
