JP2005297095A - Robot apparatus and operation comparison method thereof - Google Patents
Robot apparatus and operation comparison method thereof Download PDFInfo
- Publication number
- JP2005297095A JP2005297095A JP2004113508A JP2004113508A JP2005297095A JP 2005297095 A JP2005297095 A JP 2005297095A JP 2004113508 A JP2004113508 A JP 2004113508A JP 2004113508 A JP2004113508 A JP 2004113508A JP 2005297095 A JP2005297095 A JP 2005297095A
- Authority
- JP
- Japan
- Prior art keywords
- action
- pattern
- robot apparatus
- subject
- expressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Manipulator (AREA)
- Toys (AREA)
Abstract
【課題】 見まね動作を通じてロボット装置とユーザ等の他の動作主体との双方向コミュニケーションを実現する。
【解決手段】 ユーザは、ロボット装置にダンスを披露する(ステップS1)。この際、ロボット装置は、ユーザのダンスを観察しておく。ロボット装置は、観察したダンスを模倣した動作を発現し(ステップS2)、ユーザは、任意のタイミングでロボット装置1の動作を評価する(ステップS3)。ロボット装置は、発現した動作を変調して新しいダンスを創作し(ステップS4)、このダンスをユーザに披露する(ステップS5)。この際、ユーザは、ロボット装置のダンスを観察しておく。ユーザは、観察したダンスを模倣した動作を発現し(ステップS6)、ロボット装置は、任意のタイミングでユーザの動作を評価する(ステップS7)。ユーザは、発現した動作に基づいて新しいダンスを創作する(ステップS8)。
【選択図】 図4PROBLEM TO BE SOLVED: To realize two-way communication between a robot apparatus and another operation subject such as a user through an imitation operation.
A user performs a dance on a robot apparatus (step S1). At this time, the robot apparatus observes the user's dance. The robot apparatus develops an action imitating the observed dance (step S2), and the user evaluates the operation of the robot apparatus 1 at an arbitrary timing (step S3). The robot apparatus creates a new dance by modulating the expressed motion (step S4), and presents this dance to the user (step S5). At this time, the user observes the dance of the robot apparatus. The user expresses an action imitating the observed dance (step S6), and the robot apparatus evaluates the user's action at an arbitrary timing (step S7). The user creates a new dance based on the expressed action (step S8).
[Selection] Figure 4
Description
本発明は、見まね動作を通じてユーザ等の他の動作主体との双方向コミュニケーションを実現するロボット装置及びその動作比較方法に関する。 The present invention relates to a robot apparatus that realizes bidirectional communication with another operation subject such as a user through a mimicking operation, and an operation comparison method thereof.
電気的又は磁気的な作用を用いて人間(生物)の動作に似た運動を行う機械装置を「ロボット」という。我が国においてロボットが普及し始めたのは、1960年代末からであるが、その多くは、工場における生産作業の自動化・無人化等を目的としたマニピュレータや搬送ロボット等の産業用ロボット(Industrial Robot)であった。 A mechanical device that performs an action similar to that of a human (living body) using an electrical or magnetic action is called a “robot”. Robots have begun to spread in Japan since the late 1960s, but many of them are industrial robots such as manipulators and transfer robots for the purpose of automating and unmanned production work in factories. Met.
最近では、人間のパートナーとして生活を支援する、すなわち住環境その他の日常生活上の様々な場面における人的活動を支援する実用ロボットの開発が進められている。このような実用ロボットは、産業用ロボットとは異なり、人間の生活環境の様々な局面において、個々に個性の相違した人間、又は様々な環境への適応方法を自ら学習する能力を備えている。例えば、犬、猫のように4足歩行の動物の身体メカニズムやその動作を模した「ペット型」ロボット、或いは、2足直立歩行を行う人間等の身体メカニズムや動作をモデルにしてデザインされた「人間型」又は「人間形」ロボット(Humanoid Robot)等のロボット装置は、既に実用化されつつある。これらのロボット装置は、産業用ロボットと比較して、エンターテインメント性を重視した様々な動作を行うことができるため、エンターテインメントロボットと称される場合もある。また、これらのロボット装置の中には、自律的に動作を行うものが存在する。 Recently, practical robots that support life as a human partner, that is, support human activities in various situations in daily life such as the living environment, have been developed. Unlike industrial robots, such practical robots have the ability to learn how to adapt themselves to humans with different personalities or to various environments in various aspects of the human living environment. For example, it was designed based on the body mechanism and motion of a “pet-type” robot that imitates the body mechanism and movement of a quadruped animal such as a dog or cat, or a human who walks upright on two legs. Robotic devices such as “humanoid” or “humanoid” robots are already in practical use. Since these robot devices can perform various operations with an emphasis on entertainment performance as compared with industrial robots, they may be referred to as entertainment robots. Some of these robot apparatuses autonomously operate.
ところで、見まね動作等のいわゆる模倣動作は、動作獲得やコミュニケーションの基本であるとの考察から、ロボット装置とユーザ(人間)との間の円滑なコミュニケーションやインタラクションを実現するために、ロボット装置にユーザ動作の模倣能力を与えようとする研究がなされ始めてきている(非特許文献1〜3参照)。
By the way, from the consideration that so-called imitation operations such as mimicry motions are the basics of motion acquisition and communication, in order to realize smooth communication and interaction between the robot device and the user (human), the robot device is connected to the user. Research has begun to give the ability to imitate movement (see Non-Patent
しかしながら、上述した非特許文献1〜3に記載されているような従来の研究は、「ロボット装置によるユーザ(人間)の動作の見まね」に留まっており、言わば一方向にしか着目していないものであった。このため、ロボット装置とユーザとの間の双方向コミュニケーションという観点からは不十分なものであった。
However, the conventional research as described in Non-Patent
本発明は、このような従来の実情に鑑みて提案されたものであり、見まね動作を通じてユーザ等の他の動作主体との双方向コミュニケーションを実現するロボット装置及びその動作比較方法を提供することを目的とする。 The present invention has been proposed in view of such a conventional situation, and provides a robot apparatus that realizes bidirectional communication with other operation subjects such as a user through a mimicking operation and an operation comparison method thereof. Objective.
上述した目的を達成するために、本発明に係るロボット装置は、自律的に動作可能なロボット装置であって、複数の動作パターンから一の動作パターンを選択して発現する動作発現手段と、発現した動作パターンを記憶する動作記憶手段と、発現した動作パターンを他の動作主体が模倣している様子を画像として入力する画像入力手段と、上記画像入力手段を介して入力された画像から上記他の動作主体の動作パターンを抽出する動作抽出手段と、上記動作記憶手段に記憶されている動作パターンと上記動作抽出手段によって抽出された動作パターンとを比較する比較手段と、上記比較結果に応じて上記他の動作主体の動作パターンを評価する評価手段とを備えるものである。 In order to achieve the above-described object, a robot apparatus according to the present invention is an autonomously operable robot apparatus, and an action expression unit that selects and expresses one action pattern from a plurality of action patterns; An action storage means for storing the action pattern, an image input means for inputting as an image a state in which the other action subject imitates the appearing action pattern, and the other from the image input via the image input means. An action extraction means for extracting an action pattern of the action subject, a comparison means for comparing the action pattern stored in the action storage means with the action pattern extracted by the action extraction means, and according to the comparison result Evaluation means for evaluating the operation pattern of the other operation subject is provided.
ここで、本発明に係るロボット装置は、上記評価手段による評価結果を音声により出力する音声出力手段をさらに備えてもよい。 Here, the robot apparatus according to the present invention may further include voice output means for outputting the evaluation result by the evaluation means by voice.
また、上記動作発現手段は、上記他の動作主体が発現した動作を模倣した動作パターンを発現することもできる。 In addition, the action expression means can express an action pattern imitating the action expressed by the other action subject.
さらに、本発明に係るロボット装置は、上記他の動作主体が発現した動作を模倣した動作パターンに対する上記他の動作主体からの評価結果を音声により入力する音声入力手段をさらに備えるようにしてもよく、この場合、上記動作発現手段は、上記他の動作主体からの評価結果に応じて、発現する動作パターンを変調させることができる。 Furthermore, the robot apparatus according to the present invention may further include voice input means for inputting, by voice, an evaluation result from the other action subject with respect to an action pattern imitating the action expressed by the other action subject. In this case, the action expression means can modulate the action pattern to be expressed according to the evaluation result from the other action subject.
また、上述した目的を達成するために、本発明に係るロボット装置の動作比較方法は、自律的に動作可能なロボット装置の動作比較方法であって、複数の動作パターンから一の動作パターンを選択して発現する動作発現工程と、発現した動作パターンを動作記憶手段に記憶する動作記憶工程と、発現した動作パターンを他の動作主体が模倣している様子を画像として入力する画像入力工程と、上記画像入力工程にて入力された画像から上記他の動作主体の動作パターンを抽出する動作抽出工程と、上記動作記憶手段に記憶されている動作パターンと上記動作抽出工程にて抽出された動作パターンとを比較する比較工程と、上記比較結果に応じて上記他の動作主体の動作パターンを評価する評価工程とを有するものである。 In order to achieve the above-described object, an operation comparison method for a robot apparatus according to the present invention is an operation comparison method for an autonomously operable robot apparatus, in which one operation pattern is selected from a plurality of operation patterns. An action expression step to be expressed, an action storage step to store the expressed action pattern in the action storage means, an image input step to input a state in which another action subject imitates the expressed action pattern, and A motion extraction step of extracting a motion pattern of the other motion subject from the image input in the image input step; a motion pattern stored in the motion storage means; and a motion pattern extracted in the motion extraction step And an evaluation step for evaluating the operation pattern of the other operation subject according to the comparison result.
ここで、本発明に係るロボット装置の動作比較方法は、上記評価工程における評価結果を音声により出力する音声出力工程をさらに有してもよい。 Here, the operation comparison method of the robot apparatus according to the present invention may further include a voice output step of outputting the evaluation result in the evaluation step by voice.
また、上記他の動作主体が発現した動作を模倣した動作パターンを発現する模倣工程をさらに有してもよい。 Moreover, you may further have the imitation process which expresses the operation | movement pattern which imitated the operation | movement which said other operation subject expressed.
さらに、上記他の動作主体が発現した動作を模倣した動作パターンに対する上記他の動作主体からの評価結果を音声により入力する音声入力工程をさらに有してもよく、この場合、上記動作発現工程では、上記他の動作主体からの評価結果に応じて、発現する動作パターンを変調させることができる。 Furthermore, it may further include a voice input step of inputting, by voice, an evaluation result from the other action subject with respect to an action pattern imitating the action expressed by the other action subject. The operation pattern to be expressed can be modulated in accordance with the evaluation result from the other operation subject.
本発明に係るロボット装置及びその動作比較方法によれば、ロボット装置自身が発現した動作パターンと、他の動作主体がロボット装置の動作パターンを模倣した動作パターンとを比較し、評価することができる。また、これを他の動作主体との間で双方向に行うことで、見まね動作を通じた双方向コミュニケーションを実現することができ、ロボット装置の価値観を向上させることができる。 According to the robot apparatus and the operation comparison method of the present invention, it is possible to compare and evaluate an operation pattern expressed by the robot apparatus itself and an operation pattern imitating the operation pattern of the robot apparatus by another operation subject. . In addition, by performing this interactively with other operating subjects, bidirectional communication can be realized through a mimicking operation, and the values of the robot apparatus can be improved.
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、ユーザ(人間)との双方向の見まね動作を通じてコミュニケーションを実現する2足歩行タイプのロボット装置に適用したものである。このロボット装置は、住環境その他の日常生活上の様々な場面における人的活動を支援する実用ロボットであり、人間が行う基本的な動作を表出できるエンターテインメントロボットでもある。以下では先ず、このようなロボット装置の構成について説明し、次いで、このロボット装置とユーザとの双方向の見まね動作の実現方法について詳細に説明する。 Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. In this embodiment, the present invention is applied to a bipedal walking type robot apparatus that realizes communication through a bidirectional imitation operation with a user (human). This robot apparatus is a practical robot that supports human activities in various situations in the living environment and other daily lives, and is also an entertainment robot that can express basic actions performed by humans. In the following, first, the configuration of such a robot apparatus will be described, and then a method for realizing a bidirectional imitation operation between the robot apparatus and the user will be described in detail.
(1)ロボット装置の構成
先ず、本実施の形態におけるロボット装置の構成について説明する。図1に示すように、本実施の形態におけるロボット装置1は、体幹部ユニット2の所定の位置に頭部ユニット3が連結されると共に、左右2つの腕部ユニット4R/Lと、左右2つの脚部ユニット5R/Lが連結されて構成されている(但し、R及びLの各々は、右及び左の各々を示す接尾辞である。以下において同じ。)。
(1) Configuration of Robot Device First, the configuration of the robot device in the present embodiment will be described. As shown in FIG. 1, the
このロボット装置1が具備する関節自由度構成を図2に模式的に示す。頭部ユニット3を支持する首関節は、首関節ヨー軸101と、首関節ピッチ軸102と、首関節ロール軸103という3自由度を有している。
The joint degree-of-freedom configuration of the
また、上肢を構成する各々の腕部ユニット4R/Lは、肩関節ピッチ軸107と、肩関節ロール軸108と、上腕ヨー軸109と、肘関節ピッチ軸110と、前腕ヨー軸111と、手首関節ピッチ軸112と、手首関節ロール軸113と、手部114とで構成される。手部114は、実際には、複数本の指を含む多関節・多自由度構造体である。但し、手部114の動作は、ロボット装置1の姿勢制御や歩行制御に対する寄与や影響が少ないので、本明細書ではゼロ自由度と仮定する。したがって、各腕部ユニット4R/Lは、7自由度で構成される。
Each
また、体幹部ユニット2は、体幹ピッチ軸104と、体幹ロール軸105と、体幹ヨー軸106という3自由度を有する。
The
また、下肢を構成する各々の脚部ユニット5R/Lは、股関節ヨー軸115と、股関節ピッチ軸116と、股関節ロール軸117と、膝関節ピッチ軸118と、足首関節ピッチ軸119と、足首関節ロール軸120と、足部121とで構成される。本明細書中では、股関節ピッチ軸116と股関節ロール軸117の交点は、ロボット装置1の股関節位置を定義する。人体の足部は、実際には多関節・多自由度の足底を含んだ構造体であるが、ロボット装置1の足部121は、ゼロ自由度とする。したがって、各脚部ユニット5R/Lは、6自由度で構成される。
Each
以上を総括すれば、ロボット装置1全体としては、合計で3+7×2+3+6×2=32自由度を有することになる。但し、エンターテインメント向けのロボット装置1が必ずしも32自由度に限定される訳ではない。設計・制作上の制約条件や要求仕様等に応じて、自由度すなわち関節数を適宜増減することができることはいうまでもない。
In summary, the
上述したようなロボット装置1がもつ各自由度は、実際にはアクチュエータを用いて実装される。外観上で余分な膨らみを排してヒトの自然体形状に近似させること、2足歩行という不安定構造体に対して姿勢制御を行うことなどの要請から、アクチュエータは小型且つ軽量であることが好ましい。
Each degree of freedom of the
図3には、ロボット装置1の制御システム構成を模式的に示している。図3に示すように、制御システムは、ユーザ入力などに動的に反応して情緒判断や感情表現を司る思考制御モジュール200と、アクチュエータ350の駆動などロボット装置1の全身協調運動を制御する運動制御モジュール300とで構成される。
FIG. 3 schematically shows a control system configuration of the
思考制御モジュール200は、情緒判断や感情表現に関する演算処理を実行するCPU(Central Processing Unit)211や、RAM(Random Access Memory)212、ROM(Read Only Memory)213、及び外部記憶装置(ハード・ディスク・ドライブなど)214で構成され、モジュール内で自己完結した処理を行うことができる独立駆動型の情報処理装置である。
The
この思考制御モジュール200は、画像入力装置251から入力される画像データや音声入力装置252から入力される音声データなど、外界からの刺激などに従って、ロボット装置1の現在の感情や意思を決定する。ここで、画像入力装置251は、例えばCCD(Charge Coupled Device)カメラを左右に1つずつ備えており、また、音声入力装置252は、例えばマイクロホンを複数備えている。また、思考制御モジュール200は、スピーカを備える音声出力装置253を介して、音声を出力することができる。
The
また、思考制御モジュール200は、意思決定に基づいた動作又は行動シーケンス、すなわち四肢の運動を実行するように、運動制御モジュール300に対して指令を発行する。
In addition, the
一方の運動制御モジュール300は、ロボット装置1の全身協調運動を制御するCPU311や、RAM312、ROM313、及び外部記憶装置(ハード・ディスク・ドライブなど)314で構成され、モジュール内で自己完結した処理を行うことができる独立駆動型の情報処理装置である。外部記憶装置314には、例えば、オフラインで算出された歩行パターンや目標とするZMP軌道、その他の行動計画を蓄積することができる。ここで、ZMPとは、歩行中の床反力によるモーメントがゼロとなる床面上の点のことであり、また、ZMP軌道とは、例えばロボット装置1の歩行動作期間中にZMPが動く軌跡を意味する。なお、ZMPの概念並びにZMPを歩行ロボットの安定度判別規範に適用する点については、Miomir Vukobratovic 著“LEGGED LOCOMOTION ROBOTS”(加藤一郎外著『歩行ロボットと人工の足』(日刊工業新聞社))に記載されている。
One
運動制御モジュール300には、図2に示したロボット装置1の全身に分散するそれぞれの関節自由度を実現するアクチュエータ350、体幹部ユニット2の姿勢や傾斜を計測する姿勢センサ351、左右の足底の離床又は着床を検出する接地確認センサ352,353、バッテリなどの電源を管理する電源制御装置354などの各種の装置が、バス・インターフェース(I/F)301経由で接続されている。ここで、姿勢センサ351は、例えば加速度センサとジャイロ・センサの組み合わせによって構成され、接地確認センサ352,353は、近接センサ又はマイクロ・スイッチなどで構成される。
The
思考制御モジュール200と運動制御モジュール300とは、共通のプラットフォーム上で構築され、両者間はバス・インターフェース201,301を介して相互接続されている。
The
運動制御モジュール300では、思考制御モジュール200から指示された行動を体現すべく、各アクチュエータ350による全身協調運動を制御する。すなわち、CPU311は、思考制御モジュール200から指示された行動に応じた動作パターンを外部記憶装置314から取り出し、又は内部的に動作パターンを生成する。そして、CPU311は、指定された動作パターンに従って、足部運動、ZMP軌道、体幹運動、上肢運動、腰部水平位置及び高さなどを設定すると共に、これらの設定内容に従った動作を指示する指令値を各アクチュエータ350に転送する。
The
また、CPU311は、姿勢センサ351の出力信号によりロボット装置1の体幹部ユニット2の姿勢や傾きを検出すると共に、各接地確認センサ352,353の出力信号により各脚部ユニット5R/Lが遊脚又は立脚の何れの状態であるかを検出することによって、ロボット装置1の全身協調運動を適応的に制御することができる。
In addition, the
また、CPU311は、ZMP位置が常にZMP安定領域の中心に向かうように、ロボット装置1の姿勢や動作を制御する。
Further, the
さらに、運動制御モジュール300は、思考制御モジュール200において決定された意思通りの行動がどの程度発現されたか、すなわち処理の状況を、思考制御モジュール200に返すようになっている。
Furthermore, the
このようにしてロボット装置1は、制御プログラムに基づいて自己及び周囲の状況を判断し、自律的に行動することができる。
In this way, the
(2)ロボット装置とユーザとの双方向の見まね動作
次に、上述したロボット装置1とユーザとの双方向の見まね動作の実現方法について説明する。以下では、ロボット装置1と1人のユーザとが面し合ってお互いにダンスを披露し合い、そのダンスをお互いに評価し、さらに新しいダンスの創作を行うという場面を想定する。
(2) Bidirectional imitation operation between robot device and user Next, a method for realizing the above-described bidirectional imitation operation between the
ロボット装置1とユーザとの双方向の見まね動作は、例えば図4のフローチャートに示すような順序で行われる。なお、このフローチャートでは、ユーザからダンスを開始するものとするが、この例に限定されるものでないことは勿論である。
The bidirectional mimicking operation between the
先ずステップS1において、ユーザは、ロボット装置1に向かって例えば両腕や両手を用いたリズミカルなダンスを披露する。この際、ロボット装置1は、ユーザのダンスを観察しておく。なお、このダンスは、次ループまで行い続けてもよく、任意のタイミングで停止させてもよい。また、ダンスの内容を適宜変化させても構わない。
First, in step S <b> 1, the user performs a rhythmic dance using both arms and both hands, for example, toward the
次にステップS2において、ロボット装置1は、観察したダンスを模倣した動作を発現し続け、続くステップS3において、ユーザは、任意のタイミングでロボット装置1の動作を評価する。この評価結果に応じて、ロボット装置1は、ステップS2に戻って動作を発現し続けるか、又はステップS4に進む。この点については後述する。
Next, in step S2, the
ステップS4において、ロボット装置1は、発現した動作を変調することで新しいダンスを創作し、ステップS5において、このダンスをユーザに披露する。この際、ユーザは、ロボット装置1のダンスを観察しておく。なお、このダンスは、次ループまで行い続けてもよく、任意のタイミングで停止させてもよい。
In step S4, the
続いてステップS6において、ユーザは、観察したダンスを模倣した動作を発現し続け、続くステップS7において、ロボット装置1は、任意のタイミングでユーザの動作を評価する。この評価結果に応じて、ロボット装置1は、ステップS5に戻って同じ動作又は異なる動作を発現し続けるか、又はステップS8に進む。この点については後述する。
Subsequently, in step S6, the user continues to express an action imitating the observed dance. In subsequent step S7, the
ステップS8において、ユーザは、発現した動作に基づいて新しいダンスを創作し、ステップS1に戻る。 In step S8, the user creates a new dance based on the expressed action, and returns to step S1.
以下、図5〜図7を参照しながら、図4のフローチャートの各ステップについて詳細に説明する。なお、図5は、図4のステップS1〜S4、すなわちユーザがダンスを披露しロボット装置1がそれを模倣した動作を行う際に関連するロボット装置1の機能ブロック構成を示したものである。一方、図7は、図4のステップS5〜S8、すなわちロボット装置1がダンスを披露しユーザがそれを模倣した動作を行う際に関連するロボット装置1の機能ブロック構成を示したものである。
Hereinafter, each step of the flowchart of FIG. 4 will be described in detail with reference to FIGS. FIG. 5 shows the functional block configuration of the
先ず、図4のステップS1において、ユーザは、ロボット装置1に向かって例えば両腕や両手を用いたリズミカルなダンスを披露し、ロボット装置1は、そのダンスを観察する。
First, in step S1 of FIG. 4, the user performs a rhythmic dance using both arms and both hands, for example, toward the
この際、ロボット装置1では、図5のカメラ画像入力器10(図3の画像入力装置251に相当)を介してダンスの画像が入力される。
At this time, in the
動領域抽出器11は、この画像から動き領域を抽出し、図6(A)に示すように、その動き領域を囲むブロック領域(Block Region;BR)と呼ばれる長方形を求める。これは、通常用いられている基本的な画像処理方法を用いて行われ、フレーム間差分による動領域摘出とそのラベリング、ラベル領域を含む最小長方形計算という手続きを踏む。実際には、BRの中心点と縦横の長さとの3つのデータが抽出され、BR軌跡短期記憶部12に供給される。
The
BR軌跡短期記憶部12は、一定時間内に動領域抽出器11で抽出されたデータをキュー構造によって保持する。
The BR trajectory short-
リズム情報抽出器13は、BR軌跡短期記憶部12に記憶されたBR中心点時系列情報からリズム情報を計算する。ここでは、図6(B)に示すように、各時点におけるBR中心点が、画像中心を任意角度で通る軸L上に射影され、その軸Lと時間軸とよって定義される波形情報に変換される。この波形から実際のリズムを算出する方法としては種々考えられるが、例えばその波形に簡単な信号処理を施してスペクトル情報を得るものとする。
The
身体性変換器14は、BR軌跡短期記憶部12に記憶されたBRの縦横の長さ情報から、動作として該当するロボット装置1の身体部分を決定する。ここでは、縦横それぞれについて時間平均を算出し、その大きさに合った身体マッピング(例:「縦平均がm以下且つ横平均がn以下の場合は手先とする」など)を予めプログラマが設定しておくものとし、それに即して該当する身体部分が決定される。
The
動作パターン抽出器15は、リズム情報抽出器13及び身体性変換器14の出力を合わせて動作パターンとして一時保持する。
The
次に図4のステップS2において、ロボット装置1は、観察したダンスを模倣した動作を発現し続ける。
Next, in step S <b> 2 of FIG. 4, the
具体的に、ロボット装置1では、動作パターン抽出器15に保持されている動作パターンが身体制御器16に供給され、身体制御器16は、この動作パターンに従って該当するアクチュエータ17を動かす。例えば、スペクトル中の最大周波数を用いてアクチュエータ17を任意角度振動させる。
Specifically, in the
続いて図4のステップS3において、ユーザは、任意のタイミングでロボット装置1の動作を評価する。
Subsequently, in step S3 of FIG. 4, the user evaluates the operation of the
この際、ユーザは、任意のタイミングでロボット装置1に音声指示を与える。音声指示は、ロボット装置1のマイク音声入力器20(図3の音声入力装置252に相当)を介して入力され、音声認識器21によって解釈される。例えば、ユーザから「よし」という音声指示が与えられた場合、音声認識器21から動作パターン抽出器15に命令が送られ、その時の動作パターンが動作記憶器18に保持される。また、ユーザから「だめ」という音声指示が与えられた場合、音声認識器21から動作パターン抽出器15に命令が送られ、その時の動作パターンをランダムに変更する。変更された動作パターンは、一定時間、身体制御器16に送り続けられ、この間、動作パターン抽出器15とリズム情報抽出器13及び身体性変換器14との接続は切られる。また、ユーザから「タイミング前(後)」という音声指示が与えられた場合、身体制御器16に命令が送られ、アクチュエータ17を動かすタイミングをそれまでのデフォルト値より一定時間早く(遅く)する。これは、ユーザの動作との位相タイミングを調整するために用いられる。また、ユーザから「新しいダンスを踊って」という音声指示が与えられた場合、新規動作パターン生成器19に命令が送られ、ステップS4の処理が行われる。
At this time, the user gives a voice instruction to the
図4のステップS4において、ロボット装置1は、発現した動作を変調することで新しいダンスを創作する。
In step S4 of FIG. 4, the
具体的に、新規動作パターン生成器19は、動作記憶器18に保持された動作パターンを用いて新しい動作パターンを生成する。生成方法としては、例えば過去の任意の2つの動作パターンを取り出し、そのスペクトルを成分毎に平均して新しいスペクトルを求める方法や、単純にランダムに過去の1つの動作パターンを選ぶ方法、さらにその動作パターンをランダムに変化させる方法などが挙げられる。
Specifically, the new
続いて図4のステップS5において、ロボット装置1は、生成した新しいダンスをユーザに披露する。
Subsequently, in step S5 of FIG. 4, the
この際、ステップS4で選ばれた動作パターンが図7の動作記憶器18に保持され、同時に動作マッチング器22に供給される。また、身体制御器16は、この動作パターンに従って該当するアクチュエータ17を動かす。
At this time, the operation pattern selected in step S4 is held in the
続いて図4のステップS6において、ユーザは、観察したダンスを模倣した動作を発現し続け、ロボット装置1は、そのダンスを観察する。
Subsequently, in step S6 of FIG. 4, the user continues to express an action imitating the observed dance, and the
この際、ロボット装置1では、ステップS2の前半と同様に、カメラ画像入力器10、動領域抽出器11、BR軌跡短期記憶部12、リズム情報抽出器13及び身体性変換器14を介して動作パターン抽出器15に動作パターンが保持され、その動作パターンは、動作マッチング器22に供給される。
At this time, the
続いて図4のステップS7において、ロボット装置1は、任意のタイミングでユーザの動作を評価する。
Subsequently, in step S7 of FIG. 4, the
具体的に、ロボット装置1では、予めロボット行動設定器25にプログラマが設定した任意のタイミングで動作マッチング器22に命令が送られ、動作マッチング器22は、この命令に応じて、動作パターン抽出器15から供給された動作パターンと動作記憶器18から供給された動作パターンとを比較する。比較方法としては、単純にスペクトル同士と身体部位項同士のマッチングを取り、前者に関しては例えば最大周波数間の距離を計算するものとする。この距離が所定の閾値以下であり且つ身体マッチングが取れている場合、音声合成器23は、スピーカ音声出力器24(図3の音声出力装置253に相当)を介して「よし」という音声を出力し、そうでない場合には「だめ」という音声を出力する。「よし」という音声を出力した場合、ロボット行動設定器25は、動作記憶器18から新しい動作パターンをランダムに抽出し、この動作パターンを身体制御器16に供給して、ステップS5に戻る。また、「だめ」という音声を出力した連続回数が予めプログラマが設定した回数に達した場合、ロボット行動設定器25は、同様に動作記憶器18から新しい動作パターンをランダムに抽出し、この動作パターンを身体制御器16に供給して、ステップS5に戻る。また、「よし」という音声を出力した通算回数が予めプログラマが設定した回数に達した場合、ロボット行動設定器25は、音声合成器23及びスピーカ音声出力器24を介して「新しいダンスを踊って」という音声を出力し、ステップS8に進む。
Specifically, in the
続いて図4のステップS8において、ユーザは、発現した動作に基づいて新しいダンスを創作し、ステップS1に戻る。 Subsequently, in step S8 of FIG. 4, the user creates a new dance based on the expressed action, and returns to step S1.
なお、任意のタイミングでユーザから「終了」という音声がマイク音声入力器20を介して入力され、音声認識器21によって認識された場合、身体制御器16は、アクチュエータ17の動きを止め、ループが終了する。
In addition, when the voice “end” is input from the user via the microphone
以上説明したように、本実施の形態におけるロボット装置1によれば、ユーザとの間で双方向にダンスの見まね動作を行うことで、双方向のインタラクションを実現することができ、ロボット装置1の価値観を向上させることができる。
As described above, according to the
また、ダンスをお互いに評価し合い、その評価結果に応じてダンスの動作を変化させることにより、例えば実際のダンス振り付けを考える際に、創作者のアイディア創出の一助とすることができる。 Further, by evaluating each other's dance and changing the dance action according to the evaluation result, for example, when thinking about actual dance choreography, it is possible to help creators create ideas.
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。 It should be noted that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.
例えば、上述した実施の形態では、ロボット装置1とユーザ(人間)とが見まね動作を通じて双方向コミュニケーションを実現するものとして説明したが、ロボット装置1のコミュニケーション対象がユーザに限定されるものではなく、同様の機能を有するロボット装置等の他の動作主体をコミュニケーション対象としても構わない。
For example, in the above-described embodiment, the
1 ロボット装置、10 カメラ画像入力器、11 動領域抽出器、12 BR軌跡短期記憶部、13 リズム情報抽出器、14 身体性変換器、15 動作パターン抽出器、16 身体制御器、17 アクチュエータ、18 動作記憶器、19 新規動作パターン生成器、20 マイク音声入力器、21 音声認識器、22 動作マッチング器、23 音声合成器、24 スピーカ音声出力器、25 ロボット行動設定器
DESCRIPTION OF
Claims (12)
複数の動作パターンから一の動作パターンを選択して発現する動作発現手段と、
発現した動作パターンを記憶する動作記憶手段と、
発現した動作パターンを他の動作主体が模倣している様子を画像として入力する画像入力手段と、
上記画像入力手段を介して入力された画像から上記他の動作主体の動作パターンを抽出する動作抽出手段と、
上記動作記憶手段に記憶されている動作パターンと上記動作抽出手段によって抽出された動作パターンとを比較する比較手段と、
上記比較結果に応じて上記他の動作主体の動作パターンを評価する評価手段と
を備えることを特徴とするロボット装置。 A robot device that can operate autonomously,
Action expression means for selecting and expressing one action pattern from a plurality of action patterns;
Action storage means for storing the expressed action pattern;
An image input means for inputting, as an image, a state in which another action subject imitates the expressed action pattern;
An action extracting means for extracting an action pattern of the other action subject from an image input via the image input means;
Comparing means for comparing the action pattern stored in the action storage means with the action pattern extracted by the action extraction means;
An evaluation unit that evaluates an operation pattern of the other operation subject according to the comparison result.
上記動作発現手段は、上記他の動作主体からの評価結果に応じて、発現する動作パターンを変調させる
ことを特徴とする請求項3記載のロボット装置。 Voice input means for inputting, by voice, an evaluation result from the other action subject with respect to an action pattern imitating the action expressed by the other action subject,
The robot apparatus according to claim 3, wherein the action expression unit modulates an action pattern to be expressed according to an evaluation result from the other action subject.
上記他の動作主体は、該ロボット装置のユーザである
ことを特徴とする請求項1記載のロボット装置。 It has a human-like appearance,
The robot apparatus according to claim 1, wherein the other operation subject is a user of the robot apparatus.
複数の動作パターンから一の動作パターンを選択して発現する動作発現工程と、
発現した動作パターンを動作記憶手段に記憶する動作記憶工程と、
発現した動作パターンを他の動作主体が模倣している様子を画像として入力する画像入力工程と、
上記画像入力工程にて入力された画像から上記他の動作主体の動作パターンを抽出する動作抽出工程と、
上記動作記憶手段に記憶されている動作パターンと上記動作抽出工程にて抽出された動作パターンとを比較する比較工程と、
上記比較結果に応じて上記他の動作主体の動作パターンを評価する評価工程と
を有することを特徴とするロボット装置の動作比較方法。 An operation comparison method for autonomously operable robotic devices,
An operation expression step of selecting and expressing one operation pattern from a plurality of operation patterns;
An operation storage step of storing the expressed operation pattern in the operation storage means;
An image input process for inputting, as an image, a state in which another operation subject imitates the expressed operation pattern;
An operation extraction step of extracting an operation pattern of the other operation subject from the image input in the image input step;
A comparison step for comparing the operation pattern stored in the operation storage means with the operation pattern extracted in the operation extraction step;
And an evaluation step of evaluating an operation pattern of the other operation subject according to the comparison result.
上記動作発現工程では、上記他の動作主体からの評価結果に応じて、発現する動作パターンを変調させる
ことを特徴とする請求項9記載のロボット装置の動作比較方法。 A voice input step of inputting, by voice, an evaluation result from the other action subject with respect to an action pattern imitating the action expressed by the other action subject,
The robot motion comparison method according to claim 9, wherein in the motion expression step, a motion pattern to be expressed is modulated according to an evaluation result from the other motion subject.
上記他の動作主体は、該ロボット装置のユーザである
ことを特徴とする請求項7記載のロボット装置の動作比較方法。 It has a human-like appearance,
The method according to claim 7, wherein the other operation subject is a user of the robot device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004113508A JP4506249B2 (en) | 2004-04-07 | 2004-04-07 | Robot apparatus and operation comparison method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004113508A JP4506249B2 (en) | 2004-04-07 | 2004-04-07 | Robot apparatus and operation comparison method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005297095A true JP2005297095A (en) | 2005-10-27 |
| JP4506249B2 JP4506249B2 (en) | 2010-07-21 |
Family
ID=35329265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004113508A Expired - Fee Related JP4506249B2 (en) | 2004-04-07 | 2004-04-07 | Robot apparatus and operation comparison method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4506249B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009262279A (en) * | 2008-04-25 | 2009-11-12 | Nec Corp | Robot, robot program sharing system, robot program sharing method, and program |
| US8416185B2 (en) | 2008-04-23 | 2013-04-09 | International Business Machines Corporation | Operational object controlling device, system, method and program |
| CN115431264A (en) * | 2022-08-10 | 2022-12-06 | 中国地质大学(武汉) | Interactive motion control method and system with individual characteristics |
| KR102630799B1 (en) * | 2023-07-26 | 2024-01-29 | 주식회사 에이아이태권도 | Method and apparatus for evaluating taekwondo movement based on voice recognition using artificial intelligence |
| WO2025018321A1 (en) * | 2023-07-14 | 2025-01-23 | 株式会社リビングロボット | Exercise assistance system and exercise assistance method |
| WO2025041588A1 (en) * | 2023-08-23 | 2025-02-27 | ソニーグループ株式会社 | Information processing device and information processing method |
| WO2025041587A1 (en) * | 2023-08-23 | 2025-02-27 | ソニーグループ株式会社 | Information processing device and information processing method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001224732A (en) * | 2000-02-18 | 2001-08-21 | Namco Ltd | Game device and information storage medium |
| JP2001299975A (en) * | 2000-04-27 | 2001-10-30 | Hiromi Hamabe | Bodily sensing device and bodily sensing system |
| JP2002086378A (en) * | 2000-09-08 | 2002-03-26 | Sony Corp | Motion teaching system and motion teaching method for legged robot |
-
2004
- 2004-04-07 JP JP2004113508A patent/JP4506249B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001224732A (en) * | 2000-02-18 | 2001-08-21 | Namco Ltd | Game device and information storage medium |
| JP2001299975A (en) * | 2000-04-27 | 2001-10-30 | Hiromi Hamabe | Bodily sensing device and bodily sensing system |
| JP2002086378A (en) * | 2000-09-08 | 2002-03-26 | Sony Corp | Motion teaching system and motion teaching method for legged robot |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8416185B2 (en) | 2008-04-23 | 2013-04-09 | International Business Machines Corporation | Operational object controlling device, system, method and program |
| JP2009262279A (en) * | 2008-04-25 | 2009-11-12 | Nec Corp | Robot, robot program sharing system, robot program sharing method, and program |
| CN115431264A (en) * | 2022-08-10 | 2022-12-06 | 中国地质大学(武汉) | Interactive motion control method and system with individual characteristics |
| WO2025018321A1 (en) * | 2023-07-14 | 2025-01-23 | 株式会社リビングロボット | Exercise assistance system and exercise assistance method |
| KR102630799B1 (en) * | 2023-07-26 | 2024-01-29 | 주식회사 에이아이태권도 | Method and apparatus for evaluating taekwondo movement based on voice recognition using artificial intelligence |
| WO2025023669A1 (en) * | 2023-07-26 | 2025-01-30 | 주식회사 에이아이태권도 | Method and apparatus for evaluating taekwondo motion based on voice recognition using artificial intelligence |
| WO2025041588A1 (en) * | 2023-08-23 | 2025-02-27 | ソニーグループ株式会社 | Information processing device and information processing method |
| WO2025041587A1 (en) * | 2023-08-23 | 2025-02-27 | ソニーグループ株式会社 | Information processing device and information processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4506249B2 (en) | 2010-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4179230B2 (en) | Robot apparatus and operation control method thereof | |
| JP4086024B2 (en) | Robot apparatus and behavior control method thereof | |
| JP3714268B2 (en) | Robot device | |
| US7103447B2 (en) | Robot apparatus, and behavior controlling method for robot apparatus | |
| JP4239635B2 (en) | Robot device, operation control method thereof, and program | |
| US6493606B2 (en) | Articulated robot and method of controlling the motion of the same | |
| Vanderborght | Dynamic stabilisation of the biped Lucy powered by actuators with controllable stiffness | |
| US20040036437A1 (en) | Legged mobile robot and its motion teaching method, and storage medium | |
| JP2001277163A (en) | Robot control device and control method | |
| WO2003078109A1 (en) | Operation control device for leg-type mobile robot and operation control method, and robot device | |
| JP2002144260A (en) | Legged mobile robot and control method thereof | |
| Park et al. | Control hardware integration of a biped humanoid robot with an android head | |
| JP4506249B2 (en) | Robot apparatus and operation comparison method thereof | |
| JP4449372B2 (en) | Robot apparatus and behavior control method thereof | |
| JP2002086378A (en) | Motion teaching system and motion teaching method for legged robot | |
| JP4660870B2 (en) | Legged mobile robot and control method thereof | |
| JP2002059384A (en) | Learning system and learning method for robot | |
| JP4281286B2 (en) | Robot apparatus and control method thereof | |
| JP4770990B2 (en) | Legged mobile robot and control method thereof | |
| Lee et al. | Development and walking control of emotional humanoid robot, KIBO | |
| JP4539291B2 (en) | Robot apparatus and operation control method thereof | |
| Kopacek | Cost oriented humanoid robots | |
| JP4552490B2 (en) | Robot apparatus and emotion control method thereof | |
| JP2002331481A (en) | Robot device, motion creation device and motion creation method, control program and recording medium | |
| JP2005007501A (en) | Robot apparatus and operation control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070313 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100406 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100419 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |