JP2016154845A - アニメーション・キャラクターに合致する動きを得るためのロボットを開発および制御する方法。 - Google Patents

アニメーション・キャラクターに合致する動きを得るためのロボットを開発および制御する方法。 Download PDF

Info

Publication number
JP2016154845A
JP2016154845A JP2016014747A JP2016014747A JP2016154845A JP 2016154845 A JP2016154845 A JP 2016154845A JP 2016014747 A JP2016014747 A JP 2016014747A JP 2016014747 A JP2016014747 A JP 2016014747A JP 2016154845 A JP2016154845 A JP 2016154845A
Authority
JP
Japan
Prior art keywords
robot
motion
character
animation
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016014747A
Other languages
English (en)
Other versions
JP6227683B2 (ja
Inventor
キム ジュヒュン
Joohyung Kim
キム ジュヒュン
ヤマネ カツ
Katsu Yamane
ヤマネ カツ
ソン スンムーン
Seungmoon Song
ソン スンムーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Disney Enterprises Inc
Original Assignee
Disney Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Disney Enterprises Inc filed Critical Disney Enterprises Inc
Publication of JP2016154845A publication Critical patent/JP2016154845A/ja
Application granted granted Critical
Publication of JP6227683B2 publication Critical patent/JP6227683B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/1605Simulation of manipulator lay-out, design, modelling of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D57/00Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track
    • B62D57/02Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members
    • B62D57/032Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members with alternately or sequentially lifted supporting base and legs; with alternately or sequentially lifted feet or skid
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Toys (AREA)

Abstract

【課題】コンピュータ・アニメーション・データ・ファイルから得たアニメーション・データによって定義されたキャラクターの動き方をするロボットを提供する。【解決手段】ロボットは、歩行または他の動きをするキャラクターのアニメーション・データを得るロボット開発方法を用いて作り出される。キャラクターは人間に似たものとすることができ、この方法は、下位部が、アニメーション・データで定義されたアニメーション・キャラクターの下位部の運動学的構造と合致する運動学的構造を有する、二足ロボットを開発することを含む。ロボットの制御プログラムが、軌道最適化などを用いることによって生成される。この制御プログラムは、アニメーション・データによって提供されるキャラクターの歩行動作を模倣する開ループ歩行軌道を含む。この開ループ歩行軌道は、アニメーション・データによるキャラクターの動作を、ゼロ・モーメント・ポイント(ZMP)が接触凸閉包内にとどまるように修正することによって生成する。【選択図】図2

Description

本明細書は一般に、脚式ロボット(たとえば、フローティング・ベース二足人型ロボット、または四足動物などの他の脚式ロボット)を含むロボットの設計および制御に関する。より詳細には、本明細書は、アニメーション・キャラクターの動きを模倣する、またはアニメーション・キャラクターの動きに比較的緊密に合致するように動くロボット、たとえばアニメーション・キャラクターまたは映画のキャラクターと同様に歩くように開発される二足歩行ロボットを開発し、さらに制御するための方法に関する。
ロボット業界には、アニメーション・キャラクターを、そのキャラクターに特有ですぐにそれと分かる歩き方のような似た動きなどを示すことによって、現実世界で具現化するロボットを作り出すための技術者および科学者に対する大きな需要がある。このことは特に娯楽産業において当てはまる。その理由は、そのようなキャラクターものまねロボットは、人が以前に映画またはテレビ番組でしか見たことがないキャラクターと物理的に交流することを可能にするからである。これらのロボットに生命感を与えるには、まねられるキャラクターの外見を模倣するだけでなく、キャラクターの動き方を模倣することも重要である。
残念なことに、ロボットの動きおよび動き方をアニメーション映画またはテレビ番組のキャラクターなどのキャラクターに合致させる方法は単純ではなく、またこれまでの解決策は完全には効果的でなかった。キャラクターを模倣するロボットを設計および制御することでの課題の1つは、ほとんどのアニメーション・キャラクターが、現実世界での物理的な実行可能性を考慮して設計およびアニメーション化されておらず、またその動きが物理的に適正であることがまずないことである。
たとえば、形が人型であるキャラクターを模倣することが望ましい場合があり、設計者は、人体に基づいた外見を備えたロボットである二足の人型ロボットでそのキャラクターを模倣することがある。人型ロボットは、人間用に作られた、また人間と安全かつ効果的に相互作用するように適合されていることの多い、工具および機械などの様々な環境と相互作用を行うように設計されている。一般に、人型ロボットは、頭が付いた胴と、2本の腕と、ロボットが平面を歩いたり階段を上がったりなどができるよう何らかの形の足がそれぞれ付いた2本の脚とを有する(たとえば、これらの人型ロボットは、人間のように「二足動物」である)。人型ロボットは、関節によって相互連結される多くの剛性のリンクを用いて形成されることができ、ロボットを動かし姿勢をとらせるように各関節に力またはトルクを加えることによってこれらのリンクは、動かされまたは姿勢をとらされる。同様に、3本、4本またはそれ以上の脚を持つものなど、他の脚式ロボットもまた、力制御されたその脚の動作を利用して歩くことができる。
人間の環境と相互に作用するには、人型ロボットは、安全で従順な力制御関節の制御を必要とする。これに関連して、所望の動きおよび出力される力(接触力)を決定するように、またそれに応じて人型ロボットの動きおよび姿勢を効果的に制御するための関節トルクを出力するように、プログラムされるコントローラが各ロボットに設けられる。しかし、アニメーション・キャラクターの動き方を正確に模倣するのに、このようなコントローラを用いてこれらの人型ロボットを動作させることは、このやり方が人型ロボットとそのリンクおよび関節とに対して単純に物理的に適正ではない、または実行可能ではない場合があるので、困難なことが分かっている(たとえば、その物理的構成要素がキャラクター
の動きをすることが不可能な場合がある)。
アニメーション・キャラクターは、その外観もその動き(たとえば、動き方)もより現実的なものに進化した。コンピュータ・グラフィックス技法を使用して、3次元(3D)キャラクターを、その3Dアニメーション・キャラクターによる、より自然で物理的にそれらしい動きと共に設計および生成することができる。多くの動きの中でとりわけ、二足キャラクターに対する関心の故に、写実的で自然な二足歩行を生成することが多くの研究者によって広範に検討されてきた。アニメーション・キャラクターを二足ロボットに似せようとする手法の1つは、軌道最適化を用いて歩行動作を直接探究して、物理法則に従う所望の動きを見出すことであった。別の手法は、キャラクターが歩けるようにする歩行コントローラを物理学ベースのシミュレーションで開発することであった。最近、コンピュータ・グラフィックス界では、機械的なキャラクターをアニメーション化する技法を確立することが試みられ、所望の動きをする機械的なキャラクターを設計する計算フレームワークが何人かの研究者によって提案されている。しかし、今日まで、これらの手法のどれも、アニメーション・キャラクターの動きを着実に模倣する二足ロボットを実現していない。
その結果、生きているような二足歩行を現実世界で得たいという要望が、ロボット工学の分野で過去数十年間存続してきた。高齢者をその日常生活において助ける、または天災および人災を解消するなどの現実世界の問題を解決する目標に取り組むために、関節位置および関節トルクの現物に忠実な制御によって人型ロボットが開発されてきた。より小型である別の二足ロボットが、娯楽のため、および趣味愛好家のために、サーボ・モータを使用して開発されてきた。最近、サーボ・モータ、および3Dプリンタで得られたリンクを有する小型二足ロボットが、ロボット業界で注目を集め始めた。しかし、今日まで、これらの革新のどれも、多くのアニメーション・キャラクターまたは映画のキャラクターの歩行を含む動きを容易に模倣できるロボットを実現していない。
したがって、現実世界または物理的世界の制約に従うようには作り出されなかったキャラクターを含めて、多種多様なアニメーション・キャラクターと同様により正確に動くことができるロボットを開発/生成する(さらにその動作を制御する)方法が依然として必要とされている。好ましくは、その新規の方法は少なくとも、アニメーション・キャラクターのように歩く二足ロボットを開発するのに有用であり、より好ましくは、少なくともある程度はアニメーション・キャラクターのものと合致する物理的構成を有するように選ばれたロボットを、アニメーション・キャラクターの動き方を有するようにロボットを制御できるよう、設計、構築、および制御するのに有用である。また、いくつかの実施態様では、これらの新規の方法で開発されたロボットが、3D印刷できるリンク、およびサーボ・モータで作動できる関節などの、容易に入手できる構成要素を使用して構築されることは有用であろう。
本発明者らは、アニメーション・キャラクターを現実世界で生かすようにロボットを設計および制御するための方法の改善が必要であると認識した。例示的な実施態様として、アニメーション・キャラクターのように見える、また本明細書ではより重要な、アニメーション・キャラクターのように歩く二足ロボットが提示される。言い換えると、ロボットが、アニメーション・データ(すなわち、キャラクターを含むアニメーション映画もしくはその断片から得られたデータ、および/またはアニメーション映画/その断片と関連付けられたコンピュータ・グラフィックス(CG)ファイルから得られたデータ)によって定義されたキャラクターの動き方を表すように設計され、構築され、さらに制御される。
手短に述べると、ロボット開発または設計の方法は、歩行する(または、ロボットに模倣される他の動きをする)特定のキャラクターのアニメーション・データのセットを取り出すことから開始する。この例では、キャラクターは形が人型であり、この方法では、アニメーション・キャラクターの下位部に相当する胴アセンブリ、左脚アセンブリおよび右脚アセンブリを含む下位部を有する二足ロボットの開発を継続する。具体的には、ロボットの下位部は、アニメーション・データに定義された、またはそれから導出されたアニメーション・キャラクターの下位部の運動学的構造と合致する運動学的構造を有するように設計される。
次に、この合致する運動学的構造を有する下位部は、3D印刷されるリンクなどを用いて、また関節アクチュエータとしてサーボ・モータの形態により製作される。次に、軌道最適化または他の手法などを使用することによって、製作され組み立てられたロボット(またはその下位部)用の制御プログラムが生成される。この制御プログラムは、以前に取り出されたアニメーション・データにより実現されるキャラクターの歩行動作を模倣するように構成されている開ループ歩行軌道を含むことができる。
開ループ歩行軌道は、ゼロ・モーメント・ポイント(ZMP)が接触凸閉包内にとどまるようにキャラクターの動きをアニメーション・データにより修正することによって、生成される。次に、コントローラは制御プログラムを使用して、アニメーション・データによって実現される歩行をすることができるかどうか、またロボットがキャラクターの動きを正確に模倣するかどうかを試験または検証などするために、関節をサーボ・モータ(または他の関節アクチュエータ)の制御によって作動させることができる。本発明者らが実施した試験では、ロボット(その構造および制御構成要素)を開発するこの方法の結果として、緊密に模倣またはコピーされるアニメーション・キャラクターの動きに関して、これまでの技法と比べて著しい改善が示された。
より具体的に、アニメーション・キャラクターの動作を模倣するように適合されたロボットが本明細書で説明される。ロボットは、関節で相互連結された複数の構造セグメントを含み、またロボットの動きを提供するように構造セグメントにトルクを加えるための、関節の1つに近接してそれぞれ設けられた複数のアクチュエータも含む。さらに、ロボットは、動作軌道に基づいたロボットの動きを提供するように、アクチュエータに制御信号を与えるコントローラを含む。アニメーション・キャラクターの動きを模倣するために、動作軌道は、アニメーション・キャラクターのアニメーション・データから抽出され、次いで、構造要素およびアクチュエータによって提供される運動学的構造に基づいて修正された、参照動作に対応する。いくつかの実施態様では、ロボットは二足ロボットであり、参照動作はアニメーション・キャラクターの歩行動作である。
ロボットを実現するために、アクチュエータは、参照動作から得られたトルク要件を提供するように構成される。さらに、参照動作は、アニメーション・キャラクターの参照動作で定義される可動域に従いながら、動作軌道を提供するように修正される。ロボットの動作軌道を提供するように、参照動作は、ロボットの構造要素の配置空間にマッピングされ、また、参照動作は、立脚足を路面上で平らに保って安定性を保持することによって修正される。
ロボットのいくつかの実施形態では、構造セグメントは、アニメーション・データのアニメーション・キャラクターについて定義されたスケルトンの要素に対応する。このような実施形態では、構造要素のそれぞれが、スケルトンの要素のうちの1つのサイズおよび形状に対応するサイズおよび形状を有する。特に、構造要素のうちの少なくとも1つの形状またはサイズは、スケルトンの要素のうちの対応するものの形状またはサイズと異なる
ように修正されることができ、それによりロボットは、参照動作によって定義されたアニメーション・キャラクターの可動域に対応する可動域を有するようになる。この関連で、ロボットのリンク/セグメントの形状および/またはサイズは、より適切にアニメーション・キャラクターの動きを模倣するために、所望の可動域または動き方を提供するように修正される。
アニメーション・キャラクターを表示するユーザ・インターフェースを(スケルトンすなわちリギングの形で)示す図。 アニメーション・キャラクターの下位部の動きを模倣するために開発されたロボットを示す図。 入力としてアニメーション・データを使用して、ロボット(たとえば、その機構)および動き制御プログラム(模倣される動きが歩行動作の場合、歩行軌道を与えるなどの制御信号のセット)を設計/開発するための方法(またはフレームワークのステップ)を示す図。 アニメーション・キャラクターの動きを模倣するための本明細書で教示の開発方法により設計、製作および組み立てられたロボットの前面図。 アニメーション・キャラクターの動きを模倣するための本明細書で教示の開発方法により設計、製作および組み立てられたロボットの側面図。 アニメーション・キャラクターの動きを模倣するための本明細書で教示の開発方法により設計、製作および組み立てられたロボットの前方斜視図。 図3A〜図3Cのロボットの、図1Aのアニメーション・キャラクターの参照動作を模倣するための最適化歩行軌道を示す図。 グラフィック・スクリーン・ショットのセットによりアニメーション動作(参照動作)を示す図。 グラフィック・スクリーン・ショットのセットおよび動作しているロボットの画像によりロボットの目標動作を示す図。 グラフィック・スクリーン・ショットのセットおよび動作しているロボットの画像によりロボットの最適化動作を示す図。 動作しているロボットの画像により実際に得られたロボット動作を示す図。 本明細書のロボット開発システムの機能ブロック図。
手短に言えば、本開示は、アニメーション・キャラクターの動きを模倣するのに特によく適合されているロボットを設計、開発および製作するための方法を対象とする。本明細書に教示の方法はまた、製作されたロボットがアニメーション・キャラクターの動きに緊密に合致する、またはそれをコピーする動き方で動くようにするための制御プログラムまたは命令を生成することを含む。さらに、本明細書は、これらの方法により構築され、アニメーション・キャラクターの動きと類似の動きを実行するように構成されるロボットを教示している。これの方法は、ほぼすべてのアニメーション・データ(たとえば、アニメーション・キャラクターの運動学的構造、およびこのようなキャラクターの動きを定義するデータ)と共に使用され、アニメーション・キャラクターの形を現実世界または物理的世界で表すようにロボットに多種多様な形を提供することができる。二足ロボットが以下の記述で、二足人型キャラクターを模倣するための非限定的な一例として説明されるが、本明細書で教示の概念は、他のロボット構成に容易に拡張される。
以下の記述では、アニメーション・キャラクターにならって設計されるロボットを開発するための方法について説明し、この記述ではまた、ロボットをさらに、本明細書で論じられた技法により生成されたキャラクターのような歩行動作を用いて制御または操作でき
ることについて論じた。図1Aは、アニメーション業界で使用されるMAYAまたは他のソフトウェア・プログラムもしくはソフトウェア・スイートであり得るコンピュータ・アニメーション(またはコンピュータ・グラフィックス)ソフトウェアによって提供される、グラフィカル・ユーザ・インターフェース(GUI)112のスクリーン・ショット110を示す。GUI112には、本発明者らによって作り出されたロボット開発方法を使用してロボットを生成または開発するための基礎または入力として使用されるアニメーション・キャラクター120が示されている。
より詳細には、コンピュータ・アニメーションはスケルトン・アニメーションを含むことができ、これは、キャラクター120を2つの部分、すなわち、キャラクターを描くために使用される表面表現(たとえば、スキン、メッシュなど)と、キャラクターのスキンまたはメッシュに動きを与えるために使用される(たとえば、姿勢、キーフレームなど)相互連結された骨(スケルトンまたはリグと呼ばれる)の階層セットとで表すためのコンピュータ・アニメーションの技法である。スケルトン・アニメーションは、ある期間キャラクターに動きを与えるための標準的な方法であり、キャラクターのスケルトン(骨/リンクおよびその関節)のアニメーションまたは動きは、その期間にわたる動きを定義するためのインバース・キネマティック・アニメーション、フォワード キネマティック・ア
ニメーション、または他の技法を使用して完成される。このようにして、アニメーション・キャラクターの特定のスケルトンの動き方または動きはアニメ制作者によって定義されることができ、またアニメーション・データによって、リンクおよび関節の配置(スケルトン120による)だけでなく、その動作学または動きの定義も提供される。
図1Bに示されるように、次にロボット150を、アニメーション・キャラクター120ならびにその動き方および動きを定義するためのコンピュータ・アニメーション・ソフトウェアによって生成されたアニメーション・データを使用して開発することができる。図1Bには、ロボット150が、アニメーション・キャラクター120の動作、たとえば歩行を模倣するように制御または操作される二足ロボットの下位部を含むように示されている。ロボット150の様々な構成要素については、以下でより詳細に説明する。ロボット150の運動学的構造は、アニメーション・キャラクター120(またはそのスケルトン設計)に基づいて設計され、キャラクターのスキン、メッシュ、またはスーツ(図1Aに示されていない)で覆われるには十分に小型である。
実際には、ロボット150のリンクは3D印刷され(または別の方法で製作する)、また関節はサーボ・モータなどで駆動される。キャラクターのような歩行動作では、たとえば軌道最適化を使用することにより、開ループ歩行軌道とすることができる(また実験では本発明者らにより、開ループ歩行軌道であった)。ロボット150のために生成される歩行軌道の1つの目的は、安定性を保ちながらアニメーション・キャラクター120の歩行に似るようにする(模倣する)ことである。これは、場合によっては、ゼロ・モーメント・ポイント(ZMP)基準がロボット150によって歩行中に確実に満たされるようにすることで実現することができる。
次に、最適化歩行はハードウェアにおいて試験される。例えば、ロボット150の実施形態においては、制御プログラムまたは歩行軌道を使用するロボット150が安定した歩行(この歩行は、多くの場合アニメーション・キャラクター120の、それが歩行するように動きを与えられたときの歩行に緊密に合致することができる)を生成または提供されるかを検証することである。以下の記述ではまた、(たとえば)ハードウェア歩行を最適化速度に制限する可能性があるシミュレーションとハードウェア歩行との間の差異をハードウェア実験によって特定できることについても説明する。これを念頭において、以下の記述はまた、アニメーション・キャラクターを模倣するための改良されたロボットを製造するために、この差異または問題をどのように解決できるか、または少なくとも対処でき
るかについてのいくらかの教示も含む。
以下では、アニメーション・キャラクターおよびその動きを模倣するようにロボットのハードウェアを開発するための、またロボットの歩行軌道(制御プログラム/信号)を生成するためのフレームワークを提供する。これに関連して1つの主要な課題は、元のアニメーション(たとえば、アニメーション・キャラクター150を提供するために使用されるアニメーション・データ)およびその動きは一般に、物理的制約を考慮して設計されていないことである。たとえば、本発明者らは、それぞれが3自由度(DOF)を有する、3つの関節から構成された足首〜足部分があるアニメーション・キャラクター(すなわち、キャラクター150)を対象にすることによって、その方法を検査した。しかし、9つのアクチュエータを、開発されるロボット150のような物理的ロボットの小さな足の中に組み込むことは、アニメーション・キャラクターの足首〜足部分に基づくことができるとはいえ、アニメーション・キャラクター120の足首〜足部分の動きをなおシミュレーションできるもっと実際的な実装を提供するために異なり得る。さらに、アニメーションの(または、アニメーション・ソフトウェアから提供されるロボット150のアニメーション・データの)歩行動作は、アーティストまたはアニメ制作者によって巧妙に作られたキーフレームを用いて生成されるが、これらの歩行動作は、ロボット150などのロボットでは物理的に実現可能でないことが多い。言い換えると、アニメーション・データの歩行動作を実際のロボットで単に再生すると、ロボットはそのバランスを失い転倒することになり得る。
手短に言えば、本開示は、人間動作追跡コントローラ、ならびにロボットを制御するために使用される制御方法、およびロボットのバランスの取れた動きを制御するそのようなコントローラを有するロボットを対象とする。このコントローラ(または追跡コントローラ)は、自立人型ロボットが、人間動作キャプチャ・データ(キーフレーム・アニメーションおよび他の人間動作データ・ソースを含むことができる)によって定義された動作などの所与の動作または入力された動作を追跡できるように適合される。
追跡コントローラを設計する上で克服または対処された1つの困難は、所与の/入力された動作は、特定のロボットまたは特定の環境もしくは時点には実現可能ではない場合があること、および、本明細書に記載のコントローラ設計なしでは、ロボットが単純なフィードバック・コントローラを用いてただ単にその動作を完全に追跡しようとした場合に、ロボットが転倒する可能性があることであった。たとえば、キャプチャされた人間動作は、人間のキャプチャ・データを提供する人間の被験者/モデルに対しては実現可能である一方で、同じ動作がロボットに対しては、力またはトルク駆動関節を含む構成要素が特定の設計および配置である特定のフローティング・ベース人型ロボットの動作学および動力学の違いにより、実現可能ではないことがあり得る。また、キーフレーム・アニメーションは通常、ロボットの動力学を考慮しないで作り出され、したがって、それをコントローラへの人間動作キャプチャ・データ入力として使用することは、いくつかの動作が特定の物理的ロボットでは単純に実行不可能であるので、これまでのコントローラでは課題となっていた。
以下の記述では、人型ロボットで使用するための追跡コントローラについて教示しており、その追跡コントローラは、制御されるロボットのバランスを維持しつつ動作キャプチャ・データを追跡することができる。このコントローラは2つの主構成要素、すなわち、(1)たとえば標準的な比例微分(PD)コントローラを使用して所望の加速度を各自由度(DOF)で計算する構成要素と、(2)第1の構成要素による所望の加速度を実現するための最適関節トルクおよび接触力を、ロボットの全身力学および接触力の限度、ならびに接触リンク動作に対する制約を考慮して計算する構成要素とを含む。関節トルクが6DOFのロボットのルートには寄与しないという事実を利用することによって、追跡コン
トローラは最適化を、リアルタイムに解決することができる2つのより簡単な下位問題に分離するように設計されてきた(たとえば、ロボットの各関節の各駆動部にトルク値を送出するコントローラを有するロボットのリアルタイム制御のために)。
ロボットを制御しつつ安定性を向上させる1つの取り得る技法は、複数の追跡コントローラを同時に動作させ、次にコントローラの1つを選択して最終制御入力を決定することである。所与の参照動作(追跡コントローラに入力される動作キャプチャ・データによって定義される)を追跡しようとするコントローラに加えて、追跡コントローラ(またはコントローラ・アセンブリ)は、参照としての固定静止平衡姿勢で動作する別のコントローラのインスタンスを含むことができる。次に、追跡コントローラ・アセンブリは、ロボットがそのバランスを失いそうにどれだけなっているかに応じて、ロボットへの実際の入力を選ぶことができる。言い換えると、固定参照を用いたコントローラは、ロボットがバランスをまさに失おうとしていると判定されたときに、静止平衡姿勢でロボットを安全に停止させる(たとえば、ロボットが転倒する、またはバランスを失うことになる動作を実行もしくは追跡しないように制御される)ように使用される(または制御を引き継ぐように作動する)。
図2は、アニメーション・データによって定義されたアニメーション・キャラクターの動きを模倣するための制御プログラムを生成することを含めてアニメーション・データから物理的ロボットを開発する方法200を示す。方法200は210で、物理的ロボットを開発するための入力としてアニメーション・データのセットを受け取ることから開始し、このステップは、コンピュータ・アニメーション・ソフトウェアも動作させているコンピュータ/コンピューティング・デバイス上のプロセッサによって、または同一もしくは別のコンピュータ/コンピューティング・デバイス上の別のプロセッサによって実行される。これらのプロセッサのそれぞれが、コードまたはソフトウェア・プログラム命令を実行して方法200の機能/ステップを実施する。さらに、プロセッサは、アニメーション・データ、抽出されたパラメータおよび定義、ならびに方法200の実施中に生成された他のデータを記憶するメモリにアクセスすることができる。
ステップ210で、方法200は、アニメーション・データを抽出および分析して、物理的ロボット(たとえば、アニメーション・キャラクターのスケルトン)を作り出すのに有効な、また作り出された物理的ロボットを用いて模倣動作(たとえば、アニメーション・データで定義された参照動作)を生成するのに有効な情報を得ることを含む。抽出されたデータ215は、物理的ロボットの目標特性を設定することを含む次のステップまたは機能220に伝達される。一実施形態では、アニメーション・データは、MAYAなどのコンピュータ・アニメーション・プログラムによって提供される。
ステップ210での分析の出力215に基づいて、目標特性は、ロボットの運動学的構造(たとえば、ロボットのリンク(サイズ、形状など)、リンク間の関節、関節のアクチュエータなど)、その運動学的構造の構成要素の可動域(ROM)、ならびに運動学的構造の各関節のトルク要件を含め、ステップ220で設定される。ステップ220(およびステップ240、250、270などの他のステップ)の処理および最適化には、MATLAB Simulink/SimMechanics(R2013a)または他の、ロボット工学設計を支援する現在入手可能な、または将来入手可能になるであろうソフトウェア製品の使用を伴う。
図示のように、ステップ220は、後の設計/開発ステップで使用するための出力(目標特性)230のセットを提供する。特に、キャラクター・スケルトン215に基づいて製造される運動学的構造の各関節に対するトルク要件232が、目標特性(たとえば、関節に対するトルク要件232)を実現できるアクチュエータのようなメカトロニクス構成
要素を選択するように機能するステップ/プロセス240に提供される。さらに、出力230は、ロボットの運動学的構造とその構造またはその構成要素のROMも含むことができ、234で示されるように、方法ステップ/機能250に提供される。
ステップ250は、セグメント/リンクおよびリンク間の関節を含むロボット機構を、運動学的構造(たとえば、キャラクターのスケルトンの骨に合致または対応するためのリンク)と、この構造のROMとに基づいて設計することを含む(たとえば関節は、止め部を設けるように、または別様に、参照動作215におけるキャラクター・スケルトンおよび/またはそのアニメーションによって定義できるアニメーション・キャラクターの様々なROMを実現するように、構成される)。ステップ250への別の入力として、ステップ240の出力/結果245は、アクチュエータ、コントローラ、および他の選択されたメカトロニクス構成要素を含めて提供される。ステップ250の出力255は、設計されたロボット機構のコンピュータ支援設計(CAD)モデルなどのデジタル・モデルであってもよく、この出力255は、ロボットを構築/製作するステップ260(たとえば、3D部品を印刷してリンク/セグメントを提供する、アクチュエータ、コントローラを得る、またハードウェアを取り付ける/組み立てるなどの後、これらの構成要素を組み立てる)の入力として使用される。ステップ260の出力265は、図1Bのロボット150など、製作されたロボットである。
加えて、目標特性設定/選択ステップ220の出力230は、ロボット動作軌道(たとえば、この例では歩行軌道)を生成することを含むステップ270への入力として提供される目標動作軌道238を含むこともできる。ロボット(ステップ260で製作/組立て)のこの軌道(たとえば、開ループ歩行軌道)を生成するために、ステップ210でアニメーション・データから得られたアニメーション歩行動作215は、ステップ220で修正されて、ロボット265に適している目標動作軌道238が提供される。具体的には、ステップ220は、動作をロボットの配置空間にマッピングすることを含む。次に、動作は、立脚足を路面上で平らに保つように修正され、その結果、二足歩行を提供するようにロボットを制御するのにロボット業界で広く使用されている従来のZMP基準を使用することによるような安定性が保証されることになる。
次に、ロボット歩行軌道270を生成するために、最小限の機構257がステップ/プロセス250により得られる。さらに、ステップ270では、歩行動作が、アニメーション・データによる参照動作215において定義または提供されるアニメーション・キャラクターの歩行様式(動き方)を保ちつつ、安定するように設計/選択されるべきということが想定されている。いくつかの実施形態では、ステップ270は軌道最適化の使用を伴う。特にこの最適化は、目標歩行動作からの偏差を最小にすると共にサポート・ポリゴンの圧力中心(CoP)またはZMPを保持する目的関数を用いて行われる。
ステップ270の生成物は動作軌道であり、これは、入力されたアニメーション・データから得られる参照動作215を模倣する動きのセットまたは動作を行うようにアクチュエータを制御するための、ロボット・ハードウェア上/内(または場合によって外部)に設けられたロボット・コントローラによって使用される。ステップ280で、ロボット・コントローラは、この最適化動作軌道275に基づいてロボットを制御して、関節軌道を追跡することによって最初に試験できる歩行(または他の)動作を行うように作動する。ステップ280はさらに、アニメーション・データによる参照動作215にさらに緊密に合致する動きを得るように動作軌道の調整を含むこともできる。
方法200は、ロボット全体にもロボットの選択部分にも適用され得る。以下の議論では、二足人型ロボットとしてモデル化されるアニメーション・キャラクターの下部本体または下位部のロボット・ハードウェアを提供および操作することに関して、方法200の
ステップ/プロセスを実行するための詳細が提示される。まず、データがアニメーション・データから抽出される。1つの特定の実施態様で、アニメーション・キャラクターのスケルトン構造が、コンピュータ・グラフィックス・プログラム/ソフトウェア製品(たとえば、MAYAなど)のアニメーション・データ入力ファイルから抽出された。図1Aのアニメーション・キャラクター120により示される特定の実施形態では、各脚が15DOFを有し、腰には3DOF、各膝には3DOF、各足首には3DOF、また各足には6DOFがあった。
以下の表1は、足、脛、および大腿部の高さ、ならびに骨盤の幅の抽出値を提示する。典型的な小型二足ロボットと比較すると、骨盤は、脚長(20センチメートル=8.1+8.9+3.0センチメートル)に対して広く(18.8センチメートル)、このことが物理的ロボットによる歩行時の後期のバランスをより困難にする。
表1 目標および最終の動作学的構成(目標セグメント寸法はアニメーション・キャラクターからのもの、またROM要件はシミュレーション分析からのものである)
キャラクター・スケルトンおよび参照動作がアニメーション・データから抽出されると、方法は、ロボットの目標特性およびその動作軌道を設定することに進むことができる。アニメーション・キャラクターのスケルトン・データは慣性特性を含まず、また物理的ロボット(またはロボット・ハードウェア)をアニメーション・キャラクターのアニメーション・データで定義された通りに厳密に構築することは一般に実際的ではない。たとえば、アニメーション・キャラクター(たとえば、図1Aのキャラクター120)のスケルトンの足首〜足部分は9DOFを有することができるが、この9DOFを典型的なロボットの足(またはほとんどの物理的キャラクターの足)の体積に実装するのは困難である。これらの要因および設計課題を考慮して、この方法は、ロボット・ハードウェアを設計するためのいくつかの基準、すなわち、(1)実現可能なDOFの数を設定する、(2)ロボットの寸法およびその構成要素をアニメーション・キャラクターのものと実際ほどに近く保つ、(3)可動域(ROM)が参照動作(たとえば歩行)を実現するのに適しているこ
とを確実なものにする、ならびに(4)参照動作(たとえば歩行)のためのトルク能力を確保する、などの基準を使用して実装される。
例示的な実施態様では、開発方法/プロセスの目標は、元のアニメーション(またはアニメーション・データ)のアニメーション・キャラクターで見出される歩行動作を模倣できるロボットを生成することであった。これを念頭において、目標歩行動作の動力学がシミュレーションで調査され、このシミュレーション/実験の詳細が以下でより詳細に説明される。このシミュレーション分析によって、しかしながら、3DOFの股関節、1DOFの膝関節および2DOFの足首関節によって連結された大腿部、脛および足を含む典型的な小型の人型ロボットの脚構成により、歩行動作(特定の動き方で歩行するアニメーション・キャラクター120の参照動作を用いた試運転において定義される)を正確に模倣できることが検証された。さらに、このシミュレーション結果により、可動域の見積もり(表1参照)と、歩行動作のための各関節のトルク要件とが得られた。
アニメーション・データから抽出された情報に基づいて目標特性が選択/設定されると、ロボットのメカトロニクス構成要素の選択を進めることができる。たとえば、この選択には、関節アクチュエータのセットを、見積もられたトルク要件を満たすことができる入手可能な関節アクチュエータのセット/データベースから探索することによって選択することが含まれ得る。この探索は、場合により、サーボ・モータまたは、関節軌道を追跡することを含む制御および試験を容易にするのにサーボ・モータが有効である、他の所望のタイプのアクチュエータなどに限定される。特定の、しかし限定的ではない一例では、ダイナミクセル(Dynamixel)により販売/製造されているサーボが使用された。その理由は、これが広範に利用可能であり、関節位置コントローラ(これもロボットを構築するのに選ばれることがある)を有する人型ロボットに一般に使用されているからである。より詳細には、DynamixelのMX−106Tが腰および膝の関節のアクチュエータとして使用され、DynamixelのMX−64Tがロボットの足首関節のアクチュエータとして使用された。MX−106TおよびMX−64Tで作用させることができる最大トルク(τ106,maxNmおよびτ64,maxNm)は、角速度(ω rad/s)の場合、
式(1)
であり、これらは歩行動作最適化において制約条件として(以下で論じるように)設定される。
さらに、本発明者らが使用した特定の試験または試作品の実施態様では、OpenCM9.04マイクロコントローラ・ボードがOpenCM458EXP拡張ボードと共に使用された。ロボット用のこのコントローラを用いて、関節位置命令がサーボに10秒ごとにTTLで送られた。試運転では電源が外部に用意されたが、本明細書に記載の技法で開発および構築される多くのロボットのコントローラおよび電源は、ボード上に用意されることが予想される。
目標特性がアニメーション・データから選択または生成されると、ロボット機構が設計または生成される。図1Aのアニメーション・キャラクター120の例、およびその歩行動作を模倣したいという要望を継続して、ロボット150の運動学的構造(図1Bによるが、図3A〜図3Cにさらに詳細に示されている)は、本明細書で教示の方法の1つの試験で設計された。ロボット150の運動学的構造は、アニメーション・キャラクター12
0のスケルトンに見出されるのと同様の構成要素を有するように設計され、またアニメーション・キャラクターの寸法に近くなるようにも設計された。さらに、運動学的構造の要素はまた、アニメーション・キャラクター120の参照動作によって定義された動き方による歩行のROMを確保するようにも設計された。
図3A〜図3Cは、ロボット150の運動学的構造の様々な要素(メカトロニクス構成要素)を示す。この例では、ロボットは以下のセグメント/リンク、すなわち骨盤310と、右および左の骨盤リンク314、315と、右および左の大腿部リンク320、321と、右および左の脛/向こう脛リンク330、331と、右および左の足リンク340、341とを含む。さらに、ロボット150は、以下のアクチュエータ(たとえば、サーボ・モータ)のセット、すなわち腰アクチュエータ312、313、316、および317と、膝アクチュエータ322、323と、足首アクチュエータ332、333とを含む。中間から遠位のアクチュエータの順序は、腰ヨー、腰ロール、腰ピッチ、膝ピッチ、足首ピッチ、そして膝回転となる。ロボット150の大腿部、脛、および足セグメントは、ROMを確保するためにアニメーション・キャラクターよりもわずかに長く、また骨盤幅は、表1と同様の比率を保つためにより広い。したがって、この方法には、まずセグメント/リンクをスケルトンおよびそのサイズに合致するように選択し、次に、必要であれば、ROMが物理的ロボットで確実に得られるようにサイズおよび/または構成を修正することが含まれる。
アニメーション・キャラクター120のように、腰関節の3つの回転軸および足首の2つの回転軸は、各関節で相互位置合わせされる。加えて、設計の方法には、腰、膝、および足首ピッチ関節を初期構成(たとえば、まっすぐに立つ構成)における矢状面において位置合わせしようとすることが含まれた。しかし、足首サーボ(たとえば、他のメカトロニクス構成要素)のサイズにより、足首ピッチ関節は、ロボット150の最終設計では図3Bに示されるように前方に配置された。さらに、この方法の設計ステップには、目標ROMを実現するために、膝サーボを初期構成において傾斜させることが含まれた(すなわち、目標ROMは、アニメーション・キャラクターのスケルトン構成を修正または再構成するために使用された(たとえば、このROMは、アニメーション・キャラクターの参照動作をより適切に模倣するために、優先適用され、またはより重視されることもできる))。
ロボットの設計が完了すると、ロボットの部品が製作され、または別法で取得および製作されて、ロボットが提供される。ロボット150の例について続けると、セグメント/リンクはすべて3D印刷され、次に、アルミニウム・フレームおよびアクチュエータを使用して組み立てられた(図3A〜図3Cに示す)。1つの試作品ロボット150に関しては、3Dプリンタはストラタシス(Stratasys)から入手できるObject260Connexであり、この3Dプリンタは、セグメントを印刷するのにRGD525で使用された。フレームは、ロボティス(Robotis)から入手可能なアルミニウム・ロボット・フレームであった。機構および電子回路は、以下の表2に要約されている。
これらのロボット開発および制御方法の態様が理解された後、(たとえば、図1Aに示されるアニメーション・キャラクター120を模倣するために)アニメーション・データを使用してアニメーション・キャラクターの歩行動作を模倣する、安定した歩行動作を提供するこの方法の使用についてさらに説明することが有用であろう。まずデータが、キャラクター120のアニメーション・データから抽出される。ほとんどのアニメーションと同様に、従来のコンピュータ・アニメーション・ソフトウェアからアニメーション・ファイルとして与えられる元の歩行動作は、アーティストまたはアニメ制作者がアニメーション・ソフトウェア(たとえば、Mayaなど)と対話/アニメーション・ソフトウェアを使用するという手作業により作成される。
キャラクター120の実用例では、アニメーション・データにより、類似しているが同一ではない2つの非対称の歩容の形で参照動作が提供された。これらの歩容から、この方法には、4つの異なる単一立脚動作を生成(または設計)することが含まれた。アニメーション歩行動作では、一歩に1.1秒から1.2秒を要した。さらに、両脚支持相構成は完全な一歩の約15パーセントであり、立脚期は踵接地姿勢から始まり、つま先が離れた姿勢で終わった。さらに、アニメーション・データにより、立脚中に足が約30度回転することが確認された(アニメーション・キャラクターの参照動作のさらなる詳細については図5Aに関し以下参照)。
ロボット開発方法の例示的な実施態様/試験では、本発明者らは、ロボットがアニメーション・キャラクター120およびその歩行動作を模倣するための1つの歩行動作(すなわち、方法に入力される参照動作)を生成することを目指した。この1つの歩行動作は、アニメーションと似るように設計されたが、必ずしも参照動作を再現しない。ロボット150はアニメーション・キャラクターと異なる運動学的構成を有するので、(関節軌道ではなく)セグメント/リンクの位置軌道がユークリッド空間
により抽出された。詳細には、これらの位置は、骨盤、腰、膝、足首、およびつま先の先端の中心から抽出され、その動きは、1秒当たり24フレームの時間周波数により提供された。
目標特性を設定する次のステップでは、目標関節軌道が、ロボットの単一立脚動作
に対して、ユークリッド空間
内の元の動作に基づいて生成された。両脚支持相の目標動作は、それが比較的短く、また両足がその位置に留まり、動作に自由度があまりないので、生成されなかった。単一立脚動作では、アニメーション動作は、ロボットに適するように、(1)立脚足を路面上で平らに保つこと、および(2)ユークリッド空間内の動作をロボットの配置空間の中にマッピングすること、によって修正された。加えて、ロボット150の元の動作および可動域(ROM)に基づいて、立脚足は30度外を向くように設定され、一歩の長さおよび一歩の幅は、それぞれ15センチメートルおよび13センチメートルに設定された。
元の単一立脚動作
はまず、その位置
で立脚足を保持するようにユークリッド空間内で修正される。全時間のフレーム内の立脚は、立脚足をその位置に置くために直線的に平行移動される。遊脚は、立脚腰と遊脚腰の間の相対位置を維持しながら遊脚足の元の垂直の動きを保存するために、水平面内だけで平行移動され、垂直(または重力)軸に沿って適切に変倍される。遊脚の軌道はさらに、遊脚足が、以前および次の立脚足構成にそれぞれつながる位置において動き始め、動き終わるように修正される。
ユークリッド空間内のセグメントの目標軌道であるロボットの目標動作軌道
を生成するために、ロボットの配置空間の中に変換された。この方法は典型的な逆運動学(IK)とは、セグメントごとに目標位置があると共に(1つのエンド・エフェクタにだけ目標位置を持つのとは反対に)これらの目標がロボットには必ずしも達成可能とは限らないという点で異なる。このことは、試験実装において、セグメントをその目標位置につなぐ仮想ばねダンパーを用いて姿勢ごとに物理学シミュレーションを実行することによって解決された。すべての姿勢のシミュレーション結果から関節角度を読み取ることによって、目標関節軌道
が得られる(図5Bに示す)。
4つの異なるアニメーション歩行動作を同じ方法で修正することによって、4つの目標関節軌道が単一立脚相について取得された。4つの歩行動作の全部が、図4のグラフ400に点線で示されている。詳細には、グラフ400は最適化歩行軌道を示す。完全な一歩
の最適化軌道(実線で示す)が、アニメーション・データから修正された目標関節軌道(点線で示す)と比較されている。
図5A〜図5Dは、グラフィック・スクリーン・ショットのセットおよび動作しているロボットの画像により、アニメーション動作(参照動作)、ロボットの目標動作、ロボットの最適化動作、および実際に得られたロボット動作を示す。ロボット開発方法の1つの目標は、モデルにされたアニメーション・キャラクターのアニメーションでの歩行動作と似ている(すなわち模倣する)歩き方をロボットにさせることである。アニメーション・キャラクターの歩行動作は、アニメーションからの(アニメーション・データからの)一連のスクリーン・ショット510に示されている。この方法には、アニメーション・キャラクターの参照動作をロボットの構成空間にマッピングすることによって、また立脚足を路面上で平らに保つことによって、スクリーン・ショット520で示されるアニメーション歩行をまず修正することが含まれる。
修正された動作は物理的に不適正であるので(たとえば、図5Bに示されたシーケンスではCoPが足からはみ出ている)、図5Cに示された一連のショット530に示されるようにCoPをサポート・ポリゴンの内側に保持することによって、歩行は、修正され物理的に実現される。最後に、図5Dの一連の画像540に示されるように、図5Cからの最適化歩行動作が、ロボット150(すなわち設計され、製造され、組み立てられたハードウェア)を制御するために使用される(再生される)。最適化動作速度ではスリップを招くハードウェアの変形により、動作は、この試験ではゆっくりとした時間で再生された(たとえば、最適化速度よりも2倍遅く)。
図5Bは、立脚足が路面に結合されていると仮定することによる物理的シミュレーションで追跡された目標動作
の1つを示す。このシミュレーションは、CoP(下方の一連の画像の黒線)がサポート・ポリゴン(グレー領域)から出ることを示し、これは、この動作をロボットが追跡すればロボットが転倒することを意味する。本明細書に記載の残りのステップ/プロセスは、歩行動作を生成することであり、これは、4つの
のセットと類似であり、かつロボットが転倒することなく物理的に実現可能である、すなわちZMP基準として知られているように足の中にCoPがとどまる。この課題は、軌道最適化、または本発明の方法を実践するための別の技法を使用して解決されることができる。
軌道最適化は、所与の基準および制約条件で最適軌道を設計するための十分に確立した方法である。単一立脚は、145(=12×12+1)個のパラメータを用いて、
としてパラメータ化され、ここで12個のパラメータは各関節軌道の等しく時空化されたノードを表し(×12)、追加パラメータは単一立脚動作の持続時間を定義する(+1)
。パラメータ
のセットを評価するために、関節軌道がこれらのパラメータから再構築され、動作を調査するために順運動学(FK)が解かれ、動力学を調べるために逆動力学(ID)が解かれる。より詳細には、関節軌道はスプライン補間により再構築されることができ、FKおよびIDを解くために、MATLAB Simulink/SimMechanics(R20113a)(または他のソフトウェア・ツール)を用いて、立脚足が路面に結合されている関節角度追跡モードで物理的シミュレーションを実行することができる。
FKおよびIDの結果から、単一立脚動作は、この動作が目標動作にどれだけ類似しているか、
またCoPが立脚足の中心にどれだけ近くにとどまるか、
に基づいて評価される。動作の差異およびCoPの偏差はそれぞれ、
の通りに、関節角度の差異の2乗平均平方根として定義される。前者はすべての目標フレームkで計算され、後者はすべてのシミュレーション時間ステップtで計算されることに留意されたい。
パラメータ化単一立脚動作
が評価されるので、最適動作を生成する問題は、非線形条件付き最適化問題として
の通りに公式化される。
目標の1つは、動作の安定性を向上させつつ、すなわちCoPを立脚足の中心近くに保ちながら、目標動作
からの偏差を最小限にすることである。重み付け係数cSSおよびcCOPは、目標のバランスを取るようにヒューリスティックに見出される。制約条件1、すなわちC1により、対称的歩行に必要である、遊脚足が目標位置で動き始め動き終わることが保証される。他のすべての制約条件(C2〜C6)により、物理的に実現可能な歩行動作が確実になる。すなわち、C2により、モデルが転倒しないことが確実になり、C3により、遊脚足
が路面よりも高くなるように保たれ、C4により、サーボが(式(1))のようなトルクを発生させる能力があるかどうかが検査され、C5により、立脚足が路面から浮かないことが確実になり、C6は、立脚足でスリップしないようにすることを目的とする(GRFx,y,zは各軸に沿った路面反力であり、本発明者らは、試験した試作品では摩擦係数μ=0.6を使用した)。理論的には、C2が、COPSSのコスト項なしでロボットが転倒しないようにするのに十分である。しかし、CoPを足の中心近くに保持することによって、ロボットの動作におけるモデル化誤差および小さな外乱(実環境には常に存在する)が補償される。
試験では、共分散行列適応進化戦略(CMA−ES)が、軌道パラメータ
を最適化するために使用された。制約条件を強制するために、大きい定数、たとえばc=10が、制約条件に反した場合にコストに加えられた。目標軌道の1つが初期パラメータとして使用され、CMA−ESが6000世代に対し64の集団サイズで実行された。実行速度について実装を最適化しなければ、従来のデスクトップ型コンピュータで動作させるのに約2日を要する。
ロボット歩行軌道(たとえば、両立脚相)を生成することに関し、単一立脚動作
が完全歩行動作を生成するように最適化されると、単一立脚相の最後の姿勢と次の単一立脚相の第1の姿勢とをつなぐ両立脚相動作
が生成される。ユークリッド空間内のセグメント位置は、目標開始姿勢と目標終了姿勢の間に補間されることができ、次に、関節軌道を得るためにIKが解かれる。試験の場合では、補間された両立脚動作は、CoPが以前の立脚足から次の立脚足へと進むサポート・ポリゴン内にとどまるので、安定している。そうではなく、動作が安定でなければ、単一立脚相と類似の軌道を最適化することによって、安定した動作が生成される。両脚支持動作を最適化するために、コストは
になる。目標両立脚動作が利用可能でないために、第1の制約条件C1がすべての時間ステップに適用され、COPlimitが、ロボットの両脚を包むサポート・ポリゴンになる。
次に、完全歩行動作が、単一立脚動作と両立脚動作をつなぐことによって得られる。1つの脚の単一立脚、両立脚、遊脚および両立脚からの完全な一歩の関節軌道が、目標単一立脚および遊脚動作と共に図4に示されている。足首回転軌道は、目標軌道から最も外れている。これは、足首がCoPを小さい動きで最も効果的に調節できるからである。結果として得られる歩行動作ならびにそのCoPおよびCoM軌道が図5Cに示されている。
アニメーション・キャラクターによる物理的設計を試験するために、またアニメーション・キャラクターの歩行が正確に模倣されているかどうかを試験するためにロボット150を動作させた。最適化歩行軌道は、ハードウェア上で、サーボ・モータによる開ループ関節軌道を追跡することによって試験された。最適化軌道が再生されるとき(ロボットのアクチュエータを制御するために用いられる)、ロボットは、動きを完全には生成しなかったので、前方によろめくことが分かった。詳細には、遊脚相の始めと終わりに立脚はいっそう屈曲し、遊脚足を引きずる。これにより遊脚足が路面を押し、立脚足が滑ることになり、結果として不安定な歩行になる。この試験は、ロボットが負荷を受けて異なる動作を引き起こすことを、その歩行を空歩行(歩行動作を空中で行うこと)と比較することによって検証するのに役立ち、また動作エラーの2つのソースがリンクの変形およびサーボ・モータのエラーであると考えられたことを検証するのに役立った。
試験運転中、ロボットは、最適化動作がゆっくりと再生されたときにはあまり滑らないことが観察され、歩行結果は、最適化歩行により近く見えた。理論的には、CoP軌道は、ゆっくりとしたペースの歩行ではCoM軌道に近くなる。最適化CoM軌道(図5Cに示す)は、ほとんど立脚足の上にとどまり、不安定なときは短い。さらにCoMは、それが立脚足から外れたとき、現在または次の立脚足の方に進む。したがって、不安定性は次の安定相で補償される可能性がある。図5Dは、最適化されたものより2倍遅く歩行するロボット150を示す。
本明細書の結果に基づいて、このシステム/方法は、最適軌道をより適切に追跡するように改良できると考えられる。第1に、追跡しやすい最適軌道を生成できる可能性がある。たとえば、軌道を最適化するとき、リンクの変形に関してコスト項を含むことができる。加えて、CoPの偏差に対してロバスト性を最適化するとき、ロバスト性は遊脚足高さに対して考慮される。第2に、より適切なセグメントにより変形を低減させることができる。さらに、より剛性のセグメントを提供するように材料および構造設計を調査する。また、セグメントの強度を改善することは、ロボットが試験中に転倒したときにセグメントが場合によっては破損するので、望ましいといえる。第3に、より適切な追跡が、モータのサーボ制御を改善することによって実現され得る。さらに、関節およびセグメントが担うことになる負荷を考慮してオフセットを角度軌道に加えるフィードフォワード・コントローラを、ロボットに付加することもできる。
図6は、図2の方法200を実行するのに使用できるような、本明細書によるロボット開発システム600の機能ブロック図である。図示のように、システム600は、たとえば、アニメーション化キャラクターを作り出し、そのようなキャラクターをアニメーション化するのに使用されるアニメ制作者のコンピュータである、アニメーション・ワークステーション610を含む。ワークステーション610は、入出力デバイス614(たとえば、キーボード、マウス、グラフィカル・ユーザ・インターフェース(GUI)を表示できる画面(タッチ画面であり得る)、音声認識デバイスなど)の動作を管理するプロセッサ612を含む。プロセッサ612はまた、コンピュータ・アニメーション(またはコンピュータ・グラフィックス)ソフトウェア618(たとえば、Mayaなど)が機能するように、メモリ/データ・ストレージ620を管理し、コード/ソフトウェア/実行可能命令を実行する。ワークステーション610およびソフトウェア618を使用中、アニメ制作者(図示せず)は、キャラクター・スケルトン626(図1Aのスケルトン120など)と、このスケルトン626の参照動作628として示されているアニメーションとを含むアニメーション・データ624のセットを生成することができる。
システム600はまた、たとえば図2の方法200に関し示された機能を実現するように特に適合されたコンピュータ・システムである、ロボット開発ワークステーション63
0を含み、ロボット開発ワークステーション630は、図示されるように629によってアニメーション・ワークステーション610と通信結合されている。ロボット開発ワークステーション630は、ロボット670を製作し組み立てるのに、および、通信リンク669を通じてロボット670へ伝達できる動作軌道664などによりロボット670を制御するのに有効なパラメータを生成するために、ロボット設計者によって操作される。ワークステーション630は、I/Oデバイス634の動作を管理する、また開発スイート640を得るためにコード/命令/ソフトウェア・プログラムを実行する、プロセッサ632を含む。さらに、プロセッサ632は、メモリ/データ・ストレージ・デバイス650を管理する。
開発スイート640は、キャラクター・スケルトン626と、スケルトン626の参照動作628とを含む、アニメーション・データ624からデータを抽出するように作動するデータ抽出モジュール642を含む(たとえば、図2の方法200のステップ210を実行するために)。スイート640はまた、ロボット670(設計されるロボット)の目標特性を設定するように機能する目標特性モジュール644を含む(たとえば、方法200のステップ220を実行するために)。特に、モジュール644は、ロボット670のトルク要件652を決定するために、抽出データ(スケルトン626および参照動作628)を処理する。さらにモジュール644は、参照動作628を提供するために、抽出データを処理して運動学的構造654と、この運動学的構造654の可動域(ROM)656とを生成する。さらに、モジュール644は、参照動作628に基づいて目標動作軌道662を生成する。
開発スイート640はまた、入力としてトルク要件652を使用してアクチュエータ658を含むメカトロニクス構成要素を生成/選択するための(たとえば、図2の方法200のステップ240を実行するために)、また、入力として運動学的構造654およびROM656を使用して構造セグメント/リンク660を含むロボット機構を生成/選択するための(たとえば、図2の方法200のステップ250を実行するために)、ロボット・メカトロニクスおよびロボット機構モジュール646を含む。さらに、開発スイート640は動作軌道モジュール648を含み、このモジュールは、目標動作軌道662を処理および修正するように機能して、構造セグメント660を適合させ、ロボット670の動作軌道664を生成するためのROM656を得る(たとえば、図2の方法200のステップ270を実行するために)。
動作軌道664はロボット670に伝達され、676で示されるように、メモリ674に記憶される。ロボット670(二足人型ロボット、または歩行動作である動作軌道を有する他のロボットであってもよい)は、コントローラ(たとえば、トラッキング・コントローラ)672を含み、このコントローラは、動作軌道676を処理して、ロボット670の駆動部680(たとえば、サーボ・モータ、または658で開発スイート640によって定義される他のアクチュエータ)に伝達される制御信号のセット(たとえば、関節トルク)678を生成し、この駆動部は、関節684で作動して、動作軌道676をたどるように(たとえば、歩行動作をたどるように)、またアニメーション・キャラクター626の動作628を模倣するように、セグメント/リンク688(構造セグメント定義660に基づいて得られる)を動かす。
本発明がある程度詳細に説明および図示されたが、本開示は例示的に作成されたこと、ならびに部品の組合せおよび構成の多数の変更が、添付の特許請求の範囲に記載の本発明の趣旨および範囲から逸脱することなく、当業者により行われ得ることを理解されたい。

Claims (20)

  1. アニメーション・キャラクターの動きを模倣するように適合されたロボットであって、
    フローティング・ベース脚式ロボット・アセンブリを提供するように関節において相互連結された複数の構造セグメントと、
    前記フローティング・ベース脚式ロボット・アセンブリの動きを提供するように前記構造セグメントにトルクを加えるための複数のアクチュエータであって、前記関節の1つに近接してそれぞれ提供された複数のアクチュエータと、
    動作軌道に基づいて前記ロボットの動きを提供するように、前記アクチュエータに制御信号を提供するコントローラと
    を備え、
    前記動作軌道は、前記アニメーション・キャラクターのアニメーション・データから抽出され、かつ、前記構造要素および前記アクチュエータによって提供された運動学的構造に基づいて修正された、参照動作に基づく、ロボット。
  2. 前記フローティング・ベース脚式ロボット・アセンブリは二足ロボットとして構成され、前記参照動作は前記アニメーション・キャラクターの歩行動作である、請求項1に記載のロボット。
  3. 前記アクチュエータは、前記参照動作から得られたトルク要件を提供するように選択される、請求項1に記載のロボット。
  4. 前記参照動作は、前記アニメーション・キャラクターの参照動作内で定義されるハードウェアの可動域に従いつつ、前記動作軌道を提供するように修正される、請求項1に記載のロボット。
  5. 前記参照動作は、前記ロボットの前記構造要素の構成空間にマッピングされ、および、安定性を保持するように立脚足を路面上で平らに保つことによって、前記動作軌道を提供するように修正される、請求項1に記載のロボット。
  6. 前記構造セグメントは、前記アニメーション・データのアニメーション・キャラクターに対して定義されたスケルトンの要素に対応する、請求項1に記載のロボット。
  7. 前記構造要素の各々は、前記スケルトンの要素のうちの1つのサイズおよび形状に対応するサイズおよび形状を有する、請求項6に記載のロボット。
  8. 前記構造要素のうちの少なくとも1つの形状またはサイズは、前記スケルトンの要素のうちの対応する要素の形状またはサイズと異なり、それによって前記ロボットは、前記参照動作内で定義されたアニメーション・キャラクターの可動域に対応する可動域を有する、請求項7に記載のロボット。
  9. ロボットの設計および制御基準を生成する方法であって、
    データ・ストレージ・デバイスからキャラクターのアニメーション・データのセットを取り出すステップと、
    コンピュータ・システム上のプロセッサにより、前記キャラクターのキャラクター・スケルトンを定義するデータをアニメーション・データの前記セットから抽出するステップと、
    前記プロセッサにより、前記キャラクター・スケルトンを定義する抽出された前記データに基づいて運動学的構造を定義することを含み、アニメーション・データの前記セットに基づいて前記ロボットの可動域を定義することをさらに含む、前記ロボットの目標特性
    のセットを設定する、目標特性設定ステップと、
    前記運動学的構造および前記ロボットの前記可動域に対応する構造セグメントのセットを含む、前記ロボットの機構を設計する、機構設計ステップと
    を備える、方法。
  10. アニメーション・データの前記セットは、コンピュータ・アニメーション・ソフトウェア・スイートによる前記キャラクターのモデルと、前記キャラクターの前記モデルのアニメーション・ファイルとを備え、前記キャラクターの前記モデルは前記キャラクター・スケルトンを提供し、前記アニメーション・ファイルは前記ロボットの前記可動域を提供する、請求項9に記載の方法。
  11. 前記機構設計ステップは、前記キャラクター・スケルトンの1つの要素に基づいて、前記構造セグメントの各々の形状およびサイズを定義するステップを含む、請求項9に記載の方法。
  12. 前記機構設計ステップがさらに、前記ロボットの前記可動域に従うように、前記構造セグメントのうちの少なくとも1つの形状またはサイズを修正するステップを含む、請求項11に記載の方法。
  13. 前記ロボットの参照動作を定義するアニメーション・データの前記セットからデータを抽出するステップをさらに備え、前記目標特性設定ステップは、前記参照動作を得るためのトルク要件を定義するステップを含み、前記方法はさらに、前記トルク要件に基づいて、前記構造要素を動かすためのアクチュエータを選択するステップを含む、請求項9に記載の方法。
  14. 前記ロボットの参照動作を定義するアニメーション・データの前記セットからデータを抽出するステップと、構造セグメントの前記セットに基づく前記参照動作を修正することに基づいて、前記ロボットの動作軌道を生成するステップとをさらに備え、それによって前記ロボットの前記可動域は、前記動作軌道を使用した前記ロボットの制御の間保持される、請求項9に記載の方法。
  15. 前記参照動作は、構造セグメントの前記セット中の立脚足を路面上に保つことによって、かつ、安定性を提供するようにサポート・ポリゴンの圧力中心(CoP)またはゼロ・モーメント・ポイント(ZMP)において軌道最適化を適用することによって、前記動作軌道を生成するように修正される、請求項14に記載の方法。
  16. 人型ロボットを生成および制御して、アニメーション・キャラクターの動作を模倣する動きを提供する方法であって、
    アニメーション・キャラクターのアニメーション・データを処理して、前記アニメーション・キャラクターのキャラクター・スケルトンおよび参照動作を得るステップと、
    前記キャラクター・スケルトンに基づいて、ロボットの運動学的構造を定義するステップと、
    前記参照動作および前記キャラクター・スケルトンに基づいて、前記ロボットのトルク要件を定義するステップと、
    複数のアクチュエータを前記トルク要件に基づいて定義して前記ロボットの前記運動学的構造を前記参照動作に基づいて動かすステップと
    を備える、方法。
  17. 前記参照動作に基づいて動作軌道を生成するステップと、前記アクチュエータを制御して、前記動作軌道をたどるように前記運動学的構造を動作させるステップとをさらに備え
    る、請求項16に記載の方法。
  18. 前記運動学的構造を定義するステップは、関節において枢動可能に相互連結された構造セグメントのセットを定義するステップを含み、前記構造セグメントのうちの少なくとも1つは、前記可動域を提供するように、前記キャラクター・スケルトンの対応する要素とサイズが異なり、前記ロボットは前記動作軌道に従って動く、請求項17に記載の方法。
  19. 前記参照動作は前記アニメーション・キャラクターの歩行軌道であり、前記動作軌道は、サポート・ポリゴンにおけるZMPを維持しつつ、前記歩行軌道に対応する、請求項17に記載の方法。
  20. 前記動作軌道は前記ロボットの歩行動作であり、前記歩行動作は、前記参照動作を前記運動学的構造にマッピングすることによって生成され、かつ、前記ZMP基準による安定性を提供するように、またはサポート・ポリゴンにおけるCoPを保つように前記ロボットの立脚足を前記路面上で平らに保つよう前記参照動作を修正することによって生成される、請求項17に記載の方法。
JP2016014747A 2015-02-24 2016-01-28 アニメーション・キャラクターに合致する動きを得るためのロボットを開発および制御する方法。 Active JP6227683B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/629,556 2015-02-24
US14/629,556 US9427868B1 (en) 2015-02-24 2015-02-24 Method for developing and controlling a robot to have movements matching an animation character

Publications (2)

Publication Number Publication Date
JP2016154845A true JP2016154845A (ja) 2016-09-01
JP6227683B2 JP6227683B2 (ja) 2017-11-08

Family

ID=56693489

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016014747A Active JP6227683B2 (ja) 2015-02-24 2016-01-28 アニメーション・キャラクターに合致する動きを得るためのロボットを開発および制御する方法。

Country Status (2)

Country Link
US (1) US9427868B1 (ja)
JP (1) JP6227683B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017105502A1 (de) 2016-08-05 2018-02-08 Universal Can Corporation Dosenherstellungsmaschine
CN109676610A (zh) * 2019-01-25 2019-04-26 温州大学 一种断路器装配机器人及其实现工作轨迹优化的方法
JP2021055806A (ja) * 2019-10-01 2021-04-08 キヤノン株式会社 制振構造体、制振構造体の製造方法、ロボット、ロボットハンド

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016025941A1 (en) * 2014-08-15 2016-02-18 University Of Central Florida Research Foundation, Inc. Control interface for robotic humanoid avatar system and related methods
GB2538714A (en) * 2015-05-25 2016-11-30 Robotical Ltd Robot Leg
CN105511465B (zh) * 2015-12-02 2017-08-04 歌尔股份有限公司 一种双足机器人的步态控制方法和装置
US20170193289A1 (en) * 2015-12-31 2017-07-06 Microsoft Technology Licensing, Llc Transform lightweight skeleton and using inverse kinematics to produce articulate skeleton
WO2017212899A1 (ja) * 2016-06-08 2017-12-14 任天堂株式会社 受動歩行装置及び受動歩行モジュール
KR102640420B1 (ko) * 2016-12-22 2024-02-26 삼성전자주식회사 홈 로봇 장치의 동작 운용 방법 및 이를 지원하는 홈 로봇 장치
CN108345211A (zh) * 2017-01-23 2018-07-31 深圳市祈飞科技有限公司 双足仿人机器人及其非线性步态规划方法以及控制方法
CN109086466A (zh) * 2017-06-14 2018-12-25 深圳市祈飞科技有限公司 单腿多轴双足机器人运动学联合仿真方法
US10431000B2 (en) * 2017-07-18 2019-10-01 Sony Corporation Robust mesh tracking and fusion by using part-based key frames and priori model
GB2573790B (en) * 2018-05-17 2020-10-28 Sony Interactive Entertainment Inc Robot development system
WO2022141268A1 (zh) * 2020-12-30 2022-07-07 深圳市优必选科技股份有限公司 一种仿人机器人控制方法、计算机设备及存储介质
US11787045B2 (en) * 2021-01-19 2023-10-17 Disney Enterprises, Inc. Robot with an inverse kinematics (IK)-based controller for retargeting input motions
CN115447692A (zh) * 2022-10-10 2022-12-09 日照中兴汽车有限公司 一种基于虚拟样机技术的多足运动仿真机器人及仿真方法
CN115861381B (zh) * 2023-02-28 2023-05-09 中国民用航空飞行学院 球体协同运动中鱼跃救球动作标准性的检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003266347A (ja) * 2002-03-18 2003-09-24 Sony Corp 脚式移動ロボットのための動作編集装置及び動作編集方法
JP2005523827A (ja) * 2002-04-30 2005-08-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 一組の可動部分を有するロボット用のアニメートシステム
WO2009079514A1 (en) * 2007-12-17 2009-06-25 Pixar Methods and apparatus for designing animatronics units from articulated computer generated characters
JP2010221395A (ja) * 2009-03-24 2010-10-07 Disney Enterprises Inc モーションキャプチャデータを模倣するロボットの追跡及びバランス維持システム及び方法
JP2011115933A (ja) * 2009-12-02 2011-06-16 Korea Electronics Telecommun 動力学基盤動作生成装置及び方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761927B2 (en) * 2010-12-17 2014-06-24 Disney Enterprises, Inc. Externally actuated figure
US8786680B2 (en) * 2011-06-21 2014-07-22 Disney Enterprises, Inc. Motion capture from body mounted cameras
US8821781B2 (en) * 2011-06-23 2014-09-02 Disney Enterprises, Inc. Fabricating objects with integral and contoured rear projection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003266347A (ja) * 2002-03-18 2003-09-24 Sony Corp 脚式移動ロボットのための動作編集装置及び動作編集方法
JP2005523827A (ja) * 2002-04-30 2005-08-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 一組の可動部分を有するロボット用のアニメートシステム
WO2009079514A1 (en) * 2007-12-17 2009-06-25 Pixar Methods and apparatus for designing animatronics units from articulated computer generated characters
JP2010221395A (ja) * 2009-03-24 2010-10-07 Disney Enterprises Inc モーションキャプチャデータを模倣するロボットの追跡及びバランス維持システム及び方法
JP2011115933A (ja) * 2009-12-02 2011-06-16 Korea Electronics Telecommun 動力学基盤動作生成装置及び方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017105502A1 (de) 2016-08-05 2018-02-08 Universal Can Corporation Dosenherstellungsmaschine
CN109676610A (zh) * 2019-01-25 2019-04-26 温州大学 一种断路器装配机器人及其实现工作轨迹优化的方法
JP2021055806A (ja) * 2019-10-01 2021-04-08 キヤノン株式会社 制振構造体、制振構造体の製造方法、ロボット、ロボットハンド
JP7346213B2 (ja) 2019-10-01 2023-09-19 キヤノン株式会社 制振構造体、制振構造体の製造方法、ロボット、ハンド

Also Published As

Publication number Publication date
JP6227683B2 (ja) 2017-11-08
US9427868B1 (en) 2016-08-30
US20160243699A1 (en) 2016-08-25

Similar Documents

Publication Publication Date Title
JP6227683B2 (ja) アニメーション・キャラクターに合致する動きを得るためのロボットを開発および制御する方法。
Lee et al. Data-driven biped control
Nakaoka et al. Task model of lower body motion for a biped humanoid robot to imitate human dances
Yin et al. Simbicon: Simple biped locomotion control
Yamane et al. Animating non-humanoid characters with human motion data
Koditschek et al. Mechanical aspects of legged locomotion control
JP4592276B2 (ja) ロボット装置のためのモーション編集装置及びモーション編集方法、並びにコンピュータ・プログラム
US9449416B2 (en) Animation processing of linked object parts
Kenwright Responsive biped character stepping: When push comes to shove
Kenwright Synthesizing Balancing Character Motions.
JP2011115933A (ja) 動力学基盤動作生成装置及び方法
Kenwright Real-Time Reactive Biped Characters: Staying Upright and Balanced
Kenwright Generating responsive life-like biped characters
Kenwright Controlled biped balanced locomotion and climbing
Kenwright Manipulating motion signals to emphasis stylistic (lifelike) qualities
Kenwright Real-time physics-based fight characters
Kenwright Everything must change with character-based animation systems to meet tomorrows needs
Kenwright Watch your step: Real-time adaptive character stepping
Song et al. Development of a bipedal robot that walks like an animation character
Klavins et al. The role of reflexes versus central pattern generators in dynamical legged locomotion
Zielinska et al. Biologically inspired motion synthesis method of two-legged robot with compliant feet
Okamoto et al. Temporal scaling of leg motion for music feedback system of a dancing humanoid robot
Adiprawita et al. Center of Mass based Walking Pattern Generator with Gravity Compensation for Walking Control on Bioloid Humanoid Robot
KR20220140178A (ko) 강화학습모델을 이용한 보행 동작 정보 출력 방법 및 서비스 장치
Melo et al. Minimalist design of a 3-axis passive compliant foot for sprawling posture robots

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171011

R150 Certificate of patent or registration of utility model

Ref document number: 6227683

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250