JP2007528797A - オブジェクトを動画化するのを可能にする電子装置及び方法 - Google Patents
オブジェクトを動画化するのを可能にする電子装置及び方法 Download PDFInfo
- Publication number
- JP2007528797A JP2007528797A JP2007502488A JP2007502488A JP2007528797A JP 2007528797 A JP2007528797 A JP 2007528797A JP 2007502488 A JP2007502488 A JP 2007502488A JP 2007502488 A JP2007502488 A JP 2007502488A JP 2007528797 A JP2007528797 A JP 2007528797A
- Authority
- JP
- Japan
- Prior art keywords
- animation
- robot
- electronic device
- during
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H11/00—Self-movable toy figures
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H13/00—Toy figures with self-moving parts, with or without movement of the toy as a whole
- A63H13/005—Toy figures with self-moving parts, with or without movement of the toy as a whole with self-moving head or facial features
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H3/00—Dolls
- A63H3/36—Details; Accessories
- A63H3/38—Dolls' eyes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H2200/00—Computerized interactive toys, e.g. dolls
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Toys (AREA)
- Photoreceptors In Electrophotography (AREA)
Abstract
本発明の電子装置は、第一のアニメーションにおけるオブジェクトの少なくとも1つの位置、オブジェクトの第二のアニメーションの第一の部分に基づいて、オブジェクトの新たなアニメーションの第一の部分を決定可能な処理ユニットを有する。さらに、処理ユニットは、第二のアニメーションの第二の部分に基づいて新たなアニメーションの第二の部分を決定可能である。オブジェクトを動画化するのを可能にする方法は、オブジェクトの第一のアニメーションにおけるオブジェクトの少なくとも1つの位置、オブジェクトの第二のアニメーションの第一の部分に基づいて、第一の期間の間にオブジェクトを動画化するのを可能にする第一のステップを含む。本方法は、オブジェクトの第二のアニメーションの第二の部分に基づいて第二の期間の間にオブジェクトを動画化するのを可能にする第二のステップを含む。
Description
本発明は、電子装置に関し、特に、インタラクティブロボット又はインタラクティブバーチャルキャラクタの少なくとも1部の新たなアニメーションを決定可能な電子装置に関する。
さらに、本発明は、オブジェクトを動画化可能な方法に関し、特に、インタラクティブロボット又はインタラクティブバーチャルキャラクタの少なくとも1部を動画化可能な方法に関する。
また、本発明は、その実行に応じて、プログラマブル装置が、かかる電子装置として実行するのを可能にするコンピュータプログラムプロダクトに関する。
かかる電子装置の実施の形態は、A.J.N. van Breemen, K. Crucq, B.J.A.Krose, M.Nuttin, J.M.Porta及びE.Demeesterによる“A User-Interface Robot for Ambient Inteligient Environments” proceedings of ASER 2003, Bardolino, Italy, pp.176-182から知られている。この文献は、動的な口、目及び動的な眉からなる「現実的な」顔をもつインタラクティブな家庭用ロボットを記載している。これらオブジェクトのそれぞれは、幾つかの位置のうちの1つを有することができる。一方の位置から別の位置へのオブジェクトの動画化は、瞬間的である。これにより、ロボットはユーザ入力に迅速に反応することが可能であるが、ロボットの挙動は信用できず、したがって、ロボットとユーザとの間の通信は、効果的ではない。
本発明の第一の目的は、対話的な環境でオブジェクトの比較的流暢な動画化を可能にする、開始節で記載された類の電子装置を提供することにある。
本発明の第二の目的は、対話的な環境でオブジェクトの比較的流暢な動画化を可能にする、開始節で記載された種類のオブジェクトを動画化するための方法を提供することにある。
第一の目的は、本発明によれば、電子装置が、第一のアニメーションにおけるオブジェクトの少なくとも1つの位置、及びオブジェクトの第二のアニメーションの第一の部分に基づいて、オブジェクトの新たなアニメーションの第一の部分を決定可能であって、第二のアニメーションの第二の部分に基づいて新たなアニメーションの第二の部分を決定可能な処理ユニットを有する点で実現される。著者がそれを定義したように正確に第二のアニメーションの第一の部分の動画化を可能にする代わりに、電子装置は、第二の動画の瞬間的な再生を有利にも可能にする。第二のアニメーションをトリガするユーザ入力が受信されるとすぐ、新たなアニメーションの第一の部分は、突然の遷移を生じることなしに再生することができる。電子装置は、たとえば、バーチャルキャラクタがコンシューマエレクトロニクス装置を制御するためのユーザインタフェースとして作用するか、又はたとえばロボットであるコンシューマエレクトロニクス装置である場合がある。
発明者は、オーディオアニマトロニクス技術を公知の家庭用ロボットに適用することで、信頼することができるインタラクティブユーザインタフェースロボットを作ることができることを認識している。オーディオアニマトロニクス−生きているようなメカニカルキャラクタをつくる技術は、アミューズメントパークから知られている。メカニカルキャラクタは、滑らかで生きているような動きをつくるため、予め定義された位置の系列に従って動画化される。これらオーディオアニマトロニクス技術は、コンピュータゲームで使用されるか、若しくは他のコンピュータ又はコンシューマエレクトロニクスに関連した用途で使用される、たとえば動物又は人といった、たとえばバーチャルキャラクタのアニメーションといった他のアニメーションにも適用することができる。
本発明者は、オーディオアニマトロニクスを公知のオブジェクトを動画化する方法に適用するためのシンプルなストラテジーが問題であることを更に認識している。第一のアニメーションが実行された間、新たなアニメーションがたとえばユーザ入力といった刺激に応答して実行される必要がある場合、中間の位置から開始する第二のアニメーションを実行する前に中間の位置で第一のアニメーションの終わりまで待っている第一のシンプルなストラテジーは、遅延を招く場合があり、したがってインタラクティブ性の少ない挙動を招く場合がある。第一のアニメーションが第二のアニメーションの開始と同じ位置で終わらない場合、US2003/0191560に記載されるように、2つのアニメーション間の滑らかな遷移を作るために更なる遅延を作る必要がある場合がある。他方で、第一の位置における第一のアニメーションを中止し、(バーチャル又はメカニカル)オブジェクトを第二のアニメーションの開始位置に瞬間的に移動し、第二のアニメーションを実行する第二のシンプルなストラテジーは、公知の家庭用ロボットにより実行される信頼できないアニメーションにつながる。本発明では、トランジションフィルタは、アニメーションの間の滑らかな遷移をつくるための遷移期間の間、第一のアニメーションの一部(すなわち少なくとも1つの位置)、及び第二のアニメーションの一部を組み合わせる。
第二の目的は、本発明によれば、本方法が、オブジェクトの第一のアニメーションにおけるオブジェクトの少なくとも1つの位置、オブジェクトの第二のアニメーションの第一の部分に基づいて第一の期間の間にオブジェクトを動画化するのを可能にし、オブジェクトの第二のアニメーションの第二の部分に基づく第二の期間の間にオブジェクトを動画化するのを可能にするステップを含む点で実現される。第一の期間は、第一のアニメーションと第二のアニメーションとの間で遷移期間である。第二の期間では、表示されるアニメーションは、一般に、第二のアニメーションの第二の部分に等しい。
オブジェクトiの新たなアニメーションSiは、図7の式(1)及び(2)を使用することで計算される場合がある。式(1)及び(2)では、tは現在の時間であり、ttは第一の期間(遷移期間)の長さであり、t1は第一の期間の開始時間であり、t1+ttは、第一の時間の終了時間と第二の時間の開始時間である。(1つのオブジェクトの)第一のアニメーションは、関数Si Aにより表され、(同じオブジェクトの)第二のアニメーションは、関数Si Bにより表される。第二のアニメーションは時間t1で開始し、時間t1+ttの後に終了する。第一のアニメーションは、時間t1の前に開始する。第一のアニメーションは、時間t1+ttまで必ずしも継続せず、第一のアニメーションは、時間t1で中断するか、又は時間t1と時間t1+ttとの間の時間t2で終了する場合がある。第一のケースでは、Si A(t)は、t1とt1+ttとの間でSi A(t1)に等しい。後者のケースでは、Si A(t)は、t2とt1+ttとの間でSi A(t2)に等しい。
式(2)では、スカラーαは、時間に線形に依存する。指数関数的に時間に依存させることで、補間をさらに滑らかにする。式(1)とは代替的に、Si(t)は再帰的な関数として書かれる場合がある。t1とt1+tとの間で、Si(t+Δ)は、たとえばSi(t)とSi B(t+Δ)との線形結合である場合がある。
オブジェクトを動画化するのを可能にする方法は、たとえば、製造業者が電子装置それ自身により電子装置を製造し、ソフトウェア開発業者がバーチャルキャラクタを含むソフトウェアを開発し、ソフトウェアそれ自身及び/又はサービスプロバイダがソフトウェアを実行することで、実行される場合がある。アニメーションは、異なる装置で計算及び表示される場合がある。たとえば、インターネット上のサーバは、アニメーションを計算する場合があり、インターネット上のクライアントは、アニメーションを表示する場合がある。動画化されたオブジェクトは、全体としてロボット又はバーチャルキャラクタであるか、若しくは、ロボット又はバーチャルキャラクタの一部(たとえばマウス)である場合がある。ロボット又はバーチャルキャラクタのアニメーションは、ロボット又はバーチャルキャラクタの一部の複数のアニメーションを含む場合があり、それぞれの部分は、独立の位置を有する。このケースでは、第一の期間すなわち遷移期間について同一の開始及び終了時間を使用する間、それぞれの部分について本方法を独立に実行するのが有利である。
本発明の方法及び電子装置のこれらの態様及び他の態様は、添付図面を参照して更に明らかにされるであろう。図面での対応するエレメントは、同じ参照符号により識別される。
図1には、電子装置の実施の形態である、iCatと呼ばれるエモーショナルユーザインタフェースロボットが示されている。iCatは、ユーザを認識し、ユーザのプロファイルを構築し、ユーザ要求を処理する。プロファイルは、異なる種類のホームオートメーション機能をパーソナライズするために使用される。たとえば、特定のユーザがiCatに「関連する雰囲気(環境)」を形成するように要求したとき、パーソナライズされた光及びサウンド条件が使用される。リッチユーザプロファイルを学ぶため、iCatとユーザとの間の良好な社会的な関係が必要とされる。これは、iCatとユーザの両者がお互いを理解し、iCatとユーザに関してお互いのことを教えることにおいて進んで時間を費やすため、信頼できるユーザインタフェースロボットは、この関係を更に享受し、効果的にする。
図1は、iCatのセンサ及びアクチュエータを示している。ロボットには、目、眉、目、アイリッド、口及び頭の位置のような顔の異なる部分を制御する13の標準的なR/Cサーボs1...s13が設けられている。図2は、サーボコンフィギュレーションにより実現することができる顔の表現の幾つかを示している。鼻において、カメラcam1は、顔認識及びヘッドトラキングについてインストールされる。iCatの足は、それが聞いた音を記録し、音源の方向を決定するため、2つのマイクロフォンmic1及びmic2を含む。また、スピーカsp1は、音(WAV及びMIDIファイル)を再生し、音声を発生するためにインストールされる。さらに、iCatは、家庭内の装置(たとえば照明、VCR、TV、ラジオ)を制御するため、インターネットから情報を得るため、ホームネットワークに接続される。最終的に、幾つかのタッチセンサtouch1,...touch2は、ユーザがロボットにタッチしたかを感知するためにインストールされる。
ユーザインタフェースロボットは、(たとえばユーザのプロファイル及び意図に関する)リードニングを実行し、(たとえばユーザがロボットにタッチしたとき)ユーザ入力に対して高速に反応するのを可能にするべきである。討議の機能及び反動的な機能を提供するハイブリッドアーキテクチャは、これらの要求に最良にフィットする。図3は、一般のハイブリッドアーキテクチャを示している。このアーキテクチャは、センサ情報を受け、アクチュエータにアクセスすることができる2つのレイヤからなる。上位のレイヤは、プランニング(planning)、リーゾニング(reasoning)及びタスクコントロール(task control)のような討議のタスクを実行する。下位レイヤは、挙動の実行タスクを実行する。このレイヤは、上位の討議のレイヤからコマンド(たとえばセットポイント、ゴール)を受けるロボットの挙動(コントロールロウ)のセットを含む。コマンドが実現されたとき、ロボットの挙動は、ステータス情報を戻す。
オーディオアニメトロニクスの分野は、生きているようなキャラクタをつくるために工学技術を開発してきた。それらの主要なアプローチは、前もって規定されたキャラクターパフォーマンスを構築することであり、すなわちキャラクタが実行されるのを必要とするとき、再生されるサーボ、ライト、サウンド及びスピーチイベントをプログラムする。このアプローチの利点は、アニメーションの原理を使用してそれらを適切に設計するための機会を与える、キャラクタの動きを通した正確な制御が存在することである。このように、信頼できる挙動が実現される。問題点は、対話性のなさであり、キャラクタは別のやり方で作用することができず、次いでそのプログラムが規定される。図4は、ユーザインタフェースiCatに適用される前もってプログラムされたアニメーションスクリプトの例を示している。このスクリプトは、iCatを眠らせるために使用される。頭を下げ、目を閉じる代わりに、動画化の原理は、iCatを動画化するために使用される。はじめに、予想(anticipation)は、iCatが眠ることになっているユーザを準備するために使用される。第一に、あくびしているiCatがこれを行う(図4における上の5つのフレーム)。第二に、スローイン・スローアウトの動画原理が適用される。動きを端部で更に緩やかにすることで、より自然になる。終わりの結果は、明白かつ理解可能に振舞うロボットである。
ロボットアニメーションは、ロボットを動画化する、たとえば、サーボ、照明、サウンド及びスピーチアクションといったアクチュエータアクションのシーケンスである。ロボットを動画化する主要な問題、すなわち信頼することができ、かつインタラクティブであるようにロボットがどのように作用するかを計算することにおける問題は、デバイスアクションのシーケンスを計算する計算上のモデルを開発することである。計算上のモデルの異なるカテゴリを区別することができる。
[プリプログラム]
ロボットアニメーションは、テーブルに記憶される。典型的に、かかるロボットアニメーションは、手動で動画化されるか、動き捕捉データから生成される。
[シミュレーション]
ロボットアニメーションは、たとえばアイブリンクモデルといったシミュレーション/数学的モデルにより定義される。
[イミテーション]
ロボットアニメーションは、たとえば人間又は他のロボットのまねをする間、オンラインで学習される。
[ロボットビヘービア]
デバイスアクションを生成するためにセンサ信号を使用するコントロールロウは、たとえばヘッドトラッキングといったロボットアニメーションを定義する。
ロボットアニメーションは、テーブルに記憶される。典型的に、かかるロボットアニメーションは、手動で動画化されるか、動き捕捉データから生成される。
[シミュレーション]
ロボットアニメーションは、たとえばアイブリンクモデルといったシミュレーション/数学的モデルにより定義される。
[イミテーション]
ロボットアニメーションは、たとえば人間又は他のロボットのまねをする間、オンラインで学習される。
[ロボットビヘービア]
デバイスアクションを生成するためにセンサ信号を使用するコントロールロウは、たとえばヘッドトラッキングといったロボットアニメーションを定義する。
ユーザインタフェースロボットを動画化するための1つの計算ロボットを使用する代わりに、複数のモデルを使用することが更に有効である。それぞれのモデルは、制限されたロボットアクチュエータのセットのみを制御する個別のロボットアニメーションを定義する。このように、話しているとき、眠る及び目覚めるためのプロプログラムモデル、瞬きのためのシミュレーションモデル、及び、カメラベースのヘッドトラッキング(camera-based head-tracking)及び口パク(lip-syncing)のためのロボットビヘービアといった、異なる計算モデルを使用することができる。残念なことに、複数のモデルを使用することは、幾つかの問題を導入する。はじめに、個々のモデルは、正しい瞬間で、正しい条件下で開始及び停止される必要がある。ハイブリッドロボットのアーキテクチャの討議レイヤは、これらの条件を計算する。別の問題は、複数のロボットアニメーションモデルを実行するときに生じる。サーボ、照明、サウンド及びスピーチイベントが同じ瞬間に起こるように、個々のアニメーションイベントは同期される必要がある。また、同時のアクティブロボットアニメーションの個々のアクションは、マージされる必要がある。最後に、ロボットアニメーションの間のスイッチングのために生じる望まれない遷移のビヘービア(たとえば突然の変化)は、適切に処理される必要がある。
ロボットアニメーションエンジンは、ユーザインタフェースロボットを動画化するための複数の計算モデルを扱うために開発される。このエンジンは、ハイブリッドロボットアーキテクチャにおけるビヘービア実行レイヤの一部である。上位レベルの討議プロセスがロボットアニメーションを制御するためのコマンドを生成する間、エンジン自身は、前のセクションで記載された特定のマージ問題を処理する。抽象的なロボットアニメーションインタフェースは、異なる計算ロボットアニメーションモデルを統合するために使用される。このインタフェースは、ロボットアニメーションの3つの基本態様を定義する。はじめに、各ロボットアニメーションは、固有の名前の属性を有する。この名前は、特定のロボットアニメーションを示すために使用される。第二に、ロボットアニメーションは、ロボットアニメーションが開始されるたびに呼び出される初期化方法を有する。この呼び出しの間、カウンタのような変数には初期値を与えることができる。最後に、ロボットアニメーションは、次のアニメーションイベントを提供するための方法を有する。それぞれ特定の計算のロボットアニメーションモデルは、抽象的なロボットアニメーションインタフェースから導出される。それぞれは、その計算モデルに関連する更なる属性及び方法を有する場合がある。たとえば、前もってプログラムされたロボットアニメーションは、ディスクからロードされ、したがってこのための特定の方法を有する。イミテーションに基づいたロボットアニメーションは、典型的に新たなアニメーションのイベントを学習するための方法を有する。
ロボットアニメーションエンジンは、ユーザインタフェースロボットを動画化するための複数の計算モデルを扱うために開発される。このエンジンは、ハイブリッドロボットアーキテクチャにおけるビヘービア実行レイヤの一部である。上位レベルの討議プロセスがロボットアニメーションを制御するためのコマンドを生成する間、エンジン自身は、前のセクションで記載された特定のマージ問題を処理する。抽象的なロボットアニメーションインタフェースは、異なる計算ロボットアニメーションモデルを統合するために使用される。このインタフェースは、ロボットアニメーションの3つの基本態様を定義する。はじめに、各ロボットアニメーションは、固有の名前の属性を有する。この名前は、特定のロボットアニメーションを示すために使用される。第二に、ロボットアニメーションは、ロボットアニメーションが開始されるたびに呼び出される初期化方法を有する。この呼び出しの間、カウンタのような変数には初期値を与えることができる。最後に、ロボットアニメーションは、次のアニメーションイベントを提供するための方法を有する。それぞれ特定の計算のロボットアニメーションモデルは、抽象的なロボットアニメーションインタフェースから導出される。それぞれは、その計算モデルに関連する更なる属性及び方法を有する場合がある。たとえば、前もってプログラムされたロボットアニメーションは、ディスクからロードされ、したがってこのための特定の方法を有する。イミテーションに基づいたロボットアニメーションは、典型的に新たなアニメーションのイベントを学習するための方法を有する。
ロボット実行エンジンは、マージ問題を扱う間、幾つかのロボットアニメーションを同時に再生することができる。図5は、ロボットアニメーションエンジンのアーキテクチャ及び全てのそのコンポーネントを示す。
アニメーションライブラリ−全てのロボットアニメーションをプリロード及び記憶。
コマンドパーサ−上位レベルの討議レイヤから受信されたコマンドを解釈。
アニメーションチャネル−1つのロボットアニメーションの実行を制御。
マージングロジック−複数のアニメーションイベントを1つのイベントに結合。
トランジションフィルタ−アニメーションイベントの途切れのないシーケンスを実現。
クロック−アニメーションチャネルの実行フレームレートを決定。
コマンドパーサ−上位レベルの討議レイヤから受信されたコマンドを解釈。
アニメーションチャネル−1つのロボットアニメーションの実行を制御。
マージングロジック−複数のアニメーションイベントを1つのイベントに結合。
トランジションフィルタ−アニメーションイベントの途切れのないシーケンスを実現。
クロック−アニメーションチャネルの実行フレームレートを決定。
[アニメーションチャネル]
階層化、複数のアニメーションの使用は、ゲームにおける信頼できるキャラクタのビヘービアを作成及び管理する一般的な技術である。アニメーションチャネルの公知の概念は、複数のアニメーションの実行を制御するために使用される。ロボット式のビヘービアに基づいたアーキテクチャとは対照的に、アニメーションチャネルは、ランタイムでロードされ、アニメーションライブラリからロボットアニメーションでアンロードされる。異なるチャネルパラメータは、ロードされたロボットアニメーションの実行を制御するために設定することができる。たとえば、アニメーションチャネルは、アニメーションをループし、遅延と共に開始し、特定のフレームで開始するか、又は別のアニメーションチャネルで同期する。ひとたびロボットアニメーションがロードされると、全てのパラメータが設定され、アニメーションが開始、停止、休止又は再開することができる。
階層化、複数のアニメーションの使用は、ゲームにおける信頼できるキャラクタのビヘービアを作成及び管理する一般的な技術である。アニメーションチャネルの公知の概念は、複数のアニメーションの実行を制御するために使用される。ロボット式のビヘービアに基づいたアーキテクチャとは対照的に、アニメーションチャネルは、ランタイムでロードされ、アニメーションライブラリからロボットアニメーションでアンロードされる。異なるチャネルパラメータは、ロードされたロボットアニメーションの実行を制御するために設定することができる。たとえば、アニメーションチャネルは、アニメーションをループし、遅延と共に開始し、特定のフレームで開始するか、又は別のアニメーションチャネルで同期する。ひとたびロボットアニメーションがロードされると、全てのパラメータが設定され、アニメーションが開始、停止、休止又は再開することができる。
[マージングロジック]
アニメーションに優先付けすることはアニメーションをマージするための標準的な技術であり、全てのブレンディング状態(blending situations)を扱うことはできない。したがって、ランタイムの機器構成可能なマージングロジックコンポーネントが使用され、これは、それぞれそれ自身のブレンディングストラテジーを必要とする、異なる状況についてアニメーションエンジンを使用するための柔軟性を提供する。マージングロジックコンポーネントの特定のブレンディングコンフィギュレーションは、アクチュエータベースでランタイムで設定することができる。それぞれ個々のサーボ、照明、サウンド又はスピーチチャネルについて、ブレンディングオペレータを機器構成することができる。以下のブレンディングオペレータが利用可能である。
優先度−下位の優先度をもつアクチュエータのアクションは、上位の優先度を持つアクチュエータアクションにより支配される。
(重み付け)加算−アクチュエータアクションは、重み付けファクタにより乗算され、加算される。
最小/最大−最小値/最大値をもつアクチュエータアクションが選択される。
乗算−全てのアクチュエータアクションが乗算される。
アニメーションに優先付けすることはアニメーションをマージするための標準的な技術であり、全てのブレンディング状態(blending situations)を扱うことはできない。したがって、ランタイムの機器構成可能なマージングロジックコンポーネントが使用され、これは、それぞれそれ自身のブレンディングストラテジーを必要とする、異なる状況についてアニメーションエンジンを使用するための柔軟性を提供する。マージングロジックコンポーネントの特定のブレンディングコンフィギュレーションは、アクチュエータベースでランタイムで設定することができる。それぞれ個々のサーボ、照明、サウンド又はスピーチチャネルについて、ブレンディングオペレータを機器構成することができる。以下のブレンディングオペレータが利用可能である。
優先度−下位の優先度をもつアクチュエータのアクションは、上位の優先度を持つアクチュエータアクションにより支配される。
(重み付け)加算−アクチュエータアクションは、重み付けファクタにより乗算され、加算される。
最小/最大−最小値/最大値をもつアクチュエータアクションが選択される。
乗算−全てのアクチュエータアクションが乗算される。
これらのオペレータは、ロボティクスの領域及びアニメーションの両方で一般に使用される。マージングロジックオペレータを拡張するために加算される更なる公知のオペレータは、多解像度モデルのフィルタリング、補間、タイムワープ、波形成形及び動き変位のマッピングを含む。
[トランジションフィルタ]
あるロボットアニメーションから別のロボットアニメーションに突然に切り替わることは、突然の遷移となる場合がある。これを防ぐための1つの技術は、ロボットアニメーションの開始及び終了フレームを定義するために特別のキーフレームを使用することである。新たなロボットアニメーションは、その開始フレームが前のロボットアニメーションの終了フレームと整合したときにのみ開始することができる。この技術は、しかし、アクチュエータアクションがセンサ入力及び内部変数からランタイムで計算されるので、ロボットビヘービアに適用することができない。したがって、第二の技術であるフィルタリングが使用される。トランジションフィルタコンポーネントは、ロボットアニメーション間の滑らかな遷移を実現するために使用される。
あるロボットアニメーションから別のロボットアニメーションに突然に切り替わることは、突然の遷移となる場合がある。これを防ぐための1つの技術は、ロボットアニメーションの開始及び終了フレームを定義するために特別のキーフレームを使用することである。新たなロボットアニメーションは、その開始フレームが前のロボットアニメーションの終了フレームと整合したときにのみ開始することができる。この技術は、しかし、アクチュエータアクションがセンサ入力及び内部変数からランタイムで計算されるので、ロボットビヘービアに適用することができない。したがって、第二の技術であるフィルタリングが使用される。トランジションフィルタコンポーネントは、ロボットアニメーション間の滑らかな遷移を実現するために使用される。
図6は、サーボsiのトランジションフィルタの機能を例示している。時間t1でスイッチが行われる。トランジション期間ttと呼ばれる制限された時間の間、新たなサーボアニメーションsB iは、図6の式(1)及び(2)を使用して前のサーボアニメーションsA iの最後の値と結合される。トランジションフィルタは、遷移期間の間に両方のロボットアニメーションの線形結合を計算する。スカラーαは、時間に線形依存し、時間に指数関数的に依存させることは、補間を更に滑らかにする。
[アプリケーション]
提案されるロボットアニメーションエンジンを評価するため、ユーザインタフェースロボットiCatがHomeLabと呼ばれる周囲の知的な家庭環境において照明及び音楽を管理するシナリオが開発される。スピーチは,iCatに対する要求をなすために使用される。認識スピーチの代わりに、iCatは、ユーザが話している間にユーザを見続け、ユーザに話している間に口パクし、より生きているようになるために瞬きし、(たとえば要求が理解されたときに楽しく見え、要求が不明瞭であるときに悲しく見せるといった)ユーザ要求に適切に反応するために顔の表現を示すように、ヘッドトラッキングを実行することができる必要がある。異なる計算モデルは、これらロボットアニメーションを実現するために使用される。
提案されるロボットアニメーションエンジンを評価するため、ユーザインタフェースロボットiCatがHomeLabと呼ばれる周囲の知的な家庭環境において照明及び音楽を管理するシナリオが開発される。スピーチは,iCatに対する要求をなすために使用される。認識スピーチの代わりに、iCatは、ユーザが話している間にユーザを見続け、ユーザに話している間に口パクし、より生きているようになるために瞬きし、(たとえば要求が理解されたときに楽しく見え、要求が不明瞭であるときに悲しく見せるといった)ユーザ要求に適切に反応するために顔の表現を示すように、ヘッドトラッキングを実行することができる必要がある。異なる計算モデルは、これらロボットアニメーションを実現するために使用される。
5つのアニメーションチャネルは、複数のロボットアニメーションを扱うために定義される。表1は、これらのチャネルを示し、それらの目的を記載する。たとえば、チャネル0は、(たとえば図4に示されるように眠るロボットアニメーションといった)全てのアクチュエータ装置を制御するロボットアニメーションのために使用され、チャネル2は、口の4つのサーボ(s8,s9,s10,s11,図1を参照)を制御するため、口パクのロボットアニメーションにより使用される。
「手段」は、当業者にとって明らかであるように、単独で又は他の機能と共に、若しくは、分離されて又は他のエレメントと協働して、(個別又は集積された回路又は電子的なエレメントのような)ハードウェア、若しくは、動作中に実行するか又は特定の機能を実行するために設計される(プログラム又はプログラムの一部のような)ソフトウェアを含むことが意図される。電子装置は、幾つかの個別のエレメントを有するハードウェアにより、適切にプログラムされたコンピュータにより実現することができる。「コンピュータプログラム」は、インターネットのようなネットワークを介してダウンロード可能であるか、他のやり方で市場向きの、フロプティカルディスクのようなコンピュータ読取り可能な媒体に記憶されるソフトウェアプロダクトを意味することを理解されたい。
Claims (9)
- 第一のアニメーションにおけるオブジェクトの少なくとも1つの位置と前記オブジェクトの第二のアニメーションの第一の部分とに基づいて、前記オブジェクトの新たなアニメーションの第一の部分を決定し、前記第二のアニメーションの第二の部分に基づいて、前記新たなアニメーションの第二の部分を決定することが可能な処理ユニットを有する電子装置。
- 当該電子装置はロボットであり、前記オブジェクトは1以上の前記ロボットのサーボを含む、
請求項1記載の電子装置。 - 前記新たなアニメーションの第一の部分の期間は、前記第二のアニメーションの開始時間に依存しない、
請求項1記載の電子装置。 - 前記処理ユニットは、前記第二のアニメーションをトリガする所定のユーザ入力が受信されるとすぐ、前記新たなアニメーションの第一の部分を実行する、
請求項1記載の電子装置。 - 前記新たなアニメーションの第一の部分に対する第二のアニメーションの第一の部分の寄与は、遷移期間の間に指数関数的に増加する、
請求項1記載の電子装置。 - その実行に応じて、請求項1記載の電子装置としてプログラマブル装置が機能するのを可能にするコンピュータプログラムプロダクト。
- 第一のアニメーションにおけるオブジェクトの少なくとも1つの位置と前記オブジェクトの第二のアニメーションの第一の部分とに基づいて、第一の期間の間にオブジェクトを動画化するのを可能にするステップと、
前記オブジェクトの第二のアニメーションの第二の部分に基づいて第二の期間の間にオブジェクトを動画化するのを可能にするステップと、
を含むことを特徴とするオブジェクトを動画化するのを可能にする方法。 - 第一のアニメーションにおけるオブジェクトの少なくとも1つの位置と前記オブジェクトの第二のアニメーションの第一の部分とに基づいて、第一の期間の間にオブジェクトを動画化し、
前記オブジェクトの第二のアニメーションの第二の部分に基づいて、第二の期間の間に前記オブジェクトを動画化するのを可能にする処理ユニットを有する電子装置。 - 第一のアニメーションにおけるオブジェクトの少なくとも1つの位置と前記オブジェクトの第二のアニメーションの第一の部分とに基づいて、第一の期間の間にオブジェクトを動画化するステップと、
前記オブジェクトの第二のアニメーションの第二の部分に基づいて、第二の期間の間に前記オブジェクトを動画化するステップと、
を含むことを特徴とする電子装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP04101029 | 2004-03-12 | ||
PCT/IB2005/050866 WO2005087337A1 (en) | 2004-03-12 | 2005-03-10 | Electronic device and method of enabling to animate an object |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007528797A true JP2007528797A (ja) | 2007-10-18 |
Family
ID=34961543
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007502488A Pending JP2007528797A (ja) | 2004-03-12 | 2005-03-10 | オブジェクトを動画化するのを可能にする電子装置及び方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20070191986A1 (ja) |
EP (1) | EP1727605B1 (ja) |
JP (1) | JP2007528797A (ja) |
KR (1) | KR20060126807A (ja) |
CN (1) | CN1929894A (ja) |
AT (1) | ATE374064T1 (ja) |
DE (1) | DE602005002637D1 (ja) |
WO (1) | WO2005087337A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011511713A (ja) * | 2007-12-17 | 2011-04-14 | ピクサー | 関節連結されたコンピューター生成キャラクターからアニマトロニクスユニットを設計するための方法および装置 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7213061B1 (en) * | 1999-04-29 | 2007-05-01 | Amx Llc | Internet control system and method |
EP1934720B1 (en) * | 2005-09-07 | 2018-02-14 | Open Invention Network LLC | Method and computer program for device configuration |
US8608560B1 (en) * | 2006-09-12 | 2013-12-17 | Tournament One, Corp. | Non-deterministic animations with predetermined result |
TWI332179B (en) * | 2007-04-13 | 2010-10-21 | Univ Nat Taiwan Science Tech | Robotic system and method for controlling the same |
US8232998B2 (en) * | 2007-12-17 | 2012-07-31 | Pixar | Methods and apparatus for estimating and controlling behavior of animatronics units |
KR20110026212A (ko) * | 2009-09-07 | 2011-03-15 | 삼성전자주식회사 | 로봇 및 그 제어방법 |
US9656392B2 (en) * | 2011-09-20 | 2017-05-23 | Disney Enterprises, Inc. | System for controlling robotic characters to enhance photographic results |
US20150138333A1 (en) * | 2012-02-28 | 2015-05-21 | Google Inc. | Agent Interfaces for Interactive Electronics that Support Social Cues |
US10068363B2 (en) * | 2013-03-27 | 2018-09-04 | Nokia Technologies Oy | Image point of interest analyser with animation generator |
WO2017173141A1 (en) * | 2016-03-31 | 2017-10-05 | JIBO, Inc. | Persistent companion device configuration and deployment platform |
CN106493732A (zh) * | 2016-10-19 | 2017-03-15 | 天津奇幻岛科技有限公司 | 一种使用虚拟三维动画控制游戏机械手臂的方法 |
US20200265629A1 (en) * | 2019-02-20 | 2020-08-20 | Universal City Studios Llc | Systems and methods for animation on structural features using electronic ink |
US20210295728A1 (en) * | 2020-03-19 | 2021-09-23 | Elnaz Sarrafzadeh | Artificial Intelligent (AI) Apparatus and System to Educate Children in Remote and Homeschool Setting |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09218961A (ja) * | 1996-02-13 | 1997-08-19 | Sega Enterp Ltd | 画像生成装置およびその方法 |
JPH11144084A (ja) * | 1997-11-07 | 1999-05-28 | Namco Ltd | 画像生成装置及び情報記憶媒体 |
JP2000011199A (ja) * | 1998-06-18 | 2000-01-14 | Sony Corp | アニメーションの自動生成方法 |
JP2000235655A (ja) * | 1999-02-16 | 2000-08-29 | Namco Ltd | ゲーム装置及び情報記憶媒体 |
JP2001087543A (ja) * | 1999-09-22 | 2001-04-03 | Square Co Ltd | モーション再生制御方法、記録媒体およびゲーム装置 |
JP2001283241A (ja) * | 2000-01-28 | 2001-10-12 | Square Co Ltd | モーション表示方法、ゲーム装置及び記録媒体 |
JP2002042176A (ja) * | 2000-07-28 | 2002-02-08 | Namco Ltd | ゲームシステム及び情報記憶媒体 |
JP2003067773A (ja) * | 2001-08-23 | 2003-03-07 | Namco Ltd | 画像生成システム、プログラム及び情報記憶媒体 |
JP2003085592A (ja) * | 2001-09-10 | 2003-03-20 | Namco Ltd | 画像生成システム、プログラム及び情報記憶媒体 |
JP2004030502A (ja) * | 2002-06-28 | 2004-01-29 | Sangaku Renkei Kiko Kyushu:Kk | シミュレーション方法、シミュレーション装置およびシミュレーションプログラム |
JP3606370B2 (ja) * | 2000-06-14 | 2005-01-05 | 株式会社ナムコ | ゲーム装置および情報記憶媒体 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6337552B1 (en) * | 1999-01-20 | 2002-01-08 | Sony Corporation | Robot apparatus |
US5636994A (en) * | 1995-11-09 | 1997-06-10 | Tong; Vincent M. K. | Interactive computer controlled doll |
US6572431B1 (en) * | 1996-04-05 | 2003-06-03 | Shalong Maa | Computer-controlled talking figure toy with animated features |
KR20010053322A (ko) * | 1999-04-30 | 2001-06-25 | 이데이 노부유끼 | 전자 페트 시스템, 네트워크 시스템, 로봇, 및 기억 매체 |
JP2002239960A (ja) * | 2001-02-21 | 2002-08-28 | Sony Corp | ロボット装置の動作制御方法、プログラム、記録媒体及びロボット装置 |
US6507773B2 (en) * | 2001-06-14 | 2003-01-14 | Sharper Image Corporation | Multi-functional robot with remote and video system |
-
2005
- 2005-03-10 JP JP2007502488A patent/JP2007528797A/ja active Pending
- 2005-03-10 EP EP05708982A patent/EP1727605B1/en not_active Not-in-force
- 2005-03-10 DE DE602005002637T patent/DE602005002637D1/de active Active
- 2005-03-10 WO PCT/IB2005/050866 patent/WO2005087337A1/en active IP Right Grant
- 2005-03-10 AT AT05708982T patent/ATE374064T1/de not_active IP Right Cessation
- 2005-03-10 CN CNA2005800078804A patent/CN1929894A/zh active Pending
- 2005-03-10 KR KR1020067018266A patent/KR20060126807A/ko not_active Application Discontinuation
- 2005-03-10 US US10/598,636 patent/US20070191986A1/en not_active Abandoned
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09218961A (ja) * | 1996-02-13 | 1997-08-19 | Sega Enterp Ltd | 画像生成装置およびその方法 |
JPH11144084A (ja) * | 1997-11-07 | 1999-05-28 | Namco Ltd | 画像生成装置及び情報記憶媒体 |
JP2000011199A (ja) * | 1998-06-18 | 2000-01-14 | Sony Corp | アニメーションの自動生成方法 |
JP2000235655A (ja) * | 1999-02-16 | 2000-08-29 | Namco Ltd | ゲーム装置及び情報記憶媒体 |
JP2001087543A (ja) * | 1999-09-22 | 2001-04-03 | Square Co Ltd | モーション再生制御方法、記録媒体およびゲーム装置 |
JP2001283241A (ja) * | 2000-01-28 | 2001-10-12 | Square Co Ltd | モーション表示方法、ゲーム装置及び記録媒体 |
JP3606370B2 (ja) * | 2000-06-14 | 2005-01-05 | 株式会社ナムコ | ゲーム装置および情報記憶媒体 |
JP2002042176A (ja) * | 2000-07-28 | 2002-02-08 | Namco Ltd | ゲームシステム及び情報記憶媒体 |
JP2003067773A (ja) * | 2001-08-23 | 2003-03-07 | Namco Ltd | 画像生成システム、プログラム及び情報記憶媒体 |
JP2003085592A (ja) * | 2001-09-10 | 2003-03-20 | Namco Ltd | 画像生成システム、プログラム及び情報記憶媒体 |
JP2004030502A (ja) * | 2002-06-28 | 2004-01-29 | Sangaku Renkei Kiko Kyushu:Kk | シミュレーション方法、シミュレーション装置およびシミュレーションプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011511713A (ja) * | 2007-12-17 | 2011-04-14 | ピクサー | 関節連結されたコンピューター生成キャラクターからアニマトロニクスユニットを設計するための方法および装置 |
Also Published As
Publication number | Publication date |
---|---|
CN1929894A (zh) | 2007-03-14 |
KR20060126807A (ko) | 2006-12-08 |
DE602005002637D1 (de) | 2007-11-08 |
ATE374064T1 (de) | 2007-10-15 |
EP1727605B1 (en) | 2007-09-26 |
WO2005087337A1 (en) | 2005-09-22 |
US20070191986A1 (en) | 2007-08-16 |
EP1727605A1 (en) | 2006-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007528797A (ja) | オブジェクトを動画化するのを可能にする電子装置及び方法 | |
van Breemen | Animation engine for believable interactive user-interface robots | |
Perlin et al. | Improv: A system for scripting interactive actors in virtual worlds | |
US6285380B1 (en) | Method and system for scripting interactive animated actors | |
Bobick et al. | The KidsRoom: A perceptually-based interactive and immersive story environment | |
US7468728B2 (en) | Apparatus for controlling a virtual environment | |
Gebhard et al. | Authoring scenes for adaptive, interactive performances | |
KR20170085422A (ko) | 가상 에이전트 동작 방법 및 장치 | |
US20090091563A1 (en) | Character animation framework | |
CN107577661B (zh) | 一种针对虚拟机器人的交互输出方法以及系统 | |
KR102180576B1 (ko) | 사용자의 플레잉에 기초하여 재프로그래밍되는 인터랙티브 콘텐츠 제공 방법 및 장치 | |
JPH11508491A (ja) | 可動装置(apparatus)を制御する設備(installation)および方法 | |
JP2010531743A (ja) | ロボットの運動を編集するための方法 | |
Prendinger et al. | MPML3D: Scripting agents for the 3D internet | |
US20160303483A1 (en) | Artificial intelligence controlled entertainment performance | |
EP0919031A1 (en) | A method and system for scripting interactive animated actors | |
Fu et al. | Real-time multimodal human–avatar interaction | |
Saerbeck et al. | Design guidelines and tools for creating believable motion for personal robots | |
WO2023098090A1 (zh) | 智能设备控制方法、装置、服务器和存储介质 | |
US20140288704A1 (en) | System and Method for Controlling Behavior of a Robotic Character | |
EP3872607A1 (en) | Systems and methods for automated control of human inhabited characters | |
Neff et al. | Layered performance animation with correlation maps | |
van Breemen et al. | Advanced animation engine for user-interface robots | |
Wang et al. | “Walk to here”: A Voice Driven Animation System | |
Sparacino et al. | Media Actors: Characters in Search of an Author |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100406 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100907 |