JP2018198083A - アニメーションのモーションシーケンスを生成するための方法、システム及びコンピュータ読み取り可能な記録媒体 - Google Patents

アニメーションのモーションシーケンスを生成するための方法、システム及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP2018198083A
JP2018198083A JP2018153483A JP2018153483A JP2018198083A JP 2018198083 A JP2018198083 A JP 2018198083A JP 2018153483 A JP2018153483 A JP 2018153483A JP 2018153483 A JP2018153483 A JP 2018153483A JP 2018198083 A JP2018198083 A JP 2018198083A
Authority
JP
Japan
Prior art keywords
motion
character
flow line
user operation
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018153483A
Other languages
English (en)
Inventor
ウン チョン、ジェ
Jae Woong Jeon
ウン チョン、ジェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anipen Inc
Original Assignee
Anipen Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anipen Inc filed Critical Anipen Inc
Publication of JP2018198083A publication Critical patent/JP2018198083A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】アニメーションのモーションシーケンスを好適に生成すること。【解決手段】本発明の一態様によれば、アニメーションのモーションシーケンス(motion sequence)を生成するための方法であって、基準平面に対して入力される第1ユーザ操作を参照として、キャラクタが移動する経路を示す動線を生成する段階、基準平面に対して入力される第2ユーザ操作を参照として、動線、動線に含まれる区間及び動線上の地点を特定する段階、及び基準平面に対して入力される第3ユーザ操作を参照として、動線、区間及び地点に対してモーションを付与することで、キャラクタが、モーションが付与された動線、区間及び地点に位置するとき、キャラクタが付与されたモーションを行うようにするモーションシーケンスを生成する段階を含む方法が提供される。【選択図】図1

Description

本発明は、アニメーションのモーションシーケンスを生成するための方法、システム及びコンピュータ読み取り可能な記録媒体に関する。より詳しくは、本発明は、基準平面に対して入力されるユーザ操作を参照としてキャラクタが移動する経路を示す動線を生成し、動線、動線に含まれる少なくとも1つの区間、動線上の少なくとも1つの地点に対してキャラクタのモーションを付与することで、キャラクタが、モーションが付与された動線、区間又は地点に位置するとき、キャラクタが該当モーションを行うようにするモーションシーケンスを生成する方法、システム及びコンピュータ読み取り可能な記録媒体に関する。
3次元アニメーションは、映画やテレビでしばしば登場しており、このような3次元アニメーションの著作のためには、3次元アニメーション著作用ツール(tool)が利用されるが、通常の3次元アニメーション著作用ツールは、使用方法が複雑かつ難しいため、熟練した専門家によってのみ使用が可能であることが一般的である。
近年は、インターネットとマルチメディアの発達に伴い、3次元アニメーションを楽しむだけにとどまらず、直接著作して使用しようとする一般ユーザが増えている。
従って、非専門家も容易に3次元アニメーションを著作でき、客体の経路と動作の正確な入力が可能なアニメーション著作ツールの開発に対する期待が高まっている。
本発明は、上記事情に鑑みてなされたものであって、その目的は、前述した問題を何れも解決することにある。
また、本発明の他の目的は、基準平面に対して入力されるユーザ操作を参照としてキャラクタが移動する経路を示す動線を生成し、動線、動線に含まれる少なくとも1つの区間、動線上の少なくとも1つの地点に対してキャラクタのモーションを付与することで、キャラクタが、モーションが付与された動線、区間又は地点に位置するとき、該当キャラクタが該当モーションを行うようにするモーションシーケンスを生成することにある。
更に、本発明の別の目的は、ユーザがキャラクタの移動経路である動線に沿って移動しながら行うモーションを自由、かつ、容易に制御できるようにするユーザインターフェースを提供することにある。
前記目的を達成するための本発明の代表的な構成は、以下の通りである。
本発明の一態様によれば、アニメーションのモーションシーケンス(motion sequence)を生成するための方法であって、(a)基準平面に対して入力される第1ユーザ操作を参照として、キャラクタが移動する経路を示す動線を生成する段階、(b)前記基準平面に対して入力される第2ユーザ操作を参照として、前記動線、前記動線に含まれる少なくとも1つの区間及び前記動線上の少なくとも1つの地点を特定する段階、及び(c)前記基準平面に対して入力される第3ユーザ操作を参照として、前記動線、前記少なくとも1つの区間及び前記少なくとも1つの地点のうちの少なくとも1つに対して少なくとも1つのモーションを付与することで、前記キャラクタが、前記少なくとも1つのモーションが付与された前記動線、前記少なくとも1つの区間及び前記少なくとも1つの地点のうちの少なくとも1つに位置するとき、前記キャラクタが前記付与された少なくとも1つのモーションを行うようにするモーションシーケンスを生成する段階を含む方法が提供される。
本発明の他の態様によれば、アニメーションのモーションシーケンス(motion sequence)を生成するための方法であって、基準平面に対して入力される第1ユーザ操作を参照として、キャラクタが移動する経路を示す動線を生成し、前記基準平面に対して入力される第2ユーザ操作を参照として、前記動線、前記動線に含まれる少なくとも1つの区間及び前記動線上の少なくとも1つの地点を特定する動線管理部、及び前記基準平面に対して入力される第3ユーザ操作を参照として、前記動線、前記少なくとも1つの区間及び前記少なくとも1つの地点のうちの少なくとも1つに対して少なくとも1つのモーションを付与することで、前記キャラクタが、前記少なくとも1つのモーションが付与された前記動線、前記少なくとも1つの区間及び前記少なくとも1つの地点のうちの少なくとも1つに位置するとき、前記キャラクタが前記付与された少なくとも1つのモーションを行うようにするモーションシーケンスを生成するモーションシーケンス管理部を含む方法が提供される。
本発明の更に他の態様によれば、アニメーションのモーションシーケンス(motion sequence)を生成するための方法であって、(a)基準平面に対して入力される第1ユーザ操作を参照として、キャラクタが行う少なくとも1つのモーションを設定する段階、及び(b)前記少なくとも1つのモーションが設定された状態で前記基準平面に対して入力される第2ユーザ操作を参照として、前記キャラクタが移動する経路を示す動線を生成し、前記キャラクタが前記生成された動線に位置するとき、前記キャラクタが前記設定された少なくとも1つのモーションを行うようにするモーションシーケンスを生成する段階を含む方法が提供される。
本発明の別の態様によれば、アニメーションのモーションシーケンス(motion sequence)を生成するためのシステムであって、基準平面に対して入力される第1ユーザ操作を参照として、キャラクタが行う少なくとも1つのモーションを設定するモーションシーケンス管理部、及び前記少なくとも1つのモーションが設定された状態で前記基準平面に対して入力される第2ユーザ操作を参照として、前記キャラクタが移動する経路を示す動線を生成する動線管理部を含み、前記モーションシーケンス管理部は、前記キャラクタが前記生成された動線に位置するとき、前記キャラクタが前記設定された少なくとも1つのモーションを行うようにするモーションシーケンスを生成するシステムが提供される。
この他にも、本発明を実現するための他の方法、システム及び前記方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読み取り可能な記録媒体が更に提供される。
本発明によれば、非専門家も容易に3次元アニメーションを著作でき、動く客体(即ち、キャラクタ)の経路と動作を正確に入力できるようにするアニメーション著作ツールを提供できるようになるという効果を奏する。
また、本発明によれば、ユーザが簡単なタッチ操作(例えば、タップ(tap)、ホールド(hold)、ドラッグ(drag)、ピンチ(pinch)など)、マウス操作、モーション操作などを行うだけでアニメーション内のキャラクタの動線とモーションを設定できるので、ユーザがスマートフォンやタブレットPCのような携帯用端末装置を用いてアニメーションのモーションシーケンスを正確かつ上手に調節可能になるという効果を奏する。
本発明の一実施形態に係るモーションシーケンス生成システムの内部構成を例示的に示す図である。 本発明の一実施形態によってモーションシーケンスが生成される過程を例示的に示す図である。 本発明の一実施形態によって動線の各区間にモーションが付与される過程を例示的に示す図である。 本発明の他の実施形態によってモーションシーケンスが生成される過程を例示的に示す図である。 本発明の一実施形態によってモーションシーケンスを生成することを支援するユーザインターフェースの構成を例示的に示す図である。 本発明の一実施形態によってモーションシーケンスを生成することを支援するユーザインターフェースの構成を例示的に示す図である。 本発明の一実施形態によってモーションシーケンスを生成することを支援するユーザインターフェースの構成を例示的に示す図である。 本発明の一実施形態によってモーションシーケンスを生成することを支援するユーザインターフェースの構成を例示的に示す図である。 本発明の一実施形態によってモーションシーケンスを生成することを支援するユーザインターフェースの構成を例示的に示す図である。 本発明の一実施形態によってモーションシーケンスを生成することを支援するユーザインターフェースの構成を例示的に示す図である。 本発明の一実施形態によってモーションシーケンスを生成することを支援するユーザインターフェースの構成を例示的に示す図である。 本発明の一実施形態によってモーションシーケンスを生成することを支援するユーザインターフェースの構成を例示的に示す図である。 本発明の一実施形態によってモーションシーケンスを生成することを支援するユーザインターフェースの構成を例示的に示す図である。 本発明の一実施形態によってモーションシーケンスを生成することを支援するユーザインターフェースの構成を例示的に示す図である。
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施形態を例として示す添付の図面を参照する。これらの実施形態は、当業者が本発明を実施できるのに十分なように詳細に説明される。本発明の多様な実施形態は、互いに異なるが、相互排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施形態と関連して本発明の精神及び範囲から逸脱せず、他の実施形態で実現され得る。また、それぞれの開示された実施形態内の個別の構成要素の位置又は配置は、本発明の精神及び範囲から逸脱することなく、変更され得ることが理解されるべきである。従って、後述する詳細な説明は、限定的な意味として取ろうとするものではなく、本発明の範囲は、適切に説明されるのであれば、それらの請求項が主張することと均等なあらゆる範囲と共に添付された請求項によってのみ限定される。図面における類似する参照符号は、多様な側面に亘って同一であるか、又は類似する機能を示す。
以下では、本発明の属する技術分野における通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好適な実施形態について添付の図面を参照して詳細に説明する。
モーションシーケンス生成システムの構成
以下では、本発明の実現のために重要な機能を行うモーションシーケンス生成システムの内部構成及び各構成要素の機能について詳察する。
本発明の一実施形態によれば、個人用コンピュータ(例えば、デスクトップコンピュータ、ノートブックコンピュータなど)、サーバ、ワークステーション、PDA、ウェブパッド、移動電話機、スマートフォン、タブレットPCなどのようにメモリ手段を備え、マイクロプロセッサを搭載して演算能力を備えた装置であれば、いくらでも本発明のモーションシーケンス生成システムとして採択され得る。特に、本発明の一実施形態に係るモーションシーケンス生成システムは、ユーザからタッチ操作の入力を受けることができるタッチスクリーン(touch screen)、赤外線センサ、加速度センサなどを用いてユーザからモーション操作の入力を受けることができるモーション入力手段などの多様な入力手段を含むことができ、キャラクタのモーションシーケンスを含むアニメーションを表示できる表示手段を含むことができる。
図1は、本発明の一実施形態に係るモーションシーケンス生成システムの内部構成を例示的に示す図である。
図1を参照すれば、本発明の一実施形態に係るモーションシーケンス生成システム100は、動線管理部110、モーションシーケンス管理部120、アニメーション生成部130、通信部140及び制御部150を含むことができる。本発明の一実施形態によれば、動線管理部110、モーションシーケンス管理部120、アニメーション生成部130、通信部140及び制御部150は、そのうちの少なくとも一部が外部システム(図示せず)と通信するプログラムモジュールであり得る。このようなプログラムモジュールは、オペレーティングシステム、アプリケーションプログラムモジュール及びその他のプログラムモジュールの形態でモーションシーケンス生成システム100に含まれることができ、物理的には、様々な公知の記憶装置上に格納されることができる。また、このようなプログラムモジュールは、モーションシーケンス生成システム100と通信可能な遠隔記憶装置に格納されることもできる。一方、このようなプログラムモジュールは、本発明によって後述する特定の業務を行ったり、特定の抽象データタイプを実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに制限されるものではない。
まず、本発明の一実施形態によれば、動線管理部110は、キャラクタが表示される表示画面によって定義される仮想の平面である基準平面に対して入力される第1ユーザ操作を参照として、基準平面上にキャラクタが移動する経路を示す動線を生成する機能を行える。ここで、第1ユーザの操作は、基準平面上の第1地点から第2地点まで繋がる仮想の直線又は曲線を特定できる操作であって、例えば、表示画面上の第1地点から第2地点まで繋がるタッチ操作、所定のモーション入力手段を含む端末装置を第1位置から第2位置に移動させたり、端末装置の姿勢を第1姿勢から第2姿勢に変更させるモーション操作などを含むことができる。
また、本発明の一実施形態によれば、動線管理部110は、基準平面に対して入力される第2ユーザ操作を参照として、先に生成された動線に含まれる少なくとも1つの区間を特定したり、先に生成された動線上の少なくとも1つの地点を特定する機能を行える。ここで、第2ユーザの操作は、動線に含まれる少なくとも1つの区間の境界を特定したり、動線上の少なくとも1つの地点の位置を特定できる操作であって、例えば、動線上の少なくとも1つの地点を横切る仮想の線を描いたり、動線上の少なくとも1つの地点を直接選択するタッチ操作、所定のモーション入力手段を含む端末装置の位置や姿勢を変更させる操作などを含むことができる。本発明の一実施形態によれば、動線に含まれる少なくとも1つの区間の長さ又は動線上の少なくとも1つの地点の位置は、追加で入力されるユーザ操作によって変更され得る。
次に、本発明の一実施形態によれば、モーションシーケンス管理部120は、基準平面に対して入力される第3ユーザ操作を参照として、動線全体、動線に含まれる少なくとも1つの区間又は動線上の少なくとも1つの地点に対してキャラクタのモーション(又は動作に関する属性値)を付与することで、キャラクタが、モーションが付与された動線、区間又は地点に位置するとき、該当キャラクタが該当モーションによる動作を行うようにするモーションシーケンスを生成する機能を行える。ここで、動線、区間又は地点に付与され得るモーションには、歩き、走り、ジャンピング、転がり、四つん這い、パンチング、肩すくめ、揺すり、対話、シンギング、キャラクタの感情状態を表現するモーションなどの多様な動作が含まれることができる。但し、本発明でいうモーションの種類が必ずしも前記列挙されたものに限定されるわけではなく、本発明の目的を達成できる範囲内でいくらでも追加、又は変更され得ることを明らかにしておく。
一方、本発明の一実施形態によれば、ユーザが動線、区間又は地点を設定し、動線、区間又は地点にモーションを付与するために、第1ユーザ操作、第2ユーザ操作、第3ユーザ操作などを入力することを支援するグラフィックユーザインターフェース(GUI)が提供され得る。具体的に、本発明の一実施形態によれば、グラフィックユーザインターフェースは、動線、区間又は地点に付与され得るキャラクタの多様なモーションを示すグラフィック要素とこのようなグラフィック要素を視覚的に含むことができるように表示されるポッドコントローラ(pod controller)を含むことができ、このようなグラフィック要素とポッドコントローラは、動線、区間又は地点に対応して表示され得る。次に、本発明の一実施形態によれば、アニメーション生成部130は、先に生成された動線、区間又は地点及びこれらに付与されたモーションに関する情報、即ち、モーションシーケンスを参照としてキャラクタが動線に沿って移動しながら、動線全体、区間又は地点に付与された少なくとも1つのモーションを行う様子を含むアニメーションを生成する機能を行える。
また、本発明の一実施形態によれば、アニメーション生成部130は、キャラクタのモーションシーケンスによって生成されたアニメーションとカメラ(図示せず)から入力される現実世界(real world)の映像を結合することによって、拡張現実(AR、Augmented Reality)の動画を生成する機能を行える。より具体的に、本発明の一実施形態に係るアニメーション生成部130は、SLAM(Simultaneous Localization And Mapping)技術を用いて現実世界の映像の座標を追跡し、3D Mapping座標を抽出でき、前記のように追跡された座標及び抽出された3D Mapping座標に関する情報を参照としてキャラクタのモーションシーケンスによるアニメーションが現実世界の映像内で表示される座標を決定でき、前記のように表示される座標が決定されたアニメーションと現実世界の映像を結合することによって、拡張現実の動画を生成できる。
次に、本発明の一実施形態に係る通信部140は、モーションシーケンス生成システム100が外部装置と通信できるようにする機能を行う。
最後に、本発明の一実施形態に係る制御部150は、動線管理部110、モーションシーケンス管理部120、アニメーション生成部130及び通信部140間のデータの流れを制御する機能を行う。即ち、制御部150は、外部からの又はモーションシーケンス生成システムの各構成要素間のデータの流れを制御することで、動線管理部110、モーションシーケンス管理部120、アニメーション生成部130及び通信部140でそれぞれ固有機能を行うように制御する。
図2は、本発明の一実施形態によってモーションシーケンスが生成される過程を例示的に示す図である。
まず、図2の(a)を参照すれば、ユーザは、基準平面210に対してタッチ操作、マウス操作、モーション操作のような多様な操作方式を用いてキャラクタ又は客体が移動する経路、即ち、動線220を生成できる。
次に、図2の(b)を参照すれば、ユーザは、基準平面210に対してタッチ操作、マウス操作、モーション操作のような多様な操作方式を用いて動線220を複数の区間221〜223に区分して動線220を分節化したり、動線220上の少なくとも1つの地点(224及び225)を特定できる。ここで、ユーザは、動線220と交差する線を描く操作を行って交点を基準として動線220が分節化されるようにしたり、動線220上の地点が特定されるようにすることができる。また、ユーザは、動線220上のある地点を直接指定する操作を行って動線220上の地点を特定できる。
次に、図2の(c)を参照すれば、ユーザは、分節化された動線の各区間221〜223に対して多様なモーション231〜233を付与することで、動線の各区間221〜223とモーション231〜233が結合されているモーションシーケンスが生成されるようにすることができる。また、図示してはいないが、ユーザは、動線全体に対して多様なモーションを付与したり、動線上に特定された少なくとも1つの地点に対して多様なモーションを付与することで、キャラクタが、モーションが付与された動線、区間又は地点に位置するとき、キャラクタが前記のように付与された多様なモーションを行うようにするモーションシーケンスが生成されるようにすることができる。
図3は、本発明の一実施形態によって動線の各区間にモーションが付与される過程を例示的に示す図である。
まず、図3の(a)を参照すれば、モーションを付与することを支援するグラフィックユーザインターフェース(GUI)341〜343が動線の各区間に対応して表示されることができ、これにより、ユーザは、各区間に対応して表示されたグラフィックユーザインターフェース341〜343を介して該当区間に付与されるモーションを容易に選択できるようになる。次に、図3の(b)を参照すれば、動線の各区間に対応して表示されるグラフィックユーザインターフェース341〜343が動線の各区間の方向によって適応的に配置される形態で表示されることによって、ユーザが動線の各区間に付与されるモーションを選択することをより容易に行うことができる。
図4は、本発明の他の実施形態によってモーションシーケンスが生成される過程を例示的に示す図である。
図4を参照すれば、ユーザは、基準平面410に対してタッチ操作、マウス操作、モーション操作のような第1ユーザ操作を入力することで、キャラクタ又は客体が移動する経路、即ち、動線420を生成できる。そして、第1ユーザ操作により動線が生成される途中に基準平面に対して第2ユーザ操作(例えば、マルチタッチ操作、揺すり操作など)が入力されれば、ユーザがモーションを設定できるように支援するグラフィックユーザインターフェース440が提供され得るが、ユーザがグラフィックユーザインターフェースを介して所望のモーションを選択すれば、第2ユーザ操作が入力された時点以前に生成された動線又は第2ユーザ操作が入力された時点以後に生成される動線に対して前記選択されたモーションが付与され得るようになる。一方、動線に対するモーションの付与が完了した後は、再び動線を生成するためのユーザ操作が入力され得る。
即ち、本発明の他の実施形態によれば、モーションシーケンスを生成するにおいて、動線が生成される順序とモーションが設定される順序が互いに変わり得、動線を複数の区間に区分したり、動線上の地点を特定しない状態で動線全体に対してモーションが付与されるようにすることもできる。また、本発明の一実施形態によれば、第2ユーザ操作がまず入力されてキャラクタに適用され得る多様なモーションのうちの何れかのモーションが選択された状態で第1ユーザ操作が後で入力されてキャラクタの動線が生成されれば、先に選択されたモーションが該当動線に付与されるモーションシーケンスが生成され得る。
一方、図2〜図4において、動線に含まれる区間に対してモーションが付与される場合について主に説明されているが、本発明の実施形態が必ずしも前記列挙されたものに限定されるわけではなく、図2〜図4で説明された内容は、動線全体に対してモーションが付与される場合又は動線上の少なくとも1つの地点に対してモーションが付与される場合においても同様に適用され得ることを明らかにしておく。
図5〜図14は、本発明の一実施形態によってモーションシーケンスを生成することを支援するユーザインターフェースの多様な構成を例示的に示す図である。
図5を参照すれば、第1ユーザ操作が入力されれば、キャラクタ520の移動経路を示す動線530が生成され得る。
図6を参照すれば、第2ユーザ操作が入力されれば、動線630に含まれる2つの区間(631及び632)と1つの地点633が特定され得る。
図7を参照すれば、キャラクタ720の移動経路を示す動線730と動線730に含まれる2つの区間(731及び732)及び1つの地点733が生成された状態で、ユーザが動線730、区間(731及び732)又は地点733にモーションを付与することを支援するためのポッドコントローラ(pod controller)740が提供され得る。具体的に、ユーザ操作によって特定地点733が選択されれば、該当地点733に付与され得るモーションに対応するグラフィック要素761〜764を視覚的に含むことができるポッドコントローラ740が表示されることができ、ポッドコントローラ740を介して地点733に付与され得るモーションに対応するグラフィック要素761〜764が羅列されている選択メニュー760が共に表示されることもできる。
図8を参照すれば、キャラクタ820の移動経路である動線830上の地点833が特定され、該当地点833に対応するポッドコントローラ840とモーション選択メニュー860が表示された状態で、モーションを選択しようとするユーザ操作(例えば、ホールドアンドドラッグ(hold and drag)、ドラッグアンドドロップ(drag and drop)など)が入力されれば、選択されたモーションを示すグラフィック要素862がポッドコントローラ840内に移動してポッドコントローラ840内に含まれている状態で表示されるようにすることができる。
図9を参照すれば、キャラクタ920の移動経路である動線930上の地点933に対応して表示されるポッドコントローラ940内には、複数のモーションのそれぞれを示す複数のグラフィック要素(962及び963)が含まれることができ、追加で入力されるユーザ操作によってポッドコントローラ940内に含まれる複数のグラフィック要素(962及び963)間の順序が制御され得る。
図10を参照すれば、ポッドコントローラ1040内にキャラクタ1020のモーションを示すグラフィック要素1062が含まれたまま表示されている状態で、ユーザ操作によってあるモーションが選択されれば、該当モーションを示すグラフィック要素1062を強調して表示でき、追加で入力されるユーザ操作によって該当グラフィック要素1062が削除されるようにすることができ(1070)、追加で入力されるユーザ操作によってキャラクタ1020がモーションを行う際に発生する音響、キャラクタ1020がモーションを行う時間、キャラクタ1020がモーションを行いながら話す台詞などの多様な属性が設定され得るようにすることができる(1080)。
より具体的に、図11を参照すれば、円形のポッドコントローラ1140内にキャラクタ1120のモーションを示す特定のグラフィック要素1162が選択されたまま表示されている状態で、円形のポッドコントローラ1140の円周に沿って入力されるユーザ操作を参照としてキャラクタ1120が特定のグラフィック要素1162に該当するモーションを行う時間が調節されるようにすることができる(1182)。
また、図示してはいないが、円形のポッドコントローラ内にキャラクタのモーションを示す特定のグラフィック要素が選択されたまま表示されている状態で、円形のポッドコントローラの円周に沿って入力されるユーザ操作を参照としてキャラクタが特定のグラフィック要素に該当するモーションを行う方向が特定されるようにすることができる。
また、図12を参照すれば、ポッドコントローラ1240内にキャラクタ1220のモーションを示す特定のグラフィック要素1262が選択されたまま表示されている状態で、ユーザ操作によって所定の文字列1283が入力されれば、キャラクタ1220が特定のグラフィック要素1262に該当するモーションを行いながら話す台詞が設定されるようにすることができる。
図5〜図12において、動線上の地点に対してモーションが付与される場合について主に説明されているが、本発明の実施形態が必ずしも前記列挙されたものに限定されるわけではなく、図5〜図12で説明された内容は、動線全体に対してモーションが付与される場合又は動線に含まれる少なくとも1つの区間に対してモーションが付与される場合においても同様に適用され得ることを明らかにしておく。
これと関連して図13を参照すれば、ユーザ操作によって特定区間1332が選択されれば、該当区間1332に付与され得るモーションに対応するグラフィック要素1361〜1364を視覚的に含むことができるポッドコントローラ1340が表示されることができ、ポッドコントローラ1340を介して地点1333に付与され得るモーションに対応するグラフィック要素1361〜1364が羅列されている選択メニュー1360が共に表示されることもできる。また、図14を参照すれば、キャラクタ1420の移動経路である動線1430に含まれる区間1432が特定され、該当区間1432に対応するポッドコントローラ1440とモーション選択メニュー1460が表示された状態で、モーションを選択しようとするユーザ操作(例えば、ホールドアンドドラッグ(hold and drag)、ドラッグアンドドロップ(drag and drop)など)が入力されれば、選択されたモーションを示すグラフィック要素1462がポッドコントローラ1440内に移動してポッドコントローラ1440内に含まれている状態で表示されるようにすることができる。
一方、図5〜図12の実施形態と図13及び図14の実施形態を比較して詳察すると、地点733に付与され得るモーションの種類(即ち、元の位置で行えるモーションとして、例えば、何らの動作もしない761、揺すり762、肩すくめ763、パンチング764など)と区間1332又は動線全体に付与され得るモーションの種類(即ち、移動しながら行えるモーションとして、例えば、歩き1361、走り1362、ひそかに移動1363、四つん這い1364など)は互いに異なるように設定され得る。
一方、図5及び図6を参照すれば、ユーザは、前記のように新しいモーションシーケンスを生成する代りに、自身や他のユーザによって既に生成されて既に格納されているモーションシーケンスを呼び出し、これを現在のキャラクタ520、620に適用させることができる。また、ユーザは、自身が新たに生成したモーションシーケンスを格納することで、後で自身や他のユーザが該当モーションシーケンスを活用できるようにすることができる。例えば、ユーザは、画面上に表示されるプリセット(preset)アイコン510、610を選択することで、既に格納されているモーションシーケンスを呼び出したり、新たに生成されたモーションシーケンスを格納できる。
以上説明した本発明に係る実施形態は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で実現され、コンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され、構成されたものであってもよく、コンピュータソフトウェア分野の当業者に公知となって使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD-ROM、DVDのような光気録媒体、フロプティカルディスク(floptical disk)のような磁気-光媒体(magneto-optical media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令語を格納し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例としては、コンパイラにより作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級の言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うために、1つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。
以上で本発明が具体的な構成要素などのような特定の事項と限定された実施形態及び図面により説明されたが、これは、本発明のより全般的な理解を促進するために提供されたものに過ぎず、本発明が前記実施形態に限定されるものではなく、本発明の属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。
従って、本発明の思想は、前記説明された実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に又は等価的に変形した全てのものは、本発明の思想の範疇に属すると言える。
100 モーションシーケンス生成システム
110 動線管理部
120 モーションシーケンス管理部
130 アニメーション生成部
140 通信部
150 制御部

Claims (17)

  1. アニメーションのモーションシーケンス(motion sequence)を生成するための方法であって、
    (a)基準平面に対して入力される第1ユーザ操作を参照として、キャラクタが移動する経路を示す動線を生成する段階、
    (b)前記基準平面に対して入力される第2ユーザ操作を参照として、前記動線、前記動線に含まれる少なくとも1つの区間及び前記動線上の少なくとも1つの地点を特定する段階、及び
    (c)前記基準平面に対して入力される第3ユーザ操作を参照として、前記動線、前記少なくとも1つの区間及び前記少なくとも1つの地点のうちの少なくとも1つに対して少なくとも1つのモーションを付与することで、前記キャラクタが、前記少なくとも1つのモーションが付与された前記動線、前記少なくとも1つの区間及び前記少なくとも1つの地点のうちの少なくとも1つに位置するとき、前記キャラクタが前記付与された少なくとも1つのモーションを行うようにするモーションシーケンスを生成する段階、
    を含む方法。
  2. 前記(a)段階で、
    前記第1ユーザ操作は、前記基準平面上の第1地点から第2地点まで繋がる仮想の線を描く操作であることを特徴とする請求項1に記載の方法。
  3. 前記(b)段階で、
    前記動線を横切る仮想の線を描く操作及び前記動線を選択する操作のうちの少なくとも1つの操作を参照として、前記少なくとも1つの区間及び前記少なくとも1つの地点を特定することを特徴とする請求項1に記載の方法。
  4. 前記少なくとも1つのモーションの追加、削除及び順序のうちの少なくとも1つが制御され得るようにする請求項1に記載の方法。
  5. 前記少なくとも1つのモーションには、前記キャラクタが前記少なくとも1つのモーションを行う際に発生する音響、前記キャラクタが前記少なくとも1つのモーションを行う時間、前記キャラクタが前記少なくとも1つのモーションを行いながら話す台詞及び前記キャラクタが前記少なくとも1つのモーションを行う方向のうちの少なくとも一部に対する属性が付与されることを特徴とする請求項1に記載の方法。
  6. 前記第1ユーザ操作、前記第2ユーザ操作及び前記第3ユーザ操作のうちの少なくとも1つが入力されることを支援するグラフィックユーザインターフェース(GUI)が提供されることを特徴とする請求項1に記載の方法。
  7. 前記グラフィックユーザインターフェースは、前記少なくとも1つのモーションのそれぞれを示す少なくとも1つのグラフィック要素及び前記少なくとも1つのグラフィック要素を含むポッドコントローラ(pod controller)を含むことを特徴とする請求項6に記載の方法。
  8. 前記グラフィック要素及び前記ポッドコントローラに対して入力されるユーザ操作を参照として、前記少なくとも1つのモーションの追加、削除及び順序のうちの少なくとも1つを制御することを特徴とする請求項7に記載の方法。
  9. 前記グラフィック要素及び前記ポッドコントローラに対して入力されるユーザ操作を参照として、前記少なくとも1つのモーションに前記キャラクタが前記少なくとも1つのモーションを行う際に発生する音響、前記キャラクタが前記少なくとも1つのモーションを行う時間、前記キャラクタが前記少なくとも1つのモーションを行いながら話す台詞及び前記キャラクタが前記少なくとも1つのモーションを行う方向のうちの少なくとも一部に対する属性を付与することを特徴とする請求項7に記載の方法。
  10. 前記グラフィック要素及び前記ポッドコントローラは、前記経路、前記少なくとも1つの区間及び前記少なくとも1つの地点のうちの少なくとも1つに対応して表示されることを特徴とする請求項7に記載の方法。
  11. (d)前記生成されたモーションシーケンスを参照として前記キャラクタが前記動線に沿って移動しながら、前記動線、前記少なくとも1つの区間及び前記少なくとも1つの地点のうちの少なくとも1つに付与された少なくとも1つのモーションを行う様子を含むアニメーションを生成する段階を更に含むことを特徴とする請求項1に記載の方法。
  12. (e)前記キャラクタのモーションシーケンスを含むアニメーションとカメラから入力される現実世界(real world)の映像を結合することによって、拡張現実(AR、Augmented Reality)の動画を生成する段階を更に含むことを特徴とする請求項1に記載の方法。
  13. 前記(e)段階は、
    (e1)SLAM(Simultaneous Localization And Mapping)技術を用いて前記現実世界の映像の座標を追跡し、前記現実世界の映像の3D Mapping座標を抽出する段階、
    (e2)前記追跡された座標及び前記抽出された3D Mapping座標に関する情報を参照として前記現実世界の映像内で前記キャラクタのモーションシーケンスによるアニメーションが表示される座標を決定する段階、及び
    (e3)前記表示される座標が決定されたアニメーションと前記現実世界の映像を結合することによって、拡張現実の動画を生成する段階
    を含むことを特徴とする請求項12に記載の方法。
  14. アニメーションのモーションシーケンス(motion sequence)を生成するための方法であって、
    (a)基準平面に対して入力される第1ユーザ操作を参照として、キャラクタが行う少なくとも1つのモーションを設定する段階、及び
    (b)前記少なくとも1つのモーションが設定された状態で前記基準平面に対して入力される第2ユーザ操作を参照として、前記キャラクタが移動する経路を示す動線を生成し、前記キャラクタが前記生成された動線に位置するとき、前記キャラクタが前記設定された少なくとも1つのモーションを行うようにするモーションシーケンスを生成する段階
    を含む方法。
  15. 請求項1〜14の何れか一項に記載の方法を実行するためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
  16. アニメーションのモーションシーケンス(motion sequence)を生成するためのシステムであって、
    基準平面に対して入力される第1ユーザ操作を参照として、キャラクタが移動する経路を示す動線を生成し、前記基準平面に対して入力される第2ユーザ操作を参照として、前記動線、前記動線に含まれる少なくとも1つの区間及び前記動線上の少なくとも1つの地点を特定する動線管理部、及び
    前記基準平面に対して入力される第3ユーザ操作を参照として、前記動線、前記少なくとも1つの区間及び前記少なくとも1つの地点のうちの少なくとも1つに対して少なくとも1つのモーションを付与することで、前記キャラクタが、前記少なくとも1つのモーションが付与された前記動線、前記少なくとも1つの区間及び前記少なくとも1つの地点のうちの少なくとも1つに位置するとき、前記キャラクタが前記付与された少なくとも1つのモーションを行うようにするモーションシーケンスを生成するモーションシーケンス管理部
    を含むシステム。
  17. アニメーションのモーションシーケンス(motion sequence)を生成するためのシステムであって、
    基準平面に対して入力される第1ユーザ操作を参照として、キャラクタが行う少なくとも1つのモーションを設定するモーションシーケンス管理部、及び
    前記少なくとも1つのモーションが設定された状態で前記基準平面に対して入力される第2ユーザ操作を参照として、前記キャラクタが移動する経路を示す動線を生成する動線管理部
    を含み、
    前記モーションシーケンス管理部は、前記キャラクタが前記生成された動線に位置するとき、前記キャラクタが前記設定された少なくとも1つのモーションを行うようにするモーションシーケンスを生成するシステム。
JP2018153483A 2013-01-24 2018-08-17 アニメーションのモーションシーケンスを生成するための方法、システム及びコンピュータ読み取り可能な記録媒体 Pending JP2018198083A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20130008034 2013-01-24
KR10-2013-0008034 2013-01-24
KR20130102747 2013-08-28
KR10-2013-0102747 2013-08-28
KR10-2013-0135624 2013-11-08
KR1020130135624A KR20140095414A (ko) 2013-01-24 2013-11-08 애니메이션의 모션 시퀀스를 생성하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015555106A Division JP6647867B2 (ja) 2013-01-24 2014-01-24 アニメーションのモーションシーケンスを生成するための方法、システム及びコンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
JP2018198083A true JP2018198083A (ja) 2018-12-13

Family

ID=51743868

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015555106A Active JP6647867B2 (ja) 2013-01-24 2014-01-24 アニメーションのモーションシーケンスを生成するための方法、システム及びコンピュータ読み取り可能な記録媒体
JP2018153483A Pending JP2018198083A (ja) 2013-01-24 2018-08-17 アニメーションのモーションシーケンスを生成するための方法、システム及びコンピュータ読み取り可能な記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015555106A Active JP6647867B2 (ja) 2013-01-24 2014-01-24 アニメーションのモーションシーケンスを生成するための方法、システム及びコンピュータ読み取り可能な記録媒体

Country Status (6)

Country Link
US (1) US10037619B2 (ja)
EP (1) EP2950274B1 (ja)
JP (2) JP6647867B2 (ja)
KR (2) KR20140095414A (ja)
CN (1) CN104969263B (ja)
WO (1) WO2014116056A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734618B2 (en) * 2013-11-25 2017-08-15 Autodesk, Inc. Animating sketches via kinetic textures
USD906348S1 (en) * 2014-11-26 2020-12-29 Intergraph Corporation Computer display screen or portion thereof with graphic
WO2017164511A1 (ko) * 2016-03-25 2017-09-28 (주) 애니펜 애니메이션을 저작하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
US10551993B1 (en) * 2016-05-15 2020-02-04 Google Llc Virtual reality content development environment
KR101947160B1 (ko) * 2018-06-20 2019-02-12 (주)코딩앤플레이 증강현실을 이용한 코딩교육 방법
WO2020130692A1 (ko) * 2018-12-19 2020-06-25 (주) 애니펜 애니메이션 시퀀스를 생성하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20210101518A (ko) * 2020-02-10 2021-08-19 삼성전자주식회사 Ar 객체를 배치하는 방법 및 전자 장치
US11462016B2 (en) * 2020-10-14 2022-10-04 Meta Platforms Technologies, Llc Optimal assistance for object-rearrangement tasks in augmented reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010108319A (ja) * 2008-10-30 2010-05-13 Kyushu Institute Of Technology 描画制御装置、描画制御方法及び描画制御プログラム
JP2011050724A (ja) * 2009-08-04 2011-03-17 Smile-Lab Co Ltd 仮想モデル表示システム、及び仮想モデル表示方法
US20130141427A1 (en) * 2011-11-18 2013-06-06 Lucasfilm Entertainment Company Ltd. Path and Speed Based Character Control
JP2013530457A (ja) * 2010-05-25 2013-07-25 ウン ジョン、ジェ アニメーション著作システムおよびアニメーション著作方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100436816B1 (ko) * 2001-12-28 2004-06-23 한국전자통신연구원 3차원 캐릭터 애니메이션 제작 방법 및 시스템
JP3835346B2 (ja) * 2002-05-21 2006-10-18 株式会社セガ ゲームプログラム及び記録媒体及びビデオゲーム装置
US7382373B2 (en) * 2003-12-19 2008-06-03 Intel Corporation Method and apparatus for producing animation
US20060274070A1 (en) * 2005-04-19 2006-12-07 Herman Daniel L Techniques and workflows for computer graphics animation system
KR100623173B1 (ko) * 2005-08-02 2006-09-12 엔에이치엔(주) 게임 캐릭터 애니메이션 구현 시스템, 구현 방법 및 제작방법
KR100860375B1 (ko) * 2006-12-05 2008-09-25 한국전자통신연구원 캐릭터 애니메이션과 메쉬 변형을 이용한 카툰 애니메이션제작 방법 및 시스템
JP5044503B2 (ja) * 2008-08-06 2012-10-10 株式会社河合楽器製作所 演出画像再生装置、演出画像再生方法、演出画像再生プログラム及び記録媒体
US20110012903A1 (en) * 2009-07-16 2011-01-20 Michael Girard System and method for real-time character animation
KR20110045719A (ko) * 2009-10-27 2011-05-04 주식회사 숀픽쳐스 애니메이션 제작방법과 이 제작방법을 실행하기 위한 프로그램이 저장된 컴퓨터로 판독할 수 있는 기록매체 및 이를 이용한 온라인상에서의 애니메이션 제작 시스템
JP2011159163A (ja) * 2010-02-02 2011-08-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
CN101853503A (zh) * 2010-04-26 2010-10-06 华中科技大学 一种谱线拐点多尺度寻优分段方法及其应用
US20120122570A1 (en) * 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
CN102831401B (zh) * 2012-08-03 2016-01-13 樊晓东 对无特定标记目标物体跟踪、三维叠加及交互的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010108319A (ja) * 2008-10-30 2010-05-13 Kyushu Institute Of Technology 描画制御装置、描画制御方法及び描画制御プログラム
JP2011050724A (ja) * 2009-08-04 2011-03-17 Smile-Lab Co Ltd 仮想モデル表示システム、及び仮想モデル表示方法
JP2013530457A (ja) * 2010-05-25 2013-07-25 ウン ジョン、ジェ アニメーション著作システムおよびアニメーション著作方法
US20130141427A1 (en) * 2011-11-18 2013-06-06 Lucasfilm Entertainment Company Ltd. Path and Speed Based Character Control

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JAEWOONG JEON: "A sketch interface to empower novices to create 3D animations", COMPUTER ANIMATION AND VIRTUAL WORLDS, JPN6018000412, 29 May 2010 (2010-05-29), pages 423 - 432, XP055253833, ISSN: 0004264732, DOI: 10.1002/cav.353 *

Also Published As

Publication number Publication date
US20160005207A1 (en) 2016-01-07
JP6647867B2 (ja) 2020-02-14
KR20150067096A (ko) 2015-06-17
JP2016509722A (ja) 2016-03-31
KR20140095414A (ko) 2014-08-01
CN104969263A (zh) 2015-10-07
EP2950274A4 (en) 2016-07-27
CN104969263B (zh) 2019-01-15
EP2950274A1 (en) 2015-12-02
WO2014116056A1 (ko) 2014-07-31
KR101575092B1 (ko) 2015-12-08
EP2950274B1 (en) 2021-04-14
US10037619B2 (en) 2018-07-31

Similar Documents

Publication Publication Date Title
JP2018198083A (ja) アニメーションのモーションシーケンスを生成するための方法、システム及びコンピュータ読み取り可能な記録媒体
KR102606618B1 (ko) 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들
KR102387897B1 (ko) 시맨틱 카드 뷰 제공 기법
US10572134B2 (en) Method and system for providing prototyping tool, and non-transitory computer-readable recording medium
KR20160003683A (ko) 시각화된 데이터를 상호작용에 기초하여 자동으로 조작하는 기법
JP6352275B2 (ja) 群集アニメーションを生成するための方法、システムおよびコンピュータ読取可能な記録媒体
US8427502B2 (en) Context-aware non-linear graphic editing
Stannus et al. Gestural navigation in google earth
KR20180096857A (ko) 멀티미디어 콘텐츠의 재생을 제어하기 위한 방법 및 시스템
US20110239147A1 (en) Digital apparatus and method for providing a user interface to produce contents
KR101809601B1 (ko) 애니메이션 제작 장치 및 방법
US11262885B1 (en) Multi-gesture context chaining
US20220179552A1 (en) Gesture-based menuless command interface
WO2022218146A1 (en) Devices, methods, systems, and media for an extended screen distributed user interface in augmented reality
US20180089877A1 (en) Method and apparatus for producing virtual reality content
KR101979754B1 (ko) 애니메이션을 저작하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR102427787B1 (ko) 애니메이션을 저작하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
US11765333B1 (en) Systems and methods for improved transitions in immersive media
KR20220073476A (ko) 직관적 사용이 가능한 가상현실 컨텐츠 제작방법 및 장치
KR20230137683A (ko) 대화 주제에 기초한 가상 화면 표시 방법 및 시스템
KR20240068272A (ko) 인스턴트 메시징 서비스에서 프로필 뷰를 표시하는 방법
CN105740216A (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180914

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200519