JP2023055752A - アニメーション制作システム - Google Patents
アニメーション制作システム Download PDFInfo
- Publication number
- JP2023055752A JP2023055752A JP2023005878A JP2023005878A JP2023055752A JP 2023055752 A JP2023055752 A JP 2023055752A JP 2023005878 A JP2023005878 A JP 2023005878A JP 2023005878 A JP2023005878 A JP 2023005878A JP 2023055752 A JP2023055752 A JP 2023055752A
- Authority
- JP
- Japan
- Prior art keywords
- user
- character
- track
- controller
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8541—Content authoring involving branching, e.g. to different story endings
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】仮想空間内でアニメーションを撮影することができるようにする。【解決手段】所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、ヘッドマウントディスプレイを装着するユーザの動作を検出し、前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、前記オブジェクトの動作を撮影し、前記撮影されたオブジェクトの動作に関するアクションデータを所定のトラックに格納すること、を含む。【選択図】図1
Description
本発明は、アニメーション制作システムに関する。
仮想空間内に仮想カメラを配置することが行われている(特許文献1参照)。
仮想空間内でアニメーションを撮影しようとする取り組みが行われてこなかった。
本発明はこのような背景を鑑みてなされたものであり、仮想空間内でアニメーションを撮影することのできる技術を提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、所定のオブジェクトが配置され仮想空間を提供する、アニメーション制作方法であって、ヘッドマウントディスプレイを装着するユーザの動作を検出し、前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、前記オブジェクトの動作を撮影し、前記撮影されたオブジェクトの動作を含む画像を所定のトラックに格納すること、を含む。
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
本発明によれば、仮想空間内でアニメーションを撮影することができる。
本発明の実施形態の内容を列記して説明する。本発明の実施の形態によるアニメーション制作方法は、以下のような構成を備える。
[項目1]
所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、
ヘッドマウントディスプレイを装着するユーザの動作を検出し、
前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、
前記オブジェクトの動作を撮影し、
前記撮影されたオブジェクトの動作に関するアクションデータを所定のトラックに格納すること、を含む方法。
[項目2]
前記所定のトラックは編集可能である、請求項1に記載の方法。
[項目3]
前記オブジェクトは第1のキャラクタであり、
前記トラックは第1のトラックであり、
さらに、
ヘッドマウントディスプレイを装着するユーザの第2の動作を検出し、
前記検出したユーザの第2の動作に基づいて、第2のキャラクタの動作を制御し、
前記第2のオブジェクトの動作を撮影し、
前記撮影された第2のキャラクタのアクションデータを第2のトラックに格納すること、を含み、前記仮想空間は、前記第1のトラック及び前記第2のトラックに格納されるアクションデータに各々対応するキャラクタの動きに関する画像で構成される、請求項1に記載の方法。
所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、
ヘッドマウントディスプレイを装着するユーザの動作を検出し、
前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、
前記オブジェクトの動作を撮影し、
前記撮影されたオブジェクトの動作に関するアクションデータを所定のトラックに格納すること、を含む方法。
[項目2]
前記所定のトラックは編集可能である、請求項1に記載の方法。
[項目3]
前記オブジェクトは第1のキャラクタであり、
前記トラックは第1のトラックであり、
さらに、
ヘッドマウントディスプレイを装着するユーザの第2の動作を検出し、
前記検出したユーザの第2の動作に基づいて、第2のキャラクタの動作を制御し、
前記第2のオブジェクトの動作を撮影し、
前記撮影された第2のキャラクタのアクションデータを第2のトラックに格納すること、を含み、前記仮想空間は、前記第1のトラック及び前記第2のトラックに格納されるアクションデータに各々対応するキャラクタの動きに関する画像で構成される、請求項1に記載の方法。
本発明の一実施形態に係るアニメーション制作システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
<概要>
図1は、本実施形態のアニメーション制作システムにおいてユーザが装着するヘッドマウントディスプレイ(HMD)に表示される仮想空間の一例を示す図である。本実施形態のアニメーション制作システムでは、仮想空間1にキャラクタ4とカメラ3とを配置し、カメラ3を用いてキャラクタ4を撮影する。また、仮想空間1にはカメラマン2が配置され、カメラマン2によりカメラ3が仮想的に操作される。本実施形態のアニメーション制作システムでは、ユーザは、図1に示すように仮想空間1をTPV(Third Person View;三人称視点)で俯瞰しながらキャラクタ4やカメラ3を配置したり、カメラマン2としてFPV(First Person View;一人称支援)でキャラクタ4を撮影したり、FPVでキャラクタ4の演技を行ったりしながら、アニメーションを制作していく。また、仮想空間1内には複数のキャラクタ(図1の例では、キャラクタ4およびキャラクタ5)を配置することができ、ユーザは、キャラクタ4とキャラクタ5とにそれぞれ憑依しながら演技を行うことができる。すなわち、本実施形態のアニメーション制作システムでは、一人が何役もの役割(ロール)を果たすことができる。また、カメラマン2としてカメラ2を仮想的に操作しながら撮影を行うことができるので、自然なカメラワークを実現することが可能となり、撮影される動画の表現を豊かにすることができる。
図1は、本実施形態のアニメーション制作システムにおいてユーザが装着するヘッドマウントディスプレイ(HMD)に表示される仮想空間の一例を示す図である。本実施形態のアニメーション制作システムでは、仮想空間1にキャラクタ4とカメラ3とを配置し、カメラ3を用いてキャラクタ4を撮影する。また、仮想空間1にはカメラマン2が配置され、カメラマン2によりカメラ3が仮想的に操作される。本実施形態のアニメーション制作システムでは、ユーザは、図1に示すように仮想空間1をTPV(Third Person View;三人称視点)で俯瞰しながらキャラクタ4やカメラ3を配置したり、カメラマン2としてFPV(First Person View;一人称支援)でキャラクタ4を撮影したり、FPVでキャラクタ4の演技を行ったりしながら、アニメーションを制作していく。また、仮想空間1内には複数のキャラクタ(図1の例では、キャラクタ4およびキャラクタ5)を配置することができ、ユーザは、キャラクタ4とキャラクタ5とにそれぞれ憑依しながら演技を行うことができる。すなわち、本実施形態のアニメーション制作システムでは、一人が何役もの役割(ロール)を果たすことができる。また、カメラマン2としてカメラ2を仮想的に操作しながら撮影を行うことができるので、自然なカメラワークを実現することが可能となり、撮影される動画の表現を豊かにすることができる。
<全体構成>
図2は、本発明の一実施形態に係るアニメーション制作システム300の全体構成例を示す図である。アニメーション制作システム300は、例えば、HMD110、コントローラ210及びホストコンピュータとして機能する画像生成装置310を含んで構成することができる。アニメーション制作システム300には、HMD110やコントローラ210の位置、向き及び傾き等を検出するための赤外線カメラ(図示せず)等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にUSBポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、HDMI、有線LAN、赤外線、Bluetooth(登録商標)、WiFi(登録商標)等の有線又は無線により通信を確立することもできる。画像生成装置310は、PC、ゲーム機、携帯通信端末等、計算処理機能を有する装置であればよい。
図2は、本発明の一実施形態に係るアニメーション制作システム300の全体構成例を示す図である。アニメーション制作システム300は、例えば、HMD110、コントローラ210及びホストコンピュータとして機能する画像生成装置310を含んで構成することができる。アニメーション制作システム300には、HMD110やコントローラ210の位置、向き及び傾き等を検出するための赤外線カメラ(図示せず)等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にUSBポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、HDMI、有線LAN、赤外線、Bluetooth(登録商標)、WiFi(登録商標)等の有線又は無線により通信を確立することもできる。画像生成装置310は、PC、ゲーム機、携帯通信端末等、計算処理機能を有する装置であればよい。
<HMD110>
図3は、本実施形態に係るヘッドマウントディスプレイ(以下:HMD)110の外観の模式図を示す。図5は、本実施形態に係るHMD110の機能構成図を示す。HMD110はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル120を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル120には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
図3は、本実施形態に係るヘッドマウントディスプレイ(以下:HMD)110の外観の模式図を示す。図5は、本実施形態に係るHMD110の機能構成図を示す。HMD110はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル120を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル120には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
HMD110の筐体部130は、センサ140を備える。センサ140は、ユーザの頭部の向きや傾きといった動作を検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。ユーザの頭部の垂直方向をY軸とし、Y軸と直交する軸のうち、表示パネル120の中心とユーザとを結ぶ、ユーザの前後方向に相当する軸をZ軸とし、Y軸及びZ軸と直交し、ユーザの左右方向に相当する軸をX軸とするとき、センサ140は、X軸まわりの回転角(いわゆる、ピッチ角)、Y軸まわりの回転角(いわゆる、ヨー角)、Z軸まわりの回転角(いわゆる、ロール角)を検出することができる。
センサ140に代えて、またはセンサ140に加えて、HMD110の筐体部130は、複数の光源150(例えば、赤外光LED、可視光LED)を備えることもできる。HMD110の外部(例えば、室内等)に設置されたカメラ(例えば、赤外光カメラ、可視光カメラ)がこれらの光源を検出することで、特定の空間におけるHMD110の位置、向き、傾きを検出することができる。または、同じ目的で、HMD110に、HMD110の筐体部130に設置された光源を検出するためのカメラを備えることもできる。
HMD110の筐体部130は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、ユーザの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。
<コントローラ210>
図4は、本実施形態に係るコントローラ210の外観の模式図を示す。図6は、本実施形態に係るコントローラ210の機能構成図を示す。コントローラ210により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。コントローラ210は、左手用220及び右手用230のコントローラのセットとして構成することができる。左手用コントローラ220及び右手用コントローラ230は、各々操作用トリガーボタン240、赤外線LED250、センサ260、ジョイスティック270、メニューボタン280を有することができる。
図4は、本実施形態に係るコントローラ210の外観の模式図を示す。図6は、本実施形態に係るコントローラ210の機能構成図を示す。コントローラ210により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。コントローラ210は、左手用220及び右手用230のコントローラのセットとして構成することができる。左手用コントローラ220及び右手用コントローラ230は、各々操作用トリガーボタン240、赤外線LED250、センサ260、ジョイスティック270、メニューボタン280を有することができる。
操作用トリガーボタン240は、コントローラ210のグリップ235を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に240a、240bとして配置される。コントローラ210の両側面から下方にリング状に形成されるフレーム245には、複数の赤外線LED250が備えられ、コントローラ外部に備えられるカメラ(図示せず)により、これらの赤外線LEDの位置を検出することで、特定の空間におけるコントローラ210の位置、向き及び傾きを検出することができる。
また、コントローラ210は、コントローラ210の向きや傾きといった動作を検出するために、センサ260を内蔵することができる。センサ260として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ210の上面には、ジョイスティック270及びメニューボタン280を備えることができる。ジョイスティック270は、基準点を中心に360度方向に動かすことができ、コントローラ210のグリップ235を把持したときに、親指で操作されることが想定される。メニューボタン280もまた同様に、親指で操作されることが想定される。さらに、コントローラ210は、コントローラ210を操作するユーザの手に振動を与えるためのバイブレータ(図示せず)を内蔵することもできる。ボタンやジョイスティックを介したユーザの入力内容やセンサ等を介したコントローラ210の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ210は、入出力部及び通信部を有する。
ユーザがコントローラ210を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線LEDやセンサにより検出される情報によって、システムはユーザの手の動作や姿勢を決定し、仮想空間内において擬似的にユーザの手を表示させ、動作させることができる。
<画像生成装置310>
図7は、本実施形態に係る画像生成装置310の機能構成図を示す。画像生成装置310としては、HMD110やコントローラ210から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動作やコントローラの動作や操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、PC、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置310は、例えば、HMD110やコントローラ210等の周辺装置との有線による接続を確立するための入出力部320を備えることができ、赤外線、Bluetooth(登録商標)やWiFi(登録商標)等無線による接続を確立するための通信部330を備えることができる。入出力部320及び/又は通信部330を介して、HMD110及び/又はコントローラ210から受信された、ユーザの頭部の動作やコントローラの動作や操作に関する情報は、制御部340において、ユーザの位置、視線、姿勢等の動作、発話や発音、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部350に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部340は、CPUで構成することもできるが、画像処理に特化したGPUをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置310はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
図7は、本実施形態に係る画像生成装置310の機能構成図を示す。画像生成装置310としては、HMD110やコントローラ210から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動作やコントローラの動作や操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、PC、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置310は、例えば、HMD110やコントローラ210等の周辺装置との有線による接続を確立するための入出力部320を備えることができ、赤外線、Bluetooth(登録商標)やWiFi(登録商標)等無線による接続を確立するための通信部330を備えることができる。入出力部320及び/又は通信部330を介して、HMD110及び/又はコントローラ210から受信された、ユーザの頭部の動作やコントローラの動作や操作に関する情報は、制御部340において、ユーザの位置、視線、姿勢等の動作、発話や発音、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部350に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部340は、CPUで構成することもできるが、画像処理に特化したGPUをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置310はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
制御部340は、HMD110及び/又はコントローラ210から受信された、ユーザの頭部の動作やユーザの発話や発音、また、コントローラの動作や操作に関する情報を検出するユーザ入力検出部410と、予め記憶部350のキャラクタデータ格納部440に格納されたキャラクタに対して、制御プログラム格納部に格納された制御プログラムを実行するキャラクタ制御部420と、キャラクタ制御に基づいて画像を生成する画像生成部430を有する。ここでキャラクタの動作の制御については、HMD110やコントローラ210を介して検出されたユーザ頭部の向きや傾き、手の動作といった情報を、人間の身体の関節の動作や制約に則って作成されたボーン構造の各部の動作に変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動作を適用させることで実現される。さらに、制御部340は、画像生成されたキャラクタをトラックに録画し、再生する録画再生実行部440と、各トラックを編集し、最終コンテンツを生成する編集実行部450とを有する。
記憶部350は、キャラクタのイメージデータのほか、キャラクタの属性等キャラクタに関連する情報を格納するキャラクタデータ格納部510を有する。また、制御プログラム格納部520は、仮想空間におけるキャラクタの動作や表情を制御するためのプログラムを格納する。また、記憶部350は、画像生成部630で生成される動画像におけるキャラクタの動きを制御するパラメータで構成されるアクションデータを格納するトラック格納部530を有する。
図8は、本発明の実施形態に係る、トラック生成処理の一例を説明するフローチャートである。
まず、画像生成装置310の制御部340の録画再生実行部440は、仮想空間における、第1のキャラクタによる動作に関連する動画像のアクションデータを、トラック格納部530の第1のトラックに格納するための録画を開始する(S101)。ここで、キャラクタを撮影するカメラの位置、カメラの視点(例えば、FPV、TPV等)を設定することもできる。例えば、図1に示す仮想空間1において、第1のキャラクタに対応するキャラクタ4に対し、カメラマン2が配置される位置、また、カメラ3のアングルを設定することができる。録画開始操作は、コントローラ210等のリモートコントローラによって指示されてもよく、他の端末によって指示されてもよい。また、本操作は、HMD110を装着し、コントローラ210を操作する、キャラクタを演じるユーザによって行われてもよく、または、キャラクタを演じるユーザ以外のユーザによって行われてもよい。また、後述のキャラクタを演じるユーザによる動作を検出することに基づいて録画処理を自動的に開始してもよい。
続いて、制御部340のユーザ入力検出部410は、HMD110及び/又はコントローラ210から受信された、ユーザの頭部の動作やユーザの発話や発音、また、コントローラの動作や操作に関する情報を検出する(S102)。例えば、HMD110を装着するユーザが、頭部を傾けるとHMD110に備えられるセンサ140が、その傾きを検出し、傾きに関する情報を画像生成装置310に送信する。画像生成装置310は、通信部330を介して、ユーザの動作に関する情報を受信し、ユーザ入力検出部410は、受信した情報を基にユーザの頭部の動作を検出する。また、ユーザが、コントローラ210を使って、コントローラ210を持ち上げたり、ボタンを押下したりする等の所定の動作や操作を行ったとき、コントローラに備えられたセンサ260がその動作及び/または操作を検出し、動作及び/または操作に関する情報を画像生成装置310に送信する。画像生成装置310は、通信部330を介して、ユーザのコントローラ動作や操作に関する情報を受信し、ユーザ入力検出部410は、受信した情報を基にユーザのコントローラ動作や操作を検出する。
続いて、制御部340のキャラクタ制御部420は、検出したユーザの動作に基づいて仮想空間内における第1のキャラクタの動作を制御する(S103)。例えば、ユーザが頭部を傾ける動作を検出したことに基づいて、キャラクタ制御部420は、第1のキャラクタの頭部を傾けるよう制御する。また、ユーザがコントローラを持ち上げ、コントローラの所定のボタンを押下したことを検出したことに基づいて、キャラクタ制御部420は、第1のキャラクタの腕を上方向に伸ばしながら、何かを掴むよう制御する。このように、キャラクタ制御部420は、ユーザ入力検出部410が、HMD110またはコントローラ210から送信されたユーザによる動作を検出する度に、第1のキャラクタが対応する動作を行うよう制御する。ユーザ入力検出部410によって検出された操作及び/または操作に関するパラメータを、トラック格納部530の第1のトラックに格納する格納する。また、ユーザ入力によらずに、キャラクタが所定の演技の動きを実行するよう制御することもでき、この所定の演技の動きに関するアクションデータを第1のトラックに格納することもでき、または、ユーザによる動作と所定の動作に関するアクションデータを両方格納することもできる。
続いて、録画再生実行部440は、ユーザから録画終了の指示を受け付けたかを確認し(S104)、録画終了の指示を受け付けたときには、第1のキャラクタに関連する第1のトラックの録画を完了する(S105)。録画再生実行部440は、ユーザから録画終了の指示を受け付けない限り、録画処理を継続する。ここで、録画再生実行部440は、キャラクタを演じるユーザによる動作を検出しなくなったときに、自動的に録画を完了する処理を行うこともできる。また、ユーザによる指示を受けつけるのではなく、タイマーを作動させることで所定の時間に録画終了の処理を実行することもできる。
続いて、録画再生実行部440は、仮想空間における、第2のキャラクタによる動作に関連する動画像のアクションデータを、トラック格納部530の第2のトラックに格納するための録画を開始する(S106)。ここで、キャラクタを撮影するカメラの位置、カメラの視点(例えば、FPV、TPV等)を設定することもできる。例えば、図1に示す仮想空間1において、第2のキャラクタに対応するキャラクタ5に対し、カメラマン2が配置される位置、また、カメラ3のアングルを設定することができる。例えば、ユーザは、キャラクタ5のFPVによりカメラ視点を設定し、第1のトラックの再生処理を行い、キャラクタ4の動作を確認しながら、キャラクタ5を演じるユーザは所望の動作を行うことができる。録画開始操作は、コントローラ210等のリモートコントローラによって指示されてもよく、他の端末によって指示されてもよい。また、本操作は、HMD110を装着し、コントローラ210を操作する、キャラクタを演じるユーザによって行われてもよく、または、キャラクタを演じるユーザ以外のユーザによって行われてもよい。また、後述のキャラクタを演じるユーザによる動作及び/または操作を検出することに基づいて録画処理を自動的に開始してもよい。
続いて、制御部340のユーザ入力検出部410は、HMD110及び/又はコントローラ210から受信された、ユーザの頭部の動作やユーザの発話や発音、また、コントローラの動作や操作に関する情報を検出する(S107)。ここで、ユーザは、上記第1のキャラクタを演じるユーザと同じユーザであってもよく、異なるユーザであってもよい。例えば、HMD110を装着するユーザが、頭部を傾けるとHMD110に備えられるセンサ140が、その傾きを検出し、傾きに関する情報を画像生成装置310に送信する。画像生成装置310は、通信部330を介して、ユーザの動作に関する情報を受信し、ユーザ入力検出部410は、受信した情報を基にユーザの頭部の動作を検出する。また、ユーザが、コントローラ210を使って、コントローラ210を持ち上げて左右に振ったり、ボタンを押下したりする等の所定の動作や操作を行ったとき、コントローラに備えられたセンサ260がその動作及び/または操作を検出し、動作及び/または操作に関する情報を画像生成装置310に送信する。画像生成装置310は、通信部330を介して、ユーザのコントローラ動作や操作に関する情報を受信し、ユーザ入力検出部410は、受信した情報を基にユーザのコントローラ動作や操作を検出する。
続いて、制御部340のキャラクタ制御部420は、検出したユーザの動作に基づいて仮想空間内における第2のキャラクタの動作を制御する(S108)。例えば、ユーザが頭部を傾ける動作を検出したことに基づいて、キャラクタ制御部420は、第2のキャラクタの頭部を傾けるよう制御する。また、ユーザがコントローラを持ち上げて左右に振ったり、コントローラの所定のボタンを押下したりしたことを検出したことに基づいて、キャラクタ制御部420は、第2のキャラクタの腕を振って、指を開くよう(すなわち、「バイバイ」をする動作)制御する。このように、キャラクタ制御部420は、ユーザ入力検出部410が、HMD110またはコントローラ210から送信されたユーザによる動作を検出する度に、第2のキャラクタが対応する動作を行うよう制御する。ユーザ入力検出部410によって検出された操作及び/または操作に関するパラメータを、トラック格納部530の第2のトラックに格納する。また、ユーザ入力によらずに、キャラクタが所定の演技の動きを実行するよう制御することもでき、この所定の演技の動きに関するアクションデータを第2のトラックに格納することもでき、または、ユーザによる動作と所定の動作に関するアクションデータを両方格納することもできる。
続いて、録画再生実行部440は、ユーザから録画終了の指示を受け付けたかを確認し(S109)、録画終了の指示を受け付けたときには、第2のキャラクタに関連する第2のトラックの録画を完了する(S110)。録画再生実行部440は、ユーザから録画終了の指示を受け付けない限り、録画処理を継続する。ここで、録画再生実行部440は、キャラクタを演じるユーザによる動作を検出しなくなったときに、自動的に録画を完了する処理を行うこともできる。
図9は、本発明の実施形態に係る、トラック編集処理の一例を説明するフローチャートである。
まず、画像生成装置310の制御部340の編集実行部450は、トラック格納部530に格納された、第1のトラックを編集する処理を行う(S201)。例えば、ユーザは、図10(a)に示すような、トラック編集用のユーザインターフェースを介して、第1のキャラクタに関連する第1のトラック(T1)を編集する。例えば、ユーザインターフェースには、時系列に沿って、第1のトラックが格納された領域が表示される。ユーザが、所望のバーを選択することで、格納された動画像のパラメータとキャラクタデータに基づき、キャラクタの3Dモデルがレンダリングされ、図1に示すような仮想空間内に配置されたキャラクタ(例えば、キャラクタ4)の動画像が再生される。なお、トラック編集用のユーザインターフェースとして、上記のような表示に限らず、例えば、トラック名とタイトル(例えば、「第1のキャラクタ」)をリスト形式で表示する方法も考えられる。その他、ユーザインターフェースとして、図10に示すようなトラックやリストを示すことなく、直接キャラクタの動画像が再生されるなかで編集を実行可能としたり、動画像のキーフレームが表示され、その中でユーザが編集対象となるキーフレームを選択することもできる。また、動画像として表示される3Dキャラクタのうち、編集対象として選択されたキャラクタの色を選択した時間だけ変更する等の処理を実行することもできる。
編集処理として、例えば、図1において、第1のキャラクタに対応するキャラクタ4の、仮想空間1における配置位置を変更したり、キャラクタ4の撮影位置及びアングルを変更するほか、撮影視点(FPV、TPV)を変更することが考えられる。また、時間の尺を変更したり、削除したりすることも考えられる。
また、編集処理として、キャラクタ4の動作の一部を変更するようにしてもよい。例えば、ユーザは、トラック(T1)で再生された第1のキャラクタについて、編集する対象となる身体の部位を指定し、指定した部位の動作のみを、コントローラ210やHMD110を用いた操作により動作させることができる。例えば、ユーザは、第1のキャラクタの腕を指定して、第1のキャラクタの動作を再生しながら、コントローラ210の操作により第1のキャラクタの腕のみを操作して、腕の動きを修正することができる。
次に、編集実行部450は、トラック格納部530に格納された、第2のトラックを編集する処理を行う(S202)。例えば、ユーザは、トラック編集用のユーザインターフェースを介して、第2のキャラクタに関連する第2のトラック(T2)を編集するオプション(図示せず)を選択し、図10(b)に示すような、ユーザインターフェースを介して、時系列に沿って、第2のトラックが格納される領域を示すバーを配置する。図10(b)に示すように、ユーザは、第2のトラックを第1のトラックと独立して編集しつつ、各トラックの再生タイミングの同期を図るなど、相対的に調整することが可能となる。同様に、ユーザは、他のトラック(例えば、第3のトラック(T3))を編集することができる。
編集処理として、例えば、図1において、第2のキャラクタに対応するキャラクタ5の、仮想空間1における配置位置を変更したり、キャラクタ5の撮影位置及びアングルを変更するほか、撮影視点(FPV、TPV)を変更することが考えられる。また、時間の尺を変更したり、削除したりすることも考えられる。ここで、編集処理として、ユーザは、仮想空間1上における、第1のキャラクタに対応するキャラクタ4に相対する、第2のキャラクタ5の配置位置を変更することができる。
さらに、編集処理として、各トラックの再生を行うことで、各トラックに対応するキャラクタの動作を含む動画像を、仮想空間内で再生することで、全体として仮想空間で実現されるアニメーション動画像を作成することができる。また、各トラックの再生することで、キャラクタの動きを再現するだけでなく、キャラクタの背景のセットを変えたり、キャラクタを含むオブヘクトを増減したり、ライティングの設定を変更したり、キャラクタの衣装を変更またはアクセサリをつけたり、キャラクタに対する風の風量、向きを変更したり、アクションデータをそのままにキャラクタを変更したりすることで、仮想空間で実現さえれるアニメーション動画像を編集することができる。
編集処理が終了後、編集実行部450は、ユーザの要求に応じて、または、自動的に編集内容を保存する(S203)。
なお、S201、S202の編集処理は、その順番を問わず実行することができ、前後に行き来することもできる。S203の保存処理は、S201、S202の編集が実行される都度実行することもできる。また、S201のみの編集で編集終了とすることもできる。
以上のように、本実施形態により、マルチトラックレコーディング(MTR)の方式をアニメーション制作に適用することで、ユーザ動作に連動したキャラクタ動作を各トラックに格納し、各トラック内または各トラック間で編集作業を行うことで簡易かつ効率的なアニメーション制作を実現することができる。
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
例えば、本実施形態において、トラック生成方法及び編集方法につき、キャラクタを例に説明したが、キャラクタに限らず、キャラクタを含む、動作を伴うオブジェクト(乗り物、構造物、物品等)に本実施形態に開示される方法を適用することもできる。
また、例えば、本実施形態において、画像生成装置310をHMD110とは別個のものとして記載したが、画像生成装置310によって提供される、全部または一部の構成及び機能をHMD110に備えることもできる。
1 仮想空間
2 カメラマン
3 カメラ
4 キャラクタ
5 キャラクタ
110 HMD
210 コントローラ
310 画像生成装置
2 カメラマン
3 カメラ
4 キャラクタ
5 キャラクタ
110 HMD
210 コントローラ
310 画像生成装置
Claims (3)
- 所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、
ヘッドマウントディスプレイを装着するユーザの動作を検出し、
前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、
前記オブジェクトの動作を撮影し、
前記撮影されたオブジェクトの動作に関するアクションデータを所定のトラックに格納すること、を含む方法。 - 前記所定のトラックは編集可能である、請求項1に記載の方法。
- 前記オブジェクトは第1のキャラクタであり、
前記トラックは第1のトラックであり、
さらに、
ヘッドマウントディスプレイを装着するユーザの第2の動作を検出し、
前記検出したユーザの第2の動作に基づいて、第2のキャラクタの動作を制御し、
前記第2のオブジェクトの動作を撮影し、
前記撮影された第2のキャラクタのアクションデータを第2のトラックに格納すること、を含み、前記仮想空間は、前記第1のトラック及び前記第2のトラックに格納されるアクションデータに各々対応するキャラクタの動きに関する画像で構成される、請求項1に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023005878A JP2023055752A (ja) | 2019-09-24 | 2023-01-18 | アニメーション制作システム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020541622A JP7218874B6 (ja) | 2019-09-24 | 2019-09-24 | アニメーション制作システム |
PCT/JP2019/037414 WO2021059362A1 (ja) | 2019-09-24 | 2019-09-24 | アニメーション制作システム |
JP2023005878A JP2023055752A (ja) | 2019-09-24 | 2023-01-18 | アニメーション制作システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020541622A Division JP7218874B6 (ja) | 2019-09-24 | 2019-09-24 | アニメーション制作システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023055752A true JP2023055752A (ja) | 2023-04-18 |
Family
ID=75165214
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020541622A Active JP7218874B6 (ja) | 2019-09-24 | 2019-09-24 | アニメーション制作システム |
JP2023005878A Pending JP2023055752A (ja) | 2019-09-24 | 2023-01-18 | アニメーション制作システム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020541622A Active JP7218874B6 (ja) | 2019-09-24 | 2019-09-24 | アニメーション制作システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220351445A1 (ja) |
JP (2) | JP7218874B6 (ja) |
WO (1) | WO2021059362A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59153346A (ja) * | 1983-02-21 | 1984-09-01 | Nec Corp | 音声符号化・復号化装置 |
JP4989605B2 (ja) * | 2008-10-10 | 2012-08-01 | 株式会社スクウェア・エニックス | 簡易アニメーション作成装置 |
JP6275759B2 (ja) * | 2016-03-14 | 2018-02-07 | 株式会社セルシス | 三次元コンテンツの生成方法、プログラム、及びクライアント装置 |
US20170329503A1 (en) * | 2016-05-13 | 2017-11-16 | Google Inc. | Editing animations using a virtual reality controller |
JP6526898B1 (ja) * | 2018-11-20 | 2019-06-05 | グリー株式会社 | 動画配信システム、動画配信方法、及び動画配信プログラム |
-
2019
- 2019-09-24 WO PCT/JP2019/037414 patent/WO2021059362A1/ja active Application Filing
- 2019-09-24 JP JP2020541622A patent/JP7218874B6/ja active Active
- 2019-09-24 US US16/977,069 patent/US20220351445A1/en not_active Abandoned
-
2023
- 2023-01-18 JP JP2023005878A patent/JP2023055752A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JPWO2021059362A1 (ja) | 2021-10-07 |
JP7218874B2 (ja) | 2023-02-07 |
WO2021059362A1 (ja) | 2021-04-01 |
US20220351445A1 (en) | 2022-11-03 |
JP7218874B6 (ja) | 2023-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7470345B2 (ja) | アニメーション制作システム | |
JP7470344B2 (ja) | アニメーション制作システム | |
JP7470346B2 (ja) | アニメーション制作システム | |
US20220301249A1 (en) | Animation production system for objects in a virtual space | |
JP2022153476A (ja) | アニメーション制作システム | |
US11321898B2 (en) | Animation production system | |
JP6964302B2 (ja) | アニメーション制作方法 | |
JP7218874B2 (ja) | アニメーション制作システム | |
JP2022025468A (ja) | アニメーション制作システム | |
JP7218875B2 (ja) | アニメーション制作システム | |
JP2022025467A (ja) | アニメーション制作システム | |
JP7390540B2 (ja) | アニメーション制作システム | |
JP7218873B2 (ja) | アニメーション制作システム | |
JP2022025464A (ja) | アニメーション制作システム |