JP2022025464A - アニメーション制作システム - Google Patents

アニメーション制作システム Download PDF

Info

Publication number
JP2022025464A
JP2022025464A JP2020128297A JP2020128297A JP2022025464A JP 2022025464 A JP2022025464 A JP 2022025464A JP 2020128297 A JP2020128297 A JP 2020128297A JP 2020128297 A JP2020128297 A JP 2020128297A JP 2022025464 A JP2022025464 A JP 2022025464A
Authority
JP
Japan
Prior art keywords
user
track
character
controller
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020128297A
Other languages
English (en)
Inventor
義仁 近藤
Yoshihito Kondo
雅人 室橋
Masato Murohashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anicast RM Inc
Original Assignee
Anicast RM Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anicast RM Inc filed Critical Anicast RM Inc
Priority to JP2020128297A priority Critical patent/JP2022025464A/ja
Priority to US17/007,998 priority patent/US11586278B2/en
Publication of JP2022025464A publication Critical patent/JP2022025464A/ja
Priority to US18/156,866 priority patent/US20230152884A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】仮想空間内でアニメーションを撮影することができるようにする。【解決手段】上記課題を解決するための本発明の主たる発明は、所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、ヘッドマウントディスプレイを装着するユーザの動作を検出し、前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、前記オブジェクトの動作を撮影し、前記撮影されたオブジェクトの動作に関するアクションデータを第１のトラックに格納し、ユーザによる音声を第２のトラックに格納すること、を含む。【選択図】図１

Description

本発明は、アニメーション制作システムに関する。
仮想空間内に仮想カメラを配置することが行われている（特許文献１参照）。
特開２０１７－１４６６５１号公報
仮想空間内でアニメーションを撮影しようとする取り組みが行われてこなかった。
本発明はこのような背景を鑑みてなされたものであり、仮想空間内でアニメーションを撮影することのできる技術を提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、ヘッドマウントディスプレイを装着するユーザの動作を検出し、前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、前記オブジェクトの動作を撮影し、前記撮影されたオブジェクトの動作に関するアクションデータを第１のトラックに格納し、ユーザによる音声を第２のトラックに格納すること、を含む。
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
本発明によれば、仮想空間内でアニメーションを撮影することができる。
本実施形態のアニメーション制作システムにおいてユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に表示される仮想空間の一例を示す図である。 本発明の一実施形態に係るアニメーション制作システム３００の全体構成例を示す図である。 本実施形態に係るヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図を示す。 本実施形態に係るコントローラ２１０の外観の模式図を示す。 本実施形態に係るＨＭＤ１１０の機能構成図を示す。 本実施形態に係るコントローラ２１０の機能構成図を示す。 本実施形態に係る画像生成装置３１０の機能構成図を示す。 本発明の実施形態に係る、トラック生成処理の一例を説明するフローチャートである。 本発明の実施形態に係る、トラック生成を説明する図である。
本発明の実施形態の内容を列記して説明する。本発明の実施の形態によるアニメーション制作方法は、以下のような構成を備える。
［項目１］
所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、
ヘッドマウントディスプレイを装着するユーザの動作を検出し、
前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、
前記オブジェクトの動作を撮影し、
前記撮影されたオブジェクトの動作に関するアクションデータを第１のトラックに格納し、
ユーザによる音声を第２のトラックに格納すること、
を含む方法。
［項目２］
前記第１のトラック及び第２のトラックを複数のユーザ端末で共有することを含む、項目１に記載の方法。
本発明の一実施形態に係るアニメーション制作システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
＜概要＞
図１は、本実施形態のアニメーション制作システムにおいてユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に表示される仮想空間の一例を示す図である。本実施形態のアニメーション制作システムでは、仮想空間１にキャラクタ４とカメラ３とを配置し、カメラ３を用いてキャラクタ４を撮影する。また、仮想空間１にはカメラマン２が配置され、カメラマン２によりカメラ３が仮想的に操作される。本実施形態のアニメーション制作システムでは、ユーザは、図１に示すように仮想空間１をＴＰＶ（Third Person View；三人称視点）で俯瞰しながらキャラクタ４やカメラ３を配置したり、カメラマン２としてＦＰＶ（First Person View；一人称支援）でキャラクタ４を撮影したり、ＦＰＶでキャラクタ４の演技を行ったりしながら、アニメーションを制作していく。また、仮想空間１内には複数のキャラクタ（図１の例では、キャラクタ４およびキャラクタ５）を配置することができ、ユーザは、キャラクタ４とキャラクタ５とにそれぞれ憑依しながら演技を行うことができる。すなわち、本実施形態のアニメーション制作システムでは、一人が何役もの役割（ロール）を果たすことができる。また、カメラマン２としてカメラ２を仮想的に操作しながら撮影を行うことができるので、自然なカメラワークを実現することが可能となり、撮影される動画の表現を豊かにすることができる。
＜全体構成＞
図２は、本発明の一実施形態に係るアニメーション制作システム３００の全体構成例を示す図である。アニメーション制作システム３００は、例えば、ＨＭＤ１１０、コントローラ２１０及びホストコンピュータとして機能する画像生成装置３１０からなるユーザ端末４１０Ａを含んで構成することができる。アニメーション制作システム３００には、ＨＭＤ１１０やコントローラ２１０の位置、向き及び傾き等を検出するための赤外線カメラ（図示せず）等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にＵＳＢポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、ＨＤＭＩ、有線ＬＡＮ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の有線又は無線により通信を確立することもできる。画像生成装置３１０は、ＰＣ、ゲーム機、携帯通信端末等、計算処理機能を有する装置であればよい。また、ユーザ端末４１０Ａは、ネットワーク等を介して他のユーザ端末４１０Ｂ、４１０Ｃを接続することができる。他のユーザ端末４１０Ｂ、４１０Ｃは、ユーザ端末４１０Ａ同様にＨＭＤ及び／またはコントローラを含んで構成されても良いし、ＰＣ、ゲーム機、携帯通信端末等、計算処理機能を有する装置を最低限含む構成であればよい。
＜ＨＭＤ１１０＞
図３は、本実施形態に係るヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図を示す。図５は、本実施形態に係るＨＭＤ１１０の機能構成図を示す。ＨＭＤ１１０はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル１２０を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル１２０には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
ＨＭＤ１１０の筐体部１３０は、センサ１４０を備える。センサ１４０は、ユーザの頭部の向きや傾きといった動作を検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。ユーザの頭部の垂直方向をＹ軸とし、Ｙ軸と直交する軸のうち、表示パネル１２０の中心とユーザとを結ぶ、ユーザの前後方向に相当する軸をＺ軸とし、Ｙ軸及びＺ軸と直交し、ユーザの左右方向に相当する軸をＸ軸とするとき、センサ１４０は、Ｘ軸まわりの回転角（いわゆる、ピッチ角）、Ｙ軸まわりの回転角（いわゆる、ヨー角）、Ｚ軸まわりの回転角（いわゆる、ロール角）を検出することができる。
センサ１４０に代えて、またはセンサ１４０に加えて、ＨＭＤ１１０の筐体部１３０は、複数の光源１５０（例えば、赤外光ＬＥＤ、可視光ＬＥＤ）を備えることもできる。ＨＭＤ１１０の外部（例えば、室内等）に設置されたカメラ（例えば、赤外光カメラ、可視光カメラ）がこれらの光源を検出することで、特定の空間におけるＨＭＤ１１０の位置、向き、傾きを検出することができる。または、同じ目的で、ＨＭＤ１１０に、ＨＭＤ１１０の筐体部１３０に設置された光源を検出するためのカメラを備えることもできる。
ＨＭＤ１１０の筐体部１３０は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、ユーザの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。
＜コントローラ２１０＞
図４は、本実施形態に係るコントローラ２１０の外観の模式図を示す。図６は、本実施形態に係るコントローラ２１０の機能構成図を示す。コントローラ２１０により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができる。左手用コントローラ２２０及び右手用コントローラ２３０は、各々操作用トリガーボタン２４０、赤外線ＬＥＤ２５０、センサ２６０、ジョイスティック２７０、メニューボタン２８０を有することができる。
操作用トリガーボタン２４０は、コントローラ２１０のグリップ２３５を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に２４０ａ、２４０ｂとして配置される。コントローラ２１０の両側面から下方にリング状に形成されるフレーム２４５には、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。
また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動作を検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ２１０の上面には、ジョイスティック２７０及びメニューボタン２８０を備えることができる。ジョイスティック２７０は、基準点を中心に３６０度方向に動かすことができ、コントローラ２１０のグリップ２３５を把持したときに、親指で操作されることが想定される。メニューボタン２８０もまた同様に、親指で操作されることが想定される。さらに、コントローラ２１０は、コントローラ２１０を操作するユーザの手に振動を与えるためのバイブレータ（図示せず）を内蔵することもできる。ボタンやジョイスティックを介したユーザの入力内容やセンサ等を介したコントローラ２１０の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ２１０は、入出力部及び通信部を有する。
ユーザがコントローラ２１０を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線ＬＥＤやセンサにより検出される情報によって、システムはユーザの手の動作や姿勢を決定し、仮想空間内において擬似的にユーザの手を表示させ、動作させることができる。
＜画像生成装置３１０＞
図７は、本実施形態に係る画像生成装置３１０の機能構成図を示す。画像生成装置３１０としては、ＨＭＤ１１０やコントローラ２１０から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動作やコントローラの動作や操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、ＰＣ、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置３１０は、例えば、ＨＭＤ１１０やコントローラ２１０等の周辺装置との有線による接続を確立するための入出力部３２０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部３３０を備えることができる。入出力部３２０及び／又は通信部３３０を介して、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やコントローラの動作や操作に関する情報は、制御部３４０において、ユーザの位置、視線、姿勢等の動作、発話、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部３５０に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部３４０は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置３１０はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
制御部３４０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やユーザの発話、また、コントローラの動作や操作に関する情報を検出するユーザ入力検出部４１０と、予め記憶部３５０のキャラクタデータ格納部４４０に格納されたキャラクタに対して、制御プログラム格納部に格納された制御プログラムを実行するキャラクタ制御部４２０と、キャラクタ制御に基づいて画像を生成する画像生成部４３０を有する。ここでキャラクタの動作の制御については、ＨＭＤ１１０やコントローラ２１０を介して検出されたユーザ頭部の向きや傾き、手の動作といった情報を、人間の身体の関節の動作や制約に則って作成されたボーン構造の各部の動作に変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動作を適用させることで実現される。さらに、制御部３４０は、画像生成されたキャラクタをトラックに録画し、再生する録画再生実行部４４０と、各トラックを編集し、最終コンテンツを生成する編集実行部４５０とを有する。さらに、制御部３４０は、ユーザの発話に基づいて音声を録音する、録音再生実行部４６０を有する。
記憶部３５０は、キャラクタのイメージデータのほか、キャラクタの属性等キャラクタに関連する情報を格納するキャラクタデータ格納部５１０を有する。また、制御プログラム格納部５２０は、仮想空間におけるキャラクタの動作や表情を制御するためのプログラムを格納する。また、記憶部３５０は、画像生成部６３０で生成される動画像におけるキャラクタの動きを制御するパラメータで構成されるアクションデータ、及びユーザの音声及び／またはリップシンクに関するモーションデータを格納するトラック格納部５３０を有する。
図８は、本発明の実施形態に係る、トラック生成処理の一例を説明するフローチャートである。
まず、画像生成装置３１０の制御部３４０の録画再生実行部４４０は、仮想空間における、第１のキャラクタによる動作に関連する動画像のアクションデータを、トラック格納部５３０の第１のトラックに格納するための録画を開始する（Ｓ１０１）。ここで、キャラクタを撮影するカメラの位置、カメラの視点（例えば、ＦＰＶ、ＴＰＶ等）を設定することもできる。例えば、図１に示す仮想空間１において、第１のキャラクタに対応するキャラクタ４に対し、カメラマン２が配置される位置、また、カメラ３のアングルを設定することができる。録画開始操作は、コントローラ２１０等のリモートコントローラによって指示されてもよく、他の端末によって指示されてもよい。また、本操作は、ＨＭＤ１１０を装着し、コントローラ２１０を操作する、キャラクタを演じるユーザによって行われてもよく、または、キャラクタを演じるユーザ以外のユーザによって行われてもよい。また、後述のキャラクタを演じるユーザによる動作を検出することに基づいて録画処理を自動的に開始してもよい。
続いて、制御部３４０のユーザ入力検出部４１０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やユーザの発話、また、コントローラの動作や操作に関する情報を検出する（Ｓ１０２）。例えば、ＨＭＤ１１０を装着するユーザが、頭部を傾けるとＨＭＤ１１０に備えられるセンサ１４０が、その傾きを検出し、傾きに関する情報を画像生成装置３１０に送信する。画像生成装置３１０は、通信部３３０を介して、ユーザの動作に関する情報を受信し、ユーザ入力検出部４１０は、受信した情報を基にユーザの頭部の動作を検出する。また、ユーザが、コントローラ２１０を使って、コントローラ２１０を持ち上げたり、ボタンを押下したりする等の所定の動作や操作を行ったとき、コントローラに備えられたセンサ２６０がその動作及び／または操作を検出し、動作及び／または操作に関する情報を画像生成装置３１０に送信する。画像生成装置３１０は、通信部３３０を介して、ユーザのコントローラ動作や操作に関する情報を受信し、ユーザ入力検出部４１０は、受信した情報を基にユーザのコントローラ動作や操作を検出する。
続いて、制御部３４０のキャラクタ制御部４２０は、検出したユーザの動作に基づいて仮想空間内における第１のキャラクタの動作を制御する（Ｓ１０３）。例えば、ユーザが頭部を傾ける動作を検出したことに基づいて、キャラクタ制御部４２０は、第１のキャラクタの頭部を傾けるよう制御する。また、ユーザがコントローラを持ち上げ、コントローラの所定のボタンを押下したことを検出したことに基づいて、キャラクタ制御部４２０は、第１のキャラクタの腕を上方向に伸ばしながら、何かを掴むよう制御する。このように、キャラクタ制御部４２０は、ユーザ入力検出部４１０が、ＨＭＤ１１０またはコントローラ２１０から送信されたユーザによる動作を検出する度に、第１のキャラクタが対応する動作を行うよう制御する。ユーザ入力検出部４１０によって検出された操作及び／または操作に関するパラメータを、トラック格納部５３０の第１のトラックに格納する格納する。また、ユーザ入力によらずに、キャラクタが所定の演技の動きを実行するよう制御することもでき、この所定の演技の動きに関するアクションデータを、図９（ａ）に示すように、第１のトラックに格納することもでき、または、ユーザによる動作と所定の動作に関するアクションデータを両方格納することもできる。
続いて、録画再生実行部４４０は、ユーザから録画終了の指示を受け付けたかを確認し（Ｓ１０４）、録画終了の指示を受け付けたときには、第１のキャラクタに関連する第１のトラックの録画を完了する（Ｓ１０５）。録画再生実行部４４０は、ユーザから録画終了の指示を受け付けない限り、録画処理を継続する。ここで、録画再生実行部４４０は、キャラクタを演じるユーザによる動作を検出しなくなったときに、自動的に録画を完了する処理を行うこともできる。
続いて、録音再生実行部４６０は、トラック格納部５３０の第２のトラックに格納するための録音を開始する（Ｓ１０６）。ここで、録音する音声は、上記格納したアクションデータにより実現されるキャラクタ動作に対応して、キャラクタの台詞を仮で録音したり、カメラワークや演出上の指導を録音したり、様々な用途が想定される。例えば、図１に示す仮想空間１において、カメラ３からＴＰＶ視点で俯瞰するように、第１のキャラクタに対応するキャラクタ４に対するカメラ視点を設定し、第１のトラックの再生処理を行い、キャラクタ４の動作を確認しながら、図９（ｂ）に示すような、第２のトラックに録音を行うことができる。録音開始操作は、コントローラ２１０等のリモートコントローラによって指示されてもよく、他の端末によって指示されてもよい。また、本操作は、キャラクタを演じるユーザによって行われてもよく、または、キャラクタを演じるユーザ以外のユーザによって行われてもよい。また、キャラクタを演じるユーザによる発話を検出することに基づいて録音処理を自動的に開始してもよい。
続いて、制御部３４０の録音再生実行部４６０は、ＨＭＤ１１０または（図示しない）マイクから受信されたユーザの発話に関する音声情報を、ユーザ入力検出部４１０を介して検出し、第２のトラックに録音する（Ｓ１０７）。ここで、ユーザは、上記第１のキャラクタを演じるユーザと同じユーザであってもよく、異なるユーザであってもよい。または、ユーザによる音声入力を、画像生成装置３１０の入出力部３２０に入力されるマイク等の集音手段を介して受け付けることもできる。
続いて、録音再生実行部４６０は、ユーザから録音終了の指示を受け付けたかを確認し（Ｓ１０８）、録画終了の指示を受け付けたときには、第２のトラックの録音を完了する（Ｓ１０９）。録音再生実行部４６０は、ユーザから録音終了の指示を受け付けない限り、録音処理を継続する。ここで、録音再生実行部４４０は、キャラクタを演じるユーザによる動作を検出しなくなったときに、自動的に録音を完了する処理を行うこともできる。また、ユーザによる指示を受けつけるのではなく、タイマーを作動させることで所定の時間に録画終了の処理を実行することもできる。
以上、図８を用いてトラック生成処理の手順を説明したが、ここで、Ｓ１０７乃至Ｓ１０９の処理について、ユーザの音声を第２のトラックに録音する代わりに、または、さらに追加して、ユーザの音声に基づいて、対応するリップシンク（キャラクタの唇の動き）に関するパラメータで構成されるモーションデータを格納することもできる。リップシンクに関するモーションデータを録音とともに格納する場合においては、Ｓ１０８、Ｓ１０９において、ユーザによる音声を検出しなくなったときにモーションデータの格納を中止することができる。
また、Ｓ１０１乃至Ｓ１０６の第１のトラック録画をスキップして、Ｓ１０７以降の録音処理を実行することもできる。また、リップシンクに関するモーションデータを格納する場合も同様である。
また、ユーザは、第一のトラック及び第二トラックを、声優等の他のユーザ端末（例えば、図２のユーザ端末４１０Ｂまたは４１０Ｃ）に送信し、他のユーザは、仮で録音されたキャラクタの音声を参照しながら、さらに、キャラクタ音声を録音することができる。また、他のユーザが編集者である場合には、共有された第二のトラックの録音された演出等の指示内容を参照しながら、第一のトラックのカメラアングルやキャラクタの動作等の編集を行うこともできる。
また、本実施形態のアニメーション制作システムを用いることにより、いわゆるアジャイルな手法によりアニメーションを制作することができる。すなわち、短期間でのイテレーションを繰り返し、出来上がりを確認しながら、必要に応じて撮り直しや追録を行ってシーンを完成させていくことができる。これにより制作の方向性を確認しながら、迅速かつ柔軟にアニメーションを制作していくことが可能になる。また、１シーンを表現可能な一部のみをトラックに収録し、後からトラックを重ねていくことによりアニメーションを仕上げることもできる。例えば、絵コンテの制作を省略し、絵コンテ代わりに、監督や演出家、シナリオライタが仮想空間１内でのキャラクタ４を操作してトラックに記録し、演者はその録画されたトラックを確認しながら演じることも可能になる。また、例えば、矛盾の生じたシーンを前に戻って取り直すことも容易に行うことができる。また、いろいろなカットをトラックに録音及び録画を非同期で行うことができるので、スケジュール管理が容易になる。
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
例えば、本実施形態において、トラック生成方法及び編集方法につき、キャラクタを例に説明したが、キャラクタに限らず、キャラクタを含む、動作を伴うオブジェクト（乗り物、構造物、物品等）に本実施形態に開示される方法を適用することもできる。
また、例えば、本実施形態において、画像生成装置３１０をＨＭＤ１１０とは別個のものとして記載したが、画像生成装置３１０によって提供される、全部または一部の構成及び機能をＨＭＤ１１０に備えることもできる。
１ 仮想空間
２ カメラマン
３ カメラ
４ キャラクタ
５ キャラクタ
１１０ ＨＭＤ
２１０ コントローラ
３１０ 画像生成装置
４１０ ユーザ端末

Claims (2)

  1. 所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、
    ヘッドマウントディスプレイを装着するユーザの動作を検出し、
    前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、
    前記オブジェクトの動作を撮影し、
    前記撮影されたオブジェクトの動作に関するアクションデータを第１のトラックに格納し、
    ユーザによる音声を第２のトラックに格納すること、
    を含む方法。
  2. 前記第１のトラックまたは第２のトラックを、複数のユーザ端末で共有すること、を含む方法。
JP2020128297A 2020-07-29 2020-07-29 アニメーション制作システム Pending JP2022025464A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020128297A JP2022025464A (ja) 2020-07-29 2020-07-29 アニメーション制作システム
US17/007,998 US11586278B2 (en) 2020-07-29 2020-08-31 Animation production system
US18/156,866 US20230152884A1 (en) 2020-07-29 2023-01-19 Animation production system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020128297A JP2022025464A (ja) 2020-07-29 2020-07-29 アニメーション制作システム

Publications (1)

Publication Number Publication Date
JP2022025464A true JP2022025464A (ja) 2022-02-10

Family

ID=80004255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020128297A Pending JP2022025464A (ja) 2020-07-29 2020-07-29 アニメーション制作システム

Country Status (2)

Country Link
US (2) US11586278B2 (ja)
JP (1) JP2022025464A (ja)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4811381B2 (ja) * 2007-10-10 2011-11-09 ソニー株式会社 再生装置および再生方法、並びにプログラム
US9626786B1 (en) * 2010-07-19 2017-04-18 Lucasfilm Entertainment Company Ltd. Virtual-scene control device
KR102349716B1 (ko) * 2015-06-11 2022-01-11 삼성전자주식회사 영상 공유 방법 및 이를 수행하는 전자 장치
JP2017146651A (ja) 2016-02-15 2017-08-24 株式会社コロプラ 画像処理方法及び画像処理プログラム
US10551993B1 (en) * 2016-05-15 2020-02-04 Google Llc Virtual reality content development environment
KR102635437B1 (ko) * 2017-02-28 2024-02-13 삼성전자주식회사 콘텐츠 공유 방법 및 이를 지원하는 전자 장치
JP2018187298A (ja) * 2017-05-11 2018-11-29 グリー株式会社 ゲーム処理プログラム、ゲーム処理方法及びゲーム処理装置
KR101918853B1 (ko) * 2017-06-28 2018-11-15 민코넷주식회사 게임 리플레이 영상 생성 시스템
US10497182B2 (en) * 2017-10-03 2019-12-03 Blueprint Reality Inc. Mixed reality cinematography using remote activity stations
JP2022025465A (ja) * 2020-07-29 2022-02-10 株式会社AniCast RM アニメーション制作システム

Also Published As

Publication number Publication date
US20220035446A1 (en) 2022-02-03
US11586278B2 (en) 2023-02-21
US20230152884A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
JP6964302B2 (ja) アニメーション制作方法
JP7470344B2 (ja) アニメーション制作システム
JP7470345B2 (ja) アニメーション制作システム
US20220301249A1 (en) Animation production system for objects in a virtual space
US11321898B2 (en) Animation production system
JP2022153479A (ja) アニメーション制作システム
JP2022025468A (ja) アニメーション制作システム
JP2022025464A (ja) アニメーション制作システム
JP7390540B2 (ja) アニメーション制作システム
JP7218875B6 (ja) アニメーション制作システム
JP7218874B6 (ja) アニメーション制作システム
JPWO2021059372A1 (ja) アニメーション制作システム
WO2021059357A1 (ja) アニメーション制作システム
JPWO2021059356A1 (ja) アニメーション制作システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230331

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20240308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240528

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20241002