JP2022153478A - アニメーション制作システム - Google Patents

アニメーション制作システム Download PDF

Info

Publication number
JP2022153478A
JP2022153478A JP2022113483A JP2022113483A JP2022153478A JP 2022153478 A JP2022153478 A JP 2022153478A JP 2022113483 A JP2022113483 A JP 2022113483A JP 2022113483 A JP2022113483 A JP 2022113483A JP 2022153478 A JP2022153478 A JP 2022153478A
Authority
JP
Japan
Prior art keywords
user
motion
character
controller
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022113483A
Other languages
English (en)
Other versions
JP2022153478A5 (ja
JP7470345B2 (ja
Inventor
義仁 近藤
Yoshihito Kondo
雅人 室橋
Masato Murohashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avex Technologies Inc
XVI Inc
Original Assignee
Avex Technologies Inc
XVI Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avex Technologies Inc, XVI Inc filed Critical Avex Technologies Inc
Priority to JP2022113483A priority Critical patent/JP7470345B2/ja
Publication of JP2022153478A publication Critical patent/JP2022153478A/ja
Publication of JP2022153478A5 publication Critical patent/JP2022153478A5/ja
Application granted granted Critical
Publication of JP7470345B2 publication Critical patent/JP7470345B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0136—Head-up displays characterised by optical features comprising binocular systems with a single image source for both eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2213/00—Indexing scheme for animation
    • G06T2213/08—Animation software package
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】仮想空間内でアニメーションを撮影することができるようにする。【解決手段】所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、ヘッドマウントディスプレイを装着するユーザの動作を検出し、前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、前記オブジェクトの動作を撮影し、前記撮影されたオブジェクトの動作を含む画像を所定のトラックに格納し、前記所定のトラックに格納されたオブジェクトの指の動作を変更すること、を含む。【選択図】図１

Description

本発明は、アニメーション制作システムに関する。
仮想空間内に仮想カメラを配置することが行われている（特許文献１参照）。
特開２０１７－１４６６５１号公報
仮想空間内でアニメーションを撮影しようとする取り組みが行われてこなかった。
本発明はこのような背景を鑑みてなされたものであり、仮想空間内でアニメーションを撮影することのできる技術を提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、ヘッドマウントディスプレイを装着するユーザの動作を検出し、前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、前記オブジェクトの動作を撮影し、前記撮影されたオブジェクトの動作を含む画像を所定のトラックに格納し、前記所定のトラックに格納されたオブジェクトの表情を変更すること、を含む。
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
本発明によれば、仮想空間内でアニメーションを撮影することができる。
本実施形態のアニメーション制作システムにおいてユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に表示される仮想空間の一例を示す図である。 本発明の一実施形態に係るアニメーション制作システム３００の全体構成例を示す図である。 本実施形態に係るヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図を示す。 本実施形態に係るコントローラ２１０の外観の模式図を示す。 本実施形態に係るＨＭＤ１１０の機能構成図を示す。 本実施形態に係るコントローラ２１０の機能構成図を示す。 本実施形態に係る画像生成装置３１０の機能構成図を示す。 本発明の実施形態に係る、トラック生成及び編集処理の一例を説明するフローチャートである。 本発明の実施形態に係る、指の制御を調整するコントロール画面の一例を説明する図である。 本発明の実施形態に係る、トラック編集用のユーザインターフェースの一例を説明する図である。
本発明の実施形態の内容を列記して説明する。本発明の実施の形態によるアニメーション制作方法は、以下のような構成を備える。
［項目１］
所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、
ヘッドマウントディスプレイを装着するユーザの動作を検出し、
前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、
前記オブジェクトの動作を撮影し、
前記撮影されたオブジェクトの動作に関するアクションデータを所定のトラックに格納し、
前記所定のトラックに格納されたオブジェクトの指の動作を変更すること、を含む方法。
［項目２］
前記変更されたオブジェクトの指の動作に関するアクションデータを前記トラックに保存することを含む、項目１に記載の方法。
本発明の一実施形態に係るアニメーション制作システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
＜概要＞
図１は、本実施形態のアニメーション制作システムにおいてユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に表示される仮想空間の一例を示す図である。本実施形態のアニメーション制作システムでは、仮想空間１にキャラクタ４とカメラ３とを配置し、カメラ３を用いてキャラクタ４を撮影する。また、仮想空間１にはカメラマン２が配置され、カメラマン２によりカメラ３が仮想的に操作される。本実施形態のアニメーション制作システムでは、ユーザは、図１に示すように仮想空間１をＴＰＶ（Third Person View；三人称視点）で俯瞰しながらキャラクタ４やカメラ３を配置したり、カメラマン２としてＦＰＶ（First Person View；一人称支援）でキャラクタ４を撮影したり、ＦＰＶでキャラクタ４の演技を行ったりしながら、アニメーションを制作していく。また、仮想空間１内には複数のキャラクタ（図１の例では、キャラクタ４およびキャラクタ５）を配置することができ、ユーザは、キャラクタ４とキャラクタ５とにそれぞれ憑依しながら演技を行うことができる。すなわち、本実施形態のアニメーション制作システムでは、一人が何役もの役割（ロール）を果たすことができる。また、カメラマン２としてカメラ２を仮想的に操作しながら撮影を行うことができるので、自然なカメラワークを実現することが可能となり、撮影される動画の表現を豊かにすることができる。
＜全体構成＞
図２は、本発明の一実施形態に係るアニメーション制作システム３００の全体構成例を示す図である。アニメーション制作システム３００は、例えば、ＨＭＤ１１０、コントローラ２１０及びホストコンピュータとして機能する画像生成装置３１０を含んで構成することができる。アニメーション制作システム３００には、ＨＭＤ１１０やコントローラ２１０の位置、向き及び傾き等を検出するための赤外線カメラ（図示せず）等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にＵＳＢポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、ＨＤＭＩ、有線ＬＡＮ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の有線又は無線により通信を確立することもできる。画像生成装置３１０は、ＰＣ、ゲーム機、携帯通信端末等、計算処理機能を有する装置であればよい。
＜ＨＭＤ１１０＞
図３は、本実施形態に係るヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図を示す。図５は、本実施形態に係るＨＭＤ１１０の機能構成図を示す。ＨＭＤ１１０はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル１２０を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル１２０には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
ＨＭＤ１１０の筐体部１３０は、センサ１４０を備える。センサ１４０は、ユーザの頭部の向きや傾きといった動作を検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。ユーザの頭部の垂直方向をＹ軸とし、Ｙ軸と直交する軸のうち、表示パネル１２０の中心とユーザとを結ぶ、ユーザの前後方向に相当する軸をＺ軸とし、Ｙ軸及びＺ軸と直交し、ユーザの左右方向に相当する軸をＸ軸とするとき、センサ１４０は、Ｘ軸まわりの回転角（いわゆる、ピッチ角）、Ｙ軸まわりの回転角（いわゆる、ヨー角）、Ｚ軸まわりの回転角（いわゆる、ロール角）を検出することができる。
センサ１４０に代えて、またはセンサ１４０に加えて、ＨＭＤ１１０の筐体部１３０は、複数の光源１５０（例えば、赤外光ＬＥＤ、可視光ＬＥＤ）を備えることもできる。ＨＭＤ１１０の外部（例えば、室内等）に設置されたカメラ（例えば、赤外光カメラ、可視光カメラ）がこれらの光源を検出することで、特定の空間におけるＨＭＤ１１０の位置、向き、傾きを検出することができる。または、同じ目的で、ＨＭＤ１１０に、ＨＭＤ１１０の筐体部１３０に設置された光源を検出するためのカメラを備えることもできる。
ＨＭＤ１１０の筐体部１３０は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、ユーザの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。
＜コントローラ２１０＞
図４は、本実施形態に係るコントローラ２１０の外観の模式図を示す。図６は、本実施形態に係るコントローラ２１０の機能構成図を示す。コントローラ２１０により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができる。左手用コントローラ２２０及び右手用コントローラ２３０は、各々操作用トリガーボタン２４０、赤外線ＬＥＤ２５０、センサ２６０、ジョイスティック２７０、メニューボタン２８０を有することができる。
操作用トリガーボタン２４０は、コントローラ２１０のグリップ２３５を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に２４０ａ、２４０ｂとして配置される。コントローラ２１０の両側面から下方にリング状に形成されるフレーム２４５には、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。
また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動作を検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ２１０の上面には、ジョイスティック２７０及びメニューボタン２８０を備えることができる。ジョイスティック２７０は、基準点を中心に３６０度方向に動かすことができ、コントローラ２１０のグリップ２３５を把持したときに、親指で操作されることが想定される。メニューボタン２８０もまた同様に、親指で操作されることが想定される。さらに、コントローラ２１０は、コントローラ２１０を操作するユーザの手に振動を与えるためのバイブレータ（図示せず）を内蔵することもできる。ボタンやジョイスティックを介したユーザの入力内容やセンサ等を介したコントローラ２１０の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ２１０は、入出力部及び通信部を有する。
ユーザがコントローラ２１０を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線ＬＥＤやセンサにより検出される情報によって、システムはユーザの手の動作や姿勢を決定し、仮想空間内において擬似的にユーザの手を表示させ、動作させることができる。
＜画像生成装置３１０＞
図７は、本実施形態に係る画像生成装置３１０の機能構成図を示す。画像生成装置３１０としては、ＨＭＤ１１０やコントローラ２１０から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動作やコントローラの動作や操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、ＰＣ、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置３１０は、例えば、ＨＭＤ１１０やコントローラ２１０等の周辺装置との有線による接続を確立するための入出力部３２０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部３３０を備えることができる。入出力部３２０及び／又は通信部３３０を介して、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やコントローラの動作や操作に関する情報は、制御部３４０において、ユーザの位置、視線、姿勢等の動作、発話、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部３５０に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部３４０は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置３１０はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
制御部３４０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やユーザの発話、また、コントローラの動作や操作に関する情報を検出するユーザ入力検出部４１０と、予め記憶部３５０のキャラクタデータ格納部４４０に格納されたキャラクタに対して、制御プログラム格納部に格納された制御プログラムを実行するキャラクタ制御部４２０と、キャラクタ制御に基づいて画像を生成する画像生成部４３０を有する。ここでキャラクタの動作の制御については、ＨＭＤ１１０やコントローラ２１０を介して検出されたユーザ頭部の向きや傾き、手の動作といった情報を、人間の身体の関節の動作や制約に則って作成されたボーン構造の各部の動作に変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動作を適用させることで実現される。さらに、制御部３４０は、画像生成されたキャラクタをトラックに録画し、再生する録画再生実行部４４０と、各トラックを編集し、最終コンテンツを生成する編集実行部４５０とを有する。
記憶部３５０は、キャラクタのイメージデータのほか、キャラクタの属性等キャラクタに関連する情報を格納するキャラクタデータ格納部５１０を有する。また、制御プログラム格納部５２０は、仮想空間におけるキャラクタの動作や表情を制御するためのプログラムを格納する。また、記憶部３５０は、画像生成部６３０で生成される動画像におけるキャラクタの動き（指や手の動きを含む）を制御するパラメータで構成されるアクションデータを格納するトラック格納部５３０を有する。
図８は、本発明の実施形態に係る、トラック生成及び編集処理の一例を説明するフローチャートである。
まず、画像生成装置３１０の制御部３４０の録画再生実行部４４０は、仮想空間における、第１のキャラクタによる動作に関連する動画像のアクションデータを、トラック格納部５３０の第１のトラックに格納するための録画を開始する（Ｓ１０１）。ここで、キャラクタを撮影するカメラの位置、カメラの視点（例えば、ＦＰＶ、ＴＰＶ等）を設定することもできる。例えば、図１に示す仮想空間１において、第１のキャラクタに対応するキャラクタ４に対し、カメラマン２が配置される位置、また、カメラ３のアングルを設定することができる。録画開始操作は、コントローラ２１０等のリモートコントローラによって指示されてもよく、他の端末によって指示されてもよい。また、本操作は、ＨＭＤ１１０を装着し、コントローラ２１０を操作する、キャラクタを演じるユーザによって行われてもよく、または、キャラクタを演じるユーザ以外のユーザによって行われてもよい。また、後述のキャラクタを演じるユーザによる動作を検出することに基づいて録画処理を自動的に開始してもよい。
続いて、制御部３４０のユーザ入力検出部４１０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やユーザの発話、また、コントローラの動作や操作に関する情報を検出する（Ｓ１０２）。例えば、ＨＭＤ１１０を装着するユーザが、頭部を傾けるとＨＭＤ１１０に備えられるセンサ１４０が、その傾きを検出し、傾きに関する情報を画像生成装置３１０に送信する。画像生成装置３１０は、通信部３３０を介して、ユーザの動作に関する情報を受信し、ユーザ入力検出部４１０は、受信した情報を基にユーザの頭部の動作を検出する。また、ユーザが、コントローラ２１０を使って、コントローラ２１０を持ち上げたり、ボタンを押下したりする等の所定の動作や操作を行ったとき、コントローラに備えられたセンサ２６０がその動作及び／または操作を検出し、動作及び／または操作に関する情報を画像生成装置３１０に送信する。画像生成装置３１０は、通信部３３０を介して、ユーザのコントローラ動作や操作に関する情報を受信し、ユーザ入力検出部４１０は、受信した情報を基にユーザのコントローラ動作や操作を検出する。
続いて、制御部３４０のキャラクタ制御部４２０は、検出したユーザの動作に基づいて仮想空間内における第１のキャラクタの動作を制御する（Ｓ１０３）。例えば、ユーザが頭部を傾ける動作を検出したことに基づいて、キャラクタ制御部４２０は、第１のキャラクタの頭部を傾けるよう制御する。また、ユーザがコントローラを持ち上げ、コントローラの所定のボタンを押下したことを検出したことに基づいて、キャラクタ制御部４２０は、第１のキャラクタの腕を上方向に伸ばしながら、何かを掴むよう制御する。このように、キャラクタ制御部４２０は、ユーザ入力検出部４１０が、ＨＭＤ１１０またはコントローラ２１０から送信されたユーザによる動作を検出する度に、第１のキャラクタが対応する動作を行うよう制御する。ユーザ入力検出部４１０によって検出された操作及び／または操作に関するパラメータを、トラック格納部５３０の第１のトラックに格納する格納する。また、ユーザ入力によらずに、キャラクタが所定の演技の動きを実行するよう制御することもでき、この所定の演技の動きに関するアクションデータを第１のトラックに格納することもでき、または、ユーザによる動作と所定の動作に関するアクションデータを両方格納することもできる。
続いて、録画再生実行部４４０は、ユーザから録画終了の指示を受け付けたかを確認し（Ｓ１０４）、録画終了の指示を受け付けたときには、第１のキャラクタに関連する第１のトラックの録画を完了する（Ｓ１０５）。録画再生実行部４４０は、ユーザから録画終了の指示を受け付けない限り、録画処理を継続する。ここで、録画再生実行部４４０は、キャラクタを演じるユーザによる動作を検出しなくなったときに、自動的に録画を完了する処理を行うこともできる。また、ユーザによる指示を受けつけるのではなく、タイマーを作動させることで所定の時間に録画終了の処理を実行することもできる。
続いて、編集実行部４５０は、トラック格納部５３０に格納された第１のトラックに対し、編集を行う（Ｓ１０６）。例えば、ユーザは、図９（ａ）に示すような、トラック編集用のユーザインターフェースを介して、第１のキャラクタに関連する第１のトラック（Ｔ１）を編集する。例えば、ユーザインターフェースには、時系列に沿って、第１のトラックが格納された領域が表示される。ユーザが、所望のバーを選択することで、図１に示すような仮想空間内に配置されたキャラクタ（例えば、キャラクタ４）の動画像が再生される。なお、トラック編集用のユーザインターフェースとして、上記のような表示に限らず、例えば、トラック名とタイトル（例えば、「第１のキャラクタ」）をリスト形式で表示する方法も考えられる。
続いて、キャラクタ制御部４２０は、第１のトラックに格納される第１のキャラクタの指及び／または手の動作の制御を行う（Ｓ１０７）。キャラクタの動作の調整方法として、制御部３１０のユーザ入力検出部４１０が、ユーザによる、コントローラ４２０の操作ボタンの押下等による操作信号を検出し、キャラクタ制御部４２０は、操作に対応する指及び／または手の動きを判断し、キャラクタの指を制御する。例えば、ユーザは、図９に示すコントロール画面のように、第１のトラックを再生し、キャラクタの動作を確認しながら、把持するコントローラ２１０の操作ボタンを押下する等して、操作ボタンに対応する指及び／または手の動きを、キャラクタの指の動きとして同期させることで調整する方法が挙げられる。このとき、例えば、ユーザは、コントロール画面側の指の動きがキャラクタの指の動きと整合していることを確認しながら調整することができる。その他、指及び／または手の動きの制御方法として、操作ボタンに対応した所定の指及び／または手の所定の動作パターンを実行する方法、第１のトラックに格納されたキャラクタの指及び／または手の動きのパラメータに基づいて仮想空間内に表示された指及び／手の位置を、フレーム毎に変化させる方法、また、フレーム毎に指及び手の動作パラメータを調整する方法等が挙げられる。その他、既知の画像処理や深度センサを用いたモーショントラッキングやハンドトラッキングの方法を利用して、ユーザの指の動きを検出し、対応する動きをキャラクタの指の動きとして反映させる方法も適用できる。
続いて、編集実行部４５０は、ユーザの要求に応じて、または、自動的に編集内容を保存することで、第１のトラックを更新する処理を行う（Ｓ１０８）。ここで、図１０（ｂ）に示すように、第１のトラックにおいて更新されたキャラクタの指及び／手の動きに関するパラメータを上書きする形態のほか、図９（ｃ）に示すように、元のトラック（Ｔ１）は残しつつ、新規に別トラック（Ｔ２）を生成し、更新されたキャラクタの指の動きに関するパラメータとともにキャラクタの動作に関するパラメータを、生成されたトラック（Ｔ２）に格納することもできる。これにより、ユーザは、各トラックの編集作業をより柔軟に行うことができる。
以上のように、本実施形態により、マルチトラックレコーディング（ＭＴＲ）の方式をアニメーション制作に適用することで、ユーザ動作に連動したキャラクタ動作をトラックに格納し、トラックに格納されたキャラクタ対し、キャラクタの指の動きの更新処理を行うことで、簡易かつ効率的なアニメーション制作を実現することができる。
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
例えば、本実施形態において、トラック生成方法及び編集方法につき、キャラクタを例に説明したが、キャラクタに限らず、キャラクタを含む、動作を伴うオブジェクト（乗り物、構造物、物品等）に本実施形態に開示される方法を適用することもできる。
また、例えば、本実施形態において、画像生成装置３１０をＨＭＤ１１０とは別個のものとして記載したが、画像生成装置３１０によって提供される、全部または一部の構成及び機能をＨＭＤ１１０に備えることもできる。
１ 仮想空間
２ カメラマン
３ カメラ
４ キャラクタ
５ キャラクタ
１１０ ＨＭＤ
２１０ コントローラ
３１０ 画像生成装置

Claims (2)

  1. 所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、
    ヘッドマウントディスプレイを装着するユーザの動作を検出し、
    前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、
    前記オブジェクトの動作を撮影し、
    前記撮影されたオブジェクトの動作を含む画像を所定のトラックに格納し、
    前記所定のトラックに格納されたオブジェクトの指の動作を変更すること、を含む方法。
  2. 前記変更されたオブジェクトの指のアクションデータを前記トラックに保存することを含む、請求項１に記載の方法。
JP2022113483A 2019-09-24 2022-07-14 アニメーション制作システム Active JP7470345B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022113483A JP7470345B2 (ja) 2019-09-24 2022-07-14 アニメーション制作システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/037419 WO2021059367A1 (ja) 2019-09-24 2019-09-24 アニメーション制作システム
JP2020541628A JP7115699B2 (ja) 2019-09-24 2019-09-24 アニメーション制作システム
JP2022113483A JP7470345B2 (ja) 2019-09-24 2022-07-14 アニメーション制作システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020541628A Division JP7115699B2 (ja) 2019-09-24 2019-09-24 アニメーション制作システム

Publications (3)

Publication Number Publication Date
JP2022153478A true JP2022153478A (ja) 2022-10-12
JP2022153478A5 JP2022153478A5 (ja) 2023-08-16
JP7470345B2 JP7470345B2 (ja) 2024-04-18

Family

ID=75165231

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020541628A Active JP7115699B2 (ja) 2019-09-24 2019-09-24 アニメーション制作システム
JP2022113483A Active JP7470345B2 (ja) 2019-09-24 2022-07-14 アニメーション制作システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020541628A Active JP7115699B2 (ja) 2019-09-24 2019-09-24 アニメーション制作システム

Country Status (3)

Country Link
US (1) US20220351447A1 (ja)
JP (2) JP7115699B2 (ja)
WO (1) WO2021059367A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7115699B2 (ja) * 2019-09-24 2022-08-09 株式会社エクシヴィ アニメーション制作システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10302085A (ja) * 1997-04-30 1998-11-13 Yamaha Corp Ｃｇモデルの動作記録システム
JP6526898B1 (ja) * 2018-11-20 2019-06-05 グリー株式会社 動画配信システム、動画配信方法、及び動画配信プログラム
JP7115699B2 (ja) * 2019-09-24 2022-08-09 株式会社エクシヴィ アニメーション制作システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59153346A (ja) * 1983-02-21 1984-09-01 Nec Corp 音声符号化・復号化装置
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US9489759B1 (en) * 2014-01-03 2016-11-08 Pixar File path translation for animation variables in an animation system
JP6229089B1 (ja) * 2017-04-26 2017-11-08 株式会社コロプラ 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
KR101998059B1 (ko) * 2017-08-31 2019-07-09 한국과학기술원 캐릭터 애니메이션용 모션 리타겟팅 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10302085A (ja) * 1997-04-30 1998-11-13 Yamaha Corp Ｃｇモデルの動作記録システム
JP6526898B1 (ja) * 2018-11-20 2019-06-05 グリー株式会社 動画配信システム、動画配信方法、及び動画配信プログラム
JP7115699B2 (ja) * 2019-09-24 2022-08-09 株式会社エクシヴィ アニメーション制作システム

Also Published As

Publication number Publication date
US20220351447A1 (en) 2022-11-03
JP7115699B2 (ja) 2022-08-09
JP7470345B2 (ja) 2024-04-18
JPWO2021059367A1 (ja) 2021-10-07
WO2021059367A1 (ja) 2021-04-01

Similar Documents

Publication Publication Date Title
JP2022184958A (ja) アニメーション制作システム
JP6964302B2 (ja) アニメーション制作方法
JP2022153478A (ja) アニメーション制作システム
JP2022153479A (ja) アニメーション制作システム
JP7470344B2 (ja) アニメーション制作システム
JP2022153476A (ja) アニメーション制作システム
US11321898B2 (en) Animation production system
US11380038B2 (en) Animation production system for objects in a virtual space
JP7218874B2 (ja) アニメーション制作システム
JP7218875B2 (ja) アニメーション制作システム
JP7390540B2 (ja) アニメーション制作システム
JP7218873B2 (ja) アニメーション制作システム
JP7115698B2 (ja) アニメーション制作システム
JP2022025464A (ja) アニメーション制作システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220926

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20240115

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240329

R150 Certificate of patent or registration of utility model

Ref document number: 7470345

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150