JP2022025471A - アニメーション制作システム - Google Patents
アニメーション制作システム Download PDFInfo
- Publication number
- JP2022025471A JP2022025471A JP2020128304A JP2020128304A JP2022025471A JP 2022025471 A JP2022025471 A JP 2022025471A JP 2020128304 A JP2020128304 A JP 2020128304A JP 2020128304 A JP2020128304 A JP 2020128304A JP 2022025471 A JP2022025471 A JP 2022025471A
- Authority
- JP
- Japan
- Prior art keywords
- user
- character
- track
- controller
- hmd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 35
- 238000004519 manufacturing process Methods 0.000 claims description 30
- 230000009471 action Effects 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 abstract description 34
- 238000003384 imaging method Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 25
- 238000001514 detection method Methods 0.000 description 19
- 210000003128 head Anatomy 0.000 description 17
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0338—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
- A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】仮想空間内でアニメーションを撮影することができるようにする。【解決手段】アニメーションの制作方法であって、仮想空間に第１及び第２のオブジェクトならびに仮想的なカメラを配置し、第１のユーザからの操作に応じて第１のオブジェクトの動作を制御し、第２のユーザからの操作に応じて第２のオブジェクトの動作を制御し、第１もしくは第２のユーザ又は第２のユーザからの操作に応じてカメラを制御して、第１及び第２のオブジェクトを撮影すること、を特徴とする。【選択図】図１
Description
本発明は、アニメーション制作システムに関する。
仮想空間内に仮想カメラを配置することが行われている（特許文献１参照）。
仮想空間内でアニメーションを撮影しようとする取り組みが行われてこなかった。
本発明はこのような背景を鑑みてなされたものであり、仮想空間内でアニメーションを撮影することのできる技術を提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、アニメーションの制作方法であって、仮想空間に第１及び第２のオブジェクトならびに仮想的なカメラを配置し、第１のユーザからの操作に応じて前記第１のオブジェクトの動作を制御し、第２のユーザからの操作に応じて前記第２のオブジェクトの動作を制御し、前記第１もしくは第２のユーザ又は第２のユーザからの操作に応じて前記カメラを制御して、前記第１及び第２のオブジェクトを撮影すること、を特徴とする。
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
本発明によれば、仮想空間内でアニメーションを撮影することができる。
本発明の実施形態の内容を列記して説明する。本発明の実施の形態によるアニメーション制作方法は、以下のような構成を備える。
［項目１］
アニメーションの制作方法であって、
仮想空間に第１及び第２のオブジェクトならびに仮想的なカメラを配置し、
第１のユーザからの操作に応じて前記第１のオブジェクトの動作を制御し、
第２のユーザからの操作に応じて前記第２のオブジェクトの動作を制御し、
前記第１もしくは第２のユーザ又は第２のユーザからの操作に応じて前記カメラを制御して、前記第１及び第２のオブジェクトを撮影すること、
を特徴とするアニメーション制作方法。
［項目２］
項目１に記載のアニメーション制作方法であって、
前記第１のオブジェクトの動作を第１のトラックに記録し、
前記第１のトラックに記録された前記第１のオブジェクトの動作を再生しながら、前記第２のオブジェクトの動作を制御すること、
を特徴とするアニメーション制作方法。
［項目３］
項目１に記載のアニメーション制作方法であって、
前記第２のオブジェクトは前記第１のオブジェクトと同一のオブジェクトであり、
前記第１のオブジェクトの動作を第１のトラックに記録し、
前記第１のトラックに記録された前記第１のオブジェクトの動作を再生しながら、前記第２のユーザの操作に応じて前記第１のオブジェクトの動作を変更すること、
を特徴とするアニメーション制作方法。
アニメーションの制作方法であって、
仮想空間に第１及び第２のオブジェクトならびに仮想的なカメラを配置し、
第１のユーザからの操作に応じて前記第１のオブジェクトの動作を制御し、
第２のユーザからの操作に応じて前記第２のオブジェクトの動作を制御し、
前記第１もしくは第２のユーザ又は第２のユーザからの操作に応じて前記カメラを制御して、前記第１及び第２のオブジェクトを撮影すること、
を特徴とするアニメーション制作方法。
［項目２］
項目１に記載のアニメーション制作方法であって、
前記第１のオブジェクトの動作を第１のトラックに記録し、
前記第１のトラックに記録された前記第１のオブジェクトの動作を再生しながら、前記第２のオブジェクトの動作を制御すること、
を特徴とするアニメーション制作方法。
［項目３］
項目１に記載のアニメーション制作方法であって、
前記第２のオブジェクトは前記第１のオブジェクトと同一のオブジェクトであり、
前記第１のオブジェクトの動作を第１のトラックに記録し、
前記第１のトラックに記録された前記第１のオブジェクトの動作を再生しながら、前記第２のユーザの操作に応じて前記第１のオブジェクトの動作を変更すること、
を特徴とするアニメーション制作方法。
本発明の一実施形態に係るアニメーション制作システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
＜概要＞
図１は、本実施形態のアニメーション制作システムにおいてユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に表示される仮想空間の一例を示す図である。本実施形態のアニメーション制作システムでは、仮想空間１にキャラクタ４とカメラ３とを配置し、カメラ３を用いてキャラクタ４を撮影する。また、仮想空間１にはカメラマン２が配置され、カメラマン２によりカメラ３が仮想的に操作される。本実施形態のアニメーション制作システムでは、ユーザは、図１に示すように仮想空間１をＴＰＶ（Third Person View；三人称視点）で俯瞰しながらキャラクタ４やカメラ３を配置したり、カメラマン２としてＦＰＶ（First Person View；一人称支援）でキャラクタ４を撮影したり、ＦＰＶでキャラクタ４の演技を行ったりしながら、アニメーションを制作していく。また、仮想空間１内には複数のキャラクタ（図１の例では、キャラクタ４およびキャラクタ５）を配置することができ、ユーザは、キャラクタ４とキャラクタ５とにそれぞれ憑依しながら演技を行うことができる。すなわち、本実施形態のアニメーション制作システムでは、一人が何役もの役割（ロール）を果たすことができる。また、カメラマン２としてカメラ３を仮想的に操作しながら撮影を行うことができるので、自然なカメラワークを実現することが可能となり、撮影される動画の表現を豊かにすることができる。また、本実施形態のアニメーション制作システムでは、複数人のユーザが協働してアニメーションを制作することもできる。例えば、あるユーザがキャラクタ４を操作して演技を行い、他のユーザがカメラマン２を操作して、キャラクタ４の演技をカメラ３により撮影することができる。さらに、ライティングを行う照明エンジニアや、音声のミキシングを行うミキサーを第３、第４のユーザが行うようにして、１つのアニメーションに必要な作業を分担して行うことが可能となる。加えて、本実施形態のアニメーション制作システムでは、非同期にこれらの作業を行うことができる。すなわち、第１のユーザがキャラクタ４を操作して演技を行った後に、第２のユーザがカメラマン２を操作してカメラ３のアングルを変えながら１又は複数のカットで撮影を行い、さらにその後に、照明エンジニアがライトの色、位置、点灯のタイミングなどを調整しながらライティングを行うようにして、撮影作業を非同期に行うことも可能である。
図１は、本実施形態のアニメーション制作システムにおいてユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に表示される仮想空間の一例を示す図である。本実施形態のアニメーション制作システムでは、仮想空間１にキャラクタ４とカメラ３とを配置し、カメラ３を用いてキャラクタ４を撮影する。また、仮想空間１にはカメラマン２が配置され、カメラマン２によりカメラ３が仮想的に操作される。本実施形態のアニメーション制作システムでは、ユーザは、図１に示すように仮想空間１をＴＰＶ（Third Person View；三人称視点）で俯瞰しながらキャラクタ４やカメラ３を配置したり、カメラマン２としてＦＰＶ（First Person View；一人称支援）でキャラクタ４を撮影したり、ＦＰＶでキャラクタ４の演技を行ったりしながら、アニメーションを制作していく。また、仮想空間１内には複数のキャラクタ（図１の例では、キャラクタ４およびキャラクタ５）を配置することができ、ユーザは、キャラクタ４とキャラクタ５とにそれぞれ憑依しながら演技を行うことができる。すなわち、本実施形態のアニメーション制作システムでは、一人が何役もの役割（ロール）を果たすことができる。また、カメラマン２としてカメラ３を仮想的に操作しながら撮影を行うことができるので、自然なカメラワークを実現することが可能となり、撮影される動画の表現を豊かにすることができる。また、本実施形態のアニメーション制作システムでは、複数人のユーザが協働してアニメーションを制作することもできる。例えば、あるユーザがキャラクタ４を操作して演技を行い、他のユーザがカメラマン２を操作して、キャラクタ４の演技をカメラ３により撮影することができる。さらに、ライティングを行う照明エンジニアや、音声のミキシングを行うミキサーを第３、第４のユーザが行うようにして、１つのアニメーションに必要な作業を分担して行うことが可能となる。加えて、本実施形態のアニメーション制作システムでは、非同期にこれらの作業を行うことができる。すなわち、第１のユーザがキャラクタ４を操作して演技を行った後に、第２のユーザがカメラマン２を操作してカメラ３のアングルを変えながら１又は複数のカットで撮影を行い、さらにその後に、照明エンジニアがライトの色、位置、点灯のタイミングなどを調整しながらライティングを行うようにして、撮影作業を非同期に行うことも可能である。
＜全体構成＞
図２は、本発明の一実施形態に係るアニメーション制作システム３００の全体構成例を示す図である。アニメーション制作システム３００は、複数のキャラクタ操作システム３５０とホストコンピュータとして機能する画像生成装置３１０とを含んで構成することができる。また、キャラクタ操作システム３５０は、例えば、ＨＭＤ１１０、コントローラ２１０及びこれらを制御する制御装置３１０を含んで構成することができる。キャラクタ操作システム３５０には、ＨＭＤ１１０やコントローラ２１０の位置、向き及び傾き等を検出するための赤外線カメラ（図示せず）等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にＵＳＢポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、ＨＤＭＩ、有線ＬＡＮ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の有線又は無線により通信を確立することもできる。制御装置３５０は、ＰＣ、ゲーム機、携帯通信端末等、計算処理機能を有する装置であればよい。制御装置い３５０は、画像生成装置３１０と通信可能に接続され、ＨＭＤ１１０やコントローラ２１０によるユーザからの入力情報を画像生成装置３１０に送信することができる。
図２は、本発明の一実施形態に係るアニメーション制作システム３００の全体構成例を示す図である。アニメーション制作システム３００は、複数のキャラクタ操作システム３５０とホストコンピュータとして機能する画像生成装置３１０とを含んで構成することができる。また、キャラクタ操作システム３５０は、例えば、ＨＭＤ１１０、コントローラ２１０及びこれらを制御する制御装置３１０を含んで構成することができる。キャラクタ操作システム３５０には、ＨＭＤ１１０やコントローラ２１０の位置、向き及び傾き等を検出するための赤外線カメラ（図示せず）等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にＵＳＢポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、ＨＤＭＩ、有線ＬＡＮ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の有線又は無線により通信を確立することもできる。制御装置３５０は、ＰＣ、ゲーム機、携帯通信端末等、計算処理機能を有する装置であればよい。制御装置い３５０は、画像生成装置３１０と通信可能に接続され、ＨＭＤ１１０やコントローラ２１０によるユーザからの入力情報を画像生成装置３１０に送信することができる。
＜ＨＭＤ１１０＞
図３は、本実施形態に係るヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図を示す。図５は、本実施形態に係るＨＭＤ１１０の機能構成図を示す。ＨＭＤ１１０はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル１２０を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル１２０には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
図３は、本実施形態に係るヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図を示す。図５は、本実施形態に係るＨＭＤ１１０の機能構成図を示す。ＨＭＤ１１０はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル１２０を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル１２０には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
ＨＭＤ１１０の筐体部１３０は、センサ１４０を備える。センサ１４０は、ユーザの頭部の向きや傾きといった動作を検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。ユーザの頭部の垂直方向をＹ軸とし、Ｙ軸と直交する軸のうち、表示パネル１２０の中心とユーザとを結ぶ、ユーザの前後方向に相当する軸をＺ軸とし、Ｙ軸及びＺ軸と直交し、ユーザの左右方向に相当する軸をＸ軸とするとき、センサ１４０は、Ｘ軸まわりの回転角（いわゆる、ピッチ角）、Ｙ軸まわりの回転角（いわゆる、ヨー角）、Ｚ軸まわりの回転角（いわゆる、ロール角）を検出することができる。
センサ１４０に代えて、またはセンサ１４０に加えて、ＨＭＤ１１０の筐体部１３０は、複数の光源１５０（例えば、赤外光ＬＥＤ、可視光ＬＥＤ）を備えることもできる。ＨＭＤ１１０の外部（例えば、室内等）に設置されたカメラ（例えば、赤外光カメラ、可視光カメラ）がこれらの光源を検出することで、特定の空間におけるＨＭＤ１１０の位置、向き、傾きを検出することができる。または、同じ目的で、ＨＭＤ１１０に、ＨＭＤ１１０の筐体部１３０に設置された光源を検出するためのカメラを備えることもできる。
ＨＭＤ１１０の筐体部１３０は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、ユーザの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。
＜コントローラ２１０＞
図４は、本実施形態に係るコントローラ２１０の外観の模式図を示す。図６は、本実施形態に係るコントローラ２１０の機能構成図を示す。コントローラ２１０により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができる。左手用コントローラ２２０及び右手用コントローラ２３０は、各々操作用トリガーボタン２４０、赤外線ＬＥＤ２５０、センサ２６０、ジョイスティック２７０、メニューボタン２８０を有することができる。
図４は、本実施形態に係るコントローラ２１０の外観の模式図を示す。図６は、本実施形態に係るコントローラ２１０の機能構成図を示す。コントローラ２１０により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができる。左手用コントローラ２２０及び右手用コントローラ２３０は、各々操作用トリガーボタン２４０、赤外線ＬＥＤ２５０、センサ２６０、ジョイスティック２７０、メニューボタン２８０を有することができる。
操作用トリガーボタン２４０は、コントローラ２１０のグリップ２３５を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に２４０ａ、２４０ｂとして配置される。コントローラ２１０の両側面から下方にリング状に形成されるフレーム２４５には、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。
また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動作を検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ２１０の上面には、ジョイスティック２７０及びメニューボタン２８０を備えることができる。ジョイスティック２７０は、基準点を中心に３６０度方向に動かすことができ、コントローラ２１０のグリップ２３５を把持したときに、親指で操作されることが想定される。メニューボタン２８０もまた同様に、親指で操作されることが想定される。さらに、コントローラ２１０は、コントローラ２１０を操作するユーザの手に振動を与えるためのバイブレータ（図示せず）を内蔵することもできる。ボタンやジョイスティックを介したユーザの入力内容やセンサ等を介したコントローラ２１０の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ２１０は、入出力部及び通信部を有する。
ユーザがコントローラ２１０を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線ＬＥＤやセンサにより検出される情報によって、システムはユーザの手の動作や姿勢を決定し、仮想空間内において擬似的にユーザの手を表示させ、動作させることができる。
＜制御装置３５０＞
図７は、本実施形態に係る制御装置３５０の機能構成図を示す。制御装置３５０としては、ＨＭＤ１１０やコントローラ２１０から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動作やコントローラの動作や操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、ＰＣ、ゲーム機及び携帯通信端末等といった装置を使用することができる。制御装置３５０は、例えば、ＨＭＤ１１０やコントローラ２１０等の周辺装置との有線による接続を確立するための入出力部３５１を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部３５２を備えることができる。入出力部３５１及び／又は通信部３５２を介して、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やコントローラの動作や操作に関する情報は、制御部３５３において、ユーザの位置、視線、姿勢等の動作、発話や発音、操作等を含めた入力内容として検出される。制御部３５３は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。制御部３５３は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やユーザの発話や発音、また、コントローラの動作や操作に関する情報（入力情報）を検出するユーザ入力検出部３５４を備える。これらの入力情報は通信部３３０を解して画像生成装置３１０に送信される。通信部３３０はまた画像生成装置３１０から仮想空間１を再現するための情報（レンダリングされた動画データであってもよいし、仮想空間に配置されているオブジェクトのモデル情報であってもよい。）を受信し、この情報に基づいて仮想空間表示部３５５によりＨＭＤ１１０に仮想空間１を表示することができる。
図７は、本実施形態に係る制御装置３５０の機能構成図を示す。制御装置３５０としては、ＨＭＤ１１０やコントローラ２１０から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動作やコントローラの動作や操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、ＰＣ、ゲーム機及び携帯通信端末等といった装置を使用することができる。制御装置３５０は、例えば、ＨＭＤ１１０やコントローラ２１０等の周辺装置との有線による接続を確立するための入出力部３５１を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部３５２を備えることができる。入出力部３５１及び／又は通信部３５２を介して、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やコントローラの動作や操作に関する情報は、制御部３５３において、ユーザの位置、視線、姿勢等の動作、発話や発音、操作等を含めた入力内容として検出される。制御部３５３は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。制御部３５３は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やユーザの発話や発音、また、コントローラの動作や操作に関する情報（入力情報）を検出するユーザ入力検出部３５４を備える。これらの入力情報は通信部３３０を解して画像生成装置３１０に送信される。通信部３３０はまた画像生成装置３１０から仮想空間１を再現するための情報（レンダリングされた動画データであってもよいし、仮想空間に配置されているオブジェクトのモデル情報であってもよい。）を受信し、この情報に基づいて仮想空間表示部３５５によりＨＭＤ１１０に仮想空間１を表示することができる。
＜画像生成装置３１０＞
図８は、本実施形態に係る画像生成装置３１０の機能構成図を示す。画像生成装置３１０としては、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、あるいはクラウド・コンピューティングによって論理的に実現されてもよい。画像生成装置３１０は、例えば、ＨＭＤ１１０やコントローラ２１０等の周辺装置を備えている場合には、ＨＭＤ１１０やコントローラ２１０との間の接続を確立するための入出力部３２０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等の無線やイーサネット（登録商標）や公衆電話回線等の有線による接続を確立するための通信部３３０を備えることができる。入出力部３２０及び／又は通信部３３０を介して、キャラクタ操作システム３６０においてＨＭＤ１１０及び／又はコントローラ２１０から入力された、ユーザの頭部の動作やコントローラの動作や操作に関する情報（入力情報）は制御部３４０に伝達され、制御部３４０において、ユーザの位置、視線、姿勢等の動作、発話や発音、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部３５０に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部３４０は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置３１０はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
図８は、本実施形態に係る画像生成装置３１０の機能構成図を示す。画像生成装置３１０としては、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、あるいはクラウド・コンピューティングによって論理的に実現されてもよい。画像生成装置３１０は、例えば、ＨＭＤ１１０やコントローラ２１０等の周辺装置を備えている場合には、ＨＭＤ１１０やコントローラ２１０との間の接続を確立するための入出力部３２０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等の無線やイーサネット（登録商標）や公衆電話回線等の有線による接続を確立するための通信部３３０を備えることができる。入出力部３２０及び／又は通信部３３０を介して、キャラクタ操作システム３６０においてＨＭＤ１１０及び／又はコントローラ２１０から入力された、ユーザの頭部の動作やコントローラの動作や操作に関する情報（入力情報）は制御部３４０に伝達され、制御部３４０において、ユーザの位置、視線、姿勢等の動作、発話や発音、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部３５０に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部３４０は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置３１０はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
制御部３４０は、ユーザによる入力情報を取得するユーザ入力受信部４１０と、記憶部３５０のキャラクタデータ格納部５１０に格納されたキャラクタに対して、制御プログラム格納部５２０に格納された制御プログラムを実行するキャラクタ制御部４２０と、キャラクタ制御に基づいて画像を生成する画像生成部４３０とを有する。ここでキャラクタの動作の制御については、ＨＭＤ１１０やコントローラ２１０を介して検出されたユーザ頭部の向きや傾き、手の動作といった入力情報を、人間の身体の関節の動作や制約に則って作成されたボーン構造の各部の動作に変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動作を適用させることで実現され得る。キャラクタ制御部４２０は、複数のキャラクタ操作システム３５０から受信した、複数のユーザによる操作に応じて、キャラクタ４やカメラ３など仮想空間１内における各種オブジェクトの操作を行うことができる。例えば、第１のキャラクタ操作システム３５０から受信した第１のユーザによる入力情報に基づいてキャラクタ４の動作を制御するとともに、第２のキャラクタ操作システム３５０から受信した第２のユーザによる入力情報に基づいてカメラマン２を操作してカメラ３の制御を行うことができる。これにより、第１のユーザがキャラクタ４の演技を行い、第２のユーザがそれを撮影するという分業を行うことができる。さらに、制御部３４０は、画像生成されたキャラクタをトラックに録画し、再生する録画再生実行部４４０と、各トラックを編集し、最終コンテンツを生成する編集実行部４５０とを有する。
記憶部３５０は、キャラクタのイメージデータのほか、キャラクタの属性等キャラクタに関連する情報を格納するキャラクタデータ格納部５１０を有する。また、制御プログラム格納部５２０は、仮想空間におけるキャラクタの動作や表情を制御するためのプログラムを格納する。また、記憶部３５０は、画像生成部４３０で生成される動画像におけるキャラクタの動きを制御するパラメータで構成されるアクションデータを格納するトラック格納部５３０を有する。
図９は、本発明の実施形態に係る、トラック生成処理の一例を説明するフローチャートである。
まず、画像生成装置３１０の制御部３４０の録画再生実行部４４０は、仮想空間における、第１のキャラクタによる動作に関連する動画像のアクションデータを、トラック格納部５３０の第１のトラックに格納するための録画を開始する（Ｓ１０１）。ここで、キャラクタを撮影するカメラの位置、カメラの視点（例えば、ＦＰＶ、ＴＰＶ等）を設定することもできる。例えば、図１に示す仮想空間１において、第１のキャラクタに対応するキャラクタ４に対し、カメラマン２が配置される位置、また、カメラ３のアングルを設定することができる。録画開始操作は、コントローラ２１０等のリモートコントローラによって指示されてもよく、他の端末によって指示されてもよい。また、本操作は、ＨＭＤ１１０を装着し、コントローラ２１０を操作する、キャラクタを演じるユーザによって行われてもよく、または、キャラクタを演じるユーザ以外のユーザによって行われてもよい。また、後述のキャラクタを演じるユーザによる動作を検出することに基づいて録画処理を自動的に開始してもよい。
続いて、制御部３４０のユーザ入力検出部４１０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やユーザの発話や発音、また、コントローラの動作や操作に関する情報を検出する（Ｓ１０２）。例えば、ＨＭＤ１１０を装着するユーザが、頭部を傾けるとＨＭＤ１１０に備えられるセンサ１４０が、その傾きを検出し、傾きに関する情報を画像生成装置３１０に送信する。画像生成装置３１０は、通信部３３０を介して、ユーザの動作に関する情報を受信し、ユーザ入力検出部４１０は、受信した情報を基にユーザの頭部の動作を検出する。また、ユーザが、コントローラ２１０を使って、コントローラ２１０を持ち上げたり、ボタンを押下したりする等の所定の動作や操作を行ったとき、コントローラに備えられたセンサ２６０がその動作及び／または操作を検出し、動作及び／または操作に関する情報を画像生成装置３１０に送信する。画像生成装置３１０は、通信部３３０を介して、ユーザのコントローラ動作や操作に関する情報を受信し、ユーザ入力検出部４１０は、受信した情報を基にユーザのコントローラ動作や操作を検出する。
続いて、制御部３４０のキャラクタ制御部４２０は、検出したユーザの動作に基づいて仮想空間内における第１のキャラクタの動作を制御する（Ｓ１０３）。例えば、ユーザが頭部を傾ける動作を検出したことに基づいて、キャラクタ制御部４２０は、第１のキャラクタの頭部を傾けるよう制御する。また、ユーザがコントローラを持ち上げ、コントローラの所定のボタンを押下したことを検出したことに基づいて、キャラクタ制御部４２０は、第１のキャラクタの腕を上方向に伸ばしながら、何かを掴むよう制御する。このように、キャラクタ制御部４２０は、ユーザ入力検出部４１０が、ＨＭＤ１１０またはコントローラ２１０から送信されたユーザによる動作を検出する度に、第１のキャラクタが対応する動作を行うよう制御する。ユーザ入力検出部４１０によって検出された操作及び／または操作に関するパラメータを、トラック格納部５３０の第１のトラックに格納する格納する。また、ユーザ入力によらずに、キャラクタが所定の演技の動きを実行するよう制御することもでき、この所定の演技の動きに関するアクションデータを第１のトラックに格納することもでき、または、ユーザによる動作と所定の動作に関するアクションデータを両方格納することもできる。
続いて、録画再生実行部４４０は、ユーザから録画終了の指示を受け付けたかを確認し（Ｓ１０４）、録画終了の指示を受け付けたときには、第１のキャラクタに関連する第１のトラックの録画を完了する（Ｓ１０５）。録画再生実行部４４０は、ユーザから録画終了の指示を受け付けない限り、録画処理を継続する。ここで、録画再生実行部４４０は、キャラクタを演じるユーザによる動作を検出しなくなったときに、自動的に録画を完了する処理を行うこともできる。また、ユーザによる指示を受けつけるのではなく、タイマーを作動させることで所定の時間に録画終了の処理を実行することもできる。
続いて、録画再生実行部４４０は、仮想空間における、第２のキャラクタによる動作に関連する動画像のアクションデータを、トラック格納部５３０の第２のトラックに格納するための録画を開始する（Ｓ１０６）。ここで、キャラクタを撮影するカメラの位置、カメラの視点（例えば、ＦＰＶ、ＴＰＶ等）を設定することもできる。例えば、図１に示す仮想空間１において、第２のキャラクタに対応するキャラクタ５に対し、カメラマン２が配置される位置、また、カメラ３のアングルを設定することができる。例えば、ユーザは、キャラクタ５のＦＰＶによりカメラ視点を設定し、第１のトラックの再生処理を行い、キャラクタ４の動作を確認しながら、キャラクタ５を演じるユーザは所望の動作を行うことができる。録画開始操作は、コントローラ２１０等のリモートコントローラによって指示されてもよく、他の端末によって指示されてもよい。また、本操作は、ＨＭＤ１１０を装着し、コントローラ２１０を操作する、キャラクタを演じるユーザによって行われてもよく、または、キャラクタを演じるユーザ以外のユーザによって行われてもよい。また、後述のキャラクタを演じるユーザによる動作及び／または操作を検出することに基づいて録画処理を自動的に開始してもよい。
続いて、制御部３４０のユーザ入力検出部４１０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やユーザの発話や発音、また、コントローラの動作や操作に関する情報を検出する（Ｓ１０７）。ここで、ユーザは、上記第１のキャラクタを演じるユーザと同じユーザであってもよく、異なるユーザであってもよい。例えば、ＨＭＤ１１０を装着するユーザが、頭部を傾けるとＨＭＤ１１０に備えられるセンサ１４０が、その傾きを検出し、傾きに関する情報を画像生成装置３１０に送信する。画像生成装置３１０は、通信部３３０を介して、ユーザの動作に関する情報を受信し、ユーザ入力検出部４１０は、受信した情報を基にユーザの頭部の動作を検出する。また、ユーザが、コントローラ２１０を使って、コントローラ２１０を持ち上げて左右に振ったり、ボタンを押下したりする等の所定の動作や操作を行ったとき、コントローラに備えられたセンサ２６０がその動作及び／または操作を検出し、動作及び／または操作に関する情報を画像生成装置３１０に送信する。画像生成装置３１０は、通信部３３０を介して、ユーザのコントローラ動作や操作に関する情報を受信し、ユーザ入力検出部４１０は、受信した情報を基にユーザのコントローラ動作や操作を検出する。
続いて、制御部３４０のキャラクタ制御部４２０は、検出したユーザの動作に基づいて仮想空間内における第２のキャラクタの動作を制御する（Ｓ１０８）。例えば、ユーザが頭部を傾ける動作を検出したことに基づいて、キャラクタ制御部４２０は、第２のキャラクタの頭部を傾けるよう制御する。また、ユーザがコントローラを持ち上げて左右に振ったり、コントローラの所定のボタンを押下したりしたことを検出したことに基づいて、キャラクタ制御部４２０は、第２のキャラクタの腕を振って、指を開くよう（すなわち、「バイバイ」をする動作）制御する。このように、キャラクタ制御部４２０は、ユーザ入力検出部４１０が、ＨＭＤ１１０またはコントローラ２１０から送信されたユーザによる動作を検出する度に、第２のキャラクタが対応する動作を行うよう制御する。ユーザ入力検出部４１０によって検出された操作及び／または操作に関するパラメータを、トラック格納部５３０の第２のトラックに格納する。また、ユーザ入力によらずに、キャラクタが所定の演技の動きを実行するよう制御することもでき、この所定の演技の動きに関するアクションデータを第２のトラックに格納することもでき、または、ユーザによる動作と所定の動作に関するアクションデータを両方格納することもできる。
続いて、録画再生実行部４４０は、ユーザから録画終了の指示を受け付けたかを確認し（Ｓ１０９）、録画終了の指示を受け付けたときには、第２のキャラクタに関連する第２のトラックの録画を完了する（Ｓ１１０）。録画再生実行部４４０は、ユーザから録画終了の指示を受け付けない限り、録画処理を継続する。ここで、録画再生実行部４４０は、キャラクタを演じるユーザによる動作を検出しなくなったときに、自動的に録画を完了する処理を行うこともできる。
図１０は、本発明の実施形態に係る、トラック編集処理の一例を説明するフローチャートである。
まず、画像生成装置３１０の制御部３４０の編集実行部４５０は、トラック格納部５３０に格納された、第１のトラックを編集する処理を行う（Ｓ２０１）。例えば、ユーザは、図１１（ａ）に示すような、トラック編集用のユーザインターフェースを介して、第１のキャラクタに関連する第１のトラック（Ｔ１）を編集する。例えば、ユーザインターフェースには、時系列に沿って、第１のトラックが格納された領域が表示される。ユーザが、所望のバーを選択することで、格納された動画像のパラメータとキャラクタデータに基づき、キャラクタの３Ｄモデルがレンダリングされ、図１に示すような仮想空間内に配置されたキャラクタ（例えば、キャラクタ４）の動画像が再生される。なお、トラック編集用のユーザインターフェースとして、上記のような表示に限らず、例えば、トラック名とタイトル（例えば、「第１のキャラクタ」）をリスト形式で表示する方法も考えられる。その他、ユーザインターフェースとして、図１１に示すようなトラックやリストを示すことなく、直接キャラクタの動画像が再生されるなかで編集を実行可能としたり、動画像のキーフレームが表示され、その中でユーザが編集対象となるキーフレームを選択することもできる。また、動画像として表示される３Ｄキャラクタのうち、編集対象として選択されたキャラクタの色を選択した時間だけ変更する等の処理を実行することもできる。
編集処理として、例えば、図１において、第１のキャラクタに対応するキャラクタ４の、仮想空間１における配置位置を変更したり、キャラクタ４の撮影位置及びアングルを変更するほか、撮影視点（ＦＰＶ、ＴＰＶ）を変更することが考えられる。また、時間の尺を変更したり、削除したりすることも考えられる。
また、編集処理として、キャラクタ４の動作の一部を変更するようにしてもよい。例えば、ユーザは、トラック（Ｔ１）で再生された第１のキャラクタについて、編集する対象となる身体の部位を指定し、指定した部位の動作のみを、コントローラ２１０やＨＭＤ１１０を用いた操作により動作させることができる。例えば、ユーザは、第１のキャラクタの腕を指定して、第１のキャラクタの動作を再生しながら、コントローラ２１０の操作により第１のキャラクタの腕のみを操作して、腕の動きを修正することができる。
次に、編集実行部４５０は、トラック格納部５３０に格納された、第２のトラックを編集する処理を行う（Ｓ２０２）。例えば、ユーザは、トラック編集用のユーザインターフェースを介して、第２のキャラクタに関連する第２のトラック（Ｔ２）を編集するオプション（図示せず）を選択し、図１１（ｂ）に示すような、ユーザインターフェースを介して、時系列に沿って、第２のトラックが格納される領域を示すバーを配置する。図１１（ｂ）に示すように、ユーザは、第２のトラックを第１のトラックと独立して編集しつつ、各トラックの再生タイミングの同期を図るなど、相対的に調整することが可能となる。同様に、ユーザは、他のトラック（例えば、第３のトラック（Ｔ３））を編集することができる。
編集処理として、例えば、図１において、第２のキャラクタに対応するキャラクタ５の、仮想空間１における配置位置を変更したり、キャラクタ５の撮影位置及びアングルを変更するほか、撮影視点（ＦＰＶ、ＴＰＶ）を変更することが考えられる。また、時間の尺を変更したり、削除したりすることも考えられる。ここで、編集処理として、ユーザは、仮想空間１上における、第１のキャラクタに対応するキャラクタ４に相対する、第２のキャラクタ５の配置位置を変更することができる。
さらに、編集処理として、各トラックの再生を行うことで、各トラックに対応するキャラクタの動作を含む動画像を、仮想空間内で再生することで、全体として仮想空間で実現されるアニメーション動画像を作成することができる。また、各トラックの再生することで、キャラクタの動きを再現するだけでなく、キャラクタの背景のセットを変えたり、キャラクタを含むオブヘクトを増減したり、ライティングの設定を変更したり、キャラクタの衣装を変更またはアクセサリをつけたり、キャラクタに対する風の風量、向きを変更したり、アクションデータをそのままにキャラクタを変更したりすることで、仮想空間で実現さえれるアニメーション動画像を編集することができる。
編集処理が終了後、編集実行部４５０は、ユーザの要求に応じて、または、自動的に編集内容を保存する（Ｓ２０３）。
なお、Ｓ２０１、Ｓ２０２の編集処理は、その順番を問わず実行することができ、前後に行き来することもできる。Ｓ２０３の保存処理は、Ｓ２０１、Ｓ２０２の編集が実行される都度実行することもできる。また、Ｓ２０１のみの編集で編集終了とすることもできる。
また、上述のトラック生成処理は、ユーザごとに独立して実行することができる。したがって、第１のユーザによるトラック生成処理が行われた後に、第２のユーザによるトラック生成処理を行うことができる。よって、例えば、第１のユーザがキャラクタ４を操作して演技を行った動作をトラックとして第１のトラック格納部５３０に格納した後に、第２のユーザが当該第１のトラックを再生しながらカメラマン２を操作してカメラ３を制御し、キャラクタ４の演技を後から撮影し、カメラ３の動作（又はカメラマン２の動作）を第２のトラックに格納することができる。これにより、第１及び第２のトラックを実行することで、第１のユーザが演技したキャラクタ４を第２のユーザが撮影した画像を作成することができる。
また、上述のトラック編集処理も、ユーザごとに独立して実行することができる。したがって、第１のユーザによるトラック生成処理が行われた後に、第２のユーザにより第１のユーザが作成したトラックの編集処理を行うことができる。したがって、第１のユーザ及び第２のユーザが得意な部分を持ち寄った操作により１つのオブジェクトの動作を規定することができる。例えば、第１のユーザがキャラクタ４を操作してラップの動作をトラックに記録した後、第２のユーザがキャラクタ４を操作してラップの合間に行うダンスの動作を追加することができる。これにより、同じキャラクタ４であっても異なる動きを行うにあたり、動きに応じて得意なユーザが操作を行うことで、全体として高品質な動きを演技することが可能となる。
以上のように、本実施形態により、マルチトラックレコーディング（ＭＴＲ）の方式をアニメーション制作に適用することで、ユーザ動作に連動したキャラクタ動作を各トラックに格納し、各トラック内または各トラック間で編集作業を行うことで簡易かつ効率的なアニメーション制作を実現することができる。
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
例えば、本実施形態において、トラック生成方法及び編集方法につき、キャラクタを例に説明したが、キャラクタに限らず、キャラクタを含む、動作を伴うオブジェクト（乗り物、構造物、物品等）に本実施形態に開示される方法を適用することもできる。
また、例えば、本実施形態において、画像生成装置３１０をＨＭＤ１１０とは別個のものとして記載したが、画像生成装置３１０によって提供される、全部または一部の構成及び機能をＨＭＤ１１０に備えることもできる。
１ 仮想空間
２ カメラマン
３ カメラ
４ キャラクタ
５ キャラクタ
１１０ ＨＭＤ
２１０ コントローラ
３１０ 画像生成装置
２ カメラマン
３ カメラ
４ キャラクタ
５ キャラクタ
１１０ ＨＭＤ
２１０ コントローラ
３１０ 画像生成装置
Claims (3)
- アニメーションの制作方法であって、
仮想空間に第１及び第２のオブジェクトならびに仮想的なカメラを配置し、
第１のユーザからの操作に応じて前記第１のオブジェクトの動作を制御し、
第２のユーザからの操作に応じて前記第２のオブジェクトの動作を制御し、
前記第１もしくは第２のユーザ又は第２のユーザからの操作に応じて前記カメラを制御して、前記第１及び第２のオブジェクトを撮影すること、
を特徴とするアニメーション制作方法。 - 請求項１に記載のアニメーション制作方法であって、
前記第１のオブジェクトの動作を第１のトラックに記録し、
前記第１のトラックに記録された前記第１のオブジェクトの動作を再生しながら、前記第２のオブジェクトの動作を制御すること、
を特徴とするアニメーション制作方法。 - 請求項１に記載のアニメーション制作方法であって、
前記第２のオブジェクトは前記第１のオブジェクトと同一のオブジェクトであり、
前記第１のオブジェクトの動作を第１のトラックに記録し、
前記第１のトラックに記録された前記第１のオブジェクトの動作を再生しながら、前記第２のユーザの操作に応じて前記第１のオブジェクトの動作を変更すること、
を特徴とするアニメーション制作方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020128304A JP2022025471A (ja) | 2020-07-29 | 2020-07-29 | アニメーション制作システム |
| US17/008,258 US11380038B2 (en) | 2020-07-29 | 2020-08-31 | Animation production system for objects in a virtual space |
| US17/834,405 US20220301249A1 (en) | 2020-07-29 | 2022-06-07 | Animation production system for objects in a virtual space |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020128304A JP2022025471A (ja) | 2020-07-29 | 2020-07-29 | アニメーション制作システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022025471A true JP2022025471A (ja) | 2022-02-10 |
Family
ID=80004485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020128304A Pending JP2022025471A (ja) | 2020-07-29 | 2020-07-29 | アニメーション制作システム |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US11380038B2 (ja) |
| JP (1) | JP2022025471A (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022025471A (ja) * | 2020-07-29 | 2022-02-10 | 株式会社AniCast RM | アニメーション制作システム |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5199053B2 (ja) * | 2008-12-16 | 2013-05-15 | 株式会社スクウェア・エニックス | ゲーム装置、ゲームのリプレイ表示方法、ゲームプログラム及び記録媒体 |
| WO2012007735A2 (en) * | 2010-07-14 | 2012-01-19 | University Court Of The University Of Abertay Dundee | Improvements relating to viewing of real-time, computer-generated environments |
| US8854298B2 (en) * | 2010-10-12 | 2014-10-07 | Sony Computer Entertainment Inc. | System for enabling a handheld device to capture video of an interactive application |
| US8941666B1 (en) * | 2011-03-24 | 2015-01-27 | Lucasfilm Entertainment Company Ltd. | Character animation recorder |
| JP2017146651A (ja) | 2016-02-15 | 2017-08-24 | 株式会社コロプラ | 画像処理方法及び画像処理プログラム |
| JP2018101293A (ja) * | 2016-12-20 | 2018-06-28 | 株式会社コロプラ | ヘッドマウントデバイスに仮想空間を提供するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるプログラム、および、コンピュータ装置 |
| US10365784B2 (en) * | 2017-03-08 | 2019-07-30 | Colopl, Inc. | Information processing method and apparatus for executing the information processing method |
| CN108905212B (zh) * | 2017-03-27 | 2019-12-31 | 网易（杭州）网络有限公司 | 游戏画面的显示控制方法及装置、存储介质、电子设备 |
| JP6276882B1 (ja) * | 2017-05-19 | 2018-02-07 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
| US11425351B2 (en) * | 2018-11-05 | 2022-08-23 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method and system for creating an out-of-body experience |
| JP7267753B2 (ja) * | 2019-01-21 | 2023-05-02 | キヤノン株式会社 | 制御装置、制御方法、及びプログラム |
| US11049072B1 (en) * | 2019-04-26 | 2021-06-29 | State Farm Mutual Automobile Insurance Company | Asynchronous virtual collaboration environments |
| JP2022025471A (ja) * | 2020-07-29 | 2022-02-10 | 株式会社AniCast RM | アニメーション制作システム |
-
2020
- 2020-07-29 JP JP2020128304A patent/JP2022025471A/ja active Pending
- 2020-08-31 US US17/008,258 patent/US11380038B2/en active Active
-
2022
- 2022-06-07 US US17/834,405 patent/US20220301249A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20220301249A1 (en) | 2022-09-22 |
| US20220036615A1 (en) | 2022-02-03 |
| US11380038B2 (en) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7470345B2 (ja) | アニメーション制作システム | |
| JP7470344B2 (ja) | アニメーション制作システム | |
| JP7470346B2 (ja) | アニメーション制作システム | |
| US20220301249A1 (en) | Animation production system for objects in a virtual space | |
| US11321898B2 (en) | Animation production system | |
| JP2022025468A (ja) | アニメーション制作システム | |
| JP6964302B2 (ja) | アニメーション制作方法 | |
| JP7218874B2 (ja) | アニメーション制作システム | |
| JP7218875B6 (ja) | アニメーション制作システム | |
| JP7390540B2 (ja) | アニメーション制作システム | |
| JP2022025467A (ja) | アニメーション制作システム | |
| JP6955725B2 (ja) | アニメーション制作システム | |
| JP2022025464A (ja) | アニメーション制作システム | |
| JPWO2021059358A1 (ja) | アニメーション制作システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230331 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20240308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240528 |