JP2019133568A - 仮想空間におけるキャラクタの制御方法 - Google Patents

仮想空間におけるキャラクタの制御方法 Download PDF

Info

Publication number
JP2019133568A
JP2019133568A JP2018017258A JP2018017258A JP2019133568A JP 2019133568 A JP2019133568 A JP 2019133568A JP 2018017258 A JP2018017258 A JP 2018017258A JP 2018017258 A JP2018017258 A JP 2018017258A JP 2019133568 A JP2019133568 A JP 2019133568A
Authority
JP
Japan
Prior art keywords
user
control method
character
input
virtual space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018017258A
Other languages
English (en)
Other versions
JP6481057B1 (ja
Inventor
義仁 近藤
Yoshihito Kondo
義仁 近藤
雅人 室橋
Masato Murohashi
雅人 室橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XVI Inc
Original Assignee
XVI Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XVI Inc filed Critical XVI Inc
Priority to JP2018017258A priority Critical patent/JP6481057B1/ja
Priority to US16/265,695 priority patent/US20190240573A1/en
Application granted granted Critical
Publication of JP6481057B1 publication Critical patent/JP6481057B1/ja
Publication of JP2019133568A publication Critical patent/JP2019133568A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1025—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/302—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device specially adapted for receiving control signals not targeted to a display device or game input means, e.g. vibrating driver's seat, scent dispenser
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】仮想空間を含む仮想空間において、従来にはない、ユーザがより没入感を享受することができるキャラクタの制御方法を提供する。【解決手段】仮想空間内におけるオブジェクトの制御方法であって、初期状態において、ユーザの視界領域外においてユーザから所定距離だけ離れた所定位置にオブジェクトの少なくとも一部を配置するステップと、仮想空間内におけるユーザの入力を検出するステップと、ユーザの入力に応じて、オブジェクトの出力を所定位置において制御するステップを含む。【選択図】図８

Description

本発明は、仮想空間におけるキャラクタの制御方法に関する。詳しくは、ユーザの頭部等の身体に装着する装置、例えば、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）を利用したキャラクタの制御方法に関する。
モーションキャプチャは、現実空間における演者の動きをデジタル的にキャプチャする技術であり、キャプチャした動きは、動画などのコンピュータアニメーションおよびゲーム等におけるキャラクタの動きの表現に利用される。
従来、モーションキャプチャ技術として、光学式や機械式等の方式が採用されている。まず、光学式の例として、演者がマーカを備えた全身スーツを装着し、部屋や撮影スタジオ等の一定の空間にマーカをトラッキングする、デジタルカメラ等の複数のトラッカを配置することで、トラッカがマーカの反射を捕捉し、フレーム毎のマーカ位置の変化を分析することで、演者の時系列の動きを空間的表現として構成する。この空間的表現を仮想空間におけるキャラクタの制御に適用することで、演者の動きをキャラクタの動きに再現することが可能となる。光学式のモーションキャプチャ技術のトラッキング精度を向上させる技術の例として、例えば、特開２０１２−２４８２３３号に開示される技術が挙げられる。また、機械式の例として、演者の全身に加速度・ジャイロ・地磁気センサを装着し、センサにより検出される演者の動きを仮想空間におけるキャラクタの制御に適用する方法がある。センサを利用したモーションキャプチャ技術の例として、例えば、特開２０１６−１２６５００号に開示される技術が挙げられる。
特開２０１２−２４８２３３号公報 特開２０１６−１２６５００号公報
上記文献に開示される技術は、仮想空間におけるキャラクタの制御のために、専用のモーションキャプチャシステムを採用することを必要とする。特に、演者は、マーカまたはセンサを全身に装着する必要があり、精度向上のため、マーカやセンサの数を多くすることが必要となる。
そこで、本発明は、より簡易な方法を通じて、現実空間における演者の動きを、仮想空間におけるキャラクタの動きとして実現する技術を提供することを目的とする。
本発明における一実施形態により提供される、仮想空間におけるキャラクタの制御方法は、仮想空間内にキャラクタを配置するステップと、ユーザに装着されたヘッドマウントディスプレイを介して当該ユーザの入力を検出するステップと、ユーザの入力に基づいて、キャラクタの動作及び表情のいずれかを制御するステップとを有することを特徴とする。
本発明によれば、ヘッドマウントディスプレイを介して検出したユーザ入力に基づいて、仮想空間内に配置されたキャラクタの動作等を制御することで、より簡易な方法で、現実空間におけるユーザの動きを仮想空間内のキャラクタの動きとして再現することが可能となる。
第１の実施形態にかかるヘッドマウントディスプレイ１１０の外観の模式図を示す。 第１の実施形態にかかるコントローラ２１０の外観の模式図を示す。 第１の実施形態にかかるＨＭＤシステム３００の構成図を示す。 第１の実施形態にかかるＨＭＤ１１０の機能構成図を示す。 第１の実施形態にかかるコントローラ２１０の機能構成図を示す。 第１の実施形態にかかる画像生成装置３１０の機能構成図を示す。 第１の実施形態にかかる、ユーザ装置に表示される仮想空間の一例を示す図である。 第１の実施形態にかかる、キャラクタの制御方法を説明するフローチャートを示す。 第１の実施形態にかかる、キャラクタの制御方法を説明するフローチャートを示す。 第２の実施形態にかかる、画像生成装置１０１０の機能構成図を示す。 第２の実施形態にかかる、ユーザ装置に表示される仮想空間の一例を示す図である。 第２の実施形態にかかる、ユーザ装置に表示される仮想空間の他の一例を示す図である。 第２の実施形態において、仮想空間上でキャラクタとアイテムが相互作用する処理の一例としてのフローチャートを示す。 第３の実施形態にかかる、仮想空間上でキャラクタとアイテムが相互作用する処理の一例としてのフローチャートを示す。 画像生成装置１０１０のアイテムデータ格納部１０５４に格納されるアイテム管理テーブル１５１０の例を示す。 第４の実施形態にかかる、仮想空間上でキャラクタとアイテムが相互作用する処理の一例としてのフローチャートを示す。 画像生成装置１０１０のユーザデータ格納部１０５５に格納されるユーザランキング管理テーブル１６１０の例を示す。 第５の実施形態にかかる、演者ユーザ用の仮想空間ユーザインターフェースの一例を示す。
＜実施形態１＞
本発明の一実施形態に係るヘッドマウントディスプレイシステムを制御するプログラムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
図１は、本実施形態にかかるヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図を示す。ＨＭＤ１１０はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル１２０を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル１２０には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
さらに、ＨＭＤ１１０の筐体部１３０は、センサ１４０を備える。センサは、ユーザの頭部の向きや傾きといった動きを検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。ユーザの頭部の垂直方向をＹ軸とし、Ｙ軸と直交する軸のうち、表示パネル１２０の中心とユーザとを結ぶ、ユーザの前後方向に相当する軸をＺ軸とし、Ｙ軸及びＺ軸と直交し、ユーザの左右方向に相当する軸をＸ軸とするとき、センサ１４０は、Ｘ軸まわりの回転角（いわゆる、ピッチ角）、Ｙ軸まわりの回転角（いわゆる、ヨー角）、Ｚ軸まわりの回転角（いわゆる、ロール角）を検出することができる。
さらに、またはセンサ１４０に代えて、ＨＭＤ１１０の筐体部１３０は、複数の光源１５０（例えば、赤外光ＬＥＤ、可視光ＬＥＤ）を備えることもでき、ＨＭＤ１１０の外部（例えば、室内等）に設置されたカメラ（例えば、赤外光カメラ、可視光カメラ）がこれらの光源を検出することで、特定の空間におけるＨＭＤ１１０の位置、向き、傾きを検出することができる。または、同じ目的で、ＨＭＤ１１０に、ＨＭＤ１１０の筐体部１３０に設置された光源を検出するためのカメラを備えることもできる。
さらに、ＨＭＤ１１０の筐体部１３０は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、ユーザの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。
図２は、本実施形態にかかるコントローラ２１０の外観の模式図を示す。コントローラ２１０により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができる。左手用コントローラ２２０及び右手用コントローラ２３０は、各々操作用トリガーボタン２４０、赤外線ＬＥＤ２５０、センサ２６０、ジョイスティック２７０、メニューボタン２８０を有することができる。
操作用トリガーボタン２４０は、コントローラ２１０のグリップ２３５を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に２４０ａ、２４０ｂとして配置される。コントローラ２１０の両側面から下方にリング状に形成されるフレーム２４５には、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。
また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動きを検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ２１０の上面には、ジョイスティック２７０及びメニューボタン２８０を備えることができる。ジョイスティック２７０は、基準点を中心に３６０度方向に動かすことができ、コントローラ２１０のグリップ２３５を把持したときに、親指で操作されることが想定される。メニューボタン２８０もまた同様に、親指で操作されることが想定される。さらに、コントローラ２１０は、コントローラ２１０を操作するユーザの手に振動を与えるためのバイブレータ（図示せず）を内蔵することもできる。ボタンやジョイスティックを介したユーザの入力内容やセンサ等を介したコントローラ２１０の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ２１０は、入出力部及び通信部を有する。
ユーザがコントローラ２１０を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線ＬＥＤやセンサにより検出される情報によって、システムはユーザの手の動きや姿勢を決定し、仮想空間内において擬似的にユーザの手を表示させ、動作させることができる。
図３は、本実施形態にかかるＨＭＤシステム３００の構成図を示す。ＨＭＤシステム３００は、例えば、ＨＭＤ１１０、コントローラ２１０及びホストコンピュータとして機能する画像生成装置３１０で構成することができる。さらに、ＨＭＤ１１０やコントローラ２１０の位置、向き及び傾き等を検出するための赤外線カメラ（図示せず）等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にＵＳＢポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、ＨＤＭＩ、有線ＬＡＮ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の有線又は無線により通信を確立することもできる。画像生成装置３１０は、ＰＣ、ゲーム機、携帯通信端末等計算処理機能を有する装置であればよい。また、画像生成装置３１０は、インターネット等のネットワークを介して４０１Ａ、４０１Ｂ、４０１Ｃ等の複数のユーザ装置と接続し、生成した画像をストリーミングまたはダウンロードの形態で送信することができる。ユーザ装置４０１Ａ等は、各々インターネットブラウザを備えるか、適切なビューワを備えることで送信された画像を再生することができる。ここで、画像生成装置３１０は、複数のユーザ装置に対し、直接画像を送信することもできるし、他のコンテンツサーバを介して画像を送信することもできる。
図４は、本実施形態にかかるＨＭＤ１１０の機能構成図を示す。図１において述べたように、ＨＭＤ１１０は、センサ１４０を備えることができる。センサとしては、ユーザの頭部の向きや傾きといった動きを検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、ユーザの左目及び右目の視線方向及び注視点を検出するために用いられる。さらに精度よく、ユーザの頭部の向きや傾きといった動きを検出したり、ユーザの頭部の位置を検出したりするために、赤外光や紫外光といったＬＥＤ１５０を備えることもできる。また、ＨＭＤの外景を撮影するためのカメラ１６０を備えることができる。また、ユーザの発話を集音するためのマイク１７０、音声を出力するためのヘッドフォン１８０を備えることもできる。なお、マイクやヘッドフォンはＨＭＤ１１０とは別個独立した装置として有することもできる。
さらに、ＨＭＤ１１０は、例えば、コントローラ２１０や画像生成装置３１０等の周辺装置との有線による接続を確立するための入出力部１９０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部１１５を備えることができる。センサ１４０により取得されたユーザの頭部の向きや傾きといった動きに関する情報は、制御部１２５によって、入出力部１９０及び／又は通信部１１５を介して画像生成装置３１０に送信される。詳細は後述するが、画像生成装置３１０において、ユーザの頭部の動きに基づいて生成された画像は、入出力部１９０及び／又は通信部１１５を介して受信され、制御部１２５によって表示部１２０に出力される。
図５は、本実施形態にかかるコントローラ２１０の機能構成図を示す。図２において述べたように、コントローラ２１０は、コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができるが、いずれのコントローラにおいても、操作用トリガーボタン２４０、ジョイスティック２７０、メニューボタン２８０といった操作部２４５を備えることができる。また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動きを検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。コントローラ２１０は、例えば、ＨＭＤ１１０や画像生成装置３１０等の周辺装置との有線による接続を確立するための入出力部２５５を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部２６５を備えることができる。ユーザにより操作部２４５を介して入力された情報及びセンサ２６０によって取得されたコントローラ２１０の向きや傾きといった情報は、入出力部２５５及び／又は通信部２６５を介して画像生成装置３１０に送信される。
図６は、本実施形態にかかる画像生成装置３１０の機能構成図を示す。画像生成装置３１０としては、ＨＭＤ１１０やコントローラ２１０から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動きやコントローラの動きや操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、ＰＣ、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置３１０は、例えば、ＨＭＤ１１０やコントローラ２１０等の周辺装置との有線による接続を確立するための入出力部３２０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部３３０を備えることができる。入出力部３２０及び／又は通信部３３０を介して、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動きやコントローラの動きや操作に関する情報は、制御部３４０において、ユーザの位置、視線、姿勢等の動作、発話、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部３５０に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部３４０は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置３１０はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
さらに、画像生成装置３１０の制御部３４０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動きやユーザの発話、また、コントローラの動きや操作に関する情報を検出するユーザ入力検出部６１０と、予め記憶部３５０のキャラクタデータ格納部６５０に格納されたキャラクタに対して、制御プログラム格納部に格納された制御プログラムを実行するキャラクタ制御部６２９と、キャラクタ制御に基づいて画像を生成する画像生成部６３０を有する。ここでキャラクタの動きの制御については、ＨＭＤ１１０やコントローラ２１０を介して検出されたユーザ頭部の向きや傾き、手の動きといった情報を、人間の身体の関節の動きや制約に則って作成されたボーン構造の各部の動きに変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動きを適用させることで実現される。
記憶部３５０は、上述のキャラクタデータ格納部６５０に、キャラクタのイメージデータのほか、キャラクタの属性等キャラクタに関連する情報を格納する。また、制御プログラム格納部６７０は、仮想空間におけるキャラクタの動作や表情を制御するためのプログラムを格納する。ストリーミングデータ格納部６６０は、画像生成部６３０で生成された画像を格納する。
図７は、本実施形態にかかる、ユーザ装置に表示される仮想空間の一例を示す図である。図７に示すように、ユーザ装置は、内蔵するウェブブラウザにエンベッドされる画像を表示するためのビューワ等の画像表示部７１０において、キャラクタ７２０を含む仮想空間の画像を表示することができる。仮想空間に配置されるキャラクタ７２０は、演者としてのユーザに装着されるＨＭＤ１１０及び／またはコントローラ２１０を介した、ユーザの頭部の傾きや向きといった動き、ユーザの発話内容、または、コントローラ２１０の傾きや向きといった動き、コントローラ２１０を介したユーザの操作内容といった、ユーザ入力に基づいて、動作することができる。
図８及び図９は、本実施形態にかかる、キャラクタの制御方法を説明するフローチャートを示す。まず、画像生成装置３１０のユーザ入力検出部６１０は、入出力部３２０及び／又は通信部３３０を介して、ＨＭＤ１１０及び／又はコントローラ２１０から、ユーザの頭部の動きやユーザの発話、また、コントローラの動きや操作に関する情報を受信する（Ｓ８１０）。続いて、ユーザ入力検出部６１０は、ユーザの入力内容が、ＨＭＤ１１０から入力されたものであるか、または、コントローラ２１０から入力されたものであるかを確認する（Ｓ８２０）。Ｓ８２０の処理が、ＨＭＤ１１０から入力されたものである場合は、具体的な入力内容を確認するステップ（Ｓ８３０〜Ｓ８５０）に進む。Ｓ８２０の処理が、コントローラ２１０から入力されたものである場合は、図９に示す処理へと進む。
Ｓ８２０の処理が、ＨＭＤ１１０から入力されたものである場合は、ユーザ入力検出部６１０は、まず、ＨＭＤ１１０から入力された内容が、ユーザ頭部の動作に関する情報であるかを確認する（Ｓ８３０）。具体的には、ＨＭＤ１１０のセンサ１４０から入力された情報がユーザの頭部の向きや傾き（例えば、ユーザの頭部を基準としたＸＹＺ軸まわりの回転角）に関する場合、キャラクタ制御部６２０は、キャラクタの頭部の動きを変化させることができる（Ｓ８６０）。ここで、例えば、ＨＭＤ１１０のジャイロセンサにより検出されたユーザの頭部の向きや傾きといった動きに関する情報を、人間の関節の動きや制約を規定したボーン構造の頭部の動きに変換し、ボーン構造の頭部の動きをキャラクタデータ格納部６５０に格納されたキャラクタデータの頭部の動きに適用することで、キャラクタの動きを制御することができる。例えば、ジャイロセンサにマイクより、Ｙ軸回りに「ロール角：−（マイナス）３０度」という情報を受信した場合、キャラクタ制御部６２０は、その情報をキャラクタの頭部を左方向に３０度首を振るよう変化させる処理を行う。さらに、キャラクタの表情を変化させることもできる。キャラクタの表情キャラクタの表情を構成する要素として、キャラクタの顔を構成するパーツ、例えば、眉、眼、鼻、口等に分解することができ、また、各々の動きのパターンや動きの度合（動きの大きさ、速さ）をパラメータとして持っておくことができる。これらのパーツのパラメータを組み合わせることで、キャラクタは喜怒哀楽といった様々な表情を有することができる。そして、ユーザの頭部の動きを検出することで、その動きに応じて、そのパラメータをランダムに変更するよう制御することができる。これにより、キャラクタの自然な表情を再現することができる。または、ユーザ入力検出部６１０は、その入力内容が、ユーザの注視点に関する情報であるかを確認する（Ｓ８４０）。注視点は、各種センサを介して得られるユーザの頭部の向きや傾きに関する情報を基に視線方向を算出するか、または、アイトラッキング・センサを介して直接得られる。キャラクタ制御部６２０は、視線方向または注視点の示す位置に応じて、キャラクタの視線を変化させることができる（Ｓ８７０）。または、ユーザ入力検出部６１０は、ユーザ入力内容が、ユーザの発話に関する情報であるかを確認する（Ｓ８５０）。具体的には、ユーザ入力内容が、ＨＭＤ１１０のマイク１７０から入力された音声である場合、キャラクタ制御部６２０は、その声の大きさに応じて、キャラクタの口の大きさを制御したり、キャラクタの表情パラメータをランダムに変更するよう制御することができる（Ｓ８８０）。ここで、ユーザはＨＭＤ１１０を頭部に装着せずに、例えば、頭部の上に載せて、外部のモニタに表示されるキャラクタの画像を見ながら、ＨＭＤ１１０の動きを変化させることで、ＨＭＤ１１０の動きに応じたキャラクタの動きを再現することもできる。
Ｓ８２０の処理が、コントローラ２１０から入力されたものである場合は、図９において、具体的な入力内容を確認するステップ（Ｓ９１０〜Ｓ９３０）に進む。まず、ユーザ入力検出部６１０は、コントローラ２１０からの入力内容が、コントローラ２１０の操作ボタンの操作に関する情報であるかを確認する（Ｓ９１０）。例えば、入力内容が、左手用コントローラの操作用トリガーボタン２４０ａの押下に関するものであった場合、キャラクタ制御部６２０は、そのボタンの操作に対応するアクションをキャラクタが取る（例えば、キャラクタが笑う）よう、表情パラメータを制御することができる。または、ユーザ入力検出部６１０は、コントローラ２１０からの入力内容が、コントローラ２１０に備えられたセンサ２６０を介して検出されたコントローラ２１０の位置、向きや傾きといった動作に関するものであるかを確認する（Ｓ９２０）。入力内容が、コントローラ２１０の位置、向きや傾きといった動作に関するものである場合、キャラクタ制御部６２０は、キャラクタの身体の動きを制御することができる（Ｓ９５０）。例えば、入力内容が、コントローラ２１０の加速度センサから検出される位置の変化（コントローラを上げ下げする動き）に関するものであった場合、キャラクタ制御部６２０は、キャラクタの腕を上下させる動きを行うよう制御することができる。また、入力内容が、コントローラ２１０のジャイロセンサから検出される回転に関するものであった場合、キャラクタ制御部６２０は、キャラクタの指を開閉させるよう制御することができる。ここで、ＨＭＤ１１０とコントローラ２１０の動きとを組み合わせれば、キャラクタは、これらに対応する頭部や手の動きを再現することになるが、首や肩といった、頭部と手を繋ぐ部位の動きは、コンピュータグラフィクスのインバースキネマティクス（ＩＫ）という手法を用いて、頭部と手の動きを基とした首や肩の動きを逆算することで、センサを介して得られない動きを補間することができる。または、ユーザ入力検出部６１０は、コントローラ２１０からの入力内容が、コントローラ２１０の操作ボタンの操作の組み合わせに関する情報であるかを確認する（Ｓ９３０）。例えば、入力内容が、左手用コントローラの操作用トリガーボタン２４０ａと右手用コントローラの操作用トリガーボタン２４０ａを同時に押下することであった場合、その組み合わせに対応したアクションをキャラクタが取る（例えば、キャラクタがお腹を抱えて笑う）よう、表情パラメータや動作パラメータを制御することができる（Ｓ９６０）。ここで、表情パラメータと同様に、キャラクタの身体の動作として、身体を構成するパーツ、例えば、頭部、両手、両足といったパーツに分解し、各々の動きのパターンや動きの度合（動きの大きさ、速さ）をパラメータとして持っておくことができる。キャラクタの自然な動きを表現するため、ＨＭＤ１１０またはコントローラ２１０を介した、ユーザに何らかの入力に応じて、キャラクタの表情パラメータや動作パラメータをランダムに制御することができる。
本実施例によれば、ユーザの身体に直接装着されたマーカやセンサでなく、ＨＭＤ１１０やコントローラ２１０を介したユーザの各部の動きや操作内容を検出することで、ユーザの動きに対応したキャラクタの動きの再現を容易にしつつ、操作内容により、バリエーションに富んだ表現をも実現することができる。
＜第２の実施形態＞
図１０に、第２の実施形態にかかる、画像生成装置１０１０の機能構成図を示す。本実施形態にかかるＨＭＤシステムは、図３に示す、第１の実施形態におけるシステム構成と同様であり、また、画像生成装置１０１０の機能構成についても、基本的には図６に示す構成と同様である。本実施形態においては、画像生成装置１０１０において、制御部１０４０は、他のユーザ装置から、仮想空間に配置するアイテムの選択を受け付けるアイテム受付部１０４４を有し、記憶部１０５０は、アイテムに関するデータを格納するアイテムデータ格納部１０５４を有する。さらに、記憶部１０５０は、ユーザに関する情報を格納するユーザデータ格納部１０５５を有する。本実施形態における画像生成装置の特徴としては、複数のユーザ装置に対して仮想空間となる画像を送信するだけでなく、ユーザ装置からアイテムやコメントを受付けることができる。なお、第１の実施形態と同様に、画像生成装置１０１０の機能を、画像を生成することだけに特化し、別途コンテンツ・サービスサーバを設けて、このコンテンツ・サービスサーバが、ユーザ装置に画像を送信し、また、ユーザ装置からアイテムやコメントを受け付ける機能を有することもできる。
図１１は、第２の実施形態にかかる、ユーザ装置に表示される仮想空間の一例を示す図である。第１の実施形態同様、ユーザ装置は、内蔵するウェブブラウザにエンベッドされる画像を表示するためのビューワ等の画像表示部１１１０において、キャラクタ１１２０を含む仮想空間の画像を表示することができる。仮想空間に配置されるキャラクタ７２０は、演者としてのユーザに装着されるＨＭＤ１１０及び／またはコントローラ２１０を介した、ユーザの頭部の傾きや向きといった動き、ユーザの発話、または、コントローラ２１０の傾きや向きといった動き、コントローラ２１０を介したユーザの操作内容といった、ユーザ入力に基づいて、動作することができる。本実施形態においては、画像表示部１１１０のほか、画像生成装置３１０に接続する各ユーザ装置から受け付けたコメントを表示するコメント表示部１１３０、ユーザからのコメント入力を受け付けるコメント入力部１１４０、及びキャラクタに対してギフティングするアイテムを選択及び表示するアイテム表示部１１５０を有することができる。本実施形態は、画像表示部１１１０に表示される仮想空間上に表示されるキャラクタに対して、各ユーザから応援コメントを受付け、また、各ユーザが、各々ポイントが対応づけられた複数のアイテムの中から所望のアイテムを購入し、送信要求を行う入力を行うことで、仮想空間内に購入アイテムを表示させる、いわゆるギフティングを行うことを含むサービスを想定している。このようなサービスにおいては、ギフティングしたアイテムのポイントの累計に応じて、キャラクタが所定の動作を行う、といったことが考えられる。
図１２は、本実施形態にかかる、ユーザ装置に表示される仮想空間の他の一例を示す図である。本例においては、一のユーザ装置からのギフティングを通じて画像表示部１１１０に配置されたアイテム１２１０を、キャラクタ１１２０が持ち上げて喜ぶかのような演出が行われている。これにより、ユーザとキャラクタは、サービスにおいて、より一層の一体感を共有することができる。
図１３に、本実施形態において、仮想空間上でキャラクタとアイテムが相互作用する処理の一例としてのフローチャートを示す。まず、画像生成装置１０１０のアイテム受付部１０４４は、サービスに接続する複数のユーザ装置のいずれかからアイテムを受け付ける（Ｓ１３１０）。画像生成装置１０１０の画像生成部１０４３は、ユーザ装置の画像表示部１１１０に、キャラクタ１１２０と共にアイテム１２１０を表示させるために、画像生成を行う（Ｓ１３２０）。その後、画像生成装置１０１０のユーザ入力検出部１１４１は、演者となるユーザのＨＭＤ１１０やコントローラ２１０等からユーザ入力を検出したかを確認する（Ｓ１３３０）。例えば、演者となるユーザは、ＨＭＤ１１０のディスプレイに表示される仮想空間を見ながら、アイテム１２１０に対してコントローラ２１０の位置を合わせ、左手または右手の操作用トリガーボタン２４０ａのトリガーを引く操作を行うことができる。ユーザ入力検出部１１４１は、画像生成装置１０１０の入出力部１０２０及び／または通信部１０３０を通じて、当該操作を受付け、検出することができる。ユーザ入力検出部１０４１が、ユーザ入力の検出をしなければ、元の処理に戻る。ユーザ入力検出部１０４１が、ユーザ入力を検出すると、キャラクタ制御部１０４２は、コントローラ２１０の位置に合わせてキャラクタの手の位置を移動させる処理を行い、コントローラの位置を仮想空間における座標に変換し、この座標が仮想空間におけるアイテムが配置される座標と重なる場合は、次に、コントローラ２１０を介した操作に従い、アイテムを掴む処理を行う。結果として、画像生成部１０４３は、キャラクタ１１２０がアイテム１２１０を持ち上げる画像、すなわち、キャラクタとアイテムとが相互作用する画像を生成する（Ｓ１３４０）。
＜第３の実施形態＞
図１４に、第３の実施形態にかかる、仮想空間上でキャラクタとアイテムが相互作用する処理の一例としてのフローチャートを示す。本実施形態においては、画像処理の観点に加え、サービスにおけるキャラクタとユーザのソーシャル性をさらに高めるための方法を提供する。本実施形態のシステム及び画像生成装置の構成は第２の実施形態のものと基本的に同じである。
図１４について、まず、画像生成装置１０１０のアイテム受付部１０４４は、サービスに接続する複数のユーザ装置のいずれかからアイテムを受け付ける（Ｓ１４１０）。画像生成装置１０１０の画像生成部１０４３は、ユーザ装置の画像表示部１１１０に、キャラクタ１１２０と共にアイテム１２１０を表示させるために、画像生成を行う（Ｓ１４２０）。その後、画像生成装置１０１０のユーザ入力検出部１１４１は、演者となるユーザのＨＭＤ１１０やコントローラ２１０等からユーザ入力を検出したかを確認する（Ｓ１４３０）。例えば、演者となるユーザは、ＨＭＤ１１０のディスプレイに表示される仮想空間を見ながら、アイテム１２１０に対してコントローラ２１０の位置を合わせ、左手または右手の操作用トリガーボタン２４０ａのトリガーを引く操作を行うことができる。ユーザ入力検出部１１４１は、画像生成装置１０１０の入出力部１０２０及び／または通信部１０３０を通じて、当該操作を受付け、検出することができる。ユーザ入力検出部１０４１が、ユーザ入力の検出をしなければ、元の処理に戻る。ユーザ入力検出部１０４１が、ユーザ入力を検出すると、キャラクタ制御部１０４２は、仮想空間に配置されたアイテム１２１０のポイント数を確認し、続いて、そのポイント数が所定のポイント以上であるかを確認する（Ｓ１４４０）。
図１５に、画像生成装置１０１０のアイテムデータ格納部１０５４に格納されるアイテム管理テーブル１５１０の例を示す。アイテム管理テーブル１５１０は、ユーザがギフティングできるアイテム及び対応するポイント数を管理する。ここで、ポイント数というのは、サービス内で通用する仮想通貨がポイント単位で提供される場合に、アイテムを１個単位で購入するために必要な数のことをさす。例えば、「ダルマ」というアイテムは、ポイント数が「１」であるのに対し、「バラ」というアイテムについては、ポイント数が「１０」と割り当てられている。ユーザはキャラクタ（または演者）を応援するためにアイテムをポイントで購入し、仮想空間に購入したアイテムを表示するよう要求する。アイテム管理テーブル１５１０に挙げられている例では、「指輪」が最も高価なアイテムということになる。
図１４のＳ１４４０に戻り、キャラクタ制御部１０４２は、例えば、予め決められたポイント数を「１０ｐｔ」とするときに、配置されたアイテムが「ダルマ」であった場合、キャラクタ制御は実行されず、処理は元に戻る。他方で、配置されたアイテムが「バラ」であった場合、バラのポイント数は「１０ｐｔ」であるので、条件を満たすことになる。条件を満たしたことを確認すると、キャラクタ制御部１０４２は、コントローラ２１０の位置に合わせてキャラクタの手の位置を移動させる処理を行い、コントローラの位置を仮想空間における座標に変換し、この座標が仮想空間におけるアイテムが配置される座標と重なる場合は、次に、コントローラ２１０を介した操作に従い、アイテムを掴む処理を行う。結果として、画像生成部１０４３は、キャラクタ１１２０がアイテム１２１０を持ち上げる画像、すなわち、キャラクタとアイテムとが相互作用する画像を生成する（Ｓ１４５０）。
＜第４の実施形態＞
図１６に、第４の実施形態にかかる、仮想空間上でキャラクタとアイテムが相互作用する処理の一例としてのフローチャートを示す。本実施形態においては、画像処理の観点に加え、サービスにおけるキャラクタとユーザのソーシャル性をさらに高めるための別の方法を提供する。本実施形態のシステム及び画像生成装置の構成は第２及び第３の実施形態のものと基本的に同じである。
図１６について、まず、画像生成装置１０１０のアイテム受付部１０４４は、サービスに接続する複数のユーザ装置のいずれかからアイテムを受け付ける（Ｓ１６１０）。画像生成装置１０１０の画像生成部１０４３は、ユーザ装置の画像表示部１１１０に、キャラクタ１１２０と共にアイテム１２１０を表示させるために、画像生成を行う（Ｓ１６２０）。その後、画像生成装置１０１０のユーザ入力検出部１１４１は、演者となるユーザのＨＭＤ１１０やコントローラ２１０等からユーザ入力を検出したかを確認する（Ｓ１６３０）。例えば、演者となるユーザは、ＨＭＤ１１０のディスプレイに表示される仮想空間を見ながら、アイテム１２１０に対してコントローラ２１０の位置を合わせ、左手または右手の操作用トリガーボタン２４０ａのトリガーを引く操作を行うことができる。ユーザ入力検出部１１４１は、画像生成装置１０１０の入出力部１０２０及び／または通信部１０３０を通じて、当該操作を受付け、検出することができる。ユーザ入力検出部１０４１が、ユーザ入力の検出をしなければ、元の処理に戻る。ユーザ入力検出部１０４１が、ユーザ入力を検出すると、キャラクタ制御部１０４２は、仮想空間に配置されたアイテム１２１０をギフティングしたユーザのランキングを確認し、続いて、そのポイント数が所定のランキング以上であるかを確認する（Ｓ１６４０）。
図１７に、画像生成装置１０１０のユーザデータ格納部１０５５に格納されるユーザランキング管理テーブル１６１０の例を示す。ユーザランキング管理テーブル１６１０は、ユーザがギフティングしたアイテムに対応するポイント数の合計を管理し、ポイント数の合計に基づいた順位を管理する。例えば、ユーザＡが、「指輪」というアイテムを５個購入し、ギフティングすれば、ポイント数の合計は「５００ｐｔ」となり、他のユーザとの比較で、ポイント数の合計で１位ということになる。
図１６のＳ１６４０に戻り、キャラクタ制御部１０４２は、例えば、予め決められたランキングを「３位以上」とするときに、配置されたアイテムをギフティングしたユーザが「ユーザＤ」であった場合、ユーザＤのランキングは４位であるため、キャラクタ制御は実行されず、処理は元に戻る。他方で、配置されたアイテムをギフティングしたユーザが「ユーザＣ」であった場合、ユーザＣのランキングは３位であるため、条件を満たすことになる。条件を満たしたことを確認すると、キャラクタ制御部１０４２は、コントローラ２１０の位置に合わせてキャラクタの手の位置を移動させる処理を行い、コントローラの位置を仮想空間における座標に変換し、この座標が仮想空間におけるアイテムが配置される座標と重なる場合は、次に、コントローラ２１０を介した操作に従い、アイテムを掴む処理を行う。結果として、画像生成部１０４３は、キャラクタ１１２０がアイテム１２１０を持ち上げる画像、すなわち、キャラクタとアイテムとが相互作用する画像を生成する（Ｓ１６５０）。
＜第５の実施形態＞
図１８に、第５の実施形態にかかる、演者ユーザ用の仮想空間ユーザインターフェースの一例を示す。本実施形態において、演者ユーザはＨＭＤ１１０を頭部に装着することで、表示部１２０に表示される仮想空間１８１０において、自身が演じている動作に基づいて動作するキャラクタを確認することができる。この仮想空間１８１０には、いくつかの操作パネルが存在し、演者ユーザは、自身で演じながら、仮想カメラの位置を変更したり、他の操作を行うことができる。
図１８において、仮想カメラの位置を操作する仮想カメラ選択部１８２０を有する。例えば、演者ユーザは、特定のカメラのボタンが表示される位置にコントローラ２１０の位置を移動させ、コントローラ２１０の操作ボタンを押下することで、所望の仮想カメラを選択することができる。仮想カメラは、例えば、キャラクタが配置される置に向かって正面、斜め方向に左４５度、右４５度といった位置に配置することができる。また、演者ユーザの声が録音中であることを示すアイコン１８３０を配置することができる。例えば、演者ユーザは、コントローラ２１０の特定の操作ボタンを押下することで、録音操作を実行でき、また、録音のステータスをアイコン１７３０の態様を通じて確認することができる。また、仮想空間内に「ＳＴＡＮＤ ＢＹ」アイコン１８４０を配置することができ、演者ユーザは、配信が準備中かオンエア中であるかのステータスを、アイコン１８４０を通じて確認することができる。その他、図示しないが、演者ユーザの発する声や音量に対応して、キャラクタの口からパーティクルを表示させる処理を行うこともでき、音量の大きさに応じて、パーティクルの大きさを大きくするなど直感的にステータスを確認できるようにすることもできる。
１１０ ヘッドマウントディスプレイ
１１５ 通信部
１２０ 表示パネル
１２５ 制御部
１４０ センサ
１５０ 光源
１６０ カメラ
１７０ マイク
１８０ ヘッドフォン
１９０ 入出力部
２１０ コントローラ
２２０ 左手用コントローラ
２３０ 右手用コントローラ
２４０ａ、２４０ｂ トリガーボタン
２４５ 操作部
２５０ 赤外線ＬＥＤ
２５５ 入出力部
２６０ センサ
２７０ ジョイスティック
２８０ メニューボタン
２９０ フレーム
３１０ 画像生成装置
３２０ 入出力部
３３０ 通信部
３４０ 制御部
３５０ 記憶部
４０１Ａ、４０１Ｂ、４０１Ｃ ユーザ装置
６１０ ユーザ入力検出部
６２０ キャラクタ制御部
６３０ 画像生成部
６５０ キャラクタデータ格納部
６６０ ストリーミングデータ格納部６
６７０ 制御プログラム格納部
７１０ 画像表示部
７２０ キャラクタ
１１１０ 画像表示部
１１２０ キャラクタ
１１３０ コメント表示部
１１４０ コメント入力部
１１５０ アイテム表示部
１２１０ アイテム
１８１０ 仮想空間
１８２０ 仮想カメラ選択部
１８３０ アイコン
１８４０ アイコン

Claims (14)

  1. 複数のユーザ装置に提供される仮想空間におけるキャラクタの制御方法であって、
    仮想空間内にキャラクタを配置するステップと、
    ユーザに装着されたヘッドマウントディスプレイを介して当該ユーザの入力を検出するステップと、
    前記ユーザの入力に基づいて、前記キャラクタの動作及び表情のいずれかを制御するステップと、
    を有することを特徴とする制御方法。
  2. 請求項１に記載の制御方法であって、
    前記ユーザの入力は、当該ユーザの発話及び動作いずれかに関する情報であることを特徴とする制御方法。
  3. 請求項１に記載の制御方法であって、
    さらに、前記ヘッドマウントディスプレイとは異なる第２のデバイスを介して前記ユーザの第２の入力を検出するステップと、
    前記第２の入力に基づいて、前記キャラクタの動作及び表情のいずれかを制御するステップと、
    を有することを特徴とする制御方法。
  4. 請求項１に記載の制御方法であって、
    前記ユーザの入力は、ヘッドマウントディスプレイに備えられたセンサを介して入力されたユーザの頭部の傾き及び向きのいずれかに関する情報であることを特徴とする制御方法。
  5. 請求項１に記載の制御方法であって、
    前記ユーザの入力は、ヘッドマウントディスプレイに備えられたセンサを介して入力されたユーザの注視点に関する情報であることを特徴とする制御方法。
  6. 請求項１に記載の制御方法であって、
    前記ユーザの入力は、マイクロフォンを介して入力されたユーザの発話に関する情報であることを特徴とする制御方法。
  7. 請求項３に記載の制御方法であって、
    前記第２の入力は、前記第２のデバイスの操作ボタンの操作に関する情報であることを特徴とする制御方法。
  8. 請求項３に記載の制御方法であって、
    前記第２の入力は、前記第２のデバイスの操作ボタンの操作の組み合わせに関する情報であることを特徴とする制御方法。
  9. 請求項３に記載の制御方法であって、
    前記第２の入力は、前記第２のデバイスに備えられたセンサを介して入力された、第２のデバイスの傾き及び向きのいずれかに関する情報であることを特徴とする制御方法。
  10. 請求項１または請求項３に記載の制御方法であって、
    複数のオブジェクトを提供するステップと、
    第２のユーザから、前記複数のオブジェクトのうち一のオブジェクトの選択を受け付けるステップと、
    前記一のオブジェクトを仮想空間に配置するステップと、を有することを特徴とする制御方法。
  11. 請求項１０に記載の制御方法であって、
    さらに、オブジェクトに対するユーザの入力を検出するステップを有し、
    複数のオブジェクトは、各々ポイントが対応づけられており、
    前記配置されたオブジェクトが、所定のポイント以上である場合、前記オブジェクトに対するユーザの入力に応じて、前記キャラクタと前記オブジェクトとの相互作用を生じさせることを特徴とする制御方法。
  12. 請求項１０に記載の制御方法であって、
    さらに、オブジェクトに対するユーザの入力を検出するステップを有し、
    複数のオブジェクトは、各々ポイントが対応づけられており、前記仮想空間に配置した一のオブジェクトを含む、前記仮想空間に配置したオブジェクトのポイントの総数にも基づいて、前記第２のユーザの、前記複数のユーザにおけるランキングを生成し、当該ランキングが所定順位以上である場合、前記オブジェクトに対するユーザの入力に応じて、前記キャラクタと前記オブジェクトとの相互作用を生じさせることを特徴とする制御方法。
  13. 請求項１１または請求項１２のいずれかに記載の制御方法であって、
    前記オブジェクトに対するユーザの入力は、前記ヘッドマウントディスプレイ及び前記第２のデバイスのいずれかを介した入力であることを特徴とする制御方法。
  14. 請求項１に記載の制御方法であって、
    前記仮想空間を前記ヘッドマウントディスプレイに提供するステップを有し、
    前記仮想空間において、前記仮想空間における仮想カメラの選択を可能とするコントロールパネルを表示することを特徴とする制御方法。
JP2018017258A 2018-02-02 2018-02-02 仮想空間におけるキャラクタの制御方法 Expired - Fee Related JP6481057B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018017258A JP6481057B1 (ja) 2018-02-02 2018-02-02 仮想空間におけるキャラクタの制御方法
US16/265,695 US20190240573A1 (en) 2018-02-02 2019-02-01 Method for controlling characters in virtual space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018017258A JP6481057B1 (ja) 2018-02-02 2018-02-02 仮想空間におけるキャラクタの制御方法

Related Child Applications (7)

Application Number Title Priority Date Filing Date
JP2018238010A Division JP2019133644A (ja) 2018-12-20 2018-12-20 仮想空間におけるキャラクタの制御方法
JP2019021270A Division JP2019133674A (ja) 2019-02-08 2019-02-08 仮想空間におけるキャラクタの制御方法
JP2019021269A Division JP2019133673A (ja) 2019-02-08 2019-02-08 仮想空間におけるキャラクタの制御方法
JP2019021273A Division JP2019133677A (ja) 2019-02-08 2019-02-08 仮想空間におけるキャラクタの制御方法
JP2019021271A Division JP2019133675A (ja) 2019-02-08 2019-02-08 仮想空間におけるキャラクタの制御方法
JP2019021268A Division JP2019133672A (ja) 2019-02-08 2019-02-08 仮想空間におけるキャラクタの制御方法
JP2019021272A Division JP2019133676A (ja) 2019-02-08 2019-02-08 仮想空間におけるキャラクタの制御方法

Publications (2)

Publication Number Publication Date
JP6481057B1 JP6481057B1 (ja) 2019-03-13
JP2019133568A true JP2019133568A (ja) 2019-08-08

Family

ID=65718293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018017258A Expired - Fee Related JP6481057B1 (ja) 2018-02-02 2018-02-02 仮想空間におけるキャラクタの制御方法

Country Status (2)

Country Link
US (1) US20190240573A1 (ja)
JP (1) JP6481057B1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020091884A (ja) * 2020-02-06 2020-06-11 グリー株式会社 アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システム、動画配信方法及び動画配信プログラム
CN111524204A (zh) * 2020-05-06 2020-08-11 杭州趣维科技有限公司 一种人像发丝动漫化纹理生成方法
US11989811B2 (en) 2021-10-29 2024-05-21 Gree, Inc. Information processing system, information processing method, and computer program

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6775557B2 (ja) * 2018-09-03 2020-10-28 グリー株式会社 動画配信システム、動画配信方法、及び動画配信プログラム
JP6776409B1 (ja) * 2019-06-21 2020-10-28 株式会社コロプラ プログラム、方法、および端末装置
US20220351440A1 (en) * 2019-09-24 2022-11-03 XVI Inc. Animation production system
US20220351442A1 (en) * 2019-09-24 2022-11-03 XVI Inc. Animation production system
JP2022025469A (ja) * 2020-07-29 2022-02-10 株式会社AniCast RM アニメーション制作システム
JP7198244B2 (ja) * 2020-08-18 2022-12-28 グリー株式会社 動画配信システム、動画配信方法、及び動画配信プログラム
CN113050859B (zh) * 2021-04-19 2023-10-24 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002007752A (ja) * 2000-03-10 2002-01-11 Heart Gift:Kk オンラインギフト方法
JP2015111468A (ja) * 2015-03-16 2015-06-18 株式会社 ディー・エヌ・エー コンテンツの配信システム、配信プログラム及び配信方法
JP2016126500A (ja) * 2014-12-26 2016-07-11 Kddi株式会社 ウェアラブル端末装置およびプログラム
US20170259167A1 (en) * 2016-03-14 2017-09-14 Nathan Sterling Cook Brainwave virtual reality apparatus and method
JP6266736B1 (ja) * 2016-12-07 2018-01-24 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002007752A (ja) * 2000-03-10 2002-01-11 Heart Gift:Kk オンラインギフト方法
JP2016126500A (ja) * 2014-12-26 2016-07-11 Kddi株式会社 ウェアラブル端末装置およびプログラム
JP2015111468A (ja) * 2015-03-16 2015-06-18 株式会社 ディー・エヌ・エー コンテンツの配信システム、配信プログラム及び配信方法
US20170259167A1 (en) * 2016-03-14 2017-09-14 Nathan Sterling Cook Brainwave virtual reality apparatus and method
JP6266736B1 (ja) * 2016-12-07 2018-01-24 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
""金融産業が知るべき３戦術"", 日経ビジネス, vol. 第１８８５号, JPN6018045958, 3 April 2017 (2017-04-03), pages 36 - 39, ISSN: 0003924665 *
鈴木克洋, 外６名: ""ＡｆｆｅｃｔｉｖｅＨＭＤ：組み込み型光センサを用いた表情認識とバーチャルアバターへの表情マッピング", 日本バーチャルリアリティ学会論文誌, vol. 第２２巻, 第３号, JPN6018045957, 30 September 2017 (2017-09-30), JP, pages 379 - 389, ISSN: 0003924664 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020091884A (ja) * 2020-02-06 2020-06-11 グリー株式会社 アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システム、動画配信方法及び動画配信プログラム
JP7032461B2 (ja) 2020-02-06 2022-03-08 グリー株式会社 アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システム、動画配信方法及び動画配信プログラム
CN111524204A (zh) * 2020-05-06 2020-08-11 杭州趣维科技有限公司 一种人像发丝动漫化纹理生成方法
CN111524204B (zh) * 2020-05-06 2023-06-27 杭州小影创新科技股份有限公司 一种人像发丝动漫化纹理生成方法
US11989811B2 (en) 2021-10-29 2024-05-21 Gree, Inc. Information processing system, information processing method, and computer program

Also Published As

Publication number Publication date
JP6481057B1 (ja) 2019-03-13
US20190240573A1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
JP6481057B1 (ja) 仮想空間におけるキャラクタの制御方法
EP3427130B1 (en) Virtual reality
WO2019216249A1 (ja) 所定のコンテンツを有する仮想空間を提供する方法
WO2021059359A1 (ja) アニメーション制作システム
JP2022153476A (ja) アニメーション制作システム
JP6964302B2 (ja) アニメーション制作方法
JP7078216B2 (ja) アニメーション制作方法
JP2019133644A (ja) 仮想空間におけるキャラクタの制御方法
JP2019133676A (ja) 仮想空間におけるキャラクタの制御方法
JP2019133674A (ja) 仮想空間におけるキャラクタの制御方法
JP2019133673A (ja) 仮想空間におけるキャラクタの制御方法
JP2019133675A (ja) 仮想空間におけるキャラクタの制御方法
JP2019133672A (ja) 仮想空間におけるキャラクタの制御方法
JP2019133677A (ja) 仮想空間におけるキャラクタの制御方法
JP2019219702A (ja) 仮想空間における仮想カメラの制御方法
JPWO2021059369A1 (ja) アニメーション制作システム
JP2020101902A (ja) 所定のコンテンツを有する仮想空間を提供する方法
JP6955725B2 (ja) アニメーション制作システム
JP2020177438A (ja) 仮想空間におけるキャラクタ同士のコミュニケーションの制御方法
JP2022025466A (ja) アニメーション制作方法
JP2020067810A (ja) 仮想空間におけるキャラクタの制御方法
JP2020149397A (ja) 仮想空間におけるキャラクタ同士のコミュニケーションの制御方法
JPWO2021059357A1 (ja) アニメーション制作システム
JP2020149400A (ja) 仮想空間におけるキャラクタ同士のコミュニケーションの制御方法

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180709

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180709

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180709

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180709

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180827

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190208

R150 Certificate of patent or registration of utility model

Ref document number: 6481057

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees