JP2017102639A - アバター表示システム、ユーザ端末、及びプログラム - Google Patents

アバター表示システム、ユーザ端末、及びプログラム Download PDF

Info

Publication number
JP2017102639A
JP2017102639A JP2015234650A JP2015234650A JP2017102639A JP 2017102639 A JP2017102639 A JP 2017102639A JP 2015234650 A JP2015234650 A JP 2015234650A JP 2015234650 A JP2015234650 A JP 2015234650A JP 2017102639 A JP2017102639 A JP 2017102639A
Authority
JP
Japan
Prior art keywords
user
terminal
avatar
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015234650A
Other languages
English (en)
Other versions
JP6017008B1 (ja
Inventor
多一郎 白石
Taichiro Shiraishi
多一郎 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2015234650A priority Critical patent/JP6017008B1/ja
Application granted granted Critical
Publication of JP6017008B1 publication Critical patent/JP6017008B1/ja
Priority to PCT/JP2016/082710 priority patent/WO2017094434A1/ja
Priority to US15/358,056 priority patent/US9836268B2/en
Publication of JP2017102639A publication Critical patent/JP2017102639A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/58—Controlling game characters or game objects based on the game progress by computing conditions of game characters, e.g. stamina, strength, motivation or energy level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/323—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections between game devices with different hardware characteristics, e.g. hand-held game devices connectable to game consoles or arcade machines
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/34—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using peer-to-peer connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects

Abstract

【課題】ユーザの頭部や視線の動きを他のユーザに対して選択的に公開することが可能なアバター表示システムを提供する。【解決手段】第１端末２００は、第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を検出するユーザ姿勢検出手段２３１と、第１ユーザに関する属性情報を記憶するユーザ属性記憶手段２２１と、属性情報に基づいて、第１ユーザのユーザ姿勢情報を第２ユーザに公開するか否かを決定する公開可否決定手段２３２と、第１ユーザのユーザ姿勢情報を第２ユーザに公開すると決定された場合に、第１ユーザのユーザ姿勢情報を第２端末へ送信する送信手段と、を備える。第２端末は、第１端末から第１ユーザのユーザ姿勢情報が受信された場合に、第１ユーザのユーザ姿勢情報に基づいて、仮想現実空間において第１ユーザを表すアバター画像を生成する画像生成手段２３３と、アバター画像を表示する表示手段２３４と、を備える。【選択図】図３

Description

本発明は、アバター表示システム、ユーザ端末、及びプログラムに関する。
特許文献１には、複数のユーザがそれぞれユーザステーションを使用してビデオ会議を行うビデオ会議システムにおいて、各ユーザの頭部の動きの情報を他のユーザのユーザステーションへ送り、その情報に基づいてアバターの頭部の動きをユーザの頭部の動きに対応するようにアニメ化する技術が開示されている。
特開２０００−２４４８８６号公報
しかしながら、特許文献１の技術では、アバターの頭部の動きは必ずユーザの頭部の動きに対応したものとなる。
本発明は、上記の点に鑑みてなされたものであり、その目的の１つは、ユーザの頭部や視線の動きを他のユーザに対して選択的に公開することが可能なアバター表示システム、ユーザ端末、及びプログラムを提供することにある。
上述した課題を解決するために、本発明の一態様は、第１ユーザによって使用される第１端末と第２ユーザによって使用される第２端末とを備え、仮想現実空間において前記第１ユーザを表すアバター画像を前記第２端末に表示させるアバター表示システムであって、前記第１端末は、前記第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を検出するユーザ姿勢検出手段と、前記第１ユーザに関する属性情報を記憶するユーザ属性記憶手段と、前記属性情報に基づいて、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開するか否かを決定する公開可否決定手段と、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定された場合に、前記第１ユーザのユーザ姿勢情報を前記第２端末へ送信する送信手段と、を備え、前記第２端末は、前記第１端末から前記第１ユーザのユーザ姿勢情報が受信された場合に、前記第１ユーザのユーザ姿勢情報に基づいて、仮想現実空間において前記第１ユーザを表すアバター画像を生成する画像生成手段と、前記アバター画像を表示する表示手段と、を備える、アバター表示システムである。
また、本発明の他の一態様は、第１ユーザによって使用される第１端末と第２ユーザによって使用される第２端末とを備え、仮想現実空間において前記第１ユーザを表すアバター画像を前記第２端末に表示させるアバター表示システムであって、前記第１端末は、前記第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を検出するユーザ姿勢検出手段と、前記第１ユーザのユーザ姿勢情報を前記第２端末へ送信する送信手段と、を備え、前記第２端末は、前記第１ユーザに関する属性情報に基づいて、前記第１端末から受信された前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開するか否かを決定する公開可否決定手段と、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定された場合に、前記第１ユーザのユーザ姿勢情報に基づいて、仮想現実空間において前記第１ユーザを表すアバター画像を生成する画像生成手段と、前記アバター画像を表示する表示手段と、を備える、アバター表示システムである。
また、本発明の他の一態様は、第１ユーザによって使用される第１端末と第２ユーザによって使用される第２端末とを備え、仮想現実空間において前記第１ユーザを表すアバター画像を前記第２端末に表示させるアバター表示システムにおける、前記第１端末としてのユーザ端末であって、前記第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を検出するユーザ姿勢検出手段と、前記第１ユーザに関する属性情報を記憶するユーザ属性記憶手段と、前記属性情報に基づいて、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開するか否かを決定する公開可否決定手段と、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定された場合に、前記第１ユーザのユーザ姿勢情報を前記第２端末へ送信する送信手段と、を備えるユーザ端末である。
また、本発明の他の一態様は、第１ユーザによって使用される第１端末と第２ユーザによって使用される第２端末とを備え、仮想現実空間において前記第１ユーザを表すアバター画像を前記第２端末に表示させるアバター表示システムにおける、前記第２端末としてのユーザ端末であって、前記第１端末から、前記第１端末において検出された前記第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を受信する受信手段と、前記第１ユーザに関する属性情報に基づいて、前記第１端末から受信された前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開するか否かを決定する公開可否決定手段と、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定された場合に、前記第１ユーザのユーザ姿勢情報に基づいて、仮想現実空間において前記第１ユーザを表すアバター画像を生成する画像生成手段と、前記アバター画像を表示する表示手段と、を備えるユーザ端末である。
また、本発明の他の一態様は、第１ユーザによって使用される第１端末と第２ユーザによって使用される第２端末とを備え、仮想現実空間において前記第１ユーザを表すアバター画像を前記第２端末に表示させるアバター表示システムにおける、前記第１端末としてのユーザ端末を、前記第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を検出するユーザ姿勢検出手段、前記第１ユーザに関する属性情報を記憶するユーザ属性記憶手段、前記属性情報に基づいて、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開するか否かを決定する公開可否決定手段、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定された場合に、前記第１ユーザのユーザ姿勢情報を前記第２端末へ送信する送信手段、として機能させるためのプログラムである。
また、本発明の他の一態様は、第１ユーザによって使用される第１端末と第２ユーザによって使用される第２端末とを備え、仮想現実空間において前記第１ユーザを表すアバター画像を前記第２端末に表示させるアバター表示システムにおける、前記第２端末としてのユーザ端末を、前記第１端末から、前記第１端末において検出された前記第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を受信する受信手段、前記第１ユーザに関する属性情報に基づいて、前記第１端末から受信された前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開するか否かを決定する公開可否決定手段、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定された場合に、前記第１ユーザのユーザ姿勢情報に基づいて、仮想現実空間において前記第１ユーザを表すアバター画像を生成する画像生成手段、前記アバター画像を表示する表示手段、として機能させるためのプログラムである。
本発明によれば、ユーザの頭部や視線の動きを他のユーザに対して選択的に公開することが可能である。
本発明の一実施形態に係るアバター表示システム１０の概略構成を示す図である。 本発明の一実施形態に係るＨＭＤシステム１００のハードウェア構成図である。 本発明の一実施形態に係る画像生成装置２００の機能的な構成を示すブロック図である。 本発明の一実施形態に係る画像生成装置２００ａの動作を示すフローチャートである。 本発明の一実施形態に係る画像生成装置２００ｂの動作を示すフローチャートである。 本発明の一実施形態に係る画像生成装置２００ａの動作を示すフローチャートである。 本発明の一実施形態に係る画像生成装置２００ｂの動作を示すフローチャートである。
［本発明の実施形態の説明］
最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態は、以下のような構成を備える。
（項目１）第１ユーザによって使用される第１端末と第２ユーザによって使用される第２端末とを備え、仮想現実空間において前記第１ユーザを表すアバター画像を前記第２端末に表示させるアバター表示システムであって、前記第１端末は、前記第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を検出するユーザ姿勢検出手段と、前記第１ユーザに関する属性情報を記憶するユーザ属性記憶手段と、前記属性情報に基づいて、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開するか否かを決定する公開可否決定手段と、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定された場合に、前記第１ユーザのユーザ姿勢情報を前記第２端末へ送信する送信手段と、を備え、前記第２端末は、前記第１端末から前記第１ユーザのユーザ姿勢情報が受信された場合に、前記第１ユーザのユーザ姿勢情報に基づいて、仮想現実空間において前記第１ユーザを表すアバター画像を生成する画像生成手段と、前記アバター画像を表示する表示手段と、を備える、アバター表示システム。
（項目２）前記画像生成手段は、前記第１端末から前記第１ユーザのユーザ姿勢情報が受信されなかった場合に、前記第１ユーザを表すデフォルトのアバター画像を生成する、項目１に記載のアバター表示システム。
（項目３）前記属性情報は、コンピュータゲームにおける前記第１ユーザの経験値又は能力値を含む、項目１又は２に記載のアバター表示システム。
（項目４）前記公開可否決定手段は、前記経験値又は能力値が所定値よりも大きい場合に前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定し、前記経験値又は能力値が所定値よりも小さい場合に前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開しないと決定する、項目３に記載のアバター表示システム。
（項目５）前記属性情報は、前記第１ユーザと前記第２ユーザとのコミュニケーションの頻度、深度、又は近接度に関連する値を含む、項目１又は２に記載のアバター表示システム。
（項目６）前記第１ユーザのユーザ姿勢情報に基づく前記アバター画像は、前記第１ユーザのユーザ姿勢情報によって示される方向に顔又は目の少なくとも一方を向けているアバターの画像である、項目１から５のいずれか１項に記載のアバター表示システム。
（項目７）前記第１端末及び前記第２端末は、ヘッドマウントディスプレイを含んで構成される端末である、項目１から６のいずれか１項に記載のアバター表示システム。
（項目８）第１ユーザによって使用される第１端末と第２ユーザによって使用される第２端末とを備え、仮想現実空間において前記第１ユーザを表すアバター画像を前記第２端末に表示させるアバター表示システムであって、前記第１端末は、前記第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を検出するユーザ姿勢検出手段と、前記第１ユーザのユーザ姿勢情報を前記第２端末へ送信する送信手段と、を備え、前記第２端末は、前記第１ユーザに関する属性情報に基づいて、前記第１端末から受信された前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開するか否かを決定する公開可否決定手段と、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定された場合に、前記第１ユーザのユーザ姿勢情報に基づいて、仮想現実空間において前記第１ユーザを表すアバター画像を生成する画像生成手段と、前記アバター画像を表示する表示手段と、を備える、アバター表示システム。
（項目９）第１ユーザによって使用される第１端末と第２ユーザによって使用される第２端末とを備え、仮想現実空間において前記第１ユーザを表すアバター画像を前記第２端末に表示させるアバター表示システムにおける、前記第１端末としてのユーザ端末であって、前記第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を検出するユーザ姿勢検出手段と、前記第１ユーザに関する属性情報を記憶するユーザ属性記憶手段と、前記属性情報に基づいて、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開するか否かを決定する公開可否決定手段と、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定された場合に、前記第１ユーザのユーザ姿勢情報を前記第２端末へ送信する送信手段と、を備えるユーザ端末。
（項目１０）第１ユーザによって使用される第１端末と第２ユーザによって使用される第２端末とを備え、仮想現実空間において前記第１ユーザを表すアバター画像を前記第２端末に表示させるアバター表示システムにおける、前記第２端末としてのユーザ端末であって、前記第１端末から、前記第１端末において検出された前記第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を受信する受信手段と、前記第１ユーザに関する属性情報に基づいて、前記第１端末から受信された前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開するか否かを決定する公開可否決定手段と、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定された場合に、前記第１ユーザのユーザ姿勢情報に基づいて、仮想現実空間において前記第１ユーザを表すアバター画像を生成する画像生成手段と、前記アバター画像を表示する表示手段と、を備えるユーザ端末。
（項目１１）第１ユーザによって使用される第１端末と第２ユーザによって使用される第２端末とを備え、仮想現実空間において前記第１ユーザを表すアバター画像を前記第２端末に表示させるアバター表示システムにおける、前記第１端末としてのユーザ端末を、前記第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を検出するユーザ姿勢検出手段、前記第１ユーザに関する属性情報を記憶するユーザ属性記憶手段、前記属性情報に基づいて、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開するか否かを決定する公開可否決定手段、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定された場合に、前記第１ユーザのユーザ姿勢情報を前記第２端末へ送信する送信手段、として機能させるためのプログラム。
（項目１２）第１ユーザによって使用される第１端末と第２ユーザによって使用される第２端末とを備え、仮想現実空間において前記第１ユーザを表すアバター画像を前記第２端末に表示させるアバター表示システムにおける、前記第２端末としてのユーザ端末を、前記第１端末から、前記第１端末において検出された前記第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を受信する受信手段、前記第１ユーザに関する属性情報に基づいて、前記第１端末から受信された前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開するか否かを決定する公開可否決定手段、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定された場合に、前記第１ユーザのユーザ姿勢情報に基づいて、仮想現実空間において前記第１ユーザを表すアバター画像を生成する画像生成手段、前記アバター画像を表示する表示手段、として機能させるためのプログラム。
［本発明の実施形態の詳細］
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態に係るアバター表示システム１０の概略構成を示す図である。アバター表示システム１０は、第１ユーザ１０１ａによって使用される第１サブシステム（第１端末）１００ａと、第２ユーザ１０１ｂによって使用される第２サブシステム（第２端末）１００ｂとを備える。第１サブシステム１００ａと第２サブシステム１００ｂは、ネットワーク１０５を介して相互に通信可能に接続されている。ネットワーク１０５は、例えばインターネットやＬＡＮ（Local Area Network）などの、任意のタイプのネットワークであってよい。図１には２つのサブシステム１００ａ及び１００ｂのみが示されているが、アバター表示システム１０は、それぞれが別個のユーザによって使用される任意の数の同様のサブシステムを含んでもよい。
第１サブシステム１００ａは、ヘッドマウントディスプレイ（Head Mounted Display：以下ＨＭＤと称する）１２０ａと、画像生成装置２００ａとを備える。画像生成装置２００ａは、第１ユーザ１０１ａに提示するための仮想現実空間を表す画像を生成して、生成した仮想現実空間画像をＨＭＤ１２０ａに表示させる。ＨＭＤ１２０ａに表示される仮想現実空間画像は、第２ユーザ１０１ｂの顔や身体などの容姿を視覚的に表現したアバターを含む。第１ユーザ１０１ａは、第２ユーザ１０１ｂのアバターを介して、仮想現実空間において第２ユーザ１０１ｂとコミュニケーションをすることができる。同様に、第２サブシステム１００ｂは、ＨＭＤ１２０ｂと、画像生成装置２００ｂとを備える。画像生成装置２００ｂは、第２ユーザ１０１ｂに提示するための仮想現実空間を表す画像を生成して、生成した仮想現実空間画像をＨＭＤ１２０ｂに表示させる。ＨＭＤ１２０ｂに表示される仮想現実空間画像は、第１ユーザ１０１ａのアバターを含む。第２ユーザ１０１ｂは、第１ユーザ１０１ａのアバターを介して、仮想現実空間において第１ユーザ１０１ａとコミュニケーションをすることができる。
図２は、本発明の一実施形態に係るＨＭＤシステム１００のハードウェア構成図である。ＨＭＤシステム１００は、図１に示された第１サブシステム１００ａと第２サブシステム１００ｂのそれぞれに対応するものである。上述したように、ＨＭＤシステム１００は、ＨＭＤ１２０と、画像生成装置２００とを備える。ＨＭＤ１２０と画像生成装置２００は、一例として有線ケーブル１５０によって電気的に接続され、相互に通信可能である。有線ケーブル１５０に代えて、無線接続が用いられてもよい。
ＨＭＤ１２０は、ユーザ１０１の頭に装着されて利用される表示デバイスである。ＨＭＤ１２０は、ディスプレイ１２２と、アイトラッキングデバイス（Eye Tracking Device：以下ＥＴＤと称する）１２４と、センサ１２６とを備える。ＥＴＤ１２４とセンサ１２６は、どちらか一方だけが択一的に設けられてもよい。ＨＭＤ１２０は更に、不図示のスピーカ（ヘッドホン）を備えてもよい。
ディスプレイ１２２は、ＨＭＤ１２０を装着したユーザ１０１の視界に画像を提示するように構成される。例えば、ディスプレイ１２２は、非透過型ディスプレイとして構成することができる。この場合、ＨＭＤ１２０の外界の光景はユーザ１０１の視界から遮断され、ユーザ１０１の目にはディスプレイ１２２に映し出された画像だけが届けられる。ディスプレイ１２２には、例えば、コンピュータグラフィックスを用いて生成した画像が表示される。コンピュータグラフィックスによる画像の一例は、仮想現実空間（例えばコンピュータゲームで作り出される世界）を画像化した仮想現実空間画像である。上述したように、仮想現実空間画像は、ＨＭＤ１２０を装着しているユーザ１０１がコミュニケーションをする相手ユーザのアバターを含む。このような例示的なアバターとして、コンピュータゲームのポーカーの相手プレイヤーを表すアバター、格闘ゲームの対戦相手を表すアバター、あるいは、仮想現実空間内でのチャットの相手を表すアバター等が用いられてよい。
ＥＴＤ１２４は、ユーザ１０１の眼球の動きを追跡して、ユーザ１０１の視線がどちらの方向に向けられているかを検出するように構成される。例えば、ＥＴＤ１２４は、赤外線光源と赤外線カメラとを備える。赤外線光源は、ＨＭＤ１２０を装着したユーザ１０１の目に向けて赤外線を照射する。赤外線カメラは、赤外線で照射されたユーザ１０１の目の画像を撮像する。赤外線はユーザ１０１の目の表面で反射されるが、瞳と瞳以外の部分とで赤外線の反射率が異なる。赤外線カメラで撮像されたユーザ１０１の目の画像には、赤外線の反射率の違いが画像の明暗となって現れる。この明暗に基づいて、ユーザ１０１の目の画像において瞳が識別され、更に、識別された瞳の位置に基づいて、ユーザ１０１の視線の方向が検出される。
センサ１２６は、ＨＭＤ１２０を装着したユーザ１０１の頭がどちらの方向を向いているかを検知するためのセンサである。センサ１２６としては、例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせが用いられてよい。センサ１２６が磁気センサ、角速度センサ、又は加速度センサである場合、センサ１２６はＨＭＤ１２０に内蔵されて、ＨＭＤ１２０の向きや動きに応じた値（磁気、角速度、又は加速度の値）を出力する。センサ１２６からの出力値を適宜の方法で加工することで、ＨＭＤ１２０を装着したユーザ１０１の頭の向きが算出される。ユーザ１０１の頭の向きは、ユーザ１０１が頭を動かした際にその動きに追従するようにディスプレイ１２２の表示画像を変化させるのに利用されてよい。例えば、ユーザ１０１が頭を右（又は左、上、下）に向けると、ディスプレイ１２２には、仮想現実空間においてユーザの右（又は左、上、下）方向にある仮想的光景が映し出されるのであってよい。
なおセンサ１２６として、ＨＭＤ１２０の外部に設けられたセンサを適用することとしてもよい。例えば、センサ１２６は、ＨＭＤ１２０とは別体の、室内の固定位置に設置された赤外線センサであってよい。この赤外線センサを用いて、ＨＭＤ１２０の表面に設けられた赤外線発光体又は赤外線反射マーカーを検知することにより、ＨＭＤ１２０を装着したユーザ１０１の頭の向きを特定することができる。このようなタイプのセンサ１２６は、ポジショントラッキングセンサと呼ばれることもある。
画像生成装置２００は、ＨＭＤ１２０に表示される画像を生成するための装置である。画像生成装置２００は、プロセッサ２０２と、メモリ２０４と、ユーザ入力インターフェイス２０６と、通信インターフェイス２０８とを少なくとも備える。画像生成装置２００は、例えば、パーソナルコンピュータ、ゲームコンソール、スマートフォン、タブレット端末等として実現することが可能である。
メモリ２０４には、少なくともオペレーティングシステムと画像生成プログラムとが格納されている。オペレーティングシステムは、画像生成装置２００の全体的な動作を制御するためのコンピュータプログラムである。画像生成プログラムは、画像生成装置２００が後述する画像生成処理の各機能を実現するためのコンピュータプログラムである。メモリ２０４はまた、画像生成装置２００の動作によって生成されるデータを一時的又は永続的に記憶することもできる。メモリ２０４の具体例は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク、フラッシュメモリ、光ディスク等である。
プロセッサ２０２は、メモリ２０４に格納されているプログラムを読み出して、それに従った処理を実行するように構成される。プロセッサ２０２がメモリ２０４に格納された画像生成プログラムを実行することによって、後述する画像生成処理の各機能が実現される。プロセッサ２０２は、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）を含む。
ユーザ入力インターフェイス２０６は、ＨＭＤシステム１００のユーザ１０１から画像生成装置２００を操作するための入力を受け取るように構成される。ユーザ入力インターフェイス２０６の具体例は、ゲームコントローラ、タッチパッド、マウス、キーボード等である。
通信インターフェイス２０８は、ネットワークを介して他の装置と通信するためのネットワークインターフェイスである。例えば図１に示された第１サブシステム１００ａの画像生成装置２００ａと第２サブシステム１００ｂの画像生成装置２００ｂは、それぞれの通信インターフェイス２０８を用いて、ネットワーク１０５を介して相互に通信する。
図３は、本発明の一実施形態に係る画像生成装置２００の機能的な構成を示すブロック図である。画像生成装置２００は、記憶部２２０及び処理部２３０を有する。処理部２３０は更に、ユーザ姿勢検出部２３１と、公開可否決定部２３２と、画像生成部２３３と、画像出力部２３４とを含む。記憶部２２０は、図１に示されたメモリ２０４に対応する。処理部２３０及び処理部２３０に含まれる各部２３１〜２３４は、図１に示されたプロセッサ２０２がメモリ２０４内の画像生成プログラムを読み出して実行することによって実現される、本発明に係る画像生成処理の機能を表す。
記憶部２２０には、ユーザ１０１に関する属性情報２２１が記憶されている。ユーザ１０１に関する属性情報２２１は、ユーザ間のコミュニケーションにおいてユーザ姿勢情報を相手に公開するか否かを判断するための材料として用いられるものである（詳細は後述する）。例えば、ユーザ１０１に関する属性情報２２１は、コンピュータゲームにおけるユーザ１０１の経験値や能力値を含んでよい。コンピュータゲームの具体例は、トランプ（ポーカー等）や花札などのカードゲーム、麻雀や将棋、囲碁などのテーブルゲーム、格闘ゲーム、ロールプレイングゲーム、テニスやサッカー、野球などのスポーツゲームを含む。ユーザ１０１の経験値は、ユーザ１０１がそのコンピュータゲームのプレイにどの程度習熟しているかを示す指標であり、例えばユーザ１０１がそのゲームの初心者であるか熟練者であるかを区別する。ユーザ１０１の能力値は、そのコンピュータゲームのプレイにおいてユーザ１０１が発揮できる能力のパラメータ設定値であり、例えば、格闘ゲーム等の対戦時における攻撃力や防御力などのパラメータ値を含む。経験値と能力値は、数値として表されてもよいし、あるいは「初心者・中級者・熟練者」や「攻撃力大・中・小」のような分類であってもよい。数値で表される場合、一例として、数値が大きいほど経験値や能力値が優れていることとしてよい。なお、経験値と能力値は、スキル、ランク、レベルといった呼称で呼ばれる概念を含む。
また、ユーザ１０１に関する属性情報２２１は、仮想現実空間におけるユーザ同士の関係性を表す指標値を含むのであってもよい。ユーザ同士の関係性として、例えば、ユーザ間のコミュニケーションの頻度、深度、近接度などの指標を用いることができる。コミュニケーションの頻度は、ユーザ１０１が別のあるユーザとのコミュニケーションや交流（ゲームの対戦や会話等）をどれくらい頻繁に行っているか（例えば、初対面か、週に１回一緒にオンラインプレイをするか等）を示す。コミュニケーションの深度は、ユーザ１０１と別のあるユーザとのコミュニケーションにおける質的な接触の強さを示し、例えば、どのような種類のゲームを一緒にプレイしたか（カードゲームか、格闘ゲームか、チャットか等）や、どのような形で交流したか（一対一で会ったのか、多人数の中の一人として会ったのか、挨拶を交わしただけか、趣味について語り合ったのか等）などの、ユーザ間のコミュニケーション体験の質に関する。コミュニケーションの近接度は、ユーザ１０１と別のあるユーザとの間に形成されている距離感や親密さの度合い（例えば、フレンド登録しているか否か等）を示す。これらの各指標は、数値化された値、又は「フレンド登録有り」のような分類のいずれであってもよい。
記憶部２２０には、更に、仮想現実空間構成情報２２３が記憶されている。仮想現実空間構成情報２２３は、仮想現実空間画像を生成するのに必要な、仮想現実空間内に存在する様々なオブジェクト（アバターを含む）の配置位置、形状、色などに関するデータである。
ユーザ姿勢検出部２３１は、ユーザ１０１の頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を検出する。例えば、ユーザ姿勢検出部２３１は、センサ１２６からの出力値に基づいて、ＨＭＤ１２０を装着したユーザ１０１の頭の向きを検出することとしてよい。あるいはまた、ユーザ姿勢検出部２３１は、ＥＴＤ１２４から得られる赤外線画像に基づいて、ユーザ１０１の視線の方向を検出することとしてもよい。更に、ユーザ姿勢検出部２３１は、ユーザ１０１の頭の向きと視線の両方を検出するのであってもよい。
公開可否決定部２３２は、属性情報２２１に基づいてユーザ姿勢情報（頭の向き及び／又は視線）の公開可否を決定する。決定方法の詳細については後述する。
画像生成部２３３は、記憶部２２０に記憶されている仮想現実空間構成情報２２３に基づいて、コンピュータグラフィックス処理によって仮想現実空間画像を生成する。画像生成部２３３が生成する仮想現実空間画像の一例は、コンピュータゲーム（例えばポーカーなどのカードゲーム、格闘ゲーム、チャット等）の仮想現実空間を表現する画像である。仮想現実空間画像は、仮想現実空間内においてユーザ１０１がコミュニケーションをする相手ユーザのアバターを表す画像を含む。画像生成部２３３は、アバターに対応するユーザのユーザ姿勢情報がユーザ１０１への公開を許可されている場合、そのユーザ姿勢情報に基づいてアバター画像を制御する。例えば、画像生成部２３３は、ユーザ姿勢情報によって示される方向にアバターが顔や目を向けているアバター画像を生成することとしてよい。
図４及び図５は、本発明の一実施形態に係る画像生成装置２００の動作を示すフローチャートである。図４は、第１サブシステム１００ａの画像生成装置２００ａの動作に対応し、図５は、第２サブシステム１００ｂの画像生成装置２００ｂの動作に対応する。図４及び図５のフローチャートは、第１サブシステム１００ａの第１ユーザ１０１ａを表すアバター画像を第２サブシステム１００ｂのＨＭＤ１２０ｂに表示するための処理の一例を示す。以下では、コンピュータゲームのポーカーをプレイする事例を適宜参照して説明を行うが、これは本発明を限定するものではなく、本発明は、ユーザのアバターを表示する処理を実施する任意のシステムに適用可能である。
まず図４を参照すると、ステップＳ１０１において、画像生成装置２００ａの画像生成部２３３（以下、画像生成部２３３ａと記す）は、コンピュータゲーム（ポーカー）の進行に応じた各場面を表すゲーム画像を生成する。ポーカーの場面は、例えば、カードを各プレイヤーに配る場面、各プレイヤーがチップを賭ける場面、各プレイヤーが自分の手札の一部を場に積まれたカードと交換する場面などからなる。画像生成部２３３ａが生成する各場面のゲーム画像は、自分の手札を表す画像のほか、一緒にプレイしている他のプレイヤーの（例えば顔や上半身を描いた）アバター画像も含む。他のプレイヤーのアバターは、ポーカーが行われているテーブルの周りを取り囲んでいるように描かれてもよいし、単に画面を縦横に分割した１つ１つの画面エリアに各アバターが正面を向いて配置されるのであってもよい。
ステップＳ１０２において、画像生成装置２００ａのユーザ姿勢検出部２３１（以下、ユーザ姿勢検出部２３１ａと記す）は、ＨＭＤ１２０ａを装着した第１ユーザ１０１ａのユーザ姿勢情報を検出する。上述したように、ユーザ姿勢情報は、頭の向きと視線の少なくとも一方を含む。ユーザ姿勢検出部２３１ａは、第１ユーザ１０１ａの頭の向きをセンサ１２６からの出力値に基づいて、また、第１ユーザ１０１ａの視線をＥＴＤ１２４から得られる赤外線画像に基づいて、それぞれ検出する。
ステップＳ１０３において、画像生成装置２００ａの公開可否決定部２３２（以下、公開可否決定部２３２ａと記す）は、コンピュータゲームの現在の場面が、ゲームのかけ引きに影響を与える場面であるか否かを判定する。例えば、ポーカーにおいてかけ引きに影響を与える場面とは、プレイヤーがチップを賭ける場面や、手札を場のカードと交換する場面である。反対に、最初にカードを各プレイヤーに配る場面は、ゲームのかけ引きに影響を与えない場面である。場面の判定のために、一例として公開可否決定部２３２ａは、ゲームの進行を管理するための予め各場面に割り振られたゲーム進行フラグを用いることとしてよい。現在の場面がかけ引きに影響を与える場面である場合、処理はステップＳ１０４へ進み、そうでない場合、処理はステップＳ１０６へ進む。
ステップＳ１０４において、公開可否決定部２３２ａは、画像生成装置２００ａの記憶部２２０（以下、記憶部２２０ａと記す）から第１ユーザ１０１ａに関する属性情報２２１を取り出す。
ステップＳ１０５において、公開可否決定部２３２ａは、記憶部２２０ａから取り出した第１ユーザ１０１ａに関する属性情報２２１を評価する。属性情報２２１の評価結果に応じて、公開可否決定部２３２ａは、第１ユーザ１０１ａのユーザ姿勢情報を第２サブシステム１００ｂの第２ユーザ１０１ｂに対して公開する（ステップＳ１０６）、又は公開しない（ステップＳ１０７）と決定する。
例えば、第１ユーザ１０１ａに関する属性情報２２１は、第１ユーザ１０１ａのコンピュータゲーム（ポーカー）の経験値や能力値を含む。一例として、公開可否決定部２３２ａは、第１ユーザ１０１ａの経験値又は能力値が所定の値よりも大きい（経験や能力が優れている）場合、ステップＳ１０６において、第１ユーザ１０１ａのユーザ姿勢情報を第２ユーザ１０１ｂに公開すると決定し、一方、第１ユーザ１０１ａの経験値又は能力値が所定の値よりも小さい（経験や能力が劣っている）場合、ステップＳ１０７において、第１ユーザ１０１ａのユーザ姿勢情報を第２ユーザ１０１ｂに公開しないと決定する。例えば、公開可否決定部２３２ａは、属性情報２２１が第１ユーザ１０１ａをポーカーの熟練者に分類している場合、第１ユーザ１０１ａのユーザ姿勢情報を第２ユーザ１０１ｂに公開すると決定し（ステップＳ１０６）、属性情報２２１が第１ユーザ１０１ａをポーカーの初心者に分類している場合、第１ユーザ１０１ａのユーザ姿勢情報を第２ユーザ１０１ｂに公開しないと決定する（ステップＳ１０７）。
また例えば、第１ユーザ１０１ａに関する属性情報２２１は、第１ユーザ１０１ａと第２ユーザ１０１ｂとの関係性（コミュニケーションの頻度、深度、近接度等）を表す指標値を含む。一例として、公開可否決定部２３２ａは、第１ユーザ１０１ａが第２ユーザ１０１ｂを「フレンド登録」していることが属性情報２２１に示されている場合、ステップＳ１０６において、第１ユーザ１０１ａのユーザ姿勢情報を第２ユーザ１０１ｂに公開すると決定し、一方、第１ユーザ１０１ａが第２ユーザ１０１ｂを「フレンド登録」していることが属性情報２２１に示されていない場合、ステップＳ１０７において、第１ユーザ１０１ａのユーザ姿勢情報を第２ユーザ１０１ｂに公開しないと決定する。あるいはこの反対に、公開可否決定部２３２ａは、第１ユーザ１０１ａが第２ユーザ１０１ｂを「フレンド登録」していない場合に、第１ユーザ１０１ａのユーザ姿勢情報を第２ユーザ１０１ｂに公開し（ステップＳ１０６）、第１ユーザ１０１ａが第２ユーザ１０１ｂを「フレンド登録」している場合に、第１ユーザ１０１ａのユーザ姿勢情報を第２ユーザ１０１ｂに公開しない（ステップＳ１０７）こととしてもよい。更に、公開可否決定部２３２ａは、「フレンド登録」の有無に限らず、第１ユーザ１０１ａと第２ユーザ１０１ｂの間のコミュニケーションの頻度や深度を表す指標値の大小に応じて、第１ユーザ１０１ａのユーザ姿勢情報を第２ユーザ１０１ｂに公開するかしないかを決定してもよい。
なお、公開可否決定部２３２ａは、上述したステップＳ１０３の判定においてコンピュータゲームの現在の場面がかけ引きに影響を与えない場面であった場合も、ステップＳ１０６において、第１ユーザ１０１ａのユーザ姿勢情報を第２ユーザ１０１ｂに公開すると決定する。
第１ユーザ１０１ａのユーザ姿勢情報を第２ユーザ１０１ｂに公開することが決定（ステップＳ１０６）されると、ステップＳ１０８において、第１ユーザ１０１ａのユーザ姿勢情報が通信インターフェイス２０８を介して第２サブシステム１００ｂの画像生成装置２００ｂへ送信される。一方、第１ユーザ１０１ａのユーザ姿勢情報を第２ユーザ１０１ｂに公開しないことが決定（ステップＳ１０７）されると、第１ユーザ１０１ａのユーザ姿勢情報は第２サブシステム１００ｂの画像生成装置２００ｂへ送信されない。
次に図５を参照すると、ステップＳ２０１において、画像生成装置２００ｂの画像生成部２３３（以下、画像生成部２３３ｂと記す）は、図４のステップＳ１０１と同様に、またステップＳ１０１と同期して、コンピュータゲーム（ポーカー）の進行に応じた各場面を表すゲーム画像を生成する。ただし、画像生成部２３３ｂが生成する各場面のゲーム画像は、第１サブシステム１００ａの第１ユーザ１０１ａを表すアバター画像を含む。
ステップＳ２０２において、画像生成部２３３ｂは、通信インターフェイス２０８を介して第１サブシステム１００ａの画像生成装置２００ａから第１ユーザ１０１ａのユーザ姿勢情報が受信されたか否かを判定する。第１ユーザ１０１ａのユーザ姿勢情報が受信された場合、処理はステップＳ２０３へ進み、受信されなかった場合、処理はステップＳ２０４へ進む。
ステップＳ２０３において、画像生成部２３３ｂは、受信された第１ユーザ１０１ａのユーザ姿勢情報に基づいて、ゲーム画像に含まれる第１ユーザ１０１ａを表すアバター画像を制御する。一例として、画像生成部２３３ｂは、第１ユーザ１０１ａを表すアバターが、第１ユーザ１０１ａのユーザ姿勢情報（頭の向き及び／又は視線）によって示される方向に顔や目を向けているアバター画像を生成する。
ステップＳ２０４において、画像生成部２３３ｂは、ゲーム画像に含まれる第１ユーザ１０１ａを表すアバター画像をデフォルトの状態に制御する。一例として、画像生成部２３３ｂは、第１ユーザ１０１ａを表すアバターがデフォルトの方向（例えば真正面）に顔や目を向けているアバター画像を生成する。
ステップＳ２０５において、画像生成装置２００ｂの画像出力部２３４は、画像生成部２３３ｂによって生成されたゲーム画像（第１ユーザ１０１ａのアバター画像を含む）をＨＭＤ１２０ｂへ供給する。これにより、ＨＭＤ１２０ｂにゲーム画像が表示される。
このように、本発明の一実施形態に係るアバター表示システム１０によれば、第１ユーザ１０１ａに関する属性情報２２１に基づいて第１ユーザ１０１ａのユーザ姿勢情報の公開が許可される場合には、第２サブシステム１００ｂのＨＭＤ１２０ｂに表示されるゲーム画像において、第１ユーザ１０１ａを表すアバターの顔や目の動きが、第１ユーザ１０１ａのユーザ姿勢情報に応じて制御される。第１ユーザ１０１ａのユーザ姿勢情報は、第１サブシステム１００ａのセンサ１２６又はＥＴＤ１２４によって検出された、第１ユーザ１０１ａの頭の向きや視線を示す。したがって、第２サブシステム１００ｂのＨＭＤ１２０ｂに表示される第１ユーザ１０１ａのアバターの顔や目の動きを、ユーザ姿勢情報の公開が許可されている場合にのみ、第１ユーザ１０１ａの実際の頭の向きや視線に同期させることができる。例えばポーカーゲームでは、対戦相手の表情を読むことがゲームのかけ引きにおける１つの重要な要素であるため、第１ユーザ１０１ａのアバターの顔や目の動きが第１ユーザ１０１ａの実際の頭の向きや視線と一致しているかどうかは、第２ユーザ１０１ｂにとってゲームの難易度に大きく影響する。本実施形態のアバター表示システム１０では、アバターの顔や目の動きを実際のユーザに追従させるか否かを、ユーザのゲーム経験値（レベル）やユーザ間の関係性に応じて定めるようにすることによって、ゲームの難易度を調整することができる。こうして、仮想現実空間で実施されるコンピュータゲームにおいて、かけ引きを含めたゲーム性を提供することができ、コンピュータゲームの趣向性を向上させることが可能である。
図６及び図７は、本発明の一実施形態に係る画像生成装置２００の動作の別の例を示すフローチャートである。図６は、第１サブシステム１００ａの画像生成装置２００ａの動作に対応し、図７は、第２サブシステム１００ｂの画像生成装置２００ｂの動作に対応する。図６及び図７のフローチャートは、図４及び図５と同様、第１サブシステム１００ａの第１ユーザ１０１ａを表すアバター画像を第２サブシステム１００ｂのＨＭＤ１２０ｂに表示するための処理を示すが、ユーザ姿勢情報を公開するか否かの判断を第２サブシステム１００ｂ側で行う点が図４及び図５の場合と異なる。
図６を参照すると、ステップＳ３０１及びステップＳ３０２の処理は、図４のステップＳ１０１及びステップＳ１０２の処理と同じである。次のステップＳ３０３において、第１ユーザ１０１ａのユーザ姿勢情報が、その公開を許可するか否かの判断を行うことなく、通信インターフェイス２０８を介して第２サブシステム１００ｂの画像生成装置２００ｂへ送信される。即ち、図６のフローチャートに示される動作では、第１サブシステム１００ａから第２サブシステム１００ｂへ無条件で第１ユーザ１０１ａのユーザ姿勢情報が提供される。
次に図７を参照すると、ステップＳ４０１の処理は図５のステップＳ２０１の処理と同じであり、第１ユーザ１０１ａのアバター画像を含むゲーム画像が、画像生成部２３３ｂによって生成される。ゲーム画像は、コンピュータゲーム（ポーカー）の進行に応じた各場面を表す。
ステップＳ４０２において、第１ユーザ１０１ａのユーザ姿勢情報が、通信インターフェイス２０８を介して第１サブシステム１００ａの画像生成装置２００ａから受信される。
ステップＳ４０３の処理は、図４のステップＳ１０３の処理と同様であり、画像生成装置２００ｂの公開可否決定部２３２（以下、公開可否決定部２３２ｂと記す）は、コンピュータゲームの現在の場面が、ゲームのかけ引きに影響を与える場面であるか否かを判定する。現在の場面がかけ引きに影響を与える場面である場合、処理はステップＳ４０４へ進み、そうでない場合、処理はステップＳ４０６へ進む。
ステップＳ４０４において、公開可否決定部２３２ｂは、画像生成装置２００ｂの記憶部２２０（以下、記憶部２２０ｂと記す）から第１ユーザ１０１ａに関する属性情報２２１を取り出す。記憶部２２０ｂに記憶されている第１ユーザ１０１ａの属性情報２２１は、例えば、第１ユーザ１０１ａと第２ユーザ１０１ｂとの関係性（コミュニケーションの頻度、深度、近接度等）を表す指標値である。この属性情報（ユーザ間の関係性の指標値）は、第１ユーザ１０１ａと第２ユーザ１０１ｂの双方に関するものであるので、第１サブシステム１００ａ側の記憶部２２０ａだけでなく、第２サブシステム１００ｂ側の記憶部２２０ｂにも記憶されていてよい。あるいはまた、第１ユーザ１０１ａの属性情報２２１として、例えば、第１ユーザ１０１ａのコンピュータゲームの経験値や能力値に関するデータが、予め、又は第１ユーザ１０１ａのユーザ姿勢情報と一緒（ステップＳ３０４）に、画像生成装置２００ａから画像生成装置２００ｂへ送られて、記憶部２２０ｂに記憶されるのであってもよい。
ステップＳ４０５において、公開可否決定部２３２ｂは、記憶部２２０ｂから取り出した第１ユーザ１０１ａに関する属性情報２２１を評価する。属性情報２２１の評価結果に応じて、公開可否決定部２３２ｂは、第１ユーザ１０１ａのユーザ姿勢情報を第２ユーザ１０１ｂに対して公開する（ステップＳ４０６）、又は公開しない（ステップＳ４０７）と決定する。ステップＳ４０５からステップＳ４０７までの各処理は、図４のステップＳ１０５からステップＳ１０７までの各処理と同じである。
第１ユーザ１０１ａのユーザ姿勢情報を第２ユーザ１０１ｂに公開することが決定（ステップＳ４０６）されると、ステップＳ４０８において、画像生成部２３３ｂは、ステップＳ４０２で受信された第１ユーザ１０１ａのユーザ姿勢情報に基づいて、ゲーム画像に含まれる第１ユーザ１０１ａを表すアバター画像を制御する。一例として、画像生成部２３３ｂは、第１ユーザ１０１ａを表すアバターが、第１ユーザ１０１ａのユーザ姿勢情報（頭の向き及び／又は視線）によって示される方向に顔や目を向けているアバター画像を生成する（図５のステップＳ２０３と同様）。
一方、第１ユーザ１０１ａのユーザ姿勢情報を第２ユーザ１０１ｂに公開しないことが決定（ステップＳ４０７）されると、ステップＳ４０９において、画像生成部２３３ｂは、ゲーム画像に含まれる第１ユーザ１０１ａを表すアバター画像をデフォルトの状態に制御する。一例として、画像生成部２３３ｂは、第１ユーザ１０１ａを表すアバターがデフォルトの方向（例えば真正面）に顔や目を向けているアバター画像を生成する（図５のステップＳ２０４と同様）。
ステップＳ４１０の処理は図５のステップＳ２０５の処理と同じであり、画像生成部２３３ｂによって生成されたゲーム画像（第１ユーザ１０１ａのアバター画像を含む）がＨＭＤ１２０ｂへ供給される。
このように、図６及び図７の動作例においても、第２サブシステム１００ｂのＨＭＤ１２０ｂに表示される第１ユーザ１０１ａのアバターの顔や目の動きを、ユーザ姿勢情報の公開が許可されている場合にのみ、第１ユーザ１０１ａの実際の頭の向きや視線に同期させることができる。これにより、仮想現実空間で実施されるコンピュータゲームにおいて、かけ引きを含めたゲーム性を提供することができ、コンピュータゲームの趣向性を向上させることが可能である。
以上、本発明の実施形態を説明したが、本発明はこれに限定されず、その要旨を逸脱しない範囲内において様々な変更が可能である。
１０ アバター表示システム
１００ａ 第１サブシステム（第１端末）
１００ｂ 第２サブシステム（第２端末）
１０１ａ 第１ユーザ
１０１ｂ 第２ユーザ
１０５ ネットワーク
１２０ａ、１２０ｂ ヘッドマウントディスプレイ（ＨＭＤ）
２００ａ、２００ｂ 画像生成装置
１００ ＨＭＤシステム
１５０ 有線ケーブル
１２２ ディスプレイ
１２４ アイトラッキングデバイス（ＥＴＤ）
１２６ センサ
２０２ プロセッサ
２０４ メモリ
２０６ ユーザ入力インターフェイス
２０８ 通信インターフェイス
２２０ 記憶部
２２１ 属性情報
２２３ 仮想現実空間構成情報
２３０ 処理部
２３１ ユーザ姿勢検出部
２３２ 公開可否決定部
２３３ 画像生成部
２３４ 画像出力部

Claims (12)

  1. 第１ユーザによって使用される第１端末と第２ユーザによって使用される第２端末とを備え、仮想現実空間において前記第１ユーザを表すアバター画像を前記第２端末に表示させるアバター表示システムであって、
    前記第１端末は、
    前記第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を検出するユーザ姿勢検出手段と、
    前記第１ユーザに関する属性情報を記憶するユーザ属性記憶手段と、
    前記属性情報に基づいて、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開するか否かを決定する公開可否決定手段と、
    前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定された場合に、前記第１ユーザのユーザ姿勢情報を前記第２端末へ送信する送信手段と、を備え、
    前記第２端末は、
    前記第１端末から前記第１ユーザのユーザ姿勢情報が受信された場合に、前記第１ユーザのユーザ姿勢情報に基づいて、仮想現実空間において前記第１ユーザを表すアバター画像を生成する画像生成手段と、
    前記アバター画像を表示する表示手段と、を備える、
    アバター表示システム。
  2. 前記画像生成手段は、前記第１端末から前記第１ユーザのユーザ姿勢情報が受信されなかった場合に、前記第１ユーザを表すデフォルトのアバター画像を生成する、請求項１に記載のアバター表示システム。
  3. 前記属性情報は、コンピュータゲームにおける前記第１ユーザの経験値又は能力値を含む、請求項１又は２に記載のアバター表示システム。
  4. 前記公開可否決定手段は、前記経験値又は能力値が所定値よりも大きい場合に前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定し、前記経験値又は能力値が所定値よりも小さい場合に前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開しないと決定する、請求項３に記載のアバター表示システム。
  5. 前記属性情報は、前記第１ユーザと前記第２ユーザとのコミュニケーションの頻度、深度、又は近接度に関連する値を含む、請求項１又は２に記載のアバター表示システム。
  6. 前記第１ユーザのユーザ姿勢情報に基づく前記アバター画像は、前記第１ユーザのユーザ姿勢情報によって示される方向に顔又は目の少なくとも一方を向けているアバターの画像である、請求項１から５のいずれか１項に記載のアバター表示システム。
  7. 前記第１端末及び前記第２端末は、ヘッドマウントディスプレイを含んで構成される端末である、請求項１から６のいずれか１項に記載のアバター表示システム。
  8. 第１ユーザによって使用される第１端末と第２ユーザによって使用される第２端末とを備え、仮想現実空間において前記第１ユーザを表すアバター画像を前記第２端末に表示させるアバター表示システムであって、
    前記第１端末は、
    前記第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を検出するユーザ姿勢検出手段と、
    前記第１ユーザのユーザ姿勢情報を前記第２端末へ送信する送信手段と、を備え、
    前記第２端末は、
    前記第１ユーザに関する属性情報に基づいて、前記第１端末から受信された前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開するか否かを決定する公開可否決定手段と、
    前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定された場合に、前記第１ユーザのユーザ姿勢情報に基づいて、仮想現実空間において前記第１ユーザを表すアバター画像を生成する画像生成手段と、
    前記アバター画像を表示する表示手段と、を備える、
    アバター表示システム。
  9. 第１ユーザによって使用される第１端末と第２ユーザによって使用される第２端末とを備え、仮想現実空間において前記第１ユーザを表すアバター画像を前記第２端末に表示させるアバター表示システムにおける、前記第１端末としてのユーザ端末であって、
    前記第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を検出するユーザ姿勢検出手段と、
    前記第１ユーザに関する属性情報を記憶するユーザ属性記憶手段と、
    前記属性情報に基づいて、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開するか否かを決定する公開可否決定手段と、
    前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定された場合に、前記第１ユーザのユーザ姿勢情報を前記第２端末へ送信する送信手段と、
    を備えるユーザ端末。
  10. 第１ユーザによって使用される第１端末と第２ユーザによって使用される第２端末とを備え、仮想現実空間において前記第１ユーザを表すアバター画像を前記第２端末に表示させるアバター表示システムにおける、前記第２端末としてのユーザ端末であって、
    前記第１端末から、前記第１端末において検出された前記第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を受信する受信手段と、
    前記第１ユーザに関する属性情報に基づいて、前記第１端末から受信された前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開するか否かを決定する公開可否決定手段と、
    前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定された場合に、前記第１ユーザのユーザ姿勢情報に基づいて、仮想現実空間において前記第１ユーザを表すアバター画像を生成する画像生成手段と、
    前記アバター画像を表示する表示手段と、
    を備えるユーザ端末。
  11. 第１ユーザによって使用される第１端末と第２ユーザによって使用される第２端末とを備え、仮想現実空間において前記第１ユーザを表すアバター画像を前記第２端末に表示させるアバター表示システムにおける、前記第１端末としてのユーザ端末を、
    前記第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を検出するユーザ姿勢検出手段、
    前記第１ユーザに関する属性情報を記憶するユーザ属性記憶手段、
    前記属性情報に基づいて、前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開するか否かを決定する公開可否決定手段、
    前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定された場合に、前記第１ユーザのユーザ姿勢情報を前記第２端末へ送信する送信手段、
    として機能させるためのプログラム。
  12. 第１ユーザによって使用される第１端末と第２ユーザによって使用される第２端末とを備え、仮想現実空間において前記第１ユーザを表すアバター画像を前記第２端末に表示させるアバター表示システムにおける、前記第２端末としてのユーザ端末を、
    前記第１端末から、前記第１端末において検出された前記第１ユーザの頭の向きと視線のうち少なくとも一方を含むユーザ姿勢情報を受信する受信手段、
    前記第１ユーザに関する属性情報に基づいて、前記第１端末から受信された前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開するか否かを決定する公開可否決定手段、
    前記第１ユーザのユーザ姿勢情報を前記第２ユーザに公開すると決定された場合に、前記第１ユーザのユーザ姿勢情報に基づいて、仮想現実空間において前記第１ユーザを表すアバター画像を生成する画像生成手段、
    前記アバター画像を表示する表示手段、
    として機能させるためのプログラム。
JP2015234650A 2015-12-01 2015-12-01 アバター表示システム、ユーザ端末、及びプログラム Active JP6017008B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015234650A JP6017008B1 (ja) 2015-12-01 2015-12-01 アバター表示システム、ユーザ端末、及びプログラム
PCT/JP2016/082710 WO2017094434A1 (ja) 2015-12-01 2016-11-02 アバター表示システム、ユーザ端末、及びプログラム
US15/358,056 US9836268B2 (en) 2015-12-01 2016-11-21 Avatar displaying system, user terminal, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015234650A JP6017008B1 (ja) 2015-12-01 2015-12-01 アバター表示システム、ユーザ端末、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016183466A Division JP6707429B2 (ja) 2016-09-20 2016-09-20 アバター表示システム、ユーザ端末、及びプログラム

Publications (2)

Publication Number Publication Date
JP6017008B1 JP6017008B1 (ja) 2016-10-26
JP2017102639A true JP2017102639A (ja) 2017-06-08

Family

ID=57197606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015234650A Active JP6017008B1 (ja) 2015-12-01 2015-12-01 アバター表示システム、ユーザ端末、及びプログラム

Country Status (3)

Country Link
US (1) US9836268B2 (ja)
JP (1) JP6017008B1 (ja)
WO (1) WO2017094434A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021187646A1 (ko) * 2020-03-20 2021-09-23 라인플러스 주식회사 아바타를 이용한 컨퍼런스 처리 방법 및 시스템
JP7413122B2 (ja) 2020-03-30 2024-01-15 日産自動車株式会社 画像生成システム、画像生成装置及び画像生成方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6298432B2 (ja) * 2015-10-19 2018-03-20 株式会社コロプラ 画像生成装置、画像生成方法、及び画像生成プログラム
US10438394B2 (en) 2017-03-02 2019-10-08 Colopl, Inc. Information processing method, virtual space delivering system and apparatus therefor
JP6223614B1 (ja) * 2017-03-24 2017-11-01 株式会社コロプラ 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
KR20180113109A (ko) * 2017-04-05 2018-10-15 삼성전자주식회사 전자 장치 및 전자 장치의 화면 표시 방법
US10244208B1 (en) * 2017-12-12 2019-03-26 Facebook, Inc. Systems and methods for visually representing users in communication applications
EP3751422A4 (en) * 2018-02-07 2021-04-21 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US11294453B2 (en) * 2019-04-23 2022-04-05 Foretell Studios, LLC Simulated reality cross platform system
CN110349527B (zh) * 2019-07-12 2023-12-22 京东方科技集团股份有限公司 虚拟现实显示方法、装置及系统、存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009458A (en) * 1996-05-09 1999-12-28 3Do Company Networked computer game system with persistent playing objects
JP2000244886A (ja) * 1999-01-20 2000-09-08 Canon Inc コンピュータ会議システム、コンピュータ処理装置、コンピュータ会議を行う方法、コンピュータ処理装置における処理方法、ビデオ会議システム、ビデオ会議を行う方法、ヘッドホン
US8585476B2 (en) * 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
WO2015139002A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021187646A1 (ko) * 2020-03-20 2021-09-23 라인플러스 주식회사 아바타를 이용한 컨퍼런스 처리 방법 및 시스템
JP7413122B2 (ja) 2020-03-30 2024-01-15 日産自動車株式会社 画像生成システム、画像生成装置及び画像生成方法

Also Published As

Publication number Publication date
US9836268B2 (en) 2017-12-05
US20170153863A1 (en) 2017-06-01
JP6017008B1 (ja) 2016-10-26
WO2017094434A1 (ja) 2017-06-08

Similar Documents

Publication Publication Date Title
JP6017008B1 (ja) アバター表示システム、ユーザ端末、及びプログラム
CN109643161B (zh) 动态进入和离开由不同hmd用户浏览的虚拟现实环境
US11865453B2 (en) Simulation system, process method, and information storage medium
US10430018B2 (en) Systems and methods for providing user tagging of content within a virtual scene
US10183220B2 (en) Image generation device and image generation method
US8611594B2 (en) Dynamic display of virtual content on several devices using reference tags
US9652063B2 (en) Input direction determination system, terminal, server, network system, information storage medium, and input direction determination method
JP6097377B1 (ja) 画像表示方法及びプログラム
US20120062758A1 (en) Relative positioning of devices based on captured images of tags
JP4917664B1 (ja) 画像表示装置、ゲームプログラム、ゲーム制御方法
TW201642943A (zh) 用以傳遞ｈｍｄ所渲染環境中之虛擬物件的觸摸感及移動感之動態手套
JP6770598B2 (ja) ゲームプログラム、方法、および情報処理装置
JP6707429B2 (ja) アバター表示システム、ユーザ端末、及びプログラム
WO2017056892A1 (ja) 画像生成装置、画像生成方法、及び画像生成プログラム
JP7216493B2 (ja) ゲームシステム及びプログラム
JP2017097696A (ja) 仮想空間内オブジェクトへの動作指示方法、及びプログラム
JP2024045446A (ja) プログラム、情報処理装置、情報処理システム、および情報処理方法
JP6785325B2 (ja) ゲームプログラム、方法、および情報処理装置
JP2018147465A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2020110376A (ja) ゲームプログラム、方法、および情報処理装置
JP2020179184A (ja) ゲームプログラム、方法、および情報処理装置
JP2017142816A (ja) 同期サーバ及び同期方法
JP2023095862A (ja) プログラム及び情報処理方法
JP6865878B2 (ja) アバター表示システム、ユーザ端末、及びプログラム
JP6114848B1 (ja) 同期サーバ及び同期方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160927

R150 Certificate of patent or registration of utility model

Ref document number: 6017008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250