JP2016202686A - System, method, and program for sharing game experience, and recording medium - Google Patents
System, method, and program for sharing game experience, and recording medium Download PDFInfo
- Publication number
- JP2016202686A JP2016202686A JP2015089504A JP2015089504A JP2016202686A JP 2016202686 A JP2016202686 A JP 2016202686A JP 2015089504 A JP2015089504 A JP 2015089504A JP 2015089504 A JP2015089504 A JP 2015089504A JP 2016202686 A JP2016202686 A JP 2016202686A
- Authority
- JP
- Japan
- Prior art keywords
- game
- unit
- user
- client
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、仮想空間中で複数の人々によってテレビゲームを行う体験を共有するためのシステム、方法、プログラム及び記録媒体に関する。 The present invention relates to a system, a method, a program, and a recording medium for sharing an experience of playing a video game by a plurality of people in a virtual space.
世界で最初の据置型のテレビゲーム機は１９７２年にマグナボックスから発売されたオデッセイとされているが、その後、１９８３年に任天堂が発売したファミリーコンピュータ、１９８５年にセガ・エンタープライゼスが発売したセガ・マークIII、１９９４年にソニー・コンピュータエンタテインメントが発売したＰｌａｙＳｔａｔｉｏｎ等によって、各家庭に普及した。 The world's first stationary video game machine is said to be the Odyssey released from Magnabox in 1972, but then the family computer released by Nintendo in 1983, and the Sega released by Sega Enterprises in 1985・ Mark III, popularized by households such as PlayStation, released by Sony Computer Entertainment in 1994.
当時の据置型のテレビゲーム機はネットワーク対戦機能を持たないか、ネットワーク対戦機能を持っていたとしても現在に比べ貧弱であったために、友人を自宅に招いたり、友人宅を訪問したりして、そこで、友人と共に、これらの据置型のテレビゲーム機を楽しんだ経験を子供時代に有する人々は非常に多い。 At that time, the stationary video game machine did not have a network battle function, or even if it had a network battle function, it was poor compared to the present, so I invited a friend to my home or visited a friend's house So, with friends, there are a lot of people who have experience with these stationary video game machines in their childhood.
ここで、最近、Ｆａｃｅｂｏｏｋ、Ｔｗｉｔｔｅｒのようなソーシャル・ネットワーキング・サービス(ＳＮＳ)の普及に伴い、子供時代の友人とのつながりを再び得ることができるようになってきた。このような子供時代の友人との旧交を温めるために、子供時代の家で子供時代の楽しみを再体験することを試みるケースを想定した場合、その家が残っており、更に、これらの据置型のゲーム機器を依然として所有していたとしても、実際に一か所に集合してそのような再体験をすることは、忙しい人々には必ずしも簡単なことではない。 Here, recently, with the spread of social networking services (SNS) such as Facebook and Twitter, it has become possible to regain connection with friends in childhood. In order to warm up the old friendship with such a childhood friend, assuming a case of trying to re-experience childhood fun in a childhood house, the house remains, and further, these stationary types Even if you still own the game consoles, it is not always easy for busy people to actually gather in one place and have such a re-experience.
ここで、特許文献１〜３には、仮想空間上で映画やゲームを一緒に楽しむことが、また、特許文献４，５には、家の間取りを仮想空間上に立体的に再現することが記載されているが、特許文献１〜３に記載されているものは、あらかじめ設定されている仮想空間で映画やゲームを一緒に楽しむものであって、自分や友人の自宅でゲーム、特に対戦型ゲームを共に楽しんだ体験を再現しようとするものではなく、また、特許文献４，５に記載されたものは、間取りを自分で設定すれば自宅に帰ったような状況を再現できるものの、その中で、友人との体験を再現することができるものではない。 Here, in Patent Documents 1 to 3, it is possible to enjoy movies and games together in a virtual space, and in Patent Documents 4 and 5, a floor plan of a house is reproduced three-dimensionally in the virtual space. Although described, Patent Documents 1 to 3 are for enjoying a movie or a game together in a preset virtual space, and playing a game at home of oneself or a friend, particularly a battle type It is not intended to reproduce the experience of enjoying the game together, and those described in Patent Documents 4 and 5 can reproduce the situation of returning home if the floor plan is set by oneself. It is not possible to reproduce the experience with friends.
自宅ないし友人宅で、据置型のテレビゲーム機によって友人とゲーム、特に対戦型ゲームを楽しんだ経験を、仮想空間上で再現する。 The experience of enjoying a game with a friend, especially a battle game, with a stationary video game machine at home or a friend's house is reproduced in a virtual space.
このような経験を仮想空間上で再現するために、本発明のゲーム体験共有システムは、少なくとも、ネットワークを介して通信可能に接続されているサーバと１つ又は複数のクライアントによって構成されるゲーム体験共有システムであって、建物の間取り図、及び、前記建物の間取り図内に配置されたテレビ受像機の形状や位置を含む間取りデータを記憶する間取りデータ記憶部と、前記間取りデータから、仮想空間中に前記建物及び前記テレビ受像機を含む３Ｄモデルを生成する立体化部と、実行すべきゲームを取得するゲーム取得部と、前記ゲームを実行し、前記テレビ受像機の表示部が表示すべきゲームの出力画像を生成するゲーム実行部と、前記クライアントのユーザからの入力を受ける入力部と、前記クライアントのユーザからの入力を前記ゲーム実行部に送り、ゲーム実行部がユーザからの入力に基づいてゲームを実行するように制御するゲーム制御部と、前記仮想空間中に前記クライアントのユーザの視点を配置する視点配置部と、前記立体化部が生成する、３Ｄモデルと、前記ゲーム実行部が生成する前記テレビ受像機の表示部が表示すべきゲームの出力画像に基づいて、前記仮想空間中に配置された前記クライアントのユーザの視点から見た仮想的な映像を生成する仮想映像生成部と、前記仮想映像生成部によって生成された仮想的な映像を表示装置が表示可能な信号に変換し出力する仮想映像表示部と、を含む。 In order to reproduce such an experience in a virtual space, the game experience sharing system of the present invention is a game experience constituted by at least a server and one or a plurality of clients that are communicably connected via a network. A floor plan data storage unit for storing floor plans including a floor plan of a building and a shape and a position of a television receiver arranged in the floor plan of the building, and a virtual space from the floor plan data A three-dimensional unit that generates a 3D model including the building and the television receiver therein, a game acquisition unit that acquires a game to be executed, and the display unit of the television receiver that displays the game. A game execution unit that generates an output image of a game, an input unit that receives an input from a user of the client, and a user of the client A game control unit that sends input to the game execution unit and controls the game execution unit to execute a game based on an input from the user, and a viewpoint arrangement unit that arranges the viewpoint of the user of the client in the virtual space And the client arranged in the virtual space based on the 3D model generated by the three-dimensional unit and the output image of the game to be displayed on the display unit of the television receiver generated by the game execution unit A virtual video generation unit that generates a virtual video viewed from the user's viewpoint, and a virtual video display unit that converts the virtual video generated by the virtual video generation unit into a signal that can be displayed by a display device and outputs the converted signal And including.
本発明の他の形態は、上記システムと略同様の内容を有する方法、及び、該方法をコンピュータにより実現するためのプログラム及び記録媒体に係るものである。 Another aspect of the present invention relates to a method having substantially the same contents as the above system, a program for realizing the method by a computer, and a recording medium.
据置型のテレビゲーム機による友人との対戦を仮想空間上で実施することによって、当該対戦を容易に再現し得る。 By performing a battle with a friend using a stationary video game machine in a virtual space, the battle can be easily reproduced.
図１は、本発明のゲーム体験共有システムにおいて、複数のクライアントと、クライアントとは独立したサーバを置いた場合のブロック図である。
図１に示されたサーバ１１は、本発明のゲーム体験共有システムにおいて、各クライアント間で共通に必要なデータ処理をまとめて行うものである。その共通に必要なデータ処理の具体的な内容については後程説明する。
FIG. 1 is a block diagram when a plurality of clients and a server independent of the clients are placed in the game experience sharing system of the present invention.
The server 11 shown in FIG. 1 collectively performs necessary data processing among clients in the game experience sharing system of the present invention. The specific contents of the data processing required in common will be described later.
図１に示されたクライアント１２1〜１２nは、本発明のゲーム体験共有システムにおいて、クライアント１２1〜１２nそれぞれのユーザからの入力や、クライアント１２1〜１２nそれぞれのユーザに対する表示など、クライアント１２1〜１２nそれぞれのユーザのために必要なデータ処理を別個に行うものである。クライアント１２1〜１２nそれぞれのユーザのために必要なデータ処理の具体的な内容については後程説明する。 Client 12 1 to 12 n shown in FIG. 1, the gaming experience sharing system of the present invention, the input and from the client 12 1 to 12 n each user, such as the client 12 1 to 12 n display for each user, Data processing necessary for each user of the clients 12 1 to 12 n is performed separately. Specific contents of the data processing necessary for each user of the clients 12 1 to 12 n will be described later.
本発明のゲーム体験共有システムでは、このようにサーバを独立に持つ必要は必ずしもなく、図１のサーバ１１が持つ機能を、図２に示すように、クライアント１２1〜１２nの内の少なくとも一つに持たせ、他のクライアント１２1〜１２nに対してサーバとしても動作することによって、全体として、ゲーム体験共有システムとして動作させるようにしてもよい。もちろん、この場合に、クライアント１２1〜１２nすべてにサーバとしての機能を持たせつつ、クライアント１２1〜１２nの内の一つだけにおいて、クライアントとしての機能とサーバとしての機能双方を稼働させるものでもよい。 In the game experience sharing system of the present invention, it is not always necessary to have a server independently. The function of the server 11 in FIG. 1 is at least one of clients 12 1 to 12 n as shown in FIG. One to imparted by acting as a server for other clients 12 1 to 12 n, as a whole, may be caused to operate as a gaming experience sharing system. Of course, in this case, all of the clients 12 1 to 12 n have the server function, and only one of the clients 12 1 to 12 n operates both the client function and the server function. It may be a thing.
以下、図１に示すような、複数のクライアント１２1〜１２nと、クライアント１２1〜１２nとは独立したサーバ１１を置いた場合を代表的な例として説明するが、以下説明するものは、いずれも、上で述べたような図２のような構成でも、実現することができる。 Hereinafter, a case where a plurality of clients 12 1 to 12 n and a server 11 independent of the clients 12 1 to 12 n are placed as shown in FIG. 1 will be described as a representative example. Any of these can be realized by the configuration shown in FIG. 2 as described above.
図３は図１に示すサーバ１１が持つべき機能の一例を示したブロック図、図４は図１に示すクライアント１２1〜１２nが持つべき機能の一例を示したブロック図、図５は、サーバ１１が持つ機能、クライアント１２1〜１２nが持つ機能の間で、情報がどのように流れているかを示す図である。これら図３〜５では、必須の機能や情報の流れを実線で、必要に応じて設ければよい機能や情報の流れを破線で表現している。 3 is a block diagram showing an example of functions that the server 11 shown in FIG. 1 should have, FIG. 4 is a block diagram showing an example of functions that the clients 12 1 to 12 n shown in FIG. 1 should have, and FIG. function server 11 has, between the functions of the client 12 1 to 12 n, is a diagram showing how information is how flow. In FIGS. 3 to 5, essential functions and information flows are represented by solid lines, and functions and information flows that may be provided as necessary are represented by broken lines.
図３に示すように、本発明のゲーム体験共有システムでは、サーバ１１は、間取りデータ記憶部３１、立体化部３２、ゲーム取得部３３、ゲーム実行部３４を、少なくとも有している。また、ゲーム記憶部３５については、必要に応じて設ければよい。 As shown in FIG. 3, in the game experience sharing system of the present invention, the server 11 has at least a floor plan data storage unit 31, a three-dimensional unit 32, a game acquisition unit 33, and a game execution unit 34. Moreover, what is necessary is just to provide the game memory | storage part 35 as needed.
図４に示すように、本発明のゲーム体験共有システムでは、それぞれのクライアント１２1〜１２nは、入力部４１、ゲーム制御部４２、視点配置部４３、仮想映像生成部４４、仮想映像表示部４５を、少なくとも有している。また、間取りデータ入力部４６、ゲームアップロード部４７、ユーザ間通信部４８については、必要に応じて設ければよい。 As shown in FIG. 4, the game experience sharing system of the present invention, each of the client 12 1 to 12 n includes an input unit 41, the game control unit 42, the viewpoint placement unit 43, the virtual image generation unit 44, a virtual image display unit 45 at least. Further, the floor plan data input unit 46, the game upload unit 47, and the inter-user communication unit 48 may be provided as necessary.
なお、図３〜５において仮想映像生成部４４は、クライアント１２1〜１２nが持つべき機能として説明しているが、後にも述べるように、これをサーバ１１に持たせることも可能である。 3 to 5, the virtual video generation unit 44 is described as a function that the clients 12 1 to 12 n should have. However, as will be described later, the virtual image generation unit 44 can also be provided to the server 11.
以下、図３及び図５に基づいてサーバ１１が持つべき機能について説明する。
間取りデータ記憶部３１と立体化部３２が持つ機能は、特許文献４，５にてその詳細が記載されているものである。
Hereinafter, functions that the server 11 should have will be described with reference to FIGS. 3 and 5.
Details of the functions of the floor plan data storage unit 31 and the three-dimensional unit 32 are described in Patent Documents 4 and 5.
間取りデータ記憶部３１は図６に示されるような、間取り図６１と、間取り図６１上に配置された、仮想化されたソファ６２やテーブル６３のような付帯物、仮想化されたテレビ受像機６４の形状や位置を含む情報を間取りデータとして数値化して記憶している。なお、ソファ６２やテーブル６３のような付帯物は、本発明のゲームを共に楽しんだ体験を再現するという目的のためには必ずしも必要なものではないが、その前提となる家の間取りを再現するためには通常必要となるものである。また、このテレビ受像機６４は、テレビ放送受信機能を有するテレビ受像機を仮想化したものに限定する必要はなく、テレビ放送受信機能を有さない単なるディスプレイを仮想化したものでもよい。 The floor plan data storage unit 31 includes a floor plan 61 as shown in FIG. 6, an accessory such as a virtual sofa 62 and a table 63 arranged on the floor plan 61, and a virtual television receiver. Information including 64 shapes and positions is digitized and stored as floor plan data. Note that incidentals such as the sofa 62 and the table 63 are not necessarily required for the purpose of reproducing the experience of enjoying the game of the present invention, but reproduce the floor plan of the house which is the premise thereof. This is usually necessary for this purpose. The television receiver 64 need not be limited to a virtualized television receiver having a television broadcast receiving function, and may be a virtualized simple display that does not have a television broadcast receiving function.
立体化部３２は、間取りデータ記憶部３１が記憶する、間取り図６１、間取り図６１上に配置された、ソファ６２やテーブル６３のような付帯物、テレビ受像機６４の形状や位置を含む間取りデータから、３Ｄモデルを作成する。ソファ６２やテーブル６３のような付帯物、テレビ受像機６４には高さ方向の情報が必要であるが、通常住宅などの建物は矩形で、天井の高さ(例えば２４０ｃｍ)や手すりの高さ(例えば６５ｃｍ)などは、一定の初期値があるので、間取り図６１は、その高さ方向の情報が欠けていても、図７に示されるような、３Ｄモデルを自動的に生成することができる。 The three-dimensionalization unit 32 includes a floor plan 61, a floor plan 61, an accessory such as a sofa 62 and a table 63 arranged on the floor plan 61, and a floor plan including the shape and position of the television receiver 64. Create a 3D model from the data. Ancillary items such as the sofa 62 and the table 63 and the television receiver 64 require information on the height direction, but a building such as a house is usually rectangular and has a ceiling height (for example, 240 cm) and a handrail height. Since there is a certain initial value such as (for example, 65 cm), the floor plan 61 can automatically generate a 3D model as shown in FIG. 7 even if the information in the height direction is missing. it can.
ゲーム取得部３３とゲーム実行部３４は、この生成された３Ｄモデルに基づく仮想空間上で実行されるテレビゲームについてのプログラムを取得し、実行するものである。
このゲーム取得部３３で取得されるテレビゲームについてのプログラムは、上述したような実際に存在する据置型ゲームで実際に用いられていたプログラムであってもよく、その場合は、ゲーム実行部３４では、その実際に存在する据置型ゲームのエミュレータを用いて、その実際に用いられていたプログラムを実行することとなる。また、このゲーム取得部３３で取得されるテレビゲームについてのプログラムは、このゲーム体験共有システムのために新たにプログラムされたものでもよく、その場合は、そのプログラムが、実際に存在する据置型ゲームを模倣したものでも、また、全く新たなゲームのためのプログラムであってもよい。このように、実際に存在する据置型ゲームで実際に用いられていたプログラムを用いる場合や、実際に存在する据置型ゲームを模倣したプログラムを作成する場合に、必要な知的財産権関係の処理をあらかじめ行っておくことはいうまでもない。
The game acquisition unit 33 and the game execution unit 34 acquire and execute a program for a video game executed in a virtual space based on the generated 3D model.
The program about the video game acquired by the game acquisition unit 33 may be a program actually used in a stationary game that actually exists as described above. In this case, the game execution unit 34 The actually used program is executed using the emulator of the stationary game that actually exists. In addition, the video game program acquired by the game acquisition unit 33 may be newly programmed for the game experience sharing system. In this case, the program is a stationary game that actually exists. Or a program for a completely new game. In this way, when using a program that was actually used in a stationary game that actually exists, or when creating a program that imitates a stationary game that actually exists, necessary intellectual property rights processing It goes without saying that this is done in advance.
ゲーム取得部３３は、クライアント１２1〜１２nのゲームアップロード部４７からアップロードされるテレビゲームについてのプログラムを取得するもの、ネットワーク上に接続されているデータベースからテレビゲームについてのプログラムを取得するもの、そのサーバ１１が有するゲーム記憶部３５から、テレビゲームについてのプログラムを取得するものなどのいずれでもよい。 Game acquiring unit 33 which acquires a program for a video game that is uploaded from the game uploader 47 of the client 12 1 to 12 n, which from a database that is connected to the network to retrieve a program for video games, Any of those that obtain a program about a video game from the game storage unit 35 of the server 11 may be used.
ゲーム実行部３４は、クライアント１２1〜１２nそれぞれの入力部４１からゲーム制御部４２を介して送られてくる、クライアント１２1〜１２nそれぞれのユーザの入力に基づいて、ゲーム取得部３３が取得したゲームを実行し、３Ｄモデルに含まれるテレビ受像機６４の表示部に表示すべきゲームの出力画像を生成する。 The game execution unit 34 is configured so that the game acquisition unit 33 receives the input from the user of each of the clients 12 1 to 12 n sent from the input unit 41 of each of the clients 12 1 to 12 n via the game control unit 42. The acquired game is executed, and an output image of the game to be displayed on the display unit of the television receiver 64 included in the 3D model is generated.
以下、図４及び図５に基づいてクライアント１２1〜１２nが持つべき機能について説明する。
入力部４１は、図５に示すように、入力手段である外付けのゲームパッドやジョイスティック、キーボードやマウス等から、クライアント１２1〜１２nそれぞれのユーザからの入力を受け取る機能を有している。この入力部４１で受け取るユーザからの入力は、ゲーム制御部４２を介してサーバ１１が有するゲーム実行部３４に送られ、ゲームの実行を制御する。ゲーム制御部４２は、入力部４１で受け取るユーザからの入力を、そのまま、サーバ１１が有するゲーム実行部３４に送る機能のみを有する場合が多いが、そのクライアント１２1〜１２nが有する入力手段と、ゲーム実行部３４で実行されるプログラムが想定している入力手段が一致しない場合のために、それらを変換する機能を有してもよい。
Hereinafter, a description will be given of the function should have the client 12 1 to 12 n based on FIGS.
The input unit 41 includes, as shown in FIG. 5, an external game pad or joystick is an input device, a keyboard, a mouse and the like, and has a function of receiving input from the client 12 1 to 12 n each user . The input from the user received by the input unit 41 is sent to the game execution unit 34 of the server 11 via the game control unit 42 and controls the execution of the game. In many cases, the game control unit 42 has only the function of sending the input from the user received by the input unit 41 to the game execution unit 34 of the server 11 as it is. However, the game control unit 42 has input means that the clients 12 1 to 12 n have. In the case where the input means assumed by the program executed by the game execution unit 34 does not match, the program may be converted.
視点配置部４３は、仮想空間中でクライアント１２1〜１２nそれぞれのユーザの視点がどの位置にあるかについての情報、視線がどの方向に向いているかの情報、視野についての情報を維持し、仮想映像生成部４４に与えるものである。 Viewpoint placement unit 43 maintains information about the client 12 1 to 12 n viewpoint of each user in the virtual space is in any position, or information sight is directed in any direction, the information about the field of view, This is given to the virtual video generation unit 44.
仮想映像生成部４４は、立体化部３２が生成した３Ｄモデル、ゲーム実行部３４が生成した３Ｄモデルに含まれるテレビ受像機６４の表示部に表示すべきゲームの出力画像、視点配置部４３から取得したクライアント１２1〜１２nそれぞれのユーザの視点、視線や視野に基づいて、仮想空間中で、クライアント１２1〜１２nそれぞれのユーザの視点からみた画像を生成するものである。 The virtual video generation unit 44 outputs the game output image to be displayed on the display unit of the television receiver 64 included in the 3D model generated by the three-dimensionalization unit 32 and the 3D model generated by the game execution unit 34, from the viewpoint arrangement unit 43. Based on the user's viewpoint, line of sight, and field of view of each of the acquired clients 12 1 to 12 n , an image viewed from the user's viewpoint of each of the clients 12 1 to 12 n is generated in the virtual space.
具体的には、仮想映像生成部４４は、３Ｄモデルに含まれるテレビ受像機６４の表示部に、ゲーム実行部３４が生成した表示すべきゲームの出力画像をはめ込み、その後、仮想空間中に配置される、間取り図６１で示される部屋の内部や、ソファ６２やテーブル６３のような付帯物、テレビ受像機６４が、クライアント１２1〜１２nそれぞれのユーザの視点、視線や視野で、どのように見えるかを計算し、画像を生成する。
仮想映像表示部４５は、仮想映像生成部４４が生成する画像を、外付けの表示装置で表示することのできる信号に変換し、この表示装置に対して出力する。なお、仮想映像表示部４５が、表示装置を内在する構成でもよい。
外付けの表示装置として３Ｄ画像を表示できる装置を用いることを想定すると、仮想映像生成部４４及び仮想映像表示部４５は３Ｄ画像を生成、処理できる構成とすることが望ましい。それ以外にも、仮想映像表示部４５を、外付けの表示装置に合わせた構成とすることはいうまでもない。
特に、外付けの表示装置として、図５に示すような、没入デジタル環境を得ることのできる、Ｏｃｕｌｕｓに代表されるヘッド・マウント・ディスプレイ(ＨＭＤ)を用いると好適である。
Specifically, the virtual video generation unit 44 fits the output image of the game to be displayed generated by the game execution unit 34 into the display unit of the television receiver 64 included in the 3D model, and then arranges it in the virtual space. is the, or internal rooms represented by floor plan 61, associated objects such as a sofa 62 and the table 63, the television receiver 64, the client 12 1 to 12 n each user's point of view, in the line of sight and field of view, what Calculate what it looks like and generate an image.
The virtual video display unit 45 converts the image generated by the virtual video generation unit 44 into a signal that can be displayed on an external display device, and outputs the signal to the display device. Note that the virtual video display unit 45 may include a display device.
Assuming that a device capable of displaying a 3D image is used as an external display device, it is desirable that the virtual video generation unit 44 and the virtual video display unit 45 have a configuration capable of generating and processing a 3D image. In addition to this, it goes without saying that the virtual video display unit 45 is configured in accordance with an external display device.
In particular, as an external display device, a head mounted display (HMD) represented by Oculus, which can obtain an immersive digital environment as shown in FIG. 5, is preferably used.
なお、ここでは、仮想映像生成部４４はクライアント１２1〜１２nが持つべき機能として説明しているが、この仮想映像生成部４４をサーバ１１に設けることも可能である。その場合、サーバ１１に設けられた仮想映像生成部４４は、クライアント１２1〜１２nそれぞれの視点配置部４３からクライアント１２1〜１２nそれぞれのユーザの視点、視線や視野を受け取り、クライアント１２1〜１２nそれぞれに対して、仮想空間中に配置される、ソファ６２やテーブル６３のような付帯物、テレビ受像機６４が、クライアント１２1〜１２nそれぞれのユーザの視点からどのように見えるかを計算し画像を生成し、その後、生成された画像を、クライアント１２1〜１２nそれぞれの仮想映像表示部４５に送ることとなる。 Here, the virtual video generation unit 44 is described as a function that the clients 12 1 to 12 n should have, but the virtual video generation unit 44 may be provided in the server 11. In that case, the virtual image generation unit 44 provided in the server 11 receives from the client 12 1 to 12 n each viewpoint placement unit 43 the client 12 1 to 12 n viewpoint of each user, the line of sight and field of view, the client 12 1 relative to 12 n, respectively, are arranged in the virtual space, or associated objects such as a sofa 62 and the table 63, the television receiver 64, look like from the perspective of the client 12 1 to 12 n each user Is calculated to generate an image, and then the generated image is sent to the virtual video display unit 45 of each of the clients 12 1 to 12 n .
この仮想映像生成部４４を、サーバ１１とクライアント１２1〜１２nのいずれに設けるかについては、サーバ１１及びクライアント１２1〜１２nの処理能力、サーバ１１とクライアント１２1〜１２nを結ぶネットワークの帯域、この仮想映像生成部４４が必要とする計算量、仮想映像生成部４４が生成した画像の情報量等を勘案して決定すればよい。 Network The virtual image generation unit 44, for either provided on one of the server 11 and the client 12 1 to 12 n, which connects the server 11 and the client 12 1 to 12 n of the processing capacity, the server 11 and the client 12 1 to 12 n And the amount of calculation required by the virtual video generation unit 44, the information amount of the image generated by the virtual video generation unit 44, and the like may be determined.
例えば、この実施例１では、次に説明する実施例２とは異なりアバターを表示する必要が無いため、立体化部３２が作成する３Ｄモデルは、そのゲームを実行している間は経時的に変化しない。すなわち、仮想映像生成部４４をクライアント１２1〜１２nが持つべき機能とした場合には、システムを実行する最初の時点のみ、サーバ１１からクライアント１２1〜１２nに３Ｄモデルを配信し、リアルタイムに配信するのは、ゲーム実行部３４が生成するゲームの出力画像のみとすることが可能となる。このゲームの出力画像はすべてのクライアント１２1〜１２nに対して同一のものでよいから、マルチキャストを用いれば、それらを合わせた結果として、サーバ１１からクライアント１２1〜１２nに向かって送信される情報量を大きく削減することができる。 For example, in the first embodiment, unlike the second embodiment described below, it is not necessary to display an avatar. Therefore, the 3D model created by the three-dimensional unit 32 is changed over time while the game is being executed. It does not change. That is, when the virtual video generation unit 44 is a function that the clients 12 1 to 12 n should have, the 3D model is distributed from the server 11 to the clients 12 1 to 12 n only in the first time when the system is executed, and real time It is possible to distribute only the output image of the game generated by the game execution unit 34. Since the output image of this game may be the same for all the clients 12 1 to 12 n , if multicast is used, the result of combining them is transmitted from the server 11 to the clients 12 1 to 12 n. The amount of information that can be greatly reduced.
これに対し、仮想映像生成部４４をサーバ１１においた場合には、立体化部３２が作成する３Ｄモデルは変化せず、ゲーム実行部３４が生成するゲームの出力画像がすべてのクライアント１２1〜１２nに対して同一のものであるとしても、クライアント１２1〜１２nそれぞれのユーザの用いる視点が異なる位置にある可能性があるから、仮想映像生成部４４の出力は、クライアント１２1〜１２nそれぞれに対して異なるものを生成する必要があり、しかも、３Ｄモデルに基づいて生成される画像と、それにはめ込んだゲームの出力画像の双方をリアルタイムで配信することとなるので、結果として、サーバ１１からクライアント１２1〜１２nに向かって送信される情報量は、仮想映像生成部４４をクライアント１２1〜１２nが持つべき機能とした場合に比べより多くなることとなる。 On the other hand, when the virtual video generation unit 44 is placed in the server 11, the 3D model created by the three-dimensionalization unit 32 does not change, and the game output images generated by the game execution unit 34 are all of the clients 12 1 to 12. even those identical with respect to 12 n, from the client 12 1 to 12 n viewpoints to use of the respective user may be in a different position, the output of the virtual image generation unit 44, the client 12 1 to 12 n It is necessary to generate a different one for each, and both the image generated based on the 3D model and the output image of the game embedded in it are distributed in real time. The amount of information transmitted from the client 11 to the clients 12 1 to 12 n should have the virtual video generation unit 44 in the clients 12 1 to 12 n It will be more than the case of function.
次に、建物の間取り図、前記建物の間取り図内に配置された付帯物、及び、前記建物の間取り図内に配置されたテレビ受像機を含む間取りデータについては、ユーザが入力できるように構成してもよく、その場合には、クライアント１２1〜１２nは間取りデータ入力部４６を有し、入力された建物の間取り図、前記建物の間取り図内に配置された付帯物、及び、前記建物の間取り図内に配置されたテレビ受像機を含む間取りデータをサーバ１１に送って、間取りデータ記憶部３１に記憶させる。 Next, the floor plan data including the floor plan of the building, the incidental items arranged in the floor plan of the building, and the television receiver arranged in the floor plan of the building can be input by the user. may be, in that case, has a client 12 1 to 12 n are floor plan data input unit 46, a floor plan of a building with the input associated object disposed within a floor plan of the building, and the The floor plan data including the television receiver arranged in the floor plan of the building is sent to the server 11 and stored in the floor plan data storage unit 31.
加えて、クライアント１２1〜１２nのユーザが有しているテレビゲームについてのプログラムをこのシステムで実行するために、そのプログラムをアップロードするゲームアップロード部４７を有していてもよい。このゲームアップロード部４７は、据置型のテレビゲーム機のゲームカートリッジを読み取るための専用のコネクタや読取回路等を有していると有用である。 In addition, a program for a video game which the user of the client 12 1 to 12 n has to run on this system may have a game uploader 47 uploads the program. It is useful that the game upload unit 47 has a dedicated connector or a reading circuit for reading a game cartridge of a stationary television game machine.
更に、他のユーザに対し、音声・映像通話や電子メール、インスタントメッセージ等を用いて、このゲーム体験共有システムに参加するように招聘を行ったり、ゲームを楽しんでいる間に、そのゲームについての感想を伝えたり、更には、それらに対して応答することができるユーザ間通信部４８をクライアントに設けてもよい。 Furthermore, while inviting other users to participate in this game experience sharing system using voice / video calls, emails, instant messages, etc., or while enjoying the game, The client may be provided with an inter-user communication unit 48 that can transmit impressions or respond to them.
このユーザ間通信部４８による通信は、サーバ１１を介するものでも、クライアント１２1〜１２nそれぞれのユーザ間通信部４８の間で直接やりとりするものでも、また、音声・映像通話や電子メール、インスタントメッセージ用としてサーバ１１とは別に設けられているサーバ等を介するもののいずれでもよい。
加えて、このユーザ間通信部４８が送る音声・映像通話や電子メール等には、ゲーム取得部３３が取得できるゲームの情報に代表される、このゲーム体験共有システムで実行することができるゲームの情報、ゲーム実行部３４で現在実行しているゲームの情報に代表される、現在実行中のゲームについての情報を含ませるようにしてもよい。
Communication by the user communication section 48, also be through the server 11, also intended to interact directly between client 12 1 to 12 n each user communication section 48, also audio and video call or e-mail, instant Any of them may be used via a server provided separately from the server 11 for messages.
In addition, in the voice / video call or e-mail sent by the inter-user communication unit 48, a game that can be executed by the game experience sharing system represented by the game information that can be acquired by the game acquisition unit 33. Information and information about the game currently being executed represented by the information of the game currently being executed by the game execution unit 34 may be included.
図８に、実施例１のシステムを利用するときの手順の一例を示す。
図８は、クライアント１２1を用いるユーザが、クライアント１２2を用いるユーザを招聘して、実施例１のシステムを利用しようとするという前提、及び、クライアントに仮想映像生成部４４、間取りデータ入力部４６、ゲームアップロード部４７、ユーザ間通信部４８が存在するという前提で記載されている。
FIG. 8 shows an example of a procedure when using the system of the first embodiment.
FIG. 8 shows a premise that a user who uses the client 12 1 invites a user who uses the client 12 2 to use the system according to the first embodiment, and the virtual video generation unit 44 and the floor plan data input unit in the client. 46, the game upload unit 47, and the inter-user communication unit 48 are described.
最初に、クライアント１２1を用いるユーザは、実行しようとするゲームのプログラムをゲームアップロード部４７を用いてサーバ１１のゲーム取得部３３にアップロードする。また、それに加えて、利用したい仮想空間を表現する間取りデータを、間取りデータ入力部４６で入力し、サーバ１１の間取りデータ記憶部３１に記憶させる。(ステップＳ８１)
次に、クライアント１２1を用いるユーザは、ユーザ間通信部４８を用いて、クライアント１２2を用いるユーザを招聘し、クライアント１２2を用いるユーザは、同様にして承諾を返信する。(ステップＳ８２)
更に、クライアント１２1を用いるユーザは、サーバ１１に対してゲームの実行の開始指示を送り(ステップＳ８３)、サーバ１１の立体化部３２は３Ｄモデルを作成(ステップＳ８４)し、クライアント１２1及びクライアント１２2に配信(ステップＳ８５)する。
First, the user using the client 12 1, upload to the game acquiring unit 33 of the server 11 by using the game uploader 47 a game program to be executed. In addition, floor plan data representing a virtual space to be used is input by the floor plan data input unit 46 and stored in the floor plan data storage unit 31 of the server 11. (Step S81)
Then, the user using the client 12 1, using the user communication section 48, inviting the user to use a client 12 2, a user using the client 12 2 sends back an acceptance in the same manner. (Step S82)
Further, the user using the client 12 1 sends an instruction to start execution of the game to the server 11 (step S83), three-dimension section 32 of the server 11 creates a 3D model (step S84), the client 12 1 and delivered to the client 12 2 (step S85).
その後、クライアント１２1及びクライアント１２2のゲーム制御部４２は入力部４１を介して入力されたユーザ入力をサーバ１１にアップロード(ステップＳ８６)し、サーバ１１のゲーム実行部３４は、クライアント１２1及びクライアント１２2の入力部４１からゲーム制御部４２を介して送られてきたユーザの入力に基づいて、ゲーム取得部３３が取得したゲームを実行、ゲームの出力画像を生成し(ステップＳ８７)、クライアント１２1及びクライアント１２2に配信(ステップＳ８８)する。クライアント１２1及びクライアント１２2の仮想映像生成部４４は、ユーザの視点、視線や視野で、３Ｄモデルとゲームの出力画像がどのように見えるかを計算し、仮想映像生成部４４が生成した出力画像を、仮想映像表示部４５が変換して外付けの表示装置に送り、表示させる。(ステップＳ８９)
その後、ゲーム終了時まで、ステップＳ８６〜ステップＳ８９を繰り返す。
Then, the game control unit 42 of the client 12 1 and the client 12 2 is uploaded to the server 11 the user input entered via the input unit 41 (step S86), the game execution unit 34 of the server 11, the client 12 1 and based from the input unit 41 of the client 12 2 to the input of the user sent through the game control unit 42, executes a game acquiring unit 33 has acquired game, generates an output image of the game (step S87), the client Distribution to 12 1 and client 12 2 (step S88). The virtual video generation unit 44 of the client 12 1 and the client 12 2 calculates how the 3D model and the output image of the game look from the viewpoint, line of sight, and visual field of the user, and the output generated by the virtual video generation unit 44 The virtual video display unit 45 converts the image and sends it to an external display device for display. (Step S89)
Thereafter, steps S86 to S89 are repeated until the game ends.
実施例１では、仮想空間中で、同じテレビゲームを楽しむということは実現できるが、クライアント１２1〜１２nそれぞれのユーザが、仮想空間中でどの位置に居るのか、どのような体の動きをしているのか等を表現することができず、同じ空間に友人と共に居るということを適切に体験することができない。 In the first embodiment, it is possible to enjoy the same video game in the virtual space, but the user of each of the clients 12 1 to 12 n is located in the virtual space, and what kind of body movement is performed. It is not possible to express whether or not they are doing, and it is impossible to properly experience being with a friend in the same space.
実施例２では、仮想空間中に、クライアント１２1〜１２nそれぞれのユーザが用いるアバターを表示することにより、この点を解決する。
図９は、実施例２におけるクライアント１２1〜１２nが持つべき機能の一例を示したブロック図である。実施例２におけるサーバ１１が持つべき機能は、図３に示したものと大きく変わらないのでブロック図は省略する。なお、図９においても、必須の機能を実線で、必要に応じて設ければよい機能を破線で表現している。
In Example 2, this point is solved by displaying the avatar used by each user of the clients 12 1 to 12 n in the virtual space.
Figure 9 is a block diagram showing an example of a function should have the client 12 1 to 12 n in the second embodiment. The functions that the server 11 should have in the second embodiment are not greatly different from those shown in FIG. In FIG. 9 as well, essential functions are represented by solid lines, and functions that may be provided as necessary are represented by broken lines.
以下、図９に基づいて実施例２のクライアント１２1〜１２nが持つべき機能について説明する。なお、実施例２のクライアント１２1〜１２nが持つべき機能に対応してサーバ１１が持つべき機能が変わる場合には、それも併せて説明する。 The functions that the clients 12 1 to 12 n according to the second embodiment should have will be described below with reference to FIG. In the case where corresponding to the function should have the client 12 1 to 12 n of the second embodiment changes the function should have the server 11 will be described which also together.
図９に示す実施例２のクライアント１２1〜１２nは、既に説明した、入力部４１、ゲーム制御部４２、視点配置部４３、仮想映像生成部４４、仮想映像表示部４５に加え、アバター情報部９１を有している。実施例１と同様に、間取りデータ入力部４６、ゲームアップロード部４７、ユーザ間通信部４８については、必要に応じて設ければよい。 In addition to the input unit 41, the game control unit 42, the viewpoint arrangement unit 43, the virtual video generation unit 44, and the virtual video display unit 45 described above, the clients 12 1 to 12 n according to the second embodiment illustrated in FIG. Part 91. Similar to the first embodiment, the floor plan data input unit 46, the game upload unit 47, and the inter-user communication unit 48 may be provided as necessary.
アバター情報部９１は、クライアント１２1〜１２nそれぞれのユーザが用いるアバターについての位置、形状、色を含む情報を記憶又は生成し、サーバ１１が有する立体化部３２に送るものである。このアバター情報部９１が記憶又は生成するアバターについての位置、形状、色を含む情報は、クライアント１２1〜１２nそれぞれのユーザの入力によって設定されるように構成するのが望ましい。 Avatar information unit 91, the position of the avatar using the client 12 1 to 12 n each user, shape, stores or generates information including color, it shall send the three-dimension section 32 for the server 11 has. It is desirable that the information including the position, shape, and color of the avatar stored or generated by the avatar information unit 91 is set by the input of each user of the clients 12 1 to 12 n .
サーバ１１が有する立体化部３２は、建物、付帯物及びテレビ受像機に加え、アバター情報部９１から送られてきたアバターの位置、形状、色を含む情報から、仮想空間中にアバターを含む３Ｄモデルを生成する。 The three-dimensional unit 32 of the server 11 is a 3D that includes an avatar in a virtual space from information including the position, shape, and color of an avatar sent from the avatar information unit 91 in addition to a building, an accessory, and a television receiver. Generate a model.
仮想映像生成部４４は、立体化部３２が生成した建物、付帯物及びテレビ受像機に加え、アバターを含む３Ｄモデル、ゲーム実行部３４が生成した３Ｄモデルに含まれるテレビ受像機６４の表示部に表示すべきゲームの出力画像、視点配置部４３から取得したクライアント１２1〜１２nそれぞれのユーザの視点に基づいて、仮想空間中で、クライアント１２1〜１２nそれぞれのユーザの視点からみた画像を生成する。 The virtual video generation unit 44 is a display unit of the television receiver 64 included in the 3D model including the avatar and the 3D model generated by the game execution unit 34 in addition to the building, the accessory, and the television receiver generated by the three-dimensionalization unit 32. Based on the output image of the game to be displayed on the screen and the user's viewpoint of each of the clients 12 1 to 12 n acquired from the viewpoint arrangement unit 43, an image viewed from the user's viewpoint of each of the clients 12 1 to 12 n in the virtual space. Is generated.
なお、実施例１と同様に、実施例２の仮想映像生成部４４もサーバ１１に設けることが可能であって、この仮想映像生成部４４を、サーバ１１とクライアント１２1〜１２nのいずれに設けるかについては、サーバ１１及びクライアント１２1〜１２nの処理能力、サーバ１１とクライアント１２1〜１２nを結ぶネットワークの帯域、この仮想映像生成部４４が必要とする計算量、仮想映像生成部４４が生成した画像の情報量等を勘案して決定すればよいことも実施例１と同様であるが、実施例２の場合には、サーバ１１が有する立体化部３２が生成する３Ｄモデルにアバターが含まれるため、実施例１とは異なり、３Ｄモデルが経時的に変化する可能性があることに留意する必要がある。 As in the first embodiment, the virtual video generation unit 44 according to the second embodiment can also be provided in the server 11, and the virtual video generation unit 44 can be used as either the server 11 or the clients 12 1 to 12 n . for either providing server 11 and the client 12 1 to 12 n of the processing power, network bandwidth connecting server 11 and the client 12 1 to 12 n, the calculation amount is the virtual image generation unit 44 in need, the virtual image generation unit Similar to the first embodiment, it may be determined in consideration of the information amount of the image generated by 44, but in the second embodiment, the 3D model generated by the three-dimensional unit 32 included in the server 11 is used. Since an avatar is included, it should be noted that unlike the first embodiment, the 3D model may change over time.
実施例２で示したゲーム体験共有システムは、このように構成される結果、仮想空間中には、このゲーム体験共有システムに参加している、クライアント１２1〜１２nそれぞれのユーザが用いるアバターが出現することとなり、同じ空間に友人と共に居るということを適切に体験することができるようになる。 As a result of the configuration of the game experience sharing system shown in the second embodiment, the avatars used by the users of the clients 12 1 to 12 n participating in the game experience sharing system are included in the virtual space. It will appear and you will be able to properly experience being with friends in the same space.
ここで、実際に、このようなアバターを用いて、同じ空間に友人と共に居るということを適切に体験するためには、仮想映像表示部４５に接続された表示装置に、他のアバターが適切に表示される必要があり、そのために、クライアント１２1〜１２nそれぞれのユーザの視点を適切に設定する必要がある。 Here, in order to actually experience using such avatars and being in the same space with a friend, other avatars are appropriately displayed on the display device connected to the virtual image display unit 45. It must appear, Therefore, it is necessary to appropriately set the client 12 1 to 12 n viewpoint of each user.
まず、図１０に示すように、仮想空間中における、テレビ受像機からみて、視点を、アバターの位置の外側に置く方法がある。この場合は、特に、テレビ受像機６４の位置と、アバターの位置と、視点を一直線上に置くことが好ましい。 First, as shown in FIG. 10, there is a method of placing the viewpoint outside the position of the avatar when viewed from the television receiver in the virtual space. In this case, in particular, it is preferable to place the position of the television receiver 64, the position of the avatar, and the viewpoint on a straight line.
このように、テレビ受像機からみて、視点をアバターの位置の外側に配置した場合は、図１０に示すように、その視点からの視野を、テレビ受像機６４とすべてのアバターを含むように広く、また、視線はテレビ受像機６４を注視するように自動的に設定することが一例として挙げられる。その場合、仮想映像表示部４５に接続された表示装置には、自分のアバターの背中、他のアバターの背中と、テレビ受像機６４の表示部に表示されるゲームの出力画像が同時に表示されることとなる。このような表示方法は、現実の世界とは必ずしも一致しないが、特に視線を移動させる操作をしなくても、ゲームの出力画像と他のアバターを同時に見ることができるという利点があり、後に述べるようにユーザの入力に基づいてアバターの頭部が回転したり、指、手や腕等が変形したり、その他の形状、顔色等を変化させたときに、それによって、いかにも同じ空間に友人と共に居るということを感じられるという利点がある。 Thus, when the viewpoint is arranged outside the position of the avatar as viewed from the television receiver, the field of view from the viewpoint is wide so as to include the television receiver 64 and all the avatars as shown in FIG. As an example, the line of sight is automatically set so as to watch the television receiver 64. In that case, the display device connected to the virtual video display unit 45 simultaneously displays the back of the user's avatar, the back of another avatar, and the output image of the game displayed on the display unit of the television receiver 64. It will be. Such a display method does not necessarily match the real world, but has an advantage that the output image of the game and other avatars can be viewed at the same time without performing an operation to move the line of sight. When the avatar's head is rotated based on the user's input, fingers, hands, arms, etc. are deformed, other shapes, face color, etc. are changed, it is possible to share with friends in the same space. There is an advantage that you can feel that you are.
これに対し、その視点からの視野を図１１，１２に示すように、図１０に比べてより狭く、例えば、他のアバターを含まないように設定することもできる。この場合は、何らかの操作によって視点配置部４７を制御し、ユーザの視点がどの位置にあるかについての情報、視線がどの方向に向いているかの情報、視野についての情報を変え、他のアバターを見るように制御することとなる。仮想映像表示部４５に接続される表示装置として、Ｏｃｕｌｕｓのような、装着者の頭部の動きを感知できるヘッド・マウント・ディスプレイ(ＨＭＤ)を用いる場合には、図１３に示すように、ヘッド・マウント・ディスプレイ(ＨＭＤ)を装着したユーザの頭部の動きに基づいて視点配置部４７を制御し、視線の方向を変えるように本発明のゲーム体験共有システムを構成することができ、その結果として、自然な操作感を得ることができる。 On the other hand, as shown in FIGS. 11 and 12, the field of view from that viewpoint is narrower than that in FIG. 10, and can be set not to include other avatars, for example. In this case, the viewpoint placement unit 47 is controlled by some operation to change the information about the position of the user's viewpoint, the information about which direction the line of sight is directed, and the information about the field of view. It will be controlled to see. When a head mounted display (HMD) that can sense the movement of the wearer's head, such as Oculus, is used as a display device connected to the virtual video display unit 45, as shown in FIG. The game experience sharing system of the present invention can be configured to control the viewpoint arrangement unit 47 based on the movement of the head of the user wearing the mount display (HMD) and change the direction of the line of sight, and as a result As a result, a natural operation feeling can be obtained.
次に、図１４に示すように、仮想空間中におけるアバターの眼の位置に視点を置く方法がある。この場合にも、図１１，１２と同様に図１０に比べて視野を狭く設定するのが自然で、その結果として、テレビ受像機６４に視線を向けている場合には、必ずしも、他のアバターを見ることができず、何らかの操作によって視点配置部４７を制御し、ユーザの視点がどの位置にあるかについての情報、視線がどの方向に向いているかの情報、視野についての情報を変え、他のアバターを見ることとなるが、より現実の世界と同様の感覚を得ることができる。この場合も、図１３に示すように、仮想映像表示部４５に接続される表示装置として、Ｏｃｕｌｕｓのような、装着者の頭部の動きを感知できるヘッド・マウント・ディスプレイ(ＨＭＤ)を用いれば、ヘッド・マウント・ディスプレイ(ＨＭＤ)を装着したユーザの頭部の動きに基づいて視点配置部４７を制御し、視線の方向を変えるように本発明のゲーム体験共有システムを構成することができ、その結果として、自然な操作感を得ることができる。 Next, as shown in FIG. 14, there is a method of placing the viewpoint at the position of the avatar's eye in the virtual space. Also in this case, as in FIGS. 11 and 12, it is natural to set the field of view narrower than that in FIG. 10, and as a result, when the line of sight is directed to the television receiver 64, other avatars are not necessarily used. Control the viewpoint placement unit 47 by some operation, change information about where the user's viewpoint is, information about which direction the line of sight is directed, information about the field of view, etc. You will see the avatar, but you can get the same feeling as the real world. Also in this case, as shown in FIG. 13, if a head-mounted display (HMD) that can sense the movement of the head of the wearer, such as Oculus, is used as the display device connected to the virtual image display unit 45. The game experience sharing system of the present invention can be configured to control the viewpoint arrangement unit 47 based on the movement of the head of the user wearing the head mounted display (HMD) and change the direction of the line of sight, As a result, a natural feeling of operation can be obtained.
また、図１０〜１４に示されるもののいずれであっても、仮想空間にあるアバターは、他のアバターを使用しているユーザからも見えるものであることから、そのアバターの体の動き、ジェスチャーを、実際のユーザの動きや感情に合わせて動かすことは、同じ空間に友人と共に居るということを体験するためには、非常に有用である。 In addition, in any of the cases shown in FIGS. 10 to 14, since the avatar in the virtual space is also visible to the user who uses the other avatar, Moving in accordance with the actual movements and emotions of the user is very useful for experiencing the fact that you are in the same space with your friends.
そのため、クライアント１２1〜１２nそれぞれのユーザの仮想空間中の視線の方向に合わせて、そのクライアントのアバターの頭部を回転させアバター自体の視線の方向を変化させたり、そのクライアントのユーザがどのようにゲームを操作しているかに合わせ、そのクライアントのアバターの指、手や腕等を変形させ、実際にゲームを操作しているように見せたり、そのクライアントのユーザから、そのユーザの感情等を表現するための、ゲームを操作するための入力とは別途の入力を受け、入力されたユーザの感情等に応じて、特許文献１に記載されるように、アバターの形状、顔色を変化させたり、感情を表現する表示を追加したりすることによって、いかにも同じ空間に友人と共に居るということを感じられるような空間を得ることが望ましい。 Therefore, in accordance with the direction of the sight line in the virtual space of the client 12 1 to 12 n each user, or to change the direction of the line of sight of the head of avatar itself rotates avatar of the client, the user of the client what The avatar of the client's avatar, hands, arms, etc. are deformed according to how the game is being operated, and it is shown that the game is actually being operated. In response to the input user's emotions, etc., the avatar's shape and face color are changed as described in Patent Document 1, depending on the input user's emotions, etc. By adding a display that expresses emotions, you can obtain a space where you can feel that you are living with friends in the same space. It is desirable
ここまで説明した実施例１，２では、サーバ１１に設けたゲーム実行部３４でテレビゲームについてのプログラムを実行する形となっている。本発明のゲームを共に楽しんだ体験を再現するという目的のためには、このテレビゲームは実際に存在したものをそのまま再現するのが適切ではあるが、サーバ１１に設けたゲーム実行部３４でそのテレビゲームを実現する場合には、そのテレビゲームを再現するようなプログラムを新たに作成するか、そのテレビゲームについてのプログラムをサーバ１１に設けたゲーム実行部３４で実行するために据置型ゲームのエミュレータを作成する必要があるが、いずれの場合であっても、プログラムの作成に加え知的財産権等に関する許可を得る必要があり、これらの点が、実施例１，２を実現するための障害となり得る。 In the first and second embodiments described so far, a program for a video game is executed by the game execution unit 34 provided in the server 11. For the purpose of reproducing the experience of enjoying the game of the present invention together, it is appropriate to reproduce the actual video game as it is. However, the game execution unit 34 provided in the server 11 does the same. In the case of realizing a video game, a program that reproduces the video game is newly created, or a program for the video game is executed by the game execution unit 34 provided in the server 11 to execute a program of the stationary game. Although it is necessary to create an emulator, in any case, it is necessary to obtain permission regarding intellectual property rights in addition to the creation of the program. It can be an obstacle.
これに対し、据置型のテレビゲーム機をクライアント１２1〜１２nのいずれかに接続し、その出力画像をサーバ１１を経由して、クライアント１２1〜１２nそれぞれの仮想映像生成部４４に送り、３Ｄモデルに含まれるテレビ受像機６４の表示部にはめ込むことによって、この障害を回避することができる。 On the other hand, a stationary video game machine is connected to one of the clients 12 1 to 12 n , and the output image is sent to the virtual video generation unit 44 of each of the clients 12 1 to 12 n via the server 11. This obstacle can be avoided by fitting in the display unit of the television receiver 64 included in the 3D model.
以下、この形を、図１５，１６を参照しつつ、実施例３として説明する。なお、図１５，１６においても、必須の機能を実線で、必要に応じて設ければよい機能を破線で表現している。 Hereinafter, this form will be described as a third embodiment with reference to FIGS. In FIGS. 15 and 16, essential functions are represented by solid lines, and functions that may be provided as necessary are represented by broken lines.
図１５は、実施例３におけるサーバ１１が持つべき機能の一例を示したブロック図である。
実施例３におけるサーバ１１は、間取りデータ記憶部３１、立体化部３２、ゲーム映像配信部１５１、操作入力受信配信部１５２を有している。ゲーム映像配信部１５１、操作入力受信配信部１５２は、実施例１，２のゲーム取得部３３、ゲーム実行部３４に代わりに設けるものである。
FIG. 15 is a block diagram illustrating an example of functions that the server 11 should have in the third embodiment.
The server 11 in the third embodiment includes a floor plan data storage unit 31, a three-dimensional unit 32, a game video distribution unit 151, and an operation input reception distribution unit 152. The game video distribution unit 151 and the operation input reception distribution unit 152 are provided in place of the game acquisition unit 33 and the game execution unit 34 of the first and second embodiments.
図１６は、実施例３におけるクライアント１２1〜１２nが持つべき機能の一例を示したブロック図である。図１６に示す実施例３のクライアント１２1〜１２nは、入力部４１と、ゲーム制御部４２、視点配置部４３、仮想映像生成部４４、仮想映像表示部４５に加え、ビデオキャプチャ部１６１を有している。実施例１と同様に、間取りデータ入力部４６、ユーザ間通信部４８については、必要に応じて設ければよい。また、図示はしていないが、実施例２と同様に、アバター情報部９１を有していてもよい。これに対し、ゲームアップロード部４７は、実施例３の場合には必要がない。また、ゲーム体験共有システムの外部に、クライアント１２1〜１２nのいずれかに接続される据置型ゲーム機１６２が必要となる。 Figure 16 is a block diagram showing an example of a function should have the client 12 1 to 12 n in Example 3. In addition to the input unit 41, the game control unit 42, the viewpoint arrangement unit 43, the virtual video generation unit 44, and the virtual video display unit 45, the clients 12 1 to 12 n according to the third embodiment illustrated in FIG. Have. Similar to the first embodiment, the floor plan data input unit 46 and the inter-user communication unit 48 may be provided as necessary. Although not shown, the avatar information unit 91 may be included as in the second embodiment. On the other hand, the game upload unit 47 is not necessary in the case of the third embodiment. Also, outside the gaming experience sharing system, it is necessary to game console 162 connected to one of the clients 12 1 to 12 n.
図１５，１６に記載されているもののうち、間取りデータ記憶部３１、立体化部３２、入力部４１、視点配置部４３、仮想映像表示部４５、データ入力部４６、ユーザ間通信部４８、アバター情報部９１は、実施例１，２におけるものと同じものであるので説明は省略する。以下、実施例１，２と異なる点について説明する。 15 and 16, the floor plan data storage unit 31, the three-dimensional unit 32, the input unit 41, the viewpoint arrangement unit 43, the virtual video display unit 45, the data input unit 46, the inter-user communication unit 48, and the avatar Since the information unit 91 is the same as that in the first and second embodiments, the description thereof is omitted. Hereinafter, differences from the first and second embodiments will be described.
クライアント１２1〜１２nに設けられているビデオキャプチャ部１６１は、据置型ゲーム機１６２の映像出力を取り込み、ＭＰＥＧ等の映像符号化を行うとともに、サーバ１１のゲーム映像配信部１５１へ送るものである。ゲームの操作性をよくするために、映像出力の取り込み、ＭＰＥＧ等の映像符号化が必要とする処理時間が短いものの方がよい。 The video capture unit 161 provided in each of the clients 12 1 to 12 n captures the video output of the stationary game machine 162, performs video encoding such as MPEG, and sends it to the game video distribution unit 151 of the server 11. is there. In order to improve the operability of the game, it is better that the processing time required for capturing video output and encoding video such as MPEG is short.
サーバ１１に設けられているゲーム映像配信部１５１は、クライアント１２1〜１２nのいずれかのビデオキャプチャ部１６１で取り込んだ据置型ゲーム機１６２の映像出力を、クライアント１２1〜１２nそれぞれに配信するためのものである。 Server game video distribution section 151 provided in the 11, the video output of the game console 162 captured by one of the video capturing unit 161 of the client 12 1 to 12 n, delivered to the client 12 1 to 12 n respectively Is to do.
クライアント１２1〜１２nに設けられているゲーム制御部４２は、実施例１，２のゲーム制御部４２と同様に、入力部４１が受け取るユーザからの入力をサーバ１１に送る機能、クライアントが有する入力手段と据置型ゲーム機１６２が想定している入力手段が一致しない場合のために、それらを変換する機能を有しているが、それに加えて、他のクライアント１２1〜１２nの入力部４１が受け取ったユーザからの入力を、サーバ１１の操作入力受信配信部１５２を介して受け取り、据置型ゲーム機１６２に送る機能を有している。 Similar to the game control unit 42 of the first and second embodiments, the game control unit 42 provided in the clients 12 1 to 12 n has a function of sending input from the user received by the input unit 41 to the server 11, and the client has for the case where input means inputting means and the stationary game apparatus 162 is assumed not match, it has a function of converting them, in addition, the input section of the other clients 12 1 to 12 n 41 has a function of receiving the input from the user received by the terminal 41 via the operation input reception / distribution unit 152 of the server 11 and sending it to the stationary game machine 162.
ここで、据置型ゲーム機１６２が接続されたクライアントにおいては、入力部４１が受け取るユーザからの入力をゲーム制御部４２を介して直接据置型ゲーム機１６２に送る形と、一旦、サーバ１１の操作入力受信配信部１５２に送り、送り返されてきたものをゲーム制御部４２を介して据置型ゲーム機１６２に送る形のいずれでもよいが、前者は、据置型ゲーム機１６２が接続されたクライアントと、据置型ゲーム機１６２が接続されていないクライアントの間で、操作に対する反応性が異なり、不公平感が生じやすいという問題がある。 Here, in the client to which the stationary game machine 162 is connected, the input from the user received by the input unit 41 is directly sent to the stationary game machine 162 via the game control unit 42, and the operation of the server 11 is temporarily performed. Any of the forms that are sent to the input reception delivery unit 152 and sent back to the stationary game machine 162 via the game control unit 42 may be used, but the former includes a client to which the stationary game machine 162 is connected, There is a problem in that responsiveness to operations differs among clients not connected to the stationary game machine 162, and unfairness tends to occur.
サーバ１１に設けられている操作入力受信配信部１５２は、クライアント１２1〜１２nそれぞれの入力部４１が受け取ったユーザからの入力をゲーム制御部４２を介して受け取り、据置型ゲーム機１６２が接続されたクライアントのゲーム制御部４２に送る機能を有している。 The operation input reception / distribution unit 152 provided in the server 11 receives the input from the user received by the input unit 41 of each of the clients 12 1 to 12 n via the game control unit 42, and the stationary game machine 162 is connected. It has a function to send to the game control unit 42 of the client.
仮想映像生成部４４は、基本的には、実施例１，２のものとは異ならないが、実施例１，２においては、３Ｄモデルに含まれるテレビ受像機６４の表示部に、ゲーム実行部３４が生成したゲームの出力画像をはめ込むものであったのに対し、実施例３においては、３Ｄモデルに含まれるテレビ受像機６４の表示部に、ゲーム映像配信部１５１から配信されてくる据置型ゲーム機１６２の映像出力をはめ込むものである点が異なっている。 The virtual video generation unit 44 is basically not different from those of the first and second embodiments, but in the first and second embodiments, the game execution unit is included in the display unit of the television receiver 64 included in the 3D model. In the third embodiment, the game output image generated by the game video distribution unit 151 is delivered to the display unit of the television receiver 64 included in the 3D model. The difference is that the video output of the game machine 162 is inserted.
ここで、据置型ゲーム機１６２が接続されたクライアントにおいては、ビデオキャプチャ部１６１が取り込んだ据置型ゲーム機１６２の映像出力を直接仮想映像生成部４４に送る形と、一旦、サーバ１１のゲーム映像配信部１５１に送り、送り返されてきたものを仮想映像生成部４４に送る形の、いずれでもよいが、ゲーム制御部４２について述べたのと同様に、前者は、据置型ゲーム機１６２が接続されたクライアントと、据置型ゲーム機１６２が接続されていないクライアントの間で、操作に対する反応性が異なり、不公平感が生じやすいという問題がある。 Here, in the client to which the stationary game machine 162 is connected, the video output of the stationary game machine 162 captured by the video capture unit 161 is directly sent to the virtual video generation unit 44, and the game video of the server 11 is temporarily set. Any of the forms of sending to the delivery unit 151 and sending back the sent back to the virtual video generation unit 44 may be used. However, as described for the game control unit 42, the former is connected to the stationary game machine 162. There is a problem that responsiveness to operations differs between a client that is not connected to a stationary game machine 162, and unfairness is likely to occur.
また、実施例１，２でも述べたように、仮想映像生成部４４をサーバ１１に設けることも可能である。この場合は、ゲーム映像配信部１５１によって、据置型ゲーム機１６２の映像出力を、他のクライアント１２1〜１２nに配信する必要はなくなり、サーバ１１に設けた仮想映像生成部４４が、直接、クライアントのビデオキャプチャ部１６１から据置型ゲーム機１６２の映像出力を受け取り、３Ｄモデルに含まれるテレビ受像機６４の表示部に、据置型ゲーム機１６２の映像出力をはめ込むかたちとなる。 Further, as described in the first and second embodiments, the virtual video generation unit 44 can be provided in the server 11. In this case, the game image distribution unit 151, the video output of the game console 162, no longer need to be distributed to other clients 12 1 to 12 n, the virtual image generation unit 44 provided in the server 11, directly, The video output of the stationary game machine 162 is received from the video capture unit 161 of the client, and the video output of the stationary game machine 162 is inserted into the display unit of the television receiver 64 included in the 3D model.
以上、本発明の実施形態による、ゲーム体験共有システムを幾らかの実施例と共に説明した。上述した実施形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではなく、例えば、実施例１，２，３のいずれにも対応できるようにサーバ１１、クライアント１２1〜１２nを構成してもよい。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。 The game experience sharing system according to the embodiment of the present invention has been described together with some examples. The above-described embodiments are merely examples for facilitating the understanding of the present invention, and are not intended to limit the present invention. For example, the embodiments can correspond to any of Examples 1, 2, and 3. server 11 may be configured to client 12 1 to 12 n as. The present invention can be changed and improved without departing from the gist thereof, and it is needless to say that the present invention includes equivalents thereof.
１１ サーバ
１２1〜１２n クライアント
３１ 間取りデータ記憶部
３２ 立体化部
３３ ゲーム取得部
３４ ゲーム実行部
３５ ゲーム記憶部
４１ 入力部
４２ ゲーム制御部
４３ 視点配置部
４４ 仮想映像生成部
４５ 仮想映像表示部
４６ 間取りデータ入力部
４７ ゲームアップロード部
４８ ユーザ間通信部
５１ 間取り図
５２ ソファ
５３ テーブル
５４ テレビ受像機
９１ アバター情報部
１５１ ゲーム映像配信部
１５２ 操作入力受信配信部
１６１ ビデオキャプチャ部
１６２ 据置型ゲーム機
11 server 12 1 to 12 n client 31 floor plan data storage unit 32 three-dimensional unit 33 game acquisition unit 34 game execution unit 35 game storage unit 41 input unit 42 game control unit 43 viewpoint arrangement unit 44 virtual video generation unit 45 virtual video display unit 46 floor plan data input section 47 game upload section 48 user communication section 51 floor plan 52 sofa 53 table 54 TV receiver 91 avatar information section 151 game video distribution section 152 operation input reception distribution section 161 video capture section 162 stationary game machine
Claims (24)
前記サーバは、
建物の間取り図、及び、前記建物の間取り図内に配置されたテレビ受像機の形状や位置を含む間取りデータを記憶する間取りデータ記憶部と、
前記間取りデータから、仮想空間中に前記建物及び前記テレビ受像機を含む３Ｄモデルを生成する立体化部と、
実行すべきゲームを取得するゲーム取得部と、
前記ゲームを実行し、前記テレビ受像機の表示部が表示すべきゲームの出力画像を生成するゲーム実行部と、を有し、
前記クライアントは、それぞれ、
前記クライアントのユーザからの入力を受ける入力部と、
前記クライアントのユーザからの入力を前記ゲーム実行部に送り、ゲーム実行部がユーザからの入力に基づいてゲームを実行するように制御するゲーム制御部と、
前記仮想空間中に前記クライアントのユーザの視点を配置する視点配置部と、
前記立体化部が生成する３Ｄモデルと、前記ゲーム実行部が生成するゲームの出力画像に基づいて、前記３Ｄモデルと前記テレビ受像機の表示部が表示する映像を、前記仮想空間中に配置された前記クライアントのユーザの視点から見た仮想的な映像を生成する仮想映像生成部と、
前記仮想映像生成部によって生成された仮想的な映像を表示装置が表示可能な信号に変換し出力する仮想映像表示部と、を含む、
ゲーム体験共有システム。 A game experience sharing system comprising a server and one or more clients that are communicably connected via a network,
The server
A floor plan data storage unit for storing floor plan data including floor plan of the building, and floor plan data including the shape and position of the television receiver disposed in the floor plan of the building;
A three-dimensional unit that generates a 3D model including the building and the television receiver in a virtual space from the floor plan data;
A game acquisition unit for acquiring a game to be executed;
A game execution unit that executes the game and generates an output image of the game to be displayed on the display unit of the television receiver;
Each of the clients is
An input unit for receiving input from a user of the client;
A game control unit that sends an input from the user of the client to the game execution unit, and controls the game execution unit to execute a game based on the input from the user;
A viewpoint arrangement unit that arranges the viewpoint of the user of the client in the virtual space;
Based on the 3D model generated by the three-dimensional unit and the output image of the game generated by the game execution unit, the video displayed on the 3D model and the display unit of the television receiver is arranged in the virtual space. A virtual video generation unit that generates a virtual video viewed from the viewpoint of the user of the client;
A virtual video display unit that converts the virtual video generated by the virtual video generation unit into a signal that can be displayed by a display device, and outputs the signal.
Game experience sharing system.
前記サーバは、
建物の間取り図、及び、前記建物の間取り図内に配置されたテレビ受像機の形状や位置を含む間取りデータを記憶する間取りデータ記憶部と、
前記間取りデータから、仮想空間中に前記建物及び前記テレビ受像機を含む３Ｄモデルを生成する立体化部と、
実行すべきゲームを取得するゲーム取得部と、
前記ゲームを実行し、前記テレビ受像機の表示部が表示すべきゲームの出力画像を生成するゲーム実行部と、
前記立体化部が生成する３Ｄモデルと、前記ゲーム実行部が生成するゲームの出力画像に基づいて、前記クライアントそれぞれのユーザ毎に、前記３Ｄモデルと前記テレビ受像機の表示部が表示する映像を、前記仮想空間中に配置された前記クライアントそれぞれのユーザの視点から見た仮想的な映像を生成する仮想映像生成部と、を有し、
前記クライアントは、それぞれ、
前記クライアントのユーザからの入力を受ける入力部と、
前記クライアントのユーザからの入力を前記ゲーム実行部に送り、ゲーム実行部がユーザからの入力に基づいてゲームを実行するように制御するゲーム制御部と、
前記仮想空間中に前記クライアントのユーザの視点を配置し、前記視点に関する情報を前記仮想映像生成部に送る視点配置部と、
前記仮想映像生成部によって生成された仮想的な映像を表示装置が表示可能な信号に変換し出力する仮想映像表示部と、を含む、
ゲーム体験共有システム。 A game experience sharing system comprising a server and one or more clients that are communicably connected via a network,
The server
A floor plan data storage unit for storing floor plan data including floor plan of the building, and floor plan data including the shape and position of the television receiver disposed in the floor plan of the building;
A three-dimensional unit that generates a 3D model including the building and the television receiver in a virtual space from the floor plan data;
A game acquisition unit for acquiring a game to be executed;
A game execution unit for executing the game and generating an output image of the game to be displayed on the display unit of the television receiver;
Based on the 3D model generated by the three-dimensional unit and the output image of the game generated by the game execution unit, the video displayed on the 3D model and the display unit of the television receiver is displayed for each user of the client. A virtual video generation unit that generates a virtual video viewed from the user's viewpoint of each of the clients arranged in the virtual space,
Each of the clients is
An input unit for receiving input from a user of the client;
A game control unit that sends an input from the user of the client to the game execution unit, and controls the game execution unit to execute a game based on the input from the user;
A viewpoint arrangement unit that arranges a viewpoint of the user of the client in the virtual space and sends information on the viewpoint to the virtual video generation unit;
A virtual video display unit that converts the virtual video generated by the virtual video generation unit into a signal that can be displayed by a display device, and outputs the signal.
Game experience sharing system.
前記サーバは、
建物の間取り図、及び、前記建物の間取り図内に配置されたテレビ受像機の形状や位置を含む間取りデータを記憶する間取りデータ記憶部と、
前記間取りデータから、仮想空間中に前記建物及び前記テレビ受像機を含む３Ｄモデルを生成する立体化部と、
前記クライアントから送られてくるユーザからの入力を各クライアントに配信する操作入力受信配信部と、
前記テレビ受像機の表示部が表示すべきものとして、前記クライアントから送られてくる前記クライアントが取り込んだ映像を、各クライアントに配信するゲーム映像配信部と、を有し、
前記クライアントは、それぞれ、
前記クライアントのユーザからの入力を受ける入力部と、
前記テレビ受像機の表示部が表示すべきものとして、前記クライアントに接続されたゲーム機の映像出力を取り込み、前記ゲーム映像配信部に映像として送信するビデオキャプチャ部と、
前記入力部が受けたユーザからの入力を前記操作入力受信配信部に送り、前記入力部が受けたユーザからの入力、及び／又は、前記操作入力受信配信部から送られてくるユーザからの入力によって、前記ゲーム機を制御するゲーム制御部と、
前記仮想空間中に前記クライアントのユーザの視点を配置する視点配置部と、
前記立体化部が生成する３Ｄモデルと、前記ビデオキャプチャ部が取り込んだ前記ゲーム機の映像出力、及び／又は、前記ゲーム映像配信部から配信されてきた映像に基づいて、前記３Ｄモデルと前記テレビ受像機の表示部が表示する映像を、前記仮想空間中に配置された前記クライアントのユーザの視点から見た仮想的な映像を生成する仮想映像生成部と、
前記仮想映像生成部によって生成された仮想的な映像を表示装置が表示可能な信号に変換し出力する仮想映像表示部と、を含む、
ゲーム体験共有システム。 A game experience sharing system comprising a server and one or more clients that are communicably connected via a network,
The server
A floor plan data storage unit for storing floor plan data including floor plan of the building, and floor plan data including the shape and position of the television receiver disposed in the floor plan of the building;
A three-dimensional unit that generates a 3D model including the building and the television receiver in a virtual space from the floor plan data;
An operation input reception delivery unit for delivering an input from a user sent from the client to each client;
A display unit of the television receiver, and a game video distribution unit that distributes video captured by the client sent from the client to each client;
Each of the clients is
An input unit for receiving input from a user of the client;
A video capture unit that captures a video output of a game machine connected to the client and transmits it as a video to the game video distribution unit, as the display unit of the television receiver should display.
Input from the user received by the input unit is sent to the operation input reception / distribution unit, input from the user received by the input unit, and / or input from the user sent from the operation input reception / distribution unit A game control unit for controlling the game machine;
A viewpoint arrangement unit that arranges the viewpoint of the user of the client in the virtual space;
Based on the 3D model generated by the three-dimensional unit, the video output of the game machine captured by the video capture unit, and / or the video distributed from the game video distribution unit, the 3D model and the television A virtual video generation unit that generates a virtual video viewed from the viewpoint of the user of the client arranged in the virtual space, the video displayed by the display unit of the receiver;
A virtual video display unit that converts the virtual video generated by the virtual video generation unit into a signal that can be displayed by a display device, and outputs the signal.
Game experience sharing system.
前記サーバは、
建物の間取り図、及び、前記建物の間取り図内に配置されたテレビ受像機の形状や位置を含む間取りデータを記憶する間取りデータ記憶部と、
前記間取りデータから、仮想空間中に前記建物及び前記テレビ受像機を含む３Ｄモデルを生成する立体化部と、
前記クライアントから送られてくるユーザからの入力を各クライアントに配信する操作入力受信配信部と、
前記立体化部が生成する３Ｄモデルと、前記テレビ受像機の表示部が表示すべきものとして、前記クライアントから送られてくる前記クライアントが取り込んだ映像に基づいて、前記クライアントそれぞれのユーザ毎に、前記３Ｄモデルと前記テレビ受像機の表示部が表示する映像を、前記仮想空間中に配置された前記クライアントそれぞれのユーザの視点から見た仮想的な映像を生成する仮想映像生成部と、を有し、
前記クライアントは、それぞれ、
前記クライアントのユーザからの入力を受ける入力部と、
前記テレビ受像機の表示部が表示すべきものとして、前記クライアントに接続されたゲーム機の映像出力を取り込み、前記ゲーム映像配信部に映像として送信するビデオキャプチャ部と、
前記入力部が受けたユーザからの入力を前記操作入力受信配信部に送り、前記入力部が受けたユーザからの入力、及び／又は、前記操作入力受信配信部から送られてくるユーザからの入力によって、前記ゲーム機を制御するゲーム制御部と、
前記仮想空間中に前記クライアントのユーザの視点を配置する視点配置部と、
前記仮想映像生成部によって生成された仮想的な映像を表示装置が表示可能な信号に変換し出力する仮想映像表示部と、を含む、
ゲーム体験共有システム。 A game experience sharing system comprising a server and one or more clients that are communicably connected via a network,
The server
A floor plan data storage unit for storing floor plan data including floor plan of the building, and floor plan data including the shape and position of the television receiver disposed in the floor plan of the building;
A three-dimensional unit that generates a 3D model including the building and the television receiver in a virtual space from the floor plan data;
An operation input reception delivery unit for delivering an input from a user sent from the client to each client;
Based on the 3D model generated by the three-dimensional unit and the video captured by the client sent from the client as what the display unit of the television receiver should display, for each user of the client, A virtual video generation unit that generates a virtual video viewed from the viewpoint of each user of the client arranged in the virtual space, the video displayed on the display unit of the 3D model and the television receiver; ,
Each of the clients is
An input unit for receiving input from a user of the client;
A video capture unit that captures a video output of a game machine connected to the client and transmits it as a video to the game video distribution unit, as the display unit of the television receiver should display.
Input from the user received by the input unit is sent to the operation input reception / distribution unit, input from the user received by the input unit, and / or input from the user sent from the operation input reception / distribution unit A game control unit for controlling the game machine;
A viewpoint arrangement unit that arranges the viewpoint of the user of the client in the virtual space;
A virtual video display unit that converts the virtual video generated by the virtual video generation unit into a signal that can be displayed by a display device, and outputs the signal.
Game experience sharing system.
前記立体化部は、前記アバター情報部から送られてきた前記アバターの位置、形状、色を含む情報から、前記仮想空間中に、前記建物及び前記テレビ受像機に加え、前記アバターを含む３Ｄモデルを生成し、
前記仮想映像生成部は、前記立体化部が生成する３Ｄモデルと、前記ゲーム実行部が生成する前記テレビ受像機の表示部が表示する映像に基づいて、前記３Ｄモデルと前記テレビ受像機の表示部が表示する映像を、前記仮想空間中に配置された前記クライアントのユーザの視点から見た仮想的な映像を生成する、
ことを特徴とする、請求項１〜１２のいずれか一項に記載されるゲーム体験共有システム。 The client includes an avatar information unit that sends information including the position, shape, and color of the avatar used by the user of the client to the server,
The three-dimensional unit includes a 3D model including the avatar in addition to the building and the television receiver in the virtual space from information including the position, shape, and color of the avatar sent from the avatar information unit. Produces
The virtual video generation unit is configured to display the 3D model and the television receiver based on the 3D model generated by the stereoscopic unit and the video displayed on the display unit of the television receiver generated by the game execution unit. Generating a virtual video when the video displayed by the unit is viewed from the viewpoint of the user of the client arranged in the virtual space,
The game experience sharing system according to any one of claims 1 to 12, wherein the game experience sharing system is described.
前記仮想映像生成部は前記クライアントのユーザの視線の方向に基づいて、前記仮想空間中に配置された前記クライアントのユーザの視点から見た仮想的な映像を生成することを特徴とする、
請求項１３〜１６のいずれか一項に記載されるゲーム体験共有システム。 The viewpoint arrangement unit that arranges the viewpoint of the user of the client in the virtual space also sets the direction of the line of sight of the user of the client,
The virtual video generation unit generates a virtual video viewed from the viewpoint of the user of the client arranged in the virtual space, based on the direction of the line of sight of the user of the client.
The game experience sharing system according to any one of claims 13 to 16.
前記間取りデータから、仮想空間中に前記建物及び前記テレビ受像機を含む３Ｄモデルを生成し、
実行すべきゲームを取得し、
ユーザからの入力を受け、
前記ユーザからの入力に基づいて、前記ゲームを実行し、前記テレビ受像機の表示部が表示すべきゲームの出力画像を生成し、
前記仮想空間中に前記クライアントのユーザの視点を配置し、
３Ｄモデルと、前記テレビ受像機の表示部が表示すべきゲームの出力画像に基づいて、前記仮想空間中に配置された前記ユーザの視点から見た仮想的な映像を生成し、
前記仮想的な映像を表示する、
ゲーム体験共有方法。 Stores floor plan data including floor plan of the building and the shape and position of the television receiver arranged in the floor plan of the building,
Generating a 3D model including the building and the television receiver in a virtual space from the floor plan data;
Get a game to run,
In response to user input,
Based on the input from the user, the game is executed, and an output image of the game to be displayed on the display unit of the television receiver is generated.
Placing the viewpoint of the user of the client in the virtual space;
Based on a 3D model and an output image of a game to be displayed by the display unit of the television receiver, a virtual video viewed from the viewpoint of the user arranged in the virtual space is generated,
Displaying the virtual image;
Game experience sharing method.
前記間取りデータから、仮想空間中に前記建物及び前記テレビ受像機を含む３Ｄモデルを生成し、
ユーザからの入力を受け、
接続されたゲーム機の映像出力を、前記テレビ受像機の表示部が表示すべきものとして取り込み、
前記ユーザからの入力に基づいて、前記ゲーム機を制御し、
前記仮想空間中に前記クライアントのユーザの視点を配置し、
３Ｄモデルと、前記テレビ受像機の表示部が表示すべき前記取り込んだゲーム機の映像出力に基づいて、前記仮想空間中に配置された前記ユーザの視点から見た仮想的な映像を生成し、
前記仮想的な映像を表示する、
ゲーム体験共有方法。 Stores floor plan data including floor plan of the building and the shape and position of the television receiver arranged in the floor plan of the building,
Generating a 3D model including the building and the television receiver in a virtual space from the floor plan data;
In response to user input,
The video output of the connected game machine is taken in as the display unit of the television receiver to display,
Controlling the game machine based on the input from the user;
Placing the viewpoint of the user of the client in the virtual space;
Based on the 3D model and the video output of the captured game machine to be displayed by the display unit of the television receiver, a virtual video viewed from the viewpoint of the user arranged in the virtual space is generated,
Displaying the virtual image;
Game experience sharing method.
A recording medium on which a program for executing the method according to claim 21 or 22 is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015089504A JP6721295B2 (en) | 2015-04-24 | 2015-04-24 | Game experience sharing system, method, program and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015089504A JP6721295B2 (en) | 2015-04-24 | 2015-04-24 | Game experience sharing system, method, program and recording medium |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020103442A Division JP2020168392A (en) | 2020-06-16 | 2020-06-16 | System, method, and program for sharing game experience, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016202686A true JP2016202686A (en) | 2016-12-08 |
| JP6721295B2 JP6721295B2 (en) | 2020-07-15 |
Family
ID=57488196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015089504A Active JP6721295B2 (en) | 2015-04-24 | 2015-04-24 | Game experience sharing system, method, program and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6721295B2 (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6248219B1 (en) * | 2017-03-08 | 2017-12-13 | 株式会社コロプラ | Information processing method, computer, and program for causing computer to execute information processing method |
| JP2018124665A (en) * | 2017-01-30 | 2018-08-09 | 株式会社コロプラ | Information processing method, computer, and program for allowing computer to execute information processing method |
| JP2018190395A (en) * | 2018-04-02 | 2018-11-29 | 株式会社コロプラ | Method for providing virtual space, program for implementing that method in computer, and information processor for executing that program |
| JP2019017483A (en) * | 2017-07-12 | 2019-02-07 | 株式会社コロプラ | Information processing method, device, and program for causing computer to execute the information processing method |
| JP2019033894A (en) * | 2017-08-15 | 2019-03-07 | 株式会社コロプラ | Information processing method, apparatus, and program for causing computers to execute the same |
| US10365784B2 (en) | 2017-03-08 | 2019-07-30 | Colopl, Inc. | Information processing method and apparatus for executing the information processing method |
| KR20200017151A (en) * | 2018-08-08 | 2020-02-18 | (주)한국체스게임 | System and method for providing virtual reality contents based on iptv network |
| KR20200017152A (en) * | 2018-08-08 | 2020-02-18 | (주)한국체스게임 | Sysyem for provinding virtual reality service and method therefor |
| JP2020120336A (en) * | 2019-01-25 | 2020-08-06 | 株式会社コロプラ | Program, method, and information processing device |
| JP2021169025A (en) * | 2019-11-28 | 2021-10-28 | 株式会社カプコン | Game program, computer and game system |
| WO2022091832A1 (en) * | 2020-10-30 | 2022-05-05 | ソニーグループ株式会社 | Information processing device, information processing system, information processing method, and information processing terminal |
| JP7418630B1 (en) | 2023-02-07 | 2024-01-19 | 株式会社バンダイ | Programs, information processing devices and matching systems |
| JP7418628B1 (en) | 2023-02-07 | 2024-01-19 | 株式会社バンダイ | Programs, information processing devices and matching systems |
| JP7418629B1 (en) | 2023-02-07 | 2024-01-19 | 株式会社バンダイ | Program, server and matching system |
| JP7476372B1 (en) | 2023-02-07 | 2024-04-30 | 株式会社バンダイ | PROGRAM, INFORMATION PROCESSING DEVICE AND MATCHING SYSTEM |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002149581A (en) * | 2000-11-09 | 2002-05-24 | Nippon Telegr & Teleph Corp <Ntt> | Virtual space sharing system by users |
| JP2015013103A (en) * | 2013-06-07 | 2015-01-22 | 任天堂株式会社 | Information processor, information processing system, information processing program and information processing method |
-
2015
- 2015-04-24 JP JP2015089504A patent/JP6721295B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002149581A (en) * | 2000-11-09 | 2002-05-24 | Nippon Telegr & Teleph Corp <Ntt> | Virtual space sharing system by users |
| JP2015013103A (en) * | 2013-06-07 | 2015-01-22 | 任天堂株式会社 | Information processor, information processing system, information processing program and information processing method |
Non-Patent Citations (5)
| Title |
|---|
| "PlayStation Home", 週刊ファミ通, vol. 第23巻 第41号, JPN6019003809, 10 October 2008 (2008-10-10), pages 16 - 17, ISSN: 0003973310 * |
| "シェンムー▲莎▼木 一章 横須賀", 電撃DREAMCAST, vol. 第4巻 第19号, JPN6019003811, 29 October 1999 (1999-10-29), pages 17, ISSN: 0003973311 * |
| いとう あき: "ゲームメイキングの嵐", 月刊コンピュータグラフィックスワールド, vol. 第3巻 第2号, JPN6019003813, 1 February 2000 (2000-02-01), pages 166 - 167, ISSN: 0003973312 * |
| 自分のアバターがヒーローとなって悪と戦う新体験の対戦格闘ゲーム！XBOX 360 KINECT専用ソフト「パワーア, JPN6020019120, ISSN: 0004282924 * |
| 長井 良祐: "PlayStation Home", ファミ通ＰＳＰ＋ＰＳ3, vol. 第14巻 第6号, JPN6019003807, 1 June 2009 (2009-06-01), pages 24 - 29, ISSN: 0003973309 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10546407B2 (en) | 2017-01-30 | 2020-01-28 | Colopl, Inc. | Information processing method and system for executing the information processing method |
| JP2018124665A (en) * | 2017-01-30 | 2018-08-09 | 株式会社コロプラ | Information processing method, computer, and program for allowing computer to execute information processing method |
| US10936149B2 (en) | 2017-03-08 | 2021-03-02 | Colopl, Inc. | Information processing method and apparatus for executing the information processing method |
| JP6248219B1 (en) * | 2017-03-08 | 2017-12-13 | 株式会社コロプラ | Information processing method, computer, and program for causing computer to execute information processing method |
| US10599286B2 (en) | 2017-03-08 | 2020-03-24 | Colopl, Inc. | Information processing method and apparatus for executing the information processing method |
| JP2018147377A (en) * | 2017-03-08 | 2018-09-20 | 株式会社コロプラ | Information processing method, computer, and program for causing computer to execute the method |
| US10365784B2 (en) | 2017-03-08 | 2019-07-30 | Colopl, Inc. | Information processing method and apparatus for executing the information processing method |
| JP2019017483A (en) * | 2017-07-12 | 2019-02-07 | 株式会社コロプラ | Information processing method, device, and program for causing computer to execute the information processing method |
| JP2019033894A (en) * | 2017-08-15 | 2019-03-07 | 株式会社コロプラ | Information processing method, apparatus, and program for causing computers to execute the same |
| JP2018190395A (en) * | 2018-04-02 | 2018-11-29 | 株式会社コロプラ | Method for providing virtual space, program for implementing that method in computer, and information processor for executing that program |
| KR20200017151A (en) * | 2018-08-08 | 2020-02-18 | (주)한국체스게임 | System and method for providing virtual reality contents based on iptv network |
| KR20200017152A (en) * | 2018-08-08 | 2020-02-18 | (주)한국체스게임 | Sysyem for provinding virtual reality service and method therefor |
| KR102542070B1 (en) * | 2018-08-08 | 2023-07-11 | 주식회사 언택아이시티 | System and method for providing virtual reality contents based on iptv network |
| KR102586011B1 (en) * | 2018-08-08 | 2023-10-10 | 주식회사 언택아이시티 | Sysyem for provinding virtual reality service and method therefor |
| JP2020120336A (en) * | 2019-01-25 | 2020-08-06 | 株式会社コロプラ | Program, method, and information processing device |
| JP2021169025A (en) * | 2019-11-28 | 2021-10-28 | 株式会社カプコン | Game program, computer and game system |
| JP7332925B2 (en) | 2019-11-28 | 2023-08-24 | 株式会社カプコン | Game programs, computers, and game systems |
| WO2022091832A1 (en) * | 2020-10-30 | 2022-05-05 | ソニーグループ株式会社 | Information processing device, information processing system, information processing method, and information processing terminal |
| WO2024166595A1 (en) * | 2023-02-07 | 2024-08-15 | 株式会社バンダイ | Program, information processing device, and matching system |
| JP7418628B1 (en) | 2023-02-07 | 2024-01-19 | 株式会社バンダイ | Programs, information processing devices and matching systems |
| JP7418629B1 (en) | 2023-02-07 | 2024-01-19 | 株式会社バンダイ | Program, server and matching system |
| JP7476372B1 (en) | 2023-02-07 | 2024-04-30 | 株式会社バンダイ | PROGRAM, INFORMATION PROCESSING DEVICE AND MATCHING SYSTEM |
| WO2024167027A1 (en) * | 2023-02-07 | 2024-08-15 | 株式会社バンダイ | Program, server, and matching system |
| JP7418630B1 (en) | 2023-02-07 | 2024-01-19 | 株式会社バンダイ | Programs, information processing devices and matching systems |
| WO2024166593A1 (en) * | 2023-02-07 | 2024-08-15 | 株式会社バンダイ | Program, information processing device, and matching system |
| WO2024166594A1 (en) * | 2023-02-07 | 2024-08-15 | 株式会社バンダイ | Program, information processing device, and matching system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6721295B2 (en) | 2020-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6721295B2 (en) | Game experience sharing system, method, program and recording medium | |
| US10642566B2 (en) | Methods and systems for social sharing head mounted display (HMD) content with a second screen | |
| JP6792044B2 (en) | Control of personal spatial content presented by a head-mounted display | |
| US11436803B2 (en) | Insertion of VR spectator in live video of a live event | |
| CN106716306B (en) | Synchronizing multiple head mounted displays to a unified space and correlating object movements in the unified space | |
| CN109475774B (en) | Audience management at view locations in virtual reality environments | |
| CN107735152B (en) | Extended field of view re-rendering for Virtual Reality (VR) viewing | |
| JP7057756B2 (en) | Audience view tracking for VR users in a virtual reality (VR) environment | |
| US9041739B2 (en) | Matching physical locations for shared virtual experience | |
| EP3149538B1 (en) | Head-mounted display system having an interface with mobile computing device, e.g. smartphone, for rendering virtual-reality content | |
| JP6232423B2 (en) | Information processing apparatus, drawing apparatus, method, and program | |
| EP3429713A1 (en) | Spectator view perspectives in vr environments | |
| US10218793B2 (en) | System and method for rendering views of a virtual space | |
| US10916061B2 (en) | Systems and methods to synchronize real-world motion of physical objects with presentation of virtual content | |
| JP5776954B2 (en) | Information processing apparatus, control method, program, recording medium, and drawing system | |
| JP2020168392A (en) | System, method, and program for sharing game experience, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180315 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190917 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200611 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200618 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6721295 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |