JP2021192756A - 情報処理装置および画像共有方法 - Google Patents

情報処理装置および画像共有方法 Download PDF

Info

Publication number
JP2021192756A
JP2021192756A JP2020099643A JP2020099643A JP2021192756A JP 2021192756 A JP2021192756 A JP 2021192756A JP 2020099643 A JP2020099643 A JP 2020099643A JP 2020099643 A JP2020099643 A JP 2020099643A JP 2021192756 A JP2021192756 A JP 2021192756A
Authority
JP
Japan
Prior art keywords
image
user
game
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020099643A
Other languages
English (en)
Other versions
JP7300421B2 (ja
Inventor
章悟 鈴木
Shogo Suzuki
拓馬 大岩
Takuma Oiwa
博基 平川
Hiromoto Hirakawa
真士 竹内
Shinji Takeuchi
直 足立原
Sunao Adachihara
博 梶畠
Hiroshi Kajihata
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Priority to JP2020099643A priority Critical patent/JP7300421B2/ja
Priority to US17/921,707 priority patent/US20230158412A1/en
Priority to PCT/JP2021/021157 priority patent/WO2021251256A1/ja
Priority to EP21822798.1A priority patent/EP4162996A1/en
Priority to CN202180028442.5A priority patent/CN115397529A/zh
Publication of JP2021192756A publication Critical patent/JP2021192756A/ja
Application granted granted Critical
Publication of JP7300421B2 publication Critical patent/JP7300421B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/812Ball games, e.g. soccer or baseball
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/86Watching games played by other players
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70Game security or game management aspects
    • A63F13/79Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A63F13/795Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories for finding other players; for building a team; for providing a buddy list
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/87Communicating with other players during game play, e.g. by e-mail or chat
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/355Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】画像を共有するための有用な技術を提供する。【解決手段】送信処理部166aは、配信サーバに画像を送信する。状況情報取得部164aは、管理サーバから、複数のメンバの状況を示す情報を取得する。ルーム画像生成部124aは、複数のメンバの状況を示す情報にもとづいて、画像を送信しているメンバに関する情報と、画像を送信していないメンバに関する情報とを異なる領域に含めたメンバ表示欄を生成する。ルーム画像生成部124aは、送信処理部166aが配信サーバに送信している画像を見ているメンバを示す情報を表示する。【選択図】図3

Description

本発明は、複数のユーザ間で画像を共有するための技術に関する。
特許文献1は、ホストユーザの情報処理装置とゲストユーザの情報処理装置とがサーバを介さずにP2P(Peer to Peer:ピアツーピア)で接続する環境下において、ホストユーザがプレイしているゲームの画像をゲストユーザと共有する画像共有システムを開示する。この画像共有システムでは、ゲストユーザがゲーム画像を視聴する共有態様(Share Screen)と、ゲストユーザがホストユーザの代わりにゲームをプレイする共有態様(Hand over my controller)と、ゲストユーザがゲームに新たなプレイヤーとして参加して、ホストユーザとゲストユーザとが一緒にゲームをプレイする共有態様(Hand over another controller)とが用意されている。
特開2017−35298号公報
ゲームのネットワークサービスは、コミュニケーションツールとしての役割を持ち、たとえば同じチャットルームに参加している複数のユーザがゲーム画像を共有することで、コミュニケーションをより活発にできることが期待される。そのためゲームをプレイしているユーザが、そのプレイ中のゲーム画像を他のユーザと簡単に共有できる仕組みを実現することが好ましい。なおゲームに限らず、複数の情報処理装置が接続するネットワークサービス、たとえば会議システム等においても、画像を簡単に共有できる仕組みを実現することで、円滑なコミュニケーションをサポートできることが期待される。
そこで本発明は、画像を共有するための有用な技術を提供することを目的とする。
上記課題を解決するために、本発明のある態様の情報処理装置は、1つのルームに参加する複数のメンバの状況を管理する管理サーバと、画像を配信する配信サーバとに接続する情報処理装置であって、配信サーバに、画像を送信する送信処理部と、管理サーバから、複数のメンバの状況を示す情報を取得する状況情報取得部と、複数のメンバの状況を示す情報にもとづいて、画像を送信しているメンバに関する情報と、画像を送信していないメンバに関する情報とを異なる領域に含めたメンバ表示欄を生成するルーム画像生成部とを備える。ルーム画像生成部は、送信処理部が配信サーバに送信している画像を見ているメンバを示す情報を表示する。
本発明の別の態様は、画像共有方法であって、画像を配信する配信サーバに、画像を送信するステップと、1つのルームに参加する複数のメンバの状況を管理する管理サーバから、複数のメンバの状況を示す情報を取得するステップと、複数のメンバの状況を示す情報にもとづいて、画像を送信しているメンバに関する情報と、画像を送信していないメンバに関する情報とを異なる領域に含むメンバ表示欄を表示するステップと、配信サーバに送信している画像を見ているメンバを示す情報を表示するステップとを有する。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によると、画像を共有するための有用な技術を提供できる。
本発明の実施例にかかる画像共有システムを示す図である。 情報処理装置のハードウェア構成を示す図である。 ゲームの画像を送信する情報処理装置の機能ブロックを示す図である。 ゲーム画面の一例を示す図である。 ゲーム画像に重畳表示されたシステム画像の例を示す図である。 配信サーバの機能ブロックを示す図である。 ゲーム画像に重畳表示されたシステム画像の例を示す図である。 ゲーム画像に重畳表示されたシステム画像の例を示す図である。 スクリーンシェアリングされているゲーム画像を受信する情報処理装置の機能ブロックを示す図である。 出力装置に表示されるゲーム画面の一例を示す図である。 出力装置に表示されるメッセージの例を示す図である。 ゲーム画像に重畳表示されたシステム画像の例を示す図である。 全面表示形式による表示例を示す図である。 ピクチャインピクチャ表示形式による表示例を示す図である。 画面分割形式による表示例を示す図である。 ゲーム画像に重畳表示されたシステム画像の例を示す図である。 出力装置に表示されるメッセージの例を示す図である。 ゲーム画像に重畳表示されたシステム画像の例を示す図である。 出力装置に表示されたシステム画像の例を示す図である。 ユーザがプレイするゲーム画像を示す図である。
図1は、本発明の実施例にかかる画像共有システム1を示す。画像共有システム1は、複数の情報処理装置10a、10b、10c、10d(以下、特に区別しない場合には、「情報処理装置10」と呼ぶ)と、管理サーバ5と、配信サーバ9とを備え、これらはインターネットやLAN(Local Area Network)などのネットワーク3を介して接続している。
情報処理装置10a、10b、10c、10dは、ユーザが操作する端末装置であって、それぞれ出力装置4a、4b、4c、4d(以下、特に区別しない場合には「出力装置4」と呼ぶ)に接続する。出力装置4は、画像を出力するディスプレイおよび音を出力するスピーカを有するテレビであってよく、またヘッドマウントディスプレイであってもよい。出力装置4は、情報処理装置10に有線ケーブルで接続されてよく、無線接続されてもよい。
アクセスポイント(以下、「AP」とよぶ)8は、無線アクセスポイントおよびルータの機能を有し、情報処理装置10は、無線または有線経由でAP8に接続して、ネットワーク3上の管理サーバ5、配信サーバ9、他の情報処理装置10と通信可能に接続する。
情報処理装置10は、ユーザが操作する入力装置6と無線または有線で接続し、入力装置6はユーザの操作結果を示す操作情報を情報処理装置10に出力する。情報処理装置10は入力装置6から操作情報を受け付けるとシステムソフトウェアやアプリケーションソフトウェアの処理に反映し、出力装置4から処理結果を出力させる。画像共有システム1において情報処理装置10はゲームを実行するゲーム装置であり、入力装置6はゲームコントローラなど情報処理装置10に対してユーザの操作情報を供給する機器であってよい。入力装置6は複数のプッシュ式の操作ボタンや、アナログ量を入力できるアナログスティック、回動式ボタンなどの複数の入力部を有して構成されてよい。
補助記憶装置2は、HDD(ハードディスクドライブ)やSSD(ソリッドステートドライブ)などのストレージであり、内蔵型記憶装置であってよく、またはUSB(Universal Serial Bus)などによって情報処理装置10と接続する外部記憶装置であってもよい。撮像装置であるカメラ7は出力装置4の近傍に設けられ、出力装置4周辺の空間を撮像する。
画像共有システム1において、ユーザA、B、C、Dは、同じチャットルームに入室しているルームメンバであり、ユーザ同士は、互いにテキストチャットを行うことができ、ヘッドセットを持っていればボイスチャットを行うことができる。チャットルームは管理サーバ5によって作成され、管理されており、管理サーバ5は、各ユーザから送信されるチャットデータ(テキストデータおよび/またはボイスデータ)を受信すると、ルーム内の他のユーザに転送する。たとえば管理サーバ5は、ユーザAから送信されるチャットデータを、ルーム内の他のユーザB、C、Dに転送する。
チャットルームにおいてユーザは、プレイしているゲームの画像を、他のユーザと共有できる。チャットルームに入室する参加人数には上限が設けられてよいが、無制限とされてもよい。なおチャットルームは、オンラインにあるユーザが集まる仮想的なルームやグループの一例であり、別の種類のルームやグループであってもよい。
管理サーバ5は、画像共有システム1の運営主体により保守、管理され、画像共有システム1のユーザに、チャットサービスを含むネットワークサービスを提供する。管理サーバ5はユーザを識別するネットワークアカウントを管理しており、ユーザは、ネットワークアカウントを用いてネットワークサービスにサインインする。ユーザはネットワークサービスにサインインすることで、チャットルームに入室して、他のルームメンバとコミュニケーションをとることができる。なおユーザはサインインすることで、たとえばゲームのセーブデータを管理サーバ5に保存することも可能となる。
配信サーバ9は、画像共有システム1の運営主体により保守、管理され、チャットルームに参加しているユーザに、他のユーザがプレイしているゲーム画像のストリーミングデータを配信するサービスを提供する。なおストリーミングデータには、当然のことながらゲーム音も含まれているが、以下ではゲーム音の配信についての説明を省略し、主としてゲーム画像の配信について説明する。
図2は、情報処理装置10のハードウェア構成を示す。情報処理装置10は、メイン電源ボタン20、電源ON用LED21、スタンバイ用LED22、システムコントローラ24、クロック26、デバイスコントローラ30、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60を有して構成される。
メインシステム60は、メインCPU(Central Processing Unit)、主記憶装置であるメモリおよびメモリコントローラ、GPU(Graphics Processing Unit)などを備える。GPUはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、1つのチップ上に形成されてよい。メインCPUは補助記憶装置2またはROM媒体44に記録されたゲームプログラムを実行する機能をもつ。
サブシステム50は、サブCPU、主記憶装置であるメモリおよびメモリコントローラなどを備え、GPUを備えず、ゲームプログラムを実行する機能をもたない。サブCPUの回路ゲート数は、メインCPUの回路ゲート数よりも少なく、サブCPUの動作消費電力は、メインCPUの動作消費電力よりも少ない。
メイン電源ボタン20は、ユーザからの操作入力が行われる入力部であって、情報処理装置10の筐体の前面に設けられ、情報処理装置10のメインシステム60への電源供給をオンまたはオフするために操作される。電源ON用LED21は、メイン電源ボタン20がオンされたときに点灯し、スタンバイ用LED22は、メイン電源ボタン20がオフされたときに点灯する。
システムコントローラ24は、ユーザによるメイン電源ボタン20の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン20が押下されると、システムコントローラ24は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン20が押下されると、システムコントローラ24は、その押下操作を「オフ指示」として取得する。
クロック26はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ24やサブシステム50およびメインシステム60に供給する。デバイスコントローラ30は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するLSI(Large-Scale Integrated Circuit)として構成される。図示のように、デバイスコントローラ30には、システムコントローラ24、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60などのデバイスが接続される。デバイスコントローラ30は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。
メディアドライブ32は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したROM媒体44を装着して駆動し、ROM媒体44からプログラムやデータなどを読み出すドライブ装置である。ROM媒体44は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアであってよい。
USBモジュール34は、外部機器とUSBケーブルで接続するモジュールである。USBモジュール34は補助記憶装置2およびカメラ7とUSBケーブルで接続してもよい。フラッシュメモリ36は、内部ストレージを構成する補助記憶装置である。無線通信モジュール38は、Bluetooth(登録商標)プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置6と無線通信する。有線通信モジュール40は、外部機器と有線通信し、AP8を介してネットワーク3に接続する。
画像共有システム1では、チャットルームの参加メンバは、ゲーム画像を共有するために、3つの共有態様を利用できる。以下、ゲーム画像を配信するユーザを「ホスト」ないしは「ホストユーザ」、ゲーム画像の配信を受けるユーザを「ゲスト」ないしは「ゲストユーザ」と呼ぶ。
<共有態様1>
共有態様1は、ホストユーザのゲーム画像をゲストユーザが視聴する態様であり、「スクリーンシェアリング」と呼ばれる。スクリーンシェアリングでは、ホストユーザのゲーム画像が、配信サーバ9経由でゲストユーザと共有される。つまりホストユーザの情報処理装置10はゲーム画像を配信サーバ9に送信し、ゲストユーザの情報処理装置10は配信サーバ9からゲーム画像を受信する。ゲストユーザは、ホストユーザのゲーム画像を視聴できるが、ゲームを操作することはできない。
<共有態様2>
共有態様2は、ホストユーザのゲーム画像をゲストユーザが視聴しつつ、ホストユーザの代わりにゲームをプレイする態様であり、「アシストプレイ」と呼ばれる。アシストプレイでは、ホストユーザのゲーム画像が、配信サーバ9を経由することなく、ゲストユーザと共有される。つまりホストユーザの情報処理装置10とゲストユーザの情報処理装置10とがP2Pで接続して、ゲーム画像が共有される。ホストユーザが自身のゲームの操作権をゲストユーザに渡すため、ホストユーザはゲームを操作できず、ゲストユーザのみがゲームを操作できる。
<共有態様3>
共有態様3は、ホストユーザのゲーム画像をゲストユーザが視聴しつつ、ゲームに新たなプレイヤーとして参加して、ホストユーザと一緒にゲームをプレイする態様であり、「共同プレイ」と呼ばれる。共同プレイでは、ホストユーザのゲーム画像が、配信サーバ9を経由することなく、ゲストユーザと共有される。つまりホストユーザの情報処理装置10とゲストユーザの情報処理装置10とがP2Pで接続して、ゲーム画像が共有される。共同プレイでは、ホストユーザ側のゲームリソースをゲストユーザも利用して、ホストユーザがプレイヤー1、ゲストユーザがプレイヤー2としてゲームに参加し、ホストユーザとゲストユーザとが一緒にゲームを操作できる。
このように共有態様2、3では、ホストユーザの情報処理装置10とゲストユーザの情報処理装置10とがP2Pで接続してゲーム画像が共有され、少なくともゲストユーザがゲームの操作権をもつ。共有態様2、3ではゲストユーザがゲームをプレイできるため、共有態様2、3をまとめて「シェアプレイ」と呼ぶこともある。
1人のユーザは、自分がプレイしているゲームの画像を配信することでホストユーザになり、また他人がプレイしているゲームの画像を見ることでゲストユーザになる。そのため1台の情報処理装置10には、ホストユーザになるための送信側構成と、ゲストユーザになるための受信側構成の双方が備えられる。以下では、説明の便宜上、ユーザAの情報処理装置10aがゲーム画像を送信する送信側構成を有し、ユーザCの情報処理装置10cがゲーム画像を受信する受信側構成を有して、ゲーム画像を共有するケースについて説明するが、送信側構成および受信側構成の双方が、1台の情報処理装置10に搭載されることを理解されたい。
図3は、ユーザAがプレイしているゲームの画像を送信する情報処理装置10aの機能ブロックを示す。情報処理装置10aは、処理部100a、通信部102aおよび受付部104aを備える。処理部100aは、実行部110a、システム画像生成部120a、画像処理部140a、フレームバッファ150aおよび共有処理部160aを備える。
システム画像生成部120aは、通知生成部122aおよびルーム画像生成部124aを有する。フレームバッファ150aは、ゲーム画像データを一時記憶するゲーム用バッファ152aおよびシステム画像データを一時記憶するシステム用バッファ154aを有する。共有処理部160aは、状況情報送信部162a、状況情報取得部164a、送信処理部166a、招待送信部172aおよび接続処理部174aを有する。送信処理部166aは、第1送信処理部168aおよび第2送信処理部170aを有する。
図3において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、システムソフトウェアや、メモリにロードされたゲームプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
通信部102aは、入力装置6の入力部をユーザAが操作した操作情報を受信する。また通信部102aは、管理サーバ5から、チャットルームにおける他のルームメンバによるチャットデータを受信し、さらに他のルームメンバの状況を示す情報を受信する。
通信部102aは、ユーザAの状況を示す情報を管理サーバ5に送信する。また通信部102aは、処理部100aで生成したゲーム画像およびゲーム音のストリーミングデータを配信サーバ9および/または他の情報処理装置10に送信する。以下では、ゲーム動画を再生するためのストリーミングデータを、単にゲーム画像と呼ぶこともある。通信部102aの機能ブロックは、図2に示す無線通信モジュール38および有線通信モジュール40の機能を併せ持つ構成として表現している。
受付部104aは、通信部102aと処理部100aとの間に設けられ、通信部102aと処理部100aとの間でデータないしは情報を伝送する。受付部104aは通信部102aを介して入力装置6の操作情報を受け付けると、その操作情報を処理部100aにおける所定の機能ブロックに供給する。
実行部110aはゲームプログラム(以下、単に「ゲーム」とも呼ぶこともある)を実行する。ここで実行部110aとして示す機能ブロックは、システムソフトウェア、ゲームソフトウェアなどのソフトウェア、GPUなどのハードウェアにより実現される。実行部110aは、ゲームプログラムを実行して、ゲームの画像データおよびゲームの音データを生成する。なおゲームはアプリケーションの一例であり、実行部110aは、ゲーム以外のアプリケーションを実行してもよい。
ユーザAによるゲームプレイ中、実行部110aはゲームプログラムを実行して、ユーザAが入力装置6に入力した操作情報をもとに、仮想空間においてゲームキャラクタを動かす演算処理を行う。GPUは仮想空間における演算処理結果を受けて、仮想空間内の視点位置(仮想カメラ)からのゲーム画像データを生成する。
図4は、ユーザAの出力装置4aに表示されるゲーム画面の一例を示す。ユーザAはゲームタイトル「スペシャルサッカー」をプレイしている。実行部110aはゲーム画像データを生成し、画像処理部140aに供給すると、画像処理部140aは、ゲーム画像データをゲーム用バッファ152aに一時記憶し、フレームバッファ150aに一時記憶した画像データから表示画像を生成して、出力装置4aに提供する。これにより出力装置4aはゲーム画像を出力する。なお実際の出力装置4aは、実行部110aで生成されたゲーム音も出力し、ユーザAは、出力装置4aから出力されるゲーム画像およびゲーム音を視聴しながら、入力装置6を操作してゲームタイトル「スペシャルサッカー」をプレイする。
共有処理部160aにおいて、状況情報送信部162aは、ユーザAの状況を示す情報を管理サーバ5に送信する。状況を示す情報には、ゲームをプレイしているか否かを示す情報、ゲームをプレイしている場合にはそのゲームタイトル、マイクのオンオフを示す情報および画像共有に関する情報が含まれる。画像共有に関する情報には、ユーザAがホストユーザの立場にあるときの情報とゲストユーザの立場にあるときの情報とが含まれる。ホストユーザの立場にあるときの情報には、ユーザAがスクリーンシェアリング(共有態様1)を開始することを示す情報、およびアシストプレイ(共有態様2)や共同プレイ(共有態様3)にルームメンバを招待することを示す情報を含む。ゲストユーザの立場にあるときの情報には、別のルームメンバが配信しているゲーム画像の共有態様に関する情報を含む。具体的に状況情報送信部162aは、別のルームメンバが配信サーバ9から配信している画像を見る場合には、当該画像を見ることを示す情報を管理サーバ5に送信し、別のルームメンバからのアシストプレイまたは共同プレイの招待を受諾する場合は、当該招待の受諾を示す情報を管理サーバ5に送信する。
状況情報送信部162aの機能は、ユーザB〜Dの情報処理装置10b〜10dにも搭載されており、したがって各ユーザの情報処理装置10は、各ユーザの状況を示す情報を管理サーバ5に送信する。情報処理装置10は、状況に変化が生じると、ただちに、その変化を示す情報を管理サーバ5に送信することが好ましい。管理サーバ5は、各情報処理装置10から各ユーザの状況を示す情報を取得し、各ユーザの最新の状況を管理する。管理サーバ5は、各ユーザの状況を示す情報を、同じチャットグループに属する情報処理装置10に送信する。情報処理装置10aにおける状況情報取得部164aは、各ユーザの状況を示す情報を取得する。
実施例の情報処理装置10は、ゲームプレイ中のユーザAが、画像共有を簡単に実施できる仕組みを提供する。ゲームプレイ中、ユーザAが入力装置6の所定のボタンを短押しすると、受付部104aがボタン操作を受け付け、操作情報をシステム画像生成部120aに供給する。システム画像生成部120aは、ボタン操作情報を、システム画像の表示要求として取得して、状況情報取得部164aを呼び出す。
状況情報取得部164aは、管理サーバ5から各ユーザの状況を示す情報を取得し、システム画像生成部120aに提供する。システム画像生成部120aにおいて、ルーム画像生成部124aは、ユーザAが参加しているチャットルームの状況を示すシステム画像データを生成して、画像処理部140aに供給する。画像処理部140aは、システム画像データをシステム用バッファ154aに一時記憶し、フレームバッファ150aに一時記憶した画像データから表示画像を生成して、出力装置4aに提供する。具体的に画像処理部140aは、ゲーム用バッファ152aに一時記憶したゲーム画像データとシステム用バッファ154aに一時記憶したシステム画像データを合成した表示画像を生成して、出力装置4aに提供する。これにより出力装置4aはゲーム画像にシステム画像を重畳した表示画像を出力する。
図5は、ゲーム画像に重畳表示されたシステム画像200の例を示す。ルーム画像生成部124aは、状況情報取得部164aが取得した各ユーザの状況を示す情報にもとづいて、システム画像データを生成する。システム画像200には、ユーザAが参加しているチャットルームのメンバの状況を示すメンバ表示欄202が設けられる。ルーム画像生成部124aは、複数のルームメンバ(ユーザ)の状況を示す情報にもとづいて、メンバに関する情報を含めたメンバ表示欄202を生成する。図5に示すメンバ表示欄202には、ユーザのアイコン、ユーザ名、プレイしているゲームタイトル、マイクのオンオフを示す情報が表示されているが、そのほかシェアプレイを実行中であるか否かを示す情報等が含まれてもよい。
シェアリング開始ボタン204は、ユーザAが共有態様1であるスクリーンシェアリングを開始するための操作要素である。ユーザAがシェアリング開始ボタン204を操作すると、状況情報送信部162aが、ユーザAがスクリーンシェアリング(共有態様1)を開始することを示す情報を管理サーバ5および配信サーバ9に送信し、第1送信処理部168aが配信サーバ9に、画像処理部140aによりゲーム用バッファ152aから読み出されたゲーム画像のストリーミングデータを送信する。上記したようにストリーミングデータにはゲーム音データも含まれ、第1送信処理部168aは、ストリーミングデータを所定の形式で圧縮して、配信サーバ9に送信する。
このとき画像処理部140aは、ゲーム用バッファ152aに一時記憶されたゲーム画像データのみを読み出して第1送信処理部168aに提供し、システム用バッファ154aに一時記憶されたシステム画像データをゲーム画像データに合成しない。これにより配信される画像データは、システム画像データを含まず、ゲーム画像データのみを配信できるようになる。
第1送信処理部168aは、通信部102aと配信サーバ9の間の接続状態の良否の程度に応じて、配信サーバ9に送信するゲーム画像データの解像度を決定する。つまり接続状態が悪ければ、第1送信処理部168aは、ゲーム画像データの解像度を下げることを決定する。なおゲーム画像データは、60fps(フレーム/秒)または30fpsのフレームレートで実行部110aにより生成されるが、第1送信処理部168aは、配信サーバ9との間の接続状態が著しく悪ければ、解像度だけでなく、フレームレートを下げてもよい。
解像度1080pのゲーム画像データがゲーム用バッファ152aに一時記憶されている場合、接続状態が良好であれば、画像処理部140aは、解像度1080pのゲーム画像データを第1送信処理部168aに供給する。しかしながら接続状態が良好でない場合、画像処理部140aは、ゲーム画像の解像度を下げる必要がある。画像処理部140aは、解像度1080pのゲーム画像の送信が難しければ解像度を720pに下げ、解像度720pのゲーム画像の送信が難しければ解像度を540pに下げ、解像度540pのゲーム画像の送信が難しければ解像度を360pに下げる。
第1送信処理部168aは、通信部102aと配信サーバ9の間の接続状態の良否の程度を判断し、その程度に応じたゲーム画像の解像度への変換要求を、画像処理部140aに指示する。これにより画像処理部140aは、指示された解像度でゲーム画像データを再構成し、第1送信処理部168aは、再構成されたゲーム画像データを配信サーバ9に送信する。なお第1送信処理部168aは接続状態を常時監視し、接続状態が変化すると、その変化に応じた解像度を画像処理部140aに指示してよい。
図6は、配信サーバ9の機能ブロックを示す。配信サーバ9は、制御部300および通信部302を備える。制御部300は、画像取得部310、変換部312および配信部314を有する。配信部314は、チャットルームのメンバ情報を保持しており、同じチャットルーム内のメンバから視聴要求を受けると、当該メンバの情報処理装置10にゲーム画像を配信する。
図6において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、システムソフトウェアや、メモリにロードされたゲームプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
画像取得部310は、情報処理装置10aからストリーミング送信される画像データを取得する。画像データの解像度は、情報処理装置10aと配信サーバ9との間の接続状態に応じて動的に設定されており、ここでは解像度1080p、60fpsのゲーム画像データが情報処理装置10から送信されているものとする。変換部312は、取得した画像データを、トランスコード可能な複数の解像度の画像データにトランスコードする。具体的に変換部312は、取得した画像データを、当該画像データの解像度より低い解像度の画像データにトランスコードする。
実施例の変換部312は、画像データを720p、540p、360pの解像度に変換する機能を有し、画像取得部310が取得した画像データの解像度を、それよりも低い解像度に変換する。したがって画像取得部310が1080pの画像データを取得すると、変換部312は1080pの画像データを、720p、540p、360pの画像データに変換する。
なお画像取得部310が720pの画像データを取得すると、変換部312は720pの画像データを、540p、360pの画像データに変換する。画像取得部310が540pの画像データを取得すると、変換部312は540pの画像データを、360pの画像データに変換する。変換部312は、この変換処理を、画像データを配信するか否かにかかわらず実行して、同じチャットルーム内の他のメンバからの視聴要求を待機する。
図7は、ユーザAのゲーム画像に重畳表示されたシステム画像200の例を示す。ルーム画像生成部124aは、状況情報取得部164aが取得した各ユーザの状況を示す情報にもとづいて、システム画像データを生成する。図5に示すシステム画像200を表示したときの状況と比べると、チャットルーム内で、ユーザA自身が、スクリーンシェアリングを開始している。なおユーザAがスクリーンシェアリングを開始したことは、情報処理装置10a側で認識できるため、状況情報取得部164aは、ユーザAの状況を示す情報を、共有処理部160aの内部情報として取得してもよい。
ルーム画像生成部124aは、複数のユーザの状況を示す情報にもとづいて、画像を送信しているユーザに関する情報と、画像を送信していないユーザに関する情報とを異なる領域に含めたメンバ表示欄202を生成する。図7に示す例では、システム画像200に、画像を送信しているユーザに関する情報を表示するホスト表示領域206と、画像を送信していないユーザに関する情報を表示する非ホスト表示領域208とが設けられる。ホスト表示領域206と非ホスト表示領域208とは区別されて、図7に示すように異なる領域として設けられる。これによりユーザAは、スクリーンシェアリングを行っているメンバと、スクリーンシェアリングを行っていないメンバとを容易に認識できる。なおシステム画像200の表示領域は有限であるため、ホスト表示領域206が、非ホスト表示領域208よりも上側に配置されて、ユーザAが、ホスト表示領域206の情報を優先的に見られることが好ましい。
視聴メンバ表示領域212は、ユーザAがスクリーンシェアリングしているゲーム画像を視聴しているルームメンバを表示する領域である。図7に示す状態では、まだ、どのメンバも、ユーザAのゲーム画像を視聴していない。
シェアプレイ開始ボタン210は、ユーザAが共有態様2または共有態様3であるシェアプレイを開始するための操作要素である。ルーム画像生成部124aは、プレイ中のゲームであって且つスクリーンシェアリングを実施中のゲームに、ルームメンバを招待する操作を行うためのシェアプレイ開始ボタン210を、システム画像200に含める。ユーザAがシェアプレイ開始ボタン210を操作すると、自分以外のルームメンバをシェアプレイに招待するためのウィンドウが表示されて、ユーザAは、招待するルームメンバを選択できる。
図8は、ユーザAのゲーム画像に重畳表示されたシステム画像200の例を示す。図7に示すシステム画像200と比べると、ユーザDを示す情報がホスト表示領域206に配置されており、したがってユーザDが、スクリーンシェアリングを行っていることが分かる。このようにシステム画像200に、画像を送信しているユーザに関する情報を表示するホスト表示領域206と、画像を送信していないユーザに関する情報を表示する非ホスト表示領域208とを設けることで、ユーザAは、スクリーンシェアリングを行っているメンバと、スクリーンシェアリングを行っていないメンバとを容易に認識できる。
図9は、スクリーンシェアリングされているゲーム画像を受信する情報処理装置10cの機能ブロックを示す。情報処理装置10cは、処理部100c、通信部102cおよび受付部104cを備える。処理部100cは、実行部110c、システム画像生成部120c、画像処理部140c、フレームバッファ150cおよび共有処理部160cを備える。
システム画像生成部120cは、通知生成部122cおよびルーム画像生成部124cを有する。フレームバッファ150cは、ゲーム画像データを一時記憶するゲーム用バッファ152cおよびシステム画像データを一時記憶するシステム用バッファ154cを有する。共有処理部160cは、状況情報送信部162c、状況情報取得部164c、要求送信部180c、受諾送信部184cおよび画像取得部186cを有する。画像取得部186cは、第1画像取得部188cおよび第2画像取得部190cを有する。
図9において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、システムソフトウェアや、メモリにロードされたゲームプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお図3と図9で同じ名称を有する構成は、同一の構成であってよい。
通信部102cは、入力装置6の入力部をユーザCが操作した操作情報を受信する。また通信部102cは、管理サーバ5から、チャットルームにおける他のルームメンバによるチャットデータを受信し、さらに他のルームメンバの状況を示す情報を受信する。また通信部102cは、配信サーバ9および/または他の情報処理装置10から、ゲーム画像のストリーミングデータを受信する。また通信部102cは、ユーザCの状況を示す情報を管理サーバ5に送信する。通信部102cの機能ブロックは、図2に示す無線通信モジュール38および有線通信モジュール40の機能を併せ持つ構成として表現している。
受付部104cは、通信部102cと処理部100cとの間に設けられ、通信部102cと処理部100cとの間でデータないしは情報を伝送する。受付部104cは通信部102cを介して入力装置6の操作情報を受け付けると、その操作情報を処理部100cにおける所定の機能ブロックに供給する。
実行部110cはゲームプログラムを実行する。ここで実行部110cとして示す機能ブロックは、システムソフトウェア、ゲームソフトウェアなどのソフトウェア、GPUなどのハードウェアにより実現される。実行部110cは、ゲームプログラムを実行して、ゲームの画像データおよびゲームの音データを生成する。なおゲームはアプリケーションの一例であり、実行部110cは、ゲーム以外のアプリケーションを実行してもよい。
ユーザCによるゲームプレイ中、実行部110cはゲームプログラムを実行して、ユーザCが入力装置6に入力した操作情報をもとに、仮想空間においてゲームキャラクタを動かす演算処理を行う。GPUは仮想空間における演算処理結果を受けて、仮想空間内の視点位置(仮想カメラ)からのゲーム画像データを生成する。
図10は、ユーザCの出力装置4cに表示されるゲーム画面の一例を示す。ユーザCはゲームタイトル「コンバットフィールド」をプレイしている。実行部110cはゲーム画像データを生成し、画像処理部140cに供給すると、画像処理部140cは、ゲーム画像データをゲーム用バッファ152cに一時記憶し、フレームバッファ150cに一時記憶した画像データから表示画像を生成して、出力装置4cに提供する。これにより出力装置4cはゲーム画像を出力する。なお実際の出力装置4cは、実行部110cで生成されたゲーム音も出力するため、ユーザCは、出力装置4cから出力されるゲーム画像およびゲーム音を視聴しながら、入力装置6を操作してゲームタイトル「コンバットフィールド」をプレイする。
共有処理部160cにおいて、状況情報送信部162cは、ユーザCの状況を示す情報を管理サーバ5に送信する。状況を示す情報には、ゲームをプレイしているか否かを示す情報、ゲームをプレイしている場合にはそのゲームタイトル、マイクのオンオフを示す情報および画像共有に関する情報が含まれる。画像共有に関する情報には、ユーザCがホストユーザの立場にあるときの情報とゲストユーザの立場にあるときの情報とが含まれる。ホストユーザの立場にあるときの情報には、ユーザCがスクリーンシェアリング(共有態様1)を開始することを示す情報、およびアシストプレイ(共有態様2)や共同プレイ(共有態様3)にルームメンバを招待することを示す情報を含む。ゲストユーザの立場にあるときの情報には、別のルームメンバが配信しているゲーム画像の共有態様に関する情報を含む。具体的に状況情報送信部162cは、別のルームメンバが配信サーバ9から配信している画像を見る場合には、当該画像を見ることを示す情報を管理サーバ5に送信し、別のルームメンバからのアシストプレイまたは共同プレイの招待を受諾する場合は、当該招待の受諾を示す情報を管理サーバ5に送信する。
ここでユーザC以外のルームメンバが、スクリーンシェアリングを開始したときの情報処理装置10cの動作について説明する。図5を参照して、ユーザAがシェアリング開始ボタン204を操作すると、情報処理装置10aの状況情報送信部162aが、ユーザAがスクリーンシェアリング(共有態様1)を開始することを示す情報を管理サーバ5および配信サーバ9に送信し、第1送信処理部168aが配信サーバ9に、画像処理部140aによりゲーム用バッファ152aから読み出されたゲーム画像のストリーミングデータを送信する。管理サーバ5は、ユーザAがスクリーンシェアリングを開始すると、チャットルーム内の他のルームメンバであるユーザB、C、Dの情報処理装置10b、10c、10dに、ユーザAがスクリーンシェアリングを開始した旨を通知する。
図11は、ユーザCの出力装置4cに表示されるメッセージ220の例を示す。通知生成部122cは、管理サーバ5からの通知をもとにメッセージ220を含むシステム画像データを生成して、画像処理部140cに供給する。画像処理部140cは、システム画像データをシステム用バッファ154cに一時記憶し、フレームバッファ150cに一時記憶した画像データから表示画像を生成して、出力装置4cに提供する。具体的に画像処理部140cは、ゲーム用バッファ152cに一時記憶したゲーム画像データとシステム用バッファ154cに一時記憶したシステム画像データを合成した表示画像を生成して、出力装置4cに提供する。これにより出力装置4cはゲーム画像にシステム画像を重畳した表示画像を出力する。ユーザCは、メッセージ220を見ることで、ユーザAがスクリーンシェアリングを開始したことを認識する。なお通知生成部122cは、ユーザAがスクリーンシェアリングを開始したことを、音声出力によりユーザCに伝えてもよい。
メッセージ220が表示されている状態で、ユーザCが、入力装置6の所定のボタンを押下すると、要求送信部180cは、ユーザAを特定する情報を含む視聴要求を管理サーバ5に送信する。なお要求送信部180cは、ユーザAを特定する情報を含む視聴要求を配信サーバ9に送信してもよい。
なおメッセージ220は、たとえば5秒程度だけ表示される。メッセージ220が消えた後、ユーザCは、システム画像を表示することで、ユーザAが配信するゲーム画像の視聴要求を、管理サーバ5または配信サーバ9に送信できる。ユーザCが入力装置6の所定のボタンを短押しすると、受付部104cがボタン操作を受け付け、操作情報をシステム画像生成部120cに供給する。システム画像生成部120cは、ボタン操作情報をシステム画像の表示要求として取得して、状況情報取得部164cを呼び出す。
状況情報取得部164cは、管理サーバ5から各ユーザの状況を示す情報を取得し、システム画像生成部120cに提供する。システム画像生成部120cにおいて、ルーム画像生成部124cは、ユーザCが参加しているチャットルームの状況を示すシステム画像データを生成して、画像処理部140cに供給する。画像処理部140cは、システム画像データをシステム用バッファ154cに一時記憶し、フレームバッファ150cに一時記憶した画像データから表示画像を生成して、出力装置4cに提供する。具体的に画像処理部140cは、ゲーム用バッファ152cに一時記憶したゲーム画像データとシステム用バッファ154cに一時記憶したシステム画像データを合成した表示画像を生成して、出力装置4cに提供する。これにより出力装置4cはゲーム画像にシステム画像を重畳した表示画像を出力する。
図12は、ゲーム画像に重畳表示されたシステム画像200の例を示す。ルーム画像生成部124cは、状況情報取得部164cが取得した各ユーザの状況を示す情報にもとづいて、システム画像データを生成する。システム画像200には、ユーザCが参加しているチャットルームのメンバの状況を示すメンバ表示欄202が設けられる。ルーム画像生成部124cは、複数のルームメンバ(ユーザ)の状況を示す情報にもとづいて、メンバに関する情報を含めたメンバ表示欄202を生成する。図12に示すメンバ表示欄202には、ユーザのアイコン、ユーザ名、プレイしているゲームタイトル、マイクのオンオフを示す情報が表示されているが、そのほかシェアプレイを実行中であるか否かを示す情報等が含まれてもよい。
ルーム画像生成部124cは、複数のユーザの状況を示す情報にもとづいて、画像を送信しているユーザに関する情報と、画像を送信していないユーザに関する情報とを異なる領域に含めたメンバ表示欄202を生成する。図12に示す例では、システム画像200に、画像を送信しているユーザに関する情報を表示するホスト表示領域206と、画像を送信していないユーザに関する情報を表示する非ホスト表示領域208とが設けられる。ホスト表示領域206と非ホスト表示領域208とは区別されて、図12に示すように異なる領域として設けられる。これによりユーザCは、スクリーンシェアリングを行っているメンバと、スクリーンシェアリングを行っていないメンバとを容易に認識できる。
ユーザCが、入力装置6を用いてユーザAの表示欄を選択すると、受付部104cが、画像を送信しているユーザを選択する操作を受け付け、要求送信部180cが、選択したユーザを特定する情報を含む視聴要求を管理サーバ5に送信する。管理サーバ5は視聴要求を受け取ると、視聴要求を配信サーバ9に送信して、ユーザCがユーザAのゲーム画像の視聴を要求していることを通知する。なお要求送信部180cは視聴要求を、直接、配信サーバ9に送信してもよい。
第1画像取得部188cは、通信部102cと配信サーバ9の間の接続状態の良否の程度に応じて、配信サーバ9から受信するゲーム画像データの解像度を決定して、受信する画像解像度を視聴要求に含ませる。つまり接続状態が悪ければ、第1画像取得部188cは、低い解像度のゲーム画像データを受信することを決定する。配信サーバ9において変換部312は、複数の解像度の画像データを生成しており、配信部314は、情報処理装置10cとの間の接続状態に応じた解像度の画像データを、情報処理装置10cに配信する。
ここでユーザAの情報処理装置10aから解像度1080pのゲーム画像データが送信され、変換部312が、解像度720p、540p、360pのゲーム画像データを生成しているものとする。配信サーバ9と情報処理装置10cの間の接続状態が良好であれば、第1画像取得部188cは、解像度1080pのゲーム画像データを要求し、配信部314は、解像度1080pのゲーム画像データを情報処理装置10cに配信する。しかしながら接続状態が良好でない場合、配信部314は、解像度1080pより低い解像度のゲーム画像データを配信する。
図9に戻って、第1画像取得部188cは配信サーバ9から、ゲーム画像データを取得する。情報処理装置10cでは、スクリーンシェアリングするゲーム画像を表示する形式が設定されている。実施例では、(1)全面表示形式、(2)ピクチャインピクチャ表示形式、(3)画面分割形式の3つの表示形式が用意されている。ユーザCは、いずれかの表示形式を事前に設定している。
画像処理部140cは、第1画像取得部188cから画像データを受け取ると、設定された表示形式にしたがって、画像データをシステム用バッファ154cに一時記憶し、フレームバッファ150cに一時記憶した画像データから表示画像を生成して、出力装置4cに提供する。
図13は、全面表示形式による表示例を示す。全面表示形式が設定されている場合、画像処理部140cは、第1画像取得部188cが取得した画像データをシステム用バッファ154cに一時記憶し、一時記憶した画像データから表示画像を生成して、出力装置4cに提供する。これにより出力装置4cは、ユーザAから配信されるゲーム画像を全面表示する。
図14は、ピクチャインピクチャ表示形式による表示例を示す。ピクチャインピクチャ表示形式が設定されている場合、画像処理部140cは、第1画像取得部188cが取得した画像データを縮小してシステム用バッファ154cに一時記憶し、ゲーム用バッファ152aに一時記憶したユーザCのゲーム画像データと、システム用バッファ154cに一時記憶したユーザAのゲーム画像データを合成した表示画像を生成して、出力装置4cに提供する。これにより出力装置4cは、ユーザCがプレイ中のゲーム画像に、ユーザAから配信されるゲーム画像の表示領域230を重畳した表示画像を出力する。なおピクチャインピクチャ表示形式において、表示領域230の位置および大きさは、ユーザCが自由に設定できてよい。
図15は、画面分割形式による表示例を示す。画面分割形式が設定されている場合、画像処理部140cは、第1画像取得部188cが取得した画像データを縮小してシステム用バッファ154cに一時記憶し、実行部110cが生成したゲーム画像データを縮小してゲーム用バッファ152cに一時記憶する。画像処理部140cは、ゲーム用バッファ152aに一時記憶したユーザCのゲーム画像データと、システム用バッファ154cに一時記憶したユーザAのゲーム画像データを合成した表示画像を生成して、出力装置4cに提供する。画面分割形式では、出力装置4cの画面を分割して、ユーザCがプレイ中のゲーム画像と、ユーザAから配信されるゲーム画像とを並べて表示する。なお画面分割形式において、表示領域232の大きさは、ユーザCが自由に設定できてよい。
ピクチャインピクチャ表示形式または画面分割形式では、画像処理部140cが、配信サーバ9から配信されるゲーム画像を、ディスプレイの一部に表示する。配信される画像をディスプレイの一部に表示することで、ユーザCは、タイトル「コンバットフィールド」をプレイしながら、ユーザAのプレイ動画を見ることができる。
なおピクチャインピクチャ表示形式または画面分割形式では、ユーザAのゲーム画像を縮小してディスプレイの一部に表示するため、画像の解像度は高くなくてよい。そのため要求送信部180cは、1080pよりも低い解像度のゲーム画像データの送信を要求してよい。この場合、配信サーバ9における配信部314は、情報処理装置10cにおいて表示される態様に応じた解像度の画像データを、情報処理装置10cに配信する。したがって通信リソースを効率的に利用することが可能となる。
図3に戻って、ユーザAは、ゲームプレイ中、入力装置6の所定のボタンを短押しすると、受付部104aがボタン操作を受け付け、操作情報をシステム画像生成部120aに供給する。システム画像生成部120aは、ボタン操作情報を、システム画像の表示要求として取得して、状況情報取得部164aを呼び出す。
状況情報取得部164aは、管理サーバ5から各ユーザの状況を示す情報を取得し、システム画像生成部120aに提供する。ルーム画像生成部124aは、ユーザAが参加しているチャットルームの状況を示すシステム画像データを生成して、画像処理部140aに供給する。画像処理部140aは、システム画像データをシステム用バッファ154aに一時記憶し、フレームバッファ150aに一時記憶した画像データから表示画像を生成して、出力装置4aに提供する。
図16は、ユーザAのゲーム画像に重畳表示されたシステム画像200の例を示す。図8に示すシステム画像200と比べると、視聴メンバ表示領域212に、ユーザAがスクリーンシェアリングしているゲーム画像を、ユーザCが視聴していることを示す情報が表示されている。ユーザAは、視聴メンバ表示領域212を見ることで、配信しているゲーム画像を視聴しているメンバが存在することを認識できる。
上記したようにシェアプレイ開始ボタン210は、ユーザAが共有態様2または共有態様3であるシェアプレイを開始するためのボタンであり、プレイ中のゲームにメンバを招待する操作を行うための操作要素である。ユーザAがシェアプレイ開始ボタン210を操作して、シェアプレイを一緒に行うメンバを選択すると、招待送信部172aが、選択したメンバをシェアプレイに招待することを示す情報を、管理サーバ5に送信する。管理サーバ5は、選択されたメンバの情報処理装置10に、シェアプレイへの招待を通知する。実施例では、ユーザAが、ユーザCをシェアプレイに招待する。
図17は、ユーザCの出力装置4cに表示されるメッセージ222の例を示す。なお画像処理部140cは、ピクチャインピクチャ形式で、ユーザAが配信しているゲーム画像を表示領域230に表示している。
通知生成部122cは、管理サーバ5からの通知をもとにメッセージ222を含むシステム画像データを生成して、画像処理部140cに供給する。画像処理部140cは、システム画像データをシステム用バッファ154cに一時記憶し、フレームバッファ150cに一時記憶したゲーム画像データおよびシステム画像データから表示画像を生成して、出力装置4cに提供する。ユーザCはメッセージ222を見ることで、ユーザAが自分をシェアプレイに招待したことを認識する。なお通知生成部122cは、ユーザAがシェアプレイに招待したことを、音声出力によりユーザCに伝えてもよい。
メッセージ222が表示されている状態で、ユーザCが、入力装置6の所定のボタンを押下すると、受諾送信部184cは、ユーザCを特定する情報とともに、招待を受諾することを示す情報を管理サーバ5に送信する。
なおメッセージ222は、たとえば5秒程度だけ表示される。メッセージ222が消えた後、ユーザCは、システム画像を表示することで、ユーザAからの招待を受諾できる。ユーザCが入力装置6の所定のボタンを短押しすると、受付部104cがボタン操作を受け付け、操作情報をシステム画像生成部120cに供給する。システム画像生成部120cは、ボタン操作情報をシステム画像の表示要求として取得して、状況情報取得部164cを呼び出す。
状況情報取得部164cは、管理サーバ5から各ユーザの状況を示す情報を取得し、システム画像生成部120cに提供する。システム画像生成部120cにおいて、ルーム画像生成部124cは、ユーザCが参加しているチャットルームの状況を示すシステム画像データを生成して、画像処理部140cに供給する。画像処理部140cは、システム画像データをシステム用バッファ154cに一時記憶し、フレームバッファ150cに一時記憶したゲーム画像データおよびシステム画像データから表示画像を生成して、出力装置4cに提供する。
図18は、ユーザCのゲーム画像に重畳表示されたシステム画像200の例を示す。図12に示すシステム画像200と比べると、ユーザCがシェアプレイに招待されていることで、シェアプレイホスト表示領域216に、ユーザAがユーザCをシェアプレイに招待していることを示す情報が表示されている。ユーザCは、シェアプレイホスト表示領域216を見ることで、ユーザAが自分をシェアプレイに招待していることを認識できる。
シェアプレイ参加ボタン214は、ユーザCがシェアプレイに参加するためのボタンであり、ユーザCがユーザAからの招待を受諾する操作を行うための操作要素である。ユーザCがシェアプレイ参加ボタン214を操作すると、受諾送信部184cが、ユーザAによるゲームプレイに関する招待を受諾することを示す情報を管理サーバ5に送信する。管理サーバ5は、ユーザAの情報処理装置10aに、ユーザCが招待を受諾したことを示す情報を通知する。
図3に戻って、受付部104aが、ユーザCが招待を受諾したことを示す情報を受け付けると、接続処理部174aは、ユーザCの情報処理装置10cと、P2Pで接続するための処理を実施する。P2Pで接続すると、第2送信処理部170aは、P2P接続した情報処理装置10cに、画像処理部140aによりゲーム用バッファ152aから読み出されたゲーム画像のストリーミングデータを送信する。つまり第2送信処理部170aは、
配信サーバ9を介さずに、招待を受諾したユーザCの情報処理装置10cに、ゲームプレイのためのゲーム画像を送信する。送信するストリーミングデータは、配信サーバ9に送信しているストリーミングデータと同じであってよい。なお通信部102aと配信サーバ9の間の接続状態と、通信部102aと情報処理装置10cの間の接続状態とが異なっていれば、それぞれの接続状態に応じた解像度のストリーミングデータが送信されてよい。
図19は、ユーザCの出力装置4cに表示されたシステム画像の例を示す。図18に示すシステム画像200において、ユーザCがシェアプレイ参加ボタン214を操作すると、バックグランドでは、情報処理装置10cと情報処理装置10aとがP2Pで接続するための処理が実行される。そこでシステム画像生成部120cは、図19に示すようなシステム画像を生成して、ゲームプレイが開始されるまで、接続中であることをユーザCに認識させる。
なお画像処理部140cはゲームプレイの準備が整うまで、配信サーバ9から取得したゲーム画像を表示領域230に表示し続ける。これによりユーザCは、ゲームプレイの開始を待機している間、ユーザAがプレイしている様子を見ることができる。なおゲームプレイの準備が整うまでとは、P2Pの接続が完了して、第2送信処理部170aがゲーム画像のストリーミングデータを送信するまでの期間を意味する。
なお画像処理部140cは、ピクチャインピクチャ表示形式以外に、画面分割形式で配信画像が表示されている場合も、同様に、ゲームプレイの準備が整うまで、配信サーバ9から取得したゲーム画像を表示領域232に表示し続けてよい。このように配信画像をディスプレイの一部に表示している場合に、ユーザCがシェアプレイ参加ボタン214を操作した場合は、画像処理部140cが、配信画像を表示し続けることで、接続確立の待機中も、ユーザCがユーザAの配信画像を見ることが可能となる。
P2P接続が確立された後、第2送信処理部170aは、招待を受諾したユーザCの情報処理装置10cに、ゲームプレイのためのゲーム画像を送信し、情報処理装置10cにおいて第2画像取得部190cは、配信サーバ9を介さずに、情報処理装置10aから、ゲームプレイのためのゲーム画像を取得する。
図20は、ユーザCがプレイするゲーム画像を示す。メッセージ224がゲーム画像に重畳表示されて、ユーザCはシェアプレイが開始したことを認識する。画像処理部140cは、第2画像取得部190cが取得した画像データをシステム用バッファ154cに一時記憶し、一時記憶した画像データから表示画像を生成して、出力装置4cに提供する。これにより出力装置4cは、ユーザAから配信されるゲーム画像を表示する。ユーザCは、表示されるゲーム画像を見ながら、シェアプレイを実施する。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
1・・・画像共有システム、4・・・出力装置、5・・・管理サーバ、6・・・入力装置、9・・・配信サーバ、10a,10b,10c,10d・・・情報処理装置、20・・・メイン電源ボタン、100a,100c・・・処理部、102a,102c・・・通信部、104a,104c・・・受付部、110a,110c・・・実行部、120a,120c・・・システム画像生成部、122a,122c・・・通知生成部、124a,124c・・・ルーム画像生成部、140a,140c・・・画像処理部、150a,150c・・・フレームバッファ、152a,152c・・・ゲーム用バッファ、154a,154c・・・システム用バッファ、160a,160c・・・共有処理部、162a,162c・・・状況情報送信部、164a,164c・・・状況情報取得部、166a・・・送信処理部、168a・・・第1送信処理部、170a・・・第2送信処理部、172a・・・招待送信部、174a・・・接続処理部、180c・・・要求送信部、182c・・・招待受付部、184c・・・受諾送信部、186c・・・画像取得部、188c・・・第1画像取得部、190c・・・第2画像取得部、300・・・制御部、302・・・通信部、310・・・画像取得部、312・・・変換部、314・・・配信部。

Claims (5)

  1. 1つのルームに参加する複数のメンバの状況を管理する管理サーバと、画像を配信する配信サーバとに接続する情報処理装置であって、
    配信サーバに、画像を送信する送信処理部と、
    管理サーバから、複数のメンバの状況を示す情報を取得する状況情報取得部と、
    複数のメンバの状況を示す情報にもとづいて、画像を送信しているメンバに関する情報と、画像を送信していないメンバに関する情報とを異なる領域に含めたメンバ表示欄を生成するルーム画像生成部と、
    前記ルーム画像生成部は、
    前記送信処理部が配信サーバに送信している画像を見ているメンバを示す情報を表示する、
    ことを特徴とする情報処理装置。
  2. 前記ルーム画像生成部は、プレイ中のゲームにメンバを招待する操作を行うための操作要素を表示する、
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 招待したメンバが招待を受諾すると、前記送信処理部は、配信サーバを介さずに、招待を受諾したメンバの情報処理装置に、ゲームプレイのための画像を送信する、
    ことを特徴とする請求項2に記載の情報処理装置。
  4. 画像を配信する配信サーバに、画像を送信するステップと、
    1つのルームに参加する複数のメンバの状況を管理する管理サーバから、複数のメンバの状況を示す情報を取得するステップと、
    複数のメンバの状況を示す情報にもとづいて、画像を送信しているメンバに関する情報と、画像を送信していないメンバに関する情報とを異なる領域に含むメンバ表示欄を表示するステップと、
    配信サーバに送信している画像を見ているメンバを示す情報を表示するステップと、
    ことを特徴とする画像共有方法。
  5. コンピュータに、
    画像を配信する配信サーバに、画像を送信する機能と、
    1つのルームに参加する複数のメンバの状況を管理する管理サーバから、複数のメンバの状況を示す情報を取得する機能と、
    複数のメンバの状況を示す情報にもとづいて、画像を送信しているメンバに関する情報と、画像を送信していないメンバに関する情報とを異なる領域に含むメンバ表示欄を表示する機能と、
    配信サーバに送信している画像を見ているメンバを示す情報を表示する機能と、
    を実現させるためのプログラム。
JP2020099643A 2020-06-08 2020-06-08 情報処理装置および画像共有方法 Active JP7300421B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020099643A JP7300421B2 (ja) 2020-06-08 2020-06-08 情報処理装置および画像共有方法
US17/921,707 US20230158412A1 (en) 2020-06-08 2021-06-03 Information processing device and image sharing method
PCT/JP2021/021157 WO2021251256A1 (ja) 2020-06-08 2021-06-03 情報処理装置および画像共有方法
EP21822798.1A EP4162996A1 (en) 2020-06-08 2021-06-03 Information processing device, and image sharing method
CN202180028442.5A CN115397529A (zh) 2020-06-08 2021-06-03 信息处理设备和图像共享方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020099643A JP7300421B2 (ja) 2020-06-08 2020-06-08 情報処理装置および画像共有方法

Publications (2)

Publication Number Publication Date
JP2021192756A true JP2021192756A (ja) 2021-12-23
JP7300421B2 JP7300421B2 (ja) 2023-06-29

Family

ID=78846209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020099643A Active JP7300421B2 (ja) 2020-06-08 2020-06-08 情報処理装置および画像共有方法

Country Status (5)

Country Link
US (1) US20230158412A1 (ja)
EP (1) EP4162996A1 (ja)
JP (1) JP7300421B2 (ja)
CN (1) CN115397529A (ja)
WO (1) WO2021251256A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014018324A (ja) * 2012-07-13 2014-02-03 Konami Digital Entertainment Co Ltd ゲーム管理装置、ゲームシステム、ゲーム管理方法及びプログラム
JP2016046538A (ja) * 2014-08-19 2016-04-04 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、制御データ送信方法および情報処理システム
WO2017010253A1 (ja) * 2015-07-13 2017-01-19 株式会社ディー・エヌ・エー 端末装置の出力画面を配信するシステム、方法、及びプログラム
US20180373405A1 (en) * 2017-06-27 2018-12-27 Microsoft Technology Licensing, Llc Targeted interest and content sharing platforms
JP2019097888A (ja) * 2017-12-01 2019-06-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびゲーム画像配信方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014018324A (ja) * 2012-07-13 2014-02-03 Konami Digital Entertainment Co Ltd ゲーム管理装置、ゲームシステム、ゲーム管理方法及びプログラム
JP2016046538A (ja) * 2014-08-19 2016-04-04 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、制御データ送信方法および情報処理システム
WO2017010253A1 (ja) * 2015-07-13 2017-01-19 株式会社ディー・エヌ・エー 端末装置の出力画面を配信するシステム、方法、及びプログラム
US20180373405A1 (en) * 2017-06-27 2018-12-27 Microsoft Technology Licensing, Llc Targeted interest and content sharing platforms
JP2019097888A (ja) * 2017-12-01 2019-06-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびゲーム画像配信方法

Also Published As

Publication number Publication date
EP4162996A1 (en) 2023-04-12
JP7300421B2 (ja) 2023-06-29
WO2021251256A1 (ja) 2021-12-16
US20230158412A1 (en) 2023-05-25
CN115397529A (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
JP6612086B2 (ja) 情報処理装置および視聴リクエスト送信方法
US9908044B2 (en) Information processing system and information processing apparatus
JP6782173B2 (ja) 情報処理装置および音声データ通信管理方法
WO2018128166A1 (ja) 情報処理装置およびアプリケーション画像配信方法
WO2021251257A1 (ja) 配信サーバおよび画像配信方法
WO2019107274A1 (ja) 情報処理装置およびゲーム画像配信方法
US20160250556A1 (en) Information processing apparatus, image data distribution method and program
JP7069249B2 (ja) 情報処理装置および画像共有方法
WO2021251256A1 (ja) 情報処理装置および画像共有方法
WO2019107275A1 (ja) 情報処理装置およびゲーム画像配信方法
WO2021224972A1 (ja) 中継サーバおよび配信画像生成方法
JP7351945B2 (ja) 情報処理装置およびゲーム画像表示方法
JP7139473B2 (ja) 情報処理装置およびゲーム画像表示方法
JP7365952B2 (ja) 情報処理装置および画像配信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230619

R150 Certificate of patent or registration of utility model

Ref document number: 7300421

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150