JP2021164626A - ゲームストリーミングのための方法および装置 - Google Patents
ゲームストリーミングのための方法および装置 Download PDFInfo
- Publication number
- JP2021164626A JP2021164626A JP2020124151A JP2020124151A JP2021164626A JP 2021164626 A JP2021164626 A JP 2021164626A JP 2020124151 A JP2020124151 A JP 2020124151A JP 2020124151 A JP2020124151 A JP 2020124151A JP 2021164626 A JP2021164626 A JP 2021164626A
- Authority
- JP
- Japan
- Prior art keywords
- video
- screen components
- streaming
- quality
- video quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000004891 communication Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/85—Providing additional services to players
- A63F13/86—Watching games played by other players
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
- A63F2300/534—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for network load management, e.g. bandwidth optimization, latency reduction
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
- A63F2300/535—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for monitoring, e.g. of user parameters, terminal parameters, application parameters, network parameters
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
- A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】ゲームストリーミングのための方法および装置を提供する。【解決手段】ストリーミング方法は、ゲームプレイ映像を構成する複数の画面構成要素のうち、一部の画面構成要素を含む第１映像および複数の画面構成要素のうち、残りの画面構成要素を含む第２映像を生成するステップと、第１映像の映像品質が第２映像の映像品質以上になるように、第１映像および第２映像のそれぞれの映像品質を決定するステップと、決定された映像品質に基づいて第１映像および第２映像をそれぞれエンコーディングするステップと、エンコーディングされた第１映像およびエンコーディングされた第２映像をクライアント装置にストリーミングするステップと、を含む。【選択図】図１
Description
本発明は、ゲームストリーミング技術に関する。
近年、有線／無線ネットワーク技術の発展によって、ユーザーが高性能の装置を有さなくても高仕様のゲームをプレイできるようにするためのゲームストリーミングサービスが提供されている。ゲームストリーミングサービスは、遠隔に存在する高性能の装置で実行されるゲームのゲームプレイ映像をユーザーが用いるクライアント装置にストリーミングして再生されるようにし、クライアント装置で再生された画面に基づいたユーザー入力をゲームが実行される装置に配信してゲームに反映させることにより、ユーザーがクライアント装置の性能の制約なしに、高仕様のゲームをプレイできるようにするためのサービスである。
このようなゲームストリーミングサービスは、ネットワーク環境に応じてストリーミングされる映像の品質を調節する必要があるが、ストリーミングされる映像の品質を下げる場合、クライアント装置で再生されるゲームプレイ映像の明示性が低下する問題がある。また、明示性の確保のために、ストリーミングされる映像の品質を高める場合、エンコーディングおよびデコーディングの処理時間とネットワークの配信遅延のために、ゲームプレイのためのユーザー入力がゲーム内にすぐに反映されないため、ゲームプレイの反応性が低下する問題点が発生する。
従って、本発明の目的は、ゲームストリーミングのための方法および装置を提供することにある。
上記目的を達成するための本発明に係るストリーミング方法は、ゲームプレイ映像を構成する複数の画面構成要素のうち、一部の画面構成要素を含む第１映像および前記複数の画面構成要素のうち、残りの画面構成要素を含む第２映像を生成するステップと、前記第１映像の映像品質が前記第２映像の映像品質以上になるように、前記第１映像および前記第２映像のそれぞれの映像品質を決定するステップと、前記決定された映像品質に基づいて前記第１映像および前記第２映像をそれぞれエンコーディングするステップと、前記エンコーディングされた第１映像および前記エンコーディングされた第２映像をクライアント装置にストリーミングするステップと、を含む。
前記第１映像は、前記複数の画面構成要素のうち、予め設定された１つ以上の画面構成要素を含み得る。
前記予め設定された１つ以上の画面構成要素は、ＵＩ（User Interface）客体を含み得る。
前記生成するステップは、前記複数の画面構成要素のうち、少なくとも一部について予め設定された優先順位および前記クライアント装置のネットワーク状態に基づいて前記一部の画面構成要素を決定し得る。
前記決定するステップは、予め設定された映像品質に基づいて前記第１映像の映像品質を決定し得る。
前記決定するステップは、前記予め設定された映像品質を有するように、前記第１映像の映像品質を決定し得る。
前記決定するステップは、前記クライアント装置のネットワーク状態に基づいて前記第１映像の映像品質を決定するが、前記第１映像の映像品質が前記予め設定された映像品質以上に維持されるように、前記第１映像の映像品質を決定し得る。
前記決定するステップは、前記クライアント装置のネットワーク状態に基づいて前記第２映像の映像品質を決定し得る。
前記複数の画面構成要素のうち、少なくとも一部は、ゲームサーバによって行われた演算結果に基づいて決定され得る。
本発明に係るストリーミング装置は、１つ以上のハードウェアプロセッサと、１つ以上の通信インターフェースと、を含み、前記１つ以上のハードウェアプロセッサは、ゲームプレイ映像を構成する複数の画面構成要素のうち、一部の画面構成要素を含む第１映像および前記複数の画面構成要素のうち、残りの画面構成要素を含む第２映像を生成し、前記第１映像の映像品質が前記第２映像の映像品質以上になるように、前記第１映像および前記第２映像のそれぞれの映像品質を決定し、前記決定された映像品質に基づいて前記第１映像および前記第２映像をそれぞれエンコーディングし、前記１つ以上の通信インターフェースを介して、前記エンコーディングされた第１映像および前記エンコーディングされた第２映像をクライアント装置にストリーミングする。
前記第１映像は、前記複数の画面構成要素のうち、予め設定された１つ以上の画面構成要素を含み得る。
前記予め設定された１つ以上の画面構成要素は、ＵＩ（User Interface）客体を含み得る。
前記１つ以上のハードウェアプロセッサは、前記複数の画面構成要素のうち、少なくとも一部について予め設定された優先順位および前記クライアント装置のネットワーク状態に基づいて前記一部の画面構成要素を決定し得る。
前記１つ以上のハードウェアプロセッサは、予め設定された映像品質に基づいて前記第１映像の映像品質を決定し得る。
前記１つ以上のハードウェアプロセッサは、前記予め設定された映像品質を有するように、前記第１映像の映像品質を決定し得る。
前記１つ以上のハードウェアプロセッサは、前記クライアント装置のネットワーク状態に基づいて前記第１映像の映像品質を決定するが、前記第１映像の映像品質が前記予め設定された映像品質以上に維持されるように、前記第１映像の映像品質を決定し得る。
前記１つ以上のハードウェアプロセッサは、前記クライアント装置のネットワーク状態に基づいて前記第２映像の映像品質を決定し得る。
前記複数の画面構成要素のうち、少なくとも一部は、ゲームサーバによって行われた演算結果に基づいて決定され得る。
本発明によると、ゲームプレイ映像を構成する複数の画面構成要素のうち、一部を含む第１映像と複数の画面構成要素のうち、残りを構成する第２映像を生成した後、第１映像の映像品質が第２映像の映像品質以上になるようにエンコーディングしてクライアント装置にストリーミングすることにより、クライアント装置で再生されるゲームプレイ映像の明示性を確保するとともに、ゲームプレイの反応性を向上させ得る。
以下、図面を参照して具体的な実施形態を説明する。以下の具体的な説明は、本明細書で記述された方法、装置および／またはシステムについての包括的な理解を助けるために提供される。しかし、これは例示に過ぎず、本発明は、これに限定されない。
実施例を説明するにおいて、係る公知技術についての具体的な説明が開示される実施例の要旨を不必要に曖昧にし得ると判断される場合には、その詳細な説明を省略する。そして、後述される用語は、開示される実施例での機能を考慮して定義された用語として、これはユーザー、運用者の意図または慣例などによって変わることができる。したがって、その定義は、本明細書の全般にわたる内容に基づいてなされるべきである。詳細な説明で使用される用語は、単に本発明の実施例を記述するためのものであり、決して制限的であってはならない。明確に別の方法で使用されていない限り、単数形の表現は、複数形の意味を含む。本説明において、「含み」または「備え」のような表現は、ある特性、数字、ステップ、動作、要素、これらの一部または組み合せを示すためのものであり、記述されたもの以外に、１つまたはそれ以上の他の特性、数字、ステップ、動作、要素、これらの一部または組み合せの存在または可能性を排除するように解釈されてはならない。
図１は、一実施例によるゲームストリーミングシステムの構成図である。
図１を参照すると、一実施例によるゲームストリーミングシステム１００は、ストリーミング装置１１０およびクライアント装置１２０を含む。
一実施例によると、ゲームストリーミングシステム１００は、ユーザーの入力に基づいてクライアント装置１２０から受信されるゲーム操作信号に応じて遠隔で実行されるゲームのゲームプレイ映像をクライアント装置１２０にストリーミング（Streaming）し、ユーザーがクライアント装置１２０で再生されるゲームプレイ映像を見ながらゲームをプレイできるようにするゲームストリーミングを支援するためのシステムである。
ストリーミング装置１１０は、ストリーミング対象であるゲームのゲームプレイ映像をエンコーディングしてクライアント装置１２０にストリーミングし、クライアント装置１２０からユーザーの入力に基づいて生成されたゲーム操作信号を受信するための装置である。
一実施例によると、ストリーミング装置１１０は、クライアント装置１２０から受信されたゲーム操作信号に応じてゲームを実行させ、ゲーム実行結果に基づいてゲームプレイ映像を生成する装置であり得る。例えば、ストリーミング装置１１０は、デスクトップＰＣ（Desktop PC）、ゲームコンソール（Game Console）のようにクライアント装置１２０のユーザーが所有したコンピューティング装置であり得る。この場合、ゲーム実行のために必要なすべての演算とゲームプレイ映像の生成は、ストリーミング装置１１０によって行われ得る。しかし、ストリーミング装置１１０で実行されるゲームがゲームサーバ（図示せず）と連動して提供されるオンラインゲームの場合、ゲーム実行のために必要な演算のうち、少なくとも一部は、ゲームサーバによって行われ得る。
他の実施例によると、ゲーム実行のために必要な演算のうち、少なくとも一部は、ストリーミング装置１１０と有線／無線ネットワークを介して接続される１つ以上の外部装置によって分散して行われ得、この場合、ストリーミング装置１１０は、１つ以上の外部装置によって分散して行われる演算結果に基づいてゲームプレイ映像を生成し得る。
また他の実施例によると、ストリーミング装置１１０は、クラウドコンピューティング環境内に含まれた１つ以上のサーバであり得、この場合、ゲーム実行のために必要なすべての演算とゲームプレイ映像の生成は、当該の１つ以上のサーバによって分散して行われ得る。
クライアント装置１２０は、ゲームプレイのためにユーザーによって用いられる装置である。具体的に、クライアント装置１２０は、ストリーミング装置１１０によってエンコーディングされてストリーミングされるゲームプレイ映像をデコーディングし、クライアント装置１２０のディスプレー手段を介して表示し、ゲーム操作のためにクライアント装置１２０の入力手段を介して入力されたユーザー入力に対応するゲーム操作信号をストリーミング装置１１０に提供する。
一方、クライアント装置１２０は、例えば、タブレット ＰＣ（Tablet PC）、ラップトップ（Laptop PC）、スマートホン（Smartphone）、スマートＴＶ（Smart TV）などであり得るが、有線／無線ネットワークを用いてストリーミング装置１１０からストリーミングされるゲームプレイ映像を受信してデコーディングし、デコーディングされたゲームプレイ映像を出力できる装置であれば、必ずしも特定の装置として限定されるものではない。
一方、図示された例では、ストリーミング装置１１０とクライアント装置１２０との間に直接的なデータ送受信が行われるものと図示しているが、実施例により、ストリーミング装置１１０からストリーミングされるデータを受信してクライアント装置１２０に配信し、クライアント装置１２０から送信されるゲーム操作信号を受信し、ストリーミング装置１１０に配信するための別の中継サーバ（図示せず）が存在し得る。
図２は、一実施例によるストリーミング装置１１０の構成図である。
図２を参照すると、一実施例によるストリーミング装置１１０は、映像生成部１１１、エンコーディング部１１２および送信部１１３を含む。
一実施例において、映像生成部１１１、エンコーディング部１１２および送信部１１３は、それぞれ物理的に区分された１つ以上の装置を用いて実装するか、または１つ以上のハードウェアプロセッサまたは１つ以上のハードウェアプロセッサおよびソフトウェアの結合によって実装し得、図示された例とは異なり、具体的な動作において明確に区分されないことがある。
映像生成部１１１は、ゲームプレイ映像を構成する複数の画面構成要素のうち、一部を含む第１映像および複数の画面構成要素のうち、残りを含む第２映像を生成する。
具体的に、映像生成部１１１は、ゲームプレイ映像を構成する複数の画面構成要素のうち、第１映像に含まれる画面構成要素を決定した後、決定された画面構成要素を含む第１映像と残りの画面構成要素を含む第２映像を個別にレンダリングし、第１映像および第２映像を生成し得る。
このとき、画面構成要素は、ゲームプレイ映像内にイメージあるいはテキストの形態に表現されるグラフィック客体を意味し得る。例えば、画面構成要素は、ゲームのプレイシーン（Scene）を表現するためのシーンオブジェクト（例えば、ユーザーのゲームキャラクター、ＮＰＣ（Non-Player Character）、背景イメージ、ゲームキャラクターの体力ゲージ、ゲームキャラクターのダメージ数値など）およびユーザーインターフェース（User Interface、ＵＩ）を表現するためのＵＩ客体（例えば、メニューウィンドウ、スキル選択ウィンドウ、ＵＩイメージ、チャットメッセージ、イベント通知メッセージなど）を含み得る。しかし、画面構成要素は、必ずしも前述した例に限定されるものではなく、ゲームのジャンルに応じて異なり得る。
一実施例によると、第１映像に含まれる画面構成要素は、ゲームプレイ映像を構成する複数の画面構成要素のうち、予め設定された１つ以上の画面構成要素を含み得る。このとき、予め設定された１つ以上の画面構成要素は、例えば、前述したＵＩ客体を含み得るが、必ずしもこれに限定されるものではない。例えば、ストリーミング装置１１０を用いてゲームストリーミングサービスを提供するサービス運営者、ゲーム開発者またはクライアント装置１２０のユーザーは、ゲームプレイ映像を構成する複数の画面構成要素のうち、ゲームプレイ映像内で明確に表現される必要がある１つ以上の画面構成要素を第１映像に含まれる画面構成要素として予め設定し得る。
一方、一実施例によると、第１映像に含まれる画面構成要素は、ゲームプレイ映像を構成する複数の画面構成要素のうち、少なくとも一部について予め設定された優先順位およびクライアント装置１２０のネットワーク状態に基づいて決定され得る。
例えば、複数の画面構成要素のうち、一部について１順位、２順位および３順位のうち、１つの優先順位が予め設定されている場合を仮定すれば、映像生成部１１１は、クライアント装置１２０のネットワーク状態が既に設定された第１基準値以下の場合、１順位に設定された画面構成要素が第１映像に含まれるようにできる。また、映像生成部１１１は、クライアント装置１２０のネットワーク状態が既に設定された第１基準値を超過し、既に設定された第２基準値以下の場合、１順位に設定された画面構成要素および２順位に設定された画面構成要素が第１映像に含まれるようにできる。また、映像生成部１１１は、クライアント装置１２０のネットワーク状態が既に設定された第２基準値を超過する場合、１順位に設定された画面構成要素、２順位に設定された画面構成要素および３順位に設定された画面構成要素が第１映像に含まれるようにできる。
一方、前述した例において、クライアント装置１２０のネットワーク状態は、例えば、帯域幅（Bandwidth）、パケット損失（Packet Loss）およびパケット遅延（Packet Delay）のうち、少なくとも１つに基づいて決定され得るが、ネットワーク状態を決定するための基準および測定方式は、実施例によって変更できる。
一方、一実施例によると、ゲームプレイ映像がゲームサーバ（図示せず）と連動して提供されるオンラインゲームのゲームプレイ映像である場合、映像生成部１１１は、ゲームサーバからゲーム実行のために必要な複数の演算のうち、少なくとも一部についての演算結果を受信し、受信された演算結果に基づいてゲームプレイ映像に含まれる複数の画面構成要素のうち、少なくとも一部を決定し得る。
具体的に、クライアント装置１２０から受信されたゲーム操作信号に応じるゲーム実行のためにゲームサーバで行われるべきである１つ以上の演算が存在する場合、映像生成部１１１は、当該の１つ以上の演算の遂行をゲームサーバに要請し得る。以後、映像生成部１１１は、ゲームサーバから遂行要請した演算についての演算結果を受信し、受信された演算結果に基づいてゲームプレイ映像に含まれる複数の画面構成要素のうち、少なくとも一部を決定し得る。
例えば、クライアント装置１２０から受信されたゲーム操作信号に応じてゲーム内で実行される動作が、ユーザーキャラクターがモンスターを攻撃する動作であり、攻撃結果（例えば、攻撃の成功可否、モンスターが受けたダメージ数値など）を決定するための演算がゲームサーバによって行われるべきである場合、映像生成部１１１は、ゲームサーバに攻撃結果を決定するための演算の遂行を要請し得る。以後、映像生成部１１１は、ゲームサーバから要請した演算の演算結果が受信された場合、受信された演算結果に応じてゲームプレイ映像に含まれる画面構成要素（例えば、モンスター体力ゲージ、モンスターが受けたダメージ数値を表すテキストなど）を決定し得る。
図３は、ゲームプレイ映像についての第１映像および第２映像を生成する一例を示す図面である。
図３に図示された例において、ゲームプレイ映像３１０は、ユーザーのゲームキャラクター３１１、ゲームキャラクター３１１の名称３１２および体力ゲージ３１３、敵キャラクター３１４、敵キャラクター３１４の名称３１５および体力ゲージ３１６、ＵＩイメージ３１７,３１８、ゲーム内に発生したイベントを表示するイベント通知メッセージ３１９のような画面構成要素を含む。
この場合、映像生成部１１１は、ゲームプレイ映像３１０に含まれる画面構成要素３１１ないし３１９のうち、ＵＩイメージ３１７，３１８およびイベント通知メッセージ３１９だけを含む第１映像３２０および残りの画面構成要素３１１ないし３１６を含む第２映像３３０をそれぞれ生成し得る。
このとき、第１映像３２０に含まれた画面構成要素３１７，３１８，３１９は、例えば、第１映像３２０に含まれるように予め設定された画面構成要素であり得るが、実施例によって予め設定された優先順位およびクライアント装置１２０のネットワーク状態に基づいて決定された画面構成要素であり得る。
また、図２を参照すると、エンコーディング部１１２は、第１映像の映像品質が第２映像の映像品質以上になるように、第１映像および第２映像のそれぞれについての映像品質を決定し、決定された映像品質に基づいて第１映像および第２映像のそれぞれをエンコーディングする。
このとき、一実施例によると、映像品質は、解像度、フレームレート（Frame Rate）、圧縮率、ビットレート（Bit Rate）のうち、少なくとも１つを含み得る。
一実施例によると、エンコーディング部１１２は、例えば、Ｈ．２６４、ＭＰＥＧ−２、ＭＰＥＧ−４のような標準動画コデック（Codec）を用いて第１映像および第２映像のそれぞれをエンコーディングすることができる。しかし、エンコーディング部１１２は、前述した例の外にも、様々な動画エンコーディング方式を用いて第１映像および第２映像のそれぞれをエンコーディングすることができ、第１映像および第２映像のそれぞれをエンコーディングするための動画エンコーディング方式は、同じか、または異なり得る。
一方、一実施例によると、エンコーディング部１１２は、予め設定された映像品質に基づいて第１映像の映像品質を決定し得る。
例えば、エンコーディング部１１２は、第１映像が予め設定された映像品質を有するように、第１映像の映像品質を決定し得る。すなわち、エンコーディング部１１２は、第１映像の映像品質が予め設定された映像品質に維持されるようにできる。
他の例として、エンコーディング部１１２は、クライアント装置１２０のネットワーク状態に基づいて第１映像の映像品質を決定するが、第１映像の映像品質が予め設定された映像品質以上に維持されるようにできる。具体的に、エンコーディング部１１２は、クライアント装置１２０のネットワーク状態に基づいて第１映像の解像度、フレームレート、圧縮率、ビットレートのうち、少なくとも１つを変更するが、変更された値が予め設定された値以上になるようにできる。
一方、一実施例によると、エンコーディング部１１２は、クライアント装置１２０のネットワーク状態に基づいて第２映像の映像品質を決定し得る。
具体的に、エンコーディング部１１２は、クライアント装置１２０のネットワーク状態に基づいて第２映像の解像度、フレームレート、圧縮率、ビットレートのうち、少なくとも１つを変更でき、第２映像の映像品質は、第１映像の映像品質以下であり得る。
送信部１１３は、エンコーディング部１１２によってエンコーディングされた第１映像および第２映像のそれぞれをクライアント装置１２０にストリーミングする。
具体的に、送信部１１３は、エンコーディングされた第１映像およびエンコーディングされた第２映像のそれぞれを例えば、リアルタイムストリーミングプロトコル（Real Time Streaming Protocol、ＲＴＳＰ）、ＨＬＳ（Http Live Streaming）のような公知されたストリーミングプロトコルによってストリーミングすることができる。
一方、クライアント装置１２０は、送信部１１３によってストリーミングされる第１映像および第２映像のそれぞれをデコーディングした後に、デコーディングされた第１映像および第２映像を合成し、ゲームプレイ映像を再生できる。
図４は、一実施例によるストリーミング方法のフローチャートである。
図４を参照すると、まずストリーミング装置１１０は、ゲームプレイ映像を構成する複数の画面構成要素のうち、一部を含む第１映像および複数の画面構成要素のうち、残りを含む第２映像を生成する（４１０）。
一実施例によると、第１映像に含まれる画面構成要素は、ゲームプレイ映像を構成する複数の画面構成要素のうち、予め設定された１つ以上の画面構成要素を含み得る。このとき、予め設定された１つ以上の画面構成要素は、ＵＩ客体を含み得る。
また、一実施例によると、第１映像に含まれる画面構成要素は、ゲームプレイ映像を構成する複数の画面構成要素のうち、少なくとも一部について予め設定された優先順位およびクライアント装置１２０のネットワーク状態に基づいて決定され得る。
以後、ストリーミング装置１１０は、生成された第１映像の映像品質が第２映像の映像品質以上になるように、第１映像および第２映像のそれぞれについての映像品質を決定する（４２０）。
一実施例によると、ストリーミング装置１１０は、予め設定された映像品質に基づいて第１映像の映像品質を決定し得る。
例えば、ストリーミング装置１１０は、第１映像が予め設定された映像品質を有するように、第１映像の映像品質を決定し得る。
他の例として、ストリーミング装置１１０は、クライアント装置１２０のネットワーク状態に基づいて第１映像の映像品質を決定するが、第１映像の映像品質が予め設定された映像品質以上に維持されるようにできる。
その後、ストリーミング装置１１０は、決定された映像品質に基づいて第１映像および第２映像をそれぞれエンコーディングする（４３０）。
その後、ストリーミング装置１１０は、エンコーディングされた第１映像および第２映像をクライアント装置１２０にストリーミングする（４４０）。
一方、図４に図示されたフローチャートにおいて、少なくとも一部のステップは、手順を変えて行ったり、他のステップと結合してともに行ったり、省略したり、細部ステップに分けて行ったり、または図示されない１つ以上のステップを付加して行い得る。
図５は、一実施例によるコンピューティング装置を含むコンピューティング環境を例示して説明するためのブロック図である。
図示された実施例において、各コンポーネントは、以下に記述されたものに加えて、異なる機能および能力を有し得、以下に記述されていないものに加えて、追加的なコンポーネントを含み得る。
図示されたコンピューティング環境１０は、コンピューティング装置１２を含む。一実施例において、コンピューティング装置１２は、図１および図２に図示されたストリーミング装置１１０に含まれる１つ以上のコンポーネントであり得る。
コンピューティング装置１２は、少なくとも１つのプロセッサ１４、コンピューター読み取り可能な格納媒体１６および通信バス１８を含む。プロセッサ１４は、コンピューティング装置１２をして前述した例示的な実施例によって動作させることができる。例えば、プロセッサ１４は、コンピューター読み取り可能な格納媒体１６に格納された１つ以上のプログラムを実行し得る。前記１つ以上のプログラムは、１つ以上のコンピューター実行可能な命令語を含み得、前記コンピューター実行可能な命令語は、プロセッサ１４によって実行される場合、コンピューティング装置１２をして例示的な実施例による動作を実行させるように構成できる。
コンピューター読み取り可能な格納媒体１６は、コンピューター実行可能な命令語ないしプログラムコード、プログラムデータおよび／または他の適した形態の情報を格納するように構成される。コンピューター読み取り可能な格納媒体１６に格納されたプログラム２０は、プロセッサ１４によって実行可能な命令語の集合を含む。一実施例における、コンピューター読み取り可能な格納媒体１６は、メモリ（ランダムアクセスメモリのような揮発性メモリ、不揮発性メモリ、またはこれらの適切な組み合わせ）、１つ以上の磁気ディスク格納デバイス、光学ディスク格納デバイス、フラッシュメモリデバイス、その他、コンピューティング装置１２によってアクセスされ、欲しい情報を格納できる他の形態の格納媒体、またはこれらの適した組み合わせであり得る。
通信バス１８は、プロセッサ１４、コンピューター読み取り可能な格納媒体１６を含み、コンピューティング装置１２の他の様々なコンポーネントを相互接続する。
コンピューティング装置１２は、また１つ以上の入出力装置２４のためのインターフェースを提供する１つ以上の入出力インターフェース２２および１つ以上のネットワーク通信インターフェース２６を含み得る。入出力インターフェース２２およびネットワーク通信インターフェース２６は、通信バス１８に接続される。入出力装置２４は、入出力インターフェース２２を介してコンピューティング装置１２の他のコンポーネントに接続され得る。例示的な入出力装置２４は、ポインティング装置（マウスまたはトラックパッドなど）、キーボード、タッチ入力装置（タッチパッドまたはタッチスクリーンなど）、音声または音入力装置、様々な種類のセンサー装置および／または撮影装置のような入力装置、および／またはディスプレー装置、プリンター、スピーカーおよび／またはネットワークカードのような出力装置を含み得る。例示的な入出力装置２４は、コンピューティング装置１２を構成する一コンポーネントとしてコンピューティング装置１２の内部に含まれ得、コンピューティング装置１２とは区別される別の装置としてコンピューティング装置１２と接続され得る。
以上、代表的な実施例により、本発明について具体的に説明したが、本発明が属する技術分野で通常の知識を有する者は、前述した実施例について本発明の範疇から逸脱しない範囲内で様々な変形が可能であることを理解するであろう。したがって、本発明の権利の範囲は、説明された実施例に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどによって定められるべきである。
本発明は、ゲームストリーミング技術に利用できる。
１０ コンピューティング環境
１２ コンピューティング装置
１４ プロセッサ
１６ コンピューター読み取り可能な格納媒体
１８ 通信バス
２０ プログラム
２２ 入出力インターフェース
２４ 入出力装置
２６ ネットワーク通信インターフェース
１００ ゲームストリーミングシステム
１１０ ストリーミング装置
１１１ 映像生成部
１１２ エンコーディング部
１１３ 送信部
１２０ クライアント装置
１２ コンピューティング装置
１４ プロセッサ
１６ コンピューター読み取り可能な格納媒体
１８ 通信バス
２０ プログラム
２２ 入出力インターフェース
２４ 入出力装置
２６ ネットワーク通信インターフェース
１００ ゲームストリーミングシステム
１１０ ストリーミング装置
１１１ 映像生成部
１１２ エンコーディング部
１１３ 送信部
１２０ クライアント装置
Claims (18)
- ゲームプレイ映像を構成する複数の画面構成要素のうち、一部の画面構成要素を含む第１映像および前記複数の画面構成要素のうち、残りの画面構成要素を含む第２映像を生成するステップと、
前記第１映像の映像品質が前記第２映像の映像品質以上になるように、前記第１映像および前記第２映像のそれぞれの映像品質を決定するステップと、
前記決定された映像品質に基づいて前記第１映像および前記第２映像をそれぞれエンコーディングするステップと、
前記エンコーディングされた第１映像および前記エンコーディングされた第２映像をクライアント装置にストリーミングするステップと、を含むストリーミング方法。 - 前記第１映像は、前記複数の画面構成要素のうち、予め設定された１つ以上の画面構成要素を含む請求項１に記載のストリーミング方法。
- 前記予め設定された１つ以上の画面構成要素は、ＵＩ（User Interface）客体を含む請求項２に記載のストリーミング方法。
- 前記生成するステップは、前記複数の画面構成要素のうち、少なくとも一部について予め設定された優先順位および前記クライアント装置のネットワーク状態に基づいて前記一部の画面構成要素を決定する請求項１に記載のストリーミング方法。
- 前記決定するステップは、予め設定された映像品質に基づいて前記第１映像の映像品質を決定する請求項１に記載のストリーミング方法。
- 前記決定するステップは、前記予め設定された映像品質を有するように、前記第１映像の映像品質を決定する請求項５に記載のストリーミング方法。
- 前記決定するステップは、前記クライアント装置のネットワーク状態に基づいて前記第１映像の映像品質を決定するが、前記第１映像の映像品質が前記予め設定された映像品質以上に維持されるように、前記第１映像の映像品質を決定する請求項５に記載のストリーミング方法。
- 前記決定するステップは、前記クライアント装置のネットワーク状態に基づいて前記第２映像の映像品質を決定する請求項１に記載のストリーミング方法。
- 前記複数の画面構成要素のうち、少なくとも一部は、ゲームサーバによって行われた演算結果に基づいて決定される請求項１に記載のストリーミング方法。
- １つ以上のハードウェアプロセッサと、１つ以上の通信インターフェースと、を含み、
前記１つ以上のハードウェアプロセッサは、ゲームプレイ映像を構成する複数の画面構成要素のうち、一部の画面構成要素を含む第１映像および前記複数の画面構成要素のうち、残りの画面構成要素を含む第２映像を生成し、
前記第１映像の映像品質が前記第２映像の映像品質以上になるように、前記第１映像および前記第２映像のそれぞれの映像品質を決定し、
前記決定された映像品質に基づいて前記第１映像および前記第２映像をそれぞれエンコーディングし、
前記１つ以上の通信インターフェースを介して、前記エンコーディングされた第１映像および前記エンコーディングされた第２映像をクライアント装置にストリーミングするストリーミング装置。 - 前記第１映像は、前記複数の画面構成要素のうち、予め設定された１つ以上の画面構成要素を含む請求項１０に記載のストリーミング装置。
- 前記予め設定された１つ以上の画面構成要素は、ＵＩ（User Interface）客体を含む請求項１１に記載のストリーミング装置。
- 前記１つ以上のハードウェアプロセッサは、前記複数の画面構成要素のうち、少なくとも一部について予め設定された優先順位および前記クライアント装置のネットワーク状態に基づいて前記一部の画面構成要素を決定する請求項１０に記載のストリーミング装置。
- 前記１つ以上のハードウェアプロセッサは、予め設定された映像品質に基づいて前記第１映像の映像品質を決定する請求項１０に記載のストリーミング装置。
- 前記１つ以上のハードウェアプロセッサは、前記予め設定された映像品質を有するように、前記第１映像の映像品質を決定する請求項１４に記載のストリーミング装置。
- 前記１つ以上のハードウェアプロセッサは、前記クライアント装置のネットワーク状態に基づいて前記第１映像の映像品質を決定するが、前記第１映像の映像品質が前記予め設定された映像品質以上に維持されるように、前記第１映像の映像品質を決定する請求項１４に記載のストリーミング装置。
- 前記１つ以上のハードウェアプロセッサは、前記クライアント装置のネットワーク状態に基づいて前記第２映像の映像品質を決定する請求項１０に記載のストリーミング装置。
- 前記複数の画面構成要素のうち、少なくとも一部は、ゲームサーバによって行われた演算結果に基づいて決定される請求項１０に記載のストリーミング装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2020-0042236 | 2020-04-07 | ||
| KR1020200042236A KR102359367B1 (ko) | 2020-04-07 | 2020-04-07 | 게임 스트리밍을 위한 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021164626A true JP2021164626A (ja) | 2021-10-14 |
| JP7191900B2 JP7191900B2 (ja) | 2022-12-19 |
Family
ID=77517214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020124151A Active JP7191900B2 (ja) | 2020-04-07 | 2020-07-21 | ゲームストリーミングのための方法および装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20210308570A1 (ja) |
| JP (1) | JP7191900B2 (ja) |
| KR (1) | KR102359367B1 (ja) |
| TW (1) | TWI730837B (ja) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003009120A (ja) * | 2001-06-21 | 2003-01-10 | Matsushita Electric Ind Co Ltd | コンテンツ再生装置及び方法、並びにそれに用いるプロトコル、プログラム |
| JP2004266575A (ja) * | 2003-02-28 | 2004-09-24 | Konami Computer Entertainment Yokyo Inc | 画像配信システム、画像配信装置、端末、これらの制御方法及びプログラム |
| JP2009232178A (ja) * | 2008-03-24 | 2009-10-08 | Konami Digital Entertainment Co Ltd | 映像生成装置、映像表示方法、および、プログラム |
| JP2017018245A (ja) * | 2015-07-09 | 2017-01-26 | 株式会社スクウェア・エニックス | ビデオゲーム処理プログラム及びビデオゲーム処理装置 |
| JP2017199994A (ja) * | 2016-04-26 | 2017-11-02 | 日本放送協会 | 映像配信装置及び映像配信方法 |
| WO2018179880A1 (ja) * | 2017-03-28 | 2018-10-04 | 日本電気株式会社 | 動画コンテンツ制御システム、方法およびプログラム |
| JP2019114106A (ja) * | 2017-12-25 | 2019-07-11 | 株式会社コロプラ | 仮想体験を提供するためのプログラム、情報処理装置、及び情報処理方法 |
| JP2020503906A (ja) * | 2016-09-30 | 2020-02-06 | 株式会社ソニー・インタラクティブエンタテインメント | 異なるレンダリング及び音像定位を使用する無線ヘッドマウントディスプレイ |
| JP2020035455A (ja) * | 2015-08-04 | 2020-03-05 | ノキア テクノロジーズ オーユー | 媒介現実コンテンツの共有 |
| CN110915225A (zh) * | 2017-07-21 | 2020-03-24 | 三星电子株式会社 | 显示设备、显示方法和显示系统 |
| US20200099733A1 (en) * | 2018-09-26 | 2020-03-26 | Vmware, Inc. | System and method for widescale adaptive bitrate selection |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2006201851A1 (en) * | 2006-05-03 | 2007-11-22 | Canon Kabushiki Kaisha | Compressing page descriptions while preserving high quality |
| US9043484B2 (en) * | 2010-04-02 | 2015-05-26 | Disney Enterprises, Inc. | Streaming playback and dynamic ad insertion |
| US9672688B2 (en) * | 2011-10-14 | 2017-06-06 | Bally Gaming, Inc. | System and method for cross platform persistent gaming sessions using a mobile device |
| EP2774371B1 (en) * | 2011-11-03 | 2020-08-26 | Sun Patent Trust | Efficient rounding for deblocking |
| EP3174295B1 (en) * | 2012-04-13 | 2018-12-12 | GE Video Compression, LLC | Low delay picture coding |
| US9104240B2 (en) * | 2013-01-09 | 2015-08-11 | Intel Corporation | Gesture pre-processing of video stream with hold-off period to reduce platform power |
| KR20140106838A (ko) * | 2013-02-27 | 2014-09-04 | 한국전자통신연구원 | 스트리밍 기반의 게임 플랫폼을 이용한 클라우드 서비스 제공 장치 및 방법 |
| KR20150040393A (ko) * | 2013-10-04 | 2015-04-15 | 한국전자통신연구원 | 클라우드 게임 서비스를 제공하는 클라우드 서버 및 그 방법 |
| US10632372B2 (en) * | 2015-06-30 | 2020-04-28 | Amazon Technologies, Inc. | Game content interface in a spectating system |
| KR101744684B1 (ko) * | 2015-07-09 | 2017-06-08 | 주식회사 엔씨소프트 | 클라우드 게임 서비스 제공 장치 및 방법 |
| US10277914B2 (en) * | 2016-06-23 | 2019-04-30 | Qualcomm Incorporated | Measuring spherical image quality metrics based on user field of view |
| US10589171B1 (en) * | 2018-03-23 | 2020-03-17 | Electronic Arts Inc. | User interface rendering and post processing during video game streaming |
-
2020
- 2020-04-07 KR KR1020200042236A patent/KR102359367B1/ko active IP Right Grant
- 2020-07-07 TW TW109122840A patent/TWI730837B/zh active
- 2020-07-21 JP JP2020124151A patent/JP7191900B2/ja active Active
- 2020-07-21 US US16/934,639 patent/US20210308570A1/en active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003009120A (ja) * | 2001-06-21 | 2003-01-10 | Matsushita Electric Ind Co Ltd | コンテンツ再生装置及び方法、並びにそれに用いるプロトコル、プログラム |
| JP2004266575A (ja) * | 2003-02-28 | 2004-09-24 | Konami Computer Entertainment Yokyo Inc | 画像配信システム、画像配信装置、端末、これらの制御方法及びプログラム |
| JP2009232178A (ja) * | 2008-03-24 | 2009-10-08 | Konami Digital Entertainment Co Ltd | 映像生成装置、映像表示方法、および、プログラム |
| JP2017018245A (ja) * | 2015-07-09 | 2017-01-26 | 株式会社スクウェア・エニックス | ビデオゲーム処理プログラム及びビデオゲーム処理装置 |
| JP2020035455A (ja) * | 2015-08-04 | 2020-03-05 | ノキア テクノロジーズ オーユー | 媒介現実コンテンツの共有 |
| JP2017199994A (ja) * | 2016-04-26 | 2017-11-02 | 日本放送協会 | 映像配信装置及び映像配信方法 |
| JP2020503906A (ja) * | 2016-09-30 | 2020-02-06 | 株式会社ソニー・インタラクティブエンタテインメント | 異なるレンダリング及び音像定位を使用する無線ヘッドマウントディスプレイ |
| WO2018179880A1 (ja) * | 2017-03-28 | 2018-10-04 | 日本電気株式会社 | 動画コンテンツ制御システム、方法およびプログラム |
| CN110915225A (zh) * | 2017-07-21 | 2020-03-24 | 三星电子株式会社 | 显示设备、显示方法和显示系统 |
| JP2019114106A (ja) * | 2017-12-25 | 2019-07-11 | 株式会社コロプラ | 仮想体験を提供するためのプログラム、情報処理装置、及び情報処理方法 |
| US20200099733A1 (en) * | 2018-09-26 | 2020-03-26 | Vmware, Inc. | System and method for widescale adaptive bitrate selection |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI730837B (zh) | 2021-06-11 |
| TW202139721A (zh) | 2021-10-16 |
| KR102359367B1 (ko) | 2022-02-07 |
| KR20210124770A (ko) | 2021-10-15 |
| US20210308570A1 (en) | 2021-10-07 |
| JP7191900B2 (ja) | 2022-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6310073B2 (ja) | 描画システム、制御方法、及び記憶媒体 | |
| US8903897B2 (en) | System and method for providing interactive content to non-native application environments | |
| US9549152B1 (en) | Application content delivery to multiple computing environments using existing video conferencing solutions | |
| US9370718B2 (en) | System and method for delivering media over network | |
| US9942556B2 (en) | Altering streaming video encoding based on user attention | |
| CN111882626A (zh) | 图像处理方法、装置、服务器及介质 | |
| US20180219929A1 (en) | Method and system for distributed processing, rendering, and displaying of content | |
| US8876601B2 (en) | Method and apparatus for providing a multi-screen based multi-dimension game service | |
| CN113209632B (zh) | 一种云游戏的处理方法、装置、设备及存储介质 | |
| CN102460407A (zh) | 虚拟桌面服务 | |
| JP2012090120A (ja) | 画像処理システム、画像処理方法、動画像送信装置、動画像受信装置、プログラム及び情報記憶媒体 | |
| US20120270652A1 (en) | System for servicing game streaming according to game client device and method | |
| US8860720B1 (en) | System and method for delivering graphics over network | |
| US20150182857A1 (en) | System and Method for Delivering Media over Network | |
| Kim et al. | Cloud‐based gaming service platform supporting multiple devices | |
| CN112511849A (zh) | 一种游戏显示方法、装置、设备、系统及存储介质 | |
| CN112354176A (zh) | 云游戏实现方法、云游戏实现装置、存储介质与电子设备 | |
| CN112565802A (zh) | 直播交互方法、系统、服务器及存储介质 | |
| JP7191900B2 (ja) | ゲームストリーミングのための方法および装置 | |
| KR20230006495A (ko) | 몰입형 원격 회의 및 텔레프레즌스를 위한 다중 그룹화 | |
| JP2016509486A (ja) | ネットワークを介して送信するためのビデオゲーム画面画像の生成及び符号化を行う方法及びシステム | |
| KR102362140B1 (ko) | 스트리밍 게임 제공 방법 및 장치 | |
| CN113747181A (zh) | 基于远程桌面的网络直播方法、直播系统及电子设备 | |
| KR20130109904A (ko) | 멀티스크린 기반의 다차원 게임 서비스 방법 및 그 장치 | |
| JP7508586B2 (ja) | 没入型テレカンファレンスおよびテレプレゼンスのためのマルチグルーピングの方法、装置、およびコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210727 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220722 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221207 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7191900 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |