JP2021525034A - 3dゲームストリーミングシナリオでの推測航法及び遅延の改善 - Google Patents
3dゲームストリーミングシナリオでの推測航法及び遅延の改善 Download PDFInfo
- Publication number
- JP2021525034A JP2021525034A JP2020564883A JP2020564883A JP2021525034A JP 2021525034 A JP2021525034 A JP 2021525034A JP 2020564883 A JP2020564883 A JP 2020564883A JP 2020564883 A JP2020564883 A JP 2020564883A JP 2021525034 A JP2021525034 A JP 2021525034A
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- frame
- streaming server
- computer device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000009466 transformation Effects 0.000 claims abstract description 42
- 239000013598 vector Substances 0.000 claims abstract description 42
- 230000004044 response Effects 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 32
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 16
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000000844 transformation Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000001934 delay Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/69—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by enabling or updating specific game elements, e.g. unlocking hidden features, items, levels or versions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/10—Selection of transformation methods according to the characteristics of the input images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
Claims (15)
- コンピュータ装置であって、当該コンピュータ装置は、
データ及び命令を格納するメモリと、
該メモリと通信する中央処理装置と、
通信ネットワークと通信可能に結合されたネットワークインターフェイスと、
前記メモリ、前記中央処理装置、及び前記ネットワークインターフェイスと通信するクライアントアプリケーション及びディスプレイ制御コンポーネントと、を含み、
該クライアントアプリケーション及びディスプレイ制御コンポーネントは、
前記ネットワークインターフェイスを介してビデオゲーム制御をストリーミングサーバに送信し、
前記ネットワークインターフェイスを介した前記ストリーミングサーバからの前記ビデオゲーム制御に応答して生成されたビデオ画像を符号化するビデオストリームを受信し、
前記ビデオ画像に対する仮想カメラの位置を示すカメラマトリックスを維持し、
フレームに表示する前記ビデオストリームのビデオ画像が、前記フレームを表示する前の指定時間に完全に受信されていないと判定し、
少なくとも前記ビデオ画像の履歴、前記ビデオストリームの動きベクトル、及び前記カメラマトリックスに基づいて画像変換を決定し、
前記画像変換を、1つ又は複数の以前のフレームに対応する1つ又は複数の画像の少なくとも一部に適用して、代替ビデオ画像を生成し、及び
前記フレームに表示する前記ビデオ画像が前記指定時間に完全に受信されなかったとの判定に応じて、前記変換された画像の少なくとも一部を含む前記代替ビデオ画像を前記フレームに表示するように動作可能である、
コンピュータ装置。 - 前記ディスプレイ制御コンポーネントは、前記ビデオストリームの前記符号化から前記動きベクトルを抽出するように構成される、請求項1に記載のコンピュータ装置。
- 前記画像変換は、前記1つ又は複数の以前のフレームに対応する前記1つ又は複数の画像の前記一部の再投影であり、前記ディスプレイ制御コンポーネントは、前記1つ又は複数の以前のフレームに対応する前記1つ又は複数の画像のポイントの深度値を決定するように構成され、前記再投影は前記深度値に基づく、請求項1に記載のコンピュータ装置。
- 前記ディスプレイ制御コンポーネントは、ビデオゲームのために訓練された機械学習モデルを、前記1つ又は複数の以前のフレームに対応する前記1つ又は複数の画像に適用して、前記深度値を決定するように構成される、請求項3に記載のコンピュータ装置。
- 前記ディスプレイ制御コンポーネントは、機械学習モデルを適用して、前記1つ又は複数の以前のフレームに対応する前記1つ又は複数の画像に対してセグメント化を実行し、且つ前記動きベクトルを識別された画像セグメントに適用するように構成される、請求項1に記載のコンピュータ装置。
- 前記クライアントアプリケーションは、前記ストリーミングサーバから深度情報を受信するように構成される、請求項1に記載のコンピュータ装置。
- 前記クライアントアプリケーションは、前記ストリーミングサーバから更新されたカメラマトリックスを定期的に受信するように構成される、請求項1に記載のコンピュータ装置。
- 前記クライアントアプリケーションは、前記ストリーミングサーバから前記ビデオ画像に対応する幾何学的表現を受信するように構成される、請求項1に記載のコンピュータ装置。
- コンピュータ装置上でストリーミングビデオゲームをプレイするための方法であって、当該方法は、
ビデオゲーム制御コマンドをストリーミングサーバに送信するステップと、
ビデオゲーム制御に応答して生成されたビデオ画像を符号化するビデオストリームを前記ストリーミングサーバから受信するステップと、
フレームに表示する前記ビデオストリームのビデオ画像が、前記フレームを表示する前の指定時間に完全に受信されていないと判定するステップと、
少なくとも前記ビデオ画像の履歴及び前記ビデオストリームの動きベクトルに基づいて画像変換を決定するステップであって、該画像変換を決定するステップは、前記ビデオ画像に対する仮想カメラの位置を示すカメラマトリックスを維持するステップを含み、前記画像変換はカメラマトリックスに基づく、決定するステップと、
前記画像変換を、1つ又は複数の以前のフレームに対応する1つ又は複数の画像の少なくとも一部に適用して、代替ビデオ画像を生成するステップと、
前記フレームに表示する前記ビデオ画像が前記指定時間に完全に受信されなかったとの判定に応じて、前記変換された以前に表示された画像の少なくとも一部を含む前記代替ビデオ画像を前記フレームに表示するステップと、を含む、
方法。 - 前記画像変換を決定するステップは、前記ビデオストリームの前記符号化から前記動きベクトルを抽出するステップを含む、請求項9に記載の方法。
- 前記画像変換を決定するステップは、前記1つ又は複数の以前のフレームに対応する前記1つ又は複数の画像のポイントの深度値を決定するステップを含み、前記画像変換は、前記深度値に基づいて、前記1つ又は複数の以前のフレームに対応する前記1つ又は複数の画像の一部の再投影である、請求項9に記載の方法。
- 前記深度値を決定するステップは、ビデオゲームのために訓練された機械学習モデルを、前記1つ又は複数の以前のフレームに対応する前記1つ又は複数の画像に適用して、前記深度値を決定するステップを含む、請求項11に記載の方法。
- 前記カメラマトリックスを維持するステップは、前記ストリーミングサーバから更新されたカメラマトリックスを定期的に受信するステップを含む、請求項11に記載の方法。
- 前記画像変換を決定するステップは、
前記ストリーミングサーバから前記ビデオ画像に対応する幾何学的表現を受信するステップと、
深度値を決定するために前記幾何学的表現をレンダリングするステップと、を含む、請求項11に記載の方法。 - コンピューティング装置上でストリーミングビデオゲームをプレイするための、1つ又は複数のプロセッサによって実行可能なコードを含むコンピュータ可読媒体であって、前記コードには、
ビデオゲーム制御をストリーミングサーバに送信すること、
前記ビデオゲーム制御に応答して生成されたビデオ画像を符号化するビデオストリームを前記ストリーミングサーバから受信すること、
フレームに表示する前記ビデオストリームのビデオ画像が、前記フレームを表示する前の指定時間に完全に受信されていないと判定すること、
1つ又は複数の以前のフレームに対応する前記ビデオストリームの1つ又は複数の画像、及び前記1つ又は複数の以前のフレームのカメラ変換行列に基づいて選択された動きベクトルに基づいて画像再投影を決定すること、
該画像再投影を、1つ又は複数の以前のフレームに対応する前記ビデオストリームの前記1つ又は複数の画像の少なくとも一部に適用して、代替ビデオ画像を生成すること、及び
前記フレームに表示する前記ビデオ画像が前記指定時間に完全に受信されなかったとの判定に応じて、前記再投影された画像の少なくとも一部を含む前記代替ビデオ画像を前記フレームに表示すること、を行うためのコードが含まれる、
コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/989,011 US11957975B2 (en) | 2018-05-24 | 2018-05-24 | Dead reckoning and latency improvement in 3D game streaming scenario |
US15/989,011 | 2018-05-24 | ||
PCT/US2019/031920 WO2019226374A1 (en) | 2018-05-24 | 2019-05-13 | Dead reckoning and latency improvement in 3d game streaming scenario |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021525034A true JP2021525034A (ja) | 2021-09-16 |
JP7490575B2 JP7490575B2 (ja) | 2024-05-27 |
Family
ID=66641520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020564883A Active JP7490575B2 (ja) | 2018-05-24 | 2019-05-13 | 3dゲームストリーミングシナリオでの推測航法及び遅延の改善 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11957975B2 (ja) |
EP (1) | EP3801790B1 (ja) |
JP (1) | JP7490575B2 (ja) |
KR (1) | KR20210011952A (ja) |
CN (1) | CN112188921A (ja) |
WO (1) | WO2019226374A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7448707B1 (ja) | 2023-03-29 | 2024-03-12 | 株式会社Cygames | プログラム、クライアント端末、ゲームシステム、及び処理方法 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020194958A1 (ja) * | 2019-03-25 | 2020-10-01 | 株式会社ソニー・インタラクティブエンタテインメント | 画像表示制御装置、送信装置、画像表示制御方法及びプログラム |
GB2585198B (en) * | 2019-07-01 | 2022-03-02 | Sony Interactive Entertainment Inc | Method and device for generating video frames |
US11635802B2 (en) * | 2020-01-13 | 2023-04-25 | Sony Interactive Entertainment Inc. | Combined light intensity based CMOS and event detection sensor for high speed predictive tracking and latency compensation in virtual and augmented reality HMD systems |
US11363247B2 (en) * | 2020-02-14 | 2022-06-14 | Valve Corporation | Motion smoothing in a distributed system |
US20230319321A1 (en) * | 2020-08-26 | 2023-10-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Generating and processing video data |
CN112839241A (zh) * | 2020-12-31 | 2021-05-25 | 贵阳动视云科技有限公司 | 一种云游戏图像丢帧补偿方法及装置 |
US20230102034A1 (en) * | 2021-09-29 | 2023-03-30 | Lawrence Livermore National Security, Llc | Scenario development for an incident exercise |
US11977779B2 (en) * | 2022-05-11 | 2024-05-07 | Bank Of America Corporation | Smart queue for distributing user requests to automated response generating systems |
CN115426525B (zh) * | 2022-09-05 | 2023-05-26 | 北京拙河科技有限公司 | 一种基于高速动帧联动图像拆分方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008139515A1 (ja) * | 2007-04-27 | 2008-11-20 | Fujitsu Limited | 信号出力装置、情報機器、信号出力方法および信号出力プログラム |
WO2016191136A1 (en) * | 2015-05-28 | 2016-12-01 | Qualcomm Incorporated | Low latency screen mirroring |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030130040A1 (en) * | 2001-07-17 | 2003-07-10 | Jeffrey Thomas Dripps | Distributed video game system and method |
US20100166056A1 (en) * | 2002-12-10 | 2010-07-01 | Steve Perlman | System and method for encoding video using a selected tile and tile rotation pattern |
US7411611B2 (en) * | 2003-08-25 | 2008-08-12 | Barco N. V. | Device and method for performing multiple view imaging by means of a plurality of video processing devices |
US20060230428A1 (en) * | 2005-04-11 | 2006-10-12 | Rob Craig | Multi-player video game system |
JP2007025862A (ja) * | 2005-07-13 | 2007-02-01 | Sony Computer Entertainment Inc | 画像処理装置 |
JP5296337B2 (ja) * | 2007-07-09 | 2013-09-25 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システムおよび画像処理方法 |
US8613673B2 (en) * | 2008-12-15 | 2013-12-24 | Sony Computer Entertainment America Llc | Intelligent game loading |
US8463020B1 (en) * | 2008-07-08 | 2013-06-11 | Imove, Inc. | Centralized immersive image rendering for thin client |
US20130300730A1 (en) * | 2012-05-14 | 2013-11-14 | Shenzhen China Star Optoelectronics Technology Co., Ltd. | Lcd system and method for displaying image therein |
US9912562B2 (en) * | 2014-03-31 | 2018-03-06 | Microsoft Technology Licensing, Llc | Measuring latency in an interactive application |
GB2521883B (en) * | 2014-05-02 | 2016-03-30 | Imagination Tech Ltd | Media controller |
US10580108B2 (en) * | 2015-12-22 | 2020-03-03 | Intel Corporation | Method and apparatus for best effort quality of service (QoS) scheduling in a graphics processing architecture |
US9569812B1 (en) | 2016-01-07 | 2017-02-14 | Microsoft Technology Licensing, Llc | View rendering from multiple server-side renderings |
CN106095366B (zh) * | 2016-06-07 | 2019-01-15 | 北京小鸟看看科技有限公司 | 一种缩短图像延迟的方法、装置和虚拟现实设备 |
CN107958458B (zh) * | 2016-10-17 | 2021-01-22 | 京东方科技集团股份有限公司 | 图像分割方法、图像分割系统及包括其的设备 |
US10460415B2 (en) * | 2017-04-10 | 2019-10-29 | Intel Corporation | Contextual configuration adjuster for graphics |
US10972511B2 (en) * | 2017-11-07 | 2021-04-06 | Adobe Inc. | Streaming relay for digital signage |
-
2018
- 2018-05-24 US US15/989,011 patent/US11957975B2/en active Active
-
2019
- 2019-05-13 WO PCT/US2019/031920 patent/WO2019226374A1/en unknown
- 2019-05-13 KR KR1020207036006A patent/KR20210011952A/ko not_active Application Discontinuation
- 2019-05-13 EP EP19726280.1A patent/EP3801790B1/en active Active
- 2019-05-13 JP JP2020564883A patent/JP7490575B2/ja active Active
- 2019-05-13 CN CN201980034749.9A patent/CN112188921A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008139515A1 (ja) * | 2007-04-27 | 2008-11-20 | Fujitsu Limited | 信号出力装置、情報機器、信号出力方法および信号出力プログラム |
WO2016191136A1 (en) * | 2015-05-28 | 2016-12-01 | Qualcomm Incorporated | Low latency screen mirroring |
Non-Patent Citations (4)
Title |
---|
DANIEL EVANGELAKOS ET AL.: "Extended TimeWarp Latency Compensation for Virtual Reality", INTERACTIVE 3D GRAPHICS AND GAMES ACM, JPN7023001856, 27 February 2016 (2016-02-27), US, pages 193 - 194, XP058080047, ISSN: 0005058810, DOI: 10.1145/2856400.2876015 * |
SHU SHI ET AL.: "Real-Time Remote Rendering of 3D Video for Mobile Devices", PROCEEDINGS OF THE 17TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA, vol. MM '09, JPN7023001855, 19 October 2009 (2009-10-19), US, pages 391 - 400, XP058271443, ISSN: 0005058809, DOI: 10.1145/1631272.1631326 * |
SUDHEENDRA VIJAYANARASIMHAN ET AL.: "SfM-Net:Leaning of Structure and Motion from Video", ARXIV.ORG,CORNELLL UNIVERSITY LIBRARY, JPN6023019423, 25 April 2017 (2017-04-25), US, pages 1 - 9, ISSN: 0005058808 * |
WILLIAM R.MARK ET AL.: "Post Rendering Image Warping for Latency Compensation", UNC-CH COMPUTER SCIENCE TECHNICAL REPORT, vol. #96-020, JPN6023019422, 25 November 1996 (1996-11-25), US, pages 1 - 6, ISSN: 0005058807 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7448707B1 (ja) | 2023-03-29 | 2024-03-12 | 株式会社Cygames | プログラム、クライアント端末、ゲームシステム、及び処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7490575B2 (ja) | 2024-05-27 |
WO2019226374A1 (en) | 2019-11-28 |
US11957975B2 (en) | 2024-04-16 |
KR20210011952A (ko) | 2021-02-02 |
CN112188921A (zh) | 2021-01-05 |
EP3801790B1 (en) | 2024-06-26 |
EP3801790A1 (en) | 2021-04-14 |
US20190358541A1 (en) | 2019-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7490575B2 (ja) | 3dゲームストリーミングシナリオでの推測航法及び遅延の改善 | |
US11470301B2 (en) | Systems and method for virtual reality video conversion and streaming | |
CN112104879B (zh) | 一种视频编码方法、装置、电子设备及存储介质 | |
US11565178B2 (en) | User interface rendering and post processing during video game streaming | |
US11831566B2 (en) | Method and apparatus for transmitting scene image of virtual scene, computer device, and computer-readable storage medium | |
US10537799B1 (en) | User interface rendering and post processing during video game streaming | |
US20210001216A1 (en) | Method and device for generating video frames | |
US9264749B2 (en) | Server GPU assistance for mobile GPU applications | |
US8913664B2 (en) | Three-dimensional motion mapping for cloud gaming | |
US9026615B1 (en) | Method and apparatus for caching image data transmitted over a lossy network | |
US9001135B2 (en) | Method and mechanism for delivering applications over a wan | |
CN104096362B (zh) | 基于游戏者关注区域改进视频流的码率控制比特分配 | |
TW201926992A (zh) | 用於數位實境之影像壓縮 | |
US11317123B2 (en) | Systems and methods for using pre-calculated block hashes for image block matching | |
EP3410302B1 (en) | Graphic instruction data processing method, apparatus | |
US10116943B2 (en) | Adaptive video compression for latency control | |
US20150022548A1 (en) | Graphics server for remotely rendering a composite image and method of use thereof | |
WO2023024832A1 (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
JP7190026B2 (ja) | 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム | |
JP7116244B2 (ja) | 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム | |
US20230336799A1 (en) | Video streaming scaling using virtual resolution adjustment | |
JP2024058838A (ja) | 映像送信システム及び映像送信方法 | |
US20210092424A1 (en) | Adaptive framerate for an encoder | |
WO2024003577A1 (en) | Applications of layered encoding in split computing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220405 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230814 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240314 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240515 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7490575 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |