JP2018514133A - データ処理方法および装置 - Google Patents
データ処理方法および装置 Download PDFInfo
- Publication number
- JP2018514133A JP2018514133A JP2017550612A JP2017550612A JP2018514133A JP 2018514133 A JP2018514133 A JP 2018514133A JP 2017550612 A JP2017550612 A JP 2017550612A JP 2017550612 A JP2017550612 A JP 2017550612A JP 2018514133 A JP2018514133 A JP 2018514133A
- Authority
- JP
- Japan
- Prior art keywords
- image frame
- current image
- encoding
- display
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 230000003068 static effect Effects 0.000 claims abstract description 215
- 238000000034 method Methods 0.000 claims abstract description 87
- 239000000872 buffer Substances 0.000 claims abstract description 73
- 238000001514 detection method Methods 0.000 claims description 41
- 230000006835 compression Effects 0.000 claims description 40
- 238000007906 compression Methods 0.000 claims description 40
- 230000008859 change Effects 0.000 claims description 15
- 230000002427 irreversible effect Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 description 15
- 230000002829 reductive effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 230000003139 buffering effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005312 nonlinear dynamic Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
- H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
- G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2350/00—Solving problems of bandwidth in display systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
Description
第1の装置によって、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するステップであって、動的表示シナリオは、設定時間内に画像フレームが動的に変化する表示シナリオであり、静的表示シナリオは、設定時間内に画像フレームが変化しない表示シナリオである、ステップと、
現在の画像フレームが動的表示シナリオで生成された画像フレームである場合、現在の画像フレームを第1の符号化品質に従って符号化するステップであって、第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用される、ステップと、
現在の画像フレームが静的表示シナリオで生成された画像フレームである場合、現在の画像フレームを第2の符号化品質に従って符号化するステップであって、第2の符号化品質は、符号化されていない画像フレームに符号化された画像フレームが復元される第2の復元度を示すために使用され、第2の復元度は第1の復元度よりも高い、ステップと、
表示用の第2の装置と符号化された現在の画像フレームを共有するステップとを含む。
現在の画像フレームを第1の符号化品質で符号化して符号化された現在の画像フレームが得られた場合、第1の装置による現在の画像フレームの表示が静的表示条件を満たすかどうかを検出するステップであって、静的表示条件は、表示されている現在の画像フレームが変更されないままである、ステップと、
第1の装置による現在の画像フレームの表示が静的表示条件を満たす場合、第2の符号化品質に従って現在の画像フレームを再び符号化するステップと、
表示用の第2の装置と再び符号化された現在の画像フレームを共有するステップとを含む。
第1の装置が現在の画像フレームを表示する期間を取得して、期間が予め設定された閾値よりも大きいかどうかを検出するステップ、または、
第1の装置に、表示バッファ内の現在の画像フレームの次の画像フレームへの更新を停止するように指示するために使用される休止命令が受信されたか否かを検出するステップを含む。
現在の画像フレームを生成するアプリケーションプログラムを決定して、アプリケーションプログラムが動的プログラムリストまたは静的プログラムリストに属するかどうかを検出するステップであって、動的プログラムリストは、動的表示シナリオを提供するアプリケーションプログラムを含み、静的プログラムリストは、静的表示シナリオを提供するアプリケーションプログラムを含む、ステップ、または、
現在の画像フレームが表示されたときに呼び出される制御インターフェースを決定し、制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出するステップであって、動的インターフェースリストは、動的表示シナリオで呼び出される制御インターフェースを含み、静的インターフェースリストは、静的表示シナリオで呼び出される制御インターフェースを含む、ステップ、または、
現在の画像フレームを提供するアプリケーションプログラムによって呼び出される符号化インターフェースを使用して、現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するステップであって、符号化インターフェースは、第1の符号化インターフェースと第2の符号化インターフェースとを含み、第1の符号化インターフェースは、第1の符号化品質に従って画像フレームを符号化するように指示するために使用され、第2の符号化インターフェースは、第2の符号化品質に従って画像フレームを符号化するように指示するために使用される、ステップ、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームと隣接する画像フレームにそれぞれ含まれる画像データが同じであるかどうかを検出して、画像データが異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像データが同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するステップ、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームおよび隣接する画像フレームから同じタイプの画像特徴を抽出して、それぞれが取得された画像特徴が同じであるかどうかを検出し、画像特徴が異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定するステップ、または、
画像特徴が同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するステップを含む。
第2の装置の解像度を取得するステップと、
第2の装置の解像度が第1の装置の解像度よりも高い場合、現在の画像フレームに対して超解像処理を実行するステップとをさらに含む。
符号化された現在の画像フレームが送信されるネットワークの品質を取得するステップと、
ネットワークの品質に応じて、第1の符号化品質に対応する符号化パラメータを調整するステップ、または、ネットワークの品質に応じて、第2の符号化品質に対応する符号化パラメータを調整するステップとを含み、ネットワークの品質と符号化された現在の画像フレームのデータ量との間に正の相関があり、符号化された現在の画像フレームは、符号化パラメータに従って符号化されて得られる。
可逆圧縮データチャネルを生成し、可逆圧縮データチャネルを使用して、表示用の第2の装置と符号化された現在の画像フレームを共有するステップであって、可逆圧縮データチャネルと不可逆圧縮データチャネルとは相互に独立しており、不可逆圧縮データチャネルは、不可逆圧縮方式で符号化された画像フレームを送信するために使用される、ステップと、または、
不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを使用することによって、表示用の第2の装置と符号化された現在の画像フレームを共有するステップであって、不可逆符号化プロトコルは、可逆圧縮方式に対応する新たに追加された符号化プロトコルを含み、不可逆圧縮データチャネルは、不可逆符号化プロトコルを用いて符号化された画像フレームを送信するために使用される、ステップとを含む。
第1の装置に使用され、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成された画像フレーム検出モジュールであって、動的表示シナリオは、設定時間内に画像フレームが動的に変化する表示シナリオであり、静的表示シナリオは、設定時間内に画像フレームが変化しない表示シナリオである、画像フレーム検出モジュールと、
現在の画像フレームが動的表示シナリオで生成された画像フレームであると画像フレーム検出モジュールが検出した場合、現在の画像フレームを第1の符号化品質に従って符号化するように構成された第1の符号化モジュールであって、第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用される、第1の符号化モジュールと、
現在の画像フレームが静的表示シナリオで生成された画像フレームであると画像フレーム検出モジュールが検出した場合、現在の画像フレームを第2の符号化品質に従って符号化する第2の符号化モジュールであって、第2の符号化品質は、符号化されていない画像フレームに符号化された画像フレームが復元される第2の復元度を示すために使用され、第2の復元度は第1の復元度よりも高い、第2の符号化モジュールと、
第1の符号化モジュールまたは第2の符号化モジュールによって符号化された現在の画像フレームを、表示用の第2の装置と共有するように構成された第1の共有モジュールとを含む。
第1の共有モジュールが、表示用の第2の装置と符号化された現在の画像フレームを共有した後、現在の画像フレームを第1の符号化品質で符号化して符号化された現在の画像フレームが得られた場合、第1の装置による現在の画像フレームの表示が静的表示条件を満たすかどうかを検出するように構成された表示検出モジュールであって、静的表示条件は、表示されている現在の画像フレームが変更されないままである、表示検出モジュールと、
第1の装置による現在の画像フレームの表示が静的表示条件を満たすと表示検出モジュールが検出した場合、第2の符号化品質に従って現在の画像フレームを再び符号化する第3の符号化モジュールと、
第3の符号化モジュールによって再び符号化された現在の画像フレームを、表示用の第2の装置と共有するように構成された第2の共有モジュールとを含む。
第1の装置が現在の画像フレームを表示する期間を取得して、期間が予め設定された閾値よりも大きいかどうかを検出するように、または、
第1の装置に、表示バッファ内の現在の画像フレームの次の画像フレームへの更新を停止するように指示するために使用される休止命令が受信されたか否かを検出するように構成される。
現在の画像フレームを生成するアプリケーションプログラムを決定して、アプリケーションプログラムが動的プログラムリストまたは静的プログラムリストに属するかどうかを検出するように構成され、ここで、動的プログラムリストは、動的表示シナリオを提供するアプリケーションプログラムを含み、静的プログラムリストは、静的表示シナリオを提供するアプリケーションプログラムを含み、または、
現在の画像フレームが表示されたときに呼び出される制御インターフェースを決定し、制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出するように構成され、ここで、動的インターフェースリストは、動的表示シナリオで呼び出される制御インターフェースを含み、静的インターフェースリストは、静的表示シナリオで呼び出される制御インターフェースを含み、または、
現在の画像フレームを提供するアプリケーションプログラムによって呼び出される符号化インターフェースを使用して、現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成され、ここで、符号化インターフェースは、第1の符号化インターフェースと第2の符号化インターフェースとを含み、第1の符号化インターフェースは、第1の符号化品質に従って画像フレームを符号化するように指示するために使用され、第2の符号化インターフェースは、第2の符号化品質に従って画像フレームを符号化するように指示するために使用され、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームと隣接する画像フレームにそれぞれ含まれる画像データが同じであるかどうかを検出して、画像データが異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像データが同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するように構成され、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームおよび隣接する画像フレームから同じタイプの画像特徴を抽出して、それぞれが取得された画像特徴が同じであるかどうかを検出し、画像特徴が異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像特徴が同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するように構成される。
画像フレーム処理モジュールであって、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出する前に、第2の装置の解像度を取得して、第2の装置の解像度が第1の装置の解像度よりも高い場合、現在の画像フレームに対して超解像処理を実行するように構成された画像フレーム処理モジュールをさらに含む。
符号化された現在の画像フレームが送信されるネットワークの品質を取得するように構成されたネットワーク品質取得モジュールと、
ネットワーク品質取得モジュールによって取得されたネットワークの品質に応じて、第1の符号化品質に対応する符号化パラメータを調整するように、または、ネットワークの品質に応じて、第2の符号化品質に対応する符号化パラメータを調整するようにさらに構成されたパラメータ調整モジュールとを含み、ここで、ネットワークの品質と符号化された現在の画像フレームのデータ量との間に正の相関があり、符号化された現在の画像フレームは、符号化パラメータに従って符号化されて得られる。
可逆圧縮データチャネルを生成し、可逆圧縮データチャネルを使用して、表示用の第2の装置と符号化された現在の画像フレームを共有するように構成され、ここで、可逆圧縮データチャネルと不可逆圧縮データチャネルとは相互に独立しており、不可逆圧縮データチャネルは、不可逆圧縮方式で符号化された画像フレームを送信するために使用され、または、
不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを使用することによって、表示用の第2の装置と符号化された現在の画像フレームを共有するように構成され、ここで、不可逆符号化プロトコルは、可逆圧縮方式に対応する新たに追加された符号化プロトコルを含み、不可逆圧縮データチャネルは、不可逆符号化プロトコルを用いて符号化された画像フレームを送信するために使用される。
プロセッサは、第1の装置に使用され、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成され、ここで、動的表示シナリオは、設定時間内に画像フレームが動的に変化する表示シナリオであり、静的表示シナリオは、設定時間内に画像フレームが変化しない表示シナリオであり、
プロセッサは、現在の画像フレームが動的表示シナリオで生成された画像フレームである場合、現在の画像フレームを第1の符号化品質に従って符号化するようにさらに構成され、ここで、第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用され、
プロセッサは、現在の画像フレームが静的表示シナリオで生成された画像フレームである場合、現在の画像フレームを第2の符号化品質に従って符号化するようにさらに構成され、ここで、第2の符号化品質は、符号化されていない画像フレームに符号化された画像フレームが復元される第2の復元度を示すために使用され、第2の復元度は第1の復元度よりも高く、
送信機は、プロセッサによって符号化された現在の画像フレームを、表示用の第2の装置と共有するように構成される。
プロセッサは、現在の画像フレームを第1の符号化品質で符号化して符号化された現在の画像フレームが得られた場合、第1の装置による現在の画像フレームの表示が静的表示条件を満たすかどうかを検出するようにさらに構成され、静的表示条件は、表示されている現在の画像フレームが変更されないままであり、
プロセッサは、第1の装置による現在の画像フレームの表示が静的表示条件を満たすと表示検出モジュールが検出した場合、第2の符号化品質に従って現在の画像フレームを再び符号化するようにさらに構成され、
送信機は、プロセッサによって再び符号化された現在の画像フレームを、表示用の第2の装置と共有するようにさらに構成される。
第1の装置が現在の画像フレームを表示する期間を取得して、期間が予め設定された閾値よりも大きいかどうかを検出するように、または、
第1の装置に、表示バッファ内の現在の画像フレームの次の画像フレームへの更新を停止するように指示するために使用される休止命令が受信されたか否かを検出するように構成される。
現在の画像フレームを生成するアプリケーションプログラムを決定して、アプリケーションプログラムが動的プログラムリストまたは静的プログラムリストに属するかどうかを検出するように構成され、ここで、動的プログラムリストは、動的表示シナリオを提供するアプリケーションプログラムを含み、静的プログラムリストは、静的表示シナリオを提供するアプリケーションプログラムを含み、または、
現在の画像フレームが表示されたときに呼び出される制御インターフェースを決定し、制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出するように構成され、ここで、動的インターフェースリストは、動的表示シナリオで呼び出される制御インターフェースを含み、静的インターフェースリストは、静的表示シナリオで呼び出される制御インターフェースを含み、または、
現在の画像フレームを提供するアプリケーションプログラムによって呼び出される符号化インターフェースを使用して、現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成され、ここで、符号化インターフェースは、第1の符号化インターフェースと第2の符号化インターフェースとを含み、第1の符号化インターフェースは、第1の符号化品質に従って画像フレームを符号化するように指示するために使用され、第2の符号化インターフェースは、第2の符号化品質に従って画像フレームを符号化するように指示するために使用され、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームと隣接する画像フレームにそれぞれ含まれる画像データが同じであるかどうかを検出して、画像データが異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像データが同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するように構成され、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームおよび隣接する画像フレームから同じタイプの画像特徴を抽出して、それぞれが取得された画像特徴が同じであるかどうかを検出し、画像特徴が異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像特徴が同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するように構成される。
プロセッサは、第2の装置の解像度を取得して、第2の装置の解像度が第1の装置の解像度よりも高い場合、現在の画像フレームに対して超解像処理を実行するようにさらに構成される。
プロセッサは、符号化された現在の画像フレームが送信されるネットワークの品質を取得するようにさらに構成され、
プロセッサは、ネットワークの品質に応じて、第1の符号化品質に対応する符号化パラメータを調整するように、または、ネットワークの品質に応じて、第2の符号化品質に対応する符号化パラメータを調整するようにさらに構成され、ここで、ネットワークの品質と符号化された現在の画像フレームのデータ量との間に正の相関があり、符号化された現在の画像フレームは、符号化パラメータに従って符号化されて得られる。
可逆圧縮データチャネルを生成し、可逆圧縮データチャネルを使用して、表示用の第2の装置と符号化された現在の画像フレームを共有するように構成され、ここで、可逆圧縮データチャネルと不可逆圧縮データチャネルとは相互に独立しており、不可逆圧縮データチャネルは、不可逆圧縮方式で符号化された画像フレームを送信するために使用され、または、
不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを使用することによって、表示用の第2の装置と符号化された現在の画像フレームを共有するように構成され、ここで、不可逆符号化プロトコルは、可逆圧縮方式に対応する新たに追加された符号化プロトコルを含み、不可逆圧縮データチャネルは、不可逆符号化プロトコルを用いて符号化された画像フレームを送信するために使用される。
1)現在の画像フレームを生成するアプリケーションプログラムを決定して、アプリケーションプログラムが動的プログラムリストまたは静的プログラムリストに属するかどうかを検出するステップであって、動的プログラムリストは、動的表示シナリオを提供するアプリケーションプログラムを含み、静的プログラムリストは、静的表示シナリオを提供するアプリケーションプログラムを含む、ステップ、または、
2)現在の画像フレームが表示されたときに呼び出される制御インターフェースを決定し、制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出するステップであって、動的インターフェースリストは、動的表示シナリオで呼び出される制御インターフェースを含み、静的インターフェースリストは、静的表示シナリオで呼び出される制御インターフェースを含む、ステップ、または、
3)現在の画像フレームを提供するアプリケーションプログラムによって呼び出される符号化インターフェースを使用して、現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するステップであって、符号化インターフェースは、第1の符号化インターフェースと第2の符号化インターフェースとを含み、第1の符号化インターフェースは、第1の符号化品質に従って画像フレームを符号化するように指示するために使用され、第2の符号化インターフェースは、第2の符号化品質に従って画像フレームを符号化するように指示するために使用される、ステップ、または、
4)現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームと隣接する画像フレームにそれぞれ含まれる画像データが同じであるかどうかを検出して、画像データが異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像データが同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するステップ、または、
5)現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームおよび隣接する画像フレームから同じタイプの画像特徴を抽出して、それぞれが取得された画像特徴が同じであるかどうかを検出し、画像特徴が異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像特徴が同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するステップを含む。
1)可逆圧縮データチャネルを生成し、可逆圧縮データチャネルを使用して、表示用の第2の装置と符号化された現在の画像フレームを共有するステップであって、可逆圧縮データチャネルと不可逆圧縮データチャネルとは相互に独立しており、不可逆圧縮データチャネルは、不可逆圧縮方式で符号化された画像フレームを送信するために使用される、ステップと、または、
2)不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを使用することによって、表示用の第2の装置と符号化された現在の画像フレームを共有するステップであって、不可逆符号化プロトコルは、可逆圧縮方式に対応する新たに追加された符号化プロトコルを含み、不可逆圧縮データチャネルは、不可逆符号化プロトコルを用いて符号化された画像フレームを送信するために使用される、ステップとを含む。
1)第1の装置が現在の画像フレームを表示する期間を取得して、期間が予め設定された閾値よりも大きいかどうかを検出するステップ、または、
2)第1の装置に、表示バッファ内の現在の画像フレームの次の画像フレームへの更新を停止するように指示するために使用される休止命令が受信されたか否かを検出するステップを含む。
1)符号化された現在の画像フレームが送信されるネットワークの品質を取得するステップと、
2)ネットワークの品質に応じて、第1の符号化品質に対応する符号化パラメータを調整するステップ、または、ネットワークの品質に応じて、第2の符号化品質に対応する符号化パラメータを調整するステップとを含み、ネットワークの品質と符号化された現在の画像フレームのデータ量との間に正の相関があり、符号化された現在の画像フレームは、符号化パラメータに従って符号化されて得られる。
第1の装置に使用され、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成された画像フレーム検出モジュール301であって、動的表示シナリオは、設定時間内に画像フレームが動的に変化する表示シナリオであり、静的表示シナリオは、設定時間内に画像フレームが変化しない表示シナリオである、画像フレーム検出モジュール301と、
現在の画像フレームが動的表示シナリオで生成された画像フレームであると画像フレーム検出モジュール301が検出した場合、現在の画像フレームを第1の符号化品質に従って符号化するように構成された第1の符号化モジュール302であって、第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用される、第1の符号化モジュール302と、
現在の画像フレームが静的表示シナリオで生成された画像フレームであると画像フレーム検出モジュールが検出した場合、現在の画像フレームを第2の符号化品質に従って符号化する第2の符号化モジュール303であって、第2の符号化品質は、符号化されていない画像フレームに符号化された画像フレームが復元される第2の復元度を示すために使用され、第2の復元度は第1の復元度よりも高い、第2の符号化モジュール303と、
第1の符号化モジュール302または第2の符号化モジュール303によって符号化された現在の画像フレームを、表示用の第2の装置と共有するように構成された第1の共有モジュール304とを含む。
第1の装置に使用され、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成された画像フレーム検出モジュール401であって、動的表示シナリオは、設定時間内に画像フレームが動的に変化する表示シナリオであり、静的表示シナリオは、設定時間内に画像フレームが変化しない表示シナリオである、画像フレーム検出モジュール401と、
現在の画像フレームが動的表示シナリオで生成された画像フレームであると画像フレーム検出モジュール401が検出した場合、現在の画像フレームを第1の符号化品質に従って符号化するように構成された第1の符号化モジュール402であって、第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用される、第1の符号化モジュール402と、
現在の画像フレームが静的表示シナリオで生成された画像フレームであると画像フレーム検出モジュールが検出した場合、現在の画像フレームを第2の符号化品質に従って符号化する第2の符号化モジュール403であって、第2の符号化品質は、符号化されていない画像フレームに符号化された画像フレームが復元される第2の復元度を示すために使用され、第2の復元度は第1の復元度よりも高い、第2の符号化モジュール403と、
第1の符号化モジュール402または第2の符号化モジュール403によって符号化された現在の画像フレームを、表示用の第2の装置と共有するように構成された第1の共有モジュール404とを含む。
第1の共有モジュール404が、表示用の第2の装置と符号化された現在の画像フレームを共有した後、現在の画像フレームを第1の符号化品質で符号化して符号化された現在の画像フレームが得られた場合、第1の装置による現在の画像フレームの表示が静的表示条件を満たすかどうかを検出するように構成された表示検出モジュール405であって、静的表示条件は、表示されている現在の画像フレームが変更されないままである、表示検出モジュール405と、
第1の装置による現在の画像フレームの表示が静的表示条件を満たすと表示検出モジュール405が検出した場合、第2の符号化品質に従って現在の画像フレームを再び符号化する第3の符号化モジュール406と、
第3の符号化モジュール406によって再び符号化された現在の画像フレームを、表示用の第2の装置と共有するように構成された第2の共有モジュール407とを含む。
第1の装置が現在の画像フレームを表示する期間を取得して、期間が予め設定された閾値よりも大きいかどうかを検出するように、または、
第1の装置に、表示バッファ内の現在の画像フレームの次の画像フレームへの更新を停止するように指示するために使用される休止命令が受信されたか否かを検出するように構成される。
現在の画像フレームを生成するアプリケーションプログラムを決定して、アプリケーションプログラムが動的プログラムリストまたは静的プログラムリストに属するかどうかを検出するように構成され、ここで、動的プログラムリストは、動的表示シナリオを提供するアプリケーションプログラムを含み、静的プログラムリストは、静的表示シナリオを提供するアプリケーションプログラムを含み、または、
現在の画像フレームが表示されたときに呼び出される制御インターフェースを決定し、制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出するように構成され、ここで、動的インターフェースリストは、動的表示シナリオで呼び出される制御インターフェースを含み、静的インターフェースリストは、静的表示シナリオで呼び出される制御インターフェースを含み、または、
現在の画像フレームを提供するアプリケーションプログラムによって呼び出される符号化インターフェースを使用して、現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成され、ここで、符号化インターフェースは、第1の符号化インターフェースと第2の符号化インターフェースとを含み、第1の符号化インターフェースは、第1の符号化品質に従って画像フレームを符号化するように指示するために使用され、第2の符号化インターフェースは、第2の符号化品質に従って画像フレームを符号化するように指示するために使用され、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームと隣接する画像フレームにそれぞれ含まれる画像データが同じであるかどうかを検出して、画像データが異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像データが同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するように構成され、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームおよび隣接する画像フレームから同じタイプの画像特徴を抽出して、それぞれが取得された画像特徴が同じであるかどうかを検出し、画像特徴が異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像特徴が同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するように構成される。
画像フレーム検出モジュール401が、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出する前に、第2の装置の解像度を取得し、第2の装置の解像度が第1の装置の解像度より高い場合、現在の画像フレームに対して超解像度処理を実行するように構成された、画像フレーム処理モジュール408をさらに含む。
符号化された現在の画像フレームが送信されるネットワークの品質を取得するように構成されたネットワーク品質取得モジュール409と、
ネットワーク品質取得モジュール409によって取得されたネットワークの品質に応じて、第1の符号化品質に対応する符号化パラメータを調整するように、または、ネットワークの品質に応じて、第2の符号化品質に対応する符号化パラメータを調整するようにさらに構成されたパラメータ調整モジュール410とを含み、ここで、ネットワークの品質と符号化された現在の画像フレームのデータ量との間に正の相関があり、符号化された現在の画像フレームは、符号化パラメータに従って符号化されて得られる。
可逆圧縮データチャネルを生成し、可逆圧縮データチャネルを使用して、表示用の第2の装置と符号化された現在の画像フレームを共有するように構成され、ここで、可逆圧縮データチャネルと不可逆圧縮データチャネルとは相互に独立しており、不可逆圧縮データチャネルは、不可逆圧縮方式で符号化された画像フレームを送信するために使用され、または、
不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを使用することによって、表示用の第2の装置と符号化された現在の画像フレームを共有するように構成され、ここで、不可逆符号化プロトコルは、可逆圧縮方式に対応する新たに追加された符号化プロトコルを含み、不可逆圧縮データチャネルは、不可逆符号化プロトコルを用いて符号化された画像フレームを送信するために使用される。
第1の装置が現在の画像フレームを表示する期間を取得して、期間が予め設定された閾値よりも大きいかどうかを検出するように、または、
第1の装置に、表示バッファ内の画像フレームの次の画像フレームへの更新を停止するように指示するために使用される休止命令が受信されたか否かを検出するように構成される。
現在の画像フレームを生成するアプリケーションプログラムを決定して、アプリケーションプログラムが動的プログラムリストまたは静的プログラムリストに属するかどうかを検出するように構成され、ここで、動的プログラムリストは、動的表示シナリオを提供するアプリケーションプログラムを含み、静的プログラムリストは、静的表示シナリオを提供するアプリケーションプログラムを含み、または、
現在の画像フレームが表示されたときに呼び出される制御インターフェースを決定し、制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出するように構成され、ここで、動的インターフェースリストは、動的表示シナリオで呼び出される制御インターフェースを含み、静的インターフェースリストは、静的表示シナリオで呼び出される制御インターフェースを含み、または、
現在の画像フレームを提供するアプリケーションプログラムによって呼び出される符号化インターフェースを使用して、現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成され、ここで、符号化インターフェースは、第1の符号化インターフェースと第2の符号化インターフェースとを含み、第1の符号化インターフェースは、第1の符号化品質に従って画像フレームを符号化するように指示するために使用され、第2の符号化インターフェースは、第2の符号化品質に従って画像フレームを符号化するように指示するために使用され、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームと隣接する画像フレームにそれぞれ含まれる画像データが同じであるかどうかを検出して、画像データが異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像データが同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するように構成され、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームおよび隣接する画像フレームから同じタイプの画像特徴を抽出して、それぞれが取得された画像特徴が同じであるかどうかを検出し、画像特徴が異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像特徴が同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するように構成される。
特に、可逆圧縮データチャネルを生成し、可逆圧縮データチャネルを使用して、表示用の第2の装置と符号化された現在の画像フレームを共有するように構成され、ここで、可逆圧縮データチャネルと不可逆圧縮データチャネルとは相互に独立しており、不可逆圧縮データチャネルは、不可逆圧縮方式で符号化された画像フレームを送信するために使用され、または、
不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを使用することによって、表示用の第2の装置と符号化された現在の画像フレームを共有するように構成され、ここで、不可逆符号化プロトコルは、可逆圧縮方式に対応する新たに追加された符号化プロトコルを含み、不可逆圧縮データチャネルは、不可逆符号化プロトコルを用いて符号化された画像フレームを送信するために使用される。
302 第1の符号化モジュール
303 第2の符号化モジュール
304 第1の共有モジュール
Claims (21)
- 第1の装置によって、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するステップであって、前記動的表示シナリオは、設定時間内に画像フレームが動的に変化する表示シナリオであり、前記静的表示シナリオは、設定時間内に画像フレームが変化しない表示シナリオである、ステップと、
前記現在の画像フレームが前記動的表示シナリオで生成された画像フレームである場合、前記現在の画像フレームを第1の符号化品質に従って符号化するステップであって、前記第1の符号化品質は、符号化された画像フレームが符号化されていない画像フレームに復元される第1の復元度を示すために使用される、ステップと、
前記現在の画像フレームが前記静的表示シナリオで生成された画像フレームである場合、前記現在の画像フレームを第2の符号化品質に従って符号化するステップであって、前記第2の符号化品質は、符号化されていない前記画像フレームに符号化された画像フレームが復元される第2の復元度を示すために使用され、前記第2の復元度は前記第1の復元度よりも高い、ステップと、
表示用の第2の装置と符号化された前記現在の画像フレームを共有するステップとを備える、データ処理方法。 - 表示用の第2の装置と符号化された前記現在の画像フレームを共有する前記ステップの後、
前記現在の画像フレームを前記第1の符号化品質で符号化して符号化された前記現在の画像フレームが得られた場合、前記第1の装置による前記現在の画像フレームの表示が静的表示条件を満たすかどうかを検出するステップであって、前記静的表示条件は、前記表示されている現在の画像フレームが変更されないままである、ステップと、
前記第1の装置による前記現在の画像フレームの表示が前記静的表示条件を満たす場合、前記第2の符号化品質に従って前記現在の画像フレームを再び符号化するステップと、
前記表示用の第2の装置と再び符号化された前記現在の画像フレームを共有するステップとをさらに備える、請求項1に記載の方法。 - 前記第1の装置による前記現在の画像フレームの表示が静的表示条件を満たすかどうかを検出する前記ステップは、
前記第1の装置が前記現在の画像フレームを表示する期間を取得して、前記期間が予め設定された閾値よりも大きいかどうかを検出するステップ、または、
前記第1の装置に、前記表示バッファ内の前記現在の画像フレームの次の画像フレームへの更新を停止するように指示するために使用される休止命令が受信されたか否かを検出するステップを備える、請求項2に記載の方法。 - 第1の装置によって、画像フレーム内の現在の画像フレームが、動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するステップは、
現在の画像フレームを生成するアプリケーションプログラムを決定して、アプリケーションプログラムが動的プログラムリストまたは静的プログラムリストに属するかどうかを検出するステップであって、動的プログラムリストは、動的表示シナリオを提供するアプリケーションプログラムを含み、静的プログラムリストは、静的表示シナリオを提供するアプリケーションプログラムを含む、ステップ、または、
現在の画像フレームが表示されたときに呼び出される制御インターフェースを決定し、制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出するステップであって、動的インターフェースリストは、動的表示シナリオで呼び出される制御インターフェースを含み、静的インターフェースリストは、静的表示シナリオで呼び出される制御インターフェースを含む、ステップ、または、
現在の画像フレームを提供するアプリケーションプログラムによって呼び出される符号化インターフェースを使用して、現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するステップであって、符号化インターフェースは、第1の符号化インターフェースと第2の符号化インターフェースとを含み、第1の符号化インターフェースは、第1の符号化品質に従って画像フレームを符号化するように指示するために使用され、第2の符号化インターフェースは、第2の符号化品質に従って画像フレームを符号化するように指示するために使用される、ステップ、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームと隣接する画像フレームにそれぞれ含まれる画像データが同じであるかどうかを検出して、画像データが異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像データが同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するステップ、または、
現在の画像フレームに隣接する表示バッファ内の画像フレームを取得して、現在の画像フレームおよび隣接する画像フレームから同じタイプの画像特徴を抽出して、それぞれが取得された画像特徴が同じであるかどうかを検出し、画像特徴が異なる場合、現在の画像フレームが動的表示シナリオで生成された画像フレームであると判定し、または、画像特徴が同じである場合、現在の画像フレームが静的表示シナリオで生成された画像フレームであると判定するステップを備える、請求項1から3のいずれか一項に記載の方法。 - 第1の装置によって、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出する前に、本方法は、第2の装置の解像度を取得するステップと、第2の装置の解像度が第1の装置の解像度よりも高い場合、現在の画像フレームに対して超解像処理を実行するステップとを備える、請求項1から4のいずれか一項に記載の方法。
- 符号化された前記現在の画像フレームが送信されるネットワークの品質を取得するステップと、
前記ネットワークの前記品質に応じて、前記第1の符号化品質に対応する符号化パラメータを調整するステップ、または、前記ネットワークの前記品質に応じて、前記ネットワークの前記ネットワークの第2の符号化品質に対応する符号化パラメータを調整するステップとをさらに備え、前記ネットワークの前記品質と符号化された前記現在の画像フレームのデータ量との間に正の相関があり、符号化された前記現在の画像フレームは、前記符号化パラメータに従って符号化されて得られる、請求項1から5のいずれか一項に記載の方法。 - 前記第2の符号化品質は可逆圧縮方式に対応し、表示用の第2の装置と符号化された前記現在の画像フレームを共有する前記ステップは、
可逆圧縮データチャネルを生成し、前記可逆圧縮データチャネルを使用して、前記表示用の第2の装置と符号化された前記現在の画像フレームを共有するステップであって、前記可逆圧縮データチャネルと不可逆圧縮データチャネルとは相互に独立しており、不可逆圧縮データチャネルは、不可逆圧縮方式で符号化された画像フレームを送信するために使用される、ステップと、または、
不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを使用することによって、表示用の第2の装置と符号化された現在の画像フレームを共有するステップであって、不可逆号化プロトコルは、可逆圧縮方式に対応する新たに追加された符号化プロトコルを含み、不可逆圧縮データチャネルは、不可逆符号化プロトコルを用いて符号化された画像フレームを送信するために使用される、ステップとを備える、請求項1に記載の方法。 - 第1の装置に使用され、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成された画像フレーム検出モジュールであって、前記動的表示シナリオは、設定時間内に画像フレームが動的に変化する表示シナリオであり、前記静的表示シナリオは、前記設定時間内に画像フレームが変化しない表示シナリオである、画像フレーム検出モジュールと、
前記現在の画像フレームが前記動的表示シナリオで生成された画像フレームであると前記画像フレーム検出モジュールが検出した場合、前記現在の画像フレームを第1の符号化品質に従って符号化するように構成された第1の符号化モジュールであって、前記第1の符号化品質は、符号化された画像フレームが符号化されていない前記画像フレームに復元される第1の復元度を示すために使用される、第1の符号化モジュールと、
前記現在の画像フレームが前記静的表示シナリオで生成された画像フレームであると前記画像フレーム検出モジュールが検出した場合、前記現在の画像フレームを第2の符号化品質に従って符号化する第2の符号化モジュールであって、前記第2の符号化品質は、符号化された画像フレームが符号化されていない前記画像フレームに復元される第2の復元度を示すために使用され、前記第2の復元度は前記第1の復元度よりも高い、第2の符号化モジュールと、
前記第1の符号化モジュールまたは前記第2の符号化モジュールによって符号化された前記現在の画像フレームを、表示用の第2の装置と共有するように構成された第1の共有モジュールとを備える、データ処理装置。 - 前記第1の共有モジュールが、前記表示用の第2の装置と符号化された前記現在の画像フレームを共有した後、前記現在の画像フレームを前記第1の符号化品質で符号化して符号化された前記現在の画像フレームが得られた場合、前記第1の装置による前記現在の画像フレームの表示が静的表示条件を満たすかどうかを検出するように構成された表示検出モジュールであって、前記静的表示条件は、表示されている前記現在の画像フレームが変更されないままである、表示検出モジュールと、
前記第1の装置による前記現在の画像フレームの表示が前記静的表示条件を満たすと前記表示検出モジュールが検出した場合、前記第2の符号化品質に従って前記現在の画像フレームを再び符号化する第3の符号化モジュールと、
前記第3の符号化モジュールによって再び符号化された前記現在の画像フレームを、前記表示用の第2の装置と共有するように構成された第2の共有モジュールとを備える、請求項8に記載の装置。 - 前記表示検出モジュールは、具体的には、
前記第1の装置が前記現在の画像フレームを表示する期間を取得して、前記期間が予め設定された閾値よりも大きいかどうかを検出するように、または、
前記第1の装置に、前記表示バッファ内の前記現在の画像フレームの次の画像フレームへの更新を停止するように指示するために使用される休止命令が受信されたか否かを検出するように構成される、請求項9に記載の装置。 - 前記画像フレーム検出モジュールは、具体的に、
前記現在の画像フレームを生成するアプリケーションプログラムを決定して、前記アプリケーションプログラムが動的プログラムリストまたは静的プログラムリストに属するかどうかを検出するように構成され、ここで、前記動的プログラムリストは、前記動的表示シナリオを提供するアプリケーションプログラムを備え、前記静的プログラムリストは、前記静的表示シナリオを提供するアプリケーションプログラムを含み、または、
前記現在の画像フレームが表示されたときに呼び出される制御インターフェースを決定し、前記制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出するように構成され、ここで、前記動的インターフェースリストは、前記動的表示シナリオで呼び出される制御インターフェースを含み、前記静的インターフェースリストは、前記静的表示シナリオで呼び出される制御インターフェースを含み、または、
前記現在の画像フレームを提供するアプリケーションプログラムによって呼び出される符号化インターフェースを使用して、前記現在の画像フレームが前記動的表示シナリオまたは前記静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成され、ここで、前記符号化インターフェースは、第1の符号化インターフェースと第2の符号化インターフェースとを含み、前記第1の符号化インターフェースは、前記第1の符号化品質に従って画像フレームを符号化するように指示するために使用され、前記第2の符号化インターフェースは、前記第2の符号化品質に従って画像フレームを符号化するように指示するために使用され、または、
前記現在の画像フレームに隣接する前記表示バッファ内の画像フレームを取得して、前記現在の画像フレームと前記隣接する画像フレームにそれぞれ含まれる画像データが同じであるかどうかを検出して、前記画像データが異なる場合、前記現在の画像フレームが前記動的表示シナリオで生成された画像フレームであると判定し、または、前記画像データが同じである場合、前記現在の画像フレームが前記静的表示シナリオで生成された画像フレームであると判定するように構成され、または、
前記現在の画像フレームに隣接する前記表示バッファ内の画像フレームを取得して、前記現在の画像フレームおよび前記隣接する画像フレームから同じタイプの画像特徴を抽出して、それぞれが取得された前記画像特徴が同じであるかどうかを検出し、前記画像特徴が異なる場合、前記現在の画像フレームが前記動的表示シナリオで生成された画像フレームであると判定し、または、前記画像特徴が同じである場合、前記現在の画像フレームが前記静的表示シナリオで生成された画像フレームであると判定するように構成される、請求項8から10のいずれか一項に記載の装置。 - 前記画像フレーム検出モジュールが、前記表示バッファ内の前記現在の画像フレームが前記動的表示シナリオまたは前記静的表示シナリオで生成された画像フレームであるかどうかを検出する前に、前記第2の装置の解像度を取得し、
前記第2の装置の解像度が前記第1の装置の解像度より高い場合、前記現在の画像フレームに対して超解像度処理を実行するように構成された、画像フレーム処理モジュールをさらに備える、請求項8から11のいずれか一項に記載の装置。 - 符号化された前記現在の画像フレームが送信されるネットワークの品質を取得するように構成されたネットワーク品質取得モジュールと、
前記ネットワーク品質取得モジュールによって取得された前記ネットワークの前記品質に応じて、前記第1の符号化品質に対応する符号化パラメータを調整するように、または、前記ネットワークの前記品質に応じて、前記第2の符号化品質に対応する符号化パラメータを調整するようにさらに構成されたパラメータ調整モジュールとを備え、ここで、前記ネットワークの前記品質と符号化された前記現在の画像フレームのデータ量との間に正の相関があり、符号化された前記現在の画像フレームは、前記符号化パラメータに従って符号化されて得られる、請求項8から12のいずれか一項に記載の装置。 - 前記第2の符号化品質は、可逆圧縮方式に対応しており、前記第1の共有モジュールは、特に、
可逆圧縮データチャネルを生成し、前記可逆圧縮データチャネルを使用して、前記表示用の第2の装置と符号化された前記現在の画像フレームを共有するように構成され、ここで、前記可逆圧縮データチャネルと不可逆圧縮データチャネルとは相互に独立しており、前記不可逆圧縮データチャネルは、不可逆圧縮方式で符号化された画像フレームを送信するために使用され、または、
不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを使用することによって、前記表示用の第2の装置と符号化された前記現在の画像フレームを共有するように構成され、ここで、前記不可逆符号化プロトコルは、前記可逆圧縮方式に対応する新たに追加された符号化プロトコルを含み、前記不可逆圧縮データチャネルは、前記不可逆符号化プロトコルを用いて符号化された画像フレームを送信するために使用される、請求項8に記載の装置。 - バスと、バスに接続されたプロセッサ、メモリ、送信機および受信機を備えたデータ処理装置であって、前記メモリはいくつかの命令を記憶するように構成され、前記命令はプロセッサによって実行されるように構成され、
前記プロセッサは、第1の装置に使用され、表示バッファ内の現在の画像フレームが動的表示シナリオまたは静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成され、ここで、前記動的表示シナリオは、設定時間内に画像フレームが動的に変化する表示シナリオであり、前記静的表示シナリオは、前記設定時間内に画像フレームが変化しない表示シナリオであり、
前記プロセッサは、前記現在の画像フレームが前記動的表示シナリオで生成された画像フレームである場合、前記現在の画像フレームを第1の符号化品質に従って符号化するようにさらに構成され、ここで、前記第1の符号化品質は、符号化された画像フレームが符号化されていない前記画像フレームに復元される第1の復元度を示すために使用され、
前記プロセッサは、前記現在の画像フレームが前記静的表示シナリオで生成された画像フレームである場合、前記現在の画像フレームを第2の符号化品質に従って符号化するようにさらに構成され、ここで、前記第2の符号化品質は、符号化された画像フレームが符号化されていない前記画像フレームに復元される第2の復元度を示すために使用され、前記第2の復元度は前記第1の復元度よりも高く、前記送信機は、前記プロセッサによって符号化された現在の前記画像フレームを、表示用の第2の装置と共有するように構成される、データ処理装置。 - 前記プロセッサは、前記送信機が、前記表示用の第2の装置と符号化された現在の画像フレームを共有した後、前記現在の画像フレームを前記第1の符号化品質で符号化して符号化された前記現在の画像フレームが得られた場合、前記第1の装置による前記現在の画像フレームの表示が静的表示条件を満たすかどうかを検出するようにさらに構成され、前記静的表示条件は、前記表示されている現在の画像フレームが変更されないままであり、
前記プロセッサは、前記第1の装置による前記現在の画像フレームの表示が前記静的表示条件を満たすと表示検出モジュールが検出した場合、前記第2の符号化品質に従って前記現在の画像フレームを再び符号化するようにさらに構成され、
前記送信機は、前記プロセッサによって再び符号化された前記現在の画像フレームを、前記表示用の第2の装置と共有するようにさらに構成される、請求項15に記載の装置。 - 前記プロセッサは、具体的には、
前記第1の装置が前記現在の画像フレームを表示する期間を取得して、前記期間が予め設定された閾値よりも大きいかどうかを検出するように、または、
前記第1の装置に、前記表示バッファ内の前記現在の画像フレームの次の画像フレームへの更新を停止するように指示するために使用される休止命令が受信されたか否かを検出するように構成される、請求項16に記載の装置。 - 前記プロセッサは、具体的に、
前記現在の画像フレームを生成するアプリケーションプログラムを決定して、前記アプリケーションプログラムが動的プログラムリストまたは静的プログラムリストに属するかどうかを検出するように構成され、ここで、前記動的プログラムリストは、前記動的表示シナリオを提供するアプリケーションプログラムを備え、前記静的プログラムリストは、前記静的表示シナリオを提供するアプリケーションプログラムを含み、または、
前記現在の画像フレームが表示されたときに呼び出される制御インターフェースを決定し、前記制御インターフェースが動的インターフェースリストまたは静的インターフェースリストに属するかどうかを検出するように構成され、ここで、前記動的インターフェースリストは、前記動的表示シナリオで呼び出される制御インターフェースを含み、前記静的インターフェースリストは、前記静的表示シナリオで呼び出される制御インターフェースを含み、または、
前記現在の画像フレームを提供するアプリケーションプログラムによって呼び出される符号化インターフェースを使用して、前記現在の画像フレームが前記動的表示シナリオまたは前記静的表示シナリオで生成された画像フレームであるかどうかを検出するように構成され、ここで、前記符号化インターフェースは、第1の符号化インターフェースと第2の符号化インターフェースとを含み、前記第1の符号化インターフェースは、前記第1の符号化品質に従って画像フレームを符号化するように指示するために使用され、前記第2の符号化インターフェースは、前記第2の符号化品質に従って画像フレームを符号化するように指示するために使用され、または、
前記現在の画像フレームに隣接する前記表示バッファ内の画像フレームを取得して、前記現在の画像フレームと前記隣接する画像フレームにそれぞれ含まれる画像データが同じであるかどうかを検出して、前記画像データが異なる場合、前記現在の画像フレームが前記動的表示シナリオで生成された画像フレームであると判定し、または、前記画像データが同じである場合、前記現在の画像フレームが前記静的表示シナリオで生成された画像フレームであると判定するように構成され、または、
前記現在の画像フレームに隣接する前記表示バッファ内の画像フレームを取得して、前記現在の画像フレームおよび前記隣接する画像フレームから同じタイプの画像特徴を抽出して、それぞれが取得された前記画像特徴が同じであるかどうかを検出し、前記画像特徴が異なる場合、前記現在の画像フレームが前記動的表示シナリオで生成された画像フレームであると判定し、または、前記画像特徴が同じである場合、前記現在の画像フレームが前記静的表示シナリオで生成された画像フレームであると判定するように構成される、請求項15から17のいずれか一項に記載の装置。 - 前記プロセッサは、前記表示バッファ内の前記現在の画像フレームが前記動的表示シナリオまたは前記静的表示シナリオで生成された画像フレームであるかどうかを検出する前に、前記第2の装置の解像度を取得し、前記第2の装置の解像度が前記第1の装置の解像度より高い場合、前記現在の画像フレームに対して超解像度処理を実行するように構成された、請求項15から18のいずれか一項に記載の装置。
- 前記プロセッサは、符号化された前記現在の画像フレームが送信されるネットワークの品質を取得するステップと、前記ネットワークの前記品質に応じて、前記第1の符号化品質に対応する符号化パラメータを調整するようにさらに構成され、または、
前記プロセッサは、前記ネットワークの前記品質に応じて、前記ネットワークの前記ネットワークの第2の符号化品質に対応する符号化パラメータを調整するようにさらに構成され、ここで、前記ネットワークの前記品質と符号化された前記現在の画像フレームのデータ量との間に正の相関があり、符号化された前記現在の画像フレームは、前記符号化パラメータに従って符号化されて得られる、請求項15から19のいずれか一項に記載の装置。 - 前記第2の符号化品質は、可逆圧縮方式に対応しており、前記送信機は、特に、
可逆圧縮データチャネルを生成し、前記可逆圧縮データチャネルを使用して、前記表示用の第2の装置と符号化された前記現在の画像フレームを共有するように構成され、ここで、前記可逆圧縮データチャネルと不可逆圧縮データチャネルとは相互に独立しており、前記不可逆圧縮データチャネルは、不可逆圧縮方式で符号化された画像フレームを送信するために使用され、または、
不可逆符号化プロトコルに対応する不可逆圧縮データチャネルを使用することによって、前記表示用の第2の装置と符号化された前記現在の画像フレームを共有するように構成され、ここで、前記不可逆符号化プロトコルは、前記可逆圧縮方式に対応する新たに追加された符号化プロトコルを含み、前記不可逆圧縮データチャネルは、前記不可逆符号化プロトコルを用いて符号化された画像フレームを送信するために使用される、請求項15に記載の装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2015/075290 WO2016154816A1 (zh) | 2015-03-27 | 2015-03-27 | 数据处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018514133A true JP2018514133A (ja) | 2018-05-31 |
JP6483850B2 JP6483850B2 (ja) | 2019-03-13 |
Family
ID=57006428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017550612A Active JP6483850B2 (ja) | 2015-03-27 | 2015-03-27 | データ処理方法および装置 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP3264284B1 (ja) |
JP (1) | JP6483850B2 (ja) |
CN (1) | CN107004018B (ja) |
RU (1) | RU2662648C1 (ja) |
WO (1) | WO2016154816A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190268601A1 (en) * | 2018-02-26 | 2019-08-29 | Microsoft Technology Licensing, Llc | Efficient streaming video for static video content |
CN112764705B (zh) * | 2021-01-26 | 2022-12-02 | 重庆紫光华山智安科技有限公司 | 一种用户界面共享方法及电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003309841A (ja) * | 2002-02-12 | 2003-10-31 | Hitachi Kokusai Electric Inc | 動画像伝送装置 |
WO2007108487A1 (ja) * | 2006-03-20 | 2007-09-27 | Matsushita Electric Industrial Co., Ltd. | 画像処理装置、画像処理方法、プログラムおよび半導体集積回路 |
US20090327917A1 (en) * | 2007-05-01 | 2009-12-31 | Anne Aaron | Sharing of information over a communication network |
US20130128948A1 (en) * | 2011-11-23 | 2013-05-23 | Qualcomm Incorporated | Display mode-based video encoding in wireless display devices |
US20140289423A1 (en) * | 2013-03-25 | 2014-09-25 | Samsung Electronics Co., Ltd. | Method and apparatus for improving quality of experience in sharing screen among devices, and recording medium thereof |
JP2014200076A (ja) * | 2013-03-15 | 2014-10-23 | 株式会社リコー | 配信制御システム、配信制御方法、及びプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5990955A (en) * | 1997-10-03 | 1999-11-23 | Innovacom Inc. | Dual encoding/compression method and system for picture quality/data density enhancement |
US8964830B2 (en) * | 2002-12-10 | 2015-02-24 | Ol2, Inc. | System and method for multi-stream video compression using multiple encoding formats |
CN100512488C (zh) * | 2005-03-24 | 2009-07-08 | 华为技术有限公司 | 无线局域网向呈现系统提供呈现信息的方法及系统 |
JP2007088922A (ja) * | 2005-09-22 | 2007-04-05 | Sanyo Electric Co Ltd | 符号化装置と符号化方法 |
WO2009045682A2 (en) * | 2007-09-28 | 2009-04-09 | Athanasios Leontaris | Treating video information |
US8687702B2 (en) * | 2008-10-27 | 2014-04-01 | Advanced Micro Devices, Inc. | Remote transmission and display of video data using standard H.264-based video codecs |
TWI401968B (zh) * | 2009-10-30 | 2013-07-11 | Awind Inc | 螢幕畫面之編碼方法及其應用之電子裝置 |
CN102546917B (zh) * | 2010-12-31 | 2014-10-22 | 联想移动通信科技有限公司 | 带摄像头的移动终端及其视频处理方法 |
US9578336B2 (en) * | 2011-08-31 | 2017-02-21 | Texas Instruments Incorporated | Hybrid video and graphics system with automatic content detection process, and other circuits, processes, and systems |
US9325985B2 (en) * | 2013-05-28 | 2016-04-26 | Apple Inc. | Reference and non-reference video quality evaluation |
-
2015
- 2015-03-27 EP EP15886803.4A patent/EP3264284B1/en active Active
- 2015-03-27 RU RU2017135314A patent/RU2662648C1/ru active
- 2015-03-27 JP JP2017550612A patent/JP6483850B2/ja active Active
- 2015-03-27 CN CN201580065215.4A patent/CN107004018B/zh active Active
- 2015-03-27 WO PCT/CN2015/075290 patent/WO2016154816A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003309841A (ja) * | 2002-02-12 | 2003-10-31 | Hitachi Kokusai Electric Inc | 動画像伝送装置 |
WO2007108487A1 (ja) * | 2006-03-20 | 2007-09-27 | Matsushita Electric Industrial Co., Ltd. | 画像処理装置、画像処理方法、プログラムおよび半導体集積回路 |
US20090327917A1 (en) * | 2007-05-01 | 2009-12-31 | Anne Aaron | Sharing of information over a communication network |
US20130128948A1 (en) * | 2011-11-23 | 2013-05-23 | Qualcomm Incorporated | Display mode-based video encoding in wireless display devices |
JP2014200076A (ja) * | 2013-03-15 | 2014-10-23 | 株式会社リコー | 配信制御システム、配信制御方法、及びプログラム |
US20140289423A1 (en) * | 2013-03-25 | 2014-09-25 | Samsung Electronics Co., Ltd. | Method and apparatus for improving quality of experience in sharing screen among devices, and recording medium thereof |
Non-Patent Citations (1)
Title |
---|
MINHUA ZHOU, ET.AL.: "AHG22: High-level signaling of lossless coding mode in HEVC", JCTVC-G092, JPN6018037843, 24 November 2011 (2011-11-24), ISSN: 0003886840 * |
Also Published As
Publication number | Publication date |
---|---|
JP6483850B2 (ja) | 2019-03-13 |
RU2662648C1 (ru) | 2018-07-26 |
CN107004018B (zh) | 2020-11-17 |
EP3264284A1 (en) | 2018-01-03 |
EP3264284A4 (en) | 2018-04-11 |
WO2016154816A1 (zh) | 2016-10-06 |
CN107004018A (zh) | 2017-08-01 |
EP3264284B1 (en) | 2021-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230393802A1 (en) | Real-time screen sharing | |
EP2517470B1 (en) | Systems and methods for video-aware screen capture and compression | |
US9699518B2 (en) | Information processing apparatus, information processing system, recording medium, and method for transmission and reception of moving image data | |
US9277230B2 (en) | Display mode-based video encoding in wireless display devices | |
RU2506715C2 (ru) | Передача изменяющегося визуального контента | |
CN106664437B (zh) | 一种用于对视频内容进行编码以进行无线传输的计算机实现的方法、系统、设备以及可读介质 | |
WO2020248909A1 (zh) | 视频解码方法、装置、计算机设备及存储介质 | |
WO2021068598A1 (zh) | 共享屏幕的编码方法、装置、存储介质及电子设备 | |
US20150156557A1 (en) | Display apparatus, method of displaying image thereof, and computer-readable recording medium | |
CN110324721B (zh) | 一种视频数据处理方法、装置及存储介质 | |
US11627369B2 (en) | Video enhancement control method, device, electronic device, and storage medium | |
US11356739B2 (en) | Video playback method, terminal apparatus, and storage medium | |
CN114363649B (zh) | 视频处理方法、装置、设备及存储介质 | |
CN110582012A (zh) | 视频切换方法、视频处理方法、装置及存储介质 | |
CN113973224B (zh) | 媒体信息的传输方法、计算设备及存储介质 | |
JP6483850B2 (ja) | データ処理方法および装置 | |
WO2021057686A1 (zh) | 视频解码方法和装置、视频编码方法和装置、存储介质及电子装置 | |
US20210400334A1 (en) | Method and apparatus for loop-playing video content | |
CN109120979B (zh) | 视频增强控制方法、装置以及电子设备 | |
KR102232899B1 (ko) | 클라우드 스트리밍 서비스 시스템, 이미지 타입에 따른 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 | |
Miao et al. | A high-fidelity and low-interaction-delay screen sharing system | |
WO2021223577A1 (zh) | 一种视频处理的方法、相关装置、存储介质及程序产品 | |
KR20160044732A (ko) | 클라우드 스트리밍 서비스 시스템, 스틸 이미지 기반 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6483850 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |