JP2021158407A - 符号化装置、復号装置、符号化方法、復号方法、画面転送システム及びプログラム - Google Patents
符号化装置、復号装置、符号化方法、復号方法、画面転送システム及びプログラム Download PDFInfo
- Publication number
- JP2021158407A JP2021158407A JP2020053912A JP2020053912A JP2021158407A JP 2021158407 A JP2021158407 A JP 2021158407A JP 2020053912 A JP2020053912 A JP 2020053912A JP 2020053912 A JP2020053912 A JP 2020053912A JP 2021158407 A JP2021158407 A JP 2021158407A
- Authority
- JP
- Japan
- Prior art keywords
- image
- screen
- still image
- area
- still
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims description 54
- 238000012546 transfer Methods 0.000 title claims description 46
- 230000008569 process Effects 0.000 claims description 46
- 238000012545 processing Methods 0.000 description 28
- 238000006243 chemical reaction Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 22
- 230000005540 biological transmission Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】 画面画像の静止画領域の画像を符号化する際の発生情報量を抑える。【解決手段】 符号化装置は、所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号する静止画デコーダと、前記静止画デコーダにより復号された復号画像を記憶する復号画像記憶部と、を有し、前記静止画エンコーダは、前記所定領域が動画から静止画に切り替わった後の第1の画面画像が入力された場合に、前記切り替わった後の第1の画面画像から切り出された静止画領域の画像について、前記復号画像記憶部に記憶された復号画像から切り出された静止画領域の位置の画像を参照することで、画面間予測の符号化を行う。【選択図】図8
Description
本発明は、符号化装置、復号装置、符号化方法、復号方法、画面転送システム及びプログラムに関する。
従来より、表示画面に表示する画面画像を符号化して転送する画面転送システムが知られている。当該画面転送システムにおいては、動画を符号化する動画エンコーダや、静止画を符号化する静止画エンコーダ等、種々のエンコーダが組み合わされ、画面画像の更新頻度に応じて使い分けが行われている。
一方で、画面画像の高解像度化、フレームレートの向上等に対応するため、例えば、静止画エンコーダとして、より高速な処理を実現するハードウェア静止画エンコーダの適用が検討されている。
しかしながら、ハードウェア静止画エンコーダの場合、内部動作を変更することができないため、例えば、画面間予測による符号化処理を実現しようとすると、動画領域から静止画領域への切り替え時に、参照画像の取り込みができないといった問題が生じる。
このため、ハードウェア静止画エンコーダの場合、切り替え時の静止画領域の符号化処理については、画面内予測により対応することになる。この結果、画面間予測による対応が可能なソフトウェア静止画エンコーダの場合と比較して、切り替え時の発生情報量が増大する。
一つの側面では、画面画像の静止画領域の画像を符号化する際の発生情報量を抑えることを目的としている。
一態様によれば、符号化装置は、
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにおける前記画面内予測の符号化により生成された画面内予測符号化ストリームを復号する静止画デコーダと、
前記静止画デコーダにより復号された復号画像を記憶する復号画像記憶部と、を有し、
前記静止画エンコーダは、
前記所定領域が動画から静止画に切り替わった後の第1の画面画像が入力された場合に、前記切り替わった後の第1の画面画像から切り出された静止画領域の画像について、前記復号画像記憶部に記憶された復号画像を参照することで、画面間予測の符号化を行う。
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにおける前記画面内予測の符号化により生成された画面内予測符号化ストリームを復号する静止画デコーダと、
前記静止画デコーダにより復号された復号画像を記憶する復号画像記憶部と、を有し、
前記静止画エンコーダは、
前記所定領域が動画から静止画に切り替わった後の第1の画面画像が入力された場合に、前記切り替わった後の第1の画面画像から切り出された静止画領域の画像について、前記復号画像記憶部に記憶された復号画像を参照することで、画面間予測の符号化を行う。
画面画像の静止画領域の画像を符号化する際の発生情報量を抑えることができる。
以下、本発明の各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
[第1の実施形態]
<画面転送システムのシステム構成>
はじめに、第1の実施形態に係る画面転送システムのシステム構成について説明する。図1は、画面転送システムのシステム構成の一例を示す図である。
<画面転送システムのシステム構成>
はじめに、第1の実施形態に係る画面転送システムのシステム構成について説明する。図1は、画面転送システムのシステム構成の一例を示す図である。
図1に示すように、画面転送システム100は、符号化装置の一例である仮想デスクトップサーバ110と、仮想デスクトップサーバ110と通信可能に接続される復号装置の一例であるユーザ端末120とを有する。
仮想デスクトップサーバ110は、各種アプリケーションを実行することで生成された表示画面の画像(画面画像)を符号化し、符号化ストリームをユーザ端末に送信する。これにより、ユーザ端末120では、受信した符号化ストリームを復号し、画面画像を表示する。
また、仮想デスクトップサーバ110は、画面画像が表示されたことに応じて、ユーザがユーザ端末120を操作し、アプリケーションに対する各種指示を入力した場合に、ユーザ端末120から操作情報を受信する。
このように、画面転送機能を有する仮想デスクトップサーバ110を用いることで、ユーザは、各種アプリケーションを利用する際に、ユーザ端末120にデータを保存しておく必要がなくなる。この結果、画面転送システム100によれば、ユーザ端末120からの情報漏洩を抑制することが可能となり、セキュリティの向上を実現することができる。
<画面転送システムの各装置のハードウェア構成>
次に、画面転送システム100の各装置(仮想デスクトップサーバ110、ユーザ端末120)のハードウェア構成について説明する。
次に、画面転送システム100の各装置(仮想デスクトップサーバ110、ユーザ端末120)のハードウェア構成について説明する。
(1)仮想デスクトップサーバのハードウェア構成
図2は、仮想デスクトップサーバのハードウェア構成の一例を示す図である。図2に示すように、仮想デスクトップサーバ110は、プロセッサ210、メモリ220を有する。また、仮想デスクトップサーバ110は、補助記憶装置230、UI装置240、通信装置250、ドライブ装置260を有する。なお、仮想デスクトップサーバ110の各ハードウェアは、バス270を介して相互に接続される。
図2は、仮想デスクトップサーバのハードウェア構成の一例を示す図である。図2に示すように、仮想デスクトップサーバ110は、プロセッサ210、メモリ220を有する。また、仮想デスクトップサーバ110は、補助記憶装置230、UI装置240、通信装置250、ドライブ装置260を有する。なお、仮想デスクトップサーバ110の各ハードウェアは、バス270を介して相互に接続される。
プロセッサ210は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等の各種演算デバイス211を有する。各種演算デバイス211は、各種プログラムをメモリ220上に読み出して実行する。
また、プロセッサ210は、画面画像について動画符号化を行い、動画符号化ストリームを生成するハードウェア動画エンコーダ212と、動画符号化ストリームを復号し、復号画像を生成するハードウェア動画デコーダ213とを有する。
また、プロセッサ210は、画面画像内の静止画領域について静止画符号化を行い、静止画符号化ストリームを生成するハードウェア静止画エンコーダ214を有する。更に、プロセッサ210は、静止画符号化ストリームを復号し、静止画領域復号画像を生成するハードウェア静止画デコーダ215を有する。
メモリ220は、ROM(Read Only Memory)、RAM(Random Access Memory)等の主記憶デバイスを有する。プロセッサ210とメモリ220とは、いわゆるコンピュータを形成し、プロセッサ210の各種演算デバイス211が、メモリ220上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。また、プロセッサ210の各種演算デバイス211がプロセッサ210のハードウェア動画エンコーダ212〜ハードウェア静止画デコーダ215を動作させることで、当該コンピュータは各種機能を実現する。なお、コンピュータにより実現される各種機能の詳細は後述する。
補助記憶装置230は、各種プログラムや、各種プログラムがプロセッサ210の各種演算デバイス211によって実行される際に用いられる各種情報等を格納する。
UI装置は、仮想デスクトップサーバ110の管理者が、仮想デスクトップサーバ110に対して各種指示を入力するための入力デバイスや、仮想デスクトップサーバ110の内部状態を管理者に表示する表示デバイス等を有する。
通信装置250は、ネットワークを介して、ユーザ端末120と通信するための通信デバイスである。
ドライブ装置260は記録媒体280をセットするためのデバイスである。ここでいう記録媒体280には、CD−ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体280には、ROM、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置230にインストールされる各種プログラムは、例えば、配布された記録媒体280がドライブ装置260にセットされ、該記録媒体280に記録された各種プログラムがドライブ装置260により読み出されることでインストールされる。あるいは、補助記憶装置230にインストールされる各種プログラムは、通信装置250を介してネットワークからダウンロードされることで、インストールされてもよい。
(2)ユーザ端末のハードウェア構成
図3は、ユーザ端末のハードウェア構成の一例を示す図である。なお、図2と図3との相違点は、図3の場合、ハードウェア動画エンコーダが含まれていない点である。その他のハードウェアについては、基本的に仮想デスクトップサーバ110と同様であるため、ここでは、詳細な説明を省略する。
図3は、ユーザ端末のハードウェア構成の一例を示す図である。なお、図2と図3との相違点は、図3の場合、ハードウェア動画エンコーダが含まれていない点である。その他のハードウェアについては、基本的に仮想デスクトップサーバ110と同様であるため、ここでは、詳細な説明を省略する。
<動画領域から静止画領域への切り替え>
次に、仮想デスクトップサーバからユーザ端末に転送される画面画像の所定領域が、動画領域から静止画領域に切り替わった際の発生情報量について説明する。図4は、動画領域から静止画領域への切り替えと、発生情報量との関係を示す図である。
次に、仮想デスクトップサーバからユーザ端末に転送される画面画像の所定領域が、動画領域から静止画領域に切り替わった際の発生情報量について説明する。図4は、動画領域から静止画領域への切り替えと、発生情報量との関係を示す図である。
このうち、図4(a)は、各時間における画面画像410、411、412内の所定領域420が、静止画領域→動画領域→静止画領域と変遷した様子を示している。なお、静止画領域とは、所定時間内の画像更新頻度が所定の閾値未満の領域を指し、動画領域とは、所定時間内の画像更新頻度が所定の閾値以上の領域を指す。
一方、図4(b)は、一般的な仮想デスクトップサーバが、画面画像410、411、412内の所定領域420を符号化することで、各時間において生成される動画符号化ストリームまたは静止画符号化ストリームの発生情報量を示している。
図4(b)に示すように、所定領域420が静止画領域である場合、各フレーム間の差分はゼロとなるため、画面間予測の符号化を行うことができれば、静止画符号化ストリームの発生情報量はゼロとなる(矢印430で示す区間参照)。一方、所定領域420が動画領域である場合、動画符号化ストリームの各フレームの発生情報量は矢印431で示すとおりとなる。更に、所定領域420が動画領域から静止画領域に切り替わった場合の、静止画符号化ストリームの各フレームの発生情報量は矢印432で示すとおりとなる。
具体的には、ハードウェア静止画エンコーダは内部動作を変更することができないため、静止画領域に切り替わった後の1フレーム目において、画面間予測の符号化を行うための参照画像を取り込むことができない。このため、一般的な仮想デスクトップサーバでは、動画領域から静止画領域に切り替わった後の1フレーム目において、ハードウェア静止画エンコーダは、画面間予測の符号化ではなく、画面内予測の符号化を行うことになる。つまり、一般的な仮想デスクトップサーバでは、切り替わった後の1フレーム目において、画面内予測符号化ストリームが生成されるため、発生情報量が増大することになる(符号433参照)。
そこで、第1の実施形態に係る画面転送システム100では、動画領域から静止画領域に切り替わった後の1フレーム目において増大する、発生情報量が抑えられるように、仮想デスクトップサーバ110及びユーザ端末120を形成する。
具体的には、動画領域から静止画領域に切り替わった後の1フレーム目において、画面間予測の符号化を行うように仮想デスクトップサーバ110及びユーザ端末120を形成する。第1の実施形態では、各種演算デバイス211(311)が、ハードウェア動画エンコーダ212(ハードウェア動画デコーダ312)〜ハードウェア静止画デコーダ215(314)を適切に動作させることで、画面間予測の符号化を実現する。以下、第1の実施形態に係る画面転送システム100の仮想デスクトップサーバ110及びユーザ端末120の詳細について、説明する。
<仮想デスクトップサーバの動作の概要>
はじめに、動画領域から静止画領域への切り替え時の仮想デスクトップサーバ110の動作の概要について説明する。図5は、動画領域から静止画領域への切り替え時の仮想デスクトップサーバの動作の概要を示す図である。
はじめに、動画領域から静止画領域への切り替え時の仮想デスクトップサーバ110の動作の概要について説明する。図5は、動画領域から静止画領域への切り替え時の仮想デスクトップサーバの動作の概要を示す図である。
図5において、復号画像511は、所定領域420が動画領域から静止画領域に切り替わった後の1フレーム目を符号化する前の画面画像を復号した復号画像(動画符号化ストリームを復号した復号画像)である。一方、画面画像412は、所定領域420が動画領域から静止画領域に切り替わった後の1フレーム目の入力画像である。
仮想デスクトップサーバ110では、復号画像511における静止画領域の位置(ここでは、所定領域420の位置)を特定し、復号画像511における静止画領域の位置の画像について、ハードウェア静止画エンコーダ214が画面内予測の符号化を行う。また、仮想デスクトップサーバ110では、静止画領域の位置を示す静止画領域情報及び画面内予測の符号化条件を、ユーザ端末120に送信する。また、仮想デスクトップサーバ110では、画面内予測符号化ストリームを復号し、復号画像511を更新する。更に、仮想デスクトップサーバ110では、更新した復号画像511における静止画領域の位置の画像を切り出し、ハードウェア静止画エンコーダ214では、切り出された画像を内部メモリ(図5の網掛けの矩形領域)に保持する。
これにより、動画領域から静止画領域に切り替わった後の1フレーム目の静止画領域の画像について、画面間予測符号化を行うための事前準備が整うことになる。なお、事前準備が整うとは、所定領域420が動画領域から静止画領域に切り替わった後の1フレーム目の静止画領域の画像について、画面間予測の符号化を行う際に参照先となる画像がハードウェア静止画エンコーダ214の内部メモリに保持された状態を指す。ただし、参照先となる画像は、ユーザ端末120においても再現可能な画像である。
続いて、仮想デスクトップサーバ110のハードウェア静止画エンコーダ214には、動画領域から静止画領域に切り替わった後の1フレーム目の画面画像412内の所定領域420の画像(静止画領域の画像)が入力される。
1フレーム目の画面画像412内の所定領域420の画像(静止画領域の画像)が入力されると、ハードウェア静止画エンコーダ214では、内部メモリに保持している、更新された復号画像511から切り出された静止画領域の位置の画像を参照する。
これにより、仮想デスクトップサーバ110のハードウェア静止画エンコーダ214では、画面間予測の符号化を行い、画面間予測符号化ストリームを生成する。また、仮想デスクトップサーバ110では、生成した画面間予測符号化ストリームを、ユーザ端末120に送信する。更に、仮想デスクトップサーバ110のハードウェア静止画エンコーダ214では、1フレーム目の画面画像412内の所定領域420の画像(静止画領域の画像)を、内部メモリに保持する。
このように、仮想デスクトップサーバ110では、動画領域から静止画領域に切り替わった後の1フレーム目から、静止画領域の画像について画面間予測の符号化を行い、画面間予測符号化ストリームをユーザ端末120に送信する。
この結果、動画領域から静止画領域に切り替わった後の1フレーム目において、発生符号量が増大するのを抑えることができる。
<仮想デスクトップサーバの機能構成の概要>
続いて、動画領域から静止画領域への切り替え時の仮想デスクトップサーバ110の上記動作を実現するための機能構成(ここでは、主にハードウェアで実現される機能の構成)について、概要を説明する。図6は、仮想デスクトップサーバの機能構成の概要を示す第1の図であり、動画領域から静止画領域に切り替わった後の1フレーム目の画面画像を処理する前の状態における機能構成の概要を示している。
続いて、動画領域から静止画領域への切り替え時の仮想デスクトップサーバ110の上記動作を実現するための機能構成(ここでは、主にハードウェアで実現される機能の構成)について、概要を説明する。図6は、仮想デスクトップサーバの機能構成の概要を示す第1の図であり、動画領域から静止画領域に切り替わった後の1フレーム目の画面画像を処理する前の状態における機能構成の概要を示している。
図6に示すように、1フレーム目の画面画像を処理する前の状態において、ローカルデコード画像バッファ610には、動画領域から静止画領域に切り替わった後の1フレーム目を符号化する前の画面画像を復号した復号画像511が格納されている(符号(i))。ローカルデコード画像バッファ610は、復号画像記憶部の一例であり、仮想デスクトップサーバ110のメモリ220上に確保されるバッファ領域である。ここで、所定領域420が動画領域から静止画領域に切り替わると(符号(ii))、ローカルデコード画像バッファ610に格納された復号画像511から、静止画領域の位置の画像が切り出される(符号(iii))。
ハードウェア静止画エンコーダ214では、切り出された静止画領域の位置の画像について、画面内予測の符号化を行い、画面内予測符号化ストリームを生成する。このとき、復号画像511より切り出された静止画領域の位置を示す静止画領域情報は、ユーザ端末120に送信される。また、画面内予測符号化ストリームを生成した際の画面内予測の符号化条件は、ユーザ端末120に送信される(符号(iv))。
更に、ハードウェア静止画エンコーダ214では、画面内予測の符号化を行うことで生成した画面内予測符号化ストリームを、ハードウェア静止画デコーダ215に通知する(符号(v))。
ハードウェア静止画デコーダ215では、通知された画面内予測符号化ストリームを復号し、復号画像511を更新する(符号(vi))。
図7は、仮想デスクトップサーバの機能構成の概要を示す第2の図であり、動画領域から静止画領域に切り替わった後の1フレーム目の画面画像412を処理するための機能構成の概要を示している。
図7に示すように、仮想デスクトップサーバ110に対して、動画領域から静止画領域に切り替わった後の1フレーム目の画面画像412(以下、単に、1フレーム目の画面画像412と称す)が入力されたとする(符号(i))。
1フレーム目の画面画像412が入力されると、ローカルデコード画像バッファ610に格納された、更新された復号画像511から、静止画領域の位置の画像が切り出される(符号(ii))。なお、このとき切り出される静止画領域の位置の画像は、画面内予測符号化ストリームの復号画像(図6の符号(vi))に等しい。また、ハードウェア静止画エンコーダ214では、切り出された静止画領域の位置の画像を内部メモリに保持する。
更に、1フレーム目の画面画像412から、静止画領域の画像が切り出される(符号(iii))。これにより、動画領域から静止画領域に切り替わった後の1フレーム目の静止画領域の画像について、画面間予測符号化を行うための事前準備が整うことになる。
そして、ハードウェア静止画エンコーダ214では、
・内部メモリに保持している、更新された復号画像511から切り出された静止画領域の位置の画像と、
・1フレーム目の画面画像412から切り出された静止画領域の画像と、
を用いて、画面間予測の符号化を行い、画面間予測符号化ストリームを生成する。また、ハードウェア静止画エンコーダ214では、1フレーム目の画面画像412から切り出された静止画領域の画像を、内部メモリに保持する。
・内部メモリに保持している、更新された復号画像511から切り出された静止画領域の位置の画像と、
・1フレーム目の画面画像412から切り出された静止画領域の画像と、
を用いて、画面間予測の符号化を行い、画面間予測符号化ストリームを生成する。また、ハードウェア静止画エンコーダ214では、1フレーム目の画面画像412から切り出された静止画領域の画像を、内部メモリに保持する。
なお、ハードウェア静止画エンコーダ214により生成された画面間予測符号化ストリームは、ユーザ端末120に送信されるとともに、ハードウェア静止画デコーダ215に通知される(符号(iv))。
ハードウェア静止画デコーダ215では、通知された画面間予測符号化ストリームを復号することで、1フレーム目の静止画領域の画像についての復号画像を生成し、ローカルデコード画像バッファ610に格納する(符号(v))。
これにより、ローカルデコード画像バッファ610には、ユーザ端末120において、1フレーム目の画面画像として表示される表示画面の画像と同じ画像が格納されることになる。なお、ハードウェア静止画デコーダ215が画面間予測符号化ストリームを復号し、ローカルデコード画像バッファ610に格納する処理は、画面間予測符号化ストリームを生成する際に不可欠な機能ではないため、実行されなくてもよい。
<仮想デスクトップサーバの機能構成の詳細>
次に、仮想デスクトップサーバ110の機能構成の詳細について説明する。図8は、仮想デスクトップサーバの機能構成の詳細を示す図である。仮想デスクトップサーバ110は、ハードウェアが動作することにより実現される機能と、プログラム(ソフトウェア)が各種演算デバイス211によって実行されることにより実現される機能とにより、画面転送処理を実行する。
次に、仮想デスクトップサーバ110の機能構成の詳細について説明する。図8は、仮想デスクトップサーバの機能構成の詳細を示す図である。仮想デスクトップサーバ110は、ハードウェアが動作することにより実現される機能と、プログラム(ソフトウェア)が各種演算デバイス211によって実行されることにより実現される機能とにより、画面転送処理を実行する。
図8において、白色矩形枠は、ハードウェアが動作することにより実現される機能を表し、ハッチング矩形枠は、プログラム(ソフトウェア)がプロセッサ210の各種演算デバイス211によって実行されることにより実現される機能を表す。以下、各部の機能の詳細について説明する。
更新頻度判定部811は、画面画像をフレームごとに取得し、取得した各フレームの画面画像を所定サイズ(例えば、16画素×16画素)の領域に分割する。また、更新頻度判定部811は、分割した各領域について更新頻度を判定する。
領域判定部812は、分割されたそれぞれの領域について、更新頻度判定部811により判定された更新頻度が所定の閾値以上であるか否かを判定する。領域判定部812は、当該領域が所定の閾値以上であれば、当該領域を動画領域と判定し、所定の閾値未満であれば、当該領域を静止画領域と判定する。
領域判定部812では、領域判定の結果に基づき、動画領域情報を動画領域切り出し部814に、静止画領域情報を静止画領域切り出し部816及びクライアント画像静止画領域切り出し部817に、動画領域情報及び静止画領域情報を送信部818に通知する。
なお、領域判定部812では、画面画像内の所定領域が動画領域から静止画領域に切り替わった後の1フレーム目も、静止画領域情報を静止画領域切り出し部816及びクライアント画像静止画領域切り出し部817の両方に通知する。なお、動画領域から静止画領域に切り替わった領域がある場合でも、当該画面画像内に動画領域が含まれる場合には動画符号化が行われる。このため、動画符号化は画面画像全体に対して行われ、後述する動画領域切り出し部814により切り出される動画領域は、領域判定部812で動画領域と判定された領域のみとなる。
色差変換部813は、入力された画面画像の色差フォーマットを変換する。具体的には、色差変換部813は、色差フォーマットを、4:4:4フォーマットから、4:2:0フォーマットに変換する。
なお、4:4:4フォーマットから4:2:0フォーマットへの変換とは、フレームごとの画面画像のうち、Y成分はそのままとし、U成分を縦横それぞれ1/2倍になるように間引き、V成分を縦横それぞれ1/2倍になるようにするフィルタ処理を指す。
ハードウェア動画エンコーダ212は、色差変換部813により4:2:0フォーマットに変換されたフレームごとの画面画像について、画面画像全体に対して動画符号化を行い、動画符号化ストリームを生成する。
なお、ハードウェア動画エンコーダ212は、例えば、H.264、H.265/HEVC等の動画用の符号化規格に準拠した符号化方式で動画符号化ストリームを生成する。ただし、ハードウェア動画エンコーダ212が動画符号化ストリームを生成する際の符号化方式は、H.264、H.265/HEVCに限定されない。
ハードウェア動画エンコーダ212により生成された動画符号化ストリームは、ハードウェア動画デコーダ213及び送信部818に通知される。
ハードウェア動画デコーダ213は、ハードウェア動画エンコーダ212より通知された動画符号化ストリームを復号し、全画面動画復号画像を生成する。また、ハードウェア動画デコーダ213は、生成した全画面動画復号画像を、全画面動画復号画像フレームバッファ810に通知する。なお、全画面動画復号画像フレームバッファ810は、仮想デスクトップサーバ110のメモリ220上に確保されるバッファ領域である。
全画面動画復号画像フレームバッファ810は、ハードウェア動画デコーダ213より通知された全画面動画復号画像を格納する。
動画領域切り出し部814は、領域判定部812より動画領域情報が通知された場合に、全画面動画復号画像フレームバッファ810に格納された全画面動画復号画像を読み出し、動画領域の画像を切り出す。また、動画領域切り出し部814は、切り出した動画領域の画像を、色差変換部815に通知する。
色差変換部815は、動画領域切り出し部814により切り出された動画領域について、色差フォーマットを変換する。具体的には、色差変換部815は、色差フォーマットを、4:2:0フォーマットから、4:4:4フォーマットに変換する。
なお、4:2:0フォーマットから、4:4:4フォーマットへの変換とは、動画領域の画像のうち、Y成分はそのままとし、U成分を縦横それぞれ2倍になるように補間し、V成分を縦横それぞれ2倍になるように補間する処理を指す。
色差変換部815は、色差フォーマットを変換した、動画領域の画像(動画領域復号画像)を含む全画面動画復号画像を、ローカルデコード画像バッファ610に通知する。
ローカルデコード画像バッファ610は、色差変換部815から通知された動画領域復号画像を含む全画面動画復号画像、及び、ハードウェア静止画デコーダ215から通知される、静止画領域の復号画像)を格納する。これにより、ローカルデコード画像バッファ610には、画面画像の復号画像が格納されることになる。
静止画領域切り出し部816は、領域判定部812より、静止画領域情報が通知された場合に動作する。具体的には、静止画領域切り出し部816は、入力された画面画像から、静止画領域情報により特定される静止画領域の画像を切り出す。また、静止画領域切り出し部816は、画面画像より切り出した静止画領域の画像を、ハードウェア静止画エンコーダ214に通知する。
クライアント画像静止画領域切り出し部817は、ローカルデコード画像バッファ610に格納されている、動画領域から静止画領域に切り替わった後の1フレーム目を符号化する前の画面画像を復号した復号画像から、静止画領域の位置の画像を切り出す。また、クライアント画像静止画領域切り出し部817は、ローカルデコード画像バッファ610に格納されている、更新された復号画像から、静止画領域の位置の画像を切り出す。更に、クライアント画像静止画領域切り出し部817は、切り出した静止画領域の画像を、ハードウェア静止画エンコーダ214に通知する。
ハードウェア静止画エンコーダ214は、動画領域から静止画領域に切り替わった場合において、1フレーム目を符号化する前の画面画像を復号した復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う。また、ハードウェア静止画エンコーダ214は、画面内予測符号化ストリームをハードウェア静止画デコーダ215に通知するとともに、画面内予測の符号化条件を送信部818に通知する。
また、ハードウェア静止画エンコーダ214は、更新された復号画像から切り出された静止画領域の位置の画像を、内部メモリに保持する。
また、ハードウェア静止画エンコーダ214は、静止画領域切り出し部816によって切り出された静止画領域の画像について、画面間予測の符号化を行う。具体的には、ハードウェア静止画エンコーダ214は、内部メモリに保持している、更新された復号画像から切り出された静止画領域の位置の画像を参照画像として、画面間予測の符号化を行う。
また、ハードウェア静止画エンコーダ214は、画面間予測符号化ストリームを、ハードウェア静止画デコーダ215及び送信部818に通知する。
ハードウェア静止画デコーダ215は、ハードウェア静止画エンコーダ214より通知された画面内予測符号化ストリーム、または、画面間予測符号化ストリームを復号し、静止画領域の復号画像を生成する。また、ハードウェア静止画エンコーダ214は、生成した静止画領域の復号画像を、ローカルデコード画像バッファ610に格納する。
送信部818は、
・ハードウェア動画エンコーダ212より通知された動画符号化ストリーム、
・ハードウェア静止画エンコーダ214より通知された画面内予測の符号化条件、
・ハードウェア静止画エンコーダ214より通知された画面間予測符号化ストリーム、
・領域判定部812より通知された動画領域情報及び静止画領域情報、
をユーザ端末120に送信する。
・ハードウェア動画エンコーダ212より通知された動画符号化ストリーム、
・ハードウェア静止画エンコーダ214より通知された画面内予測の符号化条件、
・ハードウェア静止画エンコーダ214より通知された画面間予測符号化ストリーム、
・領域判定部812より通知された動画領域情報及び静止画領域情報、
をユーザ端末120に送信する。
<仮想デスクトップサーバにおける画面転送処理の流れ>
次に、仮想デスクトップサーバ110における画面転送処理の流れについて説明する。図9は、仮想デスクトップサーバにおける画面転送処理の流れを示す第1のフローチャートである。
次に、仮想デスクトップサーバ110における画面転送処理の流れについて説明する。図9は、仮想デスクトップサーバにおける画面転送処理の流れを示す第1のフローチャートである。
ステップS901において、更新頻度判定部811は、画面画像が新たに入力されたか、あるいは次のフレームに更新されたか否かを判定する。ステップS901において、画面画像が新たに入力されていないか、あるいは次のフレームに更新されていないと判定された場合には(ステップS901においてNOの場合には)、ステップS901に戻り、待機する。
一方、ステップS901において、画面画像が新たに入力されたか、あるいは次のフレームに更新されたと判定された場合には(ステップS901においてYESの場合には)、ステップS902に進む。
ステップS902において、更新頻度判定部811は、フレーム単位で取得した画面画像について、所定サイズの領域ごとに、更新頻度を判定する。
ステップS903において、領域判定部812は、ステップS902において判定された更新頻度に基づいて、各領域が動画領域であるか静止画領域であるかを判定する。
ステップS904において、領域判定部812は、画面画像内に、動画領域であると判定された領域があるか否かを判定する。ステップS904において動画領域であると判定された領域がないと判定した場合には(ステップS904においてNOの場合には)、ステップS907に進む。
一方、ステップS904において動画領域であると判定された領域があると判定した場合には(ステップS904においてYESの場合には)、ステップS905に進む。
ステップS905において、色差変換部813は、入力された、あるいは次のフレームに更新された画面画像について、色差フォーマットを変換する。また、ハードウェア動画エンコーダ212は、色差フォーマットが変換された画面画像について動画符号化を行い、動画符号化ストリームを生成する。更に、送信部818は、動画領域情報及び動画符号化ストリームを、ユーザ端末120に送信する。
ステップS906において、ハードウェア動画デコーダ213は、動画符号化ストリームを復号し、全画面動画復号画像を生成し、全画面動画復号画像フレームバッファ810に格納する。また、動画領域切り出し部814は、動画領域情報に基づいて、全画面動画復号画像から動画領域の画像を切り出し、色差変換部815は、色差フォーマットを変換することで動画領域復号画像を生成する。更に、色差変換部815は、動画領域復号画像を含む全画面動画復号画像を、ローカルデコード画像バッファ610に格納する。
ステップS907において、領域判定部812は、静止画領域であると判定された領域があるか否かを判定する。ステップS907において静止画領域であると判定された領域がないと判定した場合には(ステップS907においてNOの場合には)、ステップS916に進む。
一方、ステップS907において静止画領域であると判定された領域があると判定した場合には(ステップS907においてYESの場合には)、ステップS908に進む。
ステップS908において、領域判定部812は、動画領域から静止画領域への切り替わりのタイミングであるか否かを判定する。ステップS908において、切り替わりのタイミングでないと判定した場合には(ステップS908においてNOの場合には)、ステップS909に進む。
ステップS909において、静止画領域切り出し部816は、入力された、あるいは次のフレームに更新された画面画像より、静止画領域の画像を切り出す。また、ハードウェア静止画エンコーダ214は、内部メモリに保持している1フレーム前の入力画像の静止画領域の画像を参照することで、画面間予測の符号化を行い、画面間予測符号化ストリームを生成する。更に、送信部818は、静止画領域情報及び画面間予測符号化ストリームをユーザ端末120に送信する。
ステップS910において、ハードウェア静止画デコーダ215は、画面間予測符号化ストリームを復号し、静止画領域の復号画像をローカルデコード画像バッファ610に格納する。
一方、ステップS908において、切り替わりのタイミングであると判定した場合には(ステップS908においてYESの場合には)、ステップS911に進む。
ステップS911において、クライアント画像静止画領域切り出し部817は、ローカルデコード画像バッファ610に格納されている、切り替わった後の1フレーム目を符号化する前の画面画像の復号画像から静止画領域の位置の画像を切り出す。また、ハードウェア静止画エンコーダ214は、クライアント画像静止画領域切り出し部817により切り出された静止画領域の位置の画像について、画面内予測の符号化を行い、画面内予測符号化ストリームを生成する。
ステップS912において、送信部818は、静止画領域情報及び画面内予測の符号化条件をユーザ端末120に送信する。
ステップS913において、ハードウェア静止画デコーダ215は、画面内予測符号化ストリームを復号し、ローカルデコード画像バッファ610に格納された、画面画像の復号画像を更新する。また、クライアント画像静止画領域切り出し部817は、更新された復号画像から、静止画領域の位置の画像を切り出し、ハードウェア静止画エンコーダ214に通知する。これにより、ハードウェア静止画エンコーダ214では、更新された復号画像から切り出された静止画領域の位置の画像を内部メモリに保持する。
ステップS914において、静止画領域切り出し部816は、1フレーム目の画面画像より、静止画領域の画像を切り出す。また、ハードウェア静止画エンコーダ214は、内部メモリに保持している、更新された復号画像から切り出された静止画領域の位置の画像を参照し、画面間予測の符号化を行う。これにより、ハードウェア静止画エンコーダ214は、1フレーム目の画面画像の静止画領域の画像について、画面間予測符号化ストリームを生成する。また、ハードウェア静止画エンコーダ214は、1フレーム目の画面画像より切り出された静止画領域の画像を、内部メモリに保持する。更に、送信部818は、1フレーム目の画面画像の静止画領域についての静止画領域情報及び画面間予測符号化ストリームをユーザ端末120に送信する。
ステップS915において、ハードウェア静止画デコーダ215は、1フレーム目の画面画像の静止画領域の画像についての画面間予測符号化ストリームを復号することで、静止画領域の復号画像を生成し、ローカルデコード画像バッファ610に格納する。
ステップS916において、仮想デスクトップサーバ110は、画面転送処理を終了するか否かを判定する。ステップS916において、画面転送処理を終了しないと判定した場合には(ステップS916においてNOの場合には)、ステップS901に戻る。
一方、ステップS916において、画面転送処理を終了すると判定した場合には(ステップS916においてYESの場合には)、画面転送処理を終了する。
<ユーザ端末の動作の概要>
次に、動画領域から静止画領域への切り替え時のユーザ端末120の動作の概要について説明する。図10は、動画領域から静止画領域への切り替え時のユーザ端末の動作の概要を示す図である。
次に、動画領域から静止画領域への切り替え時のユーザ端末120の動作の概要について説明する。図10は、動画領域から静止画領域への切り替え時のユーザ端末の動作の概要を示す図である。
図10において、復号画像511は、所定領域420が動画領域から静止画領域に切り替わった後の1フレーム目を符号化する前の画面画像を復号した復号画像である。具体的には、画面画像411について、仮想デスクトップサーバ110のハードウェア動画エンコーダ212が動画符号化を行うことで生成した動画符号化ストリームを、ユーザ端末120のハードウェア動画デコーダ312が復号した画像である。
ユーザ端末120のハードウェア静止画エンコーダ313は、復号画像511から、静止画領域の位置の画像を切り出し、画面内予測の符号化を行う。ハードウェア静止画エンコーダ313では、仮想デスクトップサーバ110から送信された静止画領域情報及び符号化条件に基づいて、画面内予測の符号化を行う。
また、ハードウェア静止画エンコーダ313は、画面内予測の符号化を行うことで生成した画面内予測符号化ストリームを、ハードウェア静止画デコーダ314に通知する。
ハードウェア静止画デコーダ314は、ハードウェア静止画エンコーダ313より通知された画面内予測符号化ストリームを復号する。これにより、ハードウェア静止画デコーダ314は、静止画領域の位置の復号画像を生成し、ハードウェア静止画デコーダ314の内部メモリ(図10の網掛けの矩形領域)に保持する。
また、ハードウェア静止画デコーダ314は、仮想デスクトップサーバ110から受信した画面間予測符号化ストリームを復号する。具体的には、1フレーム目の画面画像412の静止画領域の画像について、仮想デスクトップサーバ110のハードウェア静止画エンコーダ214により画面間予測の符号化が行われることで生成された画面間予測符号化ストリームを復号する。このとき、ハードウェア静止画デコーダ314では、ハードウェア静止画デコーダ314の内部メモリに保持している、静止画領域の位置の復号画像を参照することで、画面間予測符号化ストリームを復号する。
ハードウェア静止画デコーダ314は、1フレーム目の画面画像412についての静止画領域の復号画像を、内部メモリに保持するとともに、デコード画像バッファに格納する。
このように、ユーザ端末120では、ハードウェア静止画デコーダ314が、1フレーム目を復号する前に内部メモリに保持した静止画領域の位置の復号画像を参照する。これにより、ユーザ端末120では、1フレーム目から画面間予測符号化ストリームを復号することができる。
<ユーザ端末の機能構成の概要>
続いて、動画領域から静止画領域への切り替え時のユーザ端末120の上記動作を実現するための機能構成(ここでは、主にハードウェアで実現される機能の構成)について、概要を説明する。図11は、ユーザ端末の機能構成の概要を示す第1の図であり、動画領域から静止画領域に切り替わった後の1フレーム目の画面間予測符号化ストリームを処理する前の状態における機能構成の概要を示している。
続いて、動画領域から静止画領域への切り替え時のユーザ端末120の上記動作を実現するための機能構成(ここでは、主にハードウェアで実現される機能の構成)について、概要を説明する。図11は、ユーザ端末の機能構成の概要を示す第1の図であり、動画領域から静止画領域に切り替わった後の1フレーム目の画面間予測符号化ストリームを処理する前の状態における機能構成の概要を示している。
図11に示すように、1フレーム目の画面画像を処理する前の状態において、デコード画像バッファ1110には、動画領域から静止画領域に切り替わった後の1フレーム目を符号化する前の画面画像を復号した復号画像511が格納されている(符号(i))。デコード画像バッファ1110は、ユーザ端末120のメモリ320上に確保されたバッファ領域である。
ここで、仮想デスクトップサーバ110から、静止画領域情報が送信されると(符号(ii))、デコード画像バッファ1110に格納された復号画像511から、静止画領域の位置の画像が切り出される(符号(iii))。
また、ハードウェア静止画エンコーダ313は、仮想デスクトップサーバ110から画面内予測の符号化条件を受信する。また、ハードウェア静止画エンコーダ313は、受信した符号化条件に基づき、切り出された静止画領域の位置の画像について、画面内予測の符号化を行い、画面内予測符号化ストリームを生成する(符号(iv))。更に、ハードウェア静止画エンコーダ313は、生成した画面内予測符号化ストリームを、ハードウェア静止画デコーダ314に通知する。
ハードウェア静止画デコーダ314は、ハードウェア静止画エンコーダ313より通知された画面内予測符号化ストリームを復号することで、静止画領域の位置の復号画像を生成し、ハードウェア静止画デコーダ314の内部メモリに保持する。これにより、動画領域から静止画領域に切り替わった後の1フレーム目の静止画領域の画像について、画面間予測符号化を行うための事前準備が整うことになる。
図12は、ユーザ端末の機能構成の概要を示す第2の図であり、動画領域から静止画領域に切り替わった後の1フレーム目の画面画像412についての画面間予測符号化ストリームを処理するための機能構成の概要を示している。
図12に示すように、ユーザ端末120は、仮想デスクトップサーバ110より1フレーム目の画面画像412についての画面間予測符号化ストリームを受信する(符号(i))。上述したように、ハードウェア静止画デコーダ314は、内部メモリに、復号画像511の静止画領域の位置の復号画像を保持している。このため、ハードウェア静止画デコーダ314では、復号画像511の静止画領域の位置の復号画像を参照することで、1フレーム目の画面画像412についての画面間符号化ストリームを復号する。
また、ハードウェア静止画デコーダ314では、画面間符号化ストリームを復号することで生成した、1フレーム目の画面画像412についての静止画領域の復号画像を、デコード画像バッファ1110に格納する(符号(ii))。
これにより、1フレーム目を符号化する前の画面画像の復号画像511と、1フレーム目の画面画像412についての静止画領域の復号画像とを含む画面画像が、ユーザ端末120のUI装置340に表示されることになる(符号(iii))。
<ユーザ端末の復号部の機能構成の詳細>
次に、ユーザ端末120の機能構成の詳細について説明する。図13は、ユーザ端末の機能構成の詳細を示す図である。ユーザ端末120は、ハードウェアが動作することにより実現される機能と、ソフトウェア(プログラム)が各種演算デバイス311によって実行されることにより実現される機能とにより、画面転送処理を実行する。
次に、ユーザ端末120の機能構成の詳細について説明する。図13は、ユーザ端末の機能構成の詳細を示す図である。ユーザ端末120は、ハードウェアが動作することにより実現される機能と、ソフトウェア(プログラム)が各種演算デバイス311によって実行されることにより実現される機能とにより、画面転送処理を実行する。
図13において、白色矩形枠は、ハードウェアが動作することにより実現される機能を表し、ハッチング矩形枠は、ソフトウェア(プログラム)がプロセッサ310の各種演算デバイス311によって実行されることにより実現される機能を表す。以下、各部の機能の詳細について説明する。
受信部1311は、仮想デスクトップサーバ110よりフレームごとの動画符号化ストリーム、画面間予測符号化ストリーム、動画領域情報及び静止画領域情報、符号化条件を受信する。また、受信した動画符号化ストリームをハードウェア動画デコーダ312に、受信した画面間予測符号化ストリームをハードウェア静止画デコーダ314に、動画領域情報及び静止画領域情報、符号化条件を、変更領域取得部1312に通知する。
変更領域取得部1312は、動画領域情報を動画領域切り出し部1313に、静止画領域情報を静止画領域切り出し部1315に通知する。また、変更領域取得部1312は、符号化条件を静止画領域切り出し部1315に通知する。
ハードウェア動画デコーダ312は、動画符号化ストリームを復号することで、全画面動画復号画像を生成し、全画面動画復号画像フレームバッファ1322に通知する。なお、全画面動画復号画像フレームバッファ1322は、ユーザ端末120のメモリ320上に確保されたバッファ領域である。
全画面動画復号画像フレームバッファ1322は、ハードウェア動画デコーダ312より通知された全画面動画復号画像を格納する。
動画領域切り出し部1313は、変更領域取得部1312より通知された動画領域情報に基づいて、全画面動画復号画像フレームバッファ1322に格納された全画面動画復号画像から、動画領域の画像を切り出す。また、動画領域切り出し部1313は、切り出した動画領域の画像を、色差変換部1314に通知する。
色差変換部1314は、動画領域切り出し部1313より通知された動画領域の画像について、色差フォーマットを変換する。具体的には、色差変換部1314は、色差フォーマットを、4:2:0フォーマットから、4:4:4フォーマットに変換する。
また、色差変換部1314は、色差フォーマットを変換した動画領域の画像(動画領域復号画像)を含む全画面動画復号画像を、デコード画像バッファ1110に通知する。
デコード画像バッファ1110は、色差変換部1314から通知された動画領域復号画像を含む全画面動画復号画像、及び、ハードウェア静止画デコーダ314から通知される静止画領域の復号画像を格納する。これにより、デコード画像バッファ1110には、画面画像の復号画像が格納されることになる。
ハードウェア静止画エンコーダ313は、デコード画像バッファ1110に格納されている、動画領域から静止画領域に切り替わった後の1フレーム目を符号化する前の画面画像を復号した復号画像を読み出す。また、ハードウェア静止画エンコーダ313は、変更領域取得部1312から通知された静止画領域情報に対応する静止画領域の位置の画像を、読み出した画面画像の復号画像から切り出す。また、静止画領域切り出し部1315は、切り出した静止画領域の位置の画像を、ハードウェア静止画エンコーダ313に通知する。更に、静止画領域切り出し部1315は、変更領域取得部1312から通知された符号化条件を、ハードウェア静止画エンコーダ313に通知する。
ハードウェア静止画エンコーダ313は、静止画領域切り出し部1315から通知された静止画領域の位置の画像について、静止画領域切り出し部1315から通知された符号化条件に基づいて、画面内予測の符号化を行い、画面内予測符号化ストリームを生成する。また、ハードウェア静止画エンコーダ313は、生成した画面内予測符号化ストリームをハードウェア静止画デコーダ314に通知する。
ハードウェア静止画デコーダ314は、ハードウェア静止画エンコーダ313から通知された画面内予測符号化ストリームを復号することで静止画領域の位置の復号画像を生成し、内部メモリに保持する。
また、ハードウェア静止画デコーダ314は、受信部1311から通知された画面間符号化ストリームを受信し、ハードウェア静止画デコーダ314の内部メモリに保持している静止画領域の位置の復号画像を参照することで、画面間符号化ストリームを復号する。更に、ハードウェア静止画デコーダ314は、画面間符号化ストリームを復号することで生成した静止画領域の復号画像を内部メモリに保持するとともに、デコード画像バッファ1110に格納する。
<ユーザ端末における画面転送処理の流れ>
次に、ユーザ端末120における画面転送処理の流れについて説明する。図14は、ユーザ端末における画面転送処理の流れを示す第1のフローチャートである。
次に、ユーザ端末120における画面転送処理の流れについて説明する。図14は、ユーザ端末における画面転送処理の流れを示す第1のフローチャートである。
ステップS1401において、受信部1311は、仮想デスクトップサーバ110から送信される動画符号化ストリーム等を格納するバッファを確認する。
ステップS1402において、受信部1311は、確認結果に基づいて、仮想デスクトップサーバ110から動画または静止画符号化ストリーム等を受信したか否かを判定する。ステップS1400において、動画または静止画符号化ストリーム等を受信していないと判定した場合には(ステップS1402においてNOの場合には)、受信したと判定するまで待機する。
一方、ステップS1402において、動画符号化ストリーム等を受信したと判定した場合には(ステップS1402においてYESの場合には)、ステップS1403に進む。
ステップS1403において、変更領域取得部1312は、動画領域情報及び静止画領域情報を取得する。
ステップS1404において、受信部1311は、動画符号化ストリームを受信したか否かを判定する。ステップS1404において、動画符号化ストリームを受信したと判定した場合には(ステップS1404においてYESの場合には)、ステップS1405に進む。
ステップS1405において、ハードウェア動画デコーダ312は、動画符号化ストリームを復号し、全画面動画復号画像フレームバッファ1322に格納する。また、動画領域切り出し部1313は、動画領域情報に基づいて、全画面動画復号画像から動画領域の画像を切り出し、色差変換部1314は色差フォーマットを変換する。これにより、動画領域切り出し部1313は、動画領域復号画像を含む全画面動画復号画像をデコード画像バッファ1110に格納する。
一方、ステップS1404において、動画符号化ストリームを受信していないと判定した場合には(ステップS1404においてNOの場合には)、直接、ステップS1406に進む。
ステップS1406において、受信部1311は、静止画(画面間予測)符号化ストリームを受信したか否かを判定する。ステップS1406において、静止画(画面間予測)符号化ストリームを受信していないと判定した場合には(ステップS1406においてNOの場合には)、ステップS1415に進む。
一方、ステップS1406において、画面間予測符号化ストリームを受信したと判定した場合には(ステップS1406においてYESの場合には)、ステップS1407に進む。
ステップS1407において、変更領域取得部1312は、動画領域から静止画領域への切り替わりのタイミングであるか否かを判定する。ステップS1407において、切り替わりのタイミングでないと判定した場合には(ステップS1407においてNOの場合には)、ステップS1408に進む。
ステップS1408において、ハードウェア静止画デコーダ314は、画面間予測符号化ストリームに対して画面間予測の符号化を行うことで復号し、静止画領域の復号画像を生成する。また、ハードウェア静止画デコーダ314は、生成した静止画領域の復号画像を、内部メモリに保持する。
ステップS1409において、ハードウェア静止画デコーダ314は、生成した静止画領域の復号画像をデコード画像バッファ1110に格納する。これにより、画面画像が生成される。生成された画面画像は、UI装置340に表示される。
一方、ステップS1407において、切り替わりのタイミングであると判定した場合には(ステップS1407においてYESの場合には)、ステップS1411に進む。
ステップS1411において、静止画領域切り出し部1315は、デコード画像バッファ1110に格納された、1フレーム目を符号化する前の画面画像の復号画像から、静止画領域の位置の画像を切り出す。また、ハードウェア静止画エンコーダ313は、切り出された静止画領域の位置の画像について、画面内予測の符号化を行うことで、画面内予測符号化ストリームを生成する。
ステップS1412において、ハードウェア静止画デコーダ314は、画面内予測の符号化を行うことで生成された画面内予測符号化ストリームを復号し、静止画領域の位置の復号画像を生成する。また、ハードウェア静止画デコーダ314は、生成した静止画領域の位置の復号画像を、内部メモリに保持する。
ステップS1413において、ハードウェア静止画デコーダ314は、1フレーム目の画面画像についての画面間予測符号化ストリームを受信する。また、ハードウェア静止画デコーダ314は、ハードウェア静止画デコーダ314の内部メモリに保持した静止画領域の位置の復号画像を参照することで、1フレーム目の画面画像の静止画領域の画像についての画面間予測符号化ストリームを復号する。また、ハードウェア静止画デコーダ314は、1フレーム目の画面画像の静止画領域の画像についての画面間予測符号化ストリームを復号することで生成した静止画領域の復号画像を、内部メモリに保持する。
ステップS1414において、ハードウェア静止画デコーダ314は、生成した静止画領域の復号画像をデコード画像バッファ1110に格納する。これにより、1フレーム目の画面画像が生成される。生成された画面画像は、UI装置340に表示される。
ステップS1415において、ユーザ端末120は、画面転送処理を終了するか否かを判定する。ステップS1415において、画面転送処理を終了しないと判定した場合には(ステップS1415においてNOの場合には)、ステップS1401に戻る。
一方、ステップS1415において、画面転送処理を終了すると判定した場合には(ステップS1415においてYESの場合には)、画面転送処理を終了する。
以上の説明から明らかなように、第1の実施形態に係る仮想デスクトップサーバ110は、
・所定領域が動画領域から静止画領域に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から、静止画領域の位置の画像を切り出す。
・切り出した静止画領域の位置の画像について、画面内予測の符号化を行い、画面内予測符号化ストリームを生成する。
・画面内予測符号化ストリームを復号し、復号画像をローカルデコード画像バッファに記憶する。
・所定領域が動画領域から静止画領域に切り替わった後の1フレーム目の画面画像が入力された場合に、切り替わった後の画面画像から切り出された静止画領域の画像について、画面間予測の符号化を行い、画面間予測符号化ストリームを生成する。その際、ローカルデコード画像バッファに記憶された復号画像を参照する。
・所定領域が動画領域から静止画領域に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から、静止画領域の位置の画像を切り出す。
・切り出した静止画領域の位置の画像について、画面内予測の符号化を行い、画面内予測符号化ストリームを生成する。
・画面内予測符号化ストリームを復号し、復号画像をローカルデコード画像バッファに記憶する。
・所定領域が動画領域から静止画領域に切り替わった後の1フレーム目の画面画像が入力された場合に、切り替わった後の画面画像から切り出された静止画領域の画像について、画面間予測の符号化を行い、画面間予測符号化ストリームを生成する。その際、ローカルデコード画像バッファに記憶された復号画像を参照する。
また、第1の実施形態に係るユーザ端末120は、
・所定領域が動画領域から静止画領域に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から、静止画領域の位置の画像を切り出す。
・切り出した静止画領域の位置の画像について、画面内予測の符号化を行い、画面内予測符号化ストリームを生成する。
・画面内予測符号化ストリームを復号し、切り替わる前の画面画像の静止画領域の位置の復号画像を生成する。
・所定領域が動画領域から静止画領域に切り替わった後の1フレーム目の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、画面間予測符号化ストリームを復号する。その際、切り替わる前の画面画像の静止画領域の位置の復号画像を参照する。
・所定領域が動画領域から静止画領域に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から、静止画領域の位置の画像を切り出す。
・切り出した静止画領域の位置の画像について、画面内予測の符号化を行い、画面内予測符号化ストリームを生成する。
・画面内予測符号化ストリームを復号し、切り替わる前の画面画像の静止画領域の位置の復号画像を生成する。
・所定領域が動画領域から静止画領域に切り替わった後の1フレーム目の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、画面間予測符号化ストリームを復号する。その際、切り替わる前の画面画像の静止画領域の位置の復号画像を参照する。
このように、第1の実施形態に係る仮想デスクトップサーバでは、動画領域から静止画領域に切り替わった後の1フレーム目の画面画像の静止画領域の画像について画面間予測の符号化を行う。また、第1の実施形態に係るユーザ端末では、動画領域から静止画領域に切り替わった後の1フレーム目の画面画像の静止画領域についての画面間予測符号化ストリームを復号する。
これにより、第1の実施形態によれば、動画領域から静止画領域に切り替わった後の1フレーム目において、発生符号量が増大するのを抑えることができる。
つまり、第1の実施形態によれば、画面画像の静止画領域の画像を符号化する際の発生情報量を抑えることができる。
[第2の実施形態]
上記第1の実施形態では、動画領域から静止画領域に切り替わった後の1フレーム目の処理の際、
・画面内予測の符号化、静止画領域情報及び符号化条件の送信、
・画面間予測の符号化、画面間予測符号化ストリームの送信、
を行うことで、動画領域から静止画領域への切り替え後の1フレーム目において、発生情報量が増大するのを抑える方法について説明した。
上記第1の実施形態では、動画領域から静止画領域に切り替わった後の1フレーム目の処理の際、
・画面内予測の符号化、静止画領域情報及び符号化条件の送信、
・画面間予測の符号化、画面間予測符号化ストリームの送信、
を行うことで、動画領域から静止画領域への切り替え後の1フレーム目において、発生情報量が増大するのを抑える方法について説明した。
しかしながら、動画領域から静止画領域への切り替え後の1フレーム目において、発生情報量が増大するのを抑える方法はこれに限定されない。例えば、動画領域から静止画領域に切り替わった後の1フレーム目の処理の際、
・画面内予測の符号化、静止画領域情報及び符号化条件の送信、
を行い、動画領域から静止画領域に切り替わった後の2フレーム目の処理の際、
・画面間予測の符号化、画面間予測符号化ストリームの送信、
を行うことで、動画領域から静止画領域への切り替え後の1フレーム目において発生情報量が増大するのを抑えるようにしてもよい。以下、第2の実施形態について、上記第1の実施形態との相違点を中心に説明する。
・画面内予測の符号化、静止画領域情報及び符号化条件の送信、
を行い、動画領域から静止画領域に切り替わった後の2フレーム目の処理の際、
・画面間予測の符号化、画面間予測符号化ストリームの送信、
を行うことで、動画領域から静止画領域への切り替え後の1フレーム目において発生情報量が増大するのを抑えるようにしてもよい。以下、第2の実施形態について、上記第1の実施形態との相違点を中心に説明する。
<仮想デスクトップサーバにおける画面転送処理の流れ>
図15は、仮想デスクトップサーバにおける画面転送処理の流れを示す第2のフローチャートである。図9との相違点は、ステップS1501、S1502である。
図15は、仮想デスクトップサーバにおける画面転送処理の流れを示す第2のフローチャートである。図9との相違点は、ステップS1501、S1502である。
ステップS1501において、静止画領域切り出し部816は、2フレーム目の画面画像より、静止画領域の画像を切り出す。また、ハードウェア静止画エンコーダ214は、内部メモリに保持している、更新された復号画像から切り出された静止画領域の位置の画像を参照し、画面間予測の符号化を行う。これにより、ハードウェア静止画エンコーダ214は、2フレーム目の画面画像の静止画領域の画像について、画面間予測符号化ストリームを生成する。また、ハードウェア静止画エンコーダ214は、2フレーム目の画面画像より切り出された静止画領域の画像を、内部メモリに保持する。更に、送信部818は、2フレーム目の画面画像の静止画領域についての静止画領域情報及び画面間予測符号化ストリームをユーザ端末120に送信する。
ステップS1502において、ハードウェア静止画デコーダ215は、2フレーム目の画面画像の静止画領域の画像についての画面間予測符号化ストリームを復号することで、静止画領域の復号画像を生成し、ローカルデコード画像バッファ610に格納する。
<ユーザ端末における画面転送処理の流れ>
次に、ユーザ端末120における画面転送処理の流れについて説明する。図16は、ユーザ端末における画面転送処理の流れを示す第2のフローチャートである。図14との相違点は、ステップS1601、S1602である。
次に、ユーザ端末120における画面転送処理の流れについて説明する。図16は、ユーザ端末における画面転送処理の流れを示す第2のフローチャートである。図14との相違点は、ステップS1601、S1602である。
ステップS1413においてハードウェア静止画デコーダ314は、2フレーム目の画面画像についての画面間予測符号化ストリームを受信する。また、ハードウェア静止画デコーダ314は、ハードウェア静止画デコーダ314の内部メモリに保持した静止画領域の位置の復号画像を参照することで、2フレーム目の画面画像の静止画領域の画像についての画面間予測符号化ストリームを復号する。また、ハードウェア静止画デコーダ314は、2フレーム目の画面画像の静止画領域の画像についての画面間予測符号化ストリームを復号することで生成した静止画領域の復号画像を、内部メモリに保持する。
ステップS1602において、ハードウェア静止画デコーダ314は、生成した静止画領域の復号画像をデコード画像バッファに格納する。これにより、2フレーム目の画面画像についての画面画像が生成される。生成された画面画像は、UI装置340に表示される。
以上の説明から明らかなように、第2の実施形態に係る仮想デスクトップサーバ110では、
・動画領域から静止画領域に切り替わった後の1フレーム目の処理の際、画面内予測の符号化、静止画領域情報及び符号化条件の送信を行い、
・動画領域から静止画領域に切り替わった後の2フレーム目の処理の際、画面間予測の符号化、画面間予測符号化ストリームの送信を行う。
・動画領域から静止画領域に切り替わった後の1フレーム目の処理の際、画面内予測の符号化、静止画領域情報及び符号化条件の送信を行い、
・動画領域から静止画領域に切り替わった後の2フレーム目の処理の際、画面間予測の符号化、画面間予測符号化ストリームの送信を行う。
これにより、第2の実施形態によれば、上記第1の実施形態と同様、画面画像の静止画領域の画像を符号化する際の発生符号量を抑えることができる。
[第3の実施形態]
上記第1の実施形態では、図8に示す各部の機能を仮想デスクトップサーバ110にて実現する場合について説明した。しかしながら、図8に示す各部の機能を実現する装置は、仮想デスクトップサーバ110に限定されず、画面転送システムにおいて符号化処理を行う任意の情報処理装置に適用可能である。
上記第1の実施形態では、図8に示す各部の機能を仮想デスクトップサーバ110にて実現する場合について説明した。しかしながら、図8に示す各部の機能を実現する装置は、仮想デスクトップサーバ110に限定されず、画面転送システムにおいて符号化処理を行う任意の情報処理装置に適用可能である。
また、上記第1の実施形態では、ハードウェア動画エンコーダ、ハードウェア動画デコーダ、ハードウェア静止画エンコーダ、ハードウェア静止画デコーダが、プロセッサ内に配置されるものとして説明した。しかしながら、ハードウェア動画エンコーダ、ハードウェア動画デコーダ、ハードウェア静止画エンコーダ、ハードウェア静止画デコーダは、プロセッサ外に配置されてもよい。
また、上記第1の実施形態では、動画及び静止画のエンコーダ、デコーダが、いずれも、ハードウェアで実現されるものとして説明したが、例えば、動画エンコーダ及び動画デコーダは、ソフトウェアにより実現されてもよい。
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
(付記1)
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号する静止画デコーダと、
前記静止画デコーダにより復号された復号画像を記憶する復号画像記憶部と、を有し、
前記静止画エンコーダは、
前記所定領域が動画から静止画に切り替わった後の第1の画面画像が入力された場合に、前記切り替わった後の第1の画面画像から切り出された静止画領域の画像について、前記復号画像記憶部に記憶された復号画像を参照することで、画面間予測の符号化を行う符号化装置。
(付記2)
前記静止画エンコーダは、前記復号画像記憶部に記憶された復号画像を、内部メモリに保持し、前記所定領域が動画から静止画に切り替わった後の第1の画面画像が入力された場合に、該内部メモリを参照することで、画面間予測の符号化を行う、付記1に記載の符号化装置。
(付記3)
前記切り替わった後の第1の画面画像の静止画領域の位置を判定し、静止画領域情報を生成する領域判定部と、
前記領域判定部により判定された静止画領域の位置の画像を、前記切り替わる前の画面画像の復号画像から切り出す切り出し部と
を更に有する、付記2に記載の符号化装置。
(付記4)
前記静止画デコーダは、前記静止画エンコーダにより生成された前記画面間予測符号化ストリームを復号することで、前記切り替わった後の第1の画面画像の静止画領域の復号画像を生成する、付記3に記載の符号化装置。
(付記5)
前記領域判定部により生成された静止画領域情報と、前記静止画エンコーダが画面内予測の符号化を行った際の符号化条件とを、前記画面間予測の符号化により生成された画面間予測符号化ストリームの送信先に送信する送信部を更に有する、付記1に記載の符号化装置。
(付記6)
前記静止画エンコーダは、前記切り替わった後の第1の画面画像から切り出された静止画領域の画像を、前記内部メモリに保持し、前記所定領域が動画から静止画に切り替わった後の第2の画面画像が入力された場合に、前記切り替わった後の第2の画面画像から切り出された静止画領域の画像について、前記内部メモリを参照することで、画面間予測の符号化を行う、付記3に記載の符号化装置。
(付記7)
前記所定領域が動画から静止画に切り替わる前の画面画像について動画符号化を行うことで、前記動画符号化ストリームを生成する動画エンコーダと、
前記切り替わる前の画面画像についての動画符号化ストリームを復号することで、前記画面画像の復号画像を生成する動画デコーダと、を更に有する、付記1に記載の符号化装置。
(付記8)
前記第1の画面画像は、前記所定領域が動画から静止画に切り替わった後の1フレーム目の画面画像であり、
前記第2の画面画像は、前記所定領域が動画から静止画に切り替わった後の2フレーム目の画面画像である、付記6に記載の符号化装置。
(付記9)
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号し、前記切り替わる前の画面画像の静止画領域の位置の復号画像を生成する静止画デコーダと、を有し、
前記静止画デコーダは、
前記所定領域が動画から静止画に切り替わった後の第1の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、前記切り替わる前の画面画像の静止画領域の位置の復号画像を参照することで、前記画面間予測符号化ストリームを復号する、復号装置。
(付記10)
前記静止画領域の位置を示す静止画領域情報と、前記画面内予測の符号化条件とを取得する取得部と、
取得された前記静止画領域情報に基づいて、前記切り替わる前の画面画像の復号画像から静止画領域の位置の画像を切り出す切り出し部と、を有し、
前記静止画エンコーダは、前記切り出された静止画領域の位置の画像について、取得された前記符号化条件に基づいて、前記画面内予測の符号化を行う、付記9に記載の復号装置。
(付記11)
前記静止画デコーダは、前記切り替わる前の画面画像の静止画領域の位置の復号画像を、内部メモリに保持し、前記第1の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、該内部メモリを参照することで、前記画面間予測符号化ストリームを復号する、付記10に記載の復号装置。
(付記12)
前記静止画デコーダは、前記画面間予測符号化ストリームを復号した復号画像を、前記切り替わる前の画面画像の復号画像が格納されたバッファに格納することで、前記切り替わった後の第1の画面画像の復号画像を生成する、付記11に記載の復号装置。
(付記13)
前記静止画デコーダは、前記切り替わった後の第1の画面画像の静止画領域についての画面間予測符号化ストリームを復号した復号画像を、前記内部メモリに保持し、前記所定領域が動画から静止画に切り替わった後の第2の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、前記内部メモリを参照することで、前記切り替わった後の第2の画面画像の静止画領域についての画面間予測符号化ストリームを復号する、付記11に記載の復号装置。
(付記14)
前記切り替わる前の画面画像についての動画符号化ストリームを復号することで、前記切り替わる前の画面画像の復号画像を生成する動画デコーダを更に有する、付記12に記載の復号装置。
(付記15)
符号化装置と復号装置とを有する画面転送システムであって、
前記符号化装置は、
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号する静止画デコーダと、
前記静止画デコーダにより復号された復号画像を記憶する復号画像記憶部と、を有し、
前記静止画エンコーダは、
前記所定領域が動画から静止画に切り替わった後の画面画像が入力された場合に、前記切り替わった後の画面画像から切り出された静止画領域の画像について、前記復号画像記憶部に記憶された復号画像を参照することで、画面間予測の符号化を行い、
前記復号装置は、
前記動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号し、前記切り替わる前の画面画像の静止画領域の位置の復号画像を生成する静止画デコーダと、を有し、
前記静止画デコーダは、
前記所定領域が動画から静止画に切り替わった後の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、前記切り替わる前の画面画像の静止画領域の位置の復号画像を参照することで、前記画面間予測符号化ストリームを復号する、画面転送システム。
(付記16)
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームが復号されることで生成した画面画像の復号画像から、静止画領域の位置の画像を切り出す処理と、
切り出した静止画領域の位置の画像についての画面内予測符号化ストリームが復号されることで生成された復号画像を取得する処理と、
前記所定領域が動画から静止画に切り替わった後の画面画像が入力された場合に、前記切り替わった後の画面画像から静止画領域の画像を切り出す処理と、
前記切り替わった後の画面画像から切り出された静止画領域の画像について、前記画面内予測符号化ストリームが復号されることで生成された復号画像を参照することで、画面間予測の符号化を行うよう、静止画エンコーダを動作させる処理と
をコンピュータに実行させるためのプログラム。
(付記17)
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームが復号されることで生成した画面画像の復号画像から、静止画領域の位置の画像を切り出す処理と、
切り出した静止画領域の位置の画像について、画面内予測の符号化が行われることで生成された画面内予測符号化ストリームが復号され、前記静止画領域の位置の復号画像が生成された状態で、前記所定領域が動画から静止画に切り替わった後の画面画像の静止画領域の画像についての画面間予測符号化ストリームが入力された場合に、前記静止画領域の位置の復号画像を参照することで、前記画面間予測符号化ストリームを復号するよう、静止画デコーダを動作させる処理と
をコンピュータに実行させるためのプログラム。
(付記1)
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号する静止画デコーダと、
前記静止画デコーダにより復号された復号画像を記憶する復号画像記憶部と、を有し、
前記静止画エンコーダは、
前記所定領域が動画から静止画に切り替わった後の第1の画面画像が入力された場合に、前記切り替わった後の第1の画面画像から切り出された静止画領域の画像について、前記復号画像記憶部に記憶された復号画像を参照することで、画面間予測の符号化を行う符号化装置。
(付記2)
前記静止画エンコーダは、前記復号画像記憶部に記憶された復号画像を、内部メモリに保持し、前記所定領域が動画から静止画に切り替わった後の第1の画面画像が入力された場合に、該内部メモリを参照することで、画面間予測の符号化を行う、付記1に記載の符号化装置。
(付記3)
前記切り替わった後の第1の画面画像の静止画領域の位置を判定し、静止画領域情報を生成する領域判定部と、
前記領域判定部により判定された静止画領域の位置の画像を、前記切り替わる前の画面画像の復号画像から切り出す切り出し部と
を更に有する、付記2に記載の符号化装置。
(付記4)
前記静止画デコーダは、前記静止画エンコーダにより生成された前記画面間予測符号化ストリームを復号することで、前記切り替わった後の第1の画面画像の静止画領域の復号画像を生成する、付記3に記載の符号化装置。
(付記5)
前記領域判定部により生成された静止画領域情報と、前記静止画エンコーダが画面内予測の符号化を行った際の符号化条件とを、前記画面間予測の符号化により生成された画面間予測符号化ストリームの送信先に送信する送信部を更に有する、付記1に記載の符号化装置。
(付記6)
前記静止画エンコーダは、前記切り替わった後の第1の画面画像から切り出された静止画領域の画像を、前記内部メモリに保持し、前記所定領域が動画から静止画に切り替わった後の第2の画面画像が入力された場合に、前記切り替わった後の第2の画面画像から切り出された静止画領域の画像について、前記内部メモリを参照することで、画面間予測の符号化を行う、付記3に記載の符号化装置。
(付記7)
前記所定領域が動画から静止画に切り替わる前の画面画像について動画符号化を行うことで、前記動画符号化ストリームを生成する動画エンコーダと、
前記切り替わる前の画面画像についての動画符号化ストリームを復号することで、前記画面画像の復号画像を生成する動画デコーダと、を更に有する、付記1に記載の符号化装置。
(付記8)
前記第1の画面画像は、前記所定領域が動画から静止画に切り替わった後の1フレーム目の画面画像であり、
前記第2の画面画像は、前記所定領域が動画から静止画に切り替わった後の2フレーム目の画面画像である、付記6に記載の符号化装置。
(付記9)
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号し、前記切り替わる前の画面画像の静止画領域の位置の復号画像を生成する静止画デコーダと、を有し、
前記静止画デコーダは、
前記所定領域が動画から静止画に切り替わった後の第1の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、前記切り替わる前の画面画像の静止画領域の位置の復号画像を参照することで、前記画面間予測符号化ストリームを復号する、復号装置。
(付記10)
前記静止画領域の位置を示す静止画領域情報と、前記画面内予測の符号化条件とを取得する取得部と、
取得された前記静止画領域情報に基づいて、前記切り替わる前の画面画像の復号画像から静止画領域の位置の画像を切り出す切り出し部と、を有し、
前記静止画エンコーダは、前記切り出された静止画領域の位置の画像について、取得された前記符号化条件に基づいて、前記画面内予測の符号化を行う、付記9に記載の復号装置。
(付記11)
前記静止画デコーダは、前記切り替わる前の画面画像の静止画領域の位置の復号画像を、内部メモリに保持し、前記第1の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、該内部メモリを参照することで、前記画面間予測符号化ストリームを復号する、付記10に記載の復号装置。
(付記12)
前記静止画デコーダは、前記画面間予測符号化ストリームを復号した復号画像を、前記切り替わる前の画面画像の復号画像が格納されたバッファに格納することで、前記切り替わった後の第1の画面画像の復号画像を生成する、付記11に記載の復号装置。
(付記13)
前記静止画デコーダは、前記切り替わった後の第1の画面画像の静止画領域についての画面間予測符号化ストリームを復号した復号画像を、前記内部メモリに保持し、前記所定領域が動画から静止画に切り替わった後の第2の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、前記内部メモリを参照することで、前記切り替わった後の第2の画面画像の静止画領域についての画面間予測符号化ストリームを復号する、付記11に記載の復号装置。
(付記14)
前記切り替わる前の画面画像についての動画符号化ストリームを復号することで、前記切り替わる前の画面画像の復号画像を生成する動画デコーダを更に有する、付記12に記載の復号装置。
(付記15)
符号化装置と復号装置とを有する画面転送システムであって、
前記符号化装置は、
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号する静止画デコーダと、
前記静止画デコーダにより復号された復号画像を記憶する復号画像記憶部と、を有し、
前記静止画エンコーダは、
前記所定領域が動画から静止画に切り替わった後の画面画像が入力された場合に、前記切り替わった後の画面画像から切り出された静止画領域の画像について、前記復号画像記憶部に記憶された復号画像を参照することで、画面間予測の符号化を行い、
前記復号装置は、
前記動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号し、前記切り替わる前の画面画像の静止画領域の位置の復号画像を生成する静止画デコーダと、を有し、
前記静止画デコーダは、
前記所定領域が動画から静止画に切り替わった後の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、前記切り替わる前の画面画像の静止画領域の位置の復号画像を参照することで、前記画面間予測符号化ストリームを復号する、画面転送システム。
(付記16)
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームが復号されることで生成した画面画像の復号画像から、静止画領域の位置の画像を切り出す処理と、
切り出した静止画領域の位置の画像についての画面内予測符号化ストリームが復号されることで生成された復号画像を取得する処理と、
前記所定領域が動画から静止画に切り替わった後の画面画像が入力された場合に、前記切り替わった後の画面画像から静止画領域の画像を切り出す処理と、
前記切り替わった後の画面画像から切り出された静止画領域の画像について、前記画面内予測符号化ストリームが復号されることで生成された復号画像を参照することで、画面間予測の符号化を行うよう、静止画エンコーダを動作させる処理と
をコンピュータに実行させるためのプログラム。
(付記17)
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームが復号されることで生成した画面画像の復号画像から、静止画領域の位置の画像を切り出す処理と、
切り出した静止画領域の位置の画像について、画面内予測の符号化が行われることで生成された画面内予測符号化ストリームが復号され、前記静止画領域の位置の復号画像が生成された状態で、前記所定領域が動画から静止画に切り替わった後の画面画像の静止画領域の画像についての画面間予測符号化ストリームが入力された場合に、前記静止画領域の位置の復号画像を参照することで、前記画面間予測符号化ストリームを復号するよう、静止画デコーダを動作させる処理と
をコンピュータに実行させるためのプログラム。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
100 :画面転送システム
110 :仮想デスクトップサーバ
120 :ユーザ端末
212 :ハードウェア動画エンコーダ
213 :ハードウェア動画デコーダ
214 :ハードウェア静止画エンコーダ
215 :ハードウェア静止画デコーダ
312 :ハードウェア動画デコーダ
313 :ハードウェア静止画エンコーダ
314 :ハードウェア静止画デコーダ
610 :ローカルデコード画像バッファ
811 :更新頻度判定部
812 :領域判定部
813 :色差変換部
814 :動画領域切り出し部
815 :色差変換部
816 :静止画領域切り出し部
817 :クライアント画像静止画領域切り出し部
818 :送信部
1110 :デコード画像バッファ
1311 :受信部
1312 :変更領域取得部
1313 :動画領域切り出し部
1314 :色差変換部
1315 :静止画領域切り出し部
110 :仮想デスクトップサーバ
120 :ユーザ端末
212 :ハードウェア動画エンコーダ
213 :ハードウェア動画デコーダ
214 :ハードウェア静止画エンコーダ
215 :ハードウェア静止画デコーダ
312 :ハードウェア動画デコーダ
313 :ハードウェア静止画エンコーダ
314 :ハードウェア静止画デコーダ
610 :ローカルデコード画像バッファ
811 :更新頻度判定部
812 :領域判定部
813 :色差変換部
814 :動画領域切り出し部
815 :色差変換部
816 :静止画領域切り出し部
817 :クライアント画像静止画領域切り出し部
818 :送信部
1110 :デコード画像バッファ
1311 :受信部
1312 :変更領域取得部
1313 :動画領域切り出し部
1314 :色差変換部
1315 :静止画領域切り出し部
Claims (12)
- 所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号する静止画デコーダと、
前記静止画デコーダにより復号された復号画像を記憶する復号画像記憶部と、を有し、
前記静止画エンコーダは、
前記所定領域が動画から静止画に切り替わった後の第1の画面画像が入力された場合に、前記切り替わった後の第1の画面画像から切り出された静止画領域の画像について、前記復号画像記憶部に記憶された復号画像を参照することで、画面間予測の符号化を行う符号化装置。 - 前記静止画エンコーダは、前記復号画像記憶部に記憶された復号画像を、内部メモリに保持し、前記所定領域が動画から静止画に切り替わった後の第1の画面画像が入力された場合に、該内部メモリを参照することで、画面間予測の符号化を行う、請求項1に記載の符号化装置。
- 前記切り替わった後の第1の画面画像の静止画領域の位置を判定し、静止画領域情報を生成する領域判定部と、
前記領域判定部により判定された静止画領域の位置の画像を、前記切り替わる前の画面画像の復号画像から切り出す切り出し部と
を更に有する、請求項2に記載の符号化装置。 - 前記静止画エンコーダは、前記切り替わった後の第1の画面画像から切り出された静止画領域の画像を、前記内部メモリに保持し、前記所定領域が動画から静止画に切り替わった後の第2の画面画像が入力された場合に、前記切り替わった後の第2の画面画像から切り出された静止画領域の画像について、前記内部メモリを参照することで、画面間予測の符号化を行う、請求項3に記載の符号化装置。
- 前記所定領域が動画から静止画に切り替わる前の画面画像について動画符号化を行うことで、前記動画符号化ストリームを生成する動画エンコーダと、
前記切り替わる前の画面画像についての動画符号化ストリームを復号することで、前記画面画像の復号画像を生成する動画デコーダと、を更に有する、請求項1に記載の符号化装置。 - 前記第1の画面画像は、前記所定領域が動画から静止画に切り替わった後の1フレーム目の画面画像であり、
前記第2の画面画像は、前記所定領域が動画から静止画に切り替わった後の2フレーム目の画面画像である、請求項4に記載の符号化装置。 - 所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号し、前記切り替わる前の画面画像の静止画領域の位置の復号画像を生成する静止画デコーダと、を有し、
前記静止画デコーダは、
前記所定領域が動画から静止画に切り替わった後の第1の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、前記切り替わる前の画面画像の静止画領域の位置の復号画像を参照することで、前記画面間予測符号化ストリームを復号する、復号装置。 - 前記静止画領域の位置を示す静止画領域情報と、前記画面内予測の符号化条件とを取得する取得部と、
取得された前記静止画領域情報に基づいて、前記切り替わる前の画面画像の復号画像から静止画領域の位置の画像を切り出す切り出し部と、を有し、
前記静止画エンコーダは、前記切り出された静止画領域の位置の画像について、取得された前記符号化条件に基づいて、前記画面内予測の符号化を行う、請求項7に記載の復号装置。 - 前記静止画デコーダは、前記切り替わる前の画面画像の静止画領域の位置の復号画像を、内部メモリに保持し、前記第1の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、該内部メモリを参照することで、前記画面間予測符号化ストリームを復号する、請求項8に記載の復号装置。
- 符号化装置と復号装置とを有する画面転送システムであって、
前記符号化装置は、
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号する静止画デコーダと、
前記静止画デコーダにより復号された復号画像を記憶する復号画像記憶部と、を有し、
前記静止画エンコーダは、
前記所定領域が動画から静止画に切り替わった後の画面画像が入力された場合に、前記切り替わった後の画面画像から切り出された静止画領域の画像について、前記復号画像記憶部に記憶された復号画像を参照することで、画面間予測の符号化を行い、
前記復号装置は、
前記動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号し、前記切り替わる前の画面画像の静止画領域の位置の復号画像を生成する静止画デコーダと、を有し、
前記静止画デコーダは、
前記所定領域が動画から静止画に切り替わった後の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、前記切り替わる前の画面画像の静止画領域の位置の復号画像を参照することで、前記画面間予測符号化ストリームを復号する、画面転送システム。 - 所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームが復号されることで生成した画面画像の復号画像から、静止画領域の位置の画像を切り出す処理と、
切り出した静止画領域の位置の画像についての画面内予測符号化ストリームが復号されることで生成された復号画像を取得する処理と、
前記所定領域が動画から静止画に切り替わった後の画面画像が入力された場合に、前記切り替わった後の画面画像から静止画領域の画像を切り出す処理と、
前記切り替わった後の画面画像から切り出された静止画領域の画像について、前記画面内予測符号化ストリームが復号されることで生成された復号画像を参照することで、画面間予測の符号化を行うよう、静止画エンコーダを動作させる処理と
をコンピュータに実行させるためのプログラム。 - 所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームが復号されることで生成した画面画像の復号画像から、静止画領域の位置の画像を切り出す処理と、
切り出した静止画領域の位置の画像について、画面内予測の符号化が行われることで生成された画面内予測符号化ストリームが復号され、前記静止画領域の位置の復号画像が生成された状態で、前記所定領域が動画から静止画に切り替わった後の画面画像の静止画領域の画像についての画面間予測符号化ストリームが入力された場合に、前記静止画領域の位置の復号画像を参照することで、前記画面間予測符号化ストリームを復号するよう、静止画デコーダを動作させる処理と
をコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020053912A JP2021158407A (ja) | 2020-03-25 | 2020-03-25 | 符号化装置、復号装置、符号化方法、復号方法、画面転送システム及びプログラム |
US17/172,116 US11516503B2 (en) | 2020-03-25 | 2021-02-10 | Encoding apparatus, decoding apparatus, encoding method, decoding method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020053912A JP2021158407A (ja) | 2020-03-25 | 2020-03-25 | 符号化装置、復号装置、符号化方法、復号方法、画面転送システム及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021158407A true JP2021158407A (ja) | 2021-10-07 |
Family
ID=77854755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020053912A Withdrawn JP2021158407A (ja) | 2020-03-25 | 2020-03-25 | 符号化装置、復号装置、符号化方法、復号方法、画面転送システム及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11516503B2 (ja) |
JP (1) | JP2021158407A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11800166B2 (en) * | 2019-10-14 | 2023-10-24 | Qatar Foundation For Education, Science And Community Development | Forecasting and reservation of transcoding resources for live streaming |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008092503A (ja) | 2006-10-05 | 2008-04-17 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP5685840B2 (ja) | 2010-07-01 | 2015-03-18 | 富士通株式会社 | 情報処理装置、画像送信プログラム及び画像表示方法 |
WO2015137237A1 (ja) * | 2014-03-14 | 2015-09-17 | シャープ株式会社 | 画像復号装置 |
JP6191843B2 (ja) | 2015-12-17 | 2017-09-06 | 株式会社ドワンゴ | 画像処理システム、画像処理装置、トランスコード方法、及びプログラム |
CA3100316A1 (en) * | 2018-05-15 | 2019-11-21 | Sharp Kabushiki Kaisha | Image encoding device, encoded stream extraction device, and image decoding device |
-
2020
- 2020-03-25 JP JP2020053912A patent/JP2021158407A/ja not_active Withdrawn
-
2021
- 2021-02-10 US US17/172,116 patent/US11516503B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11516503B2 (en) | 2022-11-29 |
US20210306660A1 (en) | 2021-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109074161B (zh) | 用于360度视频的混合图形及像素域架构 | |
JP6219464B2 (ja) | 高ダイナミックレンジ画像を生成するデコーダ及びその方法 | |
US10244200B2 (en) | View-dependent operations during playback of panoramic video | |
CN109983500B (zh) | 重新投影全景视频图片的平板投影以通过应用进行渲染 | |
SA517380915B1 (ar) | نسخ وحدة داخلي وتنبؤ بيني موحدين | |
CN110121065B (zh) | 空间排序视频编码应用中的多向图像处理 | |
CN109587478B (zh) | 一种媒体信息的处理方法及装置 | |
SA515360719B1 (ar) | إدارة التخزين المؤقت للصور متعددة الدقة والمفكوك ترميزها من أجل ترميز الفيديو متعدد الطبقات | |
EP3554073B1 (en) | Image coding device, image coding method, image coding program, image decoding device, image decoding method and image decoding program | |
WO2018161942A1 (en) | Video processing apparatus using one or both of reference frame re-rotation and content-oriented rotation selection and associated video processing method | |
CN112543334B (zh) | 视频解码方法、装置、计算机设备和存储介质 | |
CN115514972A (zh) | 视频编解码的方法、装置、电子设备及存储介质 | |
CN113678458A (zh) | 视频比特流中具有重采样图片大小指示的参考图片重采样信令 | |
JP2021158407A (ja) | 符号化装置、復号装置、符号化方法、復号方法、画面転送システム及びプログラム | |
US10880555B2 (en) | Information processing system and information processing apparatus | |
KR20240050413A (ko) | 비디오 처리를 위한 방법, 장치 및 매체 | |
US20210274173A1 (en) | Picture decoding device, picture decoding method, and picture decoding program | |
JP2022523440A (ja) | ビデオコーディングにおけるヌルタイルコーディング | |
RU2773642C1 (ru) | Сигнализация для передискретизации опорного изображения | |
FI86022C (fi) | Foerfarande foer behandling av en videosignal. | |
JP2023169361A (ja) | 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム | |
JP2020010342A (ja) | 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム | |
TW202415069A (zh) | 具有動態雜訊重構的視訊解碼的系統和方法 | |
CN114760525A (zh) | 视频生成及播放方法、装置、设备、介质 | |
JP2012142818A (ja) | カラー動画像動き推定方法及びカラー動画像動き推定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221208 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20240126 |