JP2021158407A - 符号化装置、復号装置、符号化方法、復号方法、画面転送システム及びプログラム - Google Patents

符号化装置、復号装置、符号化方法、復号方法、画面転送システム及びプログラム Download PDF

Info

Publication number
JP2021158407A
JP2021158407A JP2020053912A JP2020053912A JP2021158407A JP 2021158407 A JP2021158407 A JP 2021158407A JP 2020053912 A JP2020053912 A JP 2020053912A JP 2020053912 A JP2020053912 A JP 2020053912A JP 2021158407 A JP2021158407 A JP 2021158407A
Authority
JP
Japan
Prior art keywords
image
screen
still image
area
still
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2020053912A
Other languages
English (en)
Inventor
幸二 山田
Koji Yamada
幸二 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2020053912A priority Critical patent/JP2021158407A/ja
Priority to US17/172,116 priority patent/US11516503B2/en
Publication of JP2021158407A publication Critical patent/JP2021158407A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】 画面画像の静止画領域の画像を符号化する際の発生情報量を抑える。【解決手段】 符号化装置は、所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号する静止画デコーダと、前記静止画デコーダにより復号された復号画像を記憶する復号画像記憶部と、を有し、前記静止画エンコーダは、前記所定領域が動画から静止画に切り替わった後の第１の画面画像が入力された場合に、前記切り替わった後の第１の画面画像から切り出された静止画領域の画像について、前記復号画像記憶部に記憶された復号画像から切り出された静止画領域の位置の画像を参照することで、画面間予測の符号化を行う。【選択図】図８

Description

本発明は、符号化装置、復号装置、符号化方法、復号方法、画面転送システム及びプログラムに関する。
従来より、表示画面に表示する画面画像を符号化して転送する画面転送システムが知られている。当該画面転送システムにおいては、動画を符号化する動画エンコーダや、静止画を符号化する静止画エンコーダ等、種々のエンコーダが組み合わされ、画面画像の更新頻度に応じて使い分けが行われている。
一方で、画面画像の高解像度化、フレームレートの向上等に対応するため、例えば、静止画エンコーダとして、より高速な処理を実現するハードウェア静止画エンコーダの適用が検討されている。
特開２０１２−１５８６８号公報 特開２００８−９２５０３号公報
しかしながら、ハードウェア静止画エンコーダの場合、内部動作を変更することができないため、例えば、画面間予測による符号化処理を実現しようとすると、動画領域から静止画領域への切り替え時に、参照画像の取り込みができないといった問題が生じる。
このため、ハードウェア静止画エンコーダの場合、切り替え時の静止画領域の符号化処理については、画面内予測により対応することになる。この結果、画面間予測による対応が可能なソフトウェア静止画エンコーダの場合と比較して、切り替え時の発生情報量が増大する。
一つの側面では、画面画像の静止画領域の画像を符号化する際の発生情報量を抑えることを目的としている。
一態様によれば、符号化装置は、
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにおける前記画面内予測の符号化により生成された画面内予測符号化ストリームを復号する静止画デコーダと、
前記静止画デコーダにより復号された復号画像を記憶する復号画像記憶部と、を有し、
前記静止画エンコーダは、
前記所定領域が動画から静止画に切り替わった後の第１の画面画像が入力された場合に、前記切り替わった後の第１の画面画像から切り出された静止画領域の画像について、前記復号画像記憶部に記憶された復号画像を参照することで、画面間予測の符号化を行う。
画面画像の静止画領域の画像を符号化する際の発生情報量を抑えることができる。
画面転送システムのシステム構成の一例を示す図である。 仮想デスクトップサーバのハードウェア構成の一例を示す図である。 ユーザ端末のハードウェア構成の一例を示す図である。 動画領域から静止画領域への切り替えと、発生情報量との関係を示す図である。 動画領域から静止画領域への切り替え時の仮想デスクトップサーバの動作の概要を示す図である。 仮想デスクトップサーバの機能構成の概要を示す第１の図である。 仮想デスクトップサーバの機能構成の概要を示す第２の図である。 仮想デスクトップサーバの機能構成の詳細を示す図である。 仮想デスクトップサーバにおける画面転送処理の流れを示す第１のフローチャートである。 動画領域から静止画領域への切り替え時のユーザ端末の動作の概要を示す図である。 ユーザ端末の機能構成の概要を示す第１の図である。 ユーザ端末の機能構成の概要を示す第２の図である。 ユーザ端末の機能構成の詳細を示す図である。 ユーザ端末における画面転送処理の流れを示す第１のフローチャートである。 仮想デスクトップサーバにおける画面転送処理の流れを示す第２のフローチャートである。 ユーザ端末における画面転送処理の流れを示す第２のフローチャートである。
以下、本発明の各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
［第１の実施形態］
＜画面転送システムのシステム構成＞
はじめに、第１の実施形態に係る画面転送システムのシステム構成について説明する。図１は、画面転送システムのシステム構成の一例を示す図である。
図１に示すように、画面転送システム１００は、符号化装置の一例である仮想デスクトップサーバ１１０と、仮想デスクトップサーバ１１０と通信可能に接続される復号装置の一例であるユーザ端末１２０とを有する。
仮想デスクトップサーバ１１０は、各種アプリケーションを実行することで生成された表示画面の画像（画面画像）を符号化し、符号化ストリームをユーザ端末に送信する。これにより、ユーザ端末１２０では、受信した符号化ストリームを復号し、画面画像を表示する。
また、仮想デスクトップサーバ１１０は、画面画像が表示されたことに応じて、ユーザがユーザ端末１２０を操作し、アプリケーションに対する各種指示を入力した場合に、ユーザ端末１２０から操作情報を受信する。
このように、画面転送機能を有する仮想デスクトップサーバ１１０を用いることで、ユーザは、各種アプリケーションを利用する際に、ユーザ端末１２０にデータを保存しておく必要がなくなる。この結果、画面転送システム１００によれば、ユーザ端末１２０からの情報漏洩を抑制することが可能となり、セキュリティの向上を実現することができる。
＜画面転送システムの各装置のハードウェア構成＞
次に、画面転送システム１００の各装置（仮想デスクトップサーバ１１０、ユーザ端末１２０）のハードウェア構成について説明する。
（１）仮想デスクトップサーバのハードウェア構成
図２は、仮想デスクトップサーバのハードウェア構成の一例を示す図である。図２に示すように、仮想デスクトップサーバ１１０は、プロセッサ２１０、メモリ２２０を有する。また、仮想デスクトップサーバ１１０は、補助記憶装置２３０、ＵＩ装置２４０、通信装置２５０、ドライブ装置２６０を有する。なお、仮想デスクトップサーバ１１０の各ハードウェアは、バス２７０を介して相互に接続される。
プロセッサ２１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイス２１１を有する。各種演算デバイス２１１は、各種プログラムをメモリ２２０上に読み出して実行する。
また、プロセッサ２１０は、画面画像について動画符号化を行い、動画符号化ストリームを生成するハードウェア動画エンコーダ２１２と、動画符号化ストリームを復号し、復号画像を生成するハードウェア動画デコーダ２１３とを有する。
また、プロセッサ２１０は、画面画像内の静止画領域について静止画符号化を行い、静止画符号化ストリームを生成するハードウェア静止画エンコーダ２１４を有する。更に、プロセッサ２１０は、静止画符号化ストリームを復号し、静止画領域復号画像を生成するハードウェア静止画デコーダ２１５を有する。
メモリ２２０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２１０とメモリ２２０とは、いわゆるコンピュータを形成し、プロセッサ２１０の各種演算デバイス２１１が、メモリ２２０上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。また、プロセッサ２１０の各種演算デバイス２１１がプロセッサ２１０のハードウェア動画エンコーダ２１２〜ハードウェア静止画デコーダ２１５を動作させることで、当該コンピュータは各種機能を実現する。なお、コンピュータにより実現される各種機能の詳細は後述する。
補助記憶装置２３０は、各種プログラムや、各種プログラムがプロセッサ２１０の各種演算デバイス２１１によって実行される際に用いられる各種情報等を格納する。
ＵＩ装置は、仮想デスクトップサーバ１１０の管理者が、仮想デスクトップサーバ１１０に対して各種指示を入力するための入力デバイスや、仮想デスクトップサーバ１１０の内部状態を管理者に表示する表示デバイス等を有する。
通信装置２５０は、ネットワークを介して、ユーザ端末１２０と通信するための通信デバイスである。
ドライブ装置２６０は記録媒体２８０をセットするためのデバイスである。ここでいう記録媒体２８０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２８０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置２３０にインストールされる各種プログラムは、例えば、配布された記録媒体２８０がドライブ装置２６０にセットされ、該記録媒体２８０に記録された各種プログラムがドライブ装置２６０により読み出されることでインストールされる。あるいは、補助記憶装置２３０にインストールされる各種プログラムは、通信装置２５０を介してネットワークからダウンロードされることで、インストールされてもよい。
（２）ユーザ端末のハードウェア構成
図３は、ユーザ端末のハードウェア構成の一例を示す図である。なお、図２と図３との相違点は、図３の場合、ハードウェア動画エンコーダが含まれていない点である。その他のハードウェアについては、基本的に仮想デスクトップサーバ１１０と同様であるため、ここでは、詳細な説明を省略する。
＜動画領域から静止画領域への切り替え＞
次に、仮想デスクトップサーバからユーザ端末に転送される画面画像の所定領域が、動画領域から静止画領域に切り替わった際の発生情報量について説明する。図４は、動画領域から静止画領域への切り替えと、発生情報量との関係を示す図である。
このうち、図４（ａ）は、各時間における画面画像４１０、４１１、４１２内の所定領域４２０が、静止画領域→動画領域→静止画領域と変遷した様子を示している。なお、静止画領域とは、所定時間内の画像更新頻度が所定の閾値未満の領域を指し、動画領域とは、所定時間内の画像更新頻度が所定の閾値以上の領域を指す。
一方、図４（ｂ）は、一般的な仮想デスクトップサーバが、画面画像４１０、４１１、４１２内の所定領域４２０を符号化することで、各時間において生成される動画符号化ストリームまたは静止画符号化ストリームの発生情報量を示している。
図４（ｂ）に示すように、所定領域４２０が静止画領域である場合、各フレーム間の差分はゼロとなるため、画面間予測の符号化を行うことができれば、静止画符号化ストリームの発生情報量はゼロとなる（矢印４３０で示す区間参照）。一方、所定領域４２０が動画領域である場合、動画符号化ストリームの各フレームの発生情報量は矢印４３１で示すとおりとなる。更に、所定領域４２０が動画領域から静止画領域に切り替わった場合の、静止画符号化ストリームの各フレームの発生情報量は矢印４３２で示すとおりとなる。
具体的には、ハードウェア静止画エンコーダは内部動作を変更することができないため、静止画領域に切り替わった後の１フレーム目において、画面間予測の符号化を行うための参照画像を取り込むことができない。このため、一般的な仮想デスクトップサーバでは、動画領域から静止画領域に切り替わった後の１フレーム目において、ハードウェア静止画エンコーダは、画面間予測の符号化ではなく、画面内予測の符号化を行うことになる。つまり、一般的な仮想デスクトップサーバでは、切り替わった後の１フレーム目において、画面内予測符号化ストリームが生成されるため、発生情報量が増大することになる（符号４３３参照）。
そこで、第１の実施形態に係る画面転送システム１００では、動画領域から静止画領域に切り替わった後の１フレーム目において増大する、発生情報量が抑えられるように、仮想デスクトップサーバ１１０及びユーザ端末１２０を形成する。
具体的には、動画領域から静止画領域に切り替わった後の１フレーム目において、画面間予測の符号化を行うように仮想デスクトップサーバ１１０及びユーザ端末１２０を形成する。第１の実施形態では、各種演算デバイス２１１（３１１）が、ハードウェア動画エンコーダ２１２（ハードウェア動画デコーダ３１２）〜ハードウェア静止画デコーダ２１５（３１４）を適切に動作させることで、画面間予測の符号化を実現する。以下、第１の実施形態に係る画面転送システム１００の仮想デスクトップサーバ１１０及びユーザ端末１２０の詳細について、説明する。
＜仮想デスクトップサーバの動作の概要＞
はじめに、動画領域から静止画領域への切り替え時の仮想デスクトップサーバ１１０の動作の概要について説明する。図５は、動画領域から静止画領域への切り替え時の仮想デスクトップサーバの動作の概要を示す図である。
図５において、復号画像５１１は、所定領域４２０が動画領域から静止画領域に切り替わった後の１フレーム目を符号化する前の画面画像を復号した復号画像（動画符号化ストリームを復号した復号画像）である。一方、画面画像４１２は、所定領域４２０が動画領域から静止画領域に切り替わった後の１フレーム目の入力画像である。
仮想デスクトップサーバ１１０では、復号画像５１１における静止画領域の位置（ここでは、所定領域４２０の位置）を特定し、復号画像５１１における静止画領域の位置の画像について、ハードウェア静止画エンコーダ２１４が画面内予測の符号化を行う。また、仮想デスクトップサーバ１１０では、静止画領域の位置を示す静止画領域情報及び画面内予測の符号化条件を、ユーザ端末１２０に送信する。また、仮想デスクトップサーバ１１０では、画面内予測符号化ストリームを復号し、復号画像５１１を更新する。更に、仮想デスクトップサーバ１１０では、更新した復号画像５１１における静止画領域の位置の画像を切り出し、ハードウェア静止画エンコーダ２１４では、切り出された画像を内部メモリ（図５の網掛けの矩形領域）に保持する。
これにより、動画領域から静止画領域に切り替わった後の１フレーム目の静止画領域の画像について、画面間予測符号化を行うための事前準備が整うことになる。なお、事前準備が整うとは、所定領域４２０が動画領域から静止画領域に切り替わった後の１フレーム目の静止画領域の画像について、画面間予測の符号化を行う際に参照先となる画像がハードウェア静止画エンコーダ２１４の内部メモリに保持された状態を指す。ただし、参照先となる画像は、ユーザ端末１２０においても再現可能な画像である。
続いて、仮想デスクトップサーバ１１０のハードウェア静止画エンコーダ２１４には、動画領域から静止画領域に切り替わった後の１フレーム目の画面画像４１２内の所定領域４２０の画像（静止画領域の画像）が入力される。
１フレーム目の画面画像４１２内の所定領域４２０の画像（静止画領域の画像）が入力されると、ハードウェア静止画エンコーダ２１４では、内部メモリに保持している、更新された復号画像５１１から切り出された静止画領域の位置の画像を参照する。
これにより、仮想デスクトップサーバ１１０のハードウェア静止画エンコーダ２１４では、画面間予測の符号化を行い、画面間予測符号化ストリームを生成する。また、仮想デスクトップサーバ１１０では、生成した画面間予測符号化ストリームを、ユーザ端末１２０に送信する。更に、仮想デスクトップサーバ１１０のハードウェア静止画エンコーダ２１４では、１フレーム目の画面画像４１２内の所定領域４２０の画像（静止画領域の画像）を、内部メモリに保持する。
このように、仮想デスクトップサーバ１１０では、動画領域から静止画領域に切り替わった後の１フレーム目から、静止画領域の画像について画面間予測の符号化を行い、画面間予測符号化ストリームをユーザ端末１２０に送信する。
この結果、動画領域から静止画領域に切り替わった後の１フレーム目において、発生符号量が増大するのを抑えることができる。
＜仮想デスクトップサーバの機能構成の概要＞
続いて、動画領域から静止画領域への切り替え時の仮想デスクトップサーバ１１０の上記動作を実現するための機能構成（ここでは、主にハードウェアで実現される機能の構成）について、概要を説明する。図６は、仮想デスクトップサーバの機能構成の概要を示す第１の図であり、動画領域から静止画領域に切り替わった後の１フレーム目の画面画像を処理する前の状態における機能構成の概要を示している。
図６に示すように、１フレーム目の画面画像を処理する前の状態において、ローカルデコード画像バッファ６１０には、動画領域から静止画領域に切り替わった後の１フレーム目を符号化する前の画面画像を復号した復号画像５１１が格納されている（符号（ｉ））。ローカルデコード画像バッファ６１０は、復号画像記憶部の一例であり、仮想デスクトップサーバ１１０のメモリ２２０上に確保されるバッファ領域である。ここで、所定領域４２０が動画領域から静止画領域に切り替わると（符号（ｉｉ））、ローカルデコード画像バッファ６１０に格納された復号画像５１１から、静止画領域の位置の画像が切り出される（符号（ｉｉｉ））。
ハードウェア静止画エンコーダ２１４では、切り出された静止画領域の位置の画像について、画面内予測の符号化を行い、画面内予測符号化ストリームを生成する。このとき、復号画像５１１より切り出された静止画領域の位置を示す静止画領域情報は、ユーザ端末１２０に送信される。また、画面内予測符号化ストリームを生成した際の画面内予測の符号化条件は、ユーザ端末１２０に送信される（符号（ｉｖ））。
更に、ハードウェア静止画エンコーダ２１４では、画面内予測の符号化を行うことで生成した画面内予測符号化ストリームを、ハードウェア静止画デコーダ２１５に通知する（符号（ｖ））。
ハードウェア静止画デコーダ２１５では、通知された画面内予測符号化ストリームを復号し、復号画像５１１を更新する（符号（ｖｉ））。
図７は、仮想デスクトップサーバの機能構成の概要を示す第２の図であり、動画領域から静止画領域に切り替わった後の１フレーム目の画面画像４１２を処理するための機能構成の概要を示している。
図７に示すように、仮想デスクトップサーバ１１０に対して、動画領域から静止画領域に切り替わった後の１フレーム目の画面画像４１２（以下、単に、１フレーム目の画面画像４１２と称す）が入力されたとする（符号（ｉ））。
１フレーム目の画面画像４１２が入力されると、ローカルデコード画像バッファ６１０に格納された、更新された復号画像５１１から、静止画領域の位置の画像が切り出される（符号（ｉｉ））。なお、このとき切り出される静止画領域の位置の画像は、画面内予測符号化ストリームの復号画像（図６の符号（ｖｉ））に等しい。また、ハードウェア静止画エンコーダ２１４では、切り出された静止画領域の位置の画像を内部メモリに保持する。
更に、１フレーム目の画面画像４１２から、静止画領域の画像が切り出される（符号（ｉｉｉ））。これにより、動画領域から静止画領域に切り替わった後の１フレーム目の静止画領域の画像について、画面間予測符号化を行うための事前準備が整うことになる。
そして、ハードウェア静止画エンコーダ２１４では、
・内部メモリに保持している、更新された復号画像５１１から切り出された静止画領域の位置の画像と、
・１フレーム目の画面画像４１２から切り出された静止画領域の画像と、
を用いて、画面間予測の符号化を行い、画面間予測符号化ストリームを生成する。また、ハードウェア静止画エンコーダ２１４では、１フレーム目の画面画像４１２から切り出された静止画領域の画像を、内部メモリに保持する。
なお、ハードウェア静止画エンコーダ２１４により生成された画面間予測符号化ストリームは、ユーザ端末１２０に送信されるとともに、ハードウェア静止画デコーダ２１５に通知される（符号（ｉｖ））。
ハードウェア静止画デコーダ２１５では、通知された画面間予測符号化ストリームを復号することで、１フレーム目の静止画領域の画像についての復号画像を生成し、ローカルデコード画像バッファ６１０に格納する（符号（ｖ））。
これにより、ローカルデコード画像バッファ６１０には、ユーザ端末１２０において、１フレーム目の画面画像として表示される表示画面の画像と同じ画像が格納されることになる。なお、ハードウェア静止画デコーダ２１５が画面間予測符号化ストリームを復号し、ローカルデコード画像バッファ６１０に格納する処理は、画面間予測符号化ストリームを生成する際に不可欠な機能ではないため、実行されなくてもよい。
＜仮想デスクトップサーバの機能構成の詳細＞
次に、仮想デスクトップサーバ１１０の機能構成の詳細について説明する。図８は、仮想デスクトップサーバの機能構成の詳細を示す図である。仮想デスクトップサーバ１１０は、ハードウェアが動作することにより実現される機能と、プログラム（ソフトウェア）が各種演算デバイス２１１によって実行されることにより実現される機能とにより、画面転送処理を実行する。
図８において、白色矩形枠は、ハードウェアが動作することにより実現される機能を表し、ハッチング矩形枠は、プログラム（ソフトウェア）がプロセッサ２１０の各種演算デバイス２１１によって実行されることにより実現される機能を表す。以下、各部の機能の詳細について説明する。
更新頻度判定部８１１は、画面画像をフレームごとに取得し、取得した各フレームの画面画像を所定サイズ（例えば、１６画素×１６画素）の領域に分割する。また、更新頻度判定部８１１は、分割した各領域について更新頻度を判定する。
領域判定部８１２は、分割されたそれぞれの領域について、更新頻度判定部８１１により判定された更新頻度が所定の閾値以上であるか否かを判定する。領域判定部８１２は、当該領域が所定の閾値以上であれば、当該領域を動画領域と判定し、所定の閾値未満であれば、当該領域を静止画領域と判定する。
領域判定部８１２では、領域判定の結果に基づき、動画領域情報を動画領域切り出し部８１４に、静止画領域情報を静止画領域切り出し部８１６及びクライアント画像静止画領域切り出し部８１７に、動画領域情報及び静止画領域情報を送信部８１８に通知する。
なお、領域判定部８１２では、画面画像内の所定領域が動画領域から静止画領域に切り替わった後の１フレーム目も、静止画領域情報を静止画領域切り出し部８１６及びクライアント画像静止画領域切り出し部８１７の両方に通知する。なお、動画領域から静止画領域に切り替わった領域がある場合でも、当該画面画像内に動画領域が含まれる場合には動画符号化が行われる。このため、動画符号化は画面画像全体に対して行われ、後述する動画領域切り出し部８１４により切り出される動画領域は、領域判定部８１２で動画領域と判定された領域のみとなる。
色差変換部８１３は、入力された画面画像の色差フォーマットを変換する。具体的には、色差変換部８１３は、色差フォーマットを、４：４：４フォーマットから、４：２：０フォーマットに変換する。
なお、４：４：４フォーマットから４：２：０フォーマットへの変換とは、フレームごとの画面画像のうち、Ｙ成分はそのままとし、Ｕ成分を縦横それぞれ１／２倍になるように間引き、Ｖ成分を縦横それぞれ１／２倍になるようにするフィルタ処理を指す。
ハードウェア動画エンコーダ２１２は、色差変換部８１３により４：２：０フォーマットに変換されたフレームごとの画面画像について、画面画像全体に対して動画符号化を行い、動画符号化ストリームを生成する。
なお、ハードウェア動画エンコーダ２１２は、例えば、Ｈ．２６４、Ｈ．２６５／ＨＥＶＣ等の動画用の符号化規格に準拠した符号化方式で動画符号化ストリームを生成する。ただし、ハードウェア動画エンコーダ２１２が動画符号化ストリームを生成する際の符号化方式は、Ｈ．２６４、Ｈ．２６５／ＨＥＶＣに限定されない。
ハードウェア動画エンコーダ２１２により生成された動画符号化ストリームは、ハードウェア動画デコーダ２１３及び送信部８１８に通知される。
ハードウェア動画デコーダ２１３は、ハードウェア動画エンコーダ２１２より通知された動画符号化ストリームを復号し、全画面動画復号画像を生成する。また、ハードウェア動画デコーダ２１３は、生成した全画面動画復号画像を、全画面動画復号画像フレームバッファ８１０に通知する。なお、全画面動画復号画像フレームバッファ８１０は、仮想デスクトップサーバ１１０のメモリ２２０上に確保されるバッファ領域である。
全画面動画復号画像フレームバッファ８１０は、ハードウェア動画デコーダ２１３より通知された全画面動画復号画像を格納する。
動画領域切り出し部８１４は、領域判定部８１２より動画領域情報が通知された場合に、全画面動画復号画像フレームバッファ８１０に格納された全画面動画復号画像を読み出し、動画領域の画像を切り出す。また、動画領域切り出し部８１４は、切り出した動画領域の画像を、色差変換部８１５に通知する。
色差変換部８１５は、動画領域切り出し部８１４により切り出された動画領域について、色差フォーマットを変換する。具体的には、色差変換部８１５は、色差フォーマットを、４：２：０フォーマットから、４：４：４フォーマットに変換する。
なお、４：２：０フォーマットから、４：４：４フォーマットへの変換とは、動画領域の画像のうち、Ｙ成分はそのままとし、Ｕ成分を縦横それぞれ２倍になるように補間し、Ｖ成分を縦横それぞれ２倍になるように補間する処理を指す。
色差変換部８１５は、色差フォーマットを変換した、動画領域の画像（動画領域復号画像）を含む全画面動画復号画像を、ローカルデコード画像バッファ６１０に通知する。
ローカルデコード画像バッファ６１０は、色差変換部８１５から通知された動画領域復号画像を含む全画面動画復号画像、及び、ハードウェア静止画デコーダ２１５から通知される、静止画領域の復号画像）を格納する。これにより、ローカルデコード画像バッファ６１０には、画面画像の復号画像が格納されることになる。
静止画領域切り出し部８１６は、領域判定部８１２より、静止画領域情報が通知された場合に動作する。具体的には、静止画領域切り出し部８１６は、入力された画面画像から、静止画領域情報により特定される静止画領域の画像を切り出す。また、静止画領域切り出し部８１６は、画面画像より切り出した静止画領域の画像を、ハードウェア静止画エンコーダ２１４に通知する。
クライアント画像静止画領域切り出し部８１７は、ローカルデコード画像バッファ６１０に格納されている、動画領域から静止画領域に切り替わった後の１フレーム目を符号化する前の画面画像を復号した復号画像から、静止画領域の位置の画像を切り出す。また、クライアント画像静止画領域切り出し部８１７は、ローカルデコード画像バッファ６１０に格納されている、更新された復号画像から、静止画領域の位置の画像を切り出す。更に、クライアント画像静止画領域切り出し部８１７は、切り出した静止画領域の画像を、ハードウェア静止画エンコーダ２１４に通知する。
ハードウェア静止画エンコーダ２１４は、動画領域から静止画領域に切り替わった場合において、１フレーム目を符号化する前の画面画像を復号した復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う。また、ハードウェア静止画エンコーダ２１４は、画面内予測符号化ストリームをハードウェア静止画デコーダ２１５に通知するとともに、画面内予測の符号化条件を送信部８１８に通知する。
また、ハードウェア静止画エンコーダ２１４は、更新された復号画像から切り出された静止画領域の位置の画像を、内部メモリに保持する。
また、ハードウェア静止画エンコーダ２１４は、静止画領域切り出し部８１６によって切り出された静止画領域の画像について、画面間予測の符号化を行う。具体的には、ハードウェア静止画エンコーダ２１４は、内部メモリに保持している、更新された復号画像から切り出された静止画領域の位置の画像を参照画像として、画面間予測の符号化を行う。
また、ハードウェア静止画エンコーダ２１４は、画面間予測符号化ストリームを、ハードウェア静止画デコーダ２１５及び送信部８１８に通知する。
ハードウェア静止画デコーダ２１５は、ハードウェア静止画エンコーダ２１４より通知された画面内予測符号化ストリーム、または、画面間予測符号化ストリームを復号し、静止画領域の復号画像を生成する。また、ハードウェア静止画エンコーダ２１４は、生成した静止画領域の復号画像を、ローカルデコード画像バッファ６１０に格納する。
送信部８１８は、
・ハードウェア動画エンコーダ２１２より通知された動画符号化ストリーム、
・ハードウェア静止画エンコーダ２１４より通知された画面内予測の符号化条件、
・ハードウェア静止画エンコーダ２１４より通知された画面間予測符号化ストリーム、
・領域判定部８１２より通知された動画領域情報及び静止画領域情報、
をユーザ端末１２０に送信する。
＜仮想デスクトップサーバにおける画面転送処理の流れ＞
次に、仮想デスクトップサーバ１１０における画面転送処理の流れについて説明する。図９は、仮想デスクトップサーバにおける画面転送処理の流れを示す第１のフローチャートである。
ステップＳ９０１において、更新頻度判定部８１１は、画面画像が新たに入力されたか、あるいは次のフレームに更新されたか否かを判定する。ステップＳ９０１において、画面画像が新たに入力されていないか、あるいは次のフレームに更新されていないと判定された場合には（ステップＳ９０１においてＮＯの場合には）、ステップＳ９０１に戻り、待機する。
一方、ステップＳ９０１において、画面画像が新たに入力されたか、あるいは次のフレームに更新されたと判定された場合には（ステップＳ９０１においてＹＥＳの場合には）、ステップＳ９０２に進む。
ステップＳ９０２において、更新頻度判定部８１１は、フレーム単位で取得した画面画像について、所定サイズの領域ごとに、更新頻度を判定する。
ステップＳ９０３において、領域判定部８１２は、ステップＳ９０２において判定された更新頻度に基づいて、各領域が動画領域であるか静止画領域であるかを判定する。
ステップＳ９０４において、領域判定部８１２は、画面画像内に、動画領域であると判定された領域があるか否かを判定する。ステップＳ９０４において動画領域であると判定された領域がないと判定した場合には（ステップＳ９０４においてＮＯの場合には）、ステップＳ９０７に進む。
一方、ステップＳ９０４において動画領域であると判定された領域があると判定した場合には（ステップＳ９０４においてＹＥＳの場合には）、ステップＳ９０５に進む。
ステップＳ９０５において、色差変換部８１３は、入力された、あるいは次のフレームに更新された画面画像について、色差フォーマットを変換する。また、ハードウェア動画エンコーダ２１２は、色差フォーマットが変換された画面画像について動画符号化を行い、動画符号化ストリームを生成する。更に、送信部８１８は、動画領域情報及び動画符号化ストリームを、ユーザ端末１２０に送信する。
ステップＳ９０６において、ハードウェア動画デコーダ２１３は、動画符号化ストリームを復号し、全画面動画復号画像を生成し、全画面動画復号画像フレームバッファ８１０に格納する。また、動画領域切り出し部８１４は、動画領域情報に基づいて、全画面動画復号画像から動画領域の画像を切り出し、色差変換部８１５は、色差フォーマットを変換することで動画領域復号画像を生成する。更に、色差変換部８１５は、動画領域復号画像を含む全画面動画復号画像を、ローカルデコード画像バッファ６１０に格納する。
ステップＳ９０７において、領域判定部８１２は、静止画領域であると判定された領域があるか否かを判定する。ステップＳ９０７において静止画領域であると判定された領域がないと判定した場合には（ステップＳ９０７においてＮＯの場合には）、ステップＳ９１６に進む。
一方、ステップＳ９０７において静止画領域であると判定された領域があると判定した場合には（ステップＳ９０７においてＹＥＳの場合には）、ステップＳ９０８に進む。
ステップＳ９０８において、領域判定部８１２は、動画領域から静止画領域への切り替わりのタイミングであるか否かを判定する。ステップＳ９０８において、切り替わりのタイミングでないと判定した場合には（ステップＳ９０８においてＮＯの場合には）、ステップＳ９０９に進む。
ステップＳ９０９において、静止画領域切り出し部８１６は、入力された、あるいは次のフレームに更新された画面画像より、静止画領域の画像を切り出す。また、ハードウェア静止画エンコーダ２１４は、内部メモリに保持している１フレーム前の入力画像の静止画領域の画像を参照することで、画面間予測の符号化を行い、画面間予測符号化ストリームを生成する。更に、送信部８１８は、静止画領域情報及び画面間予測符号化ストリームをユーザ端末１２０に送信する。
ステップＳ９１０において、ハードウェア静止画デコーダ２１５は、画面間予測符号化ストリームを復号し、静止画領域の復号画像をローカルデコード画像バッファ６１０に格納する。
一方、ステップＳ９０８において、切り替わりのタイミングであると判定した場合には（ステップＳ９０８においてＹＥＳの場合には）、ステップＳ９１１に進む。
ステップＳ９１１において、クライアント画像静止画領域切り出し部８１７は、ローカルデコード画像バッファ６１０に格納されている、切り替わった後の１フレーム目を符号化する前の画面画像の復号画像から静止画領域の位置の画像を切り出す。また、ハードウェア静止画エンコーダ２１４は、クライアント画像静止画領域切り出し部８１７により切り出された静止画領域の位置の画像について、画面内予測の符号化を行い、画面内予測符号化ストリームを生成する。
ステップＳ９１２において、送信部８１８は、静止画領域情報及び画面内予測の符号化条件をユーザ端末１２０に送信する。
ステップＳ９１３において、ハードウェア静止画デコーダ２１５は、画面内予測符号化ストリームを復号し、ローカルデコード画像バッファ６１０に格納された、画面画像の復号画像を更新する。また、クライアント画像静止画領域切り出し部８１７は、更新された復号画像から、静止画領域の位置の画像を切り出し、ハードウェア静止画エンコーダ２１４に通知する。これにより、ハードウェア静止画エンコーダ２１４では、更新された復号画像から切り出された静止画領域の位置の画像を内部メモリに保持する。
ステップＳ９１４において、静止画領域切り出し部８１６は、１フレーム目の画面画像より、静止画領域の画像を切り出す。また、ハードウェア静止画エンコーダ２１４は、内部メモリに保持している、更新された復号画像から切り出された静止画領域の位置の画像を参照し、画面間予測の符号化を行う。これにより、ハードウェア静止画エンコーダ２１４は、１フレーム目の画面画像の静止画領域の画像について、画面間予測符号化ストリームを生成する。また、ハードウェア静止画エンコーダ２１４は、１フレーム目の画面画像より切り出された静止画領域の画像を、内部メモリに保持する。更に、送信部８１８は、１フレーム目の画面画像の静止画領域についての静止画領域情報及び画面間予測符号化ストリームをユーザ端末１２０に送信する。
ステップＳ９１５において、ハードウェア静止画デコーダ２１５は、１フレーム目の画面画像の静止画領域の画像についての画面間予測符号化ストリームを復号することで、静止画領域の復号画像を生成し、ローカルデコード画像バッファ６１０に格納する。
ステップＳ９１６において、仮想デスクトップサーバ１１０は、画面転送処理を終了するか否かを判定する。ステップＳ９１６において、画面転送処理を終了しないと判定した場合には（ステップＳ９１６においてＮＯの場合には）、ステップＳ９０１に戻る。
一方、ステップＳ９１６において、画面転送処理を終了すると判定した場合には（ステップＳ９１６においてＹＥＳの場合には）、画面転送処理を終了する。
＜ユーザ端末の動作の概要＞
次に、動画領域から静止画領域への切り替え時のユーザ端末１２０の動作の概要について説明する。図１０は、動画領域から静止画領域への切り替え時のユーザ端末の動作の概要を示す図である。
図１０において、復号画像５１１は、所定領域４２０が動画領域から静止画領域に切り替わった後の１フレーム目を符号化する前の画面画像を復号した復号画像である。具体的には、画面画像４１１について、仮想デスクトップサーバ１１０のハードウェア動画エンコーダ２１２が動画符号化を行うことで生成した動画符号化ストリームを、ユーザ端末１２０のハードウェア動画デコーダ３１２が復号した画像である。
ユーザ端末１２０のハードウェア静止画エンコーダ３１３は、復号画像５１１から、静止画領域の位置の画像を切り出し、画面内予測の符号化を行う。ハードウェア静止画エンコーダ３１３では、仮想デスクトップサーバ１１０から送信された静止画領域情報及び符号化条件に基づいて、画面内予測の符号化を行う。
また、ハードウェア静止画エンコーダ３１３は、画面内予測の符号化を行うことで生成した画面内予測符号化ストリームを、ハードウェア静止画デコーダ３１４に通知する。
ハードウェア静止画デコーダ３１４は、ハードウェア静止画エンコーダ３１３より通知された画面内予測符号化ストリームを復号する。これにより、ハードウェア静止画デコーダ３１４は、静止画領域の位置の復号画像を生成し、ハードウェア静止画デコーダ３１４の内部メモリ（図１０の網掛けの矩形領域）に保持する。
また、ハードウェア静止画デコーダ３１４は、仮想デスクトップサーバ１１０から受信した画面間予測符号化ストリームを復号する。具体的には、１フレーム目の画面画像４１２の静止画領域の画像について、仮想デスクトップサーバ１１０のハードウェア静止画エンコーダ２１４により画面間予測の符号化が行われることで生成された画面間予測符号化ストリームを復号する。このとき、ハードウェア静止画デコーダ３１４では、ハードウェア静止画デコーダ３１４の内部メモリに保持している、静止画領域の位置の復号画像を参照することで、画面間予測符号化ストリームを復号する。
ハードウェア静止画デコーダ３１４は、１フレーム目の画面画像４１２についての静止画領域の復号画像を、内部メモリに保持するとともに、デコード画像バッファに格納する。
このように、ユーザ端末１２０では、ハードウェア静止画デコーダ３１４が、１フレーム目を復号する前に内部メモリに保持した静止画領域の位置の復号画像を参照する。これにより、ユーザ端末１２０では、１フレーム目から画面間予測符号化ストリームを復号することができる。
＜ユーザ端末の機能構成の概要＞
続いて、動画領域から静止画領域への切り替え時のユーザ端末１２０の上記動作を実現するための機能構成（ここでは、主にハードウェアで実現される機能の構成）について、概要を説明する。図１１は、ユーザ端末の機能構成の概要を示す第１の図であり、動画領域から静止画領域に切り替わった後の１フレーム目の画面間予測符号化ストリームを処理する前の状態における機能構成の概要を示している。
図１１に示すように、１フレーム目の画面画像を処理する前の状態において、デコード画像バッファ１１１０には、動画領域から静止画領域に切り替わった後の１フレーム目を符号化する前の画面画像を復号した復号画像５１１が格納されている（符号（ｉ））。デコード画像バッファ１１１０は、ユーザ端末１２０のメモリ３２０上に確保されたバッファ領域である。
ここで、仮想デスクトップサーバ１１０から、静止画領域情報が送信されると（符号（ｉｉ））、デコード画像バッファ１１１０に格納された復号画像５１１から、静止画領域の位置の画像が切り出される（符号（ｉｉｉ））。
また、ハードウェア静止画エンコーダ３１３は、仮想デスクトップサーバ１１０から画面内予測の符号化条件を受信する。また、ハードウェア静止画エンコーダ３１３は、受信した符号化条件に基づき、切り出された静止画領域の位置の画像について、画面内予測の符号化を行い、画面内予測符号化ストリームを生成する（符号（ｉｖ））。更に、ハードウェア静止画エンコーダ３１３は、生成した画面内予測符号化ストリームを、ハードウェア静止画デコーダ３１４に通知する。
ハードウェア静止画デコーダ３１４は、ハードウェア静止画エンコーダ３１３より通知された画面内予測符号化ストリームを復号することで、静止画領域の位置の復号画像を生成し、ハードウェア静止画デコーダ３１４の内部メモリに保持する。これにより、動画領域から静止画領域に切り替わった後の１フレーム目の静止画領域の画像について、画面間予測符号化を行うための事前準備が整うことになる。
図１２は、ユーザ端末の機能構成の概要を示す第２の図であり、動画領域から静止画領域に切り替わった後の１フレーム目の画面画像４１２についての画面間予測符号化ストリームを処理するための機能構成の概要を示している。
図１２に示すように、ユーザ端末１２０は、仮想デスクトップサーバ１１０より１フレーム目の画面画像４１２についての画面間予測符号化ストリームを受信する（符号（ｉ））。上述したように、ハードウェア静止画デコーダ３１４は、内部メモリに、復号画像５１１の静止画領域の位置の復号画像を保持している。このため、ハードウェア静止画デコーダ３１４では、復号画像５１１の静止画領域の位置の復号画像を参照することで、１フレーム目の画面画像４１２についての画面間符号化ストリームを復号する。
また、ハードウェア静止画デコーダ３１４では、画面間符号化ストリームを復号することで生成した、１フレーム目の画面画像４１２についての静止画領域の復号画像を、デコード画像バッファ１１１０に格納する（符号（ｉｉ））。
これにより、１フレーム目を符号化する前の画面画像の復号画像５１１と、１フレーム目の画面画像４１２についての静止画領域の復号画像とを含む画面画像が、ユーザ端末１２０のＵＩ装置３４０に表示されることになる（符号（ｉｉｉ））。
＜ユーザ端末の復号部の機能構成の詳細＞
次に、ユーザ端末１２０の機能構成の詳細について説明する。図１３は、ユーザ端末の機能構成の詳細を示す図である。ユーザ端末１２０は、ハードウェアが動作することにより実現される機能と、ソフトウェア（プログラム）が各種演算デバイス３１１によって実行されることにより実現される機能とにより、画面転送処理を実行する。
図１３において、白色矩形枠は、ハードウェアが動作することにより実現される機能を表し、ハッチング矩形枠は、ソフトウェア（プログラム）がプロセッサ３１０の各種演算デバイス３１１によって実行されることにより実現される機能を表す。以下、各部の機能の詳細について説明する。
受信部１３１１は、仮想デスクトップサーバ１１０よりフレームごとの動画符号化ストリーム、画面間予測符号化ストリーム、動画領域情報及び静止画領域情報、符号化条件を受信する。また、受信した動画符号化ストリームをハードウェア動画デコーダ３１２に、受信した画面間予測符号化ストリームをハードウェア静止画デコーダ３１４に、動画領域情報及び静止画領域情報、符号化条件を、変更領域取得部１３１２に通知する。
変更領域取得部１３１２は、動画領域情報を動画領域切り出し部１３１３に、静止画領域情報を静止画領域切り出し部１３１５に通知する。また、変更領域取得部１３１２は、符号化条件を静止画領域切り出し部１３１５に通知する。
ハードウェア動画デコーダ３１２は、動画符号化ストリームを復号することで、全画面動画復号画像を生成し、全画面動画復号画像フレームバッファ１３２２に通知する。なお、全画面動画復号画像フレームバッファ１３２２は、ユーザ端末１２０のメモリ３２０上に確保されたバッファ領域である。
全画面動画復号画像フレームバッファ１３２２は、ハードウェア動画デコーダ３１２より通知された全画面動画復号画像を格納する。
動画領域切り出し部１３１３は、変更領域取得部１３１２より通知された動画領域情報に基づいて、全画面動画復号画像フレームバッファ１３２２に格納された全画面動画復号画像から、動画領域の画像を切り出す。また、動画領域切り出し部１３１３は、切り出した動画領域の画像を、色差変換部１３１４に通知する。
色差変換部１３１４は、動画領域切り出し部１３１３より通知された動画領域の画像について、色差フォーマットを変換する。具体的には、色差変換部１３１４は、色差フォーマットを、４：２：０フォーマットから、４：４：４フォーマットに変換する。
また、色差変換部１３１４は、色差フォーマットを変換した動画領域の画像（動画領域復号画像）を含む全画面動画復号画像を、デコード画像バッファ１１１０に通知する。
デコード画像バッファ１１１０は、色差変換部１３１４から通知された動画領域復号画像を含む全画面動画復号画像、及び、ハードウェア静止画デコーダ３１４から通知される静止画領域の復号画像を格納する。これにより、デコード画像バッファ１１１０には、画面画像の復号画像が格納されることになる。
ハードウェア静止画エンコーダ３１３は、デコード画像バッファ１１１０に格納されている、動画領域から静止画領域に切り替わった後の１フレーム目を符号化する前の画面画像を復号した復号画像を読み出す。また、ハードウェア静止画エンコーダ３１３は、変更領域取得部１３１２から通知された静止画領域情報に対応する静止画領域の位置の画像を、読み出した画面画像の復号画像から切り出す。また、静止画領域切り出し部１３１５は、切り出した静止画領域の位置の画像を、ハードウェア静止画エンコーダ３１３に通知する。更に、静止画領域切り出し部１３１５は、変更領域取得部１３１２から通知された符号化条件を、ハードウェア静止画エンコーダ３１３に通知する。
ハードウェア静止画エンコーダ３１３は、静止画領域切り出し部１３１５から通知された静止画領域の位置の画像について、静止画領域切り出し部１３１５から通知された符号化条件に基づいて、画面内予測の符号化を行い、画面内予測符号化ストリームを生成する。また、ハードウェア静止画エンコーダ３１３は、生成した画面内予測符号化ストリームをハードウェア静止画デコーダ３１４に通知する。
ハードウェア静止画デコーダ３１４は、ハードウェア静止画エンコーダ３１３から通知された画面内予測符号化ストリームを復号することで静止画領域の位置の復号画像を生成し、内部メモリに保持する。
また、ハードウェア静止画デコーダ３１４は、受信部１３１１から通知された画面間符号化ストリームを受信し、ハードウェア静止画デコーダ３１４の内部メモリに保持している静止画領域の位置の復号画像を参照することで、画面間符号化ストリームを復号する。更に、ハードウェア静止画デコーダ３１４は、画面間符号化ストリームを復号することで生成した静止画領域の復号画像を内部メモリに保持するとともに、デコード画像バッファ１１１０に格納する。
＜ユーザ端末における画面転送処理の流れ＞
次に、ユーザ端末１２０における画面転送処理の流れについて説明する。図１４は、ユーザ端末における画面転送処理の流れを示す第１のフローチャートである。
ステップＳ１４０１において、受信部１３１１は、仮想デスクトップサーバ１１０から送信される動画符号化ストリーム等を格納するバッファを確認する。
ステップＳ１４０２において、受信部１３１１は、確認結果に基づいて、仮想デスクトップサーバ１１０から動画または静止画符号化ストリーム等を受信したか否かを判定する。ステップＳ１４００において、動画または静止画符号化ストリーム等を受信していないと判定した場合には（ステップＳ１４０２においてＮＯの場合には）、受信したと判定するまで待機する。
一方、ステップＳ１４０２において、動画符号化ストリーム等を受信したと判定した場合には（ステップＳ１４０２においてＹＥＳの場合には）、ステップＳ１４０３に進む。
ステップＳ１４０３において、変更領域取得部１３１２は、動画領域情報及び静止画領域情報を取得する。
ステップＳ１４０４において、受信部１３１１は、動画符号化ストリームを受信したか否かを判定する。ステップＳ１４０４において、動画符号化ストリームを受信したと判定した場合には（ステップＳ１４０４においてＹＥＳの場合には）、ステップＳ１４０５に進む。
ステップＳ１４０５において、ハードウェア動画デコーダ３１２は、動画符号化ストリームを復号し、全画面動画復号画像フレームバッファ１３２２に格納する。また、動画領域切り出し部１３１３は、動画領域情報に基づいて、全画面動画復号画像から動画領域の画像を切り出し、色差変換部１３１４は色差フォーマットを変換する。これにより、動画領域切り出し部１３１３は、動画領域復号画像を含む全画面動画復号画像をデコード画像バッファ１１１０に格納する。
一方、ステップＳ１４０４において、動画符号化ストリームを受信していないと判定した場合には（ステップＳ１４０４においてＮＯの場合には）、直接、ステップＳ１４０６に進む。
ステップＳ１４０６において、受信部１３１１は、静止画（画面間予測）符号化ストリームを受信したか否かを判定する。ステップＳ１４０６において、静止画（画面間予測）符号化ストリームを受信していないと判定した場合には（ステップＳ１４０６においてＮＯの場合には）、ステップＳ１４１５に進む。
一方、ステップＳ１４０６において、画面間予測符号化ストリームを受信したと判定した場合には（ステップＳ１４０６においてＹＥＳの場合には）、ステップＳ１４０７に進む。
ステップＳ１４０７において、変更領域取得部１３１２は、動画領域から静止画領域への切り替わりのタイミングであるか否かを判定する。ステップＳ１４０７において、切り替わりのタイミングでないと判定した場合には（ステップＳ１４０７においてＮＯの場合には）、ステップＳ１４０８に進む。
ステップＳ１４０８において、ハードウェア静止画デコーダ３１４は、画面間予測符号化ストリームに対して画面間予測の符号化を行うことで復号し、静止画領域の復号画像を生成する。また、ハードウェア静止画デコーダ３１４は、生成した静止画領域の復号画像を、内部メモリに保持する。
ステップＳ１４０９において、ハードウェア静止画デコーダ３１４は、生成した静止画領域の復号画像をデコード画像バッファ１１１０に格納する。これにより、画面画像が生成される。生成された画面画像は、ＵＩ装置３４０に表示される。
一方、ステップＳ１４０７において、切り替わりのタイミングであると判定した場合には（ステップＳ１４０７においてＹＥＳの場合には）、ステップＳ１４１１に進む。
ステップＳ１４１１において、静止画領域切り出し部１３１５は、デコード画像バッファ１１１０に格納された、１フレーム目を符号化する前の画面画像の復号画像から、静止画領域の位置の画像を切り出す。また、ハードウェア静止画エンコーダ３１３は、切り出された静止画領域の位置の画像について、画面内予測の符号化を行うことで、画面内予測符号化ストリームを生成する。
ステップＳ１４１２において、ハードウェア静止画デコーダ３１４は、画面内予測の符号化を行うことで生成された画面内予測符号化ストリームを復号し、静止画領域の位置の復号画像を生成する。また、ハードウェア静止画デコーダ３１４は、生成した静止画領域の位置の復号画像を、内部メモリに保持する。
ステップＳ１４１３において、ハードウェア静止画デコーダ３１４は、１フレーム目の画面画像についての画面間予測符号化ストリームを受信する。また、ハードウェア静止画デコーダ３１４は、ハードウェア静止画デコーダ３１４の内部メモリに保持した静止画領域の位置の復号画像を参照することで、１フレーム目の画面画像の静止画領域の画像についての画面間予測符号化ストリームを復号する。また、ハードウェア静止画デコーダ３１４は、１フレーム目の画面画像の静止画領域の画像についての画面間予測符号化ストリームを復号することで生成した静止画領域の復号画像を、内部メモリに保持する。
ステップＳ１４１４において、ハードウェア静止画デコーダ３１４は、生成した静止画領域の復号画像をデコード画像バッファ１１１０に格納する。これにより、１フレーム目の画面画像が生成される。生成された画面画像は、ＵＩ装置３４０に表示される。
ステップＳ１４１５において、ユーザ端末１２０は、画面転送処理を終了するか否かを判定する。ステップＳ１４１５において、画面転送処理を終了しないと判定した場合には（ステップＳ１４１５においてＮＯの場合には）、ステップＳ１４０１に戻る。
一方、ステップＳ１４１５において、画面転送処理を終了すると判定した場合には（ステップＳ１４１５においてＹＥＳの場合には）、画面転送処理を終了する。
以上の説明から明らかなように、第１の実施形態に係る仮想デスクトップサーバ１１０は、
・所定領域が動画領域から静止画領域に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から、静止画領域の位置の画像を切り出す。
・切り出した静止画領域の位置の画像について、画面内予測の符号化を行い、画面内予測符号化ストリームを生成する。
・画面内予測符号化ストリームを復号し、復号画像をローカルデコード画像バッファに記憶する。
・所定領域が動画領域から静止画領域に切り替わった後の１フレーム目の画面画像が入力された場合に、切り替わった後の画面画像から切り出された静止画領域の画像について、画面間予測の符号化を行い、画面間予測符号化ストリームを生成する。その際、ローカルデコード画像バッファに記憶された復号画像を参照する。
また、第１の実施形態に係るユーザ端末１２０は、
・所定領域が動画領域から静止画領域に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から、静止画領域の位置の画像を切り出す。
・切り出した静止画領域の位置の画像について、画面内予測の符号化を行い、画面内予測符号化ストリームを生成する。
・画面内予測符号化ストリームを復号し、切り替わる前の画面画像の静止画領域の位置の復号画像を生成する。
・所定領域が動画領域から静止画領域に切り替わった後の１フレーム目の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、画面間予測符号化ストリームを復号する。その際、切り替わる前の画面画像の静止画領域の位置の復号画像を参照する。
このように、第１の実施形態に係る仮想デスクトップサーバでは、動画領域から静止画領域に切り替わった後の１フレーム目の画面画像の静止画領域の画像について画面間予測の符号化を行う。また、第１の実施形態に係るユーザ端末では、動画領域から静止画領域に切り替わった後の１フレーム目の画面画像の静止画領域についての画面間予測符号化ストリームを復号する。
これにより、第１の実施形態によれば、動画領域から静止画領域に切り替わった後の１フレーム目において、発生符号量が増大するのを抑えることができる。
つまり、第１の実施形態によれば、画面画像の静止画領域の画像を符号化する際の発生情報量を抑えることができる。
［第２の実施形態］
上記第１の実施形態では、動画領域から静止画領域に切り替わった後の１フレーム目の処理の際、
・画面内予測の符号化、静止画領域情報及び符号化条件の送信、
・画面間予測の符号化、画面間予測符号化ストリームの送信、
を行うことで、動画領域から静止画領域への切り替え後の１フレーム目において、発生情報量が増大するのを抑える方法について説明した。
しかしながら、動画領域から静止画領域への切り替え後の１フレーム目において、発生情報量が増大するのを抑える方法はこれに限定されない。例えば、動画領域から静止画領域に切り替わった後の１フレーム目の処理の際、
・画面内予測の符号化、静止画領域情報及び符号化条件の送信、
を行い、動画領域から静止画領域に切り替わった後の２フレーム目の処理の際、
・画面間予測の符号化、画面間予測符号化ストリームの送信、
を行うことで、動画領域から静止画領域への切り替え後の１フレーム目において発生情報量が増大するのを抑えるようにしてもよい。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
＜仮想デスクトップサーバにおける画面転送処理の流れ＞
図１５は、仮想デスクトップサーバにおける画面転送処理の流れを示す第２のフローチャートである。図９との相違点は、ステップＳ１５０１、Ｓ１５０２である。
ステップＳ１５０１において、静止画領域切り出し部８１６は、２フレーム目の画面画像より、静止画領域の画像を切り出す。また、ハードウェア静止画エンコーダ２１４は、内部メモリに保持している、更新された復号画像から切り出された静止画領域の位置の画像を参照し、画面間予測の符号化を行う。これにより、ハードウェア静止画エンコーダ２１４は、２フレーム目の画面画像の静止画領域の画像について、画面間予測符号化ストリームを生成する。また、ハードウェア静止画エンコーダ２１４は、２フレーム目の画面画像より切り出された静止画領域の画像を、内部メモリに保持する。更に、送信部８１８は、２フレーム目の画面画像の静止画領域についての静止画領域情報及び画面間予測符号化ストリームをユーザ端末１２０に送信する。
ステップＳ１５０２において、ハードウェア静止画デコーダ２１５は、２フレーム目の画面画像の静止画領域の画像についての画面間予測符号化ストリームを復号することで、静止画領域の復号画像を生成し、ローカルデコード画像バッファ６１０に格納する。
＜ユーザ端末における画面転送処理の流れ＞
次に、ユーザ端末１２０における画面転送処理の流れについて説明する。図１６は、ユーザ端末における画面転送処理の流れを示す第２のフローチャートである。図１４との相違点は、ステップＳ１６０１、Ｓ１６０２である。
ステップＳ１４１３においてハードウェア静止画デコーダ３１４は、２フレーム目の画面画像についての画面間予測符号化ストリームを受信する。また、ハードウェア静止画デコーダ３１４は、ハードウェア静止画デコーダ３１４の内部メモリに保持した静止画領域の位置の復号画像を参照することで、２フレーム目の画面画像の静止画領域の画像についての画面間予測符号化ストリームを復号する。また、ハードウェア静止画デコーダ３１４は、２フレーム目の画面画像の静止画領域の画像についての画面間予測符号化ストリームを復号することで生成した静止画領域の復号画像を、内部メモリに保持する。
ステップＳ１６０２において、ハードウェア静止画デコーダ３１４は、生成した静止画領域の復号画像をデコード画像バッファに格納する。これにより、２フレーム目の画面画像についての画面画像が生成される。生成された画面画像は、ＵＩ装置３４０に表示される。
以上の説明から明らかなように、第２の実施形態に係る仮想デスクトップサーバ１１０では、
・動画領域から静止画領域に切り替わった後の１フレーム目の処理の際、画面内予測の符号化、静止画領域情報及び符号化条件の送信を行い、
・動画領域から静止画領域に切り替わった後の２フレーム目の処理の際、画面間予測の符号化、画面間予測符号化ストリームの送信を行う。
これにより、第２の実施形態によれば、上記第１の実施形態と同様、画面画像の静止画領域の画像を符号化する際の発生符号量を抑えることができる。
［第３の実施形態］
上記第１の実施形態では、図８に示す各部の機能を仮想デスクトップサーバ１１０にて実現する場合について説明した。しかしながら、図８に示す各部の機能を実現する装置は、仮想デスクトップサーバ１１０に限定されず、画面転送システムにおいて符号化処理を行う任意の情報処理装置に適用可能である。
また、上記第１の実施形態では、ハードウェア動画エンコーダ、ハードウェア動画デコーダ、ハードウェア静止画エンコーダ、ハードウェア静止画デコーダが、プロセッサ内に配置されるものとして説明した。しかしながら、ハードウェア動画エンコーダ、ハードウェア動画デコーダ、ハードウェア静止画エンコーダ、ハードウェア静止画デコーダは、プロセッサ外に配置されてもよい。
また、上記第１の実施形態では、動画及び静止画のエンコーダ、デコーダが、いずれも、ハードウェアで実現されるものとして説明したが、例えば、動画エンコーダ及び動画デコーダは、ソフトウェアにより実現されてもよい。
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号する静止画デコーダと、
前記静止画デコーダにより復号された復号画像を記憶する復号画像記憶部と、を有し、
前記静止画エンコーダは、
前記所定領域が動画から静止画に切り替わった後の第１の画面画像が入力された場合に、前記切り替わった後の第１の画面画像から切り出された静止画領域の画像について、前記復号画像記憶部に記憶された復号画像を参照することで、画面間予測の符号化を行う符号化装置。
（付記２）
前記静止画エンコーダは、前記復号画像記憶部に記憶された復号画像を、内部メモリに保持し、前記所定領域が動画から静止画に切り替わった後の第１の画面画像が入力された場合に、該内部メモリを参照することで、画面間予測の符号化を行う、付記１に記載の符号化装置。
（付記３）
前記切り替わった後の第１の画面画像の静止画領域の位置を判定し、静止画領域情報を生成する領域判定部と、
前記領域判定部により判定された静止画領域の位置の画像を、前記切り替わる前の画面画像の復号画像から切り出す切り出し部と
を更に有する、付記２に記載の符号化装置。
（付記４）
前記静止画デコーダは、前記静止画エンコーダにより生成された前記画面間予測符号化ストリームを復号することで、前記切り替わった後の第１の画面画像の静止画領域の復号画像を生成する、付記３に記載の符号化装置。
（付記５）
前記領域判定部により生成された静止画領域情報と、前記静止画エンコーダが画面内予測の符号化を行った際の符号化条件とを、前記画面間予測の符号化により生成された画面間予測符号化ストリームの送信先に送信する送信部を更に有する、付記１に記載の符号化装置。
（付記６）
前記静止画エンコーダは、前記切り替わった後の第１の画面画像から切り出された静止画領域の画像を、前記内部メモリに保持し、前記所定領域が動画から静止画に切り替わった後の第２の画面画像が入力された場合に、前記切り替わった後の第２の画面画像から切り出された静止画領域の画像について、前記内部メモリを参照することで、画面間予測の符号化を行う、付記３に記載の符号化装置。
（付記７）
前記所定領域が動画から静止画に切り替わる前の画面画像について動画符号化を行うことで、前記動画符号化ストリームを生成する動画エンコーダと、
前記切り替わる前の画面画像についての動画符号化ストリームを復号することで、前記画面画像の復号画像を生成する動画デコーダと、を更に有する、付記１に記載の符号化装置。
（付記８）
前記第１の画面画像は、前記所定領域が動画から静止画に切り替わった後の１フレーム目の画面画像であり、
前記第２の画面画像は、前記所定領域が動画から静止画に切り替わった後の２フレーム目の画面画像である、付記６に記載の符号化装置。
（付記９）
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号し、前記切り替わる前の画面画像の静止画領域の位置の復号画像を生成する静止画デコーダと、を有し、
前記静止画デコーダは、
前記所定領域が動画から静止画に切り替わった後の第１の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、前記切り替わる前の画面画像の静止画領域の位置の復号画像を参照することで、前記画面間予測符号化ストリームを復号する、復号装置。
（付記１０）
前記静止画領域の位置を示す静止画領域情報と、前記画面内予測の符号化条件とを取得する取得部と、
取得された前記静止画領域情報に基づいて、前記切り替わる前の画面画像の復号画像から静止画領域の位置の画像を切り出す切り出し部と、を有し、
前記静止画エンコーダは、前記切り出された静止画領域の位置の画像について、取得された前記符号化条件に基づいて、前記画面内予測の符号化を行う、付記９に記載の復号装置。
（付記１１）
前記静止画デコーダは、前記切り替わる前の画面画像の静止画領域の位置の復号画像を、内部メモリに保持し、前記第１の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、該内部メモリを参照することで、前記画面間予測符号化ストリームを復号する、付記１０に記載の復号装置。
（付記１２）
前記静止画デコーダは、前記画面間予測符号化ストリームを復号した復号画像を、前記切り替わる前の画面画像の復号画像が格納されたバッファに格納することで、前記切り替わった後の第１の画面画像の復号画像を生成する、付記１１に記載の復号装置。
（付記１３）
前記静止画デコーダは、前記切り替わった後の第１の画面画像の静止画領域についての画面間予測符号化ストリームを復号した復号画像を、前記内部メモリに保持し、前記所定領域が動画から静止画に切り替わった後の第２の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、前記内部メモリを参照することで、前記切り替わった後の第２の画面画像の静止画領域についての画面間予測符号化ストリームを復号する、付記１１に記載の復号装置。
（付記１４）
前記切り替わる前の画面画像についての動画符号化ストリームを復号することで、前記切り替わる前の画面画像の復号画像を生成する動画デコーダを更に有する、付記１２に記載の復号装置。
（付記１５）
符号化装置と復号装置とを有する画面転送システムであって、
前記符号化装置は、
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号する静止画デコーダと、
前記静止画デコーダにより復号された復号画像を記憶する復号画像記憶部と、を有し、
前記静止画エンコーダは、
前記所定領域が動画から静止画に切り替わった後の画面画像が入力された場合に、前記切り替わった後の画面画像から切り出された静止画領域の画像について、前記復号画像記憶部に記憶された復号画像を参照することで、画面間予測の符号化を行い、
前記復号装置は、
前記動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号し、前記切り替わる前の画面画像の静止画領域の位置の復号画像を生成する静止画デコーダと、を有し、
前記静止画デコーダは、
前記所定領域が動画から静止画に切り替わった後の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、前記切り替わる前の画面画像の静止画領域の位置の復号画像を参照することで、前記画面間予測符号化ストリームを復号する、画面転送システム。
（付記１６）
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームが復号されることで生成した画面画像の復号画像から、静止画領域の位置の画像を切り出す処理と、
切り出した静止画領域の位置の画像についての画面内予測符号化ストリームが復号されることで生成された復号画像を取得する処理と、
前記所定領域が動画から静止画に切り替わった後の画面画像が入力された場合に、前記切り替わった後の画面画像から静止画領域の画像を切り出す処理と、
前記切り替わった後の画面画像から切り出された静止画領域の画像について、前記画面内予測符号化ストリームが復号されることで生成された復号画像を参照することで、画面間予測の符号化を行うよう、静止画エンコーダを動作させる処理と
をコンピュータに実行させるためのプログラム。
（付記１７）
所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームが復号されることで生成した画面画像の復号画像から、静止画領域の位置の画像を切り出す処理と、
切り出した静止画領域の位置の画像について、画面内予測の符号化が行われることで生成された画面内予測符号化ストリームが復号され、前記静止画領域の位置の復号画像が生成された状態で、前記所定領域が動画から静止画に切り替わった後の画面画像の静止画領域の画像についての画面間予測符号化ストリームが入力された場合に、前記静止画領域の位置の復号画像を参照することで、前記画面間予測符号化ストリームを復号するよう、静止画デコーダを動作させる処理と
をコンピュータに実行させるためのプログラム。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
１００ ：画面転送システム
１１０ ：仮想デスクトップサーバ
１２０ ：ユーザ端末
２１２ ：ハードウェア動画エンコーダ
２１３ ：ハードウェア動画デコーダ
２１４ ：ハードウェア静止画エンコーダ
２１５ ：ハードウェア静止画デコーダ
３１２ ：ハードウェア動画デコーダ
３１３ ：ハードウェア静止画エンコーダ
３１４ ：ハードウェア静止画デコーダ
６１０ ：ローカルデコード画像バッファ
８１１ ：更新頻度判定部
８１２ ：領域判定部
８１３ ：色差変換部
８１４ ：動画領域切り出し部
８１５ ：色差変換部
８１６ ：静止画領域切り出し部
８１７ ：クライアント画像静止画領域切り出し部
８１８ ：送信部
１１１０ ：デコード画像バッファ
１３１１ ：受信部
１３１２ ：変更領域取得部
１３１３ ：動画領域切り出し部
１３１４ ：色差変換部
１３１５ ：静止画領域切り出し部

Claims (12)

  1. 所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
    前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号する静止画デコーダと、
    前記静止画デコーダにより復号された復号画像を記憶する復号画像記憶部と、を有し、
    前記静止画エンコーダは、
    前記所定領域が動画から静止画に切り替わった後の第１の画面画像が入力された場合に、前記切り替わった後の第１の画面画像から切り出された静止画領域の画像について、前記復号画像記憶部に記憶された復号画像を参照することで、画面間予測の符号化を行う符号化装置。
  2. 前記静止画エンコーダは、前記復号画像記憶部に記憶された復号画像を、内部メモリに保持し、前記所定領域が動画から静止画に切り替わった後の第１の画面画像が入力された場合に、該内部メモリを参照することで、画面間予測の符号化を行う、請求項１に記載の符号化装置。
  3. 前記切り替わった後の第１の画面画像の静止画領域の位置を判定し、静止画領域情報を生成する領域判定部と、
    前記領域判定部により判定された静止画領域の位置の画像を、前記切り替わる前の画面画像の復号画像から切り出す切り出し部と
    を更に有する、請求項２に記載の符号化装置。
  4. 前記静止画エンコーダは、前記切り替わった後の第１の画面画像から切り出された静止画領域の画像を、前記内部メモリに保持し、前記所定領域が動画から静止画に切り替わった後の第２の画面画像が入力された場合に、前記切り替わった後の第２の画面画像から切り出された静止画領域の画像について、前記内部メモリを参照することで、画面間予測の符号化を行う、請求項３に記載の符号化装置。
  5. 前記所定領域が動画から静止画に切り替わる前の画面画像について動画符号化を行うことで、前記動画符号化ストリームを生成する動画エンコーダと、
    前記切り替わる前の画面画像についての動画符号化ストリームを復号することで、前記画面画像の復号画像を生成する動画デコーダと、を更に有する、請求項１に記載の符号化装置。
  6. 前記第１の画面画像は、前記所定領域が動画から静止画に切り替わった後の１フレーム目の画面画像であり、
    前記第２の画面画像は、前記所定領域が動画から静止画に切り替わった後の２フレーム目の画面画像である、請求項４に記載の符号化装置。
  7. 所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
    前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号し、前記切り替わる前の画面画像の静止画領域の位置の復号画像を生成する静止画デコーダと、を有し、
    前記静止画デコーダは、
    前記所定領域が動画から静止画に切り替わった後の第１の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、前記切り替わる前の画面画像の静止画領域の位置の復号画像を参照することで、前記画面間予測符号化ストリームを復号する、復号装置。
  8. 前記静止画領域の位置を示す静止画領域情報と、前記画面内予測の符号化条件とを取得する取得部と、
    取得された前記静止画領域情報に基づいて、前記切り替わる前の画面画像の復号画像から静止画領域の位置の画像を切り出す切り出し部と、を有し、
    前記静止画エンコーダは、前記切り出された静止画領域の位置の画像について、取得された前記符号化条件に基づいて、前記画面内予測の符号化を行う、請求項７に記載の復号装置。
  9. 前記静止画デコーダは、前記切り替わる前の画面画像の静止画領域の位置の復号画像を、内部メモリに保持し、前記第１の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、該内部メモリを参照することで、前記画面間予測符号化ストリームを復号する、請求項８に記載の復号装置。
  10. 符号化装置と復号装置とを有する画面転送システムであって、
    前記符号化装置は、
    所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
    前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号する静止画デコーダと、
    前記静止画デコーダにより復号された復号画像を記憶する復号画像記憶部と、を有し、
    前記静止画エンコーダは、
    前記所定領域が動画から静止画に切り替わった後の画面画像が入力された場合に、前記切り替わった後の画面画像から切り出された静止画領域の画像について、前記復号画像記憶部に記憶された復号画像を参照することで、画面間予測の符号化を行い、
    前記復号装置は、
    前記動画符号化ストリームを用いて生成した画面画像の復号画像から切り出された静止画領域の位置の画像について、画面内予測の符号化を行う静止画エンコーダと、
    前記静止画エンコーダにより生成された画面内予測符号化ストリームを復号し、前記切り替わる前の画面画像の静止画領域の位置の復号画像を生成する静止画デコーダと、を有し、
    前記静止画デコーダは、
    前記所定領域が動画から静止画に切り替わった後の画面画像の静止画領域についての画面間予測符号化ストリームが入力された場合に、前記切り替わる前の画面画像の静止画領域の位置の復号画像を参照することで、前記画面間予測符号化ストリームを復号する、画面転送システム。
  11. 所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームが復号されることで生成した画面画像の復号画像から、静止画領域の位置の画像を切り出す処理と、
    切り出した静止画領域の位置の画像についての画面内予測符号化ストリームが復号されることで生成された復号画像を取得する処理と、
    前記所定領域が動画から静止画に切り替わった後の画面画像が入力された場合に、前記切り替わった後の画面画像から静止画領域の画像を切り出す処理と、
    前記切り替わった後の画面画像から切り出された静止画領域の画像について、前記画面内予測符号化ストリームが復号されることで生成された復号画像を参照することで、画面間予測の符号化を行うよう、静止画エンコーダを動作させる処理と
    をコンピュータに実行させるためのプログラム。
  12. 所定領域が動画から静止画に切り替わる前の画面画像についての動画符号化ストリームが復号されることで生成した画面画像の復号画像から、静止画領域の位置の画像を切り出す処理と、
    切り出した静止画領域の位置の画像について、画面内予測の符号化が行われることで生成された画面内予測符号化ストリームが復号され、前記静止画領域の位置の復号画像が生成された状態で、前記所定領域が動画から静止画に切り替わった後の画面画像の静止画領域の画像についての画面間予測符号化ストリームが入力された場合に、前記静止画領域の位置の復号画像を参照することで、前記画面間予測符号化ストリームを復号するよう、静止画デコーダを動作させる処理と
    をコンピュータに実行させるためのプログラム。
JP2020053912A 2020-03-25 2020-03-25 符号化装置、復号装置、符号化方法、復号方法、画面転送システム及びプログラム Withdrawn JP2021158407A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020053912A JP2021158407A (ja) 2020-03-25 2020-03-25 符号化装置、復号装置、符号化方法、復号方法、画面転送システム及びプログラム
US17/172,116 US11516503B2 (en) 2020-03-25 2021-02-10 Encoding apparatus, decoding apparatus, encoding method, decoding method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020053912A JP2021158407A (ja) 2020-03-25 2020-03-25 符号化装置、復号装置、符号化方法、復号方法、画面転送システム及びプログラム

Publications (1)

Publication Number Publication Date
JP2021158407A true JP2021158407A (ja) 2021-10-07

Family

ID=77854755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020053912A Withdrawn JP2021158407A (ja) 2020-03-25 2020-03-25 符号化装置、復号装置、符号化方法、復号方法、画面転送システム及びプログラム

Country Status (2)

Country Link
US (1) US11516503B2 (ja)
JP (1) JP2021158407A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11800166B2 (en) * 2019-10-14 2023-10-24 Qatar Foundation For Education, Science And Community Development Forecasting and reservation of transcoding resources for live streaming

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008092503A (ja) 2006-10-05 2008-04-17 Matsushita Electric Ind Co Ltd 撮像装置
JP5685840B2 (ja) 2010-07-01 2015-03-18 富士通株式会社 情報処理装置、画像送信プログラム及び画像表示方法
WO2015137237A1 (ja) * 2014-03-14 2015-09-17 シャープ株式会社 画像復号装置
JP6191843B2 (ja) 2015-12-17 2017-09-06 株式会社ドワンゴ 画像処理システム、画像処理装置、トランスコード方法、及びプログラム
CA3100316A1 (en) * 2018-05-15 2019-11-21 Sharp Kabushiki Kaisha Image encoding device, encoded stream extraction device, and image decoding device

Also Published As

Publication number Publication date
US11516503B2 (en) 2022-11-29
US20210306660A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
CN109074161B (zh) 用于360度视频的混合图形及像素域架构
JP6219464B2 (ja) 高ダイナミックレンジ画像を生成するデコーダ及びその方法
US10244200B2 (en) View-dependent operations during playback of panoramic video
CN109983500B (zh) 重新投影全景视频图片的平板投影以通过应用进行渲染
SA517380915B1 (ar) نسخ وحدة داخلي وتنبؤ بيني موحدين
CN110121065B (zh) 空间排序视频编码应用中的多向图像处理
CN109587478B (zh) 一种媒体信息的处理方法及装置
SA515360719B1 (ar) إدارة التخزين المؤقت للصور متعددة الدقة والمفكوك ترميزها من أجل ترميز الفيديو متعدد الطبقات
EP3554073B1 (en) Image coding device, image coding method, image coding program, image decoding device, image decoding method and image decoding program
WO2018161942A1 (en) Video processing apparatus using one or both of reference frame re-rotation and content-oriented rotation selection and associated video processing method
CN112543334B (zh) 视频解码方法、装置、计算机设备和存储介质
CN115514972A (zh) 视频编解码的方法、装置、电子设备及存储介质
CN113678458A (zh) 视频比特流中具有重采样图片大小指示的参考图片重采样信令
JP2021158407A (ja) 符号化装置、復号装置、符号化方法、復号方法、画面転送システム及びプログラム
US10880555B2 (en) Information processing system and information processing apparatus
KR20240050413A (ko) 비디오 처리를 위한 방법, 장치 및 매체
US20210274173A1 (en) Picture decoding device, picture decoding method, and picture decoding program
JP2022523440A (ja) ビデオコーディングにおけるヌルタイルコーディング
RU2773642C1 (ru) Сигнализация для передискретизации опорного изображения
FI86022C (fi) Foerfarande foer behandling av en videosignal.
JP2023169361A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP2020010342A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
TW202415069A (zh) 具有動態雜訊重構的視訊解碼的系統和方法
CN114760525A (zh) 视频生成及播放方法、装置、设备、介质
JP2012142818A (ja) カラー動画像動き推定方法及びカラー動画像動き推定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221208

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20240126