JP2018201117A - 映像符号化装置、映像符号化方法およびプログラム - Google Patents

Abstract

【課題】映像を符号化・復号する際に用いる生成モデルを一致させ、任意の挙動を取る被写体を含む映像に対して精度の高い予測画像を生成し、高効率な映像圧縮を可能とする映像符号化装置を提供する。【解決手段】映像を構成する複数のフレームのうち符号化済みのフレームである参照画像と、機械学習によって更新される生成モデルとを用いて予測画像を生成する予測映像生成部と、符号化対象のフレームである原画像と、予測映像生成手段によって生成される予測画像との残差画像を算出する残差算出部とを備える映像符号化装置とする。【選択図】 図１

Description

本発明は、映像符号化装置、映像符号化方法およびプログラムに関する。

ＩＴＵ−Ｔ＿Ｈ．２６５は、映像符号化方式の規格の一つである（ＩＴＵ−Ｔ：International Telecommunication Union Telecommunication Standardization Sector）。非特許文献１には、ＩＴＵ−Ｔ＿Ｈ．２６５規格に基づく映像符号化方式について記載されている。非特許文献１の方式では、映像を構成するフレームを１枚ずつ取り出し、取り出したそれぞれのフレーム（原画像）を所定のブロックサイズに分割する。非特許文献１の方式では、分割されたブロックをラスタースキャン順に取り出し、ブロックレベルで動き探索を行う。そして、非特許文献１の方式では、原画像を符号化する以前に符号化された画像（参照画像）の中で、取り出したブロックとの画素差分が小さい位置を探索する。非特許文献１の方式においては、原画ブロック位置と、探索により得た参照画ブロック位置との間の相対座標値に相当する動きベクトルと参照画像とを用いて再度参照画ブロックを抽出し、抽出した参照画ブロックを予測画ブロックとする。そして、非特許文献１の方式では、得られた予測画ブロックと原画ブロックとの差分を計算して得られる残差と動きベクトル等符号化情報とを圧縮する。

非特許文献１の方式は、自然画映像において、多くの物体が複数フレーム間で平行移動することを前提とする。そのため、非特許文献１の方式では、映像を撮影するカメラを縦や横に動かすと、被写体は背景を含めて相対的に平行移動する。また、非特許文献１の方式では、車等の剛体がカメラの前を横切って移動する様子をカメラで撮影すると、その剛体は水平方向に平行移動する。非特許文献１の方式によれば、被写体が平行移動する場合は、動き探索ベースでの圧縮が作用して圧縮効率が高くなる。一方、非特許文献１の手法には、回転や拡大縮小などのように広義の変形が被写体に生ずる場合には圧縮効率が低下しうるという問題点がある。

特許文献１には、動画像を符号化する動画像符号化方法について開示されている。特許文献１の方法では、入力画像について予測処理を行って生成した予測差分に、周波数変換処理および量子化処理を行って量子化データを生成する。特許文献１の方法は、複数のブロックからなるブロック群に画面内予測ブロックが含まれるか否かに基づいて、該ブロック群に含まれるブロックについて周波数変換処理と量子化処理とを行うブロック単位の大きさを変更する。

特許文献２には、符号化対象画像と予測対象画像との差分情報を複数のサブブロックに分割し、分割したサブブロックを所定の順序で符号化する画像符号化装置について開示されている。特許文献２の装置は、サブブロックに属する各差分係数の値の全てがゼロであるか否かを示す有意サブブロック情報と、差分係数の値がゼロであるか否かを示す有意差分係数情報と、差分係数の値とを符号化する。特許文献２の装置は、符号化対象となるサブブロックに隣接する符号化済みのサブブロックに関する情報に基づいて、符号化対象となるサブブロックの有意差分係数情報を符号化するためのコンテキストを導出する。

非特許文献２には、機械学習を用いて、静止画中に映る物体の１秒後までの動き（予測映像）を生成する映像生成技術が開示されている。非特許文献２の技術では、大量の映像データを学習させた生成モデルを使用し、入力された静止画を起点として後続のフレームを自動生成する。機械学習に用いる映像データとして被写体の回転や拡大縮小を含むものを用いる場合、生成される映像においても、適切に回転や拡大縮小を扱える可能性が高い。また、機械学習技術を用いれば、学習データを学習すればするほど生成モデルの映像生成能力が高まることが期待される。

特許文献３には、人間の視覚情報処理プロセスに基づいた画像に対するイメージ評価の理論と知見を利用し、膨大な画像のイメージ予測を可能にする画像イメージ予測モデルの作成処理方法について開示されている。特許文献３の方法では、画像データベースから無作為に取り出した所定数の代表画像について所定項目数のイメージ項目に関する調査を行い、その調査結果を代表画像イメージデータとして作成する。さらに、特許文献３の方法では、代表画像イメージデータと、画像特徴量データファイルにおける代表画像に関係する画像特徴量データと、カテゴリー情報データファイルにおける代表画像に関係するカテゴリー情報データとを学習用データとして準備作成する。そして、特許文献３の方法では、作成した学習用データを用いて、統計分析手法によりイメージ評価を学習した画像イメージ予測モデルを生成し、画像イメージ予測システムを構築する。

特許文献４には、制御対象の観察画像の画像データから制御対象の状態を認識し、対応する制御を行うビジュアルフィードバック制御装置について開示されている。特許文献４の装置は、予め記憶する画像データ、操作量データおよび未来の操作量を用いて制御対象の未来の予測画像を得るとともに、制約条件を満たしながら目標画像に予測画像を近付ける操作量を算出する。

国際公開第２０１１／０３３８５３号 特開２０１６−１２９３６６号公報 特開２００４−１１０２１３号公報 特開平６−２６６４１０号公報

ITU-T勧告H.265 High efficiency video coding, April 2015 Carl Vondrick， et．Al．， "Generating Videos with Scene Dynamics"， NIPS2016

非特許文献１の手法によれば、被写体が平行移動する映像に関しては、対応する映像ブロックを効率的に発見できる。しかし、非特許文献１の手法には、回転のように被写体が複数フレーム間で変形する場合に、対応する映像ブロックが本質的に存在しないために予測精度が下がり、圧縮効率が下がるという問題点があった。その理由は、一般的なブロックレベル動き補償予測では、原画像と参照画像との間の時間的局所性を前提として、原画像の符号化対象ブロックと一致する参照画ブロックを探索するためである。

非特許文献２の手法によれば、機械学習技術を用いることによって、静止画像から予測画像を生成できる。しかし、非特許文献２のように機械学習による映像生成を利用した映像符号化においては、符号化と復号における生成モデルを一致させる仕組みがないという問題点があった。

本発明の目的は、上述した課題を解決して、映像を符号化・復号する際に用いる生成モデルを一致させ、任意の挙動を取る被写体を含む映像に対して精度の高い予測画像を生成し、高効率な映像圧縮を可能とする映像符号化装置を提供することにある。

本発明の一態様の映像符号化装置は、映像を構成する複数のフレームのうち符号化済みのフレームである参照画像と、機械学習によって更新される生成モデルとを用いて予測画像を生成する予測映像生成部と、符号化対象のフレームである原画像と、予測映像生成部によって生成される予測画像との残差画像を算出する残差算出部とを備える。

本発明の一態様の映像符号化方法では、映像を構成する複数のフレームのうち符号化済みのフレームである参照画像と、機械学習によって更新される生成モデルとを用いて予測画像を生成し、符号化対象のフレームである原画像と予測画像との残差画像を算出する。

本発明の一態様のプログラムは、映像を構成する複数のフレームのうち符号化済みのフレームである参照画像と、機械学習によって更新される生成モデルとを用いて予測画像を生成する処理と、符号化対象のフレームである原画像と予測画像との残差画像を算出する処理とをコンピュータに実行させる。

本発明によれば、映像を符号化・復号する際に用いる生成モデルを一致させ、任意の挙動を取る被写体を含む映像に対して精度の高い予測画像を生成し、高効率な映像圧縮を可能とする映像符号化装置を提供することができる。

本発明の第１の実施形態に係る映像符号化装置の構成を示すブロック図である。 本発明の第１の実施形態に係る映像符号化装置の動作に関するフローチャートである。 本発明の第２の実施形態に係る映像符号化装置の構成を示すブロック図である。 本発明の第２の実施形態に係る映像符号化装置の動作に関するフローチャートである。 本発明の第３の実施形態に係る映像符号化装置の構成を示すブロック図である。 本発明の第３の実施形態に係る映像符号化装置の動作に関するフローチャートである。 本発明の第３の実施形態に係る映像符号化システムの構成を示すブロック図である。 本発明の第３の実施形態に係る映像符号化システムに含まれる学習サーバの構成を示すブロック図である。 本発明の第３の実施形態に係る映像符号化システムに含まれる学習サーバの別の構成を示すブロック図である。 本発明の第３の実施形態に係る映像符号化システムに含まれる映像復号装置の構成を示すブロック図である。 本発明の第３の実施形態に係る映像符号化システムに含まれる映像復号装置の動作に関するフローチャートである。 本発明の第４の実施形態に係る映像符号化装置の構成を示すブロック図である。 本発明の第４の実施形態に係る映像符号化装置の変形例の構成を示すブロック図である。 本発明の第４の実施形態に係る映像符号化装置の動作に関するフローチャートである。 本発明の第４の実施形態に係る映像符号化システムの構成を示すブロック図である。 本発明の第４の実施形態に係る映像符号化システムに含まれる映像符号化装置の構成を示すブロック図である。 本発明の第５の実施形態に係る映像符号化装置の構成を示すブロック図である。 本発明の第５の実施形態に係る映像復号装置の動作に関するフローチャートである。 本発明の第６の実施形態に係る映像符号化装置の構成を示すブロック図である。 本発明の第６の実施形態に係る映像復号装置の動作に関するフローチャートである。 本発明の第７の実施形態に係る映像符号化システムに含まれる映像符号化装置の構成を示すブロック図である。 本発明の第７の実施形態に係る映像符号化システムに含まれる復号装置の構成を示すブロック図である。 本発明の各実施形態に係る映像符号化装置のハードウェア構成の一例を示すブロック図である。

以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。また、図面中の矢印の向きは、信号の流れの方向を端的に示したものであり、双方向性を排除するものではない。

（第１の実施形態）
まず、本発明の第１の実施形態に係る映像符号化装置について図面を参照しながら説明する。

本実施形態においては、映像を構成する映像フレーム（画像フレームとも呼ぶ）のことをフレームと記載する。以下の説明において、符号化対象の映像を構成するフレームは、既に符号化されたフレームと、未だ符号化されていないフレームとを含むものとする。本実施形態においては、既に符号化されたフレームのうち少なくとも一つを参照画像として用いて、未だ符号化されていないフレームのうち少なくとも一つを符号化対象のフレーム（原画像）との残差画像を算出する。

本実施形態において用いる生成モデルは、訓練データを学習し、学習したデータと類似する新しいデータを生成するモデルである。生成モデルは、入力された静止画を起点として後続のフレームを自動生成し、大量の映像データを機械学習することによって更新される。例えば、ＧＡＮ（Generative Adversarial Networks）やＤＣＧＡＮ（Deep Convolutional Generative Adversarial Networks）などの生成モデルを用いることができる。また、ＶＡＥ（Variational Autoencoder）などのように、ＧＡＮやＤＣＧＡＮ以外の生成モデルを用いてもよい。

（構成）
図１は、本実施形態の映像符号化装置１の構成を示すブロック図である。映像符号化装置１は、予測映像生成部１１、残差算出部１２を備える。

映像符号化装置１は、符号化対象の映像を構成するフレームと、機械学習によって更新される映像生成モデル（以下、生成モデルと呼ぶ）とを取得する。例えば、映像符号化装置１は、インターネットやイントラネットなどのネットワークを通じて、図示しない受信部を介してフレームを取得する。また、例えば、映像符号化装置１は、ネットワークを通じて、外部のサーバに記憶・更新される生成モデルを受信する。なお、映像符号化装置１は、図示しない記憶部にフレームおよび生成モデルを予め記憶するように構成してもよい。

例えば、予測映像生成部１１は、機械学習によって更新される生成モデルと、少なくとも一つの参照画像とを取得する。なお、図１においては、生成モデルと参照画像とを予測映像生成部１１に入力する際に異なる入力部から入力するように図示しているが、共通の入力部から入力するように構成してもよい。

予測映像生成部１１は、取得した生成モデルを使用し、入力された参照画像を起点として後続のフレーム（以下、予測画像と呼ぶ）を生成する。すなわち、予測映像生成部１１は、生成モデルを用いて、参照画像を起点とし、原画像と同時刻の予測画像を生成する。なお、予測映像生成部１１は、予測画像の生成処理をフレーム単位で実施してもよいし、ブロック単位に分割して実施してもよい。予測映像生成部１１は、生成した予測画像を残差算出部１２に出力する。

残差算出部１２は、原画像を取得するとともに、予測映像生成部１３から予測画像を取得する。残差算出部１２は、原画像と予測画像との差分（残差画像と呼ぶ）を計算する。なお、残差算出部１２は、残差画像の算出処理をフレーム単位で実施してもよいし、ブロック単位に分割して実施してもよい。残差算出部１２は、算出した残差画像を出力する。

例えば、映像符号化装置１は、残差算出部１２が出力した残差画像を符号化し、送信部（図示しない）を介して、符号化した信号（以下、符号化信号）を外部に出力する。なお、映像符号化装置１は、残差画像を圧縮してから出力してもよい。

以上が、本実施形態の映像符号化装置１の構成についての説明である。

（動作）
続いて、本実施形態の映像符号化装置１の動作について説明する。図２は、本実施形態に係る映像符号化装置１の動作に関するフローチャートである。なお、以下の説明においては、映像符号化装置１の構成要素を主体として説明するが、映像符号化装置１自体を動作主体とみなすこともできる。

図２において、まず、予測映像生成部１１は、機械学習によって更新される生成モデルを用いて予測画像を生成する（ステップＳ１１）。

次に、残差算出部１２は、原画像と予測画像との差分である残差画像を算出する（ステップＳ１２）。

以上が、本実施形態の映像符号化装置１の動作についての説明である。

以上のように、本実施形態においては、映像を構成する複数のフレームのうち符号化済みのフレームである参照画像と、機械学習によって更新される生成モデルとを用いて予測画像を生成し、符号化対象のフレームである原画像と予測画像との残差画像を算出する。本実施形態では、予測画像を生成する際に、平行移動を前提とするブロックマッチングによらず、機械学習による映像生成モデルを用いる。そのため、本実施形態によれば、回転や拡大、縮小などのように平行移動以外の挙動を含む任意の挙動を取る被写体を含む映像に対して精度の高い予測画像を生成し、高効率な圧縮が可能になる。

また、機械学習による映像生成技術を用いることによって映像符号化システムを改善し、符号化効率の向上を目指す。機械学習による映像生成技術と、映像符号化システムとを組み合わせる際には、以下の２点について考慮する必要がある。１点目は、映像生成技術は、学習に応じて映像生成能力が高まる点である。２点目は、映像符号化システムは、映像を復元する復号システムにおいて復号可能な符号化信号を生成する必要がある点である。

以上の２点について考慮し、映像符号化システムと復号システムとが用いる映像生成モデルを一致させれば、予測画像生成の映像生成モデルを符号化と復号において一致させることができる。

（第２の実施形態）
次に、本発明の第２の実施形態に係る映像符号化装置について図面を参照しながら説明する。本実施形態の映像符号化装置は、生成モデルを記憶する生成モデル記憶部、フレームを記憶するフレーム記憶部、残差画像を符号化する符号化部を備える点において、第１の実施形態の映像符号化装置とは異なる。

（構成）
図３は、本実施形態の映像符号化装置２の構成を示すブロック図である。映像符号化装置２は、生成モデル記憶部２１、フレーム記憶部２２、予測映像生成部２３、残差算出部２４、符号化部２５を備える。なお、予測映像生成部２３および残差算出部２４のそれぞれは、第１の実施形態の映像符号化装置１の対応する構成と同様の機能を有する。

生成モデル記憶部２１には、機械学習によって更新される生成モデルが記憶される。生成モデルは、生成モデル記憶部２１に予め記憶させておく。

フレーム記憶部２２には、符号化対象の映像を構成するフレームが記憶される。フレーム記憶部２２には、符号化対象の映像を構成するフレームとして、既に符号化されたフレームと、未だ符号化されていないフレームとが記憶される。

予測映像生成部２３は、機械学習によって更新される生成モデルを生成モデル記憶部２１から取得する。また、予測映像生成部２３は、符号化対象の映像を構成する過去のフレームのうち少なくとも一つを参照画像としてフレーム記憶部２２から取得する。

予測映像生成部２３は、取得した生成モデルを使用し、入力された参照画像を起点として予測画像を生成する。予測映像生成部２３は、生成した予測画像を残差算出部２４に出力する。

残差算出部２４は、符号化対象のフレームを原画像としてフレーム記憶部２２から取得するとともに、予測映像生成部１３から予測画像を取得する。残差算出部１４は、原画像と予測画像との差分を残差画像として計算する。残差算出部２４は、算出した残差画像を符号化部２５に出力する。

符号化部２５は、残差算出部２４から残差画像を取得する。符号化部２５は、取得した残差画像を符号化し、符号化した信号（以下、符号化信号）を外部に出力する。なお、符号化部２５は、残差画像を圧縮してから符号化してもよい。また、符号化部２５の後段に符号化信号を外部に送信する送信部を設けてもよい。

以上が、本実施形態の映像符号化装置２の構成についての説明である。

（動作）
続いて、本実施形態の映像符号化装置２の動作について説明する。図４は、本実施形態に係る映像符号化装置２の動作に関するフローチャートである。なお、以下の説明においては、映像符号化装置２の構成要素を主体として説明するが、映像符号化装置２自体を動作主体とみなすこともできる。

図４において、まず、予測映像生成部２３は、機械学習によって更新される生成モデルを用いて予測画像を生成する（ステップＳ２１）。

次に、残差算出部２４は、原画像と予測画像との差分である残差画像を算出する（ステップＳ２２）。

次に、符号化部２５は、残差画像に対して符号化処理を行う（ステップＳ２３）。

そして、符号化部２５は、生成した符号化信号を外部に出力する（ステップＳ２４）。

以上が、本実施形態の映像符号化装置２の動作についての説明である。

以上のように、本実施形態によれば、任意の挙動を取る被写体を含む映像に対して精度の高い予測画像を生成して、予測画像の生成に用いる映像生成モデルを符号化と復号において一致させることができる。

（第３の実施形態）
次に、本発明の第３の実施形態に係る映像符号化装置について図面を参照しながら説明する。本実施形態の映像符号化装置は、外部から受信する更新情報に基づいて、生成モデル記憶部に記憶される生成モデルを更新する点において、第２の実施形態の映像符号化装置とは異なる。

（構成）
図５は、本実施形態の映像符号化装置３の構成を示すブロック図である。映像符号化装置３は、生成モデル記憶部３１、生成モデル更新部３２、フレーム記憶部３３、予測映像生成部３４、残差算出部３５、符号化部３６を備える。なお、生成モデル記憶部３１、フレーム記憶部３３、予測映像生成部３４、残差算出部３５、符号化部３６のそれぞれは、第２の実施形態の映像符号化装置２の対応する構成と同様の機能を有する。

生成モデル記憶部３１には、生成モデルが記憶される。生成モデル記憶部３１に記憶される生成モデルは、生成モデル更新部３２によって更新される。

生成モデル更新部３２は、生成モデル記憶部３１に記憶される生成モデルを更新するための更新情報を外部から受信する。生成モデル更新部３２は、外部から受信する更新情報に基づいて、生成モデル記憶部３１に記憶される生成モデルを更新する。具体的には、生成モデル更新部３２は、生成モデル記憶部３１に記憶される生成モデルに関して、学習により構築されたニューラルネットワーク構造およびニューラルネットワークの重み情報を更新する。

フレーム記憶部３３には、符号化対象の映像を構成するフレームが記憶される。

予測映像生成部３４は、機械学習によって更新される生成モデルを生成モデル記憶部３１から取得し、符号化対象の映像を構成する過去のフレームのうち少なくとも一つを参照画像としてフレーム記憶部３３から取得する。予測映像生成部３４は、取得した生成モデルを使用し、入力された参照画像を起点として予測画像を生成する。予測映像生成部３４は、生成した予測画像を残差算出部３５に出力する。

残差算出部３５は、符号化対象のフレームを原画像としてフレーム記憶部３３から取得するとともに、予測映像生成部３４から予測画像を取得する。残差算出部３５は、原画像と予測画像との差分を残差画像として計算する。残差算出部３５は、算出した残差画像を符号化部３６に出力する。

符号化部３６は、残差算出部３５から残差画像を取得する。符号化部３６は、取得した残差画像を符号化し、符号化信号を外部に出力する。

以上が、本実施形態の映像符号化装置３の構成についての説明である。

（動作）
続いて、本実施形態の映像符号化装置３の動作について説明する。図６は、本実施形態に係る映像符号化装置３の動作に関するフローチャートである。なお、以下の説明においては、映像符号化装置３の構成要素を主体として説明するが、映像符号化装置３自体を動作主体とみなすこともできる。

図６において、まず、生成モデル更新部３２は、生成モデルの更新情報を外部から受信する（ステップＳ３１）。

次に、生成モデル更新部３２は、外部からの更新情報に基づいて生成モデルを更新する（ステップＳ３２）。

次に、予測映像生成部３４は、機械学習によって更新される生成モデルを用いて予測画像を生成する（ステップＳ３３）。

次に、残差算出部３５は、原画像と予測画像との差分である残差画像を算出する（ステップＳ３４）。

次に、符号化部３６は、残差画像に対して符号化処理を行う（ステップＳ３５）。

そして、符号化部３６は、生成した符号化信号を外部に出力する（ステップＳ３６）。

以上が、本実施形態の映像符号化装置３の動作についての説明である。

以上のように、本実施形態では、外部から受信する更新情報に基づいて生成モデルを更新できる。

（映像符号化システム）
ここで、本実施形態に係る映像符号化装置を備える映像符号化システムについて図面を参照しながら説明する。

図７は、本実施形態の映像符号化システム３００の構成を示すブロック図である。本実施形態の映像符号化システム３００は、映像符号化装置３、復号装置３０、学習サーバ１００を備える。映像符号化装置３、復号装置３０、学習サーバ１００は、インターネットやイントラネットなどのネットワークによって互いに接続される。

図８は、学習サーバ１００の構成を示すブロック図である。学習サーバ１００は、生成モデル学習部１０１、送信部１０２を備える。

生成モデル学習部１０１は、符号化対象の映像を構成するフレームから得られる原画、参照画像および残差画像を用いて生成モデルを学習する。なお、原画、参照画像および残差画像は、学習サーバ１００で生成するように構成してもよいし、映像符号化装置３から生成モデル学習部１０１に送信するように構成してもよい。

送信部１０２は、映像符号化装置３および復号装置３０に生成モデルの更新情報を配信する。更新情報は、生成モデルを送信に適した形式に変換した情報である。例えば、更新情報は、生成モデルを暗号化や圧縮した形式に変換された情報である。なお、送信部１０２は、映像符号化装置３および復号装置３０に生成モデルを送信するように構成してもよい。

また、図９のように学習サーバ１００−２を構成してもよい。学習サーバ１００−２は、送信部１０２から送信する送信データに識別子を付与する識別子付与部１０３を有する。例えば、識別子付与部１０３は、生成モデルの生成時刻やバージョンを送信データに付与する。

映像符号化装置３は、学習サーバ１００から配信される更新情報を受信し、受信した更新情報に基づいて、生成モデル記憶部３１に記憶される生成モデルを更新する。映像符号化装置３は、更新した生成モデルを用いて符号化信号を生成し、生成した符号化信号を送信する。映像符号化装置３によって出力される符号化信号は、復号装置３０において復号される。なお、映像符号化装置３は、図５および図６を用いて説明した通りであるので、詳細な説明は省略する。

図１０は、本実施形態の映像符号化システム３００が備える復号装置３０の構成を示すブロック図である。図１０のように、復号装置３０は、生成モデル記憶部３０１、生成モデル更新部３０２、フレーム記憶部３０３、予測映像生成部３０４、復号部３０５、加算部３０６を含む。

生成モデル記憶部３０１には、本実施形態の映像符号化システム３００で用いる生成モデルが記憶される。

生成モデル更新部３０２は、学習サーバ１００から配信される更新情報を受信し、受信した更新情報に基づいて、生成モデル記憶部３０１に記憶される生成モデルを更新する。具体的には、生成モデル更新部３０２は、生成モデル記憶部３０１に記憶される生成モデルに関して、学習により構築されたニューラルネットワーク構造およびニューラルネットワークの重み情報を更新する。

フレーム記憶部３０３には、符号化対象の映像を構成するフレームのうち、既にデコードされたフレーム（デコード画像）が記憶される。フレーム記憶部３０３に記憶されるデコード画像は、参照画像として用いられる。

予測映像生成部３０４は、生成モデル記憶部３０１から生成モデルを取得し、復号されたデコード画像のうち少なくとも一つを参照画像としてフレーム記憶部３０３から取得する。予測映像生成部３０４は、取得した生成モデルを使用し、入力された参照画像を起点として予測画像を生成する。予測映像生成部３０４は、生成した予測画像を加算部３０６に出力する。

復号部３０５は、映像符号化装置３から送信される符号化信号を受信し、受信した符号化信号から残差画像を復号する。復号部３０５は、復号した残差画像を加算部３０６に出力する。

加算部３０６は、予測映像生成部３０４によって生成される予測映像と、復号部３０５によって復号された残差画像とを取得し、取得した予測映像と残差画像とを加算してデコード画像を生成する。加算部３０６は、生成したデコード画像をフレーム記憶部３０３に記憶させる。

続いて、本実施形態の復号装置３０の動作について説明する。図１１は、復号装置３０の動作について説明するためのフローチャートである。なお、以下の説明においては、復号装置３０の構成要素を主体として説明するが、復号装置３０自体を動作主体とみなすこともできる。

図１１において、まず、生成モデル更新部３０２は、生成モデルの更新情報を学習サーバ１００から受信する（ステップＳ３０１）。

次に、生成モデル更新部３０２は、学習サーバ１００からの更新情報に基づいて生成モデルを更新する（ステップＳ３０２）。

次に、予測映像生成部３０４は、機械学習によって更新される生成モデルを用いて予測画像を生成する（ステップＳ３０３）。

復号部３０５は、映像符号化装置３から出力される符号化信号を受信する（ステップＳ３０４）。

復号部３０５は、受信した符号化信号から残差画像を復号する（ステップＳ３０５）。

次に、加算部３０６は、予測画像と残差画像とを加算して、原画像に対応するデコード画像を算出する（ステップＳ３０６）。

そして、加算部３０６は、デコード画像をフレーム記憶部３０３に記憶させる（ステップＳ３０７）。

以上が、本実施形態の復号装置３０の動作についての説明である。なお、ステップＳ３０１〜ステップＳ３０３の処理と、ステップＳ３０４〜ステップＳ３０５の処理とは独立して実行してもよい。

以上のように、本実施形態によれば、予測画像を生成する映像生成モデルが学習サーバにおいて更新された際に、映像符号化装置と復号装置との間で映像生成モデルを一致させることができる。また、本実施形態によれば、生成モデルが更新可能に構成されるため、学習継続による予測性能向上に応じて、製品やサービスの効果を向上させることができる。

（第４の実施形態）
次に、本発明の第４の実施形態に係る映像符号化装置について図面を参照しながら説明する。本実施形態の映像符号化装置は、生成モデルを学習する学習部を備える点において、第２の実施形態の映像符号化装置とは異なる。

（構成）
図１２は、本実施形態の映像符号化装置４の構成を示すブロック図である。映像符号化装置４は、生成モデル記憶部４１、フレーム記憶部４３、予測映像生成部４４、残差算出部４５、符号化部４６、学習部４７を備える。なお、生成モデル記憶部４１、フレーム記憶部４３、予測映像生成部４４、残差算出部４５のそれぞれは、第２の実施形態の映像符号化装置２の対応する構成と同様の機能を有する。

生成モデル記憶部４１には、生成モデルが記憶される。生成モデル記憶部４１に記憶される生成モデルは、学習部４７によって更新される。

フレーム記憶部４３には、符号化対象の映像を構成するフレームが記憶される。

予測映像生成部４４は、機械学習によって更新される生成モデルを生成モデル記憶部４１から取得し、符号化対象の映像を構成する過去のフレームのうち少なくとも一つを参照画像としてフレーム記憶部４３から取得する。予測映像生成部４４は、取得した生成モデルを使用し、入力された参照画像を起点として予測画像を生成する。予測映像生成部４４は、生成した予測画像を残差算出部４５に出力する。

残差算出部４５は、符号化対象のフレームを原画像としてフレーム記憶部４３から取得するとともに、予測映像生成部４４から予測画像を取得する。残差算出部４５は、原画像と予測画像との差分を残差画像として計算する。残差算出部４５は、算出した残差画像を符号化部４６に出力する。

符号化部４６は、残差算出部４５から残差画像を取得する。符号化部４６は、取得した残差画像を符号化し、符号化信号を外部に出力する。

学習部４７は、予測映像生成部４４から参照画像を取得するとともに、残差算出部４５から原画像および残差画像を取得する。なお、学習部４７は、フレーム記憶部４３から原画像を取得するように構成してもよい。学習部４７は、取得した参照画像、原画像および残差画像を用いて生成モデルを機械学習する。具体的には、学習部４７は、機械学習におけるトレーニング処理、すなわちニューラルネットワーク構造およびニューラルネットワークの重み情報の更新を行う。学習部４７は、トレーニング結果である生成モデルによって、生成モデル記憶部４１に記憶される生成モデルを更新する。

以上が、本実施形態の映像符号化装置４の構成についての説明である。

また、図１３の映像符号化装置４−２のように、生成モデル更新部４２を映像符号化装置４に追加してもよい。生成モデル更新部４２は、第３の実施形態の映像符号化装置３の生成モデル更新部３２に対応する。

生成モデル更新部４２と学習部４７が行う更新処理はどちらも生成モデルを更新するという点では同一である。しかし、生成モデル更新部４２は外部から取得する更新情報を用いて生成モデルを生成するのに対し、学習部４７は装置内部で更新情報を生成する。映像符号化装置４−２は、自装置内で生成モデルを更新できるとともに、外部から取得する更新情報を用いて生成モデルを更新できる。

（動作）
続いて、本実施形態の映像符号化装置４の動作について説明する。図１４は、本実施形態に係る映像符号化装置４の動作に関するフローチャートである。なお、以下の説明においては、映像符号化装置４の構成要素を主体として説明するが、映像符号化装置４自体を動作主体とみなすこともできる。

図１４において、まず、予測映像生成部４４は、機械学習によって更新される生成モデルを用いて予測画像を生成する（ステップＳ４１）。

次に、残差算出部４５は、原画像と予測画像との差分である残差画像を算出する（ステップＳ４２）。

ステップＳ４２の後は、残差画像の符号化処理（ステップＳ４３〜ステップＳ４４）と生成モデルの学習処理（ステップＳ４５〜ステップＳ４６）とを実行する。

残差画像の符号化処理として、符号化部４６は、残差画像に対して符号化処理を行う（ステップＳ４３）。

そして、符号化部４６は、生成した符号化信号を外部に出力する（ステップＳ４４）。

一方、生成モデルの学習処理として、学習部４７は、参照画像、原画像および残差画像を用いて生成モデルを機械学習する（ステップＳ４５）。

そして、学習部４７は、学習した生成モデルによって、生成モデル記憶部４１に記憶される生成モデルを更新する（ステップＳ４６）。

以上が、本実施形態の映像符号化装置４の動作についての説明である。なお、符号化処理と学習処理とは並行して実行してもよいし、連続して実行してもよい。また、符号化処理と学習処理とは独立して実行してもよい。

以上のように、本実施形態では、学習部によって生成モデルを自装置内で更新できる。

（映像符号化システム）
ここで、本実施形態に係る映像符号化装置を備える映像符号化システムについて図面を参照しながら説明する。

図１５は、本実施形態の映像符号化システム４００の構成を示すブロック図である。本実施形態の映像符号化システム４００は、映像符号化装置４−３、復号装置４０を備える。映像符号化装置４−３と復号装置４０とは、インターネットやイントラネットなどのネットワークによって互いに接続される。なお、復号装置４０は、第３の実施形態の復号装置３０に対応し、復号装置３０と同様の機能を有するため詳細な説明は省略する。

図１６は、映像符号化装置４−３の構成を示すブロック図である。図１６のように、映像符号化装置４−３は、図１２の映像符号化装置４に送信部４８を加えた構成を有する。送信部４８は、符号化部４６により生成される符号化信号と、学習部４７により生成される生成モデルの更新情報とを取得して出力する。また、送信部４８は、生成モデルに識別子を付与してもよい。送信部４８が付与する識別子は、生成モデルの生成時刻やバージョンを示す。

送信部４８により出力された信号は、ネットワークを通じて復号装置４０に受信される。復号装置４０は、受信した信号を復号して、デコード画像を算出する。

以上のように、本実施形態によれば、予測画像を生成する映像生成モデルが映像符号化装置において更新された際に、映像符号化装置と復号装置との間で映像生成モデルを一致させることができる。また、本実施形態によれば、生成モデルが更新可能に構成されるため、学習継続による予測性能向上に応じて、製品やサービスの効果を向上させることができる。

（第５の実施形態）
次に、本発明の第５の実施形態に係る映像符号化装置について図面を参照しながら説明する。本実施形態の映像符号化装置は、残差画像を圧縮する残差圧縮部を符号化部とは別の構成とする点において、第２の実施形態の映像符号化装置とは異なる。なお、本実施形態においては、第２の実施形態の映像符号化装置に残差圧縮部を追加する構成としているが、第１の実施形態の映像符号化装置に残差圧縮部を追加する構成としてもよい。

（構成）
図１７は、本実施形態の映像符号化装置５の構成を示すブロック図である。映像符号化装置５は、生成モデル記憶部５１、フレーム記憶部５２、予測映像生成部５３、残差算出部５４、残差圧縮部５５、符号化部５６を備える。なお、生成モデル記憶部５１、フレーム記憶部５２、予測映像生成部５３、残差算出部５４、符号化部５６のそれぞれは、第２の実施形態の映像符号化装置２の対応する構成と同様の機能を有する。

生成モデル記憶部５１には、生成モデルが記憶される。

フレーム記憶部５２には、符号化対象の映像を構成するフレームが記憶される。

予測映像生成部５３は、機械学習によって更新される生成モデルを生成モデル記憶部５１から取得し、符号化対象の映像を構成する過去のフレームのうち少なくとも一つを参照画像としてフレーム記憶部５２から取得する。予測映像生成部５３は、取得した生成モデルを使用し、入力された参照画像を起点として予測画像を生成する。予測映像生成部５３は、生成した予測画像を残差算出部５４に出力する。

残差算出部５４は、符号化対象のフレームを原画像としてフレーム記憶部５２から取得するとともに、予測映像生成部５３から予測画像を取得する。残差算出部５４は、原画像と予測画像との差分を残差画像として計算する。残差算出部５４は、算出した残差画像を残差圧縮部５５に出力する。

残差圧縮部５５は、残差算出部５４が算出した残差を圧縮する。例えば、残差圧縮部５５は、既存の映像圧縮で用いられる変換量子化手法や算術符号化手法によって残差を圧縮する。残差圧縮部５５は、圧縮した残差を符号化部５６に出力する。

符号化部５６は、残差圧縮部５５から残差画像を取得する。符号化部５６は、取得した残差画像を符号化し、符号化信号を外部に出力する。

以上が、本実施形態の映像符号化装置５の構成についての説明である。

（動作）
続いて、本実施形態の映像符号化装置５の動作について説明する。図１８は、本実施形態に係る映像符号化装置５の動作に関するフローチャートである。なお、以下の説明においては、映像符号化装置５の構成要素を主体として説明するが、映像符号化装置５自体を動作主体とみなすこともできる。

図１８において、まず、予測映像生成部５３は、機械学習によって更新される生成モデルを用いて予測画像を生成する（ステップＳ５１）。

次に、残差算出部５４は、原画像と予測画像との差分である残差画像を算出する（ステップＳ５２）。

次に、残差圧縮部５５は、残差画像を圧縮する（ステップＳ５３）。

次に、符号化部５６は、残差画像に対して符号化処理を行う（ステップＳ５４）。

そして、符号化部５６は、生成した符号化信号を外部に出力する（ステップＳ５５）。

以上が、本実施形態の映像符号化装置５の動作についての説明である。

以上のように、本実施形態では、機械学習による映像生成モデルを用いて生成した予測画像を圧縮してから符号化する。本実施形態によれば、回転や拡大、縮小などの平行移動以外の挙動を取る任意の被写体の動きに対して生成した予測画像を高効率に圧縮できる。

（第６の実施形態）
（構成）
次に、本発明の第６の実施形態に係る映像符号化装置について図面を参照しながら説明する。本実施形態の映像符号化装置は、生成モデルを用いて生成する予測画像と、動き予測に基づいて生成する予測画像とを比較し、伝送データ量の少ない方の予測画像を選択して符号化する点において、第２の実施形態の映像符号化装置とは異なる。

（構成）
図１９は、本実施形態の映像符号化装置６の構成を示すブロック図である。映像符号化装置６は、生成モデル記憶部６１、フレーム記憶部６２、予測映像生成部６３、第１残差算出部６４、動き予測部６５、第２残差算出部６６、手法選択部６７、符号化部６８を備える。なお、生成モデル記憶部６１、フレーム記憶部６２、符号化部６８のそれぞれは、第２の実施形態の映像符号化装置２の対応する構成と同様の機能を有する。また、第１残差算出部６４は、映像符号化装置２の残差算出部２４に対応する。また、第１残差算出部６４および第２残差算出部６６は、図１９に破線の枠で囲った単一の残差算出部が有する機能とみなせる。

生成モデル記憶部６１には、生成モデルが記憶される。

フレーム記憶部６２には、符号化対象の映像を構成するフレームが記憶される。

予測映像生成部６３は、機械学習によって更新される生成モデルを生成モデル記憶部６１から取得し、符号化対象の映像を構成する過去のフレームのうち少なくとも一つを参照画像としてフレーム記憶部６２から取得する。予測映像生成部６３は、取得した生成モデルを使用し、入力された参照画像を起点として第１の予測画像を生成する。予測映像生成部６３は、生成した第１の予測画像を第１残差算出部６４に出力する。

第１残差算出部６４は、符号化対象のフレームを原画像としてフレーム記憶部６２から取得するとともに、予測映像生成部６３から第１の予測画像を取得する。第１残差算出部６４は、原画像と第１の予測画像との差分を第１の残差画像として計算する。第１残差算出部６４は、算出した第１の残差画像を手法選択部６７に出力する。

動き予測部６５は、参照画像と原画像とをフレーム記憶部６２から取得する。動き予測部６５は、動き予測（動き探索・動き補償）によって第２の予測画像を生成する。動き予測部６５は、生成した第２の予測画像を第２残差算出部６６に出力する。

第２残差算出部６６は、フレーム記憶部６２から原画像を取得するとともに、動き予測部６５から第２の予測画像を取得する。第２残差算出部６６は、原画像と第２の予測画像との差分を第２の残差画像として計算する。第２残差算出部６６は、算出した第２の残差画像を手法選択部６７に出力する。

手法選択部６７は、第１残差算出部６４から第１の残差画像を取得するとともに、第２残差算出部６６から第２の残差画像を取得する。手法選択部６７は、第１の残差画像と第２の残差画像とを比較していずれか一方の残差画像を選択する。手法選択部６７は、選択した方の残差画像を符号化部６８に出力する。

例えば、手法選択部６７は、生成モデルに基づく手法（生成モデル手法）と、動き予測に基づく手法（動き予測手法）との間で伝送データ量の比較を行い、伝送データ量が小さくなる手法を選択する。例えば、手法選択部６７は、データ量の大小や、符号量を加味したコスト比較などによって第１の残差画像と第２の残差画像の伝送データ量を比較する。

符号化部６８は、手法選択部６７が選択した残差画像を取得する。符号化部６８は、取得した残差画像を符号化し、符号化信号を外部に出力する。

以上が、本実施形態の映像符号化装置６の構成についての説明である。なお、映像符号化装置６においては、第１残差算出部６４と第２残差算出部６６とを別の構成としたが、単一の残差算出部によって第１および第２の残差画像を算出するように構成してもよい。また、単一の残差算出部が、第１残差算出部６４および第２残差算出部６６を含むように構成してもよい。

（動作）
続いて、本実施形態の映像符号化装置６の動作について説明する。図２０は、本実施形態に係る映像符号化装置６の動作に関するフローチャートである。なお、以下の説明においては、映像符号化装置６の構成要素を主体として説明するが、映像符号化装置６自体を動作主体とみなすこともできる。

図２０においては、生成モデル手法を用いる残差画像の生成（ステップＳ６１〜ステップＳ６２）と、動き予測手法を用いる残差画像の生成（ステップＳ６３〜ステップＳ６４）とを並行して実行する例について説明する。

図２０において、まず、予測映像生成部６３は、機械学習によって更新される生成モデルを用いて第１の予測画像を生成する（ステップＳ６１）。

次に、第１残差算出部６４は、原画像と第１の予測画像との差分である第１の残差画像を算出する（ステップＳ６２）。

一方、動き予測部６５は、動き予測により予測画像を生成する（ステップＳ６３）。

次に、第２残差算出部６６は、原画像と第２の予測画像との差分である第２の残差画像を算出する（ステップＳ６４）。

そして、手法選択部６７は、第１の残差画像と第２の残差画像とを比較していずれか一方の残差画像を選択する（ステップＳ６５）。

次に、符号化部６８は、残差画像に対して符号化処理を行う（ステップＳ６６）。

そして、符号化部６８は、生成した符号化信号を外部に出力する（ステップＳ６７）。

以上が、本実施形態の映像符号化装置６の動作についての説明である。

以上のように、本実施形態では、生成モデル手法と動き予測手法とを組み合わせ、適した手法を随時選択して使用する。そのため、本実施形態によれば、被写体の動きが平行移動であるか否かに関わらず、効率的に符号化を行うことができる。例えば、被写体が平行移動する映像においては動き予測手法を選択し、被写体が回転や拡大縮小などの平行移動以外の動きをする映像においては生成モデル手法を選択することによって、効率的に符号化できる。

（第７の実施形態）
次に、本発明の第７の実施形態に係る映像符号化システムについて説明する。図２１は、本実施形態の映像符号化装置７の構成を示すブロック図である。図２２は、本実施形態の復号装置７０の構成を示すブロック図である。本実施形態の映像復号化システムは、第４の実施形態の映像符号化システム４００（図１５）と同様に、映像符号化装置７と復号装置７０とをネットワークを介して接続した構成を有する。以下においては、本実施形態に特徴的な箇所について説明し、これまで説明してきた内容と同様の箇所については説明を省略する。

〔映像符号化装置〕
図２１のように、本実施形態の映像符号化装置７は、生成モデル記憶部７１、フレーム記憶部７２、予測映像生成部７３、残差算出部７４、符号化部７５、識別子付与部７６を備える。すなわち、映像符号化装置７は、第２の実施形態の映像符号化装置２に識別子付与部２６を追加した構成を有する。なお、生成モデル記憶部７１、フレーム記憶部７２、予測映像生成部７３、残差算出部７４および符号化部７５のそれぞれは、第２の実施形態の映像符号化装置２の対応する構成と同様の機能を有する。また、本実施形態においては、第２の実施形態の映像符号化装置に識別子付与部を追加する例を示すが、第３〜第６の実施形態の映像符号化装置に識別子付与部を追加してもよい。

識別子付与部７６は、符号化部７５に接続され、予測画像を生成する際に用いた生成モデルに対応付けられた生成モデル識別子（単に識別子とも呼ぶ）を、符号化部７５において生成される符号化信号に付与する。生成モデル識別子は、予測画像を生成する際に用いられる生成モデルに紐づけて付与される識別子である。すなわち、生成モデル識別子によって、予測画像を生成する際に用いられた生成モデルを一意に特定できる。符号化部７５は、生成モデル識別子が付与された符号化信号を出力する。

〔復号装置〕
図２２のように、本実施形態の復号装置７０は、生成モデル記憶部７０１、生成モデル更新部７０２、フレーム記憶部７０３、予測映像生成部７０４、復号部７０５、加算部７０６を含む。すなわち、本実施形態の復号装置７０は、第３の実施形態の復号装置３０に識別子取得部７０７を追加した構成を有する。なお、生成モデル記憶部７０１、生成モデル更新部７０２、フレーム記憶部７０３、予測映像生成部７０４および復号部７０５は、第３の実施形態の復号装置３０の対応する構成と同様の機能を有する。

生成モデル記憶部７０１には、複数の生成モデルが記憶される。生成モデル記憶部７０１に記憶される複数の生成モデルのそれぞれには、個々の生成モデルに固有の生成モデル識別子が付与されている。すなわち、生成モデル記憶部７０１には、映像符号化装置７と共通の生成モデルを含む複数の生成モデルが識別子に対応付けて記憶される。

識別子取得部７０７は、予測映像生成部７０４と復号部７０５とに接続される。識別子取得部７０７は、符号化信号に付与された生成モデル識別子を復号部７０５から取得する。識別子取得部７０７は、取得した生成モデル識別子を予測映像生成部７０４に出力する。

予測映像生成部７０４は、識別子取得部７０７から取得した生成モデル識別子に対応付けられた生成モデルを生成モデル記憶部７０１から選択する。そして、予測映像生成部７０４は、生成モデル識別子に基づいて生成モデル記憶部７０１から選択した生成モデルを用いて予測画像を生成する。

加算部７０６は、予測映像生成部７０４によって生成される予測映像と、復号部７０５によって復号された残差画像とを取得し、取得した予測映像と残差画像とを加算してデコード画像を生成する。加算部７０６は、生成したデコード画像をフレーム記憶部７０３に記憶させる。

以上のように、本実施形態においては、生成モデル識別子を生成モデルおよび符号化信号に付与する。そのため、本実施形態によれば、複数回の生成モデル更新の後や、映像符号化装置および復号装置のうち一方の生成モデルの更新が遅れる状況であっても、映符号化装置と復号装置との間で同一の生成モデルを使用することが保証される。

（ハードウェア）
ここで、本発明の各実施形態に係る映像符号化装置を実現するハードウェア構成について、図２３のコンピュータ９０を一例として挙げて説明する。なお、図２３のコンピュータ９０は、各実施形態の映像符号化装置を実現するための構成例であって、本発明の範囲を限定するものではない。

図２３のように、コンピュータ９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５および通信インターフェース９６を備える。図２３においては、インターフェースをＩ／Ｆ（Interface）と略して表記する。プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５および通信インターフェース９６は、バス９９を介して互いにデータ通信可能に接続される。また、プロセッサ９１、主記憶装置９２、補助記憶装置９３および入出力インターフェース９５は、通信インターフェース９６を介して、インターネットやイントラネットなどのネットワークに接続される。

プロセッサ９１は、補助記憶装置９３等に格納されたプログラムを主記憶装置９２に展開し、展開されたプログラムを実行する。本実施形態においては、コンピュータ９０にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ９１は、本実施形態に係る映像符号化装置が実行する演算処理や制御処理を実行する。

主記憶装置９２は、プログラムが展開される領域を有する。主記憶装置９２は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリとすればよい。また、ＭＲＡＭ（Magnetoresistive Random Access Memory）などの不揮発性メモリを主記憶装置９２として構成・追加してもよい。

補助記憶装置９３は、種々のデータを記憶する。補助記憶装置９３は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、種々のデータを主記憶装置９２に記憶させる構成とし、補助記憶装置９３を省略することも可能である。

入出力インターフェース９５は、コンピュータ９０と周辺機器との接続規格に基づいて、コンピュータ９０と周辺機器とを接続する。通信インターフェース９６は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークに接続するためのインターフェースである。入出力インターフェース９５および通信インターフェース９６は、外部機器と接続するインターフェースとして共通化してもよい。

コンピュータ９０には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器を接続するように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ９１と入力機器との間のデータ通信は、入出力インターフェース９５に仲介させればよい。

通信インターフェース９６は、ネットワークを通じて、外部のシステムや装置に接続される。

また、コンピュータ９０には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、コンピュータ９０には、表示機器の表示を制御するための表示制御装置（図示しない）が備えられていることが好ましい。表示機器は、入出力インターフェース９５を介してコンピュータ９０に接続すればよい。

また、コンピュータ９０には、必要に応じて、リーダライタを備え付けてもよい。リーダライタは、バス９９に接続される。リーダライタは、プロセッサ９１と図示しない記録媒体（プログラム記録媒体）との間で、記録媒体からのデータ・プログラムの読み出し、コンピュータ９０の処理結果の記録媒体への書き込みなどを仲介する。記録媒体は、例えばＵＳＢ（Universal Serial Bus）メモリやＳＤ（Secure Digital）カードなどの半導体記録媒体などで実現できる。また、記録媒体は、フレキシブルディスクなどの磁気記録媒体、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光学記録媒体やその他の記録媒体によって実現してもよい。

以上が、本発明の各実施形態に係る映像符号化装置を可能とするためのハードウェア構成の一例である。なお、図２３のハードウェア構成は、各実施形態に係る映像符号化装置を可能とするためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態に係る映像符号化装置に関する処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、各実施形態に係るプログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。

第１〜第７の実施形態の映像符号化装置の構成要素は、任意に組み合わせることができる。また、第１〜第７の実施形態の映像符号化装置の構成要素は、ソフトウェアによって実現してもよいし、回路によって実現してもよい。

以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１、２、３、４、５、６ 映像符号化装置
１１、２３、３４、４４、５３、６３、７３ 予測映像生成部
１２、２４、３５、４５、５４、７４ 残差算出部
２１、３１、４１、５１、６１、７１ 生成モデル記憶部
２２、３３、４３、５２、６２、７２ フレーム記憶部
２５、３６、４６、５６、６８、７５ 符号化部
３０、４０ 復号装置
３２、４２ 生成モデル更新部
４７ 学習部
４８ 送信部
５５ 残差圧縮部
６４ 第１残差算出部
６５ 動き予測部
６６ 第２残差算出部
６７ 手法選択部
７６ 識別子付与部
１００ 学習サーバ
１０１ 生成モデル学習部
１０２ 送信部
１０３ 識別子付与部
３００、４００ 映像符号化システム
３０１、７０１ 生成モデル記憶部
３０２、７０２ 生成モデル更新部
３０３、７０３ フレーム記憶部
３０４、７０４ 予測映像生成部
３０５、７０５ 復号部
３０６、７０６ 加算部
７０７ 識別子取得部

Claims (10)

1. 映像を構成する複数のフレームのうち符号化済みの前記フレームである参照画像と、機械学習によって更新される生成モデルとを用いて予測画像を生成する予測映像生成手段と、
   符号化対象の前記フレームである原画像と、前記予測映像生成手段によって生成される前記予測画像との残差画像を算出する残差算出手段とを備える映像符号化装置。
2. 前記残差画像を圧縮する残差圧縮手段を備える請求項１に記載の映像符号化装置。
3. 前記生成モデルが記憶される生成モデル記憶手段と、
   複数の前記フレームが記憶されるフレーム記憶手段と、
   前記残差算出手段によって生成される前記残差画像を符号化した符号化信号を出力する符号化手段とを備え、
   前記予測映像生成手段は、
   前記フレーム記憶手段から前記参照画像を取得するとともに、前記生成モデル記憶手段から前記生成モデルを取得し、前記生成モデルを用いて前記参照画像を起点とする前記予測画像を生成し、
   前記符号化手段は、
   前記予測映像生成手段によって生成される前記残差画像を符号化した前記符号化信号を出力する請求項１または２に記載の映像符号化装置。
4. 前記生成モデルの更新情報を外部から受信し、受信した前記更新情報に基づいて前記生成モデル記憶手段に記憶される前記生成モデルを更新する生成モデル更新手段を備える請求項３に記載の映像符号化装置。
5. 前記参照画像、前記原画像および前記残差画像を機械学習して前記生成モデル記憶手段に記憶される前記生成モデルを更新する学習手段を備える請求項３または４に記載の映像符号化装置。
6. 前記参照画像および前記原画像を前記フレーム記憶手段から取得し、取得した前記参照画像および前記原画像から動き予測によって前記予測画像を生成する動き予測手段と、
   前記動き予測手段および前記予測映像生成手段によって生成される前記予測画像のうちいずれかを選択する手法選択手段とを備え、
   前記残差算出手段は、
   前記予測映像生成手段によって生成される前記予測画像から第１の残差画像を算出するとともに、前記動き予測手段によって生成される前記予測画像から第２の残差画像を算出し、
   前記手法選択手段は、
   前記第１の残差画像と前記第２の残差画像とを比較し、前記第１の残差画像および前記第２の残差画像のうち伝送データ量の小さい方を選択して出力する請求項３乃至５のいずれか一項に記載の映像符号化装置。
7. 請求項４に記載の映像符号化装置と、
   前記映像符号化装置と共通の前記生成モデルを記憶し、前記映像符号化装置から出力される前記符号化信号を受信して、受信した前記符号化信号を復号する復号装置と、
   共通の前記生成モデルに関する前記更新情報を前記映像符号化装置および前記復号装置に配信する学習サーバとを備え、
   前記復号装置は、
   前記学習サーバから受信する前記更新情報に基づいて前記生成モデルを更新し、更新した前記生成モデルを用いて前記参照画像を起点とする前記予測画像を生成し、前記符号化信号から復号される前記残差画像と前記予測画像とを加算してデコード画像を生成する映像符号化システム。
8. 前記予測画像を生成する際に用いた前記生成モデルに対応付けられた識別子を前記符号化信号に付与する識別子付与手段を備える請求項３乃至６のいずれか一項に記載の映像符号化装置と、
   前記映像符号化装置と共通の前記生成モデルを含む複数の前記生成モデルを前記識別子に対応付けて記憶し、前記映像符号化装置から出力される前記符号化信号を受信して、受信した前記符号化信号を復号する復号装置とを備え、
   前記映像符号化装置は、
   前記識別子が付与された前記符号化信号を前記復号装置に送信し、
   前記復号装置は、
   前記映像符号化装置から受信する前記符号化信号に付与された前記識別子に対応付けられた前記生成モデルを選択し、選択した前記生成モデルを用いて前記参照画像を起点とする前記予測画像を生成し、前記符号化信号から復号される前記残差画像と前記予測画像とを加算してデコード画像を生成する映像符号化システム。
9. 映像を構成する複数のフレームのうち符号化済みの前記フレームである参照画像と、機械学習によって更新される生成モデルとを用いて予測画像を生成し、
   符号化対象の前記フレームである原画像と前記予測画像との残差画像を算出する映像符号化方法。
10. 映像を構成する複数のフレームのうち符号化済みの前記フレームである参照画像と、機械学習によって更新される生成モデルとを用いて予測画像を生成する処理と、
    符号化対象の前記フレームである原画像と前記予測画像との残差画像を算出する処理とをコンピュータに実行させるプログラム。

Images