JP2023081099A - 学習装置、映像処理装置、送受信装置、及び送受信システム - Google Patents

Abstract

【課題】ダウンスケーリング及びアップスケーリングの学習を、高解像度映像を用いてend-to-endで行う。【解決手段】学習機能を有し、入力された学習用映像をダウンスケーリングして低解像度映像を生成するダウンスケーリング部と、前記低解像度映像を符号化しビットストリームへ変換するニューラルネットワーク映像符号化部と、前記ビットストリームを復号して低解像度符号化復号映像を生成するニューラルネットワーク映像復号部と、学習機能を有し、前記低解像度符号化復号映像をアップスケーリングして高解像度符号化復号映像を出力するアップスケーリング部とを備えた学習装置において、出力された前記高解像度符号化復号映像が前記学習用映像と一致するように、前記ダウンスケーリング部及び前記アップスケーリング部の少なくとも一方の機械学習を行うことを特徴とする。【選択図】図１

Description

本発明は、学習装置、映像処理装置、送受信装置、及び送受信システムに関し、特に、映像のダウンスケーリング又はアップスケーリングを行う学習装置、映像処理装置、送受信装置、及び送受信システムに関する。

４Ｋ映像や８Ｋ映像などの高解像度映像を、利用可能な帯域幅の小さい伝送路で送信する場合、送信側で映像のダウンスケーリングを行ってからＨＥＶＣ（High Efficiency Video Coding）方式又はＶＶＣ（Versatile Video Coding）方式などの映像符号化方式により圧縮して送信し、受信側でアップスケーリングすることで、符号化効率が向上することが知られている（非特許文献１）。

図１１は、８Ｋ映像をダウンスケーリングして送信する送受信システムの概念図である。図１１の送受信システムは、ダウンスケーラー１と、エンコーダ２と、デコーダ３と、アップスケーラー４とを備えており、送信側に８Ｋ映像が入力され、受信側で８Ｋ再構成映像を出力する。

ダウンスケーラー１は、入力された８Ｋ映像を１／２ダウンスケーリングして４Ｋ映像を生成し、エンコーダ２に出力する。先行研究（非特許文献１）では、送信側のダウンスケーリングにはバイキュービック法を用いている。

エンコーダ２は、ダウンスケーリングされた４Ｋ映像を符号化する。符号化方式としては、ＨＥＶＣ方式又はＶＶＣ方式等、一般的な映像符号化技術を用いることができる。エンコーダ２は、４Ｋ映像を伝送路の帯域幅に合わせたビットストリームに変換し、ビットストリームを送信する。

デコーダ３は、ビットストリームを受信し、エンコーダ２の符号化方式に対応した方式で復号する。ここでは、デコーダ３は４Ｋ復号映像を生成し、これをアップスケーラー４に出力する。

アップスケーラー４は、入力された４Ｋ復号映像を２倍にアップスケーリングして、８Ｋ映像（再構成映像）を生成する。先行研究では、受信側で４Ｋ映像を８Ｋ映像にアップスケーリングする手法はランチョス法を用いている。この解像度変換と符号化を組み合わせることで、解像度変換を施さずに８Ｋ映像を符号化して送信する手法と比べて、符号化効率が向上する。すなわち、同じ帯域幅であれば画像品質を向上させることができ、同じ画像品質であれば伝送するための帯域幅を抑えることができる。

また、ランチョス法の代わりにニューラルネットワークによる超解像手法を用いることで、ランチョス法よりも符号化効率が向上することが、先行研究により示されている。先行研究では、超解像手法としてＳＲＦＢＮ（Super-Resolution with Feedback Network：非特許文献２）というニューラルネットワークモデルをアップスケーリングに用いている。一般的に超解像のニューラルネットワークモデルの学習には、入力は原画である高解像度映像に対してダウンスケーリングを施した低解像度映像、出力は原画である高解像度映像を用いるが、ＨＥＶＣ方式やＶＶＣ方式の符号化劣化の特徴をニューラルネットワークモデルに学習させるために、入力を原画である高解像度映像をダウンスケーリングした後に符号化・復号した低解像度復号映像とし、出力（正解データ）を原画である高解像度映像としてもよい。

Charles Bonnineau, Wassim Hamidouche, Jean-Francois Travers and Olivier Deforges, "Versatile Video Coding and Super-Resolution for Efficient Delivery of 8K Video with 4K Backward-Compatibility", In ICASSP 2020, pp.2048-2052. Zhen Li, Jinglei Yang, Zheng Liu, Xiaomin Yang, Gwanggil Jeon, and Wei Wu, "Feedback network for image Super-Resolution", In CVPR 2019. (arXiv:1903.09814) Heewon Kim, Myungsub Choi, Bee Lim, and Kyoung Mu Lee, "Task-Aware Image Downscaling", In ECCV 2018. Mingqing Xiao, Shuxin Zheng, Chang Liu, Yaolong Wang, Di He, Guolin Ke, Jiang Bian, Zhouchen Lin, and Tie-Yan Liu, "Invertible Image Rescaling", In ECCV 2020. (arXiv:2005.05650) Guo Lu, Wanli Ouyang, Dong Xu, Xiaoyun Zhang, Chunlei Cai and Zhiyong Gao, "DVC: An End-to-end Deep Video Compression Framework", In CVPR 2019. (arXiv:1812.00101)

これまでの研究では、受信側のアップスケーリングにニューラルネットワークによる超解像手法を用いることで符号化効率を向上させているが、送信側のダウンスケーリングにはバイキュービック法を用いており、送信側のダウンスケーリングでニューラルネットワークを用いて符号化効率を向上させる試みは行われていない。

受信側でアップスケーリングを行うニューラルネットワークの学習では、入力を原画である高解像度映像をダウンスケーリングした後に符号化・復号した低解像度映像とし、出力（正解データ）を原画である高解像度映像とすることで、一応の学習を行うことが可能である。一方、送信側でダウンスケーリングを行うニューラルネットワークの学習を行う場合、ダウンスケーリングのみならず、符号化及び復号を通してend-to-endで学習を行う必要がある。しかし、ＨＥＶＣ方式やＶＶＣ方式などの映像符号化方式ではニューラルネットワークの学習法である誤差逆伝搬法を用いることができないため、送信側でダウンスケーリングを行うニューラルネットワークの学習を行うことができない。

したがって、上記のような問題点に鑑みてなされた本発明の目的は、ダウンスケーリング及びアップスケーリングの学習を、符号化・復号を含めてend-to-endで行うことができる学習装置を提供するとともに、ＨＥＶＣ方式やＶＶＣ方式などの映像符号化方式により映像を圧縮・送信する場合においても、従来の解像度変換と比較して、符号化効率を向上させることができる映像処理装置、送受信装置、及び送受信システムを提供することにある。

なお、本明細書において、高解像度映像とは、ダウンスケーリングを行う前の映像であって、ダウンスケーリング後の映像よりも高い解像度の映像のことをいう。また、低解像度映像とは、ダウンスケーリング後又はアップスケーリング前の映像であって、ダウンスケーリング前又はアップスケーリング後の映像よりも低い解像度の映像を意味する。

上記課題を解決するために本発明に係る学習装置は、学習機能を有し、入力された学習用映像をダウンスケーリングして低解像度映像を生成するダウンスケーリング部と、前記低解像度映像を符号化しビットストリームへ変換するニューラルネットワーク映像符号化部と、前記ビットストリームを復号して低解像度符号化復号映像を生成するニューラルネットワーク映像復号部と、学習機能を有し、前記低解像度符号化復号映像をアップスケーリングして高解像度符号化復号映像を出力するアップスケーリング部とを備え、出力された前記高解像度符号化復号映像が前記学習用映像と一致するように、前記ダウンスケーリング部及び前記アップスケーリング部の少なくとも一方の機械学習を行うことを特徴とする。

また、前記学習装置は、前記ダウンスケーリング部及び前記アップスケーリング部が、ニューラルネットワークで構成されることが望ましい。

上記課題を解決するために本発明に係る学習装置は、学習機能を有し、入力された学習用映像をダウンスケーリングして低解像度映像を生成するダウンスケーリング部と、前記低解像度映像を符号化しビットストリームへ変換するニューラルネットワーク映像符号化部と、前記ビットストリームを復号して低解像度符号化復号映像を出力するニューラルネットワーク映像復号部とを備え、出力された前記低解像度符号化復号映像が、前記学習用映像を所定の演算処理によりダウンスケーリングして生成した低解像度映像と一致するように、少なくとも前記ダウンスケーリング部の機械学習を行うことを特徴とする。

上記課題を解決するために本発明に係る映像処理装置は、入力された映像をダウンスケーリングして低解像度映像を生成する学習済みモデルを備えたダウンスケーリング部を有し、画像縮小を行う映像処理装置であって、前記学習済みモデルは、ダウンスケーリング部、符号化部、復号部、及びアップスケーリング部を全てニューラルネットワークで構成し、一連の処理の後のアップスケーリング部からの出力映像がダウンスケーリング部への入力映像と一致するように機械学習を行った、ダウンスケーリング部の学習済みモデルであることを特徴とする。

上記課題を解決するために本発明に係る映像処理装置は、入力された映像をダウンスケーリングして低解像度映像を生成する学習済みモデルを備えたダウンスケーリング部を有し、画像縮小を行う映像処理装置であって、前記学習済みモデルは、ダウンスケーリング部、符号化部、及び復号部を全てニューラルネットワークで構成し、入力映像の一連の処理後の復号部からの出力映像が、前記入力映像を所定の演算処理によりダウンスケーリングして生成した映像と一致するように機械学習を行った、ダウンスケーリング部の学習済みモデルであることを特徴とする。

上記課題を解決するために本発明に係る送信装置は、入力された映像をダウンスケーリングする前記映像処理装置と、前記映像処理装置からの出力映像を所定の符号化方式で符号化しビットストリームへ変換する映像符号化部とを備えることを特徴とする。

また、前記送信装置は、前記所定の符号化方式は、ＨＥＶＣ方式又はＶＶＣ方式であることが望ましい。

上記課題を解決するために本発明に係る映像処理装置は、入力された映像をアップスケーリングして高解像度映像を生成する学習済みモデルを備えたアップスケーリング部を有し、画像拡大を行う映像処理装置であって、前記学習済みモデルは、ダウンスケーリング部、符号化部、復号部、及びアップスケーリング部を全てニューラルネットワークで構成し、一連の処理の後のアップスケーリング部からの出力映像がダウンスケーリング部への入力映像と一致するように機械学習を行った、アップスケーリング部の学習済みモデルであることを特徴とする。

上記課題を解決するために本発明に係る受信装置は、入力されたビットストリームを所定の符号化方式で復号し、符号化復号映像を生成する映像復号部と、前記符号化復号映像をアップスケーリングする前記映像処理装置とを備えることを特徴とする。

上記課題を解決するために本発明に係る送受信システムは、前記送信装置と、前記受信装置を備えることを特徴とする。

本発明における学習装置によれば、ダウンスケーリング及びアップスケーリングの学習を、符号化・復号を含めてend-to-endで行うことができる。また、本発明の映像処理装置、送受信装置、及び送受信システムによれば、ＨＥＶＣ方式やＶＶＣ方式などの映像符号化方式により映像を圧縮・送信する場合においても、従来の解像度変換と比較して、符号化効率を向上させることができる。

本発明の第１の実施形態の学習装置のブロック図の例である。 第１の実施形態の学習装置の学習アルゴリズムの例を示すフローチャートである。 学習済みモデルを用いて推論を行うシステムのブロック図の例である。 第１の実施形態の変形例の学習装置のブロック図の例である。 第１の実施形態の変形例の学習装置の学習アルゴリズムの例を示すフローチャートである。 本発明の第２の実施形態の映像処理装置のブロック図の例である。 本発明の第３の実施形態の送信装置のブロック図の例である。 本発明の第４の実施形態の映像処理装置のブロック図の例である。 本発明の第５の実施形態の受信装置のブロック図の例である。 本発明と従来手法の符号化結果から算出したＲＤカーブである。 ８Ｋ映像をダウンスケーリングして送信する送受信システムの概念図である。

以下、本発明の実施の形態について、図面を用いて説明する。

（第１の実施形態）
本発明の第１の実施形態である学習装置は、ダウンスケーリング、符号化、復号、及びアップスケーリングを行うことによって高解像度映像を伝送するシステムの学習を行う。

図１は、本発明の第１の実施形態の学習装置のブロック図の例である。学習装置１００は、フレーム取得部１０と、ダウンスケーリング部２１と、ニューラルネットワーク映像符号化部２２と、ニューラルネットワーク映像復号部２３と、アップスケーリング部２４と、誤差判定部３０とを備えている。このうち、ダウンスケーリング部２１、ニューラルネットワーク映像符号化部２２、ニューラルネットワーク映像復号部２３、及びアップスケーリング部２４が、全体として学習ブロック２０を構成する。

学習装置１００の入力は、４Ｋ映像や８Ｋ映像などの原画となる高解像度映像であり、学習用映像として用いる。ここで、映像とは静止画像であってもよい。また、本発明において、画像とは動画像（映像）を含む。学習装置１００の出力は、学習済みのモデル（例えば、ニューラルネットワークのパラメータ）であり、学習ブロック２０（特に、ダウンスケーリング部２１とアップスケーリング部２４）の最適パラメータを出力する。

この学習装置１００は、全体を一つのコンピュータとプログラムにより構成することができる。なお、必要に応じて、各ブロックを独立したコンピュータとプログラムで構成してもよい。以下、各構成について説明する。

フレーム取得部１０は、入力された学習用映像を取得し、一時的に保持する。フレーム取得部１０は、保持した映像のフレームを、順次、ダウンスケーリング部２１に出力する。また、保持した映像のフレームを、教師データ（正解データ）として誤差判定部３０に出力する。

ダウンスケーリング部２１は、学習機能を有しており、例えば、ニューラルネットワークで構成される。ダウンスケーリング部２１は、入力の原画である高解像度映像を低解像度映像にダウンスケーリングし、ニューラルネットワーク映像符号化部２２に出力する。本実施形態では、例えば、８Ｋ映像を４Ｋ映像に、すなわち１／２倍の解像度となるようにダウンスケーリングを施すが、３／４倍又は１／４倍など任意の解像度へダウンスケーリングを施してもよい。

ダウンスケーリング部２１のニューラルネットワークのモデルは、入力が高解像度映像、出力が低解像度映像となるニューラルネットワークであれば任意のモデルを用いてもよいが、本実施形態ではニューラルネットワークによる解像度変換の手法であるＴＡＤ（Task-Aware Downscaling：非特許文献３）又は、ウェーブレット変換とニューラルネットワークを組み合わせた解像度変換の手法であるＩＲＮ（Invertible Rescaling Network：非特許文献４）を用いる。

ニューラルネットワーク映像符号化部２２は、入力映像（本実施形態では、ダウンスケーリング部２１の出力である低解像度映像）を符号化してビットストリームへ変換し、生成したビットストリームをニューラルネットワーク映像復号部２３に出力する。

ニューラルネットワーク映像符号化部２２のモデルは、任意のニューラルネットワークで構成される映像符号化方式を用いてもよいが、ＨＥＶＣ方式やＶＶＣ方式などの映像符号化方式を推論時に用いたときに映像符号化効率を向上させるために、ＤＶＣ（Deep Video Compression：非特許文献５）モデルのようなＨＥＶＣ方式やＶＶＣ方式と同様なアーキテクチャを持つニューラルネットワークモデルを用いることが望ましい。ＤＶＣモデルはＨＥＶＣ方式やＶＶＣ方式と同様にブロック単位で動き予測や動き補償を行い、変換・量子化・エントロピー符号化を一貫してニューラルネットワークで行うモデルである。ニューラルネットワーク映像符号化部２２は、設定された帯域幅に対応するビットストリームとなるように、映像を圧縮符号化する。

ニューラルネットワーク映像復号部２３は、ニューラルネットワーク映像符号化部２２で符号化されたビットストリームを復号し、復号された映像（符号化復号映像と言うことがある。）をアップスケーリング部２４へ出力する。本実施形態では、低解像度符号化復号映像が生成される。ニューラルネットワーク映像復号部２３は、ニューラルネットワークで構成される映像符号化方式を用いるが、ニューラルネットワーク映像符号化部２２で用いた同一の映像符号化方式（符号化モデル）を復号にも用いる。

アップスケーリング部２４は、学習機能を有しており、例えば、ニューラルネットワークで構成される。アップスケーリング部２４は、ニューラルネットワーク映像復号部２３の出力である低解像度符号化復号映像を、高解像度符号化復号映像へアップスケーリングする。ダウンスケーリング部２１で施したダウンスケーリングに応じて、低解像度符号化復号映像が原画である高解像度映像と同等の解像度となるようにアップスケーリングを行う。例えば、１／２倍の解像度となるようにダウンスケーリングを施した場合は２倍の解像度となるようなアップスケーリング、３／４倍の解像度となるようにダウンスケーリングを施した場合は４／３倍の解像度となるようなアップスケーリングを施す。

アップスケーリング部２４のニューラルネットワークのモデルは、入力が低解像度映像、出力が高解像度映像となるニューラルネットワークであれば任意のモデルを用いてもよいが、本実施形態では、ニューラルネットワークによる解像度変換の手法であるＴＡＵ（Task-Aware Upscaling：非特許文献３）や、ウェーブレット変換とニューラルネットワークを組み合わせた解像度変換の手法であるＩＲＮを用いる。

誤差判定部３０は、フレーム取得部１０からの入力映像（高解像度映像）を正解データとして、アップスケーリング部２４の出力である高解像度符号化復号映像の誤差判定を行う。誤差判定部３０は、一般的な損失関数を用いてモデルの予測精度を評価し、その結果を学習ブロック２０に出力する。学習ブロック２０は、誤差判定部３０で計算された損失（誤差）を小さくするように、誤差逆伝播法等を用いて、アップスケーリング部２４、ニューラルネットワーク映像復号部２３、ニューラルネットワーク映像符号化部２２、及びダウンスケーリング部２１のモデルの学習（パラメータの修正）を順次行う。

なお、学習するパラメータについては、ダウンスケーリング部２１、ニューラルネットワーク映像符号化部２２、ニューラルネットワーク映像復号部２３、アップスケーリング部２４の全てのモデルのパラメータを学習（修正）してもよいし、一部のモデルのパラメータを固定して学習してもよい。例えば、ニューラルネットワーク映像符号化部２２及びニューラルネットワーク映像復号部２３のパラメータを固定し、ダウンスケーリング部２１とアップスケーリング部２４の最適化を行ってもよい。学習装置１００は、ダウンスケーリング部２１及びアップスケーリング部２４の少なくとも一方の機械学習を行う。

なお、ダウンスケーリング部２１のみの学習を行う場合は、受信側で計算量やハードウェアの都合でニューラルネットワークによるアップスケーリングが施せない場合を考慮して、アップスケーリング部はバイキュービック法やランチョス法などの手法をパラメータ固定のニューラルネットワークで構成してもよい。

学習用映像による学習が終了後、学習装置１００は、ダウンスケーリング部２１及びアップスケーリング部２４の学習済みモデル、すなわち、ニューラルネットワークによるモデルの最適パラメータを出力する。

本実施形態では、ＨＥＶＣ方式やＶＶＣ方式などの所定の演算処理による映像符号化方式ではなく、ニューラルネットワークで構成される映像符号化方式を用いることで、ダウンスケーリング、符号化、復号、アップスケーリングの全てを通してend-to-endでの学習、すなわち、一連の処理の入力と出力に高解像度映像を用いる正確な学習を行うことができる。これにより、送信側のダウンスケーリング部２１のニューラルネットワークの学習も、適正に精度よく行うことができる。また、受信側のアップスケーリング部２４のニューラルネットワークの学習も、ダウンスケーリング部２１と同時により精度よく行うことができる。この学習法により、送信側でバイキュービック法等の演算によるダウンスケーリングを行うことと比較して、システム全体の符号化効率を向上させることができる。

図２に、本実施形態の学習装置１００の学習アルゴリズムの例をフローチャートで示す。以下、各ステップについて説明する。

ステップＳ１１：学習装置１００は、学習用映像である高解像度映像を取得する。学習装置１００のフレーム取得部１０は、取得した高解像度映像をダウンスケーリング部２１に出力する。

ステップＳ１２：学習装置１００のダウンスケーリング部２１は、高解像度映像を低解像度映像にダウンスケーリングする。

ステップＳ１３：学習装置１００のニューラルネットワーク映像符号化部２２は、低解像度映像を符号化し、ビットストリームに変換して出力する。

ステップＳ１４：学習装置１００のニューラルネットワーク映像復号部２３は、符号化されたビットストリームを復号し、低解像度符号化復号映像を生成する。

ステップＳ１５：学習装置１００のアップスケーリング部２４は、生成された低解像度符号化復号映像を、高解像度符号化復号映像へアップスケーリングする。

ステップＳ１６：学習装置１００の誤差判定部３０は、フレーム取得部１０からの高解像度映像を教師データ（正解データ）として、アップスケーリング部２４の出力である高解像度符号化復号映像の誤差を判定する。

ステップＳ１７：学習装置１００は、誤差判定部３０の誤差に基づいて、学習ブロック２０（ダウンスケーリング部２１、ニューラルネットワーク映像符号化部２２、ニューラルネットワーク映像復号部２３、及びアップスケーリング部２４）の学習を行い、各部のパラメータを修正する。

ステップＳ１８：学習装置１００は、所定の学習終了条件（例えば、誤差の程度、学習回数等）を満たすか判定し、満たさない場合は最初（ステップＳ１１）に戻り、満たす場合は学習処理を終了し、学習済みモデル（最適パラメータ）を出力する。

本発明の学習装置１００による学習ブロック２０の学習は、上記の学習アルゴリズムに基づいて行う。

図３は、学習済みモデルを用いて推論を行うシステムのブロック図の例である。図３のシステムは、図１の学習装置１００により学習を行った（又は学習済みの最適パラメータを移植した）学習済みのダウンスケーリング部２１及びアップスケーリング部２４を用いている。しかし、推論時の符号化・復号には、ニューラルネットワークではなく、ＨＥＶＣ方式やＶＶＣ方式などの任意の映像符号化方式で構成される映像符号化部２５及び映像復号部２６を用いる。これは、ダウンスケーリング部２１及びアップスケーリング部２４は、一般の送受信システム、すなわち、任意の映像符号化方式を用いた送信装置及び受信装置の中で使用することを想定しているからである。学習させたニューラルネットワークのモデルを用いてダウンスケーリング及びアップスケーリングを行うことで、推論時にＨＥＶＣ方式やＶＶＣ方式などの映像符号化方式により圧縮し送信する場合においても、従来のバイキュービック法等の演算による解像度変換を用いた場合に比較して、符号化効率が向上する。

本システムでは、学習時と推論時で、ニューラルネットワークで構成される映像符号化方式と、ＨＥＶＣ方式やＶＶＣ方式等の所定の演算による映像符号化方式とを切り替える。推論を行うシステムの映像符号化部２５においては、任意の量子化パラメータＱＰで符号化を行ってもよいが、学習時に用いたニューラルネットワークで構成される符号化方式と同等のビットレートとなるようにＱＰを選択してもよい。推論時の符号化の予測モードとしては、All Intra、Random Access、Low Delayのうち任意のモードを用いてもよいが、学習時の実施形態で用いたＤＶＣが前方向の画面間予測のみを用いていることからRandom Access 又はLow Delayを用いることが望ましい。

図３のシステムによる推論について、簡単に説明する。高解像度映像が入力されると、まず、ダウンスケーリング部２１は、学習済みモデルに基づいて、高解像度映像を低解像度映像にダウンスケーリングする。

次いで、映像符号化部２５は、所定の映像符号化方式（例えば、ＨＥＶＣ方式やＶＶＣ方式）で低解像度映像を符号化し、ビットストリームを生成する。生成されたビットストリームは、映像復号部２６に出力される。

映像復号部２６は、映像符号化部２５に対応する符号化方式（例えば、ＨＥＶＣ方式やＶＶＣ方式）でビットストリームを復号し、低解像度の符号化復号映像を生成する。

アップスケーリング部２４は、学習済みモデルに基づいて、低解像度符号化復号映像を高解像度符号化復号映像にアップスケーリングする。こうして、学習済みモデルを用いて推論を行い、高解像度再構成映像を出力する。

図３のシステムでは、ダウンスケーリング部２１とアップスケーリング部２４の両者を学習済みモデルとしたが、一方のみに学習済みモデルを用いてもよい。例えば、アップスケーリング部２４は、推論時にはニューラルネットワークを用いず、任意のアップスケーリングの手法を用いてよい。この場合であっても、ダウンスケーリング部２１に学習済みモデルを用いることにより、送信側のダウンスケーリングにバイキュービック法を用いた場合と比較して、全体の符号化効率が向上する。

以上のように、第１の実施形態では、ダウンスケーリング、符号化、復号、及びアップスケーリングを通して、end-to-endで学習を行い、ダウンスケーリング部２１とアップスケーリング部２４の学習を同時に行ったが、次に、第１の実施形態の変形例として、ダウンスケーリング部２１の学習を主に行う学習装置について説明する。第１の実施形態の変形例は、アップスケーリング部２４を省略して、簡易な構成でダウンスケーリング部２１の学習を可能としたものである。

（第１の実施形態の変形例）
本発明の第１の実施形態の変形例である学習装置は、ダウンスケーリング、符号化、及び復号を行うことによって映像を伝送するシステムの学習を行う。

図４は、第１の実施形態の変形例の学習装置のブロック図の例である。学習装置１０１は、フレーム取得部１０と、ダウンスケーリング部２１と、ニューラルネットワーク映像符号化部２２と、ニューラルネットワーク映像復号部２３と、低解像度映像生成部１５と、誤差判定部３０とを備えている。このうち、ダウンスケーリング部２１、ニューラルネットワーク映像符号化部２２、及びニューラルネットワーク映像復号部２３が、全体として学習ブロック２０を構成する。

学習装置１０１の入力は、４Ｋ映像や８Ｋ映像などの原画となる高解像度映像であり、学習用映像として用いる。ここで、映像とは静止画像であってもよい。学習装置１０１の出力は、学習済みのモデル（例えば、ニューラルネットワークのパラメータ）であり、学習ブロック２０（特に、ダウンスケーリング部２１）の最適パラメータを出力する。

この学習装置１０１は、全体を一つのコンピュータとプログラムにより構成することができる。なお、必要に応じて、各ブロックを独立したコンピュータとプログラムで構成してもよい。以下、各構成について説明するが、図１の第１の実施形態と共通の構成は、説明を簡略化する。

フレーム取得部１０は、入力された学習用映像を取得し、一時的に保持する。フレーム取得部１０は、保持した映像のフレームを、順次、ダウンスケーリング部２１に出力する。また、保持した映像のフレームを、低解像度映像生成部１５に出力する。

ダウンスケーリング部２１は、学習機能を有しており、例えば、ニューラルネットワークで構成される。ダウンスケーリング部２１のニューラルネットワークのモデルは、入力が高解像度映像、出力が低解像度映像となるニューラルネットワークであれば任意のモデルを用いてもよいが、第１の実施形態と同様に、ＴＡＤ又はＩＲＮを用いる。ダウンスケーリング部２１は、入力の原画である高解像度映像を低解像度映像にダウンスケーリングし、ニューラルネットワーク映像符号化部２２に出力する。ダウンスケーリング部２１は、例えば、８Ｋ映像を４Ｋ映像に、すなわち１／２倍の解像度となるようにダウンスケーリングを施す。

ニューラルネットワーク映像符号化部２２は、入力映像（ダウンスケーリング部２１の出力である低解像度映像）を符号化してビットストリームへ変換し、生成したビットストリームをニューラルネットワーク映像復号部２３に出力する。ニューラルネットワーク映像符号化部２２のモデルは、任意のニューラルネットワークで構成される映像符号化方式を用いてもよいが、第１の実施形態と同様に、ＤＶＣモデルのようなＨＥＶＣ方式やＶＶＣ方式と同様なアーキテクチャを持つニューラルネットワークモデルを用いることが望ましい。ニューラルネットワーク映像符号化部２２は、設定された帯域幅に対応するビットストリームとなるように、映像を圧縮符号化する。

ニューラルネットワーク映像復号部２３は、ニューラルネットワーク映像符号化部２２で符号化されたビットストリームを復号する。本変形例では、伝送された映像として低解像度符号化復号映像が生成され、誤差判定部３０に出力される。ニューラルネットワーク映像復号部２３は、ニューラルネットワークで構成される映像符号化方式を用いるが、ニューラルネットワーク映像符号化部２２で用いた同一の映像符号化方式（符号化モデル）を復号にも用いる。

低解像度映像生成部１５は、バイキュービック法やランチョス法などの手法、すなわち、所定の演算処理によりダウンスケーリングを行い、低解像度映像を生成する。なお、低解像度映像生成部１５は、ダウンスケーリング部２１が行うダウンスケーリングの倍率と同じ倍率で（例えば、１／２倍の解像度となるように）ダウンスケーリングを施す。低解像度映像生成部１５は、生成した低解像度映像を、教師データ（正解データ）として誤差判定部３０に出力する。

誤差判定部３０は、低解像度映像生成部１５からの入力映像（低解像度映像）を正解データとして、ニューラルネットワーク映像復号部２３の出力である低解像度符号化復号映像の誤差判定を行う。誤差判定部３０は、一般的な損失関数を用いてモデルの予測精度を評価し、その結果を学習ブロック２０に出力する。学習ブロック２０は、誤差判定部３０で計算された損失（誤差）を小さくするように、誤差逆伝播法等を用いて、ニューラルネットワーク映像復号部２３、ニューラルネットワーク映像符号化部２２、及びダウンスケーリング部２１のモデルの学習（パラメータの修正）を順次行う。

なお、学習するパラメータについては、ダウンスケーリング部２１、ニューラルネットワーク映像符号化部２２、ニューラルネットワーク映像復号部２３の全てのモデルのパラメータを学習（修正）してもよいし、一部のモデルのパラメータを固定して学習してもよい。例えば、ニューラルネットワーク映像符号化部２２及びニューラルネットワーク映像復号部２３のパラメータを固定し、ダウンスケーリング部２１のみの最適化を行ってもよい。

学習用映像による学習が終了後、学習装置１０１は、ダウンスケーリング部２１の学習済みモデル、すなわち、ニューラルネットワークによるモデルの最適パラメータを出力する。

本変形例では、ＨＥＶＣ方式やＶＶＣ方式などの所定の演算処理による映像符号化方式ではなく、ニューラルネットワークで構成される映像符号化方式を用いることで、ダウンスケーリング、符号化、復号の全てを通してend-to-endでの学習ができる。これにより、送信側のダウンスケーリング部２１のニューラルネットワークの学習を、適正に精度よく行うことができる。この学習法により、送信側でバイキュービック法等の演算によるダウンスケーリングを行うことと比較して、システム全体の符号化効率を向上させることができる。

図５に、第１の実施形態の変形例の学習装置１０１の学習アルゴリズムの例をフローチャートで示す。なお、図５のフローチャートは、図２のフローチャートと比較して、ステップＳ１５’が異なっている。以下、各ステップについて説明する。

ステップＳ１１：学習装置１０１は、学習用映像である高解像度映像を取得する。学習装置１０１のフレーム取得部１０は、取得した高解像度映像をダウンスケーリング部２１に出力する。

ステップＳ１２：学習装置１０１のダウンスケーリング部２１は、高解像度映像を低解像度映像にダウンスケーリングする。

ステップＳ１３：学習装置１０１のニューラルネットワーク映像符号化部２２は、低解像度映像を符号化し、ビットストリームに変換して出力する。

ステップＳ１４：学習装置１０１のニューラルネットワーク映像復号部２３は、符号化されたビットストリームを復号し、低解像度符号化復号映像を生成する。

ステップＳ１５’：学習装置１０１の低解像度映像生成部１５は、フレーム取得部１０からの高解像度映像に対して、バイキュービック法やランチョス法などの演算処理によるダウンスケーリング手法を用いて、低解像度映像を生成する。

ステップＳ１６：学習装置１０１の誤差判定部３０は、低解像度映像生成部１５からの低解像度映像を教師データ（正解データ）として、ニューラルネットワーク映像復号部２３の出力である低解像度符号化復号映像の誤差を判定する。

ステップＳ１７：学習装置１０１は、誤差判定部３０の誤差に基づいて、学習ブロック２０（ダウンスケーリング部２１、ニューラルネットワーク映像符号化部２２、及びニューラルネットワーク映像復号部２３）の学習を行い、各部のパラメータを修正する。

ステップＳ１８：学習装置１０１は、所定の学習終了条件（例えば、誤差の程度、学習回数等）を満たすか判定し、満たさない場合は最初（ステップＳ１１）に戻り、満たす場合は学習処理を終了し、学習済みモデル（最適パラメータ）を出力する。

本変形例の学習装置１０１による学習ブロック２０の学習は、上記の学習アルゴリズムに基づいて行う。

第１の実施形態の変形例である学習装置１０１により学習を行った（又は学習済みの最適パラメータを移植した）学習済みのダウンスケーリング部２１は、ダウンスケーリング、符号化、及び復号を行うことによって映像を伝送する任意のシステムに適用することができる。すなわち、推論時には、学習済みのダウンスケーリング部２１と、ニューラルネットワークではなく、ＨＥＶＣ方式やＶＶＣ方式などの任意の映像符号化方式で構成される映像符号化部２５及び映像復号部２６からなる、映像伝送システムに用いられる。さらに、図３に示す学習済みモデルを用いて推論を行うシステムのダウンスケーリング部２１として、用いることができる。学習させたニューラルネットワークのモデルを用いてダウンスケーリングを行うことで、推論時にＨＥＶＣ方式やＶＶＣ方式などの映像符号化方式により圧縮し送信する場合においても、従来のバイキュービック法等の演算による解像度変換を用いた場合に比較して、符号化効率が向上する。

図６は、本発明の第２の実施形態の映像処理装置のブロック図の例である。本実施形態の映像処理装置は、画像縮小装置１１０である。画像縮小装置１１０は、フレームメモリ１１と、ダウンスケーリング部２１とを備えている。画像縮小装置（映像処理装置）１１０は、入力された映像（高解像度映像）をダウンスケーリング（画像縮小）して低解像度映像（縮小画像）を出力する。

フレームメモリ１１は、入力された高解像度映像をいったん保存し、映像のフレームを順次ダウンスケーリング部２１に送出する。なお、フレームメモリはダウンスケーリング部２１に内在されていてもよく、独立したブロックとして必須のものではない。

ダウンスケーリング部２１は、入力された映像をダウンスケーリングし、解像度を低くした低解像度映像を出力する。このダウンスケーリング部２１は、図１に示す本発明の学習装置１００により学習を行った学習済みモデルを備えたダウンスケーリング部２１である。例えば、ダウンスケーリング部２１は、ニューラルネットワークによる解像度変換の手法であるＴＡＤ又はＩＲＮのモデルで構成され、学習装置１００の出力である最適パラメータ（学習済みモデル）を移植して作成される。

或いは、このダウンスケーリング部２１は、図４に示す学習装置１０１により学習を行った学習済みモデルを備えたダウンスケーリング部２１であってもよい。例えば、ダウンスケーリング部２１は、ニューラルネットワークによる解像度変換の手法であるＴＡＤ又はＩＲＮのモデルで構成され、学習装置１０１の出力である最適パラメータ（学習済みモデル）を移植して作成される。

本実施形態の映像処理装置である画像縮小装置１１０は、符号化及び復号を行う送受信システムの送信側に適用することができる。本実施形態のダウンスケーリング部２１の学習済みモデルは、ダウンスケーリング部、符号化部、復号部、及びアップスケーリング部を全てニューラルネットワークで構成し、一連の処理のend-to-endでの学習、すなわち、アップスケーリング部からの出力映像がダウンスケーリング部への入力映像と一致するように機械学習を行った、ダウンスケーリング部の学習済みモデルである。或いは、本実施形態のダウンスケーリング部２１の学習済みモデルは、ダウンスケーリング部、符号化部、及び復号部を全てニューラルネットワークで構成し、一連の処理のend-to-endでの学習、すなわち、復号部からの出力映像が、入力映像を所定の演算処理によりダウンスケーリングして生成した映像と一致するように機械学習を行った、ダウンスケーリング部の学習済みモデルである。この学習済みモデルを用いてダウンスケーリングを行うことで、ＨＥＶＣ方式やＶＶＣ方式などの映像符号化方式により圧縮し送信する場合において、従来のバイキュービック法等の演算を用いたダウンスケーリングと比較して、符号化効率が向上する。

図７は、本発明の第３の実施形態の送信装置のブロック図の例である。送信装置１２０は、画像縮小装置１１０と、映像符号化部２５とを備えている。送信装置１２０は、高解像度映像が入力され、ビットストリームを出力する。

画像縮小装置１１０は、本発明の第２の実施形態の画像縮小装置１１０であり、内部に学習済みモデルを備えたダウンスケーリング部２１を有し、入力された高解像度映像をダウンスケーリングして、低解像度映像を出力する。

映像符号化部２５は、ＨＥＶＣ方式やＶＶＣ方式などの任意の映像符号化方式で構成され、入力された低解像度映像を符号化し、ビットストリームを出力する。

本実施形態の送信装置１２０は、送受信システムの送信装置として用いることにより、従来よりも符号化効率が向上した送受信を行うことができる。

図８は、本発明の第４の実施形態の映像処理装置のブロック図の例である。本実施形態の映像処理装置は、画像拡大装置１３０である。画像拡大装置１３０は、フレームメモリ１２と、アップスケーリング部２４とを備えている。画像拡大装置（映像処理装置）１３０は、入力された映像（低解像度映像）をアップスケーリング（画像拡大）して高解像度映像（拡大画像）を出力する。

フレームメモリ１２は、入力された低解像度映像をいったん保存し、映像のフレームを順次アップスケーリング部２４に送出する。なお、フレームメモリはアップスケーリング部２４に内在されていてもよく、独立したブロックとして必須のものではない。

アップスケーリング部２４は、入力された映像をアップスケーリングし、解像度を高くした高解像度映像を出力する。このアップスケーリング部２４は、図１に示す本発明の学習装置１００により学習を行った学習済みモデルを備えたアップスケーリング部２４である。例えば、アップスケーリング部２４は、ニューラルネットワークによる解像度変換の手法であるＴＡＵ又はＩＲＮのモデルで構成され、学習装置１００の出力である最適パラメータ（学習済みモデル）を移植して作成される。

本実施形態の映像処理装置である画像拡大装置１３０は、符号化及び復号を行う送受信システムの受信側に適用することができる。本実施形態のアップスケーリング部２４の学習済みモデルは、ダウンスケーリング部、符号化部、復号部、及びアップスケーリング部を全てニューラルネットワークで構成し、一連の処理のend-to-endでの学習、すなわち、アップスケーリング部からの出力映像がダウンスケーリング部への入力映像と一致するように機械学習を行った、アップスケーリング部の学習済みモデルである。この学習済みモデルを用いてアップスケーリングを行うことで、ＨＥＶＣ方式やＶＶＣ方式などの映像符号化方式により圧縮し送信された映像を受信する場合において、従来のバイキュービック法等のダウンスケーリングに対応させて学習したアップスケーリング部よりも、符号化効率をより向上させることができる。

図９は、本発明の第５の実施形態の受信装置のブロック図の例である。受信装置１４０は、映像復号部２６と、画像拡大装置１３０とを備えている。受信装置１４０は、ビットストリームが入力され、高解像度映像を出力する。

映像復号部２６は、ＨＥＶＣ方式やＶＶＣ方式などの送信側と対応する映像符号化方式で構成され、入力されたビットストリームを復号し、映像（本実施形態では、低解像度符号化復号映像）を出力する。

画像拡大装置１３０は、本発明の第４の実施形態の画像拡大装置１３０であり、内部に学習済みモデルを備えたアップスケーリング部２４を有し、入力された低解像度映像をアップスケーリングして、高解像度映像を出力する。

本実施形態の受信装置１４０は、送受信システムの受信装置として用いることにより、従来よりも符号化効率が向上した送受信を行うことができる。

本発明の第６の実施形態として、第３の実施形態の送信装置と第５の実施形態の受信装置とを組み合わせることで、送受信システムを構築することができる。この送受信システムは、ダウンスケーリング、符号化、復号、及びアップスケーリングを全てニューラルネットワークで構成し、一連の処理のend-to-endでの学習、すなわち、入力と出力に高解像度映像を用いた正確な学習を行ったダウンスケーリング部２１とアップスケーリング部２４を、送信装置１２０と受信装置に１４０に備えているため、送受信システム全体の符号化効率を向上させることができる。

一般的に、地上デジタル放送で用いられている受信機にはアップスケーリングによる画素補間を行う機能が存在するため、例えば、これを本発明の画像拡大装置で代替することができる。本発明の映像処理装置、送受信装置、及び送受信システムを地上デジタル放送へ適用し、符号化効率を向上することが可能である。

（実験結果と効果の検証）
本発明の実験結果について示す。実験は表１に示す条件で行った。ダウンスケーリング部において、本発明はニューラルネットワークのモデルとしてＴＡＤを用いて、従来手法であるバイキュービック法との比較を行った。映像符号化方式にはＶＶＣ方式の参照用ソフトウェアであるＶＴＭ（VVC Test Model）のバージョン14.0を用いた。また、受信側で計算量やハードウェアの都合でニューラルネットワークによるアップスケーリングが施せない場合を想定し、アップスケーリング部では、本発明も従来手法もバイキュービック法を用いた。

実験はＪＶＥＴ（Joint Video Experts Team）テストシーケンスの映像であるBQSquareを用いて行った。BQSquareは４３２×２４０の解像度であり、ダウンスケーリング部において１／２倍の解像度である２１６×１２０の解像度へ縮小した後、ＶＴＭによる符号化・復号を行い、アップスケーリング部において２倍の解像度である４３２×２４０へ拡大した。

図１０は、本発明と従来手法の符号化結果から算出したＲＤカーブである。横軸はビットレート、縦軸は原画である高解像度映像と高解像度再構成映像を比較した際の輝度成分のＰＳＮＲ（Peak signal-to-noise ratio）を表す。符号化結果からＢＤ－Rateを算出したところ－51.89％となり、本発明が符号化効率を向上させることを確認した。

上記の第１の実施形態では、学習装置１００の構成と動作について説明したが、本発明はこれに限らず、ダウンスケーリング部及びアップスケーリング部の学習を行う学習方法として構成されてもよい。すなわち、図２のフローチャートに基づいて、ダウンスケーリング、符号化、復号、及びアップスケーリングの各工程を備えた、学習方法として構成されても良い。

なお、上述した学習装置１００，１０１又は各ブロックとして機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、学習装置１００，１０１又は各ブロックの各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態に記載の各ブロック、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成ブロック、ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

１ ダウンスケーラー
２ エンコーダ
３ デコーダ
４ アップスケーラー
１０ フレーム取得部
１１ フレームメモリ
１２ フレームメモリ
１５ 低解像度映像生成部
２０ 学習ブロック
２１ ダウンスケーリング部
２２ ニューラルネットワーク映像符号化部
２３ ニューラルネットワーク映像復号部
２４ アップスケーリング部
２５ 映像符号化部
２６ 映像復号部
３０ 誤差判定部
１００ 学習装置
１１０ 画像縮小装置
１２０ 送信装置
１３０ 画像拡大装置
１４０ 受信装置

Claims (10)

1. 学習機能を有し、入力された学習用映像をダウンスケーリングして低解像度映像を生成するダウンスケーリング部と、
   前記低解像度映像を符号化しビットストリームへ変換するニューラルネットワーク映像符号化部と、
   前記ビットストリームを復号して低解像度符号化復号映像を生成するニューラルネットワーク映像復号部と、
   学習機能を有し、前記低解像度符号化復号映像をアップスケーリングして高解像度符号化復号映像を出力するアップスケーリング部とを備え、
   出力された前記高解像度符号化復号映像が前記学習用映像と一致するように、前記ダウンスケーリング部及び前記アップスケーリング部の少なくとも一方の機械学習を行うことを特徴とする、学習装置。
2. 請求項１の学習装置において、
   前記ダウンスケーリング部及び前記アップスケーリング部は、ニューラルネットワークで構成されることを特徴とする、学習装置。
3. 学習機能を有し、入力された学習用映像をダウンスケーリングして低解像度映像を生成するダウンスケーリング部と、
   前記低解像度映像を符号化しビットストリームへ変換するニューラルネットワーク映像符号化部と、
   前記ビットストリームを復号して低解像度符号化復号映像を出力するニューラルネットワーク映像復号部とを備え、
   出力された前記低解像度符号化復号映像が、前記学習用映像を所定の演算処理によりダウンスケーリングして生成した低解像度映像と一致するように、少なくとも前記ダウンスケーリング部の機械学習を行うことを特徴とする、学習装置。
4. 入力された映像をダウンスケーリングして低解像度映像を生成する学習済みモデルを備えたダウンスケーリング部を有し、画像縮小を行う映像処理装置であって、
   前記学習済みモデルは、ダウンスケーリング部、符号化部、復号部、及びアップスケーリング部を全てニューラルネットワークで構成し、一連の処理の後のアップスケーリング部からの出力映像がダウンスケーリング部への入力映像と一致するように機械学習を行った、ダウンスケーリング部の学習済みモデルであることを特徴とする、映像処理装置。
5. 入力された映像をダウンスケーリングして低解像度映像を生成する学習済みモデルを備えたダウンスケーリング部を有し、画像縮小を行う映像処理装置であって、
   前記学習済みモデルは、ダウンスケーリング部、符号化部、及び復号部を全てニューラルネットワークで構成し、入力映像の一連の処理後の復号部からの出力映像が、前記入力映像を所定の演算処理によりダウンスケーリングして生成した映像と一致するように機械学習を行った、ダウンスケーリング部の学習済みモデルであることを特徴とする、映像処理装置。
6. 入力された映像をダウンスケーリングする請求項４又は５に記載の映像処理装置と、
   前記映像処理装置からの出力映像を所定の符号化方式で符号化しビットストリームへ変換する映像符号化部と
   を備えることを特徴とする、送信装置。
7. 請求項６に記載の送信装置において、
   前記所定の符号化方式は、ＨＥＶＣ方式又はＶＶＣ方式であることを特徴とする、送信装置。
8. 入力された映像をアップスケーリングして高解像度映像を生成する学習済みモデルを備えたアップスケーリング部を有し、画像拡大を行う映像処理装置であって、
   前記学習済みモデルは、ダウンスケーリング部、符号化部、復号部、及びアップスケーリング部を全てニューラルネットワークで構成し、一連の処理の後のアップスケーリング部からの出力映像がダウンスケーリング部への入力映像と一致するように機械学習を行った、アップスケーリング部の学習済みモデルであることを特徴とする、映像処理装置。
9. 入力されたビットストリームを所定の符号化方式で復号し、符号化復号映像を生成する映像復号部と、
   前記符号化復号映像をアップスケーリングする請求項８に記載の映像処理装置と
   を備えることを特徴とする、受信装置。
10. 請求項６に記載の送信装置と、請求項９に記載の受信装置を備えることを特徴とする、送受信システム。

Images