JP2022188343A - 映像配信システム、映像配信プログラム及び映像配信方法 - Google Patents

Abstract

【課題】コンピュータなどの電子計算機よりもＣＰＵやメモリなどの性能が低いスマートフォン端末等に搭載することが可能な映像配信システム等を提供する。【解決手段】映像配信システム１は、サーバから送信される低解像度画像のデータを取得する取得部１０と、取得した該低解像度画像のデータを所定のＡＩモデル２０を通じて所定の処理を実行することによって高解像度画像のデータを生成する処理部１３と、生成された該高解像度画像のデータの再構築を行う再構築部１４と、再構築を行った該高解像度画像のデータをクライアント端末６の画面に表示する表示部１５とを備える。【選択図】図１

Description

本発明は、ユーザーがたとえばスマートフォン端末でライブ映像（リアルタイムで配信される映像）を視聴することができるように軽量化モデルとして改良された映像配信システムに関する。

配信容量を小さくして伝送路への負荷を削減するとともに、視聴する画像品質を向上させるために、効率的な伝送帯域の圧縮と、原画像に近い解像度を有する画像復元とを、操作者の負担を軽減して効率的に実施が可能な画像送受信システムが開示されている。

特開２０２０－１０９８９７

しかしながら、特許文献１の発明では、画像送受信システムが持つパラメータの数が大きいため、ユーザーがスマートフォン端末等でリアルタイムにより映像を視聴することが困難であるという問題があった。

本発明はこのような事情に鑑みてなされたものであり、本発明の課題は、コンピュータなどの電子計算機よりもＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やメモリ（ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））などの性能が低いスマートフォン端末等に搭載することができ、リアルタイムでの視聴が可能な映像配信システム等を提供することである。

かかる課題を解決するために、請求項１に記載の発明は、映像配信システムであって、サーバから送信される低解像度画像のデータを取得する取得部と、取得した該低解像度画像のデータを所定のＡＩモデルを通じて所定の処理を実行することによって高解像度画像のデータを生成する処理部と、生成された該高解像度画像のデータの再構築を行う再構築部と、再構築を行った該高解像度画像のデータをクライアント端末の画面に表示する表示部とを備えることを特徴とする。

請求項２に記載の発明は、請求項１記載の映像配信システムが低解像度画像のデータを所定のフレームで分割する分割部をさらに有し、前記処理部において並列に配置されている複数のＡＩモデルが、所定のフレームで分割された低解像度画像のデータを所定の処理をすることを特徴とする。

請求項３に記載の発明は、請求項１又は請求項２に記載のＡＩモデルがＦＳＲＣＮＮ（１８、３、１）、ＦＳＲＣＮＮ（１０、３、１）、ＦＳＲＣＮＮ（５、３、１）、又はＦＳＲＣＮＮ（３、３、１）のいずれか１つのモデルであることを特徴とする。

請求項４に記載の発明は、映像配信プログラムであって、サーバから送信される低解像度画像のデータを取得する処理と、取得した該低解像度画像のデータを所定のＡＩモデルを通じて所定の処理を実行することによって高解像度画像のデータを生成する処理と、生成された該高解像度画像のデータの再構築を行う処理と、再構築を行った該高解像度画像のデータをクライアント端末の画面に表示する処理とをクライアント端末に実行させることを特徴とする。

請求項５に記載の発明は、映像配信方法であって、サーバから送信される低解像度画像のデータを取得する工程と、取得した該低解像度画像のデータを所定のＡＩモデルを通じて所定の処理を実行することによって高解像度画像のデータを生成する工程と、生成された該高解像度画像のデータの再構築を行う工程と、再構築を行った該高解像度画像のデータをクライアント端末の画面に表示する工程とを備えることを特徴とする。

請求項１、請求項４、請求項５の発明によれば、サーバから送信されて取得した低解像度画像のデータからクライアント端末内で高解像度画像のデータを生成するため、クライアント端末で高解像度画像を視聴する際の帯域量を減少させるとともに、クライアント端末にも搭載することができるＡＩモデルであるため、クライアント端末によるリアルタイムでの視聴が可能となる。

請求項２の発明によれば、複数のＡＩモデルを並列に配置することによって、低解像度画像のデータから高解像度画像のデータの生成を高速で処理をすることができる。

請求項３の発明によれば、軽量化したＦＳＲＣＮＮモデルを用いることにより、低解像度画像のデータから高解像度画像のデータを高再現性で生成することができる。

この発明の実施の形態の配信システムの全体構造を示す機能ブロック図である。 この発明の実施の形態に係るＡＩモデルの一例であるＦＳＲＣＮＮの構造を示した図である。 第一段階の学習結果と第二段階の学習結果の比較を示した図である。 この発明の実施の形態に係るＦＳＲＣＮＮの各モデルの検証結果をまとめた表である。 この発明の実施の形態に係るＦＳＲＣＮＮのモデルのうち、モデル５６（ＦＳＲＣＮＮ（５６、１２、４））とモデル１８（ＦＳＲＣＮＮ（１８、３、１））における４層の畳み込み層と１層の逆畳み込み層のフィルターのサイズ、フィルターの数、チャネル数、入力する画像、パラメータ数の比較である。 この発明の実施の形態に係る映像配信システムにおける処理手順を示すフローチャートである。

この発明の実施の形態について、図１から図６までを用いて説明する。

図１は、この発明の実施の形態に係る配信システム１の全体構造を示す機能ブロック図である。

オンライン上で行われるセミナーをリアルタイムで視聴する場合を例に説明する。講師２は、コンピュータなどの電子計算機３に備えられたカメラを用いて、セミナーの状況を動画で撮影する。

ネットワーク７は、電子計算機３とサーバ４とを無線接続する通信媒体である。ネットワーク８は、サーバ４とクライアント端末６とを無線接続する通信媒体である。ネットワーク７、８は、画像データを送受信できるものであれば、どのような通信形式や通信媒体であってもよい。

クライアント端末６は、スマートフォン端末でも良いし、スマートウォッチ、スマートグラスなどのいわゆるウェアラブル端末でも良いし、アプリケーションソフトが利用可能な携帯型の多機能端末であれば良い。図１においては、スマートフォン端末を例として、説明する。

撮影しているセミナーの画像データは、電子計算機３からサーバ４に送信される。撮影しているセミナーの画像データは、高解像度画像のデータである。

なお、コンピュータなどの電子計算機を用いた例を説明したが、通信可能なビデオカメラを用いてセミナーを撮影し、撮影しているセミナーの画像データをサーバ４に送信してもよいし、これらに限られない。

サーバ４は、受信したセミナーの画像データから低解像度画像のデータを生成するとともに、クライアント端末６へマルチキャストするために低解像度画像のデータに対してエンコード処理を行う。エンコード処理をする際、画像の解像度を指定することができる。

取得部１０は、サーバ４からユーザー５のクライアント端末６へマルチキャストされることにより、エンコード処理がされた低解像度画像のデータを取得する。なお、図１において、ユーザー５は１人のみの記載、クライアント端末６は１台のみの記載となっているが、実際にはオンライン上のセミナーに参加をしているユーザーの数と同数以上のユーザー及びクライアント端末が存在する。

分解部１１は、取得部１０が取得した低解像度画像のデータを引き受けて、取得した順に応じて低解像度画像のデータをフレームごとに分解する。分解するフレームサイズは、後述する。

一時記憶部１２は、分解部１１が分解した低解像度画像のデータを一時的に記憶する。

処理部１３は、一時記憶部１２から分解された低解像度画像のデータを引き受けた後に、ＡＩモデル２０において高解像度画像のデータの生成を行う。ＡＩモデル２０は、処理部１３において複数が並列して配置されている。ＡＩモデル２０が高解像度画像のデータの生成を完了したときに（生成された高解像度画像のデータが再構築部１４に引き渡されたときに）、次に高解像度画像のデータを生成すべき、分解された低解像度画像のデータが、一時記憶部１２から処理が完了しているＡＩモデル２０に引き渡される。ＡＩモデル２０の具体的な構成は、後述する。

再構築部１４は、ＡＩモデル２０から生成された高解像度画像のデータを用いて、画像の再構築を行う。画像の再構築とは、高解像度画像（フレーム）のデータの再生位置を管理しながら、クライアント端末６の画面で再生される動画を構築することをいう。

表示部１５は、再構築がされた高解像度画像のデータをクライアント端末６の画面上に表示することによって、ユーザー５に対してリアルタイムでセミナーを視聴させることができる。高解像度画像のデータは、クライアント端末６のブラウザを用いて画面に表示をさせても良いし、クライアント端末６にダウンロードされたアプリケーションソフトを用いて画面に表示をさせても良い。

図２は、本発明の実施の形態に係るＡＩモデルの一例であるＦＳＲＣＮＮの構造を示した図である。

高解像度化技術を活用する深層学習アルゴリズムは、たとえば、線形モデル、Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ（ＲｅｓＮｅｔ）、マルチブランチモデル、再帰モデル、漸次的モデル、Ａｔｔｅｎｔｉｏｎ‐ｂａｓｅｄモデル、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）モデルなどがある。

線形モデルは、複雑な構造ではなく通信接続の途絶もないことから利用しやすいモデルであり、スマートフォン端末の性能面での適応度から、スマートフォン端末に採用されることがある。

線形モデルには、画像の空間周波数を高めるための方法として、事前アップサンプリングと事後アップサンプリングの２種類がある。事前アップサンプリングは、低解像度の画像を高解像度用のサイズにサンプルを抽出し、階層的な特徴量を学習することで高解像度化するが、処理が進むにつれて畳み込み層における階層を重ねていくことから、計算を処理するために時間を要する。そのため、事後アップサンプリングを用いて、低解像度画像のデータを学習し、近似値の線形モデルで特徴づける。

ＦＳＲＣＮＮ（Ｆａｓｔ Ｓｕｐｅｒ‐Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）は、事後アップサンプリングの線形モデルである。

ＦＳＲＣＮＮは、超解像（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）にＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いた手法であるＳＲＣＮＮ（Ｓｕｐｅｒ‐Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の高速化を目指して改良されたモデルであり、畳み込みニューラルネットワークの一種である。

本明細書では、ＦＳＲＣＮＮを例として説明する。

ＦＳＲＣＮＮは、連続している４層の畳み込み層と１層の逆畳み込み層からなる。４層の畳み込み層は、特徴抽出、縮小、非線形変換及び拡張の処理を行い、逆畳み込み層は逆畳み込みの処理を行う。

ＦＳＲＣＮＮの学習第一段階においては、公知の９１件の画像データを用いて学習をした。その後、学習第二段階として圧縮がされていない１００件のビットマップ画像データを用いて追加学習をさせた。１００件のビットマップ画像データは高画質で鮮明度も高いが、画像の複雑性が低い。画像の複雑性とは、たとえば、白色の画像（ＲＧＢ（２５５、２５５、２５５））と、風景画像とを比較したときに、白色の画像（ＲＧＢ（２５５、２５５、２５５））の方が画像の複雑性が低いことを意味する。これらの学習はデータ拡張手法を利用して学習データを１９倍に増加したうえで、９０％、８０％、７０％のサイズへそれぞれ縮小したほか、画像を９０°回転、１８０°回転、２７０°回転のパターンを作成して行った。

これらの学習の結果、図３に示すとおり、第二段階の学習後は、第一段階の学習後と比較をして、より高解像度の画像を生成できることが判明した。

図２に戻り、連続した４層の畳み込み層においては、低解像度画像のデータ３０１を入力データとして、特徴抽出、縮小、非線形変換及び拡張の処理が行われる。

１番目の畳み込み層１０１は、５ピクセル×５ピクセルの畳み込み処理を用いて特徴の抽出を行う。補間を利用することなく、入力された低解像度画像のデータ３０１から高解像度画像のデータ３０２へのマッピングを直接学習する。

補正情報は、入力された低解像度画像のデータ３０１をどのように高解像度画像のデータ３０２へ再現すべきかを示す情報であり、１番目の畳み込み層１０１において入力された低解像度画像のデータ３０１から生成される。

２番目の畳み込み層１０２は、１ピクセル×１ピクセルの畳み込み処理を行い、低解像度画像のデータ３０１の特徴量ｄを削減し、ｓへ減少させる。なお、ｄ＞＞ｓである。

３番目の畳み込み層１０３は、マッピングの階層数ｍを設定し、複数の３ピクセル×３ピクセルの畳み込み処理を行う。たとえば、２層の３ピクセル×３ピクセルによる畳み込み処理は、５ピクセル×５ピクセルによる畳み込み処理による領域を網羅している。また、１層の５ピクセル×５ピクセルによるパラメータ数は２５（＝５×５）であり、２層の３ピクセル×３ピクセルによるパラメータ数は１８（＝３×３＋３×３）であるため、パラメータ数を２８％削減することができる。さらに、少ないパラメータで学習することによって、より早く収束させることができるとともに、過学習（Ｏｖｅｒｆｉｔｔｉｎｇ）の可能性を減少させることができる。なお、マッピングの階層数ｍは、モデルの精度に最も大きな影響を与える。

変数であるｄ、ｓ及びｍは、後述する。

４番目の畳み込み層１０４は、２番目の畳み込み層１０２とは反対の処理を行い、１ピクセル×１ピクセルの畳み込み処理によって特徴量をｓからｄに増やし、高解像度画像のデータ３０２の特徴量を拡張させる。

最終階層となる逆畳み込み層２０１は、９ピクセル×９ピクセルのフィルターを使用することにより、１番目の畳み込み層１０１において生成された補正情報を参照しながら高解像度画像のデータ３０２を再現する。

ＦＳＲＣＮＮでは低解像度画像のデータは、補正情報を含めて畳み込み層１０１～１０４に直接入力された後に、高解像度化が、最終階層である逆畳み込み層２０１で実行されるため、畳み込み階層内の補正情報の量としては少量で実現することができる。低解像度及び補正情報の縮小化を実現することによって、ＦＳＲＣＮＮの演算処理の軽量化とメモリの複雑化を実現している。

ＦＳＲＣＮＮの全体的な構造は、ＦＳＲＣＮＮ（ｄ、ｓ、ｍ）で表すことができ、その計算の複雑さは、次の計算式により表すことができる。

損失関数の低解像度画像は、学習データとして利用する高解像度画像のデータを縮小して作成する。学習過程においては、縮小した高解像度画像のデータが学習前の元データとして利用される。学習過程で生成された高解像度画像のデータと元データとを、平均二乗誤差（ＭＳＥ：Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）を用いて比較し、どの程度復元できているか検証する。平均二乗誤差は、次の計算式により表すことができる。

と

は、学習データのうちi番目の低解像度画像のデータと高解像度画像のデータとの組合せであり、

は、パラメータθをもった

の結果である。学習過程においては、ニューラルネットワークを最適化するためのアルゴリズムの１つであるＡｄａｍ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）を用いている。

ＦＳＲＣＮＮでは、画像の高解像度化が最終階層で実行されるため、従来必要とされていた補間処理が不要である。その結果、ＦＳＲＣＮＮモデルでは、低解像度画像のデータから高解像度画像のデータを生成するための学習精度が高く、入力画像サイズの削減ができるため、特徴量の抽出のためのフィルターサイズも削減することができるとともに、処理の複雑化やメモリ使用料を軽減することができ、処理の効率化、高速化を実現している。

図４は、ＦＳＲＣＮＮの各モデルの検証結果をまとめた表である。

ＬＰＩＰＳ（Ｌｅａｒｎｅｄ Ｐｅｒｃｅｐｔｕａｌ Ｉｍａｇｅ Ｐａｔｃｈ Ｓｉｍｉｌａｒｉｔｙ）の値は、数値が高ければ高いほど元画像との差が大きいことを示すため、数値が大きいことは画像の再現率が低いことを表す。一方、数値が小さければ小さいほど元画像との差が少ないことを示すので、数値が小さいことは画像の再現率が高いことを表す。

ＦＳＲＣＮＮモデルのパラメータ数が減少すると、画像の画質が低減（ＬＰＩＰＳの値が上昇）するとともに、処理速度が高速化する。ＦＳＲＣＮＮモデルのパラメータ数が増加すると、画像の画質が上昇（ＬＰＩＰＳの値が減少）するとともに、処理速度が低速化する。

検証に用いたデータは、「Ｓｅｔ５」と呼ばれる高解像度画像のデータの精度検証時に一般的に利用されるサンプルデータセットである。

モデル５６（ＦＳＲＣＮＮ（５６、１２、４））は、ＦＳＲＣＮＮの原型であるが、１２４６４件のパラメータを持つため、スマートフォン端末等でリアルタイムでの処理を実行しようとする場合、ＣＰＵ、メモリ、ストレージサイズ等の制限があることから、処理速度が追い付かず、リアルタイムでの視聴に好ましくない。

スマートフォン端末等によるリアルタイムでの視聴を実現するためには、パラメータであるｄ、ｓ及びｍの値を減少させる必要がある。高品質な画像を再現するためには、ｄの値とｓの値との差を大きくする必要があり、ｍの値も低解像度画像のデータの特徴を維持するため、ｄの値とｓの値とに即して減少させる必要がある。

パラメータを調整したＦＳＲＣＮＮの各モデルに関する画質と処理速度の検証結果は図４のとおりである。検証においてはフレームレートの要件として秒間１０フレーム以上とした。この要件を満たす処理速度で、かつ、良い画質を再現できるのは、モデル１０（ＦＳＲＣＮＮ（１０、３、１））、モデル５（ＦＳＲＣＮＮ（５、３、１））、モデル３（ＦＳＲＣＮＮ（３、３、１））であり、最も良い画質を再現できるのは、モデル１８（ＦＳＲＣＮＮ（１８、３、１））である。特に、モデル１８（ＦＳＲＣＮＮ（１８、３、１））は、モデル３２（ＦＳＲＣＮＮ（３２、５、１））とＬＰＩＰＳの値が変わらないほど画像の再現率が高い。

低解像度画像のデータは、ＦＳＲＣＮＮのモデルに応じて図４の表に記載のフレームレート（ｆｐｓ）により分解する。たとえば、モデル１８（ＦＳＲＣＮＮ（１８、３、１））は低解像度画像のデータを１２ｆｐｓで分解する。

図５は、ＦＳＲＣＮＮのモデルのうち、モデル５６（ＦＳＲＣＮＮ（５６、１２、４））とモデル１８（ＦＳＲＣＮＮ（１８、３、１））における４層の畳み込み層と１層の逆畳み込み層のフィルターのサイズ、フィルターの数、チャネル数、入力する画像、パラメータ数の比較である。なお、モデル５６（ＦＳＲＣＮＮ（５６、１２、４）は、畳み込み層１０３において畳み込み処理を４回繰り返すため、図５の畳み込み層１０３では４Ｃｏｎｖと記載している。

ＦＳＲＣＮＮを構成する４層の畳み込み層はＣｏｎｖ（ｆ、ｎ、ｃ）で表すことができ、１層の逆畳み込み層はＤｅｃｏｎｖ（ｆ、ｎ、ｃ）で表すことができる。畳み込み層及び逆畳み込み層で利用される変数（ｆ、ｎ、ｃ）は、それぞれフィルターのサイズ、フィルターの数、チャネル数を示す。

モデル１８（ＦＳＲＣＮＮ（１８、３、１））は、モデル５６（ＦＳＲＣＮＮ（５６、１２、４））と比較をして、すべての畳み込み層及び逆畳み込み層のフィルターのサイズ、フィルターの数及びチャネル数が少なくなっており、軽量化されている。

高解像度の画像を再現する場合、処理速度が長くなる一方で、処理速度を短縮すると画像が劣化するが、モデル１８（ＦＳＲＣＮＮ（１８、３、１））は、処理速度を損なうことなく、より良い画質を再現することができる。

また、モデル１８（ＦＳＲＣＮＮ（１８、３、１））の逆畳み込み層は、Ｄｅｃｏｎｖ（９、１、１８）の構造となっており、低解像度画像のデータが入力されることにより、低解像度画像のデータの２倍の解像度を有する高解像度画像のデータが生成されるようにストライド（逆畳み込みの適用間隔）を設定する。

図６は、映像配信システム１における処理手順を示すフローチャートである。以下、このフローチャートに基づいてこの実施の形態の処理手順を説明する。

まず、映像配信システムにおける取得部１０は、サーバ４から送信されることにより低解像度画像のデータを取得する（ステップＳ１）。

分解部１１は、サーバ４から受信した低解像度画像のデータを用いて、低解像度画像のデータをフレームごとに分解する（ステップＳ２）。

一時記憶部１２は、フレームごとに分解された低解像度画像のデータを一時的に記憶する（ステップＳ３）。

処理部１３は、フレームごとに分解された低解像度画像のデータをＡＩモデル２０に引き渡し、ＡＩモデル２０において、高解像度画像のデータに生成される（ステップＳ４）。

再構築部１４は、ＡＩモデル２０から生成された高解像度化画像のデータを用いて、高解像度画像のデータの再構築を行う（ステップＳ５）。

表示部１５は、クライアント端末６の画面において、再構築がされた高解像度画像のデータを表示する（ステップＳ６）。

再構築すべき高解像度画像のデータの有無を確認して（低解像度画像のデータの取得が終了したかどうかを確認して）、再構築すべき高解像度画像のデータがないと判定したときは（ステップＳ７：Ｎｏ）、処理を終了する。再構築すべき高解像度画像のデータがあると判定したときは（ステップＳ７：Ｙｅｓ）、ステップＳ１に戻り、低解像度画像のデータの取得を行い、再構築すべき高解像度画像のデータがないと判定されるまで、ステップＳ１からステップＳ７までの処理を繰り返す。

上記の本発明の実施例は、スマートフォン端末等に対して実装可能な軽量化されたモデル１８（ＦＳＲＣＮＮ（１８、３、１））であり、複数のＡＩモデルを並列に配置して処理を行うことにより、高解像度画像のデータを生成するための処理の高速化を実現することによって、リアルタイム性を担保している。

上記の実施例ではオンライン上で行われるセミナーをリアルタイムで視聴することができる場合について記載したが、映像配信システムを通じて、たとえばコンサートやスポーツなどのイベントの状況を動画としてユーザーにリアルタイムで視聴させてもよい。

また、映像配信システムを通じて、たとえば一又は複数のユーザーがオンラインゲーム、コンシューマゲーム又はアーケードゲームを行っている状況を動画として他のユーザーにリアルタイムで視聴させてもよい。

さらには、オンラインサロン（ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）などを用いたオンライン上のコミュニティ）の内容を動画としてユーザーにリアルタイムで視聴をさせてもよい。

上記実施の形態は本発明の例示であり、本発明が上記実施の形態のみに限定されることを意味するものではないことは、いうまでもない。

１・・・配信システム
３・・・電子計算機
４・・・サーバ
６・・・クライアント端末
１０・・・取得部
１１・・・分解部
１２・・・一時記憶部
１３・・・処理部
１４・・・再構築部
１５・・・表示部
２０・・・ＡＩモデル
１０１、１０２、１０３、１０４・・・畳み込み層
２０１・・・逆畳み込み層
３０１・・・低解像度画像のデータ
３０２・・・高解像度画像のデータ

Claims (5)

1. サーバから送信される低解像度画像のデータを取得する取得部と、
   取得した該低解像度画像のデータを所定のＡＩモデルを通じて所定の処理を実行することによって高解像度画像のデータを生成する処理部と、
   生成された該高解像度画像のデータの再構築を行う再構築部と、
   再構築を行った該高解像度画像のデータをクライアント端末の画面に表示する表示部と
   を備えることを特徴とする映像配信システム。
2. 前記映像配信システムが低解像度画像のデータを所定のフレームで分割する分割部をさらに有し、前記処理部において並列に配置されている複数のＡＩモデルが、所定のフレームで分割された低解像度画像のデータを所定の処理をすることを特徴とする請求項１記載の映像配信システム。
3. 前記ＡＩモデルがＦＳＲＣＮＮ（１８、３、１）、ＦＳＲＣＮＮ（１０、３、１）、ＦＳＲＣＮＮ（５、３、１）、又はＦＳＲＣＮＮ（３、３、１）のいずれか１つのモデルであることを特徴とする請求項１又は請求項２記載の映像配信システム。
4. サーバから送信される低解像度画像のデータを取得する処理と、
   取得した該低解像度画像のデータを所定のＡＩモデルを通じて所定の処理を実行することによって高解像度画像のデータを生成する処理と、
   生成された該高解像度画像のデータの再構築を行う処理と、
   再構築を行った該高解像度画像のデータをクライアント端末の画面に表示する処理とをクライアント端末に実行させることを特徴とする映像配信プログラム。
5. サーバから送信される低解像度画像のデータを取得する工程と、
   取得した該低解像度画像のデータを所定のＡＩモデルを通じて所定の処理を実行することによって高解像度画像のデータを生成する工程と、
   生成された該高解像度画像のデータの再構築を行う工程と、
   再構築を行った該高解像度画像のデータをクライアント端末の画面に表示する工程と
   を備えることを特徴とする映像配信方法。

Images