JP2021034009A - 電子装置及びその制御方法 - Google Patents

Abstract

【課題】リアルタイムニューラルネットワークシステムで演算動作を止めずにパラメータを効率よくアップデートすることができる電子装置及びその制御方法を提供する。
【解決手段】電子装置１００において、複数のレイヤを含む人工知能モデルに対する情報が保存されたメモリと、入力映像を補間処理し、補間処理された映像を人工知能モデルを用いて処理した出力映像を獲得するプロセッサとを含む。プロセッサは、複数のレイヤのうち少なくとも１つで用いられるパラメータのアップデートが必要な場合、第１モード又は第２モードで動作し、第１モードは、パラメータがアップデートされる人工知能モデルを用いて処理された映像及び補間処理された映像に基づいて出力映像を獲得し、第２モードは、補間処理された映像に基づいて出力映像を獲得する。
【選択図】図２

Description

本発明は、電子装置及びその制御方法に関し、より詳細には、人工知能モデルを用いて映像処理を行う電子装置及びその制御方法に関する。

電子技術の発達により、様々なタイプの電子装置が開発及び普及されている。特に、家庭、事務所、公共の場など、多様な場所で利用されるディスプレイ装置は、ここ数年間発展し続けている。

近来は、高解像度映像サービスに対するリクエストが急増している。このようなリクエストにより、Ｓｕｐｅｒ ＲｅｓｏｌｕｔｉｏｎやＳｔｙｌｅ Ｔｒａｎｓｆｅｒなどのディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）ベースの技術が映像処理に利用されている。

Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎは、低解像度の入力映像を一連のメディア処理を通じて高解像度の映像に復元する技術である。例えば、ディープラーニングベースの複数のレイヤを含むＣＮＮモデルを用いて、低解像度の入力映像を横／縦方向にスケーリングして高解像度の映像に復元することができる。

ただ、ＣＮＮモデルに含まれた複数のレイヤのそれぞれが多くののパラメータ（又は、重み付け）を有しているため、演算動作を止めずにパラメータをアップデートすることは困難で、アップデートの過程で出力映像にａｒｔｉｆａｃｔが生じるおそれがあるという問題があった。

米国特許第９１５３２３１号明細書 米国特許出願公開第２０１８−０１８１８６３号明細書 米国特許出願公開第２０１８−０２９３７１３号明細書 米国特許出願公開第２０１９−００９５７９４号明細書

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、リアルタイムニューラルネットワークシステムで演算動作を止めずにパラメータを効率よくアップデートすることができる電子装置及びその制御方法を提供することにある。

以上のような目的を達成するための本発明の一実施形態に係る電子装置は、複数のレイヤを含む人工知能モデルに対する情報が保存されたメモリと、入力映像を補間処理し、前記補間処理された映像を前記人工知能モデルを用いて処理した出力映像を獲得するプロセッサとを含み、前記プロセッサは、前記複数のレイヤのうち少なくとも１つで用いられるパラメータのアップデートが必要な場合、第１モード又は第２モードで動作し、前記第１モードは、前記パラメータがアップデートされる前記人工知能モデルを用いて処理された映像及び前記補間処理された映像に基づいて前記出力映像を獲得し、前記第２モードは、前記補間処理された映像に基づいて前記出力映像を獲得してよい。

なお、前記プロセッサは、前記複数のレイヤのうち少なくとも１つで用いられるフィルタのパラメータに対するアップデートが必要な場合、前記フィルタの現在のパラメータ及びアップデートされる対象パラメータの間の差に基づいて、前記第１モード又は前記第２モードを選択してよい。

なお、前記人工知能モデルに含まれた前記複数のレイヤのそれぞれは、異なるパラメータを含むフィルタを用いて前記補間処理された映像に対する残差映像を生成し、前記プロセッサは、前記人工知能モデルから出力される残差映像及び前記補間処理された映像に基づいて前記出力映像を獲得してよい。

なお、前記プロセッサは、前記第１モードが選択されると、前記複数のレイヤのうち少なくとも１つのレイヤで用いられるパラメータをリアルタイムでアップデートし、前記パラメータのアップデートに基づいて残りのレイヤのうち少なくとも１つで用いられるパラメータをリアルタイムで補償してよい。

なお、前記プロセッサは、前記少なくとも１つの中間レイヤで用いられる前記パラメータのリアルタイムアップデートに基づいて、前記複数のレイヤのうち最初のレイヤ及び最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償してよい。

なお、前記プロセッサは、第１中間レイヤで用いられる第１パラメータがリアルタイムでアップデートされると、前記第１パラメータのアップデートに基づいて、前記最初のレイヤ及び前記最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償し、前記第１中間レイヤがアップデートされた後、第２中間レイヤで用いられる第２パラメータがリアルタイムでアップデートされると、前記第１パラメータ及び前記第２パラメータのアップデートに基づいて、前記最初のレイヤ及び前記最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償してよい。

なお、前記プロセッサは、前記第２モードで動作する間、前記人工知能モデルに含まれた第１中間レイヤで用いられる第１パラメータをアップデートして前記第２モードを前記第１モードに切り替え、前記第１モードにおいて第２中間レイヤで用いられる第２パラメータがリアルタイムでアップデートされると、前記第１パラメータ及び前記第２パラメータのアップデートに基づいて、前記最初のレイヤ及び前記最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償してよい。

なお、前記残りのレイヤのうち少なくとも１つで用いられるパラメータを補償するための補償パラメータは、前記少なくとも１つの中間レイヤが前記アップデートされたパラメータを含む前記人工知能モデルの学習に基づいて獲得されてよい。

なお、前記プロセッサは、前記入力映像のデータ伝送速度又は前記入力映像に対する情報のうち少なくとも一方に基づいて、前記パラメータのアップデートの要否を識別してよい。

なお、ディスプレイを更に含み、前記プロセッサは、前記出力映像を出力するように前記ディスプレイを制御し、前記出力映像は、４Ｋ又は８Ｋ以上の高解像度映像であってよい。

一方、本発明の一実施形態に係る複数のレイヤを含む人工知能モデルに対する情報を保存する電子装置の制御方法は、入力映像を補間処理するステップと、前記複数のレイヤのうち少なくとも１つで用いられるパラメータのアップデートが必要な場合、第１モード又は第２モードに応じて出力映像を獲得するステップとを含み、前記第１モードは、前記補間処理された映像を前記パラメータのアップデートされる前記人工知能モデルを用いて処理した映像及び前記補間処理された映像に基づいて前記出力映像を獲得し、前記第２モードは、前記補間処理された映像に基づいて前記出力映像を獲得してよい。

なお、前記入力映像を処理するステップは、前記複数のレイヤのうち少なくとも１つで用いられるフィルタのパラメータに対するアップデートが必要な場合、前記フィルタの現在のパラメータ及びアップデートされる対象パラメータの間の差に基づいて、前記第１モード又は前記第２モードを選択してよい。

なお、前記人工知能モデルに含まれた前記複数のレイヤのそれぞれは、異なるパラメータを含むフィルタを用いて前記補間処理された映像に対する残差映像を生成し、前記電子装置は、前記人工知能モデルから出力される残差映像及び前記補間処理された映像に基づいて前記出力映像を獲得してよい。

なお、前記第１モードが選択されると、前記複数のレイヤのうち少なくとも１つのレイヤで用いられるパラメータをリアルタイムでアップデートし、前記パラメータのアップデートに基づいて残りのレイヤのうち少なくとも１つで用いられるパラメータをリアルタイムで補償するステップを更に含んでよい。

なお、前記パラメータをリアルタイムで補償するステップは、前記少なくとも１つの中間レイヤで用いられる前記パラメータのリアルタイムアップデートに基づいて、前記複数のレイヤのうち最初のレイヤ及び最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償してよい。

なお、前記パラメータをリアルタイムで補償するステップは、第１中間レイヤで用いられる第１パラメータがリアルタイムでアップデートされると、前記第１パラメータのアップデートに基づいて、前記最初のレイヤ及び前記最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償し、前記第１中間レイヤがアップデートされた後、第２中間レイヤで用いられる第２パラメータがリアルタイムでアップデートされると、前記第１パラメータ及び前記第２パラメータのアップデートに基づいて、前記最初のレイヤ及び前記最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償してよい。

なお、前記入力映像を処理するステップは、前記第２モードで動作する間、前記人工知能モデルに含まれた第１中間レイヤで用いられる第１パラメータをアップデートして前記第２モードを前記第１モードに切り替えるステップと、前記第１モードにおいて第２中間レイヤで用いられる第２パラメータがリアルタイムでアップデートされると、前記第１パラメータ及び前記第２パラメータのアップデートに基づいて、前記最初のレイヤ及び前記最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償するステップとを含んでよい。

なお、前記残りのレイヤのうち少なくとも１つで用いられるパラメータを補償するための補償パラメータは、前記少なくとも１つの中間レイヤが前記アップデートされたパラメータを含む前記人工知能モデルの学習に基づいて獲得されてよい。

なお、前記入力映像を処理するステップは、前記入力映像のデータ伝送速度又は前記入力映像に対する情報のうち少なくとも一方に基づいて、前記パラメータのアップデートの要否を識別してよい。

なお、本発明の一実施形態に係る複数のレイヤを含む人工知能モデルに関する情報を保存する電子装置のプロセッサによって実行される場合、前記電子装置が動作するようにするコンピュータ命令を保存する非一時的なコンピュータ読み取り可能な媒体において、前記動作は、入力映像を補間処理するステップと、前記複数のレイヤのうち少なくとも１つで用いられるパラメータのアップデートが必要な場合、第１モード又は第２モードに応じて出力映像を獲得するステップとを含み、前記第１モードは、前記補間処理された映像を前記パラメータのアップデートされる前記人工知能モデルを用いて処理した映像及び前記補間処理された映像に基づいて前記出力映像を獲得し、前記第２モードは、前記補間処理された映像に基づいて前記出力映像を獲得してよい。

以上説明したように、本発明によれば、リアルタイムニューラルネットワークシステムで少ないハードウェアリソースでパラメータを効率よくアップデートすることができ、アップデートの過程で出力映像に発生し得るａｒｔｉｆａｃｔを最小化することができるようになる。

本発明の一実施形態に係る電子装置の映像処理動作を説明するための図である。 本発明の別の実施形態に係る電子装置の映像処理動作を説明するための図である。 本発明の一実施形態に係る電子装置の構成を示すブロック図である。 本発明の一実施形態に係る第１モードにおける動作を説明するための図である。 本発明の一実施形態に係る第１モードにおける動作を説明するための図である。 本発明の一実施形態に係る第１モードにおける動作を説明するための図である。 本発明の別の実施形態に係る第１モードにおける動作を説明するための図である。 本発明の一実施形態に係る第２モードにおける動作を説明するための図である。 本発明の一実施形態に係る第２モードにおける動作を説明するための図である。 本発明の一実施形態に係る第２モードにおける動作を説明するための図である。 本発明の別の実施形態によって、第１モード及び第２モードを混合した混合モードにおける動作を説明するための図である。 本発明の一実施形態に係る人工知能モデルの別の例を説明するための図である。 本発明の一実施形態に係るプロセッサの実現例を説明するための図である。 本発明の一実施形態に係る電子装置の動作を概略に説明するための図である。 本発明の一実施形態に係る電子装置の一実現例を示す図である。 本発明の一実施形態に係るサーバの構成を示すブロック図である。 本発明の一実施形態に係る電子装置の制御方法を説明するためのフローチャートである。

以下においては、添付の図面を参照して本発明について詳しく説明する。

本明細書で使われる用語について概略に説明し、本発明について具体的に説明する。

本発明の実施形態で使われる用語は、本発明における機能を考慮しつつ可能な限り、現在広く使われる一般的な用語を選択しているが、それは、当分野に携わる技術者の意図又は判例、新たな技術の出現などによって変わることがある。なお、特定の場合は、出願人が任意に選定した用語もあり、この場合は、該当する発明の説明部分で詳細にその意味を記載する。よって、本発明で使われる用語は、単なる用語の名称ではなく、その用語のもつ意味と本発明の全般に亘る内容に基づいて定義されるべきである。

本明細書で使われた「第１」、「第２」などの用語は、多様な構成要素を説明するうえで使われてよいが、構成要素は用語によって限定されてはならない。用語は、いずれの構成要素を別の構成要素と区分するために使うだけで、当該構成要素を限定しない。

単数の表現は、文脈上明白にそうでないことを意味しない限り、複数の表現を含む。本出願において、「含む」又は「構成される」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はそれらを組み合わせたものが存在することを指定するためのものであって、一つ又はそれ以上の別の特徴や数字、ステップ、動作、構成要素、部品又はそれらを組み合わせたものの存在又は付加可能性を予め排除しないと理解されるべきである。

Ａ又は／及びＢのうち少なくとも一つという表現は、「Ａ」又は「Ｂ」、又は「Ａ及びＢ」のうちいずれか一つを示すものとして理解されるべきである。

本発明において、「モジュール」或いは「部」は、少なくとも一つの機能や動作を行い、ハードウェア又はソフトウェアで実現されたり、ハードウェアとソフトウェアとの結合で実現されてよい。なお、複数の「モジュール」或いは複数の「部」は、特定のハードウェアで実現される必要がある「モジュール」或いは「部」を除いては、少なくとも一つのモジュールで一体化されて少なくとも一つのプロセッサ（図示せず）で実現されてよい。

以下では、添付の図面を参照して本発明の実施形態について、本発明の属する技術分野で通常の知識を有する者が容易に実施できるように詳しく説明する。しかし、本発明は、複数の別の形態で実現されてよく、ここで説明する実施形態に限定されない。そして、図面で本発明を明確に説明するために、説明と関係のない箇所は省略しており、明細書の全体を通じて類似する部分に対しては、類似する図面の符号を付している。

図１Ａは、本発明の一実施形態に係る電子装置の映像処理動作を説明するための図である。

本発明の一実施形態に係る電子装置は、人工知能モデル（又は、ニューラルネットワークモデル又は学習ネットワークモデル）を用いて、入力映像に対する映像処理を行うように実現されてよい。ここで、人工知能モデルは、複数のニューラルネットワークレイヤで構成されてよい。複数のニューラルネットワークレイヤのそれぞれは、複数のパラメータ（ｐａｒａｍｅｔｅｒｓ）（又は、複数の重み付け（ｗｅｉｇｈｔ ｖａｌｕｅｓ））を含み、以前（ｐｒｅｖｉｏｕｓ）のレイヤの演算結果と複数のパラメータとの間の演算を通じて、ニューラルネットワーク演算を行うことができる。複数のニューラルネットワークレイヤに含まれたパラメータは、人工知能モデルの学習結果によって最適化されてよい。例えば、学習過程の間、人工知能モデルから獲得したロス（ｌｏｓｓ）値又はコスト（ｃｏｓｔ）値が、減少又は最小化されるようにパラメータが更新されてよい。人工ニューラルネットワークは、ディープニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含んでよく、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＢＭ（Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ）、ＤＢＮ（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ）、ＢＲＤＮＮ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｃｕｒｒｅｎｔ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）又はディープＱ−ネットワーク（Ｄｅｅｐ Q−Ｎｅｔｗｏｒｋｓ）などがあるが、上述の例に限定されない。

図１Ａは、本発明の一実施形態に係るＳｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ処理のための人工知能モデルの一例を示す。Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎとは、解像度の低い映像を一連のメディア処理を通じて高い解像度に変換する処理を意味する。

同図によると、本発明の一実施形態に係る電子装置は、入力映像１０、例えば、低解像度映像に対して補間処理２０を行い、補間処理された映像１１を人工知能モデル２０に入力し、残差映像１２を獲得することができる。即ち、人工知能モデル２０は、Ｒｅｓｉｄｕａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋで実現されてよい。

電子装置は、補間処理された映像１１を残差映像１２と組み合わせて出力映像１３、例えば、高解像度映像を獲得することができる。ここで、補間処理は、解像度の低い映像を高い解像度にスケーリングする処理を意味し、例えば、ｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ、ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ、ｂｉｃｕｂｉｃ ｉｎｔｅｒｐｏｌａｔｉｏｎ、ｄｅｃｏｎｖｏｌｕｔｉｏｎ ｉｎｔｅｒｐｏｌａｔｉｏｎ、ｓｕｂｐｉｘｅｌ ｃｏｎｖｏｌｕｔｉｏｎ ｉｎｔｅｒｐｏｌａｔｉｏｎ、ｐｏｌｙｐｈａｓｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ、ｔｒｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ、ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎのうち、少なくとも１つの補間技法が用いられてよい。なお、残差映像（ｒｅｓｉｄｕａｌ ｉｍａｇｅ）は、残差情報のみを含む映像を意味してよい。ここで、残差情報とは、入力映像と基準映像との差による情報として、例えば、エッジ（ｅｄｇｅ）方向、エッジ強度、ノイズ情報又はテクスチャ（ｔｅｘｔｕｒｅ）情報のうち少なくとも１つを含んでよいが、それに限定されない。別の例によって、残差情報は、階調情報、輝度情報又はガンマ情報のうち少なくとも１つを含んでよい。

図１Ｂは、本発明の別の実施形態に係るＳｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ処理のための人工知能モデルの一例を示す。

同図によると、電子装置は、入力映像１０、例えば、低解像度映像を人工知能モデル２０に入力して残差映像１２’を獲得し、入力映像１０に対して補間処理２０を行って補間処理された映像１１を獲得することができる。続いて、電子装置は、補間処理された映像１１を残差映像１２’と結合して出力映像１３、例えば、高解像度映像を獲得することができる。即ち、図１Ｂに示す実施形態によると、図１Ａに示す実施形態と違って、入力映像１０を人工知能モデル２０に入力して残差映像１２’を獲得してよい。

一方、図１Ａ及び図１Ｂに示すＳｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ処理に用いられる人工知能モデル２０は、学習を通じて作られたものであってよい。ここで、学習を通じて作られるとは、基本人工知能モデルが学習アルゴリズムによって複数の学習データを用いて学習されることで、所望の特性（又は、目的）を実行するように設定された予め定義された動作ルール又は人工知能モデルが作られることを意味する。このような学習は、本発明に係る別途のサーバ及び／又はシステムによって行われてよいが、それに限定されず、電子装置で行われてよい。学習アルゴリズムの例としては、教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、半教師あり学習（ｓｅｍｉ−ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）があるが、上述の例に限定されない。

人工知能モデル２０は、例えば、ＣＮＮベースのＶＤＳＲ技術（Ｊｉｗｏｎ Ｋｉｍ,ｅｔ ａｌ.,Ａｃｃｕｒａｔｅ Ｉｍａｇｅ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｕｓｉｎｇ Ｖｅｒｙ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ,ＣＶＰＲ ２０１６）、ＥＤＳＲ（Ｅｎｈａｎｃｅｄ Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｓｉｎｇｌｅ Ｉｍａｇｅ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ）、ＤＲＣＮ（Ｄｅｅｐｌｙ−Ｒｅｃｕｒｓｉｖｅ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｉｍａｇｅ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ.”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ.２０１６.）、ＭＤＳＲ（Ｍｕｌｔｉ−ｓｃａｌｅ ｄｅｅｐ ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ ｓｙｓｔｅｍ）などが用いられてよいが、それに限定されない。

一方、上述のように、人工知能モデル２０に含まれた複数のニューラルネットワークレイヤのそれぞれは、複数のパラメータを含み、人工知能モデル２０は、以前のレイヤの演算結果と複数のパラメータとの間の演算を通じてニューラルネットワーク演算を行ってよい。

ただ、入力映像の特性、例えば、フォーマット、解像度、圧縮率、品質、データ量、入力映像のデータ伝送速度などに基づいて異なるパラメータが用いられてよいため、人工知能モデル２０に含まれたパラメータのリアルタイムアップデートが必要であってよい。しかし、パラメータをアップデートする過程で出力される映像に多様な欠陥（ａｒｔｉｆａｃｔ）が発生し、画質の低下の原因になるという問題があった。

それにより、以下では、人工知能モデル２０に含まれたパラメータのリアルタイムアップデートが必要な場合、それによる画質の低下を防止することができる多様な実施形態について説明する。

図２は、本発明の一実施形態に係る電子装置の構成を示すブロック図である。図２によると、電子装置１００は、メモリ１１０及びプロセッサ１２０を含む。

電子装置１００は、テレビ又はセットトップボックスで実現されてよいが、それに限定されるものではなく、スマートフォン、タブレットパソコン、ノートパソコン、ＨＭＤ（Ｈｅａｄ ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、ＮＥＤ（Ｎｅａｒ Ｅｙｅ Ｄｉｓｐｌａｙ）、ＬＦＤ（Ｌａｒｇｅ Ｆｏｒｍａｔ Ｄｉｓｐｌａｙ）、Ｄｉｇｉｔａｌ Ｓｉｇｎａｇｅ（デジタル看板）、ＤＩＤ（Ｄｉｇｉｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ）、ビデオウォール（ｖｉｄｅｏ ｗａｌｌ）、プロジェクタディスプレイ、カメラ、カムコーダ、プリンタなどのように、映像処理及び／又はディスプレイ機能を備えた装置なら限られずに適用することができる。

電子装置１００は、多様な圧縮映像又は多様な解像度の映像を受信することができる。例えば、映像処理装置１００は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）（例えば、ＭＰ２、ＭＰ４、ＭＰ７など）、ＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）、ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、Ｈ．２６４、Ｈ．２６５、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｅｃ）などで圧縮された形で映像を受信することができる。又は、映像処理装置１００は、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）、Ｆｕｌｌ HD、Ｕｌｔｒａ ＨＤ映像のうち、何れか１つの映像を受信することができる。

メモリ１１０は、本発明の多様な実施形態のために、必要なデータを保存することができる。メモリ１１０は、データの保存用途に応じて、電子装置１００にエンベデッドされたメモリで実現されたり、電子装置１００に着脱自在なメモリで実現されてよい。例えば、電子装置１００の駆動のためのデータである場合、電子装置１００にエンベデッドされたメモリに保存され、電子装置１００の拡張機能のためのデータの場合、電子装置１００に着脱自在なメモリに保存されてよい。一方、電子装置１００にエンベデッドされたメモリである場合、揮発性メモリ（例えば、ＤＲＡＭ（ｄｙｎａｍｉｃ ＲＡＭ）、ＳＲＡＭ（ｓｔａｔｉｃ ＲＡＭ）又はＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ＲＡＭ）など）、非揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ）（例えば、ＯＴＰＲＯＭ（ｏｎｅ ｔｉｍｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ａｎｄ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ａｎｄ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ｍａｓｋ ＲＯＭ、ｆｌａｓｈ ＲＯＭ、フラッシュメモリ（例えば、ＮＡＮＤ ｆｌａｓｈ又はＮＯＲ ｆｌａｓｈなど）、ハードドライブ、又はソリッドステートドライブ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ（ＳＳＤ））のうち少なくとも１つで実現されてよい。なお、電子装置１００に着脱自在なメモリである場合、メモリカード（例えば、ＣＦ（ｃｏｍｐａｃｔ ｆｌａｓｈ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）、Ｍｉｃｒｏ−ＳＤ（Ｍｉｃｒｏ Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）、Ｍｉｎｉ−ＳＤ（ｍｉｎｉ Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）、ｘＤ（ｅｘｔｒｅｍｅ Ｄｉｇｉｔａｌ）、ＭＭＣ（Ｍｕｌｔｉ−Ｍｅｄｉａ Ｃａｒｄ）など）、ＵＳＢポートに接続可能な外部メモリ（例えば、ＵＳＢメモリ）などのような形で実現されてよい。

一例によって、メモリ１１０は、複数のレイヤを含む人工知能モデルに関する情報を保存することができる。ここで、人工知能モデルに関する情報を保存するとは、人工知能モデルの動作に関する多様な情報、例えば、人工知能モデルに含まれた複数のレイヤに関する情報、複数のレイヤのそれぞれで用いられるパラメータに関する情報などを保存することを意味してよい。

別の例によって、メモリ１１０は、外部装置（例えば、ソース装置）、外部保存媒体（例えば、ＵＳＢ）、外部サーバ（例えば、ウェブハード）などから受信された映像を保存することができる。ここで、映像は、デジタル動画であってよいが、それに限られるものではない。

更に別の例によって、メモリ１１０は、映像処理に必要な多様な映像情報、例えば、テクスチャ処理のためのテクスチャ情報、エッジ処理のためのエッジ情報などを保存することができる。なお、メモリ１１０は、映像処理によって生成された最終的な出力映像を保存することもできる。

本発明の一実施形態によると、メモリ１１０は、本発明に係る多様な動作で生成されるデータを保存する単一メモリで実現されてよい。ただ、本発明の別の実施形態によると、メモリ１１０は、複数のメモリを含むように実現されてよい。

プロセッサ１２０は、電子装置１００の動作全般を制御する。プロセッサ１２０は、１つ又は複数のプロセッサで構成されてよい。

一実施形態によって、プロセッサ１３０は、デジタル映像信号を処理するデジタルシグナルプロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ（ＤＳＰ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）プロセッサ、ＮＰＵ（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＣＯＮ（Ｔｉｍｅ ｃｏｎｔｒｏｌｌｅｒ））で実現されてよい。ただ、それに限定されるものではなく、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ（ＣＰＵ））、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒ）、アプリケーションプロセッサ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ（ＡＰ））、又はコミュニケーションプロセッサ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ（ＣＰ））、ＡＲＭプロセッサのうち、１つ又はそれ以上を含むか、当該用語で定義されてよい。なお、プロセッサ１４０は、プロセッシングアルゴリズムの内蔵されたＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）で実現されてよく、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）で実現されてよい。

一方、本発明の一実施形態に係る人工知能モデルを実行するためのプロセッサ１２０は、ＣＰＵ、ＡＰ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのような汎用プロセッサ、ＧＰＵ、ＶＰＵ（Ｖｉｓｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなグラフィック専用プロセッサ又はＮＰＵのような人工知能専用プロセッサであってよい。プロセッサ１２０は、メモリ１１０に保存された予め定義された動作ルール又は人工知能モデルに応じて、入力データを処理するように制御することができる。又は、プロセッサ１２０が人工知能専用プロセッサである場合、人工知能専用プロセッサは、特定の人工知能モデルの処理に特化したハードウェア構造で設計されてよい。

プロセッサ１２０は、入力映像を製造処理して出力映像を獲得する。ここで、入力映像及び出力映像は、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）、Ｆｕｌｌ ＨＤ、ＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像などであってよい。特に、出力映像は、ＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像、例えば、４Ｋ（３８４０ｘ２１６０）映像又は８Ｋ（７６８０ｘ４３２０）又はそれ以上の解像度（例えば、１６Ｋ、３２Ｋ）を有する映像であってよいが、それに限られるものではない。映像処理は、映像改善（ｉｍａｇｅ ｅｎｈａｎｃｅｍｅｎｔ）、映像復元（ｉｍａｇｅ ｒｅｓｔｏｒａｔｉｏｎ）、映像変換（ｉｍａｇｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、映像分析（ｉｍａｇｅ ａｎａｌｙｓｉｓ）、映像認識（ｉｍａｇｅ ｕｎｄｅｒｓｔａｎｄｉｎｇ）又は映像圧縮（ｉｍａｇｅ ｃｏｍｐｒｅｓｓｉｏｎ）のうち、少なくとも１つを含むデジタル映像処理であってよい。

本発明の一実施形態によると、プロセッサ１２０は、人工知能モデルを用いて入力映像を処理することで出力映像を獲得することができる。又は、プロセッサ１２０は、入力映像を前処理（ｐｒｅ−ｐｒｏｃｅｓｓｉｎｇ）し、前処理された映像を人工知能モデルを用いて処理することで出力映像を獲得することができる。ここで、前処理は、補間処理を含んでよいが、必ずしもそれに限られるものではなく、人工知能モデルを用いずに入力映像の画質を向上させることができる多様な映像処理を含んでよい。ただ、以下では、説明の便宜上、入力映像を補間処理するものとして説明する。

一実施形態によって、プロセッサ１２０は、入力映像を補間処理し、補間処理された映像を人工知能モデルを用いて処理した出力映像を獲得することができる。別の実施形態によって、プロセッサ１２０は、入力映像を補間処理することと並行し、入力映像を人工知能モデルに入力して出力映像を獲得することができる。例えば、プロセッサ１２０は、ｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ、ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ、ｂｉｃｕｂｉｃ ｉｎｔｅｒｐｏｌａｔｉｏｎ、ｄｅｃｏｎｖｏｌｕｔｉｏｎ ｉｎｔｅｒｐｏｌａｔｉｏｎ、ｓｕｂｐｉｘｅｌ ｃｏｎｖｏｌｕｔｉｏｎ ｉｎｔｅｒｐｏｌａｔｉｏｎ、ｐｏｌｙｐｈａｓｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ、ｔｒｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ、ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎのうち、少なくとも１つの補間技法を用いて補間処理を行うことができる。

なお、人工知能モデルは、複数のニューラルネットワークレイヤ（例えば、レイヤという）を用いた演算を通じて、入力映像又は補間処理された映像を処理して出力することができる。一例として、人工知能モデルは、残差映像を生成して出力することができる。ここで、複数のレイヤのそれぞれは、異なるパラメータを含むフィルタを用いて補間処理された映像に対する残差映像を生成することができる。ここで、パラメータは、フィルタの重み付け（又は、係数）と同じ意味であってよい。この場合、人工知能モデルは、Ｉｄｅｎｔｉｔｙ Ｆｕｎｃｔｉｏｎ、Ｌｏｇｉｓｔｉｃ Ｓｉｇｍｏｉｄ Ｆｕｎｃｔｉｏｎ、Ｈｙｐｅｒｂｏｌｉｃ Ｔａｎｇｅｎｔ（ｔａｎｈ） Ｆｕｎｃｔｉｏｎ、ＲｅＬＵ Ｆｕｎｃｔｉｏｎ、Ｌｅａｋｙ ＲｅＬＵ Ｆｕｎｃｔｉｏｎなど、多様な活性化関数（Ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）を用いて演算を行うことができる。ただ、人工知能モデルが必ずしも残差映像のみを生成するものではなく、人工知能モデルの実現例によって多様な方式で入力された映像を処理し、処理された映像を出力することができる。

一実施形態によって、プロセッサ１２０は、１つの人工知能モデルを用いて入力映像を処理することができるが、別の実施形態によって、プロセッサ１２０は、複数の人工知能モデルを用いて入力映像を処理することができる。この場合、複数の人工知能モデルは、順次に動作するか、並行して動作することができる。一例として、プロセッサ１２０は、第１人工知能モデルに入力映像を入力し、第１人工知能モデルの出力を第２人工知能モデルに入力した後、第２人工知能モデルから出力される映像に基づいて出力映像を獲得することができる。別の例として、プロセッサ１２０は、第１及び第２人工知能モデルのそれぞれに入力映像を入力し、第１及び第２人工知能モデルから並行して出力される複数の映像に基づいて出力映像を獲得してよい。

例えば、複数の人工知能モデルは、第１残差映像を生成するモデル及び第２残差映像を生成するモデルを含んでよい。又は、複数の人工知能モデルは、解像度のアップスケーリングのためのモデル及びノイズ減少のためのモデルを含んでよい。又は、複数の人工知能モデルは、客体領域処理のためのモデル及び背景領域処理のためのモデルを含んでよい。

プロセッサ１２０は、人工知能モデルから出力される映像、例えば、残差映像及び前処理された映像、例えば、補間処理された映像に基づいて出力映像を獲得することができる。例えば、プロセッサ１２０は、補間処理された映像に含まれたピクセル値及び残差映像に含まれたピクセル値に対応するピクセル単位で合算して出力映像を獲得することができる。又は、プロセッサ１２０は、第１及び第２人工知能モデルからそれぞれ出力される第１及び第２残差映像及び前処理された映像に基づいて出力映像を獲得することもできる。又は、プロセッサ１２０は、第１人工知能モデルから出力される第１残差映像を第２人工知能モデルに入力して獲得された、第２残差映像及び前処理された映像に基づいて出力映像を獲得することもできる。

上述のように、プロセッサ１２０は、入力映像又は補間処理された映像を少なくとも１つの人工知能モデルに入力して残差映像を獲得することができるが、以下では、説明の便宜上、補間処理された映像を１つの人工知能モデルに入力して残差映像を獲得する場合を想定して説明する。ただ、本発明に係る多様な実施形態が入力映像を人工知能モデルに入力して残差映像を獲得する場合、複数の人工知能モデルを用いて残差映像を獲得する場合でも適用できる。

本発明の一実施形態によると、プロセッサ１２０は、人工知能モデルに含まれた複数のレイヤのうち、少なくとも１つで用いられるパラメータのアップデートが必要な場合、第１モード又は第２モードで動作してよい。例えば、リアルタイムで入力される入力映像の特性、例えば、フォーマット、解像度、圧縮率、品質、データ量、入力映像のデータ伝送速度（単位時間に伝送されるデータ量、例えば、ビット／秒（ｂｐｓ））などに基づいて、人工知能モデルに含まれたパラメータのリアルタイムアップデートが必要であってよい。ここで、モードに応じて、入力映像を処理するとは、プロセッサ１２０が各モードで定義された映像処理方式に応じて映像を処理することを意味してよい。例えば、各モードで定義された映像処理方式に対応するインストラクションがメモリ１１０に保存されており、プロセッサ１２０は、各モードで対応するインストラクションを実行して対応する映像処理を行うように動作してよい。

本発明の一実施形態に係る第１モードは、複数のレイヤのうち少なくとも１つで用いられるパラメータがアップデートされる人工知能モデルを用いて処理された映像を用いて出力映像を獲得するモードであり、第２モードは、人工知能モデルを用いずに出力映像を獲得するモードであってよい。

一例によって、第１モードは、複数のレイヤのうち少なくとも１つで用いられるパラメータがアップデートされる人工知能モデルを用いて処理された映像及び補間処理された映像に基づいて、出力映像を獲得するモードであってよい。第２モードは、補間処理された映像に基づいて出力映像を獲得するか、入力映像及び補間処理された映像に基づいて出力映像を獲得するモードであってよい。この場合、第２モードは、人工知能モデルに補間処理された映像を入力しないか、人工知能モデルに補間処理された映像を入力する一方で、人工知能モデルから出力される残差映像を用いずに補間処理された映像のみを用いて出力映像を獲得するように動作することができる。又は、第２モードは、人工知能モデルに入力映像を入力しないか、人工知能モデルに入力映像を入力する一方で、人工知能モデルから出力される残差映像を用いずに補間処理された映像のみを用いるか、補間処理された映像及び入力映像を用いて出力映像を獲得するように動作してよい。

プロセッサ１２０は、人工知能モデルに含まれた複数のレイヤのうち少なくとも１つで用いられるフィルタのパラメータに対するアップデートが必要な場合、フィルタにセットされた従来のパラメータ及びアップデートされる対象パラメータの間の差に基づいて、第１モード又は第２モードを選択することができる。ここで、パラメータ間の差とは、パラメータの数の差、パラメータの数値の差など、アップデート速度に影響を及ぼしかねない多様なプロパティの差であってよい。

プロセッサ１２０は、第１モードが選択されると、複数のレイヤのうち少なくとも１つのレイヤで用いられるパラメータをリアルタイムでアップデートし、パラメータのアップデートに基づいて残りのレイヤのうち少なくとも１つで用いられるパラメータをリアルタイムで補償してよい。ここで、残りのレイヤのうち、少なくとも１つで用いられるパラメータを補償するための補償パラメータは、少なくとも１つの中間レイヤがアップデートされたパラメータを含む人工知能モデルの学習に基づいて獲得されてよい。

この場合、プロセッサ１２０は、少なくとも１つの中間レイヤで用いられるパラメータのリアルタイムアップデートに基づいて複数のレイヤのうち、最初のレイヤ及び最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償してよい。

例えば、プロセッサ１２０は、第１中間レイヤで用いられる第１パラメータがリアルタイムでアップデートされると、第１パラメータのアップデートに基づいて最初のレイヤ及び最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償してよい。続いて、プロセッサ１２０は、第１中間レイヤがアップデートされた後、第２中間レイヤで用いられる第２パラメータがリアルタイムでアップデートされると、第１パラメータ及び第２パラメータのアップデートに基づいて最初のレイヤ及び最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償してよい。ここで、パラメータがアップデートされるレイヤの順番は、ランダムで決まるか、各レイヤのパラメータ数、各レイヤの特性などに基づいて決まってよい。

一例によって、プロセッサ１２０は、第２モードで動作する間、人工知能モデルに含まれた第１中間レイヤで用いられる第１パラメータをアップデートし、最初のレイヤ及び最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償し、第２中間レイヤで用いられる第２パラメータがリアルタイムでアップデートされると、アップデートされた第１パラメータ及び第２パラメータに基づいて、最初のレイヤ及び最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償してよい。

別の例によって、プロセッサ１２０は、第２モードで動作する間、人工知能モデルに含まれた第１中間レイヤで用いられる第１パラメータをアップデートして第２モードを第１モードに切り替え、第１モードにおいて第２中間レイヤで用いられる第２パラメータがリアルタイムでアップデートされると、第１パラメータ及び第２パラメータのアップデートに基づいて、最初のレイヤ及び最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償してよい。即ち、プロセッサ１２０は、第１モード及び第２モードを混合した混合モードでパラメータのアップデート及び補償動作を行ってよい。

図３Ａないし図３Ｃは、本発明の一実施形態に係る第１モードにおける動作を説明するための図である。

図３Ａは、本発明の一実施形態に係る第１モードにおける基本動作を説明するための図である。

プロセッサ１２０は、第１モードが選択されると、人工知能モデル３１０に含まれた複数のレイヤのうち、パラメータのアップデートが必要な少なくとも１つのレイヤに対するパラメータのアップデートを順次に行うことができる。この場合。プロセッサ１２０は、中間レイヤのパラメータを先に補償し、最初のレイヤ（Ｌａｙｅｒ １）及び最後のレイヤ（Ｌａｙｅｒ Ｎ）で用いられるパラメータは、最も後で補償することができる。それは、最初のレイヤ（Ｌａｙｅｒ １）及び最後のレイヤ（Ｌａｙｅｒ Ｎ）で用いられるパラメータの数が他のレイヤのパラメータの数より少ないため、パラメータの補償がより容易になるためである。例えば、ＣＮＮの場合、各畳み込みレイヤのチャネル数と同じ数のフィルタ（又は、カーネル）を用いて、入力端と出力端との近くの畳み込みレイヤにおけるチャネル数が相対的に少ないため、フィルタの数も少ないし、それにより、フィルタ係数、即ち、パラメータの数が相対的に少なくなる。それは、畳み込みレイヤのパラメータ数が「入力チャネル数＊フィルタ幅＊フィルタの高さ＊フィルタ数（出力チャネル数）」で計算されるためである。

一例として、人工知能モデルに含まれた複数のレイヤのそれぞれで用いられるフィルタの数が６４個である場合を仮定する。一例によって入力される映像がＲＧＢ映像である場合、最初のレイヤの入力チャネル数は３個（別の例によって、Ｌｕｍａ映像である場合、最初のレイヤの入力チャネル数は１個）であり、最初のレイヤで適用されるフィルタの大きさが３＊３であり、フィルタ数が６４個であるため、最初のレイヤで用いられるパラメータの数は３＊３＊３＊６４個になる。なお、最初のレイヤの出力チャネル数が６４個であるため、２番目のレイヤの入力チャネル数は６４個であり、それにより、２番目のレイヤで用いられるパラメータの数は６４＊３＊３＊６４個のように増加するようになる。

別の例として、人工知能モデルに含まれた複数のレイヤのそれぞれで用いられるフィルタの数が１２８個であり、入力映像がＬｕｍａ映像である場合を想定すると、最初のレイヤの入力チャネル数は１個であり、最初のレイヤで適用されるフィルタの大きさが３＊３であり、フィルタ数が１２８個であるため、最初のレイヤで用いられるパラメータの数は１＊３＊３＊１２８個になる。なお、最初のレイヤの出力チャネル数が１２８個であるため、２番目のレイヤの入力チャネル数は１２８個であり、それにより、２番目のレイヤで用いられるパラメータの数は１２８＊３＊３＊１２８個のように増加するようになる。

なお、出力端では、元のチャネル数に戻ることになるため、入力端と出力端との畳み込みレイヤに対応するパラメータ数が他の畳み込みレイヤで用いられるパラメータ数より相対的に少なくなる。一例によって、ＶＤＣＮＮの場合、最初の畳み込みレイヤや最後の畳み込みレイヤ対比、他の畳み込みレイヤのパラメータ数が６４倍大きく実現されてよい。なお、ＥＤＳＲの場合、最初の畳み込みレイヤや最後の畳み込みレイヤ対比、他の畳み込みレイヤのパラメータ数が１８２０倍大きく実現されてよい。ただ、それは一実施形態に過ぎず、人工知能モデルは、入力端の近くのレイヤは、フィルタ数が少なく、入力端から遠のくほどフィルタ数が増加するように実現されてよい。

図３Ａでは、２番目のレイヤ（Ｌａｙｅｒ ２）で用いられるパラメータのアップデートが必要な場合を仮定している。

この場合、プロセッサ１２０は、第２レイヤ（Ｌａｙｅｒ ２）で用いられるパラメータをアップデートしつつ、残りのレイヤのうち少なくとも１つ、例えば、図３Ａに示すように、最初のレイヤ（Ｌａｙｅｒ １）及び最後のレイヤ（Ｌａｙｅｒ ２）で用いられるパラメータをそれぞれ補償してよい。即ち、最初のレイヤ（Ｌａｙｅｒ １）及び最後のレイヤ（Ｌａｙｅｒ Ｎ）で用いられるパラメータを補償のための一時パラメータに置き換えることができる。それは、複数のレイヤのそれぞれで用いられるパラメータは相互関連しており、最適の出力映像を出力するように学習されたものであるため、２番目のレイヤ（Ｌａｙｅｒ ２）で用いられるパラメータのみをアップデートすると、出力映像にａｒｔｉｆａｃｔが生じるためである。

具体的に、プロセッサ１２０は、最初のレイヤ（Ｌａｙｅｒ １）及び最後のレイヤ（Ｌａｙｅｒ Ｎ）のそれぞれのパラメータを２番目のレイヤ（Ｌａｙｅｒ ２）でアップデートされたパラメータを補償するための補償パラメータに置き換えることができる。ここで、別のレイヤでアップデートされたパラメータを補償するための補償パラメータは、学習に基づいて獲得されてよい。この場合、補償パラメータを獲得するための学習は、電子装置１００、外部装置又は外部サーバのうち少なくとも１つからなってよい。例えば、説明の便宜上、外部サーバで学習が行われる場合を想定する。外部サーバは、人工知能モデルに含まれた複数のレイヤのうち、少なくとも１つで用いられるパラメータをアップデートした後、残りのレイヤのパラメータを学習して補償パラメータを獲得することができる。この場合、外部サーバは、人工知能モデルに含まれた複数のレイヤのうち少なくとも１つで用いられるパラメータが新しいパラメータにアップデートされたとしても、人工知能モデルがａｒｔｉｆａｃｔのない映像を出力するように残りのレイヤのパラメータを学習してよい。例えば、外部サーバは、２番目のレイヤのパラメータを新しいパラメータにアップデートして固定し、残りの中間レイヤのパラメータは従来のパラメータとして固定させた後、最初及び最後のレイヤのパラメータを学習し、対応する補償パラメータを獲得することができる。なお、外部サーバは、２番目のレイヤ及び３番目のレイヤのパラメータを新しいパラメータにアップデートして固定し、残りの中間レイヤのパラメータは従来のパラメータとして固定させた後、最初及び最後のレイヤのパラメータを学習し、対応する補償パラメータを獲得することができる。外部サーバは、このように、学習に基づいて獲得された補償用パラメータを電子装置１００に提供することができる。

一方、一実施形態によって、映像が人工知能モデルにフレーム単位で入力される場合、プロセッサ１２０は、少なくとも１つのフレームが入力される間、２番目のレイヤ（Ｌａｙｅｒ ２）のパラメータをアップデートすることができる。例えば、１つのフレームが入力される間、レイヤ（Ｌａｙｅｒ ２）のパラメータを全てアップデートすることができるが、場合によって複数のフレームが入力される間、レイヤ（Ｌａｙｅｒ ２）のパラメータを分けてアップデートすることもできる。例えば、プロセッサ１２０は、Ｖ ｓｙｎｃ Ｓｉｇｎａｌ（ｖｅｒｔｉｃａｌ ｓｙｎｃｈｒｏｎｉｚｉｎｇ ｓｉｇｎａｌ）又はＨ ｓｙｎｃ ｓｉｇｎａｌ（ｈｏｒｉｚｏｎｔａｌ ｓｙｎｃｈｒｏｎｉｚｉｎｇ ｓｉｇｎａｌ）のうち少なくとも一方に基づいて、ブランク区間でパラメータのアップデートを行うことができるが、必ずしもそれに限られるものではない。

なお、プロセッサ１２０は、少なくとも１つのフレームが入力される間、２番目のレイヤ（Ｌａｙｅｒ ２）のパラメータをアップデートし、最初のレイヤ（Ｌａｙｅｒ １）及び最後のレイヤ（Ｌａｙｅｒ Ｎ）のそれぞれのパラメータを補償することができる。例えば、１つのフレームが入力される間、レイヤ（Ｌａｙｅｒ ２）のパラメータを全てアップデートし、最初のレイヤ（Ｌａｙｅｒ １）及び最後のレイヤ（Ｌａｙｅｒ Ｎ）のそれぞれのパラメータをいずれも補償することができる。しかし、場合によって、１つのフレームが入力される間、レイヤ（Ｌａｙｅｒ ２）のパラメータを全てアップデートし、次のフレームが入力される間、最初のレイヤ（Ｌａｙｅｒ １）及び最後のレイヤ（Ｌａｙｅｒ Ｎ）のそれぞれのパラメータを補償することもできる。なお、最初のレイヤ（Ｌａｙｅｒ １）及び最後のレイヤ（Ｌａｙｅｒ Ｎ）のそれぞれのパラメータの補償も、少なくとも１つのフレーム、例えば、複数のフレームにまたがって行われることもできる。

図３Ｂは、本発明の一実施形態に係る第１モードにおける順次のパラメータのアップデート動作を説明するための図である。

図３Ｂの最初のラインは、人工知能モデル３１０に含まれた複数のレイヤのそれぞれに予めセットされたパラメータによって映像処理が行われる場合を示すものである。

続いて、人工知能モデル３１０に含まれた複数のレイヤのうち、少なくとも１つで用いられるパラメータに対するアップデートが必要なイベントが発生することがある。例えば、入力映像のデータ伝送速度が変更されたり、入力映像のフォーマットが変更され、人工知能モデル３１０に含まれたパラメータを新しいパラメータセットに基づいてセットしなければならないことが生じることがある。

この場合、プロセッサ１２０は、図３Ｂの２番目のラインに示すように、中間レイヤのうちの１つ、例えば、２番目のレイヤのパラメータを新しいパラメータセット、例えば、変更された入力映像のフォーマットに対応するパラメータセットに基づいてアップデートし、最初及び最後のレイヤのパラメータを一時パラメータ０に置き換えて２番目のレイヤのパラメータのアップデートを補償することができる。ここで、一時パラメータ０は、２番目のレイヤのパラメータを新しいパラメータに置き換え、残りの中間レイヤのパラメータは、従来のパラメータとして維持させた状態で、最初及び最後のレイヤのパラメータを学習して獲得されてよい。

続いて、プロセッサ１２０は、図３Ｂの３番目のラインに示すように、アップデートが必要な次のレイヤ、例えば、４番目のレイヤのパラメータを新しいパラメータセットに基づいてアップデートし、最初及び最後のレイヤのパラメータを一時パラメータ１に置き換えて補償することができる。ここで、一時パラメータ１は、２番目及び４番目のレイヤのパラメータを新しいパラメータに置き換えて残りの中間レイヤのパラメータは、従来のパラメータとして維持させた状態で、最初及び最後のレイヤのパラメータを学習して獲得されてよい。このような方式で、プロセッサ１２０は、図３Ｂの３番目のラインに示すように、残りの中間レイヤ、例えば、３番目のレイヤのパラメータもアップデートし、最初及び最後のレイヤのパラメータを一時パラメータ２に置き換えて補償することができる。ここで、一時パラメータ２は、アップデートが必要な全ての中間レイヤのパラメータを新しいパラメータに置き換え、最初のレイヤ及び最後のレイヤのパラメータを学習して獲得されてよい。

上述の方式でアップデートが必要な中間レイヤのパラメータがいずれもアップデートされると、プロセッサ１２０は、図３Ｂの最後のラインに示すように、最初及び最後のレイヤのパラメータもアップデートすることができる。例えば、アップデートが必要な全ての中間レイヤ及び最初のレイヤ（又は、最後のレイヤ）のパラメータを新しいパラメータセットに基づいてアップデートし、最後のレイヤ（又は、最初のレイヤ）のパラメータを一時パラメータ３に置き換えて補償することができる。ここで、一時パラメータ３は、アップデートが必要な全ての中間レイヤ及び最初のレイヤ（又は、最後のレイヤ）のパラメータを新しいパラメータに置き換えて最後のレイヤ（又は、最初のレイヤ）のパラメータを学習して獲得されてよい。

図３Ｃは、本発明の別の実施形態に係る第１モードにおける順次のパラメータのアップデート動作を説明するための図である。

図３Ｂでは、最初のレイヤ及び最後のレイヤのパラメータが最後にアップデートされるものとして説明したが、必ずしもそれに限定されるものではない。

例えば、図３Ｃの３番目のラインまでの動作は、図３Ｂの３番目のラインまでの動作と同じだが、図３Ｃの４番目のラインに示すように、中間レイヤのうち一部のレイヤのパラメータがアップデートされた後、最初のレイヤのパラメータがアップデートされ、図３Ｃの最後のラインに示すように、中間レイヤのうち残りのレイヤのパラメータがアップデートされた後、最後のレイヤのパラメータがアップデートされてよい。

この場合、図３Ｃの４番目及び最後のラインでは、既に１番目のレイヤのパラメータがアップデートされた状態であるため、最後のレイヤのパラメータのみが補償パラメータに置き換えられてよい。続いて、最後のレイヤのパラメータがアップデートされると、パラメータのアップデート動作が完了してよい。

図４は、本発明の別の実施形態に係る第１モードにおける動作を説明するための図である。

図３Ａないし図３Ｃでは、１つのレイヤで用いられるパラメータが全てアップデートされた後、次のレイヤのパラメータがアップデートされるものとして説明したが、本発明の別の実施形態によると、少なくとも２つ以上のレイヤで用いられるパラメータが同時にアップデートされることも可能である。

図４の最初のラインは、人工知能モデル３１０に含まれた複数のレイヤのそれぞれに予めセットされた従来のパラメータによって映像処理が行われる場合を示すものである。

続いて、人工知能モデル３１０に含まれた複数のレイヤで用いられるパラメータに対するアップデートが必要なイベントが発生することがある。例えば、データ伝送速度が変更されるか、映像の解像度、データ量又は映像の品質が変更される場合、人工知能モデル３１０に含まれたパラメータを新しいパラメータセットに基づいてセットしなければならない場合が発生することがある。

この場合、図４の２番目のラインに示すように、プロセッサ１２０は、少なくとも１つのフレームが入力される間、２番目のレイヤ（Ｌａｙｅｒ ２）のパラメータのうちの一部及び４番目のレイヤ（Ｌａｙｅｒ ４）のパラメータのうちの一部をアップデートし、最初のレイヤ（Ｌａｙｅｒ １）及び最後のレイヤ（Ｌａｙｅｒ Ｎ）のそれぞれのパラメータを一時パラメータ０に置き換えて補償することができる。例えば、１つのフレームが入力される間、２番目のレイヤ（Ｌａｙｅｒ ２）のパラメータのうちの一部及び４番目のレイヤ（Ｌａｙｅｒ ４）のパラメータのうちの一部をアップデートし、最初のレイヤ（Ｌａｙｅｒ １）及び最後のレイヤ（Ｌａｙｅｒ Ｎ）のそれぞれのパラメータをいずれも補償することができる。しかし、場合によって、１つのフレームが入力される間、２番目のレイヤ（Ｌａｙｅｒ ２）のパラメータのうちの一部及び４番目のレイヤ（Ｌａｙｅｒ ４）のパラメータのうちの一部をアップデートし、次のフレームが入力される間、最初のレイヤ（Ｌａｙｅｒ １）及び最後のレイヤ（Ｌａｙｅｒ Ｎ）のそれぞれのパラメータを補償することもできる。この場合、一時パラメータ０は、２番目のレイヤ（Ｌａｙｅｒ ２）のパラメータのうちの一部及び４番目のレイヤ（Ｌａｙｅｒ ４）のパラメータのうちの一部を新しいパラメータに置き換え、残りの中間レイヤのパラメータは、従来のパラメータとして維持させた状態で、最初及び最後のレイヤのパラメータを学習して獲得されてよい。

続いて、図４の３番目のラインに示すように、プロセッサ１２０は、次の少なくとも１つのフレームが入力される間、２番目のレイヤ（Ｌａｙｅｒ ２）のパラメータのうちの残り及び４番目のレイヤ（Ｌａｙｅｒ ４）のパラメータのうちの残りをアップデートし、最初のレイヤ（Ｌａｙｅｒ １）及び最後のレイヤ（Ｌａｙｅｒ Ｎ）のそれぞれのパラメータを一時パラメータ１に置き換えて補償することができる。この場合、一時パラメータ１は、２番目のレイヤ（Ｌａｙｅｒ ２）のパラメータ及び４番目のレイヤ（Ｌａｙｅｒ ４）のパラメータをいずれも新しいパラメータに置き換え、残りの中間レイヤのパラメータは、従来のパラメータとして維持させた状態で、最初及び最後のレイヤのパラメータを学習して獲得されてよい。

２番目のレイヤ（Ｌａｙｅｒ ２）のパラメータ及び４番目のレイヤ（Ｌａｙｅｒ ４）のパラメータがいずれもアップデートされた後、継続した動作に応じて最初のレイヤ（Ｌａｙｅｒ １）、３番目のレイヤ（Ｌａｙｅｒ ３）及び最後のレイヤ（Ｌａｙｅｒ Ｎ）のパラメータのアップデートのみが残ったものとして仮定する。

この場合、図４の４番目のラインに示すように、プロセッサ１２０は、次の少なくとも１つのフレームが入力される間、他のレイヤ、例えば、最初のレイヤ（Ｌａｙｅｒ １）のパラメータのうちの一部及び３番目のレイヤ（Ｌａｙｅｒ ３）のパラメータのうちの一部をアップデートし、最後のレイヤ（Ｌａｙｅｒ Ｎ）のパラメータを一時パラメータ２に置き換えて補償することができる。

続いて、図４の最後のラインに示すように、プロセッサ１２０は、次の少なくとも１つのフレームが入力される間、最初のレイヤ（Ｌａｙｅｒ １）のパラメータのうちの残り及び３番目のレイヤ（Ｌａｙｅｒ ３）のパラメータのうちの残りをアップデートし、最後のレイヤ（Ｌａｙｅｒ Ｎ）のそれぞれのパラメータを一時パラメータ３に置き換えて補償することができる。

一方、上述の実施形態においては、パラメータのアップデート及びパラメータの補償動作が、特定のフレーム区間にまたがって行われるものとして説明したが、パラメータのアップデート及びパラメータの補償動作は、１つのフレーム区間の一部、１つのフレーム全区間、又は複数のフレーム区間など、必要な時間に基づいて行われることができる。

図５Ａないし図５Ｃは、本発明の多様な実施形態に係る第２モードにおける動作を説明するための図である。

図５Ａに示すように、本発明の一実施形態によると、プロセッサ１２０は、第２モードで補間処理された映像を人工知能モデルに入力せずに、補間処理された映像のみを用いて出力映像を生成することができる。ここで、人工知能モデルは、上述のように、残差映像を生成するモデルを意味し、第２モードでは、当該人工知能モデルをバイパスする映像処理ルートを用いるだけで、場合によっては、補間処理された映像に対する一種の後処理が行われることができる。

図５Ｂに示すように、本発明の別の実施形態によると、プロセッサ１２０は、第２モードで補間処理された映像を人工知能モデルに入力する一方で、人工知能モデルから出力される残差映像を用いずに補間処理された映像のみを用いて出力映像を生成することができる。例えば、プロセッサ１２０は、第２モードで人工知能モデルのパラメータをアップデートせずに従来の映像処理方式と同様に補間処理された映像を人工知能モデルに入力する一方で、人工知能モデルから出力される残差映像を用いずに出力映像を生成することができる。

図５Ｃに示すように、本発明の更に別の実施形態によると、プロセッサ１２０は、第２モードで入力映像の補間処理と並行して入力映像を人工知能モデルに入力する一方で、人工知能モデルから出力される残差映像を用いずに補間処理された映像のみを用いて出力映像を生成することができる。ただ、更に別の実施形態によると、第２モードで入力映像を人工知能モデルに入力せずに、補間処理された映像のみを用いて出力映像を生成するか、入力映像及び補間処理された映像を同時に用いて出力映像を生成することができる。

図６は、本発明の別の実施形態によって、第１モード及び第２モードを混合した混合モードにおける動作を説明するための図である。

本発明の一実施形態に係る混合モードでプロセッサ１２０は、人工知能モデルのパラメータのアップデートが必要な場合、プロセッサ１２０は、まず第２モードで動作することができる。即ち、人工知能モデルに補間処理された映像を入力しないか、人工知能モデルから出力される残差映像を用いずに補間処理された映像のみを用いて出力映像を獲得することができる。ただ、プロセッサ１２０は、第２モードで動作する間、人工知能モデルに含まれた少なくとも１つの第１中間レイヤで用いられる第１パラメータをアップデートして第２モードを第１モードに切り替えることができる。続いて、プロセッサ１２０は、第１モードにおいて第２中間レイヤで用いられる第２パラメータがリアルタイムでアップデートされると、第２モードでアップデートされた第１パラメータ及び第２モードでアップデートされた第２パラメータに基づいて、最初のレイヤ及び最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償することができる。

例えば、図６の最初のラインは、人工知能モデル３１０に含まれた複数のレイヤのそれぞれに予めセットされたパラメータによって映像処理が行われる場合を示したものである。

続いて、人工知能モデル３１０に含まれた複数のレイヤのうち少なくとも１つで用いられるパラメータに対するアップデートが必要なイベントが発生することがある。例えば、入力映像のデータ伝送速度が変更されたり、入力映像のフォーマット、解像度、圧縮率、品質、データ量などが変更され、人工知能モデル３１０に含まれたパラメータを新しいパラメータセットに基づいてセットしなければならない場合が発生することがある。

この場合、プロセッサ１２０は、図６の２番目のラインに示すように、第２モードで動作し、図６の３番目のラインに示すように、第２モードで動作する間、中間レイヤのうち少なくとも１つ、例えば、２番目のレイヤのパラメータを新しいパラメータセットに基づいてアップデートすることができる。即ち、入力される映像フレームに対して補間処理された映像フレームのみを用いて出力映像フレームを生成しつつ、それと別途に人工知能モデル３１０に含まれた２番目のレイヤのパラメータをアップデートすることができる。

続いて、プロセッサ１２０は、図６の４番目のラインに示すように、第２モードを第１モードに切り替え、中間レイヤのうち少なくとも別の１つ、例えば、４番目のレイヤのパラメータを新しいパラメータセットに基づいてアップデートしつつ、最初のレイヤ及び最後のレイヤのパラメータを一時パラメータ０に置き換えて補償することができる。この場合、第１モードで動作しているため、プロセッサ１２０は、補間処理された映像だけでなく、人工知能モデル３１０から出力される補間映像を同時に用いて出力映像を獲得することができる。

続いて、プロセッサ１２０は、図６の５番目のラインに示すように、第１モードで中間レイヤのうち少なくとも更に別の１つ、例えば、３番目のレイヤのパラメータを新しいパラメータセットに基づいて追加でアップデートしつつ、最初のレイヤ及び最後のレイヤのパラメータを一時パラメータ１に置き換えて補償することができる。

上述の方式で、アップデートが必要な中間レイヤのパラメータがいずれもアップデートされると、プロセッサ１２０は、図６の最後のラインに示すように、最初及び最後のレイヤのパラメータもアップデートすることができる。

上述の実施形態のように、プロセッサ１２０は、パラメータのアップデートが必要な場合、第１モードをベースとするが、特定の時点で第２モードで動作する混合モードで動作することができる。それは、特定の時点で第１モードの結果が第２モードの結果より結果が良くないおそれがあるためである。それにより、プロセッサ１２０は、第１モード及び第２モードを適切に混合して動作することで、出力映像の画質劣化を最小化させることができる。

一方、上述の実施形態では、人工知能モデル３１０が１つである場合を想定して説明したが、別の実施形態によると、プロセッサ１２０が複数の人工知能モデルを順次に又は平行して動作させるように実現されてよい。この場合、プロセッサ１２０は、複数の人工知能モデルのそれぞれに含まれたパラメータのアップデートが必要な場合、上述の多様な実施形態によって複数の人工知能モデルのそれぞれに含まれたパラメータのアップデートを順次に行うか、並行して行ってよい。例えば、プロセッサ１２０は、第１人工知能モデルに含まれたパラメータのアップデートを上述の多様な実施形態によって行った後、第２人工知能モデルに含まれたパラメータのアップデートを上述の多様な実施形態によって行ってよい。又は、プロセッサ１２０は、第１人工知能モデル及び第２人工知能モデルのそれぞれに含まれたパラメータのアップデートを並行して行ってよい。この場合、プロセッサ１２０は、第１人工知能モデル及び第２人工知能モデルのそれぞれに対して同じ方式又は異なる方式でパラメータのアップデートを行ってよい。例えば、プロセッサ１２０は、第１人工知能モデルに対しては図３Ｂに示す方式で、第２人工知能モデルに対しては図３Ｃに示す方式でパラメータのアップデートを行ってよい。

図７は、本発明の一実施形態に係る人工知能モデルの別の例を説明するための図である。

図１ないし図６では、超解像度（ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ）処理の場合を例に挙げて説明したが、本発明に係る実施形態は、当該映像処理だけでなく、人工知能モデルを用いる多様な映像処理に適用されてよい。例えば、Ｓｔｙｌｅ Ｔｒａｎｓｆｅｒ処理にも、本発明に係る実施形態が適用されてよい。Ｓｔｙｌｅ Ｔｒａｎｓｆｅｒとは、２つの映像（ｃｏｎｔｅｎｔｓ ｉｍａｇｅ＆ｓｔｙｌｅ ｉｍａｇｅ）が与えられた際、そのイメージの主な形態は、ｃｏｎｔｅｎｔｓ ｉｍａｇｅと類似するように維持しつつ、スタイルのみが所望のｓｔｙｌｅ ｉｍａｇｅと類似するように変える処理を意味する。

例えば、図７に示すように、同図に示すような複数のレイヤを含むＣＮＮベースの人工知能モデル（“Ｐｅｒｃｅｐｔｕａｌ Ｌｏｓｓｅｓ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ｓｔｙｌｅ Ｔｒａｎｓｆｅｒ”（Ｊｕｓｔｉｎ Ｊｏｈｎｓｏｎ, Ａｌｅｘａｎｄｒｅ Ａｌａｈｉ, ａｎｄ Ｌｉ Ｆｅｉ−Ｆｅｉ））を用いてＳｔｙｌｅ Ｔｒａｎｓｆｅｒ処理を行うことができ、人工知能モデルに含まれた複数のレイヤのうち少なくとも１つのレイヤに対するパラメータのアップデートが必要な場合、例えば、適用するｓｔｙｌｅが変更される場合、本発明に係る多様な実施形態を適用してパラメータをアップデートすることができる。

図８は、本発明の一実施形態に係るプロセッサの実現例を説明するための図である。

本発明の一実施形態に係るプロセッサ１２０は、ＣＰＵ、ＡＰ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのような汎用プログラム、ＧＰＵ、ＶＰＵ（Ｖｉｓｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなグラフィック専用プロセッサ又はＮＰＵのような人工知能専用プロセッサであってよい。

ただ、本発明の別の実施形態によると、プロセッサ１２０は、特定の人工知能モデルの処理に特化した専用ハードウェアとして設計されてよい。例えば、ニューラルネットワークが複雑でリアルタイムの動作が重要な場合は、主に専用のハードウェアを使うようになるが、この場合、パラメータのアップデート速度を早く実現することがより困難になる。それにより、専用ハードウェアの場合、パラメータを内部のレジスタ（ｒｅｇｉｓｔｅｒ）に保存するか、固定された値のニューラルネットワークモデルのみが動作するように実現されてよい。しかし、本発明の多様な実施形態によると、プロセッサ１２０が専用ハードウェアで実現されたとしても、パラメータのアップデート速度を早く実現することができるようになる。

図８は、プロセッサ１２０が専用のハードウェアで設計された場合の例示を示す。例えば、図８に示す専用のハードウェア８００は、ＡＳＩＣ、ＦＰＧＡなどのハードウェアチップで設計されてよい。図示のように、リアルタイムの処理のために、外部メモリ、例えば、ｄｒａｍのｌａｔｅｎｃｙを考慮するように実現され、中間結果は、内部メモリ、例えば、ｓｒａｍに保存して処理するように実現されてよい。

図９は、本発明の一実施形態に係る電子装置の動作を概略に説明するための図である。

同図によると、電子装置１００は、入力映像に対する情報に基づいて、人工知能モデルに含まれた複数のレイヤで用いられるパラメータセットに対するアップデートが必要か否かを判断する。

電子装置１００は、アップデートが必要でない場合、ノーマルモード（Ｎｏｒｍａｌ Ｍｏｄｅ）で動作し、アップデートが必要な場合、アップデートモード（Ｕｐｄａｔｅ Ｍｏｄｅ）で動作することができる。

ここで、ノーマルモードは、予めセットされたパラメータを含む人工知能モデルを用いて入力映像を処理するモードであってよい。例えば、電子装置１００は、ノーマルモードで入力映像を補間処理し、予めセットされたパラメータを含む人工知能モデルに補間処理された映像を入力して獲得された残差映像及び補間処理された映像に基づいて出力映像を獲得することができる。

アップデートモードは、第１モード及び第２モードを含んでよく、電子装置１００は、従来のパラメータ及びアップデートされるパラメータの間の差に基づいて、第１モード又は第２モードを選択することができる。第１モード及び第２モードに対しては、上記で詳細に説明しているため、説明を省略する。

それにより、電子装置１００は、ノーマルモード、第１モード又は第２モードのうちいずれかのモードに基づいて入力映像を処理し、出力映像を獲得することができる。ここで、出力映像は、４Ｋ又は８Ｋ以上の高解像度映像であってよい。

図１０は、本発明の一実施形態に係る電子装置の一実現例を示す図である。図１０によると、電子装置１００’は、メモリ１１０、プロセッサ１２０、入力部１３０、ディスプレイ１４０、出力部１５０及びユーザインターフェース１６０を含む。同図に示す構成のうち、図２に示す構成と重複する構成については、詳細な説明を省略する。

プロセッサ１２０は、場合によって、入力映像の補間処理前に追加の前処理を行うことができる。一例によって、プロセッサ１２０は、入力映像のノイズを除去するフリーフィルタリングを更に行うことができる。例えば、ガウシアンフィルタのようなスムージングフィルタ（Ｓｍｏｏｔｈｉｎｇ Ｆｉｌｔｅｒ）、入力映像を予め設定されたガイダンス（ｇｕｉｄａｎｃｅ）に対比させ、フィルタリングするガイデッド（ｇｕｉｄｅｄ）フィルタなどを用いて目立つノイズを除去することができる。

入力部１３０には、多様なタイプのコンテンツが入力される。例えば、入力部１３０は、ＡＰベースのＷｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ ＬＡＮネットワーク）、ブルートゥース（登録商標（Ｂｌｕｅｔｏｏｔｈ））、Ｚｉｇｂｅｅ、有／無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、イーサネット（登録商標（Ｅｔｈｅｒｎｅｔ））、ＩＥＥＥ １３９４、ＨＤＭＩ（登録商標（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ））、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）、ＡＥＳ／ＥＢＵ（Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ／Ｅｕｒｏｐｅａｎ Ｂｒｏａｄｃａｓｔｉｎｇ Ｕｎｉｏｎ）、オプティカル（Ｏｐｔｉｃａｌ）、コアキシャル（Ｃｏａｘｉａｌ）などのような通信方式を通じて外部装置（例えば、ソース装置）、外部保存媒体（例えば、ＵＳＢメモリ）、外部サーバ（例えば、ウェブハード）などからストリーミング又はダウンロード方式で映像信号を入力されることができる。ここで、映像信号は、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）、Ｆｕｌｌ ＨＤ又はＵｌｔｒａ ＨＤ映像のうちいずれか１つのデジタル映像信号であってよいが、それに限られるものではない。

なお、入力部１３０は、入力される映像の情報に対応するパラメータセット、一部のパラメータのリアルタイムのアップデートを補償するための補償パラメータなど、本発明の多様な実施形態に関連するパラメータ情報を外部サーバから受信することができる。

ディスプレイ１４０は、自発光素子を含むディスプレイ又は非自発光素子及びバックライトを含むディスプレイで実現されてよい。例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）ディスプレイ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）、マイクロＬＥＤ（ｍｉｃｒｏ ＬＥＤ）、Ｍｉｎｉ ＬＥＤ、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、ＱＤ（Ｑｕａｎｔｕｍ ｄｏｔ）ディスプレイ、ＱＬＥＤ（Ｑｕａｎｔｕｍ ｄｏｔ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅｓ）などのような多様なディスプレイで実現されてよい。ディスプレイ１４０内には、ａ−ｓｉ ＴＦＴ、ＬＴＰＳ（ｌｏｗ ｔｅｍｐｅｒａｔｕｒｅ ｐｏｌｙ ｓｉｌｉｃｏｎ） ＴＦＴ、ＯＴＦＴ（ｏｒｇａｎｉｃ ＴＦＴ）などのような形態で実現される駆動回路、バックライトユニットなども一緒に含まれてよい。一方、ディスプレイ１４０は、タッチセンサと組み合わせられたタッチスクリーン、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、ローラーブルディスプレイ（ｒｏｌｌａｂｌｅ ｄｉｓｐｌａｙ）、３次元ディスプレイ（３D ｄｉｓｐｌａｙ）、複数のディスプレイモジュールが物理的に接続されたディスプレイなどで実現されてよい。プロセッサ１２０は、上述の多様な実施形態によって獲得された出力映像を出力するようにディスプレイ１４０を制御することができる。ここで、出力映像は、４Ｋ又は８Ｋ以上の高解像度映像であってよい。

出力部１５０は、音響信号を出力する。例えば、出力部１５０は、プロセッサ１２０で処理されたデジタル音響信号をアナログ音響信号に変換及び増幅して出力することができる。例えば、出力部１５０は、少なくとも１つのチャネルを出力することができる、少なくとも１つのスピーカユニット、Ｄ／Ａコンバータ、オーディオアンプ（ａｕｄｉｏ ａｍｐｌｉｆｉｅｒ）などを含んでよい。一例によって、出力部１５０は、多様なマルチチャネル音響信号を出力するように実現されてよい。この場合、プロセッサ１２０は、入力映像のエンハンス処理に対応するように入力された音響信号をエンハンス処理して出力するように出力部１５０を制御することができる。例えば、プロセッサ１２０は、入力された２チャネル音響信号を仮想のマルチチャネル（例えば、５．１チャネル）音響信号に変換したり、電子装置１００’の置かれた位置を認識して空間に最適化された立体音響信号に処理したり、入力映像のタイプ（例えば、コンテンツジャンル）によって最適化された音響信号を提供することができる。

ユーザインターフェース１６０は、ボタン、タッチパッド、マウス及びキーボードのような装置で実現されたり、上述のディスプレイ機能及び操作入力機能も一緒に実行可能なタッチスクリーン、リモコン送受信部などで実現されてよい。リモコン送受信部は、赤外線通信、ブルートゥース通信又はＷｉ−Ｆｉ通信のうち少なくとも１つの通信方式を通じて外部遠隔制御装置からリモコン信号を受信するか、リモコン信号を送信することができる。

電子装置１００は’は、実現例によってチューナ及び復調部を更に含むことができる。チューナ（図示せず）は、アンテナを介して受信されるＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）放送信号のうち、ユーザによって選択されたチャネル又は予め保存された全てのチャネルをチューニングしてＲＦ放送信号を受信することができる。復調部（図示せず）は、チューナで変換されたデジタルＩＦ信号（ＤＩＦ）を受信して復調し、チャネル復号化などを行うこともできる。一実施形態によって、チューナを介して受信された入力映像は復調部（図示せず）を介して処理された後、本発明の一実施形態に係る映像処理のために、プロセッサ１２０に提供されてよい。

図１１は、本発明の一実施形態に係るサーバの構成を示すブロック図である。

同図によると、本発明の一実施形態に係るサーバ２００は、メモリ２１０、プロセッサ２２０及び通信インターフェース２３０を含む。

メモリ２１０の実現例は、電子装置１００のメモリ１１０の実現例と類似するため、詳しい説明を省略する。

メモリ２１０は、電子装置１００で用いられる人工知能モデルに関連する情報を保存する。

一例によって、メモリ２１０は、電子装置１００、１００’に入力される入力映像の特性（例えば、フォーマット、解像度、圧縮率など）、入力映像のデータ伝送速度などによる人工知能モデルの多様なパラメータセットを保存することができる。ここで、多様なパラメータセットは、入力される入力映像の特性、例えば、フォーマット、解像度、圧縮率、品質、データ量、入力映像のデータ伝送速度などに応じて人工知能モデルを学習して獲得されてよい。

別の例によって、メモリ２１０は、電子装置１００、１００’で用いられる人工知能モデルに含まれた複数のレイヤのうち、少なくとも一部のレイヤのパラメータがアップデートされた場合、それを補償するための補償パラメータを保存することができる。補償パラメータも、学習によって獲得することができるが、それはプロセッサ２２０の動作で詳しく説明する。

通信インターフェース２２０は、電子装置１００、１００’を含む多様な外部装置と通信を行う。通信インターフェース２２０の実現例は、電子装置１００’の入力部１３０の実現例と類似するため、詳しい説明を省略する。

プロセッサ２３０は、サーバ２００の動作全般を制御する。プロセッサ２３０の実現例は、電子装置１００、１００’のプロセッサ１２０の実現例と類似するため、説明を省略する。

プロセッサ２３０は、電子装置１００、１００’に入力される入力映像の特性、例えば、フォーマット、解像度、圧縮率、品質、データ量、入力映像のデータ伝送速度などによって人工知能モデルの多様なパラメータセットを獲得し、獲得されたパラメータセットをメモリ２１０に保存することができる。その後、プロセッサ１３０は、電子装置１００、１００’のリクエストなど、多様なイベントによってメモリ２１０に保存されたパラメータセットを電子装置１００、１００’に伝送するように通信インターフェース２２０を制御することができる。

なお、プロセッサ２３０は、人工知能モデルに含まれた複数のレイヤのうち、少なくとも１つで用いられるパラメータをアップデートした後、残りのレイヤのパラメータを学習して補償パラメータセットを獲得することができる。この場合、プロセッサ２３０は、人工知能モデルに含まれた複数のレイヤのうち少なくとも１つで用いられるパラメータが新しいパラメータにアップデートされたとしても、人工知能モデルがａｒｔｉｆａｃｔのない映像を出力するように残りのレイヤのパラメータを学習することができる。例えば、プロセッサ１２０は、特定の第１中間レイヤのパラメータを新しいパラメータにアップデートして固定し、残りの中間レイヤのパラメータは従来のパラメータに固定させた後、最初及び最後のレイヤのパラメータを学習し、対応する第１補償パラメータセットを獲得することができる。なお、プロセッサ２３０は、特定の第１中間レイヤだけでなく、別の第２中間レイヤのパラメータを新しいパラメータにアップデートして固定し、残りの中間レイヤのパラメータは従来のパラメータに固定させた後、最初及び最後のレイヤのパラメータを学習し、対応する第２補償パラメータセットを獲得することができる。続いて、プロセッサ２３０は、獲得された補償パラメータセットをメモリ２１０に保存することができる。

このように、プロセッサ１３０は、人工知能モデルに含まれた少なくとも１つのレイヤのパラメータがアップデートされた場合、残りのレイヤのうち少なくとも１つを通じてそれを補償するように残りのレイヤのうち少なくとも１つの対応する補償パラメータセットを各ケース別に学習して獲得した後、メモリ２１０に保存することができる。

その後、プロセッサ１３０は、電子装置１００、１００’のリクエストなど、多様なイベントによってメモリ２１０に保存された補償パラメータを電子装置１００、１００’に伝送するように通信インターフェース２２０を制御することができる。

図１２は、本発明の一実施形態に係る電子装置の制御方法を説明するためのフローチャートである。

同図に示す複数のレイヤを含む人工知能モデルに対する情報を保存する電子装置の制御方法によると、まず、電子装置１００、１００’は、入力映像を補間処理する（Ｓ１２１０）。ここで、人工知能モデルに含まれた複数のレイヤのそれぞれは、異なるパラメータを含むフィルタを用いて補間処理された映像に対する残差映像を生成することができる。

続いて、電子装置１００、１００’は、人工知能モデルに含まれた複数のレイヤのうち、少なくとも１つで用いられるパラメータのアップデートが必要か否かを識別する（Ｓ１２１０）。

パラメータのアップデートが必要と識別されると（Ｓ１２２０：Ｙ）、電子装置１００は、アップデートモード、即ち、第１モード又は第２モードに応じて出力映像を獲得する（Ｓ１２３０）。

ここで、第１モードは、パラメータがリアルタイムでアップデートされる人工知能モデルを用いて処理された映像、例えば、残差映像及び補間処理された映像に基づいて出力映像を獲得するモードであってよい。なお、第２モードは、補間処理された映像に基づいて出力映像を獲得するモードであってよい。ここで、出力映像は、４Ｋ又は８Ｋ以上の高解像度映像であってよい。

一方、パラメータのアップデートが必要でないと識別されると（Ｓ１２２０：Ｎ）、電子装置１００は、ノーマルモードに応じて出力映像を獲得する。ここで、ノーマルモードは、従来セットされたパラメータを含む人工知能モデルに補間処理された映像を入力して獲得された残差映像及び補間処理された映像に基づいて出力映像を獲得するモードであってよい。

なお、第１モード又は第２モードに応じて、入力映像を処理するステップ（Ｓ１２３０）では、複数のレイヤのうち少なくとも１つで用いられるフィルタのパラメータに対するアップデートが必要な場合、フィルタの現在のパラメータ及びアップデートされる対象パラメータの間の差に基づいて第１モード又は第２モードを選択することができる。

なお、制御方法は、第１モードが選択されると、複数のレイヤのうち少なくとも１つのレイヤで用いられるパラメータをリアルタイムでアップデートし、パラメータのアップデートに基づいて残りのレイヤのうち少なくとも１つで用いられるパラメータをリアルタイムで補償するステップを更に含んでよい。

この場合、パラメータをリアルタイムで補償するステップでは、少なくとも１つの中間レイヤで用いられるパラメータのリアルタイムアップデートに基づいて複数のレイヤのうち、最初のレイヤ及び最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償することができる。

なお、パラメータをリアルタイムで補償するステップでは、第１中間レイヤで用いられる第１パラメータがリアルタイムでアップデートされると、第１パラメータのアップデートに基づいて最初のレイヤ及び最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償し、第１中間レイヤがアップデートされた後、第２中間レイヤで用いられる第２パラメータがリアルタイムでアップデートされると、第１パラメータ及び第２パラメータのアップデートに基づいて最初のレイヤ及び最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償することができる。

なお、第１モード又は第２モードに応じて、入力映像を処理するステップ（Ｓ１２３０）では、第２モードで動作する間、人工知能モデルに含まれた第１中間レイヤで用いられる第１パラメータをアップデートし、第２モードを第１モードに切り替えるステップ、及び第１モードにおいて第２中間レイヤで用いられる第２パラメータがリアルタイムでアップデートされると、第１パラメータ及び第２パラメータのアップデートに基づいて、最初のレイヤ及び最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償することができる。

ここで、残りのレイヤのいうち少なくとも１つで用いられるパラメータを補償するための補償パラメータは、少なくとも１つの中間レイヤがアップデートされたパラメータを含む人工知能モデルの学習に基づいて獲得されてよい。

なお、第１モード又は第２モードに応じて、入力映像を処理するステップ（Ｓ１２３０）では、入力映像のデータ伝送速度又は入力映像に対する情報のうち、少なくとも一方に基づいてパラメータのアップデートが必要か否かを識別することができる。

上述の多様な実施形態によると、人工知能モデルに含まれた複数のレイヤで用いられるパラメータに対するアップデートが必要な場合、少ないハードウェアリソースでパラメータを効果的にアップデートすることができるようになる。なお、パラメータのアップデートによって発生し得る映像のａｒｔｉｆａｃｔを最小限に減少させることができるようになる。

なお、本発明の多様な実施形態によると、入力映像が変更されることで、パラメータのアップデートが必要な場合、複数のモードのうち１つのモードで動作するため、ディスプレイされる映像の画質に基づいて、本発明の実施形態が適用されたか否かを識別することができる。例えば、入力情報が変更されることで、パラメータのアップデートが必要な場合、例えば、第２モードを用いる場合には、エッジ処理、テクスチャ処理などが十分でないため、画質の低下した出力映像がディスプレイされ、他の場合、例えば、第１モードを用いる場合には、エッジ処理、テクスチャ処理などが十分に行われたため、画質の向上した出力映像がディスプレイされるため、本発明の実施形態が適用されたか否かを識別することができる。

本発明の多様な実施形態は、ディスプレイ装置だけでなく、セットトップボックスのような映像受信装置、映像処理装置など、映像処理が可能な全ての電子装置に適用されることができる。

一方、上述の本発明の多様な実施形態による方法は、従来の電子装置にインストール可能なアプリケーション又はソフトウェアで実現されてよい。又は、上述の本発明の多様な実施形態による方法は、ディープラーニングベースの人工ニューラルネットワーク（又は、深層人工ニューラルネットワーク）即ち、学習ネットワークモデルを用いて行われてよい。

なお、上述の本発明の多様な実施形態に係る方法は、従来の電子装置に対するソフトウェアのアップグレード、又はハードウェアのアップグレードだけでも実現されてよい。

なお、上述の本発明の多様な実施形態は、電子装置に備えられたエンベデッドサーバ、又は映像処理装置の外部サーバを介して行われることも可能である。

一方、本発明の一実施形態によると、以上で説明した多様な実施形態は、機器（ｍａｃｈｉｎｅ）（例：コンピュータ）で読み込める保存媒体（ｍａｃｈｉｎｅ−ｒｅａｄａｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉａ）に保存されたコマンドを含むソフトウェアで実現されてよい。機器は、保存媒体から保存されたコマンドを呼び出し、呼び出されたコマンドに従って動作が可能な装置として、開示された実施形態に係る映像処理装置（例：映像処理装置（Ａ））を含んでよい。コマンドがプロセッサによって実行される場合、プロセッサが直接又はプロセッサの制御下に他の構成要素を用いてコマンドに該当する機能を行うことができる。コマンドは、コンパイラ又はインタプリタによって生成又は実行されるコードを含むことができる。機器で読み取れる保存媒体は、非一時的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な保存媒体の形態で提供されてよい。ここで、「非一時的」とは、保存媒体が信号（ｓｉｇｎａｌ）を含まずに、実在（ｔａｎｇｉｂｌｅ）することを意味するだけで、データが保存媒体に半永久的又は一時的に保存されることを区分しない。

なお、本発明の一実施形態によると、以上で説明された多様な実施形態に係る方法は、コンピュータプログラム製品（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ｐｒｏｄｕｃｔ）に含まれて提供されてよい。コンピュータプログラム製品は、製品として販売者及び購入者の間で取り引きされてよい。コンピュータプログラム製品は、機器として読み込める保存媒体（例：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ（ＣＤ−ＲＯＭ））の形態で、又はアプリケーションストア（例：プレイストアＴＭ）を通じてオンラインで配布されてよい。オンライン配布の場合に、コンピュータプログラム製品の少なくとも一部は、製造元のサーバ、アプリケーションストアのサーバ、又は仲介サーバのメモリのような保存媒体に少なくとも一時保存されるか、一時的に生成されてよい。

なお、上述の多様な実施形態による構成要素（例：モジュール又はプログラム）のそれぞれは、単数又は複数の個体で構成されてよく、上述の該当サブ構成要素のうち、一部のサブ構成要素が省略されるか、又は、別のサブ構成要素が多様な実施形態に更に含まれてよい。代替的にまたは追加的に、一部の構成要素（例：モジュール又はプログラム）は、１つの個体で統合され、統合される前のそれぞれの当該構成要素によって行われる機能を同一又は類似するように行ってよい。多様な実施形態に係るモジュール、プログラム又は他の構成要素によって行われる動作は、順次に、並行して、繰り返し、ヒューリスティックに実行されたり、少なくとも一部の動作が他の順番で実行されたり、省略又は他の動作が追加されてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (15)

1. 複数のレイヤを含む人工知能モデルに対する情報が保存されたメモリと、
   入力映像を補間処理し、前記補間処理された映像を前記人工知能モデルを用いて処理した出力映像を獲得するプロセッサと
   を含み、
   前記プロセッサは、
   前記複数のレイヤのうち少なくとも１つで用いられるパラメータのアップデートが必要な場合、第１モード又は第２モードで動作し、
   前記第１モードは、前記パラメータがアップデートされる前記人工知能モデルを用いて処理された映像及び前記補間処理された映像に基づいて前記出力映像を獲得し、
   前記第２モードは、前記補間処理された映像に基づいて前記出力映像を獲得する電子装置。
2. 前記プロセッサは、
   前記複数のレイヤのうち少なくとも１つで用いられるフィルタのパラメータに対するアップデートが必要な場合、前記フィルタの現在のパラメータ及びアップデートされる対象パラメータの間の差に基づいて、前記第１モード又は前記第２モードを選択することを特徴とする請求項１に記載の電子装置。
3. 前記人工知能モデルに含まれた前記複数のレイヤのそれぞれは、
   異なるパラメータを含むフィルタを用いて、前記補間処理された映像に対する残差映像を生成し、
   前記プロセッサは、
   前記人工知能モデルから出力される残差映像及び前記補間処理された映像に基づいて前記出力映像を獲得することを特徴とする請求項１に記載の電子装置。
4. 前記プロセッサは、
   前記第１モードが選択されると、前記複数のレイヤのうち少なくとも１つのレイヤで用いられるパラメータをリアルタイムでアップデートし、前記パラメータのアップデートに基づいて残りのレイヤのうち少なくとも１つで用いられるパラメータをリアルタイムで補償することを特徴とする請求項１に記載の電子装置。
5. 前記プロセッサは、
   前記少なくとも１つの中間レイヤで用いられる前記パラメータのリアルタイムアップデートに基づいて、前記複数のレイヤのうち最初のレイヤ及び最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償することを特徴とする請求項４に記載の電子装置。
6. 前記プロセッサは、
   第１中間レイヤで用いられる第１パラメータがリアルタイムでアップデートされると、前記第１パラメータのアップデートに基づいて、前記最初のレイヤ及び前記最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償し、
   前記第１中間レイヤがアップデートされた後、第２中間レイヤで用いられる第２パラメータがリアルタイムでアップデートされると、前記第１パラメータ及び前記第２パラメータのアップデートに基づいて、前記最初のレイヤ及び前記最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償することを特徴とする請求項５に記載の電子装置。
7. 前記プロセッサは、
   前記第２モードで動作する間、前記人工知能モデルに含まれた第１中間レイヤで用いられる第１パラメータをアップデートして前記第２モードを前記第１モードに切り替え、
   前記第１モードにおいて第２中間レイヤで用いられる第２パラメータがリアルタイムでアップデートされると、前記第１パラメータ及び前記第２パラメータのアップデートに基づいて、前記最初のレイヤ及び前記最後のレイヤのそれぞれで用いられるパラメータをリアルタイムで補償することを特徴とする請求項５に記載の電子装置。
8. 前記残りのレイヤのうち少なくとも１つで用いられるパラメータを補償するための補償パラメータは、
   前記少なくとも１つの中間レイヤが前記アップデートされたパラメータを含む前記人工知能モデルの学習に基づいて獲得されることを特徴とする請求項４に記載の電子装置。
9. 前記プロセッサは、
   前記入力映像のデータ伝送速度又は前記入力映像に対する情報のうち少なくとも一方に基づいて、前記パラメータのアップデートの要否を識別することを特徴とする請求項１に記載の電子装置。
10. ディスプレイを更に含み、
    前記プロセッサは、
    前記出力映像を出力するように前記ディスプレイを制御し、
    前記出力映像は、
    ４Ｋ又は８Ｋ以上の高解像度映像であることを特徴とする請求項１に記載の電子装置。
11. 複数のレイヤを含む人工知能モデルに対する情報を保存する電子装置の制御方法において、
    入力映像を補間処理するステップと、
    前記複数のレイヤのうち少なくとも１つで用いられるパラメータのアップデートが必要な場合、第１モード又は第２モードに応じて出力映像を獲得するステップと
    を含み、
    前記第１モードは、前記補間処理された映像を前記パラメータのアップデートされる前記人工知能モデルを用いて、処理した映像及び前記補間処理された映像に基づいて前記出力映像を獲得し、
    前記第２モードは、前記補間処理された映像に基づいて前記出力映像を獲得する制御方法。
12. 前記入力映像を処理するステップは、
    前記複数のレイヤのうち少なくとも１つで用いられるフィルタのパラメータに対するアップデートが必要な場合、前記フィルタの現在のパラメータ及びアップデートされる対象パラメータの間の差に基づいて、前記第１モード又は前記第２モードを選択することを特徴とする請求項１１に記載の制御方法。
13. 前記人工知能モデルに含まれた前記複数のレイヤのそれぞれは、
    異なるパラメータを含むフィルタを用いて前記補間処理された映像に対する残差映像を生成し、
    前記電子装置は、
    前記人工知能モデルから出力される残差映像及び前記補間処理された映像に基づいて前記出力映像を獲得することを特徴とする請求項１１に記載の制御方法。
14. 前記第１モードが選択されると、前記複数のレイヤのうち少なくとも１つのレイヤで用いられるパラメータをリアルタイムでアップデートし、前記パラメータのアップデートに基づいて残りのレイヤのうち少なくとも１つで用いられるパラメータをリアルタイムで補償するステップを更に含むことを特徴とする請求項１１に記載の制御方法。
15. 複数のレイヤを含む人工知能モデルに関する情報を保存する電子装置のプロセッサによって実行される場合、前記電子装置が動作するようにするコンピュータ命令を保存する非一時的なコンピュータ読み取り可能な媒体において、前記動作は、
    入力映像を補間処理するステップと、
    前記複数のレイヤのうち少なくとも１つで用いられるパラメータのアップデートが必要な場合、第１モード又は第２モードに応じて出力映像を獲得するステップと
    を含み、
    前記第１モードは、前記補間処理された映像を前記パラメータのアップデートされる前記人工知能モデルを用いて処理した映像及び前記補間処理された映像に基づいて前記出力映像を獲得し、
    前記第２モードは、前記補間処理された映像に基づいて前記出力映像を獲得する非一時的なコンピュータ読み取り可能な媒体。

Images