JP2023098597A - 映像処理方法及び装置 - Google Patents

Abstract

【課題】一実施形態に係る映像処理方法を提供される。【解決手段】映像処理方法は、第１ニューラルネットワークを実現して第１入力イメージから複数の正規グリッドを含む立面体に定義される標準空間に対応する外観情報を生成するステップと、第２ニューラルネットワークを実現して第２入力イメージから標準空間に対応する幾何情報を生成するステップと、生成された幾何情報に基づいて複数の正規グリッドを変形するステップと、変形された複数の正規グリッドに外観情報を適用することによって標準化された映像情報を生成するステップと、標準化された映像情報に基づいて出力イメージを生成するステップを含む。【選択図】図１

Description

以下の実施形態は、映像処理方法及び装置に関する。

近年、例えば、仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ；ＶＲ）、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ；ＡＲ）又は混合現実（ｍｉｘｅｄ ｒｅａｌｉｔｙ；ＭＲ）を実現できる電子装置が開発されつつある。このうち、拡張現実は、現実世界の環境上、仮想のオブジェクトや情報を結合して示すディスプレイ技術である。拡張現実は、外部全景と仮想イメージの結合によってユーザに新しい経験を提供することができ、情報をより効果的でリアルに伝達できる手段となっている。

また、映像処理分野でニューラルネットワーク(神経網)技術の発展から見るとき、ニューラルネットワークを適用してＡＲを提供することが有利である。

本発明の目的は、映像処理方法及び装置を提供する。

一実施形態に係るニューラルネットワークを実現する具現されたプロセッサの映像処理方法は、第１ニューラルネットワークを実現して第１入力イメージから複数の正規グリッドを含むスタンダード空間に対応する外観情報を生成するステップと、第２ニューラルネットワークを用いて、第２入力イメージからスタンダード空間に対応する幾何情報を生成するステップと、生成された幾何情報に基づいて複数の正規グリッドを変形するステップと、変形された複数の正規グリッドに外観情報を適用することによって、標準化された映像情報を生成するステップと、標準化された映像情報に基づいて出力イメージを生成するステップとを含む。

一実施形態に係るスタンダード空間は、複数の正規グリッドを含むキューブによって定義される標準空間を含むことができる。

一実施形態に係る外観情報は、フィーチャー情報、色情報、及びテクスチャ情報のうち少なくとも１つを含むことができる。

一実施形態に係る幾何情報は、オフセット情報、深度情報、及びスケール情報のうち少なくとも１つを含むことができる。

一実施形態に係る複数の正規グリッドを変形するステップは、スケール情報に基づいて複数の正規グリッドそれぞれに対応する座標を変形するステップと、オフセット情報及び深度情報のうち少なくとも１つに基づいて変形された座標を移動させるステップとを含むことができる。

一実施形態に係る標準空間は、１点透視図に基づいて５個の面を含む立面体の形態に表現された空間を含むことができる。

一実施形態に係る第１入力イメージと第２入力イメージとは類似してもよい。

一実施形態に係る第１入力イメージと第２入力イメージとは異なってもよい。

一実施形態に係る映像処理方法は、視点情報を受信するステップをさらに含み、出力イメージを生成するステップは、受信された視点情報に対応する出力イメージを生成するステップを含むことができる。

一実施形態に係る視点情報に対応する出力イメージを生成するステップは、第３入力イメージを第４ニューラルネットワークに印加して視点情報を生成するステップと、生成された視点情報及び第１入力イメージに対応する映像情報を第３ニューラルネットワークに印加し、出力イメージを生成するステップとを含むことができる。

一実施形態に係るニューラルネットワークは、第１ニューラルネットワーク、第２ニューラルネットワーク、及び出力イメージを生成するように学習された第３ニューラルネットワークのうち少なくとも１つを含むことができる。

一実施形態に係るニューラルネットワークは、第１入力イメージを第３入力イメージの視点情報に基づいて変形されたイメージを生成するように学習されることができる。

一実施形態に係る前記ニューラルネットワークは、損失関数を低減するように学習されたニューラルネットワークを含み、損失関数は、第３入力イメージから第４ニューラルネットワークを実現して生成された視点情報及び第１入力イメージに対応する映像情報を前記第３ニューラルネットワークに印加して生成された出力イメージと第３入力イメージとの差に基づいて決定されることができる。

一実施形態に係る第２ニューラルネットワークは、オフセット正規化損失関数及び深度正規化損失関数のうち少なくとも１つに基づいて学習されるように構成されることができる。

一実施形態に係る映像情報を第３ニューラルネットワークに印加するステップは、映像情報を２次元イメージに変換するステップと、２次元イメージを第３ニューラルネットワークに印加するステップとを含むことができる。

一実施形態に係る出力イメージを生成するステップは、第３入力イメージの第１視点情報を生成するステップと、第２視点情報に基づいて第３入力イメージの第１視点情報を変形するステップと、映像情報及び変形された第１視点情報を第３ニューラルネットワークに印加して出力イメージを生成するステップとを含むことができる。

一実施形態に係る出力イメージは、第２入力イメージの幾何情報に基づいて第１入力イメージの幾何情報を変形させたイメージ、又は、第２入力イメージの外観情報に基づいて第１入力イメージの外観情報を変形させたイメージを含むことができる。

一実施形態に係る標準化された映像情報を生成するステップは、第１入力イメージの幾何情報に基づいて変形された複数のグリッド及び第２入力イメージの外観情報に基づいて標準化された映像情報を生成するステップを含むことがでいる。

他の一実施形態に係る電子装置は、以下を行うように構成された１つ以上のプロセッサを含み、第１ニューラルネットワークを実現して第１入力イメージから複数の正規グリッドを含む立面体として定義されるスタンダード空間に対応する外観情報を生成し、第２ニューラルネットワークを実現して第２入力イメージからスタンダード空間に対応する幾何情報を生成し、生成された幾何情報に基づいて複数の正規グリッドを変形し、変形された複数の正規グリッドに外観情報を適用することで標準化された映像情報を生成し、そして、標準化された映像情報に基づいて出力イメージを生成するプロセッサを含む。

他の一実施形態に係る電子装置は、以下を行うように構成された１つ以上のプロセッサを含み、入力イメージを第１ニューラルネットワークに印加して第１スタンダード空間で複数のグリッドに対応する外観情報を生成し、入力イメージを第２ニューラルネットワークに印加して複数のグリッドそれぞれに対応する幾何情報を生成し、生成された幾何情報に基づいて、複数のグリッドそれぞれに対応する座標を変形して第２スタンダード空間を生成し、第２スタンダード空間に外観情報を適用して標準化された映像情報を生成し、標準化された映像情報を２次元２Ｄイメージに変換し、２Ｄイメージを第３ニューラルネットワークに印加し、２Ｄイメージを第３ニューラルネットワークに印加して出力イメージ生成することができる。

一実施形態に係る第３ニューラルネットワークは、出力イメージを生成するように訓練されることができる。

一実施形態に係るスタンダード空間は、変更可能な場面を単一視点の空間に整列するための空間を含むことができる。

本発明によると、映像処理方法及び装置を提供することができる。

１つ以上の実施形態に係るイメージを生成するための方法を説明するための図である。 １つ以上の実施形態に係る標準空間を説明するための図である。 １つ以上の実施形態に係る正規グリッドを変形する方法を説明するための図である。 １つ以上の実施形態に係るニューラルネットワークの学習方法を説明するための図である。 １つ以上の実施形態に係る視点情報が変換された映像処理方法を説明するための図である。 １つ以上の実施形態に係る外観情報又は幾何情報が変換された映像処理方法を説明するための図である。 １つ以上の実施形態に係るイメージを生成するための方法を説明するためのフローチャートである。 １つ以上の実施形態に係る電子装置を説明するためのブロック図である。

実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。

第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素は第１構成要素にも命名することができる。

いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なるように定義さがれない限り、技術的又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

一実施形態に係るプロセッサは、例えば、ソフトウェア（例えば、プログラム）を実行し、プロセッサに接続された電子装置の少なくとも１つの他の構成要素（例えば、ハードウェア又はソフトウェア構成要素）を制御し、様々なデータ処理又は演算を行うことができる。一実施形態によれば、データ処理又は演算の少なくとも一部として、プロセッサは、他の構成要素から受信された命令又はデータを揮発性メモリに格納し、揮発性メモリに格納された命令又はデータを処理し、結果データを不揮発性メモリに格納してもよい。一実施形態によれば、プロセッサは、メインプロセッサ（例えば、中央処理装置又はアプリケーションプロセッサ）又はこれとは独立的又は共に運営可能な補助プロセッサ（例えば、グラフィック処理装置、ニューラルネットワーク(神経網)処理装置（ＮＰＵ：ｎｅｕｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、イメージ信号処理部、センサハブプロセッサ、又は、コミュニケーションプロセッサ）を含んでもよい。例えば、電子装置がメインプロセッサ及び補助プロセッサを含む場合、補助プロセッサは、メインプロセッサよりも低電力を使用したり、指定された機能に特化するように設定されたりしてもよい。補助プロセッサは、メインプロセッサとは別個に、又は、その一部として実現され得る。

以下、添付する図面を参照しながら実施形態を詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。

図１は、１つ以上の実施形態に係るイメージを生成するための方法を説明するための図である。

図１において、入力イメージ（１）１１０、入力イメージ（２）１６０、第１ニューラルネットワーク１３０、第２ニューラルネットワーク１５０、外観情報１３１、幾何情報１５１、標準化された映像情報１４０、第３ニューラルネットワーク１７０、出力イメージ１８０及び第４ニューラルネットワーク１９０が図示されている。

制限されていない例として、第１入力イメージ及び第２入力イメージは同じイメージであってもよい。例えば、同じ入力イメージが第１ニューラルネットワーク１３０及び第２ニューラルネットワーク１５０に印加されてもよい。第１入力イメージ及び第２入力イメージが異なる例は、図６を参照して具体的に後述する。第３入力イメージが適用された例として、第３入力イメージは、第４ニューラルネットワーク１９０に印加されるイメージを含んでいる。ここで、例えば、例又は実施形態を含んだり実現できるものに関して、例又は実施形態に関連して「～してもよい（ｍａｙ）」という用語の使用は、そのような特徴が含まれたり実現される箇所の少なくとも１つの例又は実施形態が存在するものの、全ての例及び実施形態がこれに制限されないことを留意する。

一実施例によるプロセッサ８１０は、第１入力イメージ（例えば、入力イメージ（１）１１０）を第１ニューラルネットワーク１３０に印加して外観情報１３１を生成することができる。一実施形態に係るプロセッサ８１０は、第１ニューラルネットワーク１３０を具現して入力イメージ１１０から標準空間に対応する外観情報を生成することができる。

一実施形態に係る標準空間は、変形可能な場面を単一視点の空間に整列させるための空間を含んでもよい。一実施形態に係る標準空間における変数は、全ての環境条件及び／又は変形に変わらないものとして考慮されてもよい。一実施形態に係る標準空間に対応する外観情報１３１及び幾何情報１５１は、それぞれの変形に独立的であってもよい。一実施形態に係る標準空間は複数の正規グリッドを含むことができる。例えば、複数のグリッドは、それぞれ１つのピクセルに対応してもよい。異なる例として、グリッドは、複数のピクセルを含んでもよい。一実施形態に係る正規グリッドは、形状及び／又は大きさが同じグリッドを含んでもよい。

一実施形態に係る立面体は、透視図に基づいて生成されたものである。一実施形態に係る透視図は、遠いほど小さくなる地平線上の消失点を用いて遠近法を表現するビューを含む。一実施形態に係る立面体は、１点透視図に基づいて５個の面を含む形態に表現された空間を含む。一実施形態に係る１点透視図は、目に見えるものと同じ遠近感を表現する方式であって、水平線に消失点が１つのみが含まれている投影図を含んでもよい。一実施形態に係る立面体は、正面から見る方向を基準にして、正面にある面は第１面、左側にある面は第２面、右側にある面は第３面、上部にある面は第４面、下部にある面は第５面を含んでもよい。立面体は、図２を参照して具体的に後述する。

一実施形態に係る場面は、複数のオブジェクト（例えば、これに制限されず、家具、ヒト、自動車、木、建物、窓、家電など）を含んでもよい。一実施形態に係る入力イメージは場面を含んでもよい。一実施形態に係る場面は、立面体に表現されてもよい。一実施形態に係る場面は、複数のグリッドを含む１点透視図に表現されてもよい。従って、一実施形態に係る場面は、複数のグリッドを含む透視図に表現された空間として表現されることができる。透視図に表現された空間は、５個の面に表現される。従って、入力イメージは５個の面に分割され、各面は複数のグリッドを含むことができる。

一実施形態に係る第１ニューラルネットワーク１３０は、外観情報１３１を生成するためのニューラルネットワークを含むことができる。一実施形態に係る第１ニューラルネットワーク１３０は、複数の畳込みレイヤ及び／又は複数のプーリングレイヤを含むことができる。例えば、第１ニューラルネットワーク１３０は、単なる例であって、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）、Ｌａｒｇｅ ｓｃａｌｅ ＧＡＮ、ＲｅｓＮｅｔ（ｒｅｓｉｄｕａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）及び／又はＶＧＧＮｅｔ（Ｖｅｒｙ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ）を含んでもよい。前述した第１ニューラルネットワークは例示に過ぎず、本開示はこれに制限されることはない。

一実施形態に係る外観情報１３１は、イメージで視覚的に認知できる特徴に関する情報を含むことができる。一実施形態に係る外観情報１３１は、イメージに含まれた内容の外観に関する情報を含んでもよい。一実施形態に係る外観情報１３１は、フィーチャー情報、色情報及びテクスチャ情報のうち少なくとも１つを含んでもよい。

一実施形態に係るフィーチャー情報は、特定グリッドの特徴情報を含む。例えば、フィーチャー情報は、ピクセル値に対する畳み込み演算を介して算出された値を含んでもよい。

一実施形態に係る色情報は、特定グリッドの色情報を含む。例えば、色情報は、特定グリッドがいずれかの色であるかに関する情報を含んでもよい。別の例として、色情報は、オブジェクトの材質成分として視点や照明に関係のない物質の固有の色情報を含んでもよい。一実施形態に係る色情報は、フィーチャー情報に基づいて生成されてもよい。一実施形態に係るプロセッサ８１０は、色情報を生成するためのニューラルネットワークにフィーチャー情報を印加して色情報を生成してもよい。他の一実施形態に係るプロセッサは、第１ニューラルネットワークを実現して色情報を生成してもよく、フィーチャー情報を用いて色情報が必ず生成されなくてもよい。

一実施形態に係るテクスチャ情報は、視覚的なディテールを与えるために表面に適用される情報を含むことができる。一実施形態に係るテクスチャは、質感を視覚的に表現したものを含んでもよい。一実施形態に係るテクスチャ情報は、フィーチャー情報に基づいて生成されてもよい。一実施形態に係るプロセッサは、テクスチャ情報を生成するためのニューラルネットワークにフィーチャー情報を印加し、テクスチャ情報を生成してもよい。他の一実施形態に係るプロセッサ８１０は、第１ニューラルネットワーク１３０を実現してテクスチャ情報を生成してもよく、フィーチャー情報を用いてテクスチャ情報が必ず生成されなくてもよい。

一実施形態に係る標準空間に対応する外観情報は、基準となる標準空間に場面が変形されたときの外観情報を含むことができる。例えば、標準空間に対応する外観情報は、視点や照明が関係のない物質固有の外観情報を含んでもよい。一実施形態に係る標準空間におけるフィーチャー情報は、基準となる標準空間に場面が変形されたときのフィーチャー情報を含んでもよい。一実施形態に係る標準空間における色情報は、基準となる標準空間に場面が変形されたときの色情報を含んでもよい。一実施形態に係る標準空間におけるテクスチャ情報は、基準となる標準空間に場面が変形されたときのテクスチャ情報を含んでもよい。

一実施形態に係るプロセッサ８１０は、入力イメージ（１）１１０を第２ニューラルネットワーク１５０に印加して幾何情報１５１を生成することができる。一実施形態に係るプロセッサ８１０は、第２ニューラルネットワーク１５０を用いて入力イメージ（１）１１０から標準空間における複数のグリッドそれぞれに対応する幾何情報１５１を生成する。

一実施形態に係る第２ニューラルネットワーク１５０は、制限されていない例として、幾何情報を生成するためのニューラルネットワークを含んでもよい。一実施形態に係る第２ニューラルネットワーク１５０は、複数の畳込みレイヤ及び／又は複数のプーリングレイヤを含むことができる。例えば、第２ニューラルネットワーク１５０は、Ｕ－ｎｅｔ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ）を含んでもよい。前述した第２ニューラルネットワーク１５０は例示に過ぎず、本開示がこれに制限されることはない。

一実施形態に係る幾何情報１５１は、距離、形状、大きさ及び／又は相対的な位置に関する空間の特性情報を含むことができる。一実施形態に係る幾何情報１５１は、スケール情報、オフセット情報、及び深度情報のうち少なくとも１つを含んでもよい。

一実施形態に係るスケール情報は、基準となる標準空間に入力イメージ（又は、場面）を変形させるために場面の大きさを調整するための情報を含むことができる。例えば、標準空間における物体Ａと場面における同じ物体Ａは、視点に応じてその大きさが異なってもよい。従って、場面に存在する物体の大きさを標準空間に存在する物体の大きさに変換するためには、入力イメージの大きさを調整することが有利である。従って、プロセッサ８１０は、スケール情報を用いて標準空間に場面を変換させることができる。

一実施形態に係るオフセット情報は、基準となる標準空間に場面を変形させるために場面における一位置（例えば、ピクセルの位置、グリッドで一点の位置）を移動させるための情報を含むことができる。例えば、標準空間と場面において同じ物体であっても、視点に応じて座標系での位置が異なる。従って、場面に存在する物体を標準空間に存在するものに変換するためには、物体の位置を調整することが有利である。プロセッサ８１０は、オフセット情報に基づいて場面の一位置（又は、座標）を標準空間に移動させてもよい。

一実施形態に係る深度情報は、２次元イメージから３次元空間情報を取得するために、２次元イメージの特定ピクセルの深さに関する情報を含むことができる。例えば、深度情報は、ｘ、ｙ座標における深度値に表現されてもよい。異なる例として、深度情報は、２次元の正規グリッド上に示されているオブジェクトのポイントクラウド（ｐｏｉｎｔ ｃｌｏｕｄ）を定義する情報を含んでもよい。

一実施形態に係る標準空間に対応する幾何情報１５１は、基準となる標準空間に場面が変形されたときの幾何情報を含む。標準空間に対応する幾何情報は、幾何学的変化（ｇｅｏｍｅｔｒｉｃ ｃｈａｎｇｅ）を含んでもよい。一実施形態に係る標準空間に対応する幾何情報は、基準となる標準空間に場面が変形されたときのスケール変化量を含んでもよい。一実施形態に係る標準空間におけるオフセット情報は、基準となる標準空間に場面が変形されたときのグリッド（又は、ピクセル）の位置変化量を含んでもよい。一実施形態に係る標準空間における深度情報は、基準となる標準空間に場面が変形されたときの深度情報を含んでもよい。

一実施形態に係るプロセッサ８１０は、外観情報１３１及び幾何情報１５１に基づいて標準化された映像情報１４０を生成することができる。一実施形態に係る標準化された映像情報１４０は、入力イメージを標準空間に整列させるために、幾何情報１５１に基づいて生成された映像情報を含む。従って、標準化された映像情報１４０は、入力イメージを基準となる標準空間に整列させた予測空間に関する情報を含むことができる。

一実施形態に係るプロセッサ８１０は、幾何情報に基づいて複数の正規グリッドをそれぞれ変形し得る。

一実施形態に係るプロセッサ８１０は、標準化された映像情報を生成する。一実施形態に係るプロセッサ８１０は、スケール情報に基づいて第１スタンダード空間における複数の正規グリッドの大きさを変形し、これにより第２スタンダード空間を生成し得る。一実施形態に係るプロセッサ８１０は、スケール情報に基づいて標準空間における複数の正規グリッドそれぞれに対応する座標を変形することができる。例えば、標準空間におけるグリッドの一点座標がｘ、ｙ、ｚであってもよい。そして、スケール情報はｓ_ｘ、ｓ_ｙ、ｓ_ｚであってもよい。例えば、プロセッサ８１０は、スケール情報を座標に乗算してもよい。従って、変形された座標は、ｓ_ｘｘ、ｓ_ｙｙ、ｓ_ｚｚになる。

一実施形態に係るプロセッサ８１０は、オフセット情報及び深度情報のうち少なくとも１つに基づいて変形された座標(例えば、ｓ_ｘｘ、ｓ_ｙｙ、ｓ_ｚｚ)を移動させることができる。

一実施形態に係るプロセッサ８１０は、オフセット情報を用いて変形された座標を移動させ得る。例えば、プロセッサ８１０は、オフセット情報Δｘ、Δｙ、Δｚを用いて変形された座標にオフセットを加えてもよい。一例として、移動した座標はｓ_ｘｘ＋Δｘ、ｓ_ｙｙ＋Δｙ、ｓ_ｚｚ＋Δｚであってもよい。

一実施形態に係るプロセッサ８１０は、深度情報を用いて変形された座標を移動させることができる。例えば、深度情報は、空間座標系でｚ軸に対応してもよい。例えば、特定の正規グリッドに対応する深度情報がｄである場合、深度情報に基づいて変形された座標はｓ_ｘｘ、ｓ_ｙｙ、ｓ_ｚｄであってもよい。

一実施形態に係るプロセッサ８１０は、オフセット情報及び深度情報に基づいて変形された座標を移動させることができる。例えば、深度情報はｄであり、オフセット情報はΔｘ、Δｙであってもよい。一例として、変形された座標は、ｓ_ｘｘ＋Δｘ、ｓ_ｙｙ＋Δｙ、ｓ_ｚｄであってもよい。

一実施形態に係るプロセッサ８１０は、変形された複数の正規グリッドに外観情報１３１を適用することで、標準化された映像情報１４０を生成し得る。

一実施形態に係るプロセッサ８１０は、標準化された映像情報に基づいて出力イメージを生成することができる。一実施形態に係るプロセッサ８１０は、第３ニューラルネットワーク１７０に標準化された映像情報１４０を印加することによって、出力イメージを生成し得る。一実施形態に係る第３ニューラルネットワーク１７０は、出力イメージを生成するように学習されたニューラルネットワークを含んでもよい。一実施形態に係る第３ニューラルネットワーク１７０は、イメージを再構成するように学習されたニューラルネットワークを含んでもよい。例えば、第３ニューラルネットワークは、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を含んでもよい。

他の一実施形態に係るプロセッサ８１０は、映像情報を２次元イメージに変換してもよい。一実施形態に係るプロセッサ８１０は、映像情報を２次元に投射（ｐｒｏｊｅｃｔｉｏｎ）することで、２次元イメージを生成することができる。一実施形態に係る映像情報は３次元空間情報を含むため、プロセッサは、２次元で映像情報を投射し得る。一実施形態に係るプロセッサ８１０は、２次元イメージを第３ニューラルネットワーク１７０に印加してもよい。プロセッサ８１０は、２次元イメージを第３ニューラルネットワーク１７０に印加することで、出力イメージ１８０を生成することができる。

一実施形態に係るプロセッサ８１０は視点情報を受信することができる。一実施形態に係る視点情報は、標準空間における視点と入力イメージ（又は、場面）視点との差に基づいて決定された情報を含む。例えば、入力イメージの視点は、標準空間における視点からｘ軸方向に３０度回転した視点を含んでもよい。プロセッサ８１０は、視点情報に基づいて入力イメージを変形された視点に変形した出力イメージ１８０を生成してもよい。一実施形態に係るプロセッサ８１０は、入力イメージ（２）１６０（又は、第３入力イメージ）を第４ニューラルネットワーク１９０に印加することで、視点情報を生成することができる。

一実施形態に係るプロセッサ８１０は、視点情報に対応する出力イメージ１８０を生成することができる。一例として、視点情報及び標準化された映像情報１４０は、第４ニューラルネットワーク１９０を実現して生成されてもよい。一実施形態に係るプロセッサ８１０は、第４ニューラルネットワーク１９０を実現して生成した視点情報及び標準化された映像情報１４０を第３ニューラルネットワーク１７０に印加することで、出力イメージ１８０を生成することができる。一実施形態に係る出力イメージ１８０は、入力イメージ（１）１１０を入力イメージ（２）１６０の視点情報に変換したイメージを含む。例えば、入力イメージ（１）１１０の視点と入力イメージ（２）１６０の視点は、ｘ軸方向に３０度の差が生じ得る。一例として、プロセッサは、入力イメージ（１）１１０をｘ軸方向に３０度回転した視点から見たときの出力イメージ１８０を生成してもよい。

一実施形態に係る視点が変更された場合、入力イメージに含まれていない他の情報が有利であり得る。例えば、視点が変更される場合、場面が変わることから背景又は場面に存在する物体が変わり得る。したがって、プロセッサ８１０は、第３ニューラルネットワーク１７０を介して視点変更により入力イメージに含まれていない映像情報を生成することで、出力イメージから空いている領域が存在しないようにすることができる。

制限されていない例として、第１入力イメージ１１０及び第２入力イメージ１６０は他のイメージであってもよい。第１入力イメージ１１０と第２入力イメージ１６０が異なる場合、第１入力イメージ１１０の幾何情報を第２入力イメージ１６０の幾何情報に変形するための場合を含んでもよい。又は、第１入力イメージ１１０の外観情報を第２入力イメージ１６０の外観情報に変形するための場合を含んでもよい。第１入力イメージ１１０の外観情報及び／又は幾何情報を第２入力イメージ１６０に基づいて変形する例示については、図６を参照して具体的に後述される。

図２は、１つ以上の実施形態に係る標準空間を説明するための図である。

図２において、立面体２００、立面体の５個の面が広げられた図面２０１、及び複数の面２１０、２１１、２３０、２３１、２５０、２５１、２７０、２７１、２９０、２９１が図示されている。

一実施形態に係る標準空間は、変形可能な場面を単一視点の空間に整列させるための空間を含む。一実施形態に係る標準空間における変数は、全ての環境条件及び／又は変形において変わらないものと考慮される。

一実施形態に係る標準空間は、複数の正規グリッドを含むことができる。例えば、複数のグリッドはそれぞれ１つのピクセルに対応する。一実施形態に係る正規グリッドは、形状及び／又は大きさが同じグリッドを含んでもよい。

一実施形態に係る立面体は、透視図に基づいて生成されたものある。一実施形態に係る透視図は、遠いほど小さくなる地平線上の消失点を用いて遠近法を表現するビューを含んでもよい。一実施形態に係る立面体は、１点透視図に基づいて５個の面を含む形態に表現された空間を含んでもよい。一実施形態に係る１点透視図は、目に見えるような遠近感を表現する方式に基づいて、水平線に消失点が１つのみ含まれている投影図を含んでもよい。

一実施形態に係る立面体２００は、正面に向かう方向を基準にして立面体２００の正面にある面は第１面２１０、立面体２００の左側にある面は第２面２３０、立面体２００の右側にある面は第３面２５０、立面体２００の上部にある面は第４面２７０、及び立面体２００の下部にある面は第５面２９０を含む。そして、それぞれの面は複数の正規グリッドを含んでもよい。

一実施形態に係る立面体２００の各面を広げると５個の面が展開される。立面体の５個の面が広げられた図面２０１において、第１面２１１、第２面２３１、第３面２５１、第４面２７１及び第５面２９１が図示されている。図面２０１における各面は、立面体２００のそれぞれの面にそれぞれ対応する。図面２０１における各面は、複数の正規グリッドを含んでもよい。そして、複数の正規グリッドは、それぞれ１つのピクセルに対応する。異なる例として、正規グリッドに複数のピクセルが存在してもよい。

一実施形態に係る場面は、背景及び複数のオブジェクト（例えば、家具、ヒト、自動車、木、建物、窓、家電など）を含んでもよい。例えば、場面は、室内の場面及び／又は室外の場面を含んでもよい。一実施形態に係る入力イメージは、場面を含んでもよい。一実施形態に係る場面は、立面体に表現されてもよい。一実施形態に係る場面は、複数のグリッドを含む１点透視図に表現されてもよい。従って、一実施形態に係る場面は、複数のグリッドを含む透視図に表現された空間に表現され得る。透視図に表現された空間は、５個の面に表現されてもよい。従って、入力イメージは５個の面に分割され、各面は複数のグリッドを含み得る。

一実施形態に係るプロセッサ８１０は、場面は立面体の形態の標準空間として定義されることで、場面を含んでいる入力イメージを様々な形態に変形することができる。

図３は、１つ以上の実施形態に係る正規グリッドを変形する方法を説明するための図である。

図３において、入力イメージの第１面３００、正規グリッド２２０、幾何情報３２０，３３０，３４０，３５０、標準化された映像情報３０１、変形された第１面３９０、オフセット情報に基づいて変形した場合の座標３６０、深度情報に基づいて変形した場合の座標３７０、オフセット情報及び深度情報に基づいて変形した場合の座標３８０が図示されている。

一実施形態に係るプロセッサ８１０は、標準化された映像情報３０１を生成することができる。一実施形態に係るプロセッサ８１０は、スケール情報３２０に基づいて標準空間における複数の正規グリッドの大きさを変形してもよい。一実施形態に係るプロセッサ８１０は、スケール情報３２０に基づいて標準空間における複数の正規グリッドそれぞれに対応する座標を変形することができる。例えば、第１面３００における正規グリッド２２０の一点座標がｘ、ｙ、ｚであってもよい。そして、スケール情報３２０はｓ_ｘ、ｓ_ｙ、ｓ_ｚであってもよい。一例として、プロセッサ８１０は、スケール情報３２０を正規グリッド２２０の一点座標ｘ、ｙ、ｚに乗算することができる。従って、変形された座標はｓ_ｘｘ、ｓ_ｙｙ、ｓ_ｚｚであってもよい。

一実施形態に係るプロセッサ８１０は、オフセット情報及び深度情報のうち少なくとも１つに基づいて変形された座標（例えば、ｓ_ｘｘ、ｓ_ｙｙ、ｓ_ｚｚ）を移動させることができる。

一実施形態に係るプロセッサ８１０は、オフセット情報３３０に基づいて変形された座標を移動させることができる。例えば、プロセッサ８１０は、オフセット情報３３０（Δｘ、Δｙ、Δｚ）に基づいて変形された座標にオフセットを加えてもよい。一例において、オフセット情報に基づいて変形した場合の座標３６０は、ｓ_ｘｘ＋Δｘ，ｓ_ｙｙ＋Δｙ，ｓ_ｚｚ＋Δｚであってもよい。

一実施形態に係るプロセッサ８１０は、深度情報３４０を用いて変形された座標を移動させることができる。例えば、深度情報３４０は、空間座標系でｚ軸に対応してもよい。例えば、特定正規グリッド２２０に対応する深度情報がｄである場合、深度情報に基づいて変形した場合の座標３７０はｓ_ｘｘ、ｓ_ｙｙ、ｓ_ｚｄであってもよい。

一実施形態に係るプロセッサ８１０は、オフセット情報及び深度情報３５０に基づいて変形された座標を移動させることができる。例えば、深度情報はｄであり、オフセット情報はΔｘ、Δｙであってもよい。この場合、オフセット情報及び深度情報に基づいて変形した場合の座標３８０は、ｓ_ｘｘ＋Δｘ、ｓ_ｙｙ＋Δｙ、ｓ_ｚｄであってもよい。

図４は、１つ以上の実施形態に係るニューラルネットワークの学習方法を説明するための図である。

図４において、入力イメージ（１）４１０、標準空間４３０、標準空間変換モジュール又は装置４５０、第３ニューラルネットワーク４７０、出力イメージ４９０、入力イメージ（２）４２０、第４ニューラルネットワーク４４０、及び損失関数４８０が図示されている。

一実施形態に係るニューラルネットワークは、第１ニューラルネットワーク、第２ニューラルネットワーク及び第３ニューラルネットワーク１７０のうち少なくとも１つを含んでもよい。一実施形態に係るニューラルネットワークは、推論過程で第１ニューラルネットワーク、第２ニューラルネットワーク、及び第３ニューラルネットワーク１７０を含んでもよい。他の一実施形態に係るニューラルネットワークは、学習過程で第１ニューラルネットワーク、第２ニューラルネットワーク、第３ニューラルネットワーク、及び第４ニューラルネットワーク４４０を含んでもよい。従って、学習過程では、第４ニューラルネットワーク４４０も共に学習され得る。

一実施形態に係るニューラルネットワークは、入力イメージ（１）４１０を入力イメージ（２）４２０の視点情報に基づいて変形されたイメージを生成するよう学習されたニューラルネットワークを含むことができる。一実施形態に係るプロセッサ８１０は、第４ニューラルネットワーク４４０を実現して入力イメージ（２）４２０の視点情報を生成してもよい。一実施形態に係る入力イメージ（１）４１０と入力イメージ（２）４２０は、それぞれ動画に含まれているフレームであってもよい。例えば、入力イメージ（１）４１０がフレーム１である場合、入力イメージ（２）４２０は、フレーム１の次のフレームインフレーム２であってもよい。

一実施形態に係るニューラルネットワークは、損失関数（Ｌｏｓｓ Ｆｕｎｃｔｉｏｎ）を低減するように学習されたニューラルネットワークを含むことができる。一実施形態に係るニューラルネットワークは、損失関数を低減する方向にニューラルネットワークのパラメータをアップデートし得る。一実施形態に係る損失関数は、正解データとニューラルネットワークの出力データとの差に基づいて決定される。一実施形態に係るプロセッサは、損失関数を低減する方向にニューラルネットワークのパラメータをアップデートすることができる。

一実施形態に係る損失関数４８０は、出力イメージ４９０と入力イメージ（２）４２０との差に基づいて決定され得る。一実施形態に係る損失関数４８０は、入力イメージ（２）４２０から第４ニューラルネットワーク４４０を用いて生成された視点情報、及び入力イメージ（１）４１０に対応する映像情報を第３ニューラルネットワーク４７０に印加して生成された出力イメージ４９０と入力イメージ（２）４２０との差に基づいて決定される。制限されていない例として、入力イメージ（２）４２０は、正解データであってもよい。従って、プロセッサ８１０は、ニューラルネットワークをセルフ地図学習（Ｓｅｌｆ－Ｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ）させることができる。

一実施形態に係るプロセッサ８１０は、ニューラルネットワーク学習過程において、入力イメージ（１）４１０を立面体に定義される標準空間に表現することができる。一実施形態に係るプロセッサ８１０は、標準空間変換モジュール４５０を実現し、標準空間を標準化された映像情報に変換してもよい。一実施形態に係るプロセッサ８１０は、標準化された映像情報及び入力イメージ（２）４２０に対応する視点情報を第３ニューラルネットワーク４７０に印加してもよい。一実施形態に係る標準空間変換モジュール又は装置４５０は、幾何情報に基づいて複数の正規グリッドを変形するためのモジュールを含んでもよい。一実施形態に係るプロセッサ８１０は、第３ニューラルネットワーク４７０を実現して出力イメージ４９０を生成する。一実施形態に係るプロセッサ８１０は、出力イメージ４９０と入力イメージ（２）４２０との差に基づいて損失関数４８０を算出することができる。プロセッサ８１０は、損失関数４８０に基づいてニューラルネットワークのパラメータを損失関数が減少する方向にアップデートすることができる。

一実施形態に係るニューラルネットワーク（例えば、第１ニューラルネットワーク、第２ニューラルネットワーク、及び第３ニューラルネットワーク４７０）は、オフセット正規化損失関数及び深度正規化損失関数のうち少なくとも１つに基づいて学習され得る。一実施形態に係るオフセット正規化損失関数は、出力されるオフセット情報が過剰適合しないように、ニューラルネットワーク（例えば、第１ニューラルネットワーク、第２ニューラルネットワーク、第３ニューラルネットワーク４７０）を学習させるための損失関数を含んでもよい。一実施形態に係るオフセット正規化損失関数は、各軸のオフセット値の和であるΣ（Δｘ^２＋Δｙ^２＋Δｚ^２）が最小になるよう、ニューラルネットワーク（又は、第２ニューラルネットワーク）を学習させるための損失関数を含んでもよい。従って、プロセッサ８１０は、オフセット正規化損失関数を最小化させる方向にニューラルネットワーク（又は、第２ニューラルネットワーク）のパラメータをアップデートすることができる。そのため、プロセッサ８１０は、様々な視点から見た同じ場面又は歪んだ場面に対しても、標準化された映像情報を取得することができる。

一実施形態に係る深度正規化損失関数は、出力される深度情報が過剰適合されないようにするための損失関数を含むことができる。一実施形態に係る深度正規化損失関数は、出力される深度情報が過剰適合されないよう、ニューラルネットワーク（又は、第２ニューラルネットワーク）を学習させるための損失関数を含んでもよい。一実施形態に係る深度正規化損失関数は、Σ（ｄ－１）^２が最小化されるように損失関数を学習させることができる。従って、プロセッサ８１０は、深度正規化損失関数を最小化させる方向にニューラルネットワーク（又は、第２ニューラルネットワーク）のパラメータをアップデートし得る。そのため、プロセッサ８１０は、様々な視点から見た同じ場面又は歪んだ場面に対しても、標準化された映像情報を取得することができる。一実施形態に係るΣ（ｄ－１）^２において、１は基準となる深度情報を含んでもよい。従って、ｄが１に近づくほど、標準化された映像情報を生成する確率が増加し得る。

一実施形態に係るニューラルネットワークは、オフセット正規化レイヤ及び深度正規化レイヤのうち少なくとも１つを含んでもよい。一実施形態に係る第２ニューラルネットワークは、オフセット正規化レイヤ及び深度正規化レイヤのうち少なくとも１つを含んでもよい。一実施形態に係る正規化レイヤは、ニューラルネットワークの過剰適合の問題を解決してニューラルネットワークの学習性を高めるためのレイヤを含むことができる。

一実施形態に係るオフセット正規化レイヤは、第２ニューラルネットワークの出力データがオフセット情報である場合、出力されるオフセット情報が過剰適合されないように、ニューラルネットワークを学習させるためのレイヤを含むことができる。例えば、プロセッサ８１０は、オフセット正規化のために各軸のオフセット値の和であるΣ（Δｘ^２＋Δｙ^２＋Δｚ^２）を使用することができる。そのため、プロセッサは、第２ニューラルネットワークを介して一般的なオフセット値よりも極めて大きいか極めて小さいオフセット値を生成する確率を低減させ得る。

一実施形態による深度正規化レイヤは、第２ニューラルネットワークの出力データが深度情報である場合、出力される深度情報が過剰適合しないようにするためのレイヤを含むことができる。例えば、プロセッサは、Σ（ｄ－１）^２を用いて深度情報を正規化させることができる。これにより、プロセッサは、第２ニューラルネットワークを通じて一般的な深度値よりも極めて大きいか、極めて小さい深度値を生成する確率を減少させ得る。

図５は、１つ以上の実施形態に係る視点情報が変換された映像処理方法を説明するための図である。

図５を参照すれば入力イメージ５１０、標準空間５３０、標準空間変換モジュール又は装置５５０、第３ニューラルネットワーク５７０、視点が変形された出力イメージ５９０、視点情報５２０、第４ニューラルネットワーク５４０及び視点変形５６０が図示されている。

一実施形態に係る入力イメージは、所望する視点のイメージに変換することが好ましい。例えば、ユーザが着用しているウェアラブル装置を介して表示される画面が変更された場合、ユーザが見ている方向に変更された画面が整列されることが好ましい。従って、プロセッサ８１０は、ニューラルネットワークを実現して変更された画面を所望する視点（例えば、ユーザが現在見ている方向の視点）のイメージに変換することができる。

一実施形態に係るプロセッサ８１０は、入力イメージ５１０を標準空間５３０に表現することができる。そして、プロセッサ８１０は、標準空間変換モジュール又は装置５５０を用いて標準化された映像情報を生成することができる。

一実施形態に係るプロセッサ８１０は、入力イメージ５１０を第４ニューラルネットワーク５４０に印加する。プロセッサ８１０は、第４ニューラルネットワーク５４０を用いて入力イメージ５１０の視点情報を生成することができる。

一実施形態に係るプロセッサ８１０は、視点情報５２０を受信することができる。例えば、視点情報５２０は、変更しようとするターゲット視点情報を含んでもよい。一実施形態に係るプロセッサ８１０は、入力イメージ５１０の視点情報を受信した視点情報５２０に基づいて視点を変形５６０する。

一実施形態に係るプロセッサ８１０は、変形された視点情報及び標準化された映像情報を第３ニューラルネットワーク５７０に印加することで、視点の変形された出力イメージ５９０を生成することができる。一実施形態に係る視点が変形された出力イメージ５９０は、視点情報５２０に基づいて視点が変形された出力イメージを含んでもよい。

図６は、１つ以上の実施形態に係る外観情報又は幾何情報の変換された映像処理方法を説明するための図である。

図６を参照すれば第１入力イメージ６１０、第２入力イメージ６２０、外観情報（１）６１１、幾何情報（１）６１２、外観情報（２）６２１、幾何情報（２）６２２、標準空間変換モジュール又は装置６５０、及び幾何情報又は外観情報が変形された出力イメージ６９０が図示されている。

一実施形態に係る第１入力イメージ６１０の幾何情報は、第１入力イメージと異なるイメージである第２入力イメージ６２０の幾何情報に変更されてもよい。他の一実施形態に係る第１入力イメージ６１０の外観情報は、第２入力イメージ６２０の外観情報で変更されてもよい。一実施形態に係るプロセッサ８１０は、第１入力イメージの外観情報又は幾何情報が変更されたイメージを生成することができる。

一実施形態に係るプロセッサ８１０は、第１入力イメージ６１０を第１ニューラルネットワーク１３０に印加して外観情報（１）６１１を生成する。一実施形態に係るプロセッサ８１０は、第２入力イメージを第２ニューラルネットワーク１５０に印加して幾何情報（２）６２２を生成してもよい。一実施形態に係るプロセッサは、第２入力イメージ６２０の幾何情報（２）６２２に基づいて複数の正規グリッドを変形してもよい。一実施形態に係るプロセッサ８１０は、標準空間変換モジュール又は装置６５０に基づいて複数の正規グリッドを変形してもよい。そして、プロセッサ８１０は、変形された複数の正規グリッドに第１入力イメージ６１０の外観情報（１）６１１を適用することで、標準化された映像情報を生成してもよい。従って、標準化された映像情報は、第１入力イメージ６１０の外観情報（１）６１１及び第２入力イメージ６２０の幾何情報（２）６２２に基づいて生成された映像情報を含むことができる。プロセッサ８１０は、該当する映像情報を第３ニューラルネットワークに印加することで、第１入力イメージ６１０の幾何情報が変形された出力イメージ６９０を生成し得る。

一実施形態に係るプロセッサ８１０は、第１入力イメージ６１０を第２ニューラルネットワーク１５０に印加して幾何情報（１）６１２を生成することができる。一実施形態に係るプロセッサ８１０は、第２入力イメージ６２０を第１ニューラルネットワーク１３０に印加して外観情報（２）６２１を生成してもよい。一実施形態に係るプロセッサ８１０は、第１入力イメージ６１０の幾何情報（１）６１２に基づいて複数の正規グリッドを変形してもよい。一実施形態に係るプロセッサ８１０は、標準空間変換モジュール６５０を用いて複数の正規グリッドを変形してもよい。そして、プロセッサ８１０は、変形された複数の正規グリッドに第２入力イメージ６２０の外観情報（２）６２１を適用することによって、標準化された映像情報を生成してもよい。従って、標準化された映像情報は、第１入力イメージ６１０の幾何情報（１）６１２及び第２入力イメージ６２０の外観情報（２）６２１に基づいて生成された映像情報を含むことができる。プロセッサ８１０は、該当する映像情報を第３ニューラルネットワークに印加することで、第１入力イメージ６１０の外観情報が変形された出力イメージ６９０を生成し得る。

図７は、１つ以上の実施形態に係るイメージを生成するための方法を説明するためのフローチャートである。

図７の動作は、示されたような順序及び方式で実行され得るが、説明された例示的な例の思想及び範囲を離脱することなく、一部動作の順序が変更されたり一部動作が省略されてもよい。図７に示された多くの動作は、並列又は同時に実行されてもよい。図７に示す１つ以上のブロック及びブロックの組み合せは、特定の機能を行う特殊目的のハードウェアに基づいたコンピュータ又は特殊目的のハードウェア及びコンピュータ命令の組み合わせによって実現され得る。以下の図７の説明に加えて、図１～図６に示す説明は図７に適用可能であり、参考として、これに含まれる。従って、ここでは上記の説明を繰り返さない。

一実施形態に係る電子装置８００（例えば、図８に示された電子装置８００）は、第１ニューラルネットワークを実現して第１入力イメージから複数の正規グリッドを含む立面体に定義される標準空間に対応する外観情報を生成する（Ｓ７１０）。

一実施形態に係る外観情報は、制限されていない例として、フィーチャー情報、色情報及びテクスチャ情報のうち少なくとも１つを含んでもよい。

一実施形態に係る電子装置８００は、第２ニューラルネットワークを実現して第２入力イメージから前記標準空間に対応する幾何情報を生成する（Ｓ７２０）。

一実施形態に係る幾何情報は、オフセット情報及び深度情報のうち少なくとも１つ及びスケール情報を含んでもよい。

一実施形態に係る電子装置８００は、幾何情報に基づいて複数の正規グリッドを変形する（Ｓ７３０）。

一実施形態に係る電子装置８００は、スケール情報に基づいて複数の正規グリッドそれぞれに対応する座標を変形してもよい。一実施形態に係る電子装置８００は、オフセット情報及び深度情報のうち少なくとも１つに基づいて変形された座標を移動させ得る。

一実施形態に係る電子装置８００は、変形された複数の正規グリッドに外観情報を適用することで、標準化された映像情報を生成する（Ｓ７４０）。

一実施形態に係る電子装置８００は、標準化された映像情報に基づいて出力イメージを生成する（Ｓ７５０）。

一実施形態に係る電子装置８００は、映像情報を２次元イメージに変換し、２次元イメージを第３ニューラルネットワークに印加してもよい。

一実施形態に係る電子装置８００は、入力イメージの第１視点情報を生成し、第２視点情報に基づいて第１視点情報を変形してもよい。一実施形態に係る電子装置８００は、映像情報及び変形された第１視点情報を第３ニューラルネットワークに印加して出力イメージを生成してもよい。

一実施形態に係る電子装置８００は、第１入力イメージの幾何情報に基づいて変形された複数のグリッド、及び第２入力イメージの外観情報に基づいて標準化された映像情報を生成することができる。

一実施形態に係る電子装置８００は、視点情報を受信して視点情報に対応する出力イメージを生成することができる。

一実施形態に係る電子装置８００は、第３入力イメージを第４ニューラルネットワークに印加して視点情報を生成する。一実施形態に係る電子装置８００は、視点情報及び第１入力イメージに対応する映像情報を第３ニューラルネットワークに印加し、出力イメージを生成してもよい。一実施形態に係る第３入力イメージは、第４ニューラルネットワークに印加される入力イメージとして、第１入力イメージと同じイメージを含んだり、第１入力イメージ及び／又は第２入力イメージと同一又は異なるイメージを含んでもよい。

図８は、１つ以上の実施形態に係る電子装置を説明するためのブロック図である。

図８を参照すると、一実施形態に係る電子装置８００は、１つ以上のメモリ８２０、プロセッサ８１０、及び通信インターフェース８３０を含む。メモリ８２０、プロセッサ８１０、及び通信インターフェース８３０は、通信バス８４０を介して接続される。

メモリ８２０は、上述したプロセッサ８１０の処理過程で生成される様々な情報を格納することができる。その他にも、メモリ８２０は、各種のデータとプログラムなどを格納してもよい。メモリ８２０は、揮発性メモリ又は不揮発性メモリを含んでもよい。メモリ８２０は、ハードディスクなどのような大容量の格納媒体を備えて各種のデータを格納し得る。

プロセッサ８１０は、目的とする動作（ｄｅｓｉｒｅｄ ｏｐｅｒａｔｉｏｎｓ）を実行させるための物理的な構造を有する回路を有するハードウェアで具現された装置であってもよい。例えば、目的とする動作は、プログラムに含まれたコード（ｃｏｄｅ）又は命令（ｉｎｓｔｒｕｃｔｉｏｎｓ）を含んでもよい。例えば、ハードウェアで具現された分類装置は、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；ＣＰＵ）、グラフィック処理装置（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；ＧＰＵ）、プロセッサコア（ｐｒｏｃｅｓｓｏｒ ｃｏｒｅ）、マルチ－コアプロセッサ（ｍｕｌｔｉ－ｃｏｒｅ ｐｒｏｃｅｓｓｏｒ）、マルチプロセッサ（ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＮＰＵ（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含んでもよい。

プロセッサ８１０はプログラムを実行し、電子装置を制御する。プロセッサ８１０によって実行されるプログラムコードは、メモリ８２０に格納されてもよい。

ニューラルネットワークは、入力データに対する応答で内部パラメータによって算出された値を出力する。ニューラルネットワークの少なくとも一部は、ソフトウェアで具現されたり、ニューラルプロセッサ（ｎｅｕｒａｌ ｐｒｏｃｅｓｓｏｒ）を含むハードウェアで具現されたり、又は、ソフトウェア及びハードウェアの組み合せで実現されてもよい。ニューラルネットワークは、完全接続ネットワーク（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｔｗｏｒｋ）、ディープコンボリューショナルネットワーク（ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）及びリカレントニューラルネットワーク（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）などを含むディープニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＤＮＮ）に該当する。ＤＮＮは、複数のレイヤを含んでもよい。複数のレイヤは、入力層（ｉｎｐｕｔ ｌａｙｅｒ）、１つ以上の隠れ層（ｈｉｄｄｅｎ ｌａｙｅｒ）、及び出力層（ｏｕｔｐｕｔ ｌａｙｅｒ）を含んでもよい。ニューラルネットワークは、ディープラーニングに基づいて非線形関係にある入力データ及び出力データを互いにマッピングすることで、与えられた動作を行うようにトレーニングされてもよい。ディープラーニングは、ビッグデータセットから与えられた問題を解決するための機械学習方式である。ディープラーニングは、準備されたトレーニングデータを用いてニューラルネットワークを学習させ、エネルギーが最小化される地点を訪ねて行くニューラルネットワークの最適化過程である。

以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令したりすることができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供したりするために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行されたりし得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。

上記で説明したハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

したがって、他の具現、他の実施形態および特許請求の範囲と均等なものも後述する特許請求範囲の範囲に属する。

１１０ 入力イメージ（１）
１３０ 第１ニューラルネットワーク
１３１ 外観情報
１４０ 標準化された映像情報
１５０ 第２ニューラルネットワーク
１５１ 幾何情報
１６０ 入力イメージ（２）
１７０ 第３ニューラルネットワーク
１８０ 出力イメージ
１９０ 第４ニューラルネットワーク
８１０ プロセッサ

Claims (23)

1. ニューラルネットワークを実現する具現されたプロセッサの映像処理方法であって、
   第１ニューラルネットワークを実現して第１入力イメージから複数の正規グリッドを含むスタンダード空間に対応する外観情報を生成するステップと、
   第２ニューラルネットワークを用いて、第２入力イメージから前記スタンダード空間に対応する幾何情報を生成するステップと、
   前記生成された幾何情報に基づいて前記複数の正規グリッドを変形するステップと、
   前記変形された複数の正規グリッドに前記外観情報を適用することによって、標準化された映像情報を生成するステップと、
   前記標準化された映像情報に基づいて出力イメージを生成するステップと、を含む、
   映像処理方法。
2. 前記スタンダード空間は、前記複数の正規グリッドを含むキューブによって定義される標準空間を含む、請求項１に記載の映像処理方法。
3. 前記外観情報は、フィーチャー情報、色情報、及びテクスチャ情報のうち少なくとも１つを含む、請求項１に記載の映像処理方法。
4. 前記幾何情報は、オフセット情報、深度情報、及びスケール情報のうち少なくとも１つを含む、請求項１に記載の映像処理方法。
5. 前記複数の正規グリッドを変形するステップは、
   スケール情報に基づいて前記複数の正規グリッドそれぞれに対応する座標を変形するステップと、
   オフセット情報及び深度情報のうち少なくとも１つに基づいて前記変形された座標を移動させるステップと、を含む、
   請求項１に記載の映像処理方法。
6. 前記標準空間は、１点透視図に基づいて５個の面を含む立面体の形態に表現された空間を含む、請求項２に記載の映像処理方法。
7. 前記第１入力イメージと前記第２入力イメージとは類似する、請求項１に記載の映像処理方法。
8. 前記第１入力イメージと前記第２入力イメージとは異なる、請求項１に記載の映像処理方法。
9. 視点情報を受信するステップをさらに含み、
   前記出力イメージを生成するステップは、前記受信された視点情報に対応する出力イメージを生成するステップを含む、
   請求項１に記載の映像処理方法。
10. 前記視点情報に対応する出力イメージを生成するステップは、
    第３入力イメージを第４ニューラルネットワークに印加して前記視点情報を生成するステップと、
    前記生成された視点情報及び第１入力イメージに対応する映像情報を第３ニューラルネットワークに印加し、出力イメージを生成するステップと、を含む、
    請求項９に記載の映像処理方法。
11. 前記ニューラルネットワークは、前記第１ニューラルネットワーク、前記第２ニューラルネットワーク、及び前記出力イメージを生成するように学習された第３ニューラルネットワークのうち少なくとも１つを含む、請求項１に記載の映像処理方法。
12. 前記ニューラルネットワークは、第１入力イメージを第３入力イメージの視点情報に基づいて変形されたイメージを生成するように学習される、請求項１に記載の映像処理方法。
13. 前記ニューラルネットワークは、損失関数を低減するように学習されたニューラルネットワークを含み、
    前記損失関数は、第３入力イメージから第４ニューラルネットワークを実現して生成された視点情報及び第１入力イメージに対応する映像情報を前記第３ニューラルネットワークに印加して生成された出力イメージと前記第３入力イメージとの差に基づいて決定される、
    請求項１１に記載の映像処理方法。
14. 前記第２ニューラルネットワークは、オフセット正規化損失関数及び深度正規化損失関数のうち少なくとも１つに基づいて学習されるように構成される、請求項１に記載の映像処理方法。
15. 前記映像情報を第３ニューラルネットワークに印加するステップは、
    前記映像情報を２次元イメージに変換するステップと、
    前記２次元イメージを第３ニューラルネットワークに印加するステップと、を含む、
    請求項１に記載の映像処理方法。
16. 前記出力イメージを生成するステップは、
    第３入力イメージの第１視点情報を生成するステップと、
    第２視点情報に基づいて前記第３入力イメージの前記第１視点情報を変形するステップと、
    前記映像情報及び前記変形された第１視点情報を第３ニューラルネットワークに印加して出力イメージを生成するステップと、を含む、
    請求項１に記載の映像処理方法。
17. 前記出力イメージは、第２入力イメージの幾何情報に基づいて第１入力イメージの幾何情報を変形させたイメージ、又は前記第２入力イメージの外観情報に基づいて前記第１入力イメージの外観情報を変形させたイメージを含む、請求項１に記載の映像処理方法。
18. 前記標準化された映像情報を生成するステップは、第１入力イメージの幾何情報に基づいて変形された複数のグリッド及び第２入力イメージの外観情報に基づいて標準化された映像情報を生成するステップを含む、請求項１に記載の映像処理方法。
19. ハードウェアと結合して請求項１に記載の方法を実行させるためにコンピュータで読み出し可能な記録媒体に格納されたコンピュータプログラム。
20. １つ以上のプロセッサを含む電子装置であって、
    前記１つ以上のプロセッサは、
    第１ニューラルネットワークを実現して第１入力イメージから複数の正規グリッドを含む立面体として定義されるスタンダード空間に対応する外観情報を生成し、
    第２ニューラルネットワークを実現して第２入力イメージから前記スタンダード空間に対応する幾何情報を生成し、
    前記生成された幾何情報に基づいて前記複数の正規グリッドを変形し、
    前記変形された複数の正規グリッドに前記外観情報を適用することで標準化された映像情報を生成し、
    前記標準化された映像情報に基づいて出力イメージを生成する、
    ように構成される、
    電子装置。
21. １つ以上のプロセッサを含む電子装置であって、
    前記1つ以上のプロセッサは、
    入力イメージを第１ニューラルネットワークに印加して第１スタンダード空間で複数のグリッドに対応する外観情報を生成し、
    前記入力イメージを第２ニューラルネットワークに印加して前記複数のグリッドそれぞれに対応する幾何情報を生成し、
    前記生成された幾何情報に基づいて、前記複数のグリッドそれぞれに対応する座標を変形して第２スタンダード空間を生成し、
    前記第２スタンダード空間に外観情報を適用して標準化された映像情報を生成し、
    前記標準化された映像情報を２次元（２Ｄ）イメージに変換し、前記２Ｄイメージを第３ニューラルネットワークに印加し、
    前記２Ｄイメージを前記第３ニューラルネットワークに印加して出力イメージ生成する、
    ように構成される、
    電子装置。
22. 第３ニューラルネットワークは、出力イメージを生成するように訓練される、請求項２１に記載の電子装置。
23. 前記スタンダード空間は、変更可能な場面を単一視点の空間に整列するための空間を含む、請求項２１に記載の電子装置。
    

Images