JP2023012432A - 光推定方法及び装置 - Google Patents

Abstract

【課題】光推定方法及び装置が提供される。【解決手段】一実施形態によれば、トレーニング方法は、光推定モデルを用いて入力映像に対応する光情報を推定するステップと、入力映像内の参照オブジェクトを検出するステップと、参照オブジェクトのオブジェクト情報及び参照オブジェクトを支持する参照平面の平面情報を決定するステップと、光情報、オブジェクト情報、及び平面情報に基づいて参照オブジェクトに対応する仮想オブジェクトをレンダリングするステップと、参照オブジェクトと仮想オブジェクトとの間の比較結果に基づいて光推定モデルをアップデートするステップを含む。【選択図】図２

Description

以下の実施形態は、光推定方法及び装置に関する。

光推定は、いずれかの場面（ｓｃｅｎｅ）を照らす光を推定する技術である。推定された光情報は、当該映像又は空間に仮想オブジェクトをレンダリングするために用いられる。例えば、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、ＡＲ）、コンピュータグラフィック（ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ、ＣＧ）などの仮想オブジェクトに推定された光情報が適用されてもよい。光情報が正確に推定されるほど、仮想オブジェクトの現実性は高くなる。光推定にマシーンラーニング（機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ））基盤のモデルを用いてもよい。モデルは、周辺光（ａｍｂｉｅｎｔ ｌｉｇｈｔ）、陰影（ｓｈａｄｉｎｇ）、反射光ハイライト（ｓｐｅｃｕｌａｒ ｈｉｇｈｌｉｇｈｔｓ）、反射（ｒｅｆｌｅｃｔｉｏｎ）などの手がかりを用いてトレーニングされることができる。

本発明の目的は、光推定方法及び装置を提供することにある。

一実施形態によれば、光推定のための方法は、光推定モデルを用いて入力映像に対応する光情報を推定するステップと、前記入力映像内の参照オブジェクトを検出するステップと、前記参照オブジェクトのオブジェクト情報及び前記参照オブジェクトを支持する参照平面の平面情報を決定するステップと、前記光情報、前記オブジェクト情報、及び前記平面情報に基づいて前記参照オブジェクトに対応する仮想オブジェクトをレンダリングするステップと、前記参照オブジェクトと前記仮想オブジェクトとの間の比較結果に基づいて、前記光推定モデルをアップデートして前記光推定モデルをトレーニングするステップとを含む。

前記仮想オブジェクトをレンダリングするステップは、前記仮想オブジェクトの陰影及び前記仮想オブジェクトの影をレンダリングするステップを含むことができる。前記比較結果は、前記参照オブジェクトの陰影及び前記参照オブジェクトの影を示すピクセルデータと、前記仮想オブジェクトの陰影及び前記仮想オブジェクトの影を示すピクセルデータとの間の比較結果を含むことができる。

前記オブジェクト情報は、前記参照オブジェクトのポーズ、形状、及び素材のうち少なくとも１つを含み、前記平面情報は、前記参照平面のポーズ、形状、及び素材のうち少なくとも１つを含むことができる。

前記オブジェクト情報及び前記平面情報を決定するステップは、前記参照オブジェクトが知られているオブジェクトである場合、オブジェクトデータベースを用いて前記オブジェクト情報の少なくとも一部を決定するステップを含むことができる。前記オブジェクト情報及び前記平面情報を決定するステップは、前記参照オブジェクト及び前記参照平面が知られている結合された構造物である場合、オブジェクトデータベースを用いて前記オブジェクト情報及び前記平面情報の少なくとも一部を決定するステップを含むことができる。前記参照オブジェクトに該当する球状の部分構造物及び前記参照平面に該当する平坦な形状の部分構造物が結合して前記構造物を形成することができる。

前記オブジェクト情報及び前記平面情報を決定するステップは、前記参照平面が知られていない平面である場合、入力映像から前記参照平面を検出して前記平面情報を決定するステップを含むことができる。前記オブジェクト情報及び前記平面情報を決定するステップは、前記参照オブジェクトが知られていないオブジェクトである場合、予め決定されたプロキシオブジェクトの情報に基づいて前記オブジェクト情報を決定するステップを含むことができる。

前記仮想オブジェクトをレンダリングするステップは、前記参照平面の各サンプリングポイントの光情報と視認性情報を融合して各サンプリングポイントの影情報を決定するステップと、前記参照平面の各サンプリングポイントの前記影情報を前記入力映像の撮影ビューに投影して前記仮想オブジェクトの影をレンダリングするステップとを含むことができる。前記参照オブジェクト及び前記参照平面が知られている結合された構造物である場合、前記視認性情報は、前記結合された構造物の影レンダリングのために予め決定されることができる。

前記光推定モデルをトレーニングするステップは、前記参照オブジェクトと前記仮想オブジェクトとの間の差が小さくなるように前記光推定モデルをアップデートするステップを含むことができる。

前記光推定のための方法は、他の映像を取得するステップと、前記トレーニングされた光推定モデルを用いて前記他の映像に対応する光情報を推定するステップとをさらに含むことができる。

一実施形態に係る光推定のための装置は、プロセッサと、前記プロセッサで実行可能な命令語を含むメモリとを含み、前記命令語が前記プロセッサで実行されれば、前記プロセッサは、光推定モデルを用いて入力映像に対応する光情報を推定し、前記入力映像内の参照オブジェクトを検出し、前記参照オブジェクトのオブジェクト情報及び前記参照オブジェクトを支持する参照平面の平面情報を決定し、前記光情報、前記オブジェクト情報、及び前記平面情報に基づいて前記参照オブジェクトに対応する仮想オブジェクトをレンダリングし、前記参照オブジェクトと前記仮想オブジェクトとの間の比較結果に基づいて、前記光推定モデルをアップデートして前記光推定モデルをアップデートする。

前記プロセッサは、前記仮想オブジェクトの陰影及び前記仮想オブジェクトの影をレンダリングし、前記比較結果は、前記参照オブジェクトの陰影及び前記参照オブジェクトの影を示すピクセルデータと、前記仮想オブジェクトの陰影及び前記仮想オブジェクトの影を示すピクセルデータとの間の比較結果を含むことができる。

一実施形態によると、電子装置は、入力映像を生成するカメラと、光推定モデルを用いて前記入力映像に対応する光情報を推定し、前記入力映像内の参照オブジェクトを検出し、前記参照オブジェクトのオブジェクト情報及び前記参照オブジェクトを支持する参照平面の平面情報を決定し、前記光情報、前記オブジェクト情報、及び前記平面情報に基づいて前記参照オブジェクトに対応する仮想オブジェクト、前記仮想オブジェクトの陰影、及び前記仮想オブジェクトの影をレンダリングし、前記参照オブジェクトの陰影及び前記参照オブジェクトの影を示すピクセルデータと、前記仮想オブジェクトの陰影及び前記仮想オブジェクトの影を示すピクセルデータと間の比較結果に基づいて、前記光推定モデルをアップデートして前記光推定モデルをアップデートする。

一実施形態によると、光推定のための方法は、第２映像を取得するステップと、トレーニングされた光推定モデルを用いて前記第２映像に対応する第２光情報を推定するステップとを含み、前記光推定モデルは、光推定モデルを用いて入力映像に対応する光情報を推定し、前記入力映像で参照オブジェクトを検出し、前記参照オブジェクトのオブジェクト情報及び前記参照オブジェクトを支持する参照平面の平面情報を決定し、前記光情報、前記オブジェクト情報、及び前記平面情報に基づいて前記参照オブジェクトに対応する仮想オブジェクトをレンダリングし、前記参照オブジェクトと前記仮想オブジェクトとを比較した結果に基づいて、前記光推定モデルをアップデートしてトレーニングされる。

前記光推定のための方法は、前記第２光情報に基づいて、前記第２映像内の第２オブジェクトに対応する第２仮想オブジェクトをレンダリングするステップと、
前記第２映像に前記第２仮想オブジェクトを重複して拡張現実を生成するステップとをさらに含むことができる。

一実施形態に係る光推定のための方法は、光推定モデルを用いて入力映像に対応する光情報を推定するステップと、格納された情報が参照オブジェクトに対応するか否かに基づいて前記入力映像で参照オブジェクトの情報を決定するステップと、前記光情報及び前記参照オブジェクトの情報に基づいて、前記参照オブジェクトに対応する仮想オブジェクトをレンダリングするステップと、前記参照オブジェクトと前記レンダリングされた仮想オブジェクトとを比較し、光推定モデルをアップデートして前記光推定モデルをトレーニングするステップとを含む。

前記格納された情報は、予め決定されたオブジェクトであり、前記参照オブジェクトの情報を決定するステップは、前記参照オブジェクトが前記予め決定されたオブジェクトに対応することに応答して、前記格納された情報を前記参照オブジェクトの前記情報として決定するステップを含むことができる。

前記参照オブジェクトの情報を決定するステップは、前記格納された情報が前記参照オブジェクトに対応することに応答して、前記格納された情報を前記参照オブジェクトの前記情報として決定するステップを含むことができる。

前記参照オブジェクトの情報は、前記参照オブジェクトのオブジェクト情報及び前記参照オブジェクトを支持する参照平面の平面情報のうち少なくとも一部を含むことができる。

本発明によると、光推定方法及び装置を提供することができる。

実施形態に係る光推定モデルを用いた光推定動作を示す。 一実施形態に係る光推定モデルをトレーニングする動作を示す。 一実施形態に係る入力映像とレンダリング結果との間の比較動作を示す。 一実施形態に係る知られている参照オブジェクト及び知られている参照平面を用いたトレーニング動作を示す。 一実施形態に係る知られている参照オブジェクト及び知られていない参照平面を用いたトレーニング動作を示す。 一実施形態に係る知られていない参照オブジェクト及び知られていない参照平面を用いたトレーニング動作を示す。 一実施形態に係る影レンダリング動作を示す。 一実施形態に係る視認性マップの決定動作を示す。 一実施形態に係るトレーニング方法を示す。 一実施形態に係るトレーニング装置及びユーザ端末を示す。 一実施形態に係る電子装置を示す。

実施形態に対する特定な構造的又は機能的な説明は単なる例示の目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。

第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素は第１構成要素にも命名することができる。

いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なるように定義さがれない限り、技術的又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

以下、添付する図面を参照しながら実施形態を詳細に説明する。図面を参照して説明する際に、図面符号に拘わらず同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。

図１は、一実施形態に係る光推定モデルを用いた光推定動作を示す。図１を参照すると、光推定装置１００は入力映像１０１を受信し、入力映像１０１に対応する光情報１０２を出力する。入力映像１０１は、特定の撮影地点から見た特定撮影ビューの場面を示してもよい。入力映像１０１は、場面映像（ｓｃｅｎｅ ｉｍａｇｅ）又は正面映像（ｆｒｏｎｔ ｉｍａｇｅ）であってもよい。

光情報１０２は、入力映像１０１の場面に影響を与えた全ての光に関する情報を含む。光情報１０２は、様々な形式で場面の光を表現し得る。例えば、光情報１０２は、環境マップの形式で光を表現したり、あるいは予め定義された属性（例えば、方向、カラー、明るさ、幅など）を用いて光を表現してもよい。

光情報１０２は、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、ＡＲ）、コンピュータグラフィック（ｃｏｍｐｕｔｅｒｇｒａｐｈｉｃｓ、ＣＧ）などの仮想オブジェクトに適用することができる。例えば、入力映像１０１に仮想オブジェクトを重ねてＡＲが提供される場合、光情報１０２を仮想オブジェクトに適用して仮想オブジェクトが入力映像１０１において違和感なく表現することができる。光情報１０２が入力映像１０１内の光を正確に表現するほど、仮想オブジェクトの現実性は高くなる。

光推定装置１００は、光推定モデル１１０を用いて光情報１０２を生成することができる。光推定モデル１１０は、マシーンラーニングモデルであってもよい。例えば、光推定モデル１１０は、ディープラーニング基盤のディープニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＤＮＮ）を含んでもよい。

ＤＮＮは複数のレイヤを含んでもよく、このうち少なくとも一部は、完全接続ネットワーク（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｔｗｏｒｋ、ＦＣＮ）、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ）、及びリカレントニューラルネットワーク（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＲＮＮ）などの様々なネットワークから構成されることができる。ＤＮＮは、ディープラーニングに基づいて非線形関係にある入力データ及び出力データを互いにマッピングする一般化能力を有し得る。

モデルトレーニングには、多量のトレーニングデータが求められる。例えば、入力映像１０１から光情報１０２を導き出す能力を付与するためには、様々な場面映像と当該場面映像の光を表現する正解データ（グラウンドトゥルースデータ（ｇｒｏｕｎｄ ｔｒｕｔｈ ｄａｔａ））が要求される。このような多量のトレーニングデータを確保するために、多くの時間及び努力が求められる。

実施形態によれば、光推定モデル１１０は、映像レンダリング基盤の自体の教師あり学習（ｓｅｌｆ－ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を介してトレーニングされることができる。光推定モデル１１０が与えられた場面映像に対する光推定結果を生成すれば、光推定結果に基づいて映像レンダリングが実行され、光推定モデル１１０は、場面映像とレンダリング結果との間の差が小さくなる方向にトレーニングされることができる。このような方式には、正解データが使用されなくてもよく、トレーニングデータの確保に必要な努力及び時間が大きく縮小され得る。

実施形態によれば、オブジェクト、平面、及び光を用いた映像レンダリングが実行され、映像レンダリング及びモデルトレーニングに知られているオブジェクト、知られている平面、影情報などを用いてもよい。このようなトレーニング方式はトレーニング効果を向上させ、光推定モデル１１０は現実に近い光情報１０２を推定することができる。

図２は、一実施形態に係る光推定モデルをトレーニングする動作を示す。図２を参照すると、光推定モデル２１０は、入力映像２０１に対応する光情報２０２を推定する。光推定モデル２１０は、複数のレイヤを含むニューラルネットワークモデルであってもよい。複数のレイヤの少なくとも一部のレイヤはＣＮＮであり、異なる少なくとも一部のレイヤはＦＣＮである。光情報２０２は、環境マップの形式で光を表現したり、あるいは予め定義された属性（例えば、方向、カラー、明るさ、幅など）を用いて光を表現してもよい。

レンダリングモデル２２０は、光情報２０２、オブジェクト情報２０３、及び平面情報２０４に基づいてレンダリング結果２０５を生成する。例えば、レンダリングモデル２２０は、ニューラルレンダリング（ｎｅｕｒａｌ ｒｅｎｄｅｒｉｎｇ）を行ってもよい。オブジェクト情報２０３は、入力映像２０１内のオブジェクトに関する情報であり、オブジェクトのポーズ（ｐｏｓｅ）、形状（ｓｈａｐｅ）、及び素材（ｍａｔｅｒｉａｌ）のうち少なくとも１つを含んでもよい。素材は、テクスチャ、カラーなどを示す。入力映像２０１内のオブジェクトは、参照オブジェクトのように称してもよい。平面情報２０４は、参照オブジェクトを支持する参照平面（ｒｅｆｅｒｅｎｃｅ ｐｌａｎｅ）に関する情報であり、参照平面のポーズ（例えば、ノーマル方向）、形状、及び素材のうち少なくとも１つを含んでもよい。オブジェクト検出方式を介して入力映像２０１から参照オブジェクトが検出され、オブジェクト検出結果に基づいてオブジェクト情報２０３及び平面情報２０４の少なくとも一部が決定されることができる。

レンダリング結果２０５は、参照オブジェクトに対応する仮想オブジェクトを含んでもよい。レンダリングモデル２２０は、光情報２０２、オブジェクト情報２０３、及び平面情報２０４に基づいて仮想オブジェクトをレンダリングすることができる。参照オブジェクトと仮想オブジェクトとの間の比較によって比較結果２０６が決定され、比較結果２０６に基づいて光推定モデル２１０がアップデートされる。参照オブジェクトと仮想オブジェクトとの間の差異は、トレーニング損失に当該し、光推定モデル２１０は損失が小さくなるよう、言い換えれば、参照オブジェクトと仮想オブジェクトとの間の差が小さくなるようにアップデートされることができる。トレーニングを介して光推定モデル２１０のパラメータ（例えば、加重値）がアップデートされてもよい。

レンダリングモデル２２０は、仮想オブジェクトとともに、仮想オブジェクトの陰影（ｓｈａｄｉｎｇ）及び仮想オブジェクトの影（ｓｈａｄｏｗ）をレンダリングし、比較結果２０６は、参照オブジェクトの陰影及び参照オブジェクトの影を示すピクセルデータと、仮想オブジェクトの陰影及び仮想オブジェクトの影を示すピクセルデータとの間の比較結果を含む。レンダリングモデル２２０は、陰影レンダリング及び影レンダリングを同時又は異時に行ってもよく、陰影レンダリング結果と影レンダリング結果とを融合してレンダリング結果２０５を生成することができる。実施形態によると、陰影レンダリングには知られているレンダリング技法が適用され、影レンダリングには、図７及び図８の実施形態によるレンダリング技法が適用されてもよい。

陰影は、光の手がかりとして用いられるが、陰影分析は精密度を要する作業であるため、正確な陰影分析を行うためには困難が伴う。影は、その生成方向分析のようなラフ（ｒｏｕｇｈ）な作業でも光に対する比較的に正確な手がかりを与えることができる。平面情報２０４を介して影レンダリングの正確度が向上される。実施形態によると、影レンダリングを介して実際に近いレンダリング結果２０５が生成され、影の比較によって実際に近い方向にモデルアップデートが行われることができる。

実施形態によれば、知られている（ｋｎｏｗｎ）オブジェクト及び／又は知られている平面の情報がオブジェクトデータベースに予め格納されてもよく、対象オブジェクト及び／又は参照平面が知られているオブジェクト及び／又は知られている平面に該当する場合、オブジェクトデータベースの情報を用いてオブジェクト情報２０３及び／又は平面情報２０４の少なくとも一部が決定される。このように、予め格納された情報を活用して実際に近いレンダリング結果２０５が導き出されることができる。例えば、参照オブジェクトが知られているオブジェクトに該当する場合、知られているオブジェクトに関する情報を格納するオブジェクトデータベースを用いてオブジェクト情報２０３の少なくとも一部が決定されることができる。特定のオブジェクトと特定の平面が組み合わせられた知られている構造物を撮影して入力映像２０１が生成される。参照オブジェクト及び参照平面がこのような知られている結合された構造物である場合、オブジェクトデータベースを用いてオブジェクト情報２０３及び平面情報２０４の少なくとも一部を決定することができる。参照平面が知られていない（ｕｎｋｎｏｗｎ）平面である場合、平面情報２０４は、平面検出方式を介して決定されてもよい。参照オブジェクトが知られていないオブジェクトである場合、予め決定されたプロキシオブジェクト（ｐｒｏｘｙ ｏｂｊｅｃｔ、例：キューブ、円柱、ポイントクラウドなど）の情報に基づいてオブジェクト情報２０３が決定されることができる。

図３は、一実施形態に係る入力映像とレンダリング結果との間の比較動作を示す。図３を参照すると、入力映像３１０から参照オブジェクト３１１を含むオブジェクト領域３１５が検出される。オブジェクト検出は、オブジェクト検出モデルによって実行されてもよい。オブジェクト検出モデルは、入力映像３１０に基づいてオブジェクト検出結果を生成するよう、予めトレーニングされたマシーンラーニングモデル（例えば、ニューラルネットワークモデル）であってもよい。オブジェクト領域３１５は、参照オブジェクト３１１、参照オブジェクト３１１の陰影３１４、及び参照オブジェクト３１１の影３１２，３１３を含む。

オブジェクト検出結果に基づいて参照オブジェクト３１１のオブジェクト情報が決定されることができる。オブジェクト情報は、参照オブジェクト３１１のポーズ、形状、及び素材のうち少なくとも１つを含んでもよい。ポーズは、オブジェクト領域３１５から導き出される。参照オブジェクト３１１が知られている場合、オブジェクトデータベースを介して形状及び素材が決定されてもよく、知られていない場合、プロキシオブジェクトの情報に基づいて形及び素材が決定されてもよい。

参照オブジェクト３１１の参照平面が知られている場合、オブジェクトデータベースを介して参照平面の形状及び素材が決定される。結合構造物である場合、平面のポーズは、オブジェクトデータベースに格納されたオブジェクトと平面間の関係を介して決定されてもよい。図３に示す参照オブジェクト３１１及び参照平面は、結合構造物の例示である。参照オブジェクト３１１に該当する球状の部分構造物、及び参照平面に該当する平坦な形状の部分構造物が結合し、このような構造物を形成することができる。参照平面が知られていない場合、平面検出を介してポーズ、形状、及び素材が決定される。平面検出は、平面検出モデルによって実行されてもよい。平面検出モデルは、入力映像３１０に基づいて平面検出結果を生成するよう、予めトレーニングされたマシーンラーニングモデル（例えば、ニューラルネットワークモデル）であってもよい。平面形が平坦であると仮定される場合、平面情報としてその形状は考慮されない。

光情報、オブジェクト情報、及び平面情報に基づいてレンダリング結果３２０が導き出されることができる。レンダリング結果３２０は、仮想オブジェクト３２１、仮想オブジェクト３２１の陰影３２４、及び仮想オブジェクト３２１の影３２２，３２３を含んでもよい。陰影３２４は陰影レンダリング方式を介して導き出され、影３２２，３２３は影レンダリング方式を介して導き出される。陰影３２４及び影３２２，３２３の融合を介してレンダリング結果３２０が形成されることができる。

レンダリング結果３２０は入力映像３１０と比較されてもよく、比較結果（例えば、差）により光推定モデルがアップデートされ得る。ここで、入力映像３１０の一定領域（例えば、オブジェクト領域）のピクセルデータとレンダリング結果３２０の対応領域のピクセルデータとが比較される。例えば、参照オブジェクト３１１の陰影３１４及び影３１２，３１３を示すピクセルデータと仮想オブジェクト３２１の陰影３２４及び影３２２，３２３を示すピクセルデータがピクセルごとに比較されてもよい。

図４は、一実施形態に係る知られている参照オブジェクト及び知られている参照平面を用いたトレーニング動作を示す。図４を参照すると、オブジェクト検出モデル４１０は、入力映像４０１から参照オブジェクトを検出し、オブジェクト検出結果４０２を生成する。オブジェクト検出モデル４１０は、入力映像４０１に基づいてオブジェクト検出結果４０２を生成するように予めトレーニングされたマシーンラーニングモデル（例えば、ニューラルネットワークモデル）であってもよい。知られているオブジェクト及び知られている平面は結合して知られている構造物を構成し、このような知られている構造物が入力映像４０１の参照オブジェクトとして撮影されてもよい。

オブジェクト検出結果４０２は、参照オブジェクトに対応するオブジェクト領域に関する情報（例えば、オブジェクト領域の位置、大きさなど）を含んでもよい。参照オブジェクトに該当する結合構造物の情報は、オブジェクトデータベース４３０に予め格納されてもよい。例えば、結合構造物の形状及び素材が格納されてもよい。結合構造物の形状及び素材は、参照オブジェクトと参照平面の結合関係（例えば、結合地点）、参照オブジェクト（例えば、球状の部分構造物）の形状及び素材、及び参照平面（例えば、平坦な形状の部分構造物）の形状及び素材を含んでもよい。

オブジェクト検出結果４０２及びオブジェクトデータベース４３０に基づいてオブジェクト情報４０４及び平面情報４０５が決定されることができる。オブジェクト情報４０４は、参照オブジェクトのポーズ、形状、及び素材のうち少なくとも１つを含んでもよく、平面情報４０５は、参照平面のポーズ、形状、及び素材のうち少なくとも１つを含んでもよい。例えば、オブジェクト検出結果４０２及び／又は結合関係に基づいて、参照オブジェクト及び／又は参照平面のポーズが決定され、オブジェクトデータベース４３０に基づいて参照オブジェクト及び／又は参照平面の形状及び素材が決定されてもよい。

光推定モデル４２０は、入力映像４０１に対応する光情報４０３を推定することができる。レンダリングモデル４４０は、光情報４０３、オブジェクト情報４０４、及び平面情報４０５に基づいて仮想オブジェクトを含むレンダリング結果４０６を生成することができる。光推定モデル４２０は、入力映像４０１の参照オブジェクトとレンダリング結果４０６の仮想オブジェクトとの間の比較結果に基づいてトレーニングされ得る。オブジェクト情報４０４及び平面情報４０５は、知られている情報に基づいて、オブジェクト、陰影、平面、影などの手がかりに関する事実に近いデータを提供するため、参照オブジェクトと仮想オブジェクトとの間の差を次第に減少させると、光情報４０３の正確度は向上され得る。

図５は、一実施形態に係る知られている参照オブジェクト及び知られていない参照平面を用いたトレーニング動作を示す。図５を参照すると、オブジェクト検出モデル５１０は入力映像５０１で参照オブジェクトを検出し、オブジェクト検出結果５０２を生成することができる。オブジェクト検出モデル５１０は、入力映像５０１に基づいてオブジェクト検出結果５０２を生成するよう、予めトレーニングされたマシーンラーニングモデル（例えば、ニューラルネットワークモデル）であってもよい。知られているオブジェクト（例えば、知られている球状のオブジェクト）が入力映像５０１の参照オブジェクトとして撮影されてもよい。

オブジェクト検出結果５０２は、参照オブジェクトに対応するオブジェクト領域に関する情報（例えば、オブジェクト領域の位置、大きさなど）を含んでもよい。参照オブジェクトの情報は、オブジェクトデータベース５４０に予め格納されてもよい。例えば、参照オブジェクトの形状及び素材が格納されてもよい。

オブジェクト検出結果５０２及びオブジェクトデータベース５４０に基づいてオブジェクト情報５０３が決定される。オブジェクト情報５０３は、参照オブジェクトのポーズ、形状、及び素材のうち少なくとも１つを含んでもよい。例えば、オブジェクト検出結果５０２に基づいて参照オブジェクトのポーズが決定されてもよく、オブジェクトデータベース５４０に基づいて参照オブジェクトの形状及び素材が決定されてもよい。

平面検出モデル５２０は入力映像５０１から参照平面を検出し、平面検出結果に基づいて平面情報５０４を生成することができる。平面検出モデル５２０は、入力映像５０１で平面検出結果を生成するように、予めトレーニングされたマシーンラーニングモデル（例えば、ニューラルネットワークモデル）であってもよい。平面情報５０４は、参照平面のポーズ、形状、及び素材のうち少なくとも１つを含んでもよい。

光推定モデル５３０は、入力映像５０１に対応する光情報５０５を推定する。レンダリングモデル５５０は、光情報５０５、オブジェクト情報５０３、及び平面情報５０４に基づいて仮想オブジェクトを含むレンダリング結果５０６を生成することができる。光推定モデル５３０は、入力映像５０１の参照オブジェクトとレンダリング結果５０６の仮想オブジェクトとの間の比較結果に基づいてトレーニングされることができる。オブジェクト情報５０３及び平面情報５０４は、知られている情報及び平面検出に基づいてオブジェクト、陰影、平面、影などの手がかりに関する事実に近いデータを提供するため、参照オブジェクトと仮想オブジェクトとの間の差を次第に減少させれば、光情報５０５の正確度を向上することができる。

図６は、一実施形態に係る知られていない参照オブジェクト及び知られていない参照平面を用いたトレーニング動作を示す。図６を参照すると、オブジェクト検出モデル６１０は、入力映像６０１から参照オブジェクトを検出し、オブジェクト検出結果６０２を生成することができる。オブジェクト検出モデル６１０は、入力映像６０１に基づいてオブジェクト検出結果６０２を生成するよう予めトレーニングされたマシーンラーニングモデル（例えば、ニューラルネットワークモデル）であってもよい。入力映像６０１は、知られていない参照オブジェクト及び知られていない参照平面を含んでもよい。言い換えれば、入力映像６０１は一般的な映像であってもよく、ウェブ（ｗｅｂ）、動画プラットフォーム、写真コミュニティのような様々な経路を介して収集されてもよい。

オブジェクト検出結果６０２は、参照オブジェクトに対応するオブジェクト領域に関する情報（例えば、オブジェクト領域の位置、大きさなど）を含んでもよい。オブジェクト検出結果６０２に基づいてプロキシオブジェクトが生成される。ブロック６４０は、プロキシオブジェクトの生成動作を示す。例えば、プロキシオブジェクトは、キューブ、円柱、ポイントクラウドなどであってもよい。プロキシオブジェクトの情報は、オブジェクトデータベースに予め格納されてもよい。例えば、プロキシオブジェクトの形状及び素材が格納されてもよい。

プロキシオブジェクトの情報に基づいてオブジェクト情報６０３が決定される。オブジェクト情報６０３は、プロキシオブジェクトのポーズ、形状、及び素材のうち少なくとも１つを含んでもよい。例えば、オブジェクト検出結果６０２に基づいてプロキシオブジェクトのポーズが決定され、プロキシオブジェクトの形状及び素材に基づいて参照オブジェクトの形状及び素材が決定されてもよい。言い換えれば、プロキシオブジェクトの形状及び素材が参照オブジェクトの形状及び素材に代替されてもよい。知られていない対象オブジェクトの情報（形状、素材など）を把握する代わりに、知られているプロキシオブジェクトの情報を使用することがレンダリング及びトレーニングに有効である。実施形態によれば、影が用いられるが、影は、方向のようなラフな特性の情報にも決定的な手がかりを提供できるため、プロキシオブジェクトの利用に伴う効果がさらに大きい。

平面検出モデル６２０は入力映像６０１から参照平面を検出し、平面検出結果に基づいて平面情報６０４を生成することができる。平面検出モデル６２０は、入力映像６０１で平面検出結果を生成するように予めトレーニングされたマシーンラーニングモデル（例えば、ニューラルネットワークモデル）であってもよい。平面情報６０４は、参照平面のポーズ、形状、及び素材のうち少なくとも１つを含んでもよい。

光推定モデル６３０は、入力映像６０１に対応する光情報６０５を推定する。レンダリングモデル６５０は、光情報６０５、オブジェクト情報６０３、及び平面情報６０４に基づいて仮想オブジェクトを含むレンダリング結果６０６を生成する。レンダリングモデル６５０は、プロキシオブジェクトに対応する仮想オブジェクト、陰影、及び影をレンダリングしてもよい。光推定モデル６３０は、入力映像６０１の参照オブジェクトとレンダリング結果６０６の仮想オブジェクトとの間の比較結果に基づいてトレーニングされることができる。参照オブジェクト及び仮想オブジェクトは互いに異なる形及び素材を有するが、プロキシオブジェクト及び影の利用を介して有意味なトレーニング方向が提示されてもよい。

図７は、一実施形態に係る影レンダリング動作を示す。仮想オブジェクトの影は、光情報と視認性（ｖｉｓｉｂｉｌｉｔｙ）情報との間の融合を介してレンダリングすることができる。参照オブジェクト及び参照平面が知られている結合された構造物である場合、視認性情報は、前処理ステージ７１０で予め決定されてもよい。その次に、視認性情報は、レンダリングが実行される実行ステージ７２０において光情報と融合する。視認性情報を予め確保することで、レンダリング演算及び時間を短縮することができる。

図７を参照すると、ステップＳ７１１において、サンプリングポイントごとに視認性光線がサンプリングされる。サンプリングポイントは参照平面上に定義され、各サンプリングポイントに関して様々な方向に入射される視認性光線が定義される。ステップＳ７１２において、サンプリング結果に基づいて視認性マップが生成される。

視認性マップは、複数のサンプリングポイントそれぞれの視認性光線の閉塞比率を含む。例えば、参照オブジェクトがいずれかサンプリングポイントのいずれかの光線の入射方向を防止すれば、当該光線の閉塞比率は１．０であってもよく、当該サンプリングポイントの他の光線の入射を防止する障害物がなければ、当該光線の閉塞比率は０．０であってもよい。閉塞比率は１．０～０．０の間の値に定義される。但し、このような数値は１つの例示に過ぎず、閉塞比率は他の数値範囲に限定されてもよい。

実行ステージ７２０において、入力映像が与えられれば、ステップＳ７２１において、入力映像に対応する光情報が推定される。光情報は、光推定モデルを介して推定されてもよい。ステップＳ７２２において、光情報及び視認性情報に基づいて演算が実行され、ステップＳ７２３において、各サンプリングポイントの影が決定される。より具体的に、参照平面の各サンプリングポイントの光情報と視認性情報を融合（例えば、乗算）して各サンプリングポイントの影情報が決定されることができる。

グラフ７０１はいずれかのサンプリングポイントの光情報を示し、グラフ７０２は当該サンプリングポイントの視認性情報を示し、グラフ７０３は光情報と視認性情報の融合結果を示す。グラフ７０１～７０３は、サンプリングポイントを中心にする半球体（ｈｅｍｉｓｐｈｅｒｅ）の断面を示す。半球体の白い領域は光が存在する領域、黒い領域は光の存在しない領域を示す。グラフ７０１は、１２時方向の一定の範囲に照明が存在することを示し、グラフ７０２は、１時方向の一定の範囲に障害物（参照オブジェクト）が存在することを示す。

グラフ７０１の光情報とグラフ７０２の視認性情報が融合すれば、グラフ７０３の影情報が導き出される。グラフ７０３の影情報は、照明領域のうち障害物（参照オブジェクト）によって一部の領域が遮断されて残りの領域からサンプリングポイントに光が提供されることを示す。遮られた一部の領域は、影を形成することができる。このように各サンプリングポイントに関する影情報が決定されれば、ステップＳ７２４において、影情報を入力映像の撮影ビューに投影して影レンダリングが実行され、レンダリング結果７２５が決定される。

図８は、一実施形態に係る視認性マップの決定動作を示す。図８を参照すると、参照オブジェクト８１０と参照平面８２０とが結合して知られている構造物を形成する。参照平面８２０上にサンプリングポイント８０１が定義され、サンプリングポイント８０１に関して複数の入射方向に対応する視認性光線８０２が定義される。また、サンプリングポイント８０１に対して閉塞比率テーブル８０３が定義される。

参照平面８２０上には、複数のサンプリングポイントが定義され、各サンプリングポイントに関して閉塞比率テーブル８０３が定義される。閉塞比率テーブル８０３の各要素は、特定の入射方向の閉塞比率を示す。例えば、閉塞比率テーブル８０３の中心がサンプリングポイント８０１に対応し、各要素の位置は、上でサンプリングポイント８０１を上方から垂直方向に見たときの各入射方向に対応する。

サンプリングポイント８０１の参照平面８２０上の位置及び視認性光線の入射方向により、いずれかの要素は完全な視認性を有し、他の要素は視認性を全く有しない場合もある。例えば、あるテーブル要素の比率が０．４とは、障害物（参照オブジェクト８１０）により当該入射方向の光線が０．４だけ閉塞されたことを示す。全てのサンプリングポイントに関する閉塞比率テーブル８０３が予め算出されて視認性マップで格納されることができる。上述したように、視認性マップはモデルトレーニング前に前処理ステップで算出された後、モデルトレーニングステップにおいて活用されてもよい。これは、影レンダリングに所要される時間を短縮させ得る。

図９は、一実施形態に係るトレーニング方法を示す。図９を参照すると、ステップＳ９１０において、光推定モデルを用いて入力映像に対応する光情報が推定される。ステップＳ９２０において、入力映像内の参照オブジェクトが検出される。ステップＳ９３０において、参照オブジェクトのオブジェクト情報及び参照オブジェクトを支持する参照平面に関する平面情報が決定され、ステップＳ９４０において、光情報、オブジェクト情報、及び平面情報に基づいて仮想オブジェクトがレンダリングされる。また、ステップＳ９５０において、参照オブジェクトと仮想オブジェクトとの間の比較結果に基づいて光推定モデルがアップデートされる。その他に、トレーニング方法については、図１～図８、図１０、及び図１１の説明が適用されてもよい。

図１０は、一実施形態に係るトレーニング装置及びユーザ端末を示す。図１０を参照すると、トレーニング装置１０１０は、光推定モデル１００１をトレーニングすることができる。光推定モデル１００１の少なくとも一部は、ハードウェアモジュール及び／又はソフトウェアモジュールとして実現され得る。トレーニング装置１０１０は、図１～図９に示すトレーニング動作を行ってもよい。

例えば、トレーニング装置１０１０は、光推定モデル１００１を用いて入力映像に対応する光情報を推定し、入力映像内の参照オブジェクトを検出し、参照オブジェクトのオブジェクト情報、及び参照オブジェクトを支持する参照平面の平面情報を決定し、光情報、オブジェクト情報、及び平面情報に基づいて参照オブジェクトに対応する仮想オブジェクトをレンダリングし、参照オブジェクトと仮想オブジェクトとの間の比較結果に基づいて光推定モデルをアップデートすることができる。トレーニング装置１０１０は、仮想オブジェクトの陰影及び仮想オブジェクトの影をレンダリングし、参照オブジェクトの陰影及び参照オブジェクトの影を示すピクセルデータと、仮想オブジェクトの陰影及び仮想オブジェクトの影を示すピクセルデータを比較することができる。

光推定モデル１００１のトレーニングが完了すると、光推定モデル１００１は、ユーザ端末１０２０に設けられることができる。ユーザ端末１０２０は、光推定モデル１００１を用いて入力映像に対応する光情報を推定し、光情報を用いて仮想オブジェクトに現実感を付与できる。例えば、光情報は、ＡＲ、ＣＧなどの仮想オブジェクトに適用されてもよい。その他に、トレーニング装置１０１０、光推定モデル１００１、及びユーザ端末１０２０には、図１～図９及び図１１の説明が適用される。

図１１は、一実施形態に係る電子装置を示す。図１１を参照すると、電子装置１１００は、プロセッサ１１１０、メモリ１１２０、カメラ１１３０、格納装置１１４０、入力装置１１５０、出力装置１１６０、及びネットワークインターフェース１１７０を含み、これらは通信バス１１８０を介して通信することができる。例えば、電子装置１１００は、移動電話、スマートフォン、ＰＤＡ、ネットブック、タブレットコンピュータ、ラップトップコンピュータなどのようなモバイル装置、スマートウォッチ、スマートバンド、スマートメガネなどのようなウェアラブルデバイス、デスクトップ、サーバなどのようなコンピューティング装置、テレビ、スマートテレビ、冷蔵庫などのような家電製品、ドアラックなどのようなセキュリティー装置、自律走行車両、スマート車両などのような車両の少なくとも一部として実現できる。電子装置１１００は、図１０に示すトレーニング装置１０１０及び／又はユーザ端末１０２０を構造的及び／又は機能的に含んでもよい。

プロセッサ１１１０は、電子装置１１００内で実行するための機能及び命令語を実行する。例えば、プロセッサ１１１０は、メモリ１１２０又は格納装置１１４０に格納された命令語を処理する。プロセッサ１１１０は、図１～図１０を参照して説明された１つ以上の動作を行ってもよい。メモリ１１２０は、コンピュータ読み出し可能な格納媒体又はコンピュータ読み出し可能な格納装置を含んでもよい。メモリ１１２０は、プロセッサ１１１０によって実行するための命令語を格納し、電子装置１１００によってソフトウェア及び／又はアプリケーションが実行される間に関連情報を格納する。

カメラ１１３０は、写真及び／又はビデオを撮影する。写真及び／又はビデオは、光推定モデルの入力映像を構成してもよい。格納装置１１４０は、コンピュータで読み出し可能な格納媒体又はコンピュータで読み出し可能な格納装置を含む。格納装置１１４０は、メモリ１１２０よりもさらに多い量の情報を格納し、情報を長期間格納することができる。例えば、格納装置１１４０は、磁気ハードディスク、光ディスク、フラッシュメモリ、フロッピー（登録商標）ディスク又は技術分野で知られている異なる形態の不揮発性メモリを含んでもよい。

入力装置１１５０は、キーボード及びマウスを通した伝統的な入力方式、及びタッチ入力、音声入力、及びイメージ入力のような新しい入力方式を介してユーザから入力を受信することができる。例えば、入力装置１１５０は、キーボード、マウス、タッチスクリーン、マイクロホン、又は、ユーザから入力を検出し、検出された入力を電子装置１１００に伝達できる任意の他の装置を含んでもよい。出力装置１１６０は、視覚的、聴覚的又は触覚的なチャネルを介してユーザに電子装置１１００の出力を提供することができる。出力装置１１６０は、例えば、ディスプレイ、タッチスクリーン、スピーカ、振動発生装置又はユーザに出力を提供できる任意の他の装置を含んでもよい。ネットワークインターフェース１１７０は、有線又は無線ネットワークを介して外部装置と通信することができる。

以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。

上記で説明したハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

１００：光推定装置
１０１：入力映像
１０２：光情報
１１０：光推定モデル

Claims (23)

1. 光推定のための方法であって、
   光推定モデルを用いて入力映像に対応する光情報を推定するステップと、
   前記入力映像内の参照オブジェクトを検出するステップと、
   前記参照オブジェクトのオブジェクト情報及び前記参照オブジェクトを支持する参照平面の平面情報を決定するステップと、
   前記光情報、前記オブジェクト情報、及び前記平面情報に基づいて前記参照オブジェクトに対応する仮想オブジェクトをレンダリングするステップと、
   前記参照オブジェクトと前記仮想オブジェクトとの間の比較結果に基づいて、前記光推定モデルをアップデートして前記光推定モデルをトレーニングするステップと、
   を含む方法。
2. 前記仮想オブジェクトをレンダリングするステップは、前記仮想オブジェクトの陰影及び前記仮想オブジェクトの影をレンダリングするステップを含む、請求項１に記載の方法。
3. 前記比較結果は、前記参照オブジェクトの陰影及び前記参照オブジェクトの影を示すピクセルデータと、前記仮想オブジェクトの陰影及び前記仮想オブジェクトの影を示すピクセルデータとの間の比較結果を含む、請求項１に記載の方法。
4. 前記オブジェクト情報は、前記参照オブジェクトのポーズ、形状、及び素材のうち少なくとも１つを含み、
   前記平面情報は、前記参照平面のポーズ、形状、及び素材のうち少なくとも１つを含む、請求項１に記載の方法。
5. 前記オブジェクト情報及び前記平面情報を決定するステップは、前記参照オブジェクトが知られているオブジェクトである場合、オブジェクトデータベースを用いて前記オブジェクト情報の少なくとも一部を決定するステップを含む、請求項１に記載の方法。
6. 前記オブジェクト情報及び前記平面情報を決定するステップは、前記参照オブジェクト及び前記参照平面が知られている結合された構造物である場合、オブジェクトデータベースを用いて前記オブジェクト情報及び前記平面情報の少なくとも一部を決定するステップを含む、請求項１に記載の方法。
7. 前記参照オブジェクトに該当する球状の部分構造物及び前記参照平面に該当する平坦な形状の部分構造物が結合して前記構造物を形成している、請求項６に記載の方法。
8. 前記オブジェクト情報及び前記平面情報を決定するステップは、前記参照平面が知られていない平面である場合、前記入力映像から前記参照平面を検出して前記平面情報を決定するステップを含む、請求項１に記載の方法。
9. 前記オブジェクト情報及び前記平面情報を決定するステップは、前記参照オブジェクトが知られていないオブジェクトである場合、予め決定されたプロキシオブジェクトの情報に基づいて前記オブジェクト情報を決定するステップを含む、請求項１に記載の方法。
10. 前記仮想オブジェクトをレンダリングするステップは、
    前記参照平面の各サンプリングポイントの光情報と視認性情報を融合して各サンプリングポイントの影情報を決定するステップと、
    前記参照平面の各サンプリングポイントの前記影情報を前記入力映像の撮影ビューに投影して前記仮想オブジェクトの影をレンダリングするステップと、
    を含む、請求項１に記載の方法。
11. 前記参照オブジェクト及び前記参照平面が知られている結合された構造物である場合、前記視認性情報は、前記結合された構造物の影レンダリングのために予め決定される、請求項１０に記載の方法。
12. 前記光推定モデルをトレーニングするステップは、前記参照オブジェクトと前記仮想オブジェクトとの間の差が小さくなるように前記光推定モデルをアップデートするステップを含む、請求項１に記載の方法。
13. 前記光推定のための方法は、
    他の映像を取得するステップと、
    前記トレーニングされた光推定モデルを用いて前記他の映像に対応する光情報を推定するステップと、
    をさらに含む、請求項１に記載の方法。
14. ハードウェアと結合して請求項１～請求項１３のいずれか一項に記載の方法を実行させるためにコンピュータで読み出し可能な記録媒体に格納されたコンピュータプログラム。
15. 光推定のための装置であって、
    プロセッサと、
    前記プロセッサで実行可能な命令語を含むメモリと、
    を含み、
    前記命令語が前記プロセッサで実行されるとき、請求項１～請求項１３のいずれか一項に記載の方法を実行する、
    装置。
16. 入力映像を生成するカメラと、
    光推定モデルを用いて前記入力映像に対応する光情報を推定し、
    前記入力映像内の参照オブジェクトを検出し、
    前記参照オブジェクトのオブジェクト情報及び前記参照オブジェクトを支持する参照平面の平面情報を決定し、
    前記光情報、前記オブジェクト情報、及び前記平面情報に基づいて前記参照オブジェクトに対応する仮想オブジェクト、前記仮想オブジェクトの陰影、及び前記仮想オブジェクトの影をレンダリングし、
    前記参照オブジェクトの陰影及び前記参照オブジェクトの影を示すピクセルデータと、前記仮想オブジェクトの陰影及び前記仮想オブジェクトの影を示すピクセルデータと間の比較結果に基づいて、前記光推定モデルをアップデートして前記光推定モデルをトレーニングするプロセッサと、
    を含む、電子装置。
17. 前記プロセッサは、予め決定されたプロキシオブジェクトの情報に基づいて前記オブジェクト情報を決定する、請求項１６に記載の電子装置。
18. 光推定のための方法であって、
    第２映像を取得するステップと、
    トレーニングされた光推定モデルを用いて前記第２映像に対応する第２光情報を推定するステップと、
    を含み、
    前記光推定モデルは、
    前記光推定モデルを用いて入力映像に対応する光情報を推定し、
    前記入力映像で参照オブジェクトを検出し、
    前記参照オブジェクトのオブジェクト情報及び前記参照オブジェクトを支持する参照平面の平面情報を決定し、
    前記光情報、前記オブジェクト情報、及び前記平面情報に基づいて前記参照オブジェクトに対応する仮想オブジェクトをレンダリングし、
    前記参照オブジェクトと前記仮想オブジェクトとを比較した結果に基づいて、前記光推定モデルをアップデートしてトレーニングされる、方法。
19. 前記第２光情報に基づいて、前記第２映像内の第２オブジェクトに対応する第２仮想オブジェクトをレンダリングするステップと、
    前記第２映像に前記第２仮想オブジェクトを重複して拡張現実を生成するステップと、
    をさらに含む、請求項１８に記載の方法。
20. 光推定のための方法であって、
    光推定モデルを用いて入力映像に対応する光情報を推定するステップと、
    格納された情報が参照オブジェクトに対応するか否かに基づいて前記入力映像で参照オブジェクトの情報を決定するステップと、
    前記光情報及び前記参照オブジェクトの情報に基づいて、前記参照オブジェクトに対応する仮想オブジェクトをレンダリングするステップと、
    前記参照オブジェクトと前記レンダリングされた仮想オブジェクトとを比較し、光推定モデルをアップデートして前記光推定モデルをトレーニングするステップと、
    を含む、方法。
21. 前記格納された情報は、
    予め決定されたオブジェクトであり、
    前記参照オブジェクトの情報を決定するステップは、前記参照オブジェクトが前記予め決定されたオブジェクトに対応することに応答して、前記格納された情報を前記参照オブジェクトの前記情報として決定するステップを含む、請求項２０に記載の方法。
22. 前記参照オブジェクトの情報を決定するステップは、前記格納された情報が前記参照オブジェクトに対応することに応答して、前記格納された情報を前記参照オブジェクトの前記情報として決定するステップを含む、請求項２０に記載の方法。
23. 前記参照オブジェクトの情報は、前記参照オブジェクトのオブジェクト情報及び前記参照オブジェクトを支持する参照平面の平面情報のうち少なくとも一部を含む、請求項２０に記載の方法。
    

Images