JP2023099443A

JP2023099443A - Ａｒ処理方法及び装置

Info

Publication number: JP2023099443A
Application number: JP2022167314A
Authority: JP
Inventors: 仁友河; Inwoo Ha
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2021-12-31
Filing date: 2022-10-19
Publication date: 2023-07-13
Also published as: US20230215109A1; US20240135657A1; US11900553B2; CN116416415A; EP4207086A1; KR20230103379A

Abstract

【課題】ＡＲ処理方法及び装置が開示される。【解決手段】本方法は、現実世界のターゲット場面に対応する視覚情報がＡＲデバイスのディスプレイ領域を経てユーザに提供されることで、ディスプレイ領域によって発生する視覚情報の光減衰を補償する補償パラメータを決定し、ＡＲデバイスのカメラを用いて現実世界のターゲット場面を撮影して光減衰のない背景映像を生成し、補償パラメータを用いて背景映像の明るさを低減して光減衰を補償する補償映像を生成し、ターゲット場面にオーバーレイする仮想オブジェクト映像を生成し、補償映像及び仮想オブジェクト映像を合成してディスプレイ映像を生成し、ディスプレイ映像をディスプレイ領域に表示するステップを含む。【選択図】図１

Description

本発明は、ＡＲ処理方法及び装置に関する。

拡張現実（ａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙ、ＡＲ）では、ユーザが見る現実世界（ｒｅａｌｗｏｒｌｄ）に付加的な情報を有する仮想映像をオーバーレイする。仮想映像は、現実世界の現実オブジェクトに関するコンテンツを含んでもよく、ユーザは、該当コンテンツによって現実世界に関する付加情報を便利に習得することができる。例えば、ＡＲは、グラス（ｇｌａｓｓ）、ゴーグル（ｇｏｇｇｌｅ）、ヘッドマウントディスプレイ（ｈｅａｄｍｏｕｎｔｅｄｄｉｓｐｌａｙ、ｈｍｄ）形態のデバイスを介して提供され得る。ＡＲデバイスは、一般に、現実世界の背景が映る特性を有する透明又は半透明ディスプレイに対して投射加算（ｐｒｏｊｅｃｔｉｖｅａｄｄｉｔｉｏｎ）方式で仮想映像を表現することができる。

以下の実施形態の目的は、ＡＲ処理方法及び装置を提供することにある。

一実施形態によれば、ＡＲ処理方法は、現実世界のターゲット場面に対応する視覚情報がＡＲデバイスのディスプレイ領域を経てユーザに提供されることで、前記ディスプレイ領域によって発生する前記視覚情報の光減衰を補償する補償パラメータを決定するステップと、前記ＡＲデバイスのカメラを用いて前記現実世界の前記ターゲット場面を撮影し、前記光減衰のない背景映像を生成するステップと、前記補償パラメータを用いて前記背景映像の明るさを減少させ、前記光減衰を補償する補償映像を生成するステップと、前記ターゲット場面にオーバーレイする仮想オブジェクト映像を生成するステップと、前記補償映像及び前記仮想オブジェクト映像を合成してディスプレイ映像を生成するステップと、前記ディスプレイ映像を前記ディスプレイ領域に表示するステップとを含む。

一実施形態によれば、ＡＲ処理装置は、プロセッサと、前記プロセッサで実行可能な命令語を含むメモリと、を含む。前記命令語が前記プロセッサで実行されると、前記プロセッサは、現実世界のターゲット場面に対応する視覚情報がＡＲデバイスのディスプレイ領域を経てユーザに提供されることにより、前記ディスプレイ領域において発生する前記視覚情報の光減衰を補償する補償パラメータを決定し、前記ＡＲデバイスのカメラを用いて前記現実世界の前記ターゲット場面を撮影し、前記光減衰のない背景映像を生成し、前記補償パラメータを用いて前記背景映像の明るさを減少させ、前記光減衰を補償する補償映像を生成し、前記ディスプレイ映像を前記ディスプレイ領域に表示する。

一実施形態によれば、ＡＲデバイスは、現実世界のターゲット場面を撮影するカメラと、ディスプレイ領域にディスプレイ映像を表示するディスプレイと、を含み、前記ターゲット場面に対応する視覚情報が前記ディスプレイ領域を経てユーザに提供されることで、前記ディスプレイ領域によって発生する前記視覚情報の光減衰を補償する補償パラメータを決定し、前記カメラを用いて前記ターゲット場面を撮影し、前記光減衰のない背景映像を生成し、前記補償パラメータを用いて前記背景映像の明るさを低減して前記光減衰を補償する補償映像を生成し、前記ターゲット場面にオーバーレイする仮想オブジェクト映像を生成し、前記補償映像及び前記仮想オブジェクト映像を合成して前記ディスプレイ映像を生成する、プロセッサを含む。

一実施形態によれば、ＡＲグラスは、プロセッサであり、ターゲット場面に対応する視覚情報がＡＲグラスのレンズを介してディスプレイされることに伴う前記レンズによって発生する視覚情報の光減衰を補償するための補償パラメータを決定し、前記ＡＲグラスのカメラを用いて前記ターゲット場面を撮影し、前記光減衰のない背景映像を生成し、前記補償パラメータを用いて背景映像の明るさを低減して補償映像を生成し、前記ターゲット場面にオーバーレイする仮想オブジェクト映像を生成し、前記補償映像と前記仮想オブジェクト映像を合成してディスプレイ映像を生成する、プロセッサと、前記レンズ上に前記ディスプレイ映像を投射する少なくとも１つのプロジェクターと、を含む。

本発明の実施形態によれば、ＡＲ処理方法及び装置を提供することができる。

一実施形態に係る光減衰を用いたＡＲ処理動作を示す。一実施形態に係るディスプレイ映像の生成及び適用動作を示す。一実施形態に係る仮想オブジェクト映像を導き出す動作を示す。一実施形態に係る仮想オブジェクト映像を導き出す動作を示す。一実施形態に係る仮想オブジェクト映像を導き出す動作を示す。図３～図５に示す動作によって導き出された仮想オブジェクト映像を用いたディスプレイ映像の生成及び適用動作を示す。一実施形態に係る補償映像とターゲット場面の整合のために補償映像を調整する動作を示す。一実施形態に係るＡＲ処理方法を示す。一実施形態に係るＡＲ処理装置の構成を示す。一実施形態に係るＡＲデバイスの構成及び構造を示す。一実施形態に係る電子装置の構成を示す。

実施形態に対する特定的な構造的又は機能的な説明は、単なる例示のための目的として開示されたものであって、様々な形態に変更され得る。したがって、実施形態は、特定的な開示形態に限定されるものではなく、本明細書の範囲は、技術的な思想に含まれる変更、均等物ないし代替物を含む。

第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は、１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は、第２構成要素と命名することができ、同様に、第２構成要素は、第１構成要素とも命名することができる。

いずれかの構成要素が他の構成要素に「連結」されているか、または、「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。

単数の表現は、文脈上、明白に異なる意味をもたない限り、複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又、はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なるように定義されない限り、技術的又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

以下、添付する図面を参照しながら実施形態を詳細に説明する。各図面に提示された同じ参照符号は、同じ部材を示す。

図１は、一実施形態に係る光減衰を用いたＡＲ処理動作を示す。図１を参照すると、現実世界のターゲット場面１１０に対応する視覚情報１１１が、ＡＲデバイス（例えば、図１０のＡＲデバイス１０００）のディスプレイ領域１２０を経て、ユーザの目１３０に提供される。視覚情報１１１は、光に対応している。ディスプレイ領域１２０によって視覚情報１１１に対応する光に減衰（ａｔｔｅｎｕａｔｉｏｎ）が生じる場合があり、視覚情報１１１は、視覚情報１１２と共に弱くなる。ここで、減衰は、光を弱化させる他の現像（例えば、散乱、反射など）をさらに含んでよく、または、そのうち少なくとも一部に交替されてよい。例えば、ディスプレイ領域１２０は、光の少なくとも一部を遮断する半透明素子を含んでもよく、遮断されない残りがディスプレイ領域１２０を通過しながら、光減衰が生じ得る。例えば、ディスプレイ領域１２０は、反射機能を介して仮想映像を提供する半透明レンズ、あるいは、ディスプレイ素子を介して仮想映像をディスプレイする半透明ディスプレイであってもよい。

ＡＲ処理装置は、暗い色（例えば、影、黒い瞳、黒いヘアーなど）を表現するために光減衰を使用してもよい。ＡＲ処理装置は、仮想映像を表現するために投射加算（ｐｒｏｊｅｃｔｉｖｅａｄｄｉｔｉｏｎ）方式を用いてもよいが、投射加算方式は、実際の背景よりも暗い色を表現するのに限界がある。光減衰は、実際の背景を暗くするために、必要に応じて減衰状態を取捨選択して、減衰程度に対応する暗がりを表現できる。実感のあるレンダリングのために、暗い色表現は必須である。特に、影や陰影（ｓｈａｄｉｎｇ）は、仮想映像の実感度に大きい影響を与える。

ＡＲ処理装置は、光減衰を補償する補償パラメータを決定する。一実施形態によれば、補償パラメータは、ディスプレイ領域１２０の透過率に基づいて決定されてもよい。例えば、ディスプレイ領域１２０の透過率が８０％であれば、減衰した２０％を補償するパラメータ値が決定され得る。他の一実施形態によれば、補償パラメータは、ユーザ設定に応じて決定されてもよい。ユーザがＡＲデバイスを着用した状態で、ディスプレイ領域１２０を介して、現実世界を見て補償パラメータを調整することができ、ユーザの選択に応じて補償パラメータが決定される。例えば、ユーザが現実世界と最も近接している状態であると感じる補償を提供するパラメータ値が選択されてもよい。これとは異なり、ユーザが好む照度（例えば、サングラスを着用したような暗い程度）に適するパラメータ値が選択されてもよい。このようなユーザ設定は、ＡＲデバイスの初期使用時に実行されるキャリブレーションの手続を介して行われる。

ＡＲ処理装置は、弱くなっている状態の視覚情報１１２を補償する視覚情報１２１を提供する。視覚情報１２１は、ディスプレイ領域１２０のディスプレイ映像によって提供される。ディスプレイ映像は、補償映像及び仮想オブジェクト映像に基づいて生成されてもよい。補償映像は、光減衰を補償することができる。例えば、ディスプレイ領域１２０によって２０％の光が減衰する場合、補償映像が２０％の光を補償して、現実のようなレベルの場面が、ユーザの目１３０に提供され得る。ＡＲ処理装置は、ＡＲデバイスのカメラ１４０を用いて現実世界のターゲット場面を撮影して、光減衰のない背景映像を生成し、補償パラメータを用いて背景映像の明るさを低減して、光減衰を補償する補償映像を生成することができる。ＡＲ処理装置は、ターゲット場面にオーバーレイする仮想オブジェクト映像を生成し、補償映像及び仮想オブジェクト映像を合成して、ディスプレイ映像を生成し、ディスプレイ映像をディスプレイ領域１２０に表示する。

仮想オブジェクト映像は、光減衰を用いて暗い色を表現する減衰領域を含んでもよい。減衰領域は、ディスプレイ領域１２０による光減衰の少なくとも一部が保持された状態に表現され得る。例えば、減衰領域は、仮想オブジェクト映像の影要素を含んでもよい。ＡＲ処理装置は、補償映像で仮想オブジェクト映像の減衰領域の対応領域を決定し、減衰領域のピクセル値に基づいて、前記対応領域のピクセル値を差し引いて、対応領域を表現することができる。ＡＲ処理装置は、対応領域の補償値を０に減少させて、暗い色のうち最も暗い色を表現してもよい。例えば、ディスプレイ領域１２０によって２０％の光が減衰する場合、１０％に該当する補償値は、５％に該当する補償値に比べて暗くない色を表現し得る。０に該当する補償値は、最も暗い色を表現する。ＡＲ処理装置は、このような方式で影要素以外に黒い瞳、黒いヘアーなどの暗い色を表現できる。

暗い色の表現可能な範囲は、ディスプレイ領域１２０の減衰程度及び補償パラメータに応じて決定されてもよい。例えば、ディスプレイ領域１２０によって２０％の光が減衰するために、補償パラメータ値が２０％を全て補償できる補償値の範囲を提供すれば、暗い色は、ディスプレイ領域１２０によって減衰した２０％に該当する表現範囲に表現される。これとは異なり、ディスプレイ領域１２０によって１５％の光が減衰するために、補償パラメータ値が１５％を全て補償できる補償値の範囲を提供し、または、ディスプレイ領域１２０によって２０％の光が減衰するために、補償パラメータ値が１０％だけ補償できる補償値の範囲を提供する場合、暗い色の表現可能な範囲は変わり得る。

図２は、一実施形態に係るディスプレイ映像の生成及び適用動作を示す。図２を参照すると、現実世界のターゲット場面２１０は、ＡＲデバイスのディスプレイ領域を介して、観測場面２２０のように観測される。観測場面２２０は、光減衰状態に対応する。ＡＲ処理装置は、カメラを介してターゲット場面２１０を撮影して、背景映像（図示せず）を生成し、補償パラメータを用いて背景映像の明るさを低減して、補償映像２３０を生成することができる。例えば、ターゲット場面２１０の光量が１００％であれば、観測場面２２０の光量は８０％であってもよく、補償映像２３０の光量は２０％であってもよい。そのため、ターゲット場面２１０の第１パターン２１１の明るさが１５０、第２パターン２１２の明るさが１００であれば、補償映像２３０の第１パターン２２１の明るさは３０、第２パターン２２２の明るさは２０である。補償映像２３０がディスプレイ領域に表示されれば、ターゲット場面２１０に類似の場面が観測され得る。

ＡＲ処理装置は、ターゲット場面にオーバーレイする仮想オブジェクト映像２４０を生成する。仮想オブジェクト映像２４０は、オブジェクト要素２４１及び影要素２４２を含む。影要素２４２は、光減衰を用いて暗い色を表現する減衰領域である。そのため、影要素２４２は。ディスプレイ領域による光減衰の少なくとも一部が保持された状態に表現されてもよい。ＡＲ処理装置は、補償映像２３０及び仮想オブジェクト映像２４０を合成して、ディスプレイ映像２５０を生成し、ディスプレイ映像２５０をディスプレイ領域に表示する。ディスプレイ映像２５０によって光減衰が補償されることで、ディスプレイ領域を介して観測場面２６０が観測され得る。

図３～図５は、一実施形態に係る仮想オブジェクト映像を導き出す動作を示す。図３を参照すると、ターゲット場面３１０は、現実オブジェクト３１１を含む。ＡＲ処理装置は、ターゲット場面３１０を撮影して、光減衰のない背景映像３２０を生成することができる。背景映像３２０は、現実オブジェクト３２１を含む。ＡＲ処理装置は、初期仮想オブジェクト要素３３１を決定し、背景映像３２０と初期仮想オブジェクト要素３３１を融合して、仮想オブジェクト映像のオブジェクト要素を生成することができる。

ＡＲ処理装置は、背景映像３２０と初期仮想オブジェクト要素３３１の全てを考慮して、中間結果映像３４０をレンダリングすることができる。中間結果映像３４０は、現実オブジェクト３４４及び初期仮想オブジェクト要素３４１を含んでもよい。中間結果映像３４０は、影効果、反射効果、及び相互反射効果のような光源効果を含むことができる。例えば、中間結果映像３４０は、初期仮想オブジェクト要素３４１の初期影要素３４３及び初期仮想オブジェクト要素３４１と、現実オブジェクト３４４との間の相互反射要素３４２を含む。

ＡＲ処理装置は、背景映像３２０と中間結果映像３４０との間の差に対応する差映像（図示せず）を生成し、差映像にマスク映像３５０を適用して、差映像から影要素３６１を抽出することができる。マスク映像３５０は、差映像からマスクの外部領域に対応する部分を抽出する。ＡＲ処理装置は、中間結果映像３４０から背景映像３２０を差し引いて、差映像を生成することができる。これにより、影要素３６１は、マイナスの値を有する。影要素３６１が補償映像に適用されるとき、影要素３６１のマイナスの値によって補償映像の補償値が差し引きされる。そのため、減衰領域が形成され得る。

図４は、一実施形態に係るマスク映像を導き出す動作を示す。図４を参照すると、ＡＲ処理装置は、初期仮想オブジェクト要素４１０に対応するマスク４２０を生成し、マスク４２０を含むマスク映像４２１、４２２を生成する。マスク映像４２１は、入力映像でマスク４２０の内部領域に対応する部分を抽出でき、マスク映像４２２は、入力映像でマスク４２０の外部領域に対応する部分を抽出することができる。マスク映像４２１はｍａｓｋで示され、マスク映像４２２はｍａｓｋ－１で示している。図３のマスク映像３５０は、マスク映像４２２に対応する。

図５を参照すると、ＡＲ処理装置は、マスク映像５２０を用いて、中間結果映像５１０からオブジェクト要素を抽出することができる。マスク映像５２０は、中間結果映像５１０からマスクの内部領域に対応する部分を抽出することができる。マスク映像５２０は、図４に示すマスク映像４２１に対応する。ＡＲ処理装置は、オブジェクト要素及び影要素５３０を結合して、仮想オブジェクト映像５５０を生成する。影要素５３０は、図３に示す影要素３６１に対応する。仮想オブジェクト映像５５０は、光源効果を含んでもよい。光源効果は、仮想オブジェクト映像５５０の現実感を向上させ得る。特に、仮想オブジェクト映像５５０の影要素は、減衰領域を介して、暗い色を表現することができる。

図６は、図５に示す仮想オブジェクト映像を用いた、ディスプレイ映像の生成及び適用動作を示す。図６を参照すると、現実世界のターゲット場面６１０は、ＡＲデバイスのディスプレイ領域を介して、観測場面６２０のように観測され得る。観測場面６２０は、光減衰状態に対応する。ＡＲ処理装置は、カメラを介してターゲット場面６１０を撮影して、背景映像（図示せず）を生成し、補償パラメータを用いて背景映像の明るさを低減し、補償映像６３０を生成する。

ＡＲ処理装置は、ターゲット場面にオーバーレイする仮想オブジェクト映像６４０を生成する。仮想オブジェクト映像６４０は、オブジェクト要素以外に、オブジェクト要素の相互反射要素及び影要素のような光源効果を含んでもよい。ＡＲ処理装置は、補償映像６３０及び仮想オブジェクト映像６４０を合成して、ディスプレイ映像６５０を生成する。仮想オブジェクト映像６４０の減衰領域（例えば、影要素）は、マイナスの値を有する。ＡＲ処理装置は、補償映像６３０で仮想オブジェクト映像６４０の減衰領域の対応領域を決定し、減衰領域のピクセル値に基づいて、対応領域のピクセル値を差し引いて、対応領域を表現し得る。対応領域の補償値が０になると、該当領域は、最も暗い色を表現する。

ＡＲ処理装置は、ディスプレイ映像６５０をディスプレイ領域に表示する。ディスプレイ映像６５０によって光減衰が補償され、ディスプレイ領域を介して、観測場面６６０が観測され得る。ここで、ディスプレイ映像６５０の減衰領域に対応する観測場面６６０の部分で光減衰が少なく補償され、または、少なく補償されなくてもよく、該当部分でディスプレイ領域による光減衰の少なくとも一部が保持されることで、該当部分に暗い色が表現され得る。

図７は、一実施形態に係る補償映像およびターゲット場面の整合のために補償映像を調整する動作を示す。ＡＲ処理装置は、３次元特性を考慮しないまま補償映像を表現してもよく、場面整合を行うことで、ナチュラルに補償効果を向上させることができる。ディスプレイ映像で現実世界のターゲット場面に対応する補償映像が該当ターゲット場面に円満に整合するほど、補償効果がより自然に示される。例えば、図２において背景映像２３０の第１パターン２２１は、ターゲット場面２１０の第１パターン２１１に重なって表現され、背景映像２３０の第２パターン２２２は、ターゲット場面２１０の第２パターン２１２に重なって表現されるときに、補償効果がナチュラルに示される。

ＡＲ処理装置は、ＡＲデバイスから補償映像のターゲット領域７０１までのターゲット深度（Ｚ）を決定し、カメラの撮影視点７２０とユーザの観測視点７１０との間の差に基づいて、キャリブレーション情報を決定し、ターゲット深度（Ｚ）及びキャリブレーション情報に基づいて、ターゲット領域７０１に関する撮影視点７２０の映像７２１を観測視点７１０の映像７２２に変換する変換情報を決定することができる。例えば、キャリブレーション情報は、ベースライン（Ｂ）に関する情報を含んでもよい。キャリブレーション情報は、ＡＲデバイスの初期使用時に実行されるキャリブレーションの手続を介して生成されてもよい。変換情報は、映像７２１、７２２のマッチング対の間のディスパリティ（ｄｉｓｐａｒｉｔｙ）情報を含んでもよい。

ＡＲ処理装置は、様々な方式で深度情報を決定することができる。一実施形態によれば、ＡＲ処理装置は、ターゲット場面で仮想オブジェクト映像を表示しようとするオブジェクト位置情報を取得し、オブジェクト位置情報に基づいて、ターゲット深度を決定してもよい。ディスプレイ映像をレンダリングする視点に仮想オブジェクト映像のオブジェクト表示位置がすでに決定されてもよい。オブジェクト表示位置は、現実世界の位置を特定し、オブジェクト表示位置を介して、深度情報が特定され得る。例えば、オブジェクト表示位置がＡＲ処理装置から３メートル離れている場合、３メートルを深度情報として用いて、変換情報を生成することができる。

他の一実施形態によれば、ＡＲ処理装置は、ターゲット領域に対応するターゲット平面を推定して、ターゲット平面情報を決定し、ターゲット平面情報に基づいて、ターゲット深度を決定することができる。ＡＲ処理装置は、補償映像に基づいて、平面推定を実行し、補償映像内で少なくとも１つの平面の平面情報を決定することができる。平面情報を介して深度情報が特定されてもよい。補償映像から複数の平面が推定される場合、ＡＲ処理装置は、複数の平面のうち、仮想オブジェクトに関する一部についてのみ変換情報を決定し、該当の一部についてのみ再投射を行ってもよい。

更なる実施形態によれば、ＡＲ処理装置は、ターゲット領域に対応する空間情報を推定して、ターゲット空間情報を決定し、ターゲット空間情報に基づいて、ターゲット深度を決定することができる。ＡＲ処理装置は、ＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓｌｏｃａｌｉｚａｔｉｏｎａｎｄｍａｐｐｉｎｇ）のような空間推定方式で希薄なマップポイントを推定し、マップポイント間の補間を行って、ターゲット領域の空間情報を推定することができる。これとは異なり、ＡＲ処理装置は、ＳＬＡＭよりも稠密（ｄｅｎｓｅ）なマップポイントを有するボリューム基盤の空間モデルを推定して、ターゲット領域の空間情報を推定してもよい。

ＡＲ処理装置は、変換情報を用いて補償映像を調整することができる。ＡＲ処理装置は、補償映像のターゲット領域７０１と関連して、映像７２１を映像７２２に再投射（ｒｅｐｒｏｊｅｃｔｉｏｎ）して補償映像を調整してもよい。再投射は、ワーピング（ｗａｒｐｉｎｇ）を含んでもよい。

図８は、一実施形態に係るＡＲ処理方法を示す。図８を参照すると、ステップＳ８１０において、ＡＲ処理装置は、現実世界のターゲット場面に対応する視覚情報がＡＲデバイスのディスプレイ領域を経てユーザに提供されることで、前記ディスプレイ領域によって発生する視覚情報の光減衰を補償する補償パラメータを決定する。

ステップＳ８２０において、ＡＲ処理装置は、ＡＲデバイスのカメラを用いて現実世界のターゲット場面を撮影し、光減衰のない背景映像を生成する。ステップＳ８３０において、ＡＲ処理装置は、補償パラメータを用いて背景映像の明るさを低減して、光減衰を補償する補償映像を生成する。

ＡＲ処理装置は、補償映像とターゲット場面が整合である状態で、ユーザによって観測されるように補償映像を調整することができる。ＡＲ処理装置は、ＡＲデバイスから補償映像のターゲット領域までのターゲット深度を決定し、カメラの撮影視点とユーザの観測視点との間の差に基づいて、キャリブレーション情報を決定し、ターゲット深度及びキャリブレーション情報に基づいて、ターゲット領域に関する撮影視点の映像を観測視点の映像に変換する変換情報を決定し、変換情報を用いて、補償映像を調整することができる。

ＡＲ処理装置は、ターゲット場面で仮想オブジェクト映像を表示しようとするオブジェクト位置情報を取得し、オブジェクト位置情報に基づいて、ターゲット深度を決定する。ＡＲ処理装置は、ターゲット領域に対応するターゲット平面を推定して、ターゲット平面情報を決定し、ターゲット平面情報に基づいて、ターゲット深度を決定する。ＡＲ処理装置は、ターゲット領域に対応する空間情報を推定して、ターゲット空間情報を決定し、ターゲット空間情報に基づいて、ターゲット深度を決定することができる。

ステップＳ８４０において、ＡＲ処理装置は、ターゲット場面にオーバーレイする仮想オブジェクト映像を生成する。仮想オブジェクト映像は、光減衰を用いて暗い色を表現する減衰領域を含んでもよい。仮想オブジェクト映像の減衰領域は、ディスプレイ領域による光減衰の少なくとも一部が保持された状態に表現されてもよい。例えば、仮想オブジェクト映像の減衰領域は、仮想オブジェクト映像の影要素を含んでもよい。

仮想オブジェクト映像は、オブジェクト要素及び影要素を含んでもよい。ＡＲ処理装置は、背景映像と初期仮想オブジェクト要素を融合してオブジェクト要素を生成し、背景映像と中間結果映像との間の差に基づいて影要素を生成し、オブジェクト要素及び影要素を結合して、仮想オブジェクト映像を生成することができる。

ＡＲ処理装置は、初期仮想オブジェクト要素に対応するマスクを含むマスク映像を生成することができる。ＡＲ処理装置は、背景映像および初期仮想オブジェクト要素を融合して、オブジェクト要素を含む中間結果映像を生成し、マスク映像のうちマスクの内部領域を用いて、中間結果映像からオブジェクト要素を抽出する。ＡＲ処理装置は、背景映像と中間結果映像との間の差に該当する差映像を生成し、マスク映像のうちマスクの外部領域を用いて、差映像から影要素を抽出することができる。

ステップＳ８５０において、ＡＲ処理装置は、補償映像及び仮想オブジェクト映像を合成して、ディスプレイ映像を生成する。ＡＲ処理装置は、補償映像で仮想オブジェクト映像の減衰領域の対応領域を決定し、減衰領域のピクセル値に基づいて、対応領域のピクセル値を差し引いて、対応領域を表現する。ＡＲ処理装置は、対応領域の補償値を０に減少させて、暗い色のうち、最も暗い色を表現し得る。

ステップＳ８６０において、ＡＲ処理装置は、ディスプレイ映像をディスプレイ領域に表示する。その他に、ＡＲ処理方法には、図１～図７及び図９～図１１の説明が適用され得る。

図９は、一実施形態に係るＡＲ処理装置の構成を示す。図９を参照すると、ＡＲ処理装置９００は、プロセッサ９１０及びメモリ９２０を含む。メモリ９２０は、プロセッサ９１０に接続され、プロセッサ９１０によって実行可能な命令語、プロセッサ９１０が演算するデータ又はプロセッサ９１０によって処理されたデータを格納する。メモリ９２０は、非一時的なコンピュータで読み出し可能な記録媒体、例えば、高速ランダムアクセスメモリ及び／又は非揮発性コンピュータで読み出し可能格納媒体（例えば、１つ以上のディスクストレージ装置、フラッシュメモリ装置、又は、その他の非揮発性固体メモリ装置）を含んでもよい。

プロセッサ９１０は、図１～図８、図１０及び図１１に示す動作を行うための命令語を実行する。例えば、プロセッサ９１０は、現実世界のターゲット場面に対応する視覚情報がＡＲデバイスのディスプレイ領域を経てユーザに提供されることで、ディスプレイ領域によって発生する視覚情報の光減衰を補償する補償パラメータを決定し、ＡＲデバイスのカメラを用いて現実世界のターゲット場面を撮影して光減衰のない背景映像を生成し、補償パラメータを用いて背景映像の明るさを低減して光減衰を補償する補償映像を生成し、ターゲット場面にオーバーレイする仮想オブジェクト映像を生成し、補償映像及び仮想オブジェクト映像を合成してディスプレイ映像を生成し、ディスプレイ映像をディスプレイ領域に表示することができる。その他に、ＡＲ処理装置９００には、図１～図８、図１０及び図１１の説明が適用され得る。

図１０は、一実施形態に係るＡＲデバイスの構成及び構造を示す。図１０を参照すると、ＡＲデバイス１０００は、ＡＲデバイス１０００のブリッジに配置されるモノカメラ１０３３及び／又はＡＲデバイス１０００のそれぞれの端部（ｅｎｄｐｉｅｃｅ）に配置されるステレオカメラ１０３１、１０３２を用いて背景映像を生成し、ディスプレイ領域１０１１、１０１２を介してディスプレイ映像を提供することができる。ディスプレイ領域１０１１、１０１２は、反射機能を介してディスプレイ映像を提供する半透明レンズ、あるいはディスプレイ素子を介してディスプレイ映像をディスプレイする半透明ディスプレイであってもよい。ディスプレイ領域１０１１、１０１２が半透明レンズである場合、ＡＲデバイス１０００のそれぞれのこめかみ（ｔｅｍｐｌｅ）に配置されているプロジェクター１０２１、１０２２を介してディスプレイ映像がディスプレイ領域１０１１、１０１２に投影され得る。ＡＲデバイス１０００は、図１０に明示的に示された構成の他にも、図９に示すＡＲ処理装置９００、図１１に示す電子装置１１００、及びこの構成要素のうち少なくとも一部のような追加構成をさらに含んでもよい。

図１１は、一実施形態に係る電子装置の構成を示す。図１１を参照すると、電子装置１１００は、プロセッサ１１１０、メモリ１１２０、カメラ１１３０、ストレージ装置１１４０、入力装置１１５０、出力装置１１６０、及びネットワークインターフェース１１７０を含み、これらは、通信バス１１８０を介して通信することができる。例えば、電子装置１１００は、移動電話、スマートフォン、ＰＤＡ、ネットブック、タブレットコンピュータ、ラップトップコンピュータなどのようなモバイル装置、スマートウォッチ、スマートバンド、スマートメガネ（例えば、ＡＲグラス、ＡＲゴーグル、ＡＲＨＭＤ）などのようなウェアラブルデバイス、デスクトップ、サーバなどのようなコンピューティング装置、テレビ、スマートテレビ、冷蔵庫、スマート冷蔵庫などのような家電製品、ドアラック、セキュリティーキオスクなどのようなセキュリティー装置、自律走行車両、スマート車両などのような車両、の少なくとも一部として実現することができる。電子装置１１００は、ＡＲ処理装置９００を構造的及び／又は機能的に含み得る。

プロセッサ１１１０は、電子装置１１００内で実行するための機能及び命令語を実行する。例えば、プロセッサ１１１０は、メモリ１１２０又はストレージ装置１１４０に格納された命令語を処理する。プロセッサ１１１０は、図１～図１０を参照して説明された１つ以上の動作を行ってもよい。メモリ１１２０は、コンピュータで読み出し可能な格納媒体又はコンピュータで読み出し可能なストレージ装置を含んでもよい。メモリ１１２０は、プロセッサ１１１０によって実行するための命令語を格納し、電子装置１１００によりソフトウェア及び／又はアプリケーションが実行される間に関連情報を格納することができる。

カメラ１１３０は、写真及び／又はビデオを撮影する。ストレージ装置１１４０は、コンピュータで読み出し可能な格納媒体又はコンピュータで読み出し可能なストレージ装置を含む。ストレージ装置１１４０は、メモリ１１２０よりもさらに多い量の情報を格納し、情報を長期間格納することができる。例えば、ストレージ装置１１４０は、磁気ハードディスク、光ディスク、フラッシュメモリ、フロッピー（登録商標）ディスク、又はこの技術分野で知られた他の形態の不揮発性メモリ、を含んでもよい。

入力装置１１５０は、キーボード及びマウスを通した伝統的な入力方式、及びタッチ入力、音声入力、及びイメージ入力のような新しい入力方式を介して、ユーザから入力を受信することができる。例えば、入力装置１１５０は、キーボード、マウス、タッチスクリーン、マイクロホン、又は、ユーザから入力を検出し、検出された入力を電子装置１１００に伝達できる任意の他の装置を含んでもよい。出力装置１１６０は、視覚的、聴覚的、又は触覚的なチャネルを介して、ユーザに電子装置１１００の出力を提供することができる。出力装置１１６０は、例えば、ディスプレイ、タッチスクリーン、スピーカ、振動発生装置、又はユーザに出力を提供できる任意の他の装置、を含んでもよい。ネットワークインターフェース１１７０は、有線又は無線ネットワークを介して、外部装置と通信できる。

以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃｌｏｇｉｃｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌｓｉｇｎａｌｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答して、データをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者であれば、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことを把握するだろう。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成し、または、独立的又は結合的に処理装置に命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈され、または、処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、もしくは、送信される信号波に、永久的又は一時的に具体化することができる。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納され、または、実行され得る。ソフトウェア及びデータは、一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような光磁気媒体、及び、ＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置、を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。

上記で説明したハードウェア装置は、本発明に示す動作を実行するために、１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述のように、実施形態は限定された図面によって説明されてきたが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて、様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が、説明された方法と異なる順に実行され、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置換されたとしても適切な結果を達成することができる。

したがって、他の具現、他の実施形態、および特許請求の範囲と均等なものも、後述する特許請求範囲の範囲に属する。

１１０ターゲット場面
１２０ディスプレイ領域
１３０ユーザの目
１４０カメラ
２１０ターゲット場面
２２０観測場面
２３０補償映像
３１０ターゲット場面
３２０背景映像
３４０中間結果映像
７０１ターゲット領域
９００ＡＲ処理装置
１０００ＡＲデバイス
１１００電子装置

Claims

現実世界のターゲット場面に対応する視覚情報がＡＲデバイスのディスプレイ領域を経てユーザに提供されることにより、前記ディスプレイ領域において発生する前記視覚情報の光減衰を補償する補償パラメータを決定するステップと、
前記ＡＲデバイスのカメラを用いて、前記現実世界の前記ターゲット場面を撮影し、前記光減衰のない背景映像を生成するステップと、
前記補償パラメータを用いて、前記背景映像の明るさを減少させ、前記光減衰を補償する補償映像を生成するステップと、
前記ターゲット場面にオーバーレイする仮想オブジェクト映像を生成するステップと、
前記補償映像及び前記仮想オブジェクト映像を合成して、ディスプレイ映像を生成するステップと、
前記ディスプレイ映像を前記ディスプレイ領域に表示するステップと、
を含む、ＡＲ処理方法。
前記仮想オブジェクト映像は、前記光減衰を用いて暗い色を表現する減衰領域を含む、
請求項１に記載のＡＲ処理方法。
前記仮想オブジェクト映像の前記減衰領域は、前記ディスプレイ領域による前記光減衰の少なくとも一部が保持された状態に表現される、
請求項２に記載のＡＲ処理方法。
前記仮想オブジェクト映像の前記減衰領域は、前記仮想オブジェクト映像の影、黒い瞳、及び黒いヘアーのうち少なくとも一部を含む、
請求項２に記載のＡＲ処理方法。
前記ディスプレイ映像を生成する前記ステップは、
前記補償映像において前記仮想オブジェクト映像の前記減衰領域の対応領域を決定するステップと、
前記減衰領域のピクセル値に基づいて、前記対応領域のピクセル値を差し引いて、前記対応領域を表現するステップと、
を含む、請求項２に記載のＡＲ処理方法。
前記対応領域を表現するステップは、前記対応領域の補償値を０に減少させて、前記暗い色のうち最も暗い色を表現するステップ、を含む、
請求項５に記載のＡＲ処理方法。
前記仮想オブジェクト映像は、オブジェクト要素及び影要素を含み、
前記仮想オブジェクト映像を生成する前記ステップは、
前記背景映像と初期仮想オブジェクト要素を融合して、前記オブジェクト要素を生成するステップと、
前記背景映像と中間結果映像との間の差に基づいて、前記影要素を生成するステップと、
前記オブジェクト要素及び前記影要素を結合して、前記仮想オブジェクト映像を生成するステップと、
を含む、請求項１に記載のＡＲ処理方法。
前記仮想オブジェクト映像を生成する前記ステップは、さらに、前記初期仮想オブジェクト要素に対応するマスクを含むマスク映像を生成するステップ、を含み、
前記オブジェクト要素を生成する前記ステップは、
前記背景映像と初期仮想オブジェクト要素を融合して、前記オブジェクト要素を含む中間結果映像を生成するステップと、
前記マスク映像のうち、前記マスクの内部領域を用いて前記中間結果映像から前記オブジェクト要素を抽出するステップと、
を含む、請求項７に記載のＡＲ処理方法。
前記仮想オブジェクト映像を生成する前記ステップは、さらに、前記初期仮想オブジェクト要素に対応するマスクを含むマスク映像を生成するステップ、を含み、
前記影要素を生成する前記ステップは、
前記背景映像と前記中間結果映像との間の差に該当する差映像を生成するステップと、
前記マスク映像のうち、前記マスクの外部領域を用いて、前記差映像から前記影要素を抽出するステップと、
を含む、請求項７に記載のＡＲ処理方法。
前記ＡＲ処理方法は、さらに、
前記補償映像と前記ターゲット場面が整合された状態で前記ユーザによって観測されるように前記補償映像を調整するステップ、を含む、
請求項１に記載のＡＲ処理方法。
前記補償映像を調整する前記ステップは、
前記ＡＲデバイスから前記補償映像のターゲット領域までのターゲット深度を決定するステップと、
前記カメラの撮影視点と前記ユーザの観測視点との間の差に基づいて、キャリブレーション情報を決定するステップと、
前記ターゲット深度及び前記キャリブレーション情報に基づいて、前記ターゲット領域に関する前記撮影視点の映像を前記観測視点の映像に変換する、変換情報を決定するステップと、
前記変換情報を用いて、前記補償映像を調整するステップと、
を含む、請求項１０に記載のＡＲ処理方法。
前記ターゲット深度を決定する前記ステップは、
前記ターゲット場面で前記仮想オブジェクト映像を表示しようとするオブジェクト位置情報を取得するステップと、
前記オブジェクト位置情報に基づいて、前記ターゲット深度を決定するステップと、
を含む、請求項１１に記載のＡＲ処理方法。
前記ターゲット深度を決定する前記ステップは、
前記ターゲット領域に対応するターゲット平面を推定して、ターゲット平面情報を決定するステップと、
前記ターゲット平面情報に基づいて、前記ターゲット深度を決定するステップと、
を含む、請求項１１に記載のＡＲ処理方法。
前記ターゲット深度を決定する前記ステップは、
前記ターゲット領域に対応する空間情報を推定して、ターゲット空間情報を決定するステップと、
前記ターゲット空間情報に基づいて、前記ターゲット深度を決定するステップと、
を含む、請求項１１に記載のＡＲ処理方法。
コンピュータで読み出し可能な記録媒体に格納されたコンピュータプログラムであって、
プロセッサによって実行されると、前記コンピュータに請求項１～請求項１４のいずれか一項に記載の方法を実行させる、
コンピュータプログラム。
プロセッサと、
前記プロセッサで実行可能な命令語を含むメモリと、
を含み、
前記命令語が前記プロセッサで実行されると、前記プロセッサは、
現実世界のターゲット場面に対応する視覚情報がＡＲデバイスのディスプレイ領域を経てユーザに提供されることにより、前記ディスプレイ領域によって発生する前記視覚情報の光減衰を補償する補償パラメータを決定し、
前記ＡＲデバイスのカメラを用いて、前記現実世界の前記ターゲット場面を撮影し、前記光減衰のない背景映像を生成し、
前記補償パラメータを用いて、前記背景映像の明るさを減少させ、前記光減衰を補償する補償映像を生成し、
ディスプレイ映像を前記ディスプレイ領域に表示する、
ＡＲ処理装置。
仮想オブジェクト映像は、前記光減衰を用いて暗い色を表現する減衰領域を含み、
前記ディスプレイ領域による前記光減衰の少なくとも一部が保持された状態に表現される、
請求項１６に記載のＡＲ処理装置。
前記プロセッサは、
前記補償映像で前記仮想オブジェクト映像の前記減衰領域の対応領域を決定し、
前記減衰領域のピクセル値に基づいて、前記対応領域のピクセル値を差し引いて、前記対応領域を表現する、
請求項１７に記載のＡＲ処理装置。
現実世界のターゲット場面を撮影するカメラと、
ディスプレイ領域にディスプレイ映像を表示するディスプレイと、
を含み、
前記ターゲット場面に対応する視覚情報が前記ディスプレイ領域を経てユーザに提供されることで、前記ディスプレイ領域によって発生する前記視覚情報の光減衰を補償する補償パラメータを決定し、
前記カメラを用いて、前記ターゲット場面を撮影し、前記光減衰のない背景映像を生成し、
前記補償パラメータを用いて、前記背景映像の明るさを低減して、前記光減衰を補償する補償映像を生成し、
前記ターゲット場面にオーバーレイする仮想オブジェクト映像を生成し、
前記補償映像及び前記仮想オブジェクト映像を合成して、前記ディスプレイ映像を生成する、
プロセッサ、を含む、
ＡＲデバイス。
前記仮想オブジェクト映像は、前記光減衰を用いて暗い色を表現する減衰領域を含み、
前記プロセッサは、前記補償映像で前記仮想オブジェクト映像の前記減衰領域の対応領域を決定し、
前記減衰領域のピクセル値に基づいて、前記対応領域のピクセル値を差し引いて前記対応領域を表現する、請求項１９に記載のＡＲデバイス。
プロセッサであり、
ターゲット場面に対応する視覚情報がＡＲグラスのレンズを介してディスプレイされることに伴う前記レンズによって発生する視覚情報の光減衰を補償するための補償パラメータを決定し、
前記ＡＲグラスのカメラを用いて前記ターゲット場面を撮影し、前記光減衰のない背景映像を生成し、
前記補償パラメータを用いて背景映像の明るさを低減して補償映像を生成し、
前記ターゲット場面にオーバーレイする仮想オブジェクト映像を生成し、
前記補償映像と前記仮想オブジェクト映像を合成してディスプレイ映像を生成する、
プロセッサと、
前記レンズ上に前記ディスプレイ映像を投射する少なくとも１つのプロジェクターと、
を含む、ＡＲグラス。
前記少なくとも１つのプロジェクターは、ＡＲグラスのそれぞれのこめかみにそれぞれ配置される２つのプロジェクターを含み、
それぞれのプロジェクターは、前記レンズのそれぞれのレンズに前記ディスプレイ映像を投射する、
請求項２１に記載のＡＲグラス。
前記カメラは、前記ＡＲグラスのブリッジに配置され、
前記プロセッサは、
ＡＲグラスから前記補償映像のターゲット領域までのターゲット深度を決定し、
前記カメラの撮影視点と前記レンズの観測視点との間の差に基づいて、キャリブレーション情報を決定し、
前記ターゲット深度及び前記キャリブレーション情報に基づいて、前記ターゲット領域に関する前記撮影視点の映像を前記観測視点の映像に変換する、変換情報を決定し、
前記変換情報を用いて前記補償映像を調整する、
請求項２１に記載のＡＲグラス。
前記仮想オブジェクト映像は、さらに、光源効果及び仮想オブジェクトの影を含む、
請求項２１に記載のＡＲグラス。