JP2020513584A - ディスプレイ装置及びその制御方法 - Google Patents

Abstract

ディスプレイ装置及びその制御方法が開示される。本発明に係るディスプレイ装置は、映像を表示するためのディスプレイと、ディスプレイの周辺に配置された外部光源からディスプレイに投射される外光の方向及び光度のうち少なくとも一方に対する検知データを生成する少なくとも一つのセンサと、ディスプレイの後方の背景映像に対するデータを保存するメモリと、背景映像に対するデータと検知データとに基づいてコンテンツ画面を生成し、ディスプレイに表示されるようにするプロセッサとを含み、コンテンツ画面は、背景映像上に少なくとも一つのグラフィックオブジェクトと少なくとも一つのグラフィックオブジェクトに対応する陰を含み、陰の位置及び陰影のうち少なくとも一方は、検知データの変化に対応して変更される。それにより、ディスプレイ装置は、高価の透明ディスプレイを利用しなくても周辺環境に応じて適応的に背景映像を含むコンテンツ画面を提供することができるようになる。

Description

本発明は、ディスプレイ装置及びその制御方法に関し、より詳細には、ディスプレイ装置の後方の背景映像をディスプレイするディスプレイ装置及びその制御方法に関する。

近来、ディスプレイ装置を用いて多様なユーザの経験を提供する機能が開発されている。特に、ディスプレイ装置の設置された壁面の背景に対する背景映像を獲得し、獲得した背景映像をディスプレイ装置を通じてディスプレイすることにより、ユーザにディスプレイが透明なガラス窓になったような視覚的効果を提供することができる。

しかし、周辺の環境状態（照度の変化）の変化が発生したり、或いは、背景映像をディスプレイするディスプレイ装置に適用された色温度などによって、ディスプレイ装置の画面上にディスプレイされる背景映像が、ディスプレイ装置の設置された壁面の背景と異なるように見えるという問題があった。

それにより、ディスプレイ装置のディスプレイが透明なガラス窓になったような視覚的効果を極大化させることができないという問題があった。

更に、ディスプレイ装置の後方の壁紙にコンセント、傷、シミ、釘の跡など、不要な領域（ディフェクト領域）が存在する場合、背景映像をディスプレイする画面上にディフェクト領域がむき出しになり、見かけ上よくないという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ディスプレイ装置に表示される背景映像を含むコンテンツ画面を外部の照明から投射される外光に応じて、適応的に処理して提供することにある。

更に、本発明のもう一つの目的は、ディスプレイ装置の後方の背景イメージからディフェクト領域を除去できるディスプレイ装置、電子装置、それらを含むディスプレイシステム及びその制御方法を提供することにある。

また、本発明の更なる目的は、ディスプレイ装置のディスプレイが透明なガラス窓になったような視覚的効果を提供することにある。

以上のような目的を達成するための本発明の一実施形態に係るディスプレイ装置は、映像を表示するためのディスプレイと、前記ディスプレイの周辺に配置された外部光源から前記ディスプレイに投射される外光の方向及び光度のうち少なくとも一方に対する検知データを生成する少なくとも一つのセンサと、前記ディスプレイの後方の背景映像に対するデータを保存するメモリと、前記背景映像に対するデータと前記検知データに基づいてコンテンツ画面を生成し、前記ディスプレイに表示されるようにするプロセッサとを含み、前記コンテンツ画面は、前記背景映像上に少なくとも一つのグラフィックオブジェクトと前記少なくとも一つのグラフィックオブジェクトに対応する陰を含み、前記陰の位置及び陰影のうち少なくとも一方は、前記検知データの変化に対応して変更される。

そして、前記ディスプレイ装置は、前記ディスプレイの周縁に配置されるベゼルと前記ベゼルを覆う外郭フレームを更に含み、前記プロセッサは、前記コンテンツ画面の周縁に前記外郭フレームに対応する領域に外郭フレーム陰を更に表示するように前記ディスプレイを制御してよい。

なお、前記コンテンツ画面は、前記少なくとも一つのグラフィックオブジェクトを含むオブジェクトレイヤ、前記陰を含む陰レイヤ及び前記背景映像を含む背景映像レイヤを含んでよい。

そして、前記プロセッサは、前記オブジェクトレイヤ、前記陰レイヤ、前記背景映像レイヤの順に、前から配置されて表示されるように前記ディスプレイを制御してよい。

なお、前記プロセッサは、前記センサによって検知された外光の方向及び光度のうち少なくとも一方に応じて、前記コンテンツ画面に含まれた前記少なくとも一つのグラフィックオブジェクトに対する映像補正を行ってよい。

そして、前記プロセッサは、前記コンテンツ画面に複数のグラフィックオブジェクトが含まれた場合、前記複数のグラフィックオブジェクトのそれぞれの類型に応じて、前記複数のグラフィックオブジェクトに対して異なる映像補正を行ってよい。

なお、前記プロセッサは、前記背景映像のパターン有無に基づいて、前記陰を生成してよい。

そして、前記プロセッサは、背景モード及びノーマルモードのうちいずれかで動作し、前記背景モードで動作する間、前記背景映像を含むコンテンツ画面を表示するように前記ディスプレイを制御してよい。

なお、前記メモリは、前記背景映像内の特定領域に対する位置データを更に保存し、前記プロセッサは、前記と特定領域に対する位置データに基づいて、前記背景映像内から前記特定領域に近接した周辺領域のパターンとマッチするイメージパターンを有する領域を抽出し、前記抽出された領域を基準に前記背景映像で前記特定領域の対応領域を決定し、前記特定領域を前記対応領域に置き換えられた背景領域を前記ディスプレイに表示するように制御してよい。

そして、前記背景映像は、少なくとも２回以上繰り返されるパターンイメージを含み、前記特定領域は、ユーザによって選択された少なくとも一つの領域であってよい。

なお、前記プロセッサは、前記特定領域を内部に含む一領域において、前記特定領域を除く残りの領域を前記周辺領域に設定してよい。

そして、前記プロセッサは、前記周辺領域のイメージパターンに対する特徴情報を用いて、前記背景映像内で前記周辺領域のイメージパターンと最も類似するイメージパターンを有する領域を抽出してよい。

なお、前記プロセッサは、前記周辺領域の輝度データを算出し、前記算出された輝度データに基づいて、前記置き換えられた対応領域の輝度を補正してよい。

そして、前記プロセッサは、前記置き換えられた対応領域の補正された輝度データ及び前記周辺領域の輝度データに基づいてブレンディング効果を適用してよい。

なお、電子装置とデータ通信を行う通信部を更に含み、前記プロセッサは、前記電子装置から前記背景映像に対する補正データが受信されると、前記受信された補正データに基づいて前記背景映像を補正してよい。

そして、前記補正データは、前記背景映像をディスプレイするディスプレイ装置を含む領域を撮影した撮影映像から前記背景映像がディスプレイされるディスプレイ領域と残りの周辺領域とを比較して生成されてよい。

なお、前記補正データは、前記ディスプレイ領域と前記周辺領域との画素値を比較し、前記ディスプレイ領域の画素値を前記周辺領域の画素値にマッチさせるための補正値を含んでよい。

そして、前記補正データは、前記ディスプレイ領域のうち、予め設定された第１領域内に含まれた少なくとも一つのピクセルの画素値と、前記周辺領域のうち、予め設定された第２領域内に含まれた少なくとも一つのピクセルの画素値とを比較し、前記第１領域内に含まれた少なくとも一つのピクセルの画素値を前記第２領域内に含まれた少なくとも一つのピクセルの画素値にマッチさせるための補正値を含んでよい。

なお、前記撮影映像は、前記ディスプレイ装置を識別し、前記背景映像がディスプレイされるディスプレイ領域と残りの周辺領域とを区分するためのインディケータを含んでよい。

そして、前記プロセッサは、前記補正された背景映像に対する補正データが受信されると、前記受信された補正データに基づいて前記補正された背景映像を再補正してよい。

以上説明したように、本発明によれば、ディスプレイ装置は、高価の透明ディスプレイを利用しなくても周辺環境に応じて適応的に背景映像を含むコンテンツ画面を提供することができるようになる。

なお、ディスプレイ装置は、ディスプレイ装置の後方の壁紙の釘の跡、コンセント、シミなど、美観を損なう領域の除去されたイメージをディスプレイすることができるため、より見た目の美しいインテリア効果を演出することができるようになる。

最後に、ディスプレイ装置は、電子装置によって補正された背景映像をディスプレイすることにより、ディスプレイ装置の設置された壁面の背景が周辺背景と続いて見える透明ディスプレイを提供する視覚的効果をユーザに提供することができるようになる。

本発明の一実施形態に係る背景映像を提供するためのシステム図である。 本発明の一実施形態に係るディスプレイ装置の構成を概略に示すブロック図である。 本発明の一実施形態に係るディスプレイ装置の構成を具体的に示すブロック図である。 本発明の一実施形態に係るディスプレイ装置のノーマルモード及び背景モードを説明するための例示図である。 本発明の一実施形態に係るディスプレイ装置のノーマルモード及び背景モードを説明するための例示図である。 本発明の多様な実施形態に係る外光に応じて適応的に変わるコンテンツ画面を説明するための例示図である。 本発明の多様な実施形態に係る外光に応じて適応的に変わるコンテンツ画面を説明するための例示図である。 本発明の多様な実施形態に係る外光に応じて適応的に変わるコンテンツ画面を説明するための例示図である。 本発明の多様な実施形態に係る外光に応じて適応的に変わるコンテンツ画面を説明するための例示図である。 本発明の多様な実施形態に係る外光に応じて適応的に変わるコンテンツ画面を説明するための例示図である。 本発明の多様な実施形態に係る外光に応じて適応的に変わるコンテンツ画面を説明するための例示図である。 本発明の多様な実施形態に係る外光に応じて適応的に変わるコンテンツ画面を説明するための例示図である。 本発明の多様な実施形態に係る外光に応じて適応的に変わるコンテンツ画面を説明するための例示図である。 本発明の多様な実施形態に係る外光に応じて適応的に変わるコンテンツ画面を説明するための例示図である。 本発明の多様な実施形態に係る外光に応じて適応的に変わるコンテンツ画面を説明するための例示図である。 本発明の一実施形態に係るディスプレイ装置でディスプレイ装置の後方に存在するディフェクト領域を示す例示図である。 本発明の一実施形態に係る電子装置でディスプレイ装置の後方の背景映像がディスプレイされる例示図である。 本発明の一実施形態に係る電子装置で特定領域及びその周辺領域が選択される例示図である。 本発明の一実施形態に係る特定領域の対応領域を決定するために用いられる周辺領域を具体的に示す例示図である。 本発明の一実施形態に係るディスプレイ装置で特定領域から決定された対応領域を示す例示図である。 本発明の一実施形態に係るディスプレイ装置で特定領域を決定された対応領域に置き換えた画面を示す例示図である。 本発明の一実施形態に係るディスプレイ装置でブレンディング効果を適用する方法を示す例示図である。 本発明の一実施形態に係る電子装置を示すブロック図である。 本発明の一実施形態に係る電子装置を示す細部ブロック図である。 本発明の一実施形態に係る電子装置で背景映像がディスプレイされる背景領域を区分するための第１例示図である。 本発明の別の実施形態に係る電子装置で背景映像がディスプレイされる背景領域を区分するための第２例示図である。 本発明の一実施形態に係る電子装置で背景映像を補正するための第１例示図である。 本発明の別の実施形態に係る電子装置で背景映像を補正するための第２例示図である。 本発明の一実施形態に係るディスプレイ装置で補正された背景映像をディスプレイする例示図である。 本発明の一実施形態に係るディスプレイ装置の制御方法を示すフローチャートである。 本発明の一実施形態に係るディスプレイ装置の制御方法を示すフローチャートである。 本発明の一実施形態に係る電子装置の制御方法を示すフローチャートである。 本発明の一実施形態に係る電子装置の制御方法を示すフローチャートである。 本発明の一実施形態に係る電子装置の制御方法を示すフローチャートである。

本実施形態は、多様な変化を施すことができ、色々な実施形態を有することができるため、特定の実施形態を図に例示し、詳細な説明について詳細に説明する。しかし、それは、特定の実施形態に対して範囲を限定しようとするものではなく、開示された思想及び技術範囲に含まれる全ての変換、均等物ないし代替物を含むものとして理解すべきである。実施形態を説明する上で、関連の公知技術に対する具体的な説明が要旨を不要に曖昧にすると判断される場合には、その詳細な説明を省略する。

第１、第２などの用語は、多様な構成要素を説明するうえで使われるが、構成要素は用語によって限定されてはならない。用語は、一つの構成要素を別の構成要素から区別する目的としてのみ使われる。

本出願において使用する用語は、単に特定の実施形態を説明するために使われるものとして、権利範囲を限定しようとするものではない。単数の表現は、文脈上明白にそうである場合を除いては、複数の表現を含む。本出願で、「含む」または「構成される」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはこれらの組み合わせが存在することを指定するものであって、一つまたはそれ以上の別の特徴や、数字、ステップ、動作、構成要素、部品またはこれらの組み合わせの存在または付加の可能性を予め排除するものではないと理解されるべきである。

実施形態において、「モジュール」或いは「部」は、少なくとも一つの機能や動作を行い、ハードウェアまたはソフトウェアで実現されたり、ハードウェアとソフトウェアとの組み合わせで実現されてよい。なお、複数の「モジュール」或いは複数の「部」は、特定のハードウェアで実現される必要がある「モジュール」或いは「部」を除いては、少なくとも一つのモジュールで一体化されて少なくとも一つのプロセッサ（図示せず）で実現されてよい。

以下において、添付の図面を用いて本発明について具体的に説明する。

図１は、本発明の一実施形態に係る背景映像を提供するためのシステム図である。

図１に示すように、背景映像を提供するためのシステムは、ディスプレイ装置１００及び電子装置２００を含む。

ディスプレイ装置１００は、スマートテレビ、デジタルテレビ、デスクトップパソコン、キオスク端末、対話面映像出力装置などであってよい。

電子装置２００は、スマートフォンのような携帯用端末装置であってよい。しかし、本発明はそれに限らずに、電子装置２００は映像撮影が可能であり、ディスプレイ装置１００とデータ通信が可能な多様な電子装置で実現されてよい。

一方、ディスプレイ装置１００は、特定位置（例えば、建物の壁、屋内の壁或いはアートウォール）に設置され、電子装置２００とデータ通信を行って電子装置２００から受信された映像を画面上にディスプレイする。特に、ディスプレイ装置１００は、電子装置２００からディスプレイ装置１００の設置された壁面に対する背景映像を受信し、受信された背景映像１０を画面上にディスプレイすることができる。即ち、壁面に設置されたディスプレイ装置１００は壁面の背景と連続する背景映像１０をディスプレイすることにより、ガラス窓のような透明ディスプレイを提供する視覚的効果をユーザに提供することができる。

このようなディスプレイ装置１００は、二つの動作モードを有する。まず、第１動作モード（例えば、ノーマルモード）は、通常映像を表示するモードである。具体的に、第１動作モードは、ディスプレイ装置１００に予め保存されたコンテンツまたは外部から受信された放送をディスプレイ装置１００の全画面を用いて表示するモードである。

そして、第２動作モード（例えば、背景モード）は、ディスプレイ装置１００がディスプレイ装置１００の後方の背景映像を含むコンテンツ画面を表示し、ディスプレイ装置１００がまるでガラス窓になったような視覚的効果を提供するモードである。ここで、コンテンツ画面は、ディスプレイ装置１００の位置する後方の背景映像を含み、少なくとも一つのオブジェクト及び少なくとも一つのオブジェクトの陰を含んでよい。

第２動作モードで表示される場合、ディスプレイ装置１００は、ディスプレイ装置１００の後方の背景領域を背景映像で表示するため、ユーザはディスプレイ装置１００が透明なガラス窓になったような錯覚を受けることができる。

一方、第２動作モードの際には、背景画面のみを表示するだけでなく、特定のグラフィックオブジェクトを同時に表示することができる。ここで、特定のグラフィックオブジェクトは、時計オブジェクトであってよいが、普通の壁に付着できるものなら、多様なグラフィックオブジェクト（例えば、絵、写真、金魚鉢、メモなど）が表示されてよい。

一方、ディスプレイ装置１００が第２動作モードで動作する場合、即ち、背景映像を含むコンテンツ画面を表示する場合には、実際の背景領域とディスプレイ装置１００で表示される背景映像との間に輝度などの差が小さいほうが、ユーザがディスプレイ装置１００と実際の背景領域との違和感を認知しにくくなる。

よって、ディスプレイ装置１００の周辺環境の変化に応じて、ディスプレイ装置１００に表示される背景映像を含むコンテンツ画面も適応的に変更される必要がある。

それにより、本発明に係るディスプレイ装置１００は、周辺の照明環境を検知し、検知された周辺の照明環境に応じてディスプレイ装置１００で表示されるコンテンツ画面を処理して表示する。

以下では、ディスプレイ装置１００の具体的な構成を用いて上述の動作について詳細に説明する。

図２は、本発明の一実施形態に係るディスプレイ装置１００の構成を概略に示すブロック図である。

図２に示すように、ディスプレイ装置１００は、少なくとも一つのセンサ１１０と、ディスプレイ１２０と、メモリ１６５及びプロセッサ１３０を含む。

少なくとも一つのセンサ１１０は、外部の光源から投射される外光の方向及び光度を検知するための検知データを獲得する。このとき、少なくとも一つのセンサ１１０は、照度センサであってよいが、それは一実施形態に過ぎず、別のセンサ（例えば、カラーセンサ、カメラなど）を更に含んでよい。

特に、少なくとも一つのセンサ１１０は、ディスプレイ装置１００上に相互離隔している位置に配置される複数のセンサを含む。実現の際には、少なくとも一つのセンサ１１０は、二つのセンサで構成されてよく、四つ以上でも構成されてよい。このような少なくとも一つのセンサ１１０は、照度を検知する照度センサであってよく、照度だけでなく、色温度なども検知可能なカラーセンサ、映像を撮影できるカメラなどであってよい。

なお、少なくとも一つのセンサ１１０は、後述のディスプレイ１２０から放出される光の影響を受けないようにディスプレイ装置１２０の外郭フレーム内に埋め込まれた形態を有してよい。少なくとも一つのセンサ１１０が二つのセンサで構成される場合、一つの照度センサと一つのカラーセンサで構成されるか、二つの照度センサまたは二つのカラーセンサで構成されてよい。

その他に、少なくとも一つのセンサ１１０は、ＩＲセンサ、超音波センサ、ＲＦセンサなどのような多様なセンサを更に含んでよい。このとき、少なくとも一つのセンサ１１０は、多様なセンサを通じて外部のユーザまたは物の位置を検知することもできる。

ディスプレイ１２０は、映像データを表示する。特に、ディスプレイ装置１００が第１動作モードで動作される間、ディスプレイ１２０は外部ソース（例えば、放送局、サーバ、ＤＶＤなど）から獲得された映像コンテンツを表示することができる。なお、第２動作モードで動作される間、ディスプレイ１２０は予め保存された背景映像を含むコンテンツ画面を表示することができる。このとき、コンテンツ画面は、背景映像上に少なくとも一つのグラフィックオブジェクトと少なくとも一つのグラフィックオブジェクトに対する陰とを含んでよい。

このようなディスプレイ１２０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）などのような多様な形態のディスプレイで実現されてよい。ディスプレイ１２０内には、ａ−ｓｉ ＴＦＴ、ＬＴＰＳ（ｌｏｗ ｔｅｍｐｅｒａｔｕｒｅ ｐｏｌｙ ｓｉｌｉｃｏｎ） ＴＦＴ、ＯＴＦＴ（ｏｒｇａｎｉｃ ＴＦＴ）などのような形態で実現できる駆動回路、バックライトユニットなども併せて含まれてよい。一方、ディスプレイ１２０は、タッチ検知部と組み合わせてタッチスクリーンで実現されてよい。

ディスプレイ１２０は、バックライトを含む。ここで、バックライトは、複数の光源で構成される点光源として、ローカル調光（Ｄｉｍｍｉｎｇ）をサポートする。

ここで、バックライトを構成する光源は、冷陰極蛍光ランプ（Ｃｏｌｄ Ｃａｔｈｏｄｅ Ｆｌｕｏｒｅｓｃｅｎｔ Ｌａｍｐ：ＣＣＦＬ）または発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：ＬＥＤ）で構成されてよい。以下では、バックライトを発光ダイオードと発光ダイオード駆動回路とで構成されるものとして示して説明するが、実現時には、ＬＥＤ以外に他の構成で実現されてよい。そして、このようなバックライトを構成する複数の光源は、多様な形態で配置されてよく、多様なローカル調光技術が適用されてよい。例えば、バックライトは、複数の光源がマトリックス状に配置されて液晶画面全体に均一に配置される直下型（Ｄｉｒｅｃｔ Ｔｙｐｅ）バックライトであってよい。この場合、バックライトは、Ｆｕｌｌ−Ａｒｒａｙローカル調光または直下型ローカル調光で動作することができる。ここで、Ｆｕｌｌ−Ａｒｒａｙローカル調光は、ＬＣＤ画面の後ろに全体的に光源が満遍なく配置され、各光源別輝度の調節を行う調光方式である。そして、直下型ローカル調光は、Ｆｕｌｌ−Ａｒｒａｙローカル調光方式と類似しているが、より小さい光源の数で各光源別輝度の調節を行う調光方式である。

なお、バックライトは、ＬＣＤの周縁部分にのみ複数の光源が配置されるエッジ型（Ｅｄｇｅ ｔｙｐｅ）バックライトであってよい。この場合、バックライトは、Ｅｄｇｅ−ｌｉｔローカル調光で動作することができる。ここで、Ｅｄｇｅ−ｌｉｔローカル調光は、複数の光源がパネルの周縁にのみ配置され、左／右のみに配置されるか、上／下のみに配置されるか、左／右／上／下に配置されることも可能である。

特に、ディスプレイ１２０は、背景映像を含むコンテンツ画面を表示することができる。このとき、コンテンツ画面は、少なくとも一つのグラフィックオブジェクトを含むオブジェクトレイヤ、少なくとも一つのグラフィックオブジェクトに対する陰を含む陰レイヤ、背景映像を含む背景映像レイヤを含んでよい。

なお、ディスプレイ１２０は、第１動作モードで動作する間は第１周波数（例えば、１２０Ｈｚまたは２４０Ｈｚ）でディスプレイ１２０を構成することができ、第２動作モードで動作する間は第１周波数より低い第２周波数（例えば、６０Ｈｚ）でディスプレイ１２０を駆動することができる。即ち、第２動作モードで操作する間は低い周波数でディスプレイ１２０を駆動することで、消費電力を最小化することができる。

メモリ１６５は、ディスプレイ装置１００を制御するためのプログラム及びデータを保存する。なお、メモリ１６５は、映像コンテンツを保存することができる。特に、メモリ１６５は、ディスプレイ装置１００の後方の背景映像に対するデータを保存することができる。このとき、背景映像に対するデータは、スマートフォンのような電子装置から獲得されてよい。しかし、それは一実施形態に過ぎず、ディスプレイ装置１００と接続されたカメラから獲得されてよい。

プロセッサ１３０は、ディスプレイ装置１００の動作全般を制御する。特に、プロセッサ１３０は、メモリ１６５に保存された背景映像に対するデータと少なくとも一つのセンサ１１０によって獲得された検知データとに基づいて、コンテンツ画面を生成してディスプレイ１２０に表示されるように制御してよい。このとき、コンテンツ画面は、背景映像上に少なくとも一つのグラフィックオブジェクトと少なくとも一つのグラフィックオブジェクトに対応する陰とを含んでよく、このとき、陰の位置及び陰影のうち少なくとも一方は、検知データの変化に対応して変更されてよい。

なお、ディスプレイ装置１００の周縁にベゼルとベゼルを覆う外郭フレームとを含む場合、プロセッサ１３０はコンテンツ画面の周縁に外郭フレームに対応する領域に外郭フレーム陰を更に表示するようにディスプレイ１２０を制御してよい。

このとき、プロセッサ１３０は、コンテンツ画面を生成するために、少なくとも一つのグラフィックオブジェクトを含むオブジェクトレイヤ、陰を含む陰レイヤ及び背景映像を含む背景映像レイヤを生成してよい。このとき、オブジェクトレイヤは、外部から獲得されたり、予め保存されたデータから生成されてよく、陰レイヤは、オブジェクトレイヤ及び検知データに基づいて生成されてよく、背景映像レイヤは、メモリ１６５に保存された背景映像に対するデータから生成されてよい。一方、本発明の一実施形態によって、オブジェクトレイヤまたは背景映像レイヤは、複数個生成されてよい。なお、外郭フレーム陰を含む外郭フレーム陰レイヤが更に生成されてよい。

特に、プロセッサ１３０は、オブジェクトレイヤ、陰レイヤ、背景映像レイヤの順に前から配置されて表示されるようにディスプレイ１２０を制御してよい。なお、外郭フレーム陰レイヤが生成された場合、プロセッサ１３０はオブジェクトレイヤより前に配置されて表示されるようにディスプレイ１２０を制御してよい。

そして、プロセッサ１３０は、少なくとも一つのセンサ１１０によって検知された外光の光度に応じて、コンテンツ画面に含まれた少なくとも一つのグラフィックオブジェクトに対する映像補正を行ってよい。例えば、プロセッサ１３０は、外光の光度に応じて、前記少なくとも一つのグラフィックオブジェクトに対する輝度を調節することができる。

なお、コンテンツ画面に複数のグラフィックオブジェクトが含まれた場合、プロセッサ１３０は、複数のグラフィックオブジェクトのそれぞれの類型に応じて、複数のグラフィックオブジェクトに対して異なる映像補正を行ってよい。例えば、プロセッサ１３０は、外光の光度に応じて第１類型のグラフィックオブジェクト（例えば、時計など）の輝度調節量と、第２類型のグラフィックオブジェクト（例えば、金魚鉢など）の輝度調節量を異なるように設定してよい。

なお、プロセッサ１３０は、少なくとも一つのセンサ１１０によって検知された外光の方向及び光度のうち少なくとも一方に応じて、コンテンツ画面に含まれた背景映像に対する映像補正を行うことができる。例えば、プロセッサ１３０は、外光の光度が暗くなるほど、背景映像の輝度を暗く調節することができる。

なお、プロセッサ１３０は、背景映像のパターン有無を基に影を生成することができる。例えば、背景映像にパターンがない場合、プロセッサ１３０は陰の輝度を明るくし、背景映像にパターンがある場合、プロセッサ１３０は陰の輝度を暗くすることができる。

図３は、本発明の一実施形態に係るディスプレイ装置の構成を具体的に示すブロック図である。

図３を参照すると、本実施形態に係るディスプレイ装置１００は、上述の構成の他に、放送受信部１４０と、信号分離部１４５と、Ａ／Ｖ処理部１５０と、オーディオ出力部１５５と、映像信号生成部１６０と、通信部１７０及び操作部１７５を更に含んでよい。

放送受信部１４０は、放送局または衛星から有線または無線で放送を受信して復調する。具体的に、放送受信部１４０は、アンテナまたはケーブルを通じて伝送ストリームを受信して復調し、デジタル伝送ストリーム信号を出力することができる。

信号分離部１４５は、放送受信部１４０から提供された伝送ストリーム信号を映像信号、オーディオ信号、付加情報信号に分離する。そして、信号分離部１４５は、映像信号及びオーディオ信号をＡ／Ｖ処理部１５０に伝送する。

Ａ／Ｖ処理部１５０は、放送受信部１４０及び保存部１６５から入力された映像信号及びオーディオ信号に対してビデオデコーディング、ビデオスケーリング、オーディオデコーディングなどの信号処理を行う。そして、Ａ／Ｖ処理部１５０は、映像信号を映像信号提供部１６０に出力し、オーディオ信号をオーディオ出力部１５５に出力する。

一方、受信された映像及びオーディオ信号を保存部１６５に保存する場合、Ａ／Ｖ処理部１５０は映像とオーディオとを圧縮した形態で保存部１６５に出力することができる。

オーディオ出力部１５５は、Ａ／Ｖ処理部１５０から出力されるオーディオ信号をサウンドに変換してスピーカ（図示せず）を介して出力させるか、外部出力端子（図示せず）を介して接続された外部機器に出力する。

映像信号提供部１６０は、ユーザに提供するためのＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を生成する。そして、映像信号提供部１６０は、生成されたＧＵＩをＡ／Ｖ処理部１５０から出力された映像に付加する。そして、映像信号提供部１６０は、ＧＵＩの付加された映像に対応する映像信号をディスプレイ１２０に提供する。それにより、ディスプレイ１２０は、ディスプレイ装置１００で提供する各種情報及び映像信号提供部１６０から伝達された映像を表示する。

そして、映像信号提供部１６０は、プロセッサ１３０によって生成されたコンテンツ画面を処理して出力することができる。具体的に、映像信号提供部１６０は、複数のレイヤをそのまま出力するか、複数のレイヤを合成（または、マージング）してディスプレイ１２０に提供することができる。

メモリ１６５は、ディスプレイ装置１００を制御するための多様なデータ及びプログラムを保存する。なお、メモリ１６５は、Ａ／Ｖ処理部１５０から映像とオーディオとが圧縮された映像コンテンツを提供されて保存することができ、プロセッサ１３０の制御によって保存された映像コンテンツをＡ／Ｖ処理部１５０に出力することができる。特に、メモリ１６５は、背景映像に対するデータを保存することができる。

一方、メモリ１６５は、ハードディスク、非揮発性メモリ、揮発性メモリなどで実現されてよい。

操作部１７５は、タッチスクリーン、タッチパッド、キーボタン、キーパッドなどで実現され、ディスプレイ装置１００のユーザ操作を提供する。本実施形態では、ディスプレイ装置１００に備えられた操作部１７５を介して制御命令を入力される例を説明しているが、操作部１７５は、外部制御装置（例えば、リモコン）からユーザ操作を入力されることもできる。

通信部１７０は、多様な通信方式を応じて、多様な外部機器と通信を行う構成である。通信部１７０は、Ｗｉ−Ｆｉチップ３３１、ブルートゥース（登録商標）チップ３３２を含んでよい。プロセッサ１３０は、通信部１７０を用いて各種外部機器と通信を行うことができる。具体的に、通信部１７０は、ディスプレイ装置１００を制御できる制御端末装置（例えば、スマートフォン、リモコン）から制御命令を受信することができる。

通信部１７０は、外部サーバとの通信を通じて天気情報を獲得することができる。

その他に、図３に示していないが、実施形態に応じては、通信部１７０は、ＵＳＢコネクタが接続できるＵＳＢポートや、ヘッドセット、マウス、ＬＡＮなどのような多様な外部端子と接続するための多様な外部入力ポート、ＤＢＭ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）信号を受信して処理するＤＭＢチップなどを更に含むことができる。

プロセッサ１３０は、ディスプレイ装置１００の動作全般を制御する。具体的に、プロセッサ１３０は、第１動作モードの際には、操作部１７５を介して入力される制御命令に応じた映像が表示されるように映像信号提供部１６０、ディスプレイ１２０を制御することができる。

プロセッサ１３０は、ＲＯＭ１３１、ＲＡＭ１３２、ＧＰＵ１３３、ＣＰＵ１３４及びバスを含んでよい。ＲＯＭ１３１、ＲＡＭ１３２、ＧＰＵ１３３、ＣＰＵ１３４などは、バスを通じて相互接続されてよい。

ＣＰＵ１３４は、メモリ１６５にアクセスし、メモリ１６５に保存された運営体制（Ｏ／Ｓ）を用いてブートを行う。そして、ＣＰＵ１３４は、メモリ１６５に保存された各種プログラム、コンテンツ、データなどを用いて多様な動作を行うことができる。このようなＣＰＵ１３４の動作は、図２のプロセッサ１３０の動作と同様であるため、繰り返し説明は省略する。

ＲＯＭ１３１には、システムブートのための命令語セットなどが保存される。ターンオン命令が入力されて電源が供給されると、ＣＰＵ１３４は、ＲＯＭ１３１に保存された命令語に応じてメモリ１６５に保存されたＯ／ＳをＲＡＭ１３２にコピーし、Ｏ／Ｓを実行させてシステムをブートさせる。ブートが完了すると、ＣＰＵ１３４は、メモリ１６５に保存された各種プログラムをＲＡＭ１３２にコピーし、ＲＡＭ１３２にコピーされたプログラムを実行させて各種動作を行う。

ＧＰＵ１４０は、ディスプレイ装置１００のブートが完了すると、アイコン、イメージ、テキストなどのような多様な客体を含む画面を生成することができる。具体的に、ＧＰＵ１４０は、ディスプレイ装置１００が第２動作モードで動作する場合、背景映像にグラフィックオブジェクト及びグラフィックオブジェクトの陰を含むコンテンツ画面を生成することができる。

このようなＧＰＵ構成は、映像信号生成部１６０のような別途の構成で構成されてよく、プロセッサ１３０内のＣＰＵと組み合わせられたＳｏＣのような構成で実現されてよい。

特に、プロセッサ１３０は、第２動作モードで動作する間、メモリ１６５に保存された背景映像に対するデータと少なくとも一つのセンサ１１０によって獲得された検知データとに基づいて、コンテンツ画面を生成してディスプレイ１２０に表示されるように制御することができる。このとき、コンテンツ画面は、背景映像上に少なくとも一つのグラフィックオブジェクトと少なくとも一つのグラフィックオブジェクトに対応する陰とを含んでよく、このとき、陰の位置及び陰影のうち少なくとも一方は、検知データの変化に対応して変更されてよい。

以下では、図面を参照してプロセッサ１３０の動作についてより詳細に説明する。

まず、ディスプレイ装置１００は、背景映像に対するデータを外部の携帯端末から受信してメモリ１６５に保存することができる。

特に、ディスプレイ装置１００は、ディスプレイ装置１００が設置される前にガイド部材を用いて獲得された背景映像に対するデータをスマートフォンのような電子装置から受信することができる。

具体的に、ユーザは、ディスプレイ装置１００を設置するための場所（例えば、壁）にガイド部材を固定させることができる。

ガイド部材が固定されると、電子装置はカメラを用いて、ディスプレイ装置１００の設置される領域に位置するガイド部材を含む映像を獲得することができる。そして、携帯端末は、獲得された映像を表示することができる。このとき、表示された映像には、最適の背景映像を獲得するためのガイド部材のマークの位置をガイドする複数のインディケータが含まれてよい。

そして、電子装置は、撮影された映像のうち、ガイド部材内にディスプレイ装置１００の位置する領域（例えば、壁領域）の背景を分析し、ディスプレイ装置１００の設置される位置の背景映像に対するデータを獲得することができる。このとき、背景映像とは、ディスプレイ装置の設置される領域（例えば、壁）に対する映像として、背景映像がディスプレイ装置１００に表示される場合、ユーザはディスプレイ装置１００を介してガラス窓効果を提供されることができるようになる。

そして、電子装置は、背景映像に対する情報をディスプレイ装置１００に伝送することができる。

そして、第１動作モード（即ち、ノーマルモード）で動作する間、プロセッサ１３０は外部から受信された映像コンテンツまたは予め保存された映像コンテンツを表示するようにディスプレイ１２０を制御することができる。例えば、プロセッサ１３０は、図４Ａに示すように、チューナを介して受信される放送コンテンツ４１０を表示するようにディスプレイ１２０を制御することができる。

ノーマルモードで動作する間、予め設定されたユーザ命令（例えば、リモコンの特定ボタンを選択する命令）が入力されるか、予め設定されたイベント（例えば、ディスプレイ装置１００が待機状態（ディスプレイ１２０がオフになった状態）でユーザを検知するイベント）が検知された場合、プロセッサ１３０はディスプレイ装置１００の動作モードを第１動作モードから第２動作モード（即ち、背景モード）に切り替えることができる。

第２動作モードで動作する間、プロセッサ１３０は予め保存された背景映像に対するデータ及び少なくとも一つのセンサ１００を介して獲得された検知データに基づいて背景映像を含むコンテンツ画面を表示するようにディスプレイ１２０を制御することができる。このとき、コンテンツ画面は、図４Ｂに示すように、背景映像４２０上に時計オブジェクト４３０と時計オブジェクト４３０に対応する陰４４０を含んでよい。

このとき、陰４４０の位置及び陰影は、検知データの変化に対応して変更されてよい。具体的に、陰４４０の位置及び陰影は、外光の方向及び光度に基づいて調節されてよい。

より具体的に、プロセッサ１３０は、図５に示すように、背景映像に対する情報に基づいて背景映像４２０を含む背景映像レイヤ５１０を生成することができる。そして、プロセッサ１３０は、時計オブジェクト４３０を含むオブジェクトレイヤ５３０を生成することができ、時計オブジェクト４３０の陰４４０を含む陰レイヤ５２０を生成することができる。そして、プロセッサ１３０は、図５に示すように、背景映像レイヤ５１０、陰レイヤ５２０、オブジェクトレイヤ５３０の順に前へ配置して表示するようにディスプレイ１２０を制御することができる。

一方、図５においては、オブジェクトレイヤ５３０が一つ、陰レイヤ５２０が一つ生成されるものとして説明したが、それは一実施形態に過ぎず、複数のオブジェクトレイヤ及び複数の陰レイヤが生成されてよい。例えば、プロセッサ１３０は、時計オブジェクトを含むオブジェクトレイヤ及びつる植物オブジェクトを含むオブジェクトレイヤを生成することができ、それぞれのオブジェクトに対する陰レイヤを生成することができる。複数のオブジェクトレイヤが生成される場合、プロセッサ１３０は、より前に映そうとするオブジェクトを含むオブジェクトレイヤを前に配置して表示するようにディスプレイ１２０を制御することができる。例えば、時計オブジェクトを含むオブジェクトレイヤ及びつる植物オブジェクトを含むオブジェクトレイヤが生成された場合、プロセッサ１３０は時計オブジェクトを含むオブジェクトレイヤをつる植物オブジェクトを含むオブジェクトレイヤより前に配置して表示するようにディスプレイ１２０を制御してよい。

特に、図６Ａに示すように、ディスプレイ装置１００は、ディスプレイ１２０の周縁に配置されるベゼルとベゼルを覆う外郭フレーム６１０とを更に含んでよい。このとき、プロセッサ１３０は、外郭フレーム６１０に対する陰６２０に対する外郭フレーム陰レイヤを更に生成し、図６Ａに示すように、外郭フレーム６１０に対する陰６２０を含むコンテンツ画面を表示するようにディスプレイ１２０を制御してよい。

このとき、プロセッサ１３０は、図６Ｂに示すように、背景映像レイヤ５１０、陰レイヤ５２０、オブジェクトレイヤ５３０、外郭フレーム陰レイヤ６３０の順に前へ配置して表示するように、ディスプレイ１２０を制御することができる。即ち、図６Ｂのように、外郭フレーム陰レイヤ６３０が最も前に配置される場合、外郭フレームの陰６２０とグラフィックオブジェクトとが重なる場合、外郭フレームの陰６２０がグラフィックオブジェクトより前にあるかのように映り、よりリアルなガラス窓効果を提供することができる。

本発明の更に別の実施形態によると、プロセッサ１３０は、図６Ｃに示すように、背景映像レイヤ５１０、陰レイヤ５２０、外郭フレーム陰レイヤ６３０、オブジェクトレイヤ５３０の順に前へ配置して表示するように、ディスプレイ１２０を制御することができる。

なお、プロセッサ１３０は、少なくとも一つのセンサ１１０から獲得された検知データに基づいてコンテンツ画面に含まれた背景映像、グラフィックオブジェクト、グラフィックオブジェクトの陰に対する映像補正を行うことができる。

具体的に、プロセッサ１３０は、少なくとも一つのセンサ１１０から獲得された外光の方向に基づいてコンテンツ画面に含まれたグラフィックオブジェクトの陰または外郭フレームの陰を生成することができる。例えば、少なくとも一つのセンサ１１０から獲得された太陽光の方向変更に応じて、コンテンツ画面に含まれたグラフィックオブジェクトの陰または外郭フレームの陰の方向を変更することができる。

なお、プロセッサ１３０は、少なくとも一つのセンサ１１０から獲得された外光の光度に基づいてコンテンツ画面に含まれた背景映像、グラフィックオブジェクト、グラフィックオブジェクトの陰に対する輝度調節を行うことができる。

本発明の一実施形態として、少なくとも一つのセンサ１１０から獲得された検知データに基づいて外光の光度が高くなると検知されると、図７Ａに示すように、プロセッサ１３０は、背景映像の明暗がより明るくなるように背景映像レイヤ５１０を生成することができ、グラフィックオブジェクトの明暗がより暗くなるようにオブジェクトレイヤ５３０を生成することができ、グラフィックオブジェクトまたは外郭フレームの陰の明暗が明るくなるようにオブジェクトレイヤ５２０及び外郭フレーム陰レイヤ６３０を生成することができる。

なお、少なくとも一つのセンサ１１０から獲得された検知データに基づいて外光の光度が低くなると検知されると、図７Ｂに示すように、プロセッサ１３０は、背景映像の明暗がより暗くなるように背景映像レイヤ５１０を生成することができ、グラフィックオブジェクトの明暗がより明るくなるようにオブジェクトレイヤ５３０を生成することができ、グラフィックオブジェクト及び外郭フレームの陰の明暗が暗くなるようにオブジェクトレイヤ５２０及び外郭フレーム陰レイヤ６３０を生成することができる。

即ち、図７Ａ及び図７Ｂに示すように、外光の光度に応じてコンテンツ画面内の背景映像の明暗が調節されることにより、ユーザが実際の背景領域とディスプレイ装置１００内の背景映像との間に差を感じられないようにすることができる。なお、外光の光度に応じて、グラフィックオブジェクトの明暗が調節されることにより、ユーザが外光の輝度によらず、グラフィックオブジェクトをより鮮明に確認することができるようになる。なお、外光の光度に応じて、グラフィックオブジェクトまたは外郭フレームの陰明暗が調節されることにより、ユーザがグラフィックオブジェクトが実際にガラス窓に浮いているかのようなイメージ効果を提供されることができるようになる。

なお、コンテンツ画面に複数のグラフィックオブジェクトが含まれた場合、プロセッサ１３０は、複数のグラフィックオブジェクトのそれぞれの類型に応じて複数のグラフィックオブジェクトに対して異なる映像補正を行うことができる。

具体的に、図８Ａ及び図８Ｂに示すように、コンテンツ画面は背景の役割をするオブジェクト（例えば、つる植物オブジェクト、金魚鉢オブジェクトなど）及び情報提供の役割をするオブジェクト（例えば、時計オブジェクト、メモオブジェクトなど）を含んでよい。

本発明の一実施形態として、少なくとも一つのセンサ１１０から獲得された検知データに基づいて外光の光度が高くなると検知されると、図８Ａに示すように、プロセッサ１３０はつる植物オブジェクトの明暗が背景映像とともにより明るくなるように第１オブジェクトレイヤを生成することができ、時計オブジェクトの明暗がより暗くなるように第２オブジェクトレイヤを生成することができる。

なお、少なくとも一つのセンサ１１０から獲得された検知データに基づいて外光の光度が低くなると検知されると、図８Ｂに示すように、プロセッサ１３０はつる植物オブジェクトの明暗が背景映像とともにより暗くなるように第１オブジェクトレイヤを生成することができ、時計オブジェクトの明暗がより明るくなるように第２オブジェクトレイヤを生成することができる。

なお、プロセッサ１３０は、背景映像にパターンが含まれているか否かに応じて、グラフィックオブジェクト及びグラフィックオブジェクトの陰を生成することができる。

具体的に、プロセッサ１３０は、図９Ａに示すように、背景映像にパターンが含まれていない場合と、図９Bに示すように、背景映像にパターンが含まれている場合とに、異なる明暗を有するグラフィックオブジェクト及びグラフィックオブジェクトの陰を生成することができる。それは、背景映像のパターンに応じて、よりグラフィックオブジェクトを鮮明に映すようにするためである。

以下では、本発明に係るディスプレイ装置１００でディスプレイ装置１００を介してディスプレイされる背景映像でディフェクト領域を補正してディスプレイする動作について詳細に説明する。

図１０は、本発明の一実施形態に係るディスプレイ装置でディスプレイ装置の後方に存在するディフェクト領域を示す例示図である。

図１０に示すように、ディスプレイ装置１００の後方の壁に、釘の跡、コンセント、シミ、壁紙の剥がれた領域など、美観を損なう領域（以下、ディフェクト領域２１）が存在する場合、このようなディフェクト領域２１が背景映像にもそのまま映ってしまうという問題があった。

このように、背景映像内にディフェクト領域２１が存在すると、プロセッサ１３０は次のような実施形態を通じてディフェクト領域を取り除くことができる。

上述のように、ディスプレイ装置１００は、通信部１７０を介して電子装置２００からディスプレイ装置１００の後方の背景映像に対するデータを受信することができる。更に、ディスプレイ装置１００は、通信部１７０を介して電子装置２００からディスプレイ装置１００の後方の背景映像内の特定領域に対する位置データを受信することができる。よって、メモリ１６５は、電子装置２００から受信されたディスプレイ装置１００の後方の背景映像に対するデータ及びディスプレイ装置１００の後方の背景映像内の特定領域に対する位置データを保存することができる。

一方、背景映像は、図１０に示すように、少なくとも２回以上繰り返し表示されるパターンイメージを含んでよく、ディスプレイ装置１００によって塞がれたディスプレイ装置１００の後方の壁紙が撮影されたイメージであってよい。

ここで、背景映像内の特定領域は、電子装置２００のユーザによって選択された領域として、図１０で説明したように、ディフェクト領域２１を含んでよい。なお、背景映像内の特定領域は、電子装置２００でイメージ特徴情報に基づいて自動的に検出されたディフェクト領域を含む領域であってよい。

このような背景映像に対するデータ及び背景映像内の特定領域に対する位置データがメモリ１６５に保存されると、プロセッサ１３０は、保存されたデータに基づいて、背景映像内で特定領域に近接した周辺領域のイメージパターンとマッチするイメージパターンを有する領域を抽出することができる。特定領域に対する位置データは、背景映像の全領域を基準に特定領域の位置を示すｘ、ｙ座標の形式を有するデータであってよい。プロセッサ１３０は、周辺領域のイメージパターンに対する特徴情報を検出し、検出された特徴情報を用いて、背景映像内で周辺領域のイメージパターンと最も類似するイメージパターンを有する領域を抽出することができる。

具体的に、プロセッサ１３０は、検出された特徴情報を用いて、特徴情報が一致する別の領域を探索することができる。特徴情報は、完全に一致することは困難であるため、特徴情報が予め設定されたパーセント以上一致すると、特徴情報が一致していると判断するように設定されてよい。それにより、プロセッサ１３０は、背景映像内で特定領域に近接した周辺領域のイメージパターンとマッチするイメージパターンを有する領域を少なくとも一つ以上抽出することができ、最も類似するイメージパターンを有する一つの領域のみを抽出することもできる。

その後、プロセッサ１３０は、抽出された領域を基準に背景領域で特定領域の対応領域を決定し、特定領域が決定された対応領域に置き換えられた背景領域を生成し、それをディスプレイ１２０に表示することができる。具体的に、抽出された領域は、特定領域に近接した周辺領域とイメージパターンがマッチするため、抽出された領域を基準に、特定領域の位置に対応する位置に特定領域の対応領域が存在する。プロセッサ１３０は、対応領域が決定されると、決定された対応領域を特定領域に被せる形態で置き換えることで、特定領域が対応領域に置き換えられた背景映像を生成することができる。このとき、従来の背景映像が特定領域が対応領域に置き換えられた背景映像に変更されたり、特定領域が対応領域に置き換えられた背景映像が新に生成されてよい。

以下では、電子装置２００で背景映像内の特定領域及びその特定領域に対する周辺領域が選択される動作について詳細に説明する。

図１１は、本発明の一実施形態に係る電子装置でディスプレイ装置の後方の背景映像がディスプレイされる例示図である。

図１１に示すように、電子装置２００は、ディスプレイ装置１００に制御命令を伝送することができるアプリケーションが実行された状態で、背景映像１０の特定領域を選択するユーザ操作命令を入力されることができる。図１１によると、ユーザは、背景映像１０からコンセント５１を取り除くために、コンセントを選択するユーザ操作命令を入力することができる。以下では、コンセントが表示される領域は、美観を損なう瑕疵のある領域という意味として、ディフェクト領域と記載する。

図１２は、本発明の一実施形態に係る電子装置で特定領域及びその周辺領域が選択される例示図である。

図１２に示すように、ユーザは、電子装置２００のディスプレイにディスプレイされた背景映像１０から特定領域６１を選択することができる。このとき、電子装置２００は、背景映像１０で特定領域に対する選択入力を受け、選択された特定領域に対する位置データをディスプレイ装置１００に伝送することができるアプリケーション実行画面をディスプレイすることができる。

なお、電子装置２００のディスプレイはタッチディスプレイを含んでよく、ユーザは背景映像１０内でドラッグ（ｄｒａｇ）動作を行い、ディフェクト領域を含む特定領域６１を選択することができる。ドラッグ動作によって、図１２に示すように、選択された特定領域６１が別の領域と区別して表示されてよい。

一方、図１２は、ユーザが一つの特定領域６１を選択した画面を示しているが、背景映像１０でディフェクト領域は複数個であってよく、この場合、ユーザは複数の特定領域を選択することもできる。

特定領域６１が選択されると、電子装置２００は、ユーザ命令に応じて背景映像１０に対するデータ及び背景映像１０内の特定領域６１に対する位置データをディスプレイ装置１００に伝送することができる。特定領域６１に対する位置データは、背景映像１０の全領域を基準に特定領域６１の位置を示すｘ、ｙ座標の形式を有するデータであってよい。しかし、特定領域６１に対する位置データは、特定領域に対するイメージデータであってよい。

以下では、背景映像１０に対するデータ及び背景映像１０内の特定領域６１に対する位置データを受信したディスプレイ装置１００の動作について、詳細に説明する。

図１３は、本発明の一実施形態に係る特定領域の対応領域を決定するために用いられる周辺領域を具体的に示す例示図である。

ディスプレイ装置１００は、電子装置２００から背景映像１０に対するデータ及び特定領域６１に対する位置データを受信し、メモリ１６５に保存することができる。一方、ディスプレイ装置１００は、電子装置２００から背景映像１０に対するデータを予め受信し、背景映像１０をディスプレイしている状態で、選択された特定領域６１に対する位置データを受信することもできる。

ディスプレイ装置１００のプロセッサ１３０は、メモリ１６５に保存された特定領域６１に対する位置データに基づいて、背景映像１０の特定領域６１を検出することができる。このとき、プロセッサ１３０は、背景映像１０内で特定領域６１の対応領域を探索するために用いられる領域として、特定領域６１に近接した周辺領域を設定することができる。このとき、プロセッサ１３０は、特定領域６１を内部に含む一領域において、特定領域を除く残りの領域を周辺領域に設定することができる。

図１３に示すように、プロセッサ１３０は、選択された特定領域６１を基準に、特定領域６１を内部に含む一領域６２を設定することができ、周辺領域６３は、一領域６２から特定領域６１を除く領域として、特定領域６１の四方を囲い込む一定の範囲の領域であってよい。周辺領域６３の範囲は、その他にも多様に設定されてよい。ただ、周辺領域６３の範囲は、特定領域６１の周辺のイメージパターンが含まれる範囲であるべきであり、それにより、特定領域６１を内部に含む一領域６２は特定領域６１の周辺のイメージパターンが含まれる大きさに設定されることが望ましい。

図１４は、本発明の一実施形態に係るディスプレイ装置で特定領域から決定された対応領域を示す例示図である。

プロセッサ１３０は、背景映像１０内で周辺領域６３のイメージパターンとマッチするイメージパターンを有する領域を抽出することができる。具体的に、プロセッサ１３０は、周辺領域６３のイメージパターンに対する特徴情報を用いて、予め保存された背景映像内で周辺領域６３のイメージパターンと最も類似するイメージパターンを有する領域を抽出することができる。このとき、特定領域６１は、マスキング処理が施されてよい。

一方、背景映像１０は、少なくとも２回以上繰り返されるパターンイメージを含むため、抽出される領域は一つまたは複数個であってよい。抽出される領域が複数である場合、プロセッサ１３０は、抽出される領域のうちの一つをランダムプロセッサによって選択することもでき、周辺領域６３のイメージパターンと最も類似するイメージパターンを有する領域を選択することができる。このとき、プロセッサ１３０は、周辺領域６３の輝度データを算出し、算出された輝度データに基づいて抽出された複数の領域のうち、輝度が最も類似する領域を周辺領域６３のイメージパターンと最も類似するイメージパターンを有する領域に選択することができる。

図１４は、周辺領域６３のイメージパターンと最も類似するイメージパターンを有する領域として一つの領域８１が抽出されていることを示すものである。このとき、周辺領域６３のイメージパターンと一部のみが類似する領域８３は、類似するイメージパターンを有する領域として抽出されなかったり、抽出されても除外されてよい。

プロセッサ１３０は、抽出された領域８１を基準に特定領域８１の対応領域８２を決定することができる。対応領域８２は、抽出された領域８１を基準とする対応領域８２の相対的な位置は、周辺領域６３を基準とする特定領域６１の相対的な位置と同じである。

一方、ユーザによって選択された特定領域が複数個である場合、複数の特定領域のそれぞれの周辺領域のイメージパターンと類似する領域がそれぞれ抽出されてよく、抽出されたそれぞれの領域を基準に、複数の特定領域のそれぞれの対応領域が決定されることができる。

このようなイメージパターンの類似する領域が抽出される方式は、テンプレートマッチ（ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ）技法によっても実現が可能であり、ＯｐｅｎＣＶライブラリに既に実現されている。

図１５は、本発明の一実施形態に係るディスプレイ装置で特定領域を決定された対応領域に置き換えた画面を示す例示図である。

プロセッサ１３０は、対応領域８２が決定されると、特定領域６１が対応領域８２に置き換えられた背景映像１０をディスプレイ１２０に表示するように制御することができる。

このとき、従来の背景映像１０は、特定領域が対応領域に置き換えられた背景映像１０に変更されたり、特定領域が対応領域に置き換えられた新たな背景映像１０として生成されてよい。

ただ、対応領域８２が特定領域６１と同じイメージパターンを有するとしても、ディスプレイ装置１００の位置する場所の照明位置、角度などに応じて、壁紙の各領域の輝度が相互異なってよい。例えば、照明に近接する距離の壁紙領域は照明から遠い距離の壁紙領域より相対的に明るいはずである。よって、図１５に示すように、置き換えられた領域と周囲領域との間の輝度の差が生じるようになる。このとき、プロセッサ１３０は、背景映像１０で対応領域８２と特定領域６１との間の輝度の差を補正するためのイメージ処理を行うことができる。

具体的に、プロセッサ１３０は、周辺領域６３の輝度データを算出することができる。このとき、輝度データは、輝度に対する代表値を含み、代表値は平均、中央値または最頻値など、多様な定義によって決定されてよい。プロセッサ１３０は、算出された周辺領域６３の輝度データに基づいて、置き換えられた対応領域８２の輝度を周辺領域６３の輝度と類似するように補正することができる。例えば、プロセッサ１３０は、対応領域８２の輝度に対する代表値が周辺領域６３の輝度に対する代表値と同様になるように対応領域８２の輝度を補正することができる。

上述の輝度補正は、ＯｐｅｎＣＶライブラリを通じても実現が可能である。

図１６は、本発明の一実施形態に係るディスプレイ装置でブレンディング効果を適用する方法を示す例示図である。

図１５に示す過程によって置き換えられた対応領域８２の輝度を補正するとしても、対応領域８２と周辺領域６３との間の境界にあるピクセルの微々たる輝度の差に応じて、対応領域８２と周辺領域６３とが区分されてディスプレイされるという問題が発生するおそれがある。それにより、プロセッサ１３０は、置き換えられた対応領域８２の補正された輝度データ及び周辺領域６３の輝度データに基づいて、周辺領域６３にブレンディング効果を適用することで、輝度に対する２次補正を行うことができる。

具体的に、図１６を参照すると、ブレンディング効果は、以下の数式(１)によって適用されてよい。

ここで、ｘ’はブレンディング効果の適用された周辺領域６３の各ピクセルに対する最終輝度値を意味する。ｘは、ブレンディング効果が適用される前の周辺領域６３の各ピクセルに対する輝度値を意味する。ｙは、対応領域８２の各ピクセルに対する輝度値を意味する。αは、各ピクセルの位置に応じて変化する媒介変数であり、ピクセルの位置が対応領域８２に近接するにつれて０に近づき、周辺領域６３に近接するにつれて１に近づく。

前記数式(１)によると、α値が０である場合、対応領域８２に最も近接したピクセルであるため、ｘ’＝ｙの数式によって当該ピクセルの輝度値を補正され得る。α値が１である場合、周辺領域６３に最も近いピクセルであるため、ｘ’＝ｘの数式によって当該ピクセルの輝度値が補正されてよい。即ち、上記のような数式(１)によれば、対応領域８２に近接したピクセルになるにつれて対応領域８２の輝度値に近づき、周辺領域６３に近接したピクセルになるにつれて周辺領域６３輝度値に近づくため、自然なブレンディング効果が適用される。

上述の過程によって、ディスプレイ装置１００は、ディフェクト領域の除去された自然な背景映像をディスプレイすることができる。

上述のブレンディング効果は、ＯｐｅｎＣＶライブラリを通じても実現が可能である。

以下では、本発明に係るディスプレイ装置１００でディスプレイ装置１００を介してディスプレイされる背景映像を補正してディスプレイする動作について詳細に説明する。

プロセッサ１３０は、電子装置２００から背景映像に対する補正データが受信されると、受信された補正データに基づいて背景映像を補正することができる。その後、プロセッサ１３０は、補正された背景映像をディスプレイするように映像信号生成部１６０及びディスプレイ１２０を制御することができる。

一実施形態によって、補正データは背景映像をディスプレイするディスプレイ装置１００を含む領域を撮影した撮影映像から背景映像がディスプレイされるディスプレイ領域と残りの周辺領域とを比較して生成されたデータになってよい。

このような補正データは、ディスプレイ領域と周辺領域との画素値を比較し、ディスプレイ領域の画素値を周辺領域の画素値にマッチさせるための補正値を含んでよい。

具体的に、補正データは、ディスプレイ領域のうち、予め設定された第１領域内に含まれた少なくとも一つのピクセルの画素値と、予め設定された第２領域内に含まれた少なくとも一つのピクセルの画素値とを比較し、第１領域内に含まれた少なくとも一つのピクセルの画素値を第２領域内に含まれた少なくとも一つのピクセルの画素値にマッチさせるための補正値を含んでよい。

よって、プロセッサ１３０は、補正データに含まれた補正値に基づいてメモリ１６５に予め保存された背景映像を補正する。その後、プロセッサ１３０は、補正された背景映像をディスプレイするように映像信号生成部１６０及びディスプレイ１２０を制御することができる。

更に別の実施形態によって、補正データは撮影された撮影映像で、背景映像に対する領域情報及び残りの周辺領域に対する領域情報を含んでよい。

この場合、プロセッサ１３０は、補正データに含まれた領域情報に基づいて、背景映像がディスプレイされる背景領域と残りの周辺領域とを区分する。その後、プロセッサ１３０は、区分された背景領域と周辺領域との画素差を比較する。比較の結果、背景領域と周辺領域との画素差が発生したと判断されると、プロセッサ１３０は、周辺領域の画素値で背景領域の画素値をマッチさせるための補正値を生成する。その後、プロセッサ１３０は、予め生成された補正値に基づいて、メモリ１６５に保存された背景映像を補正し、補正された背景映像が画面上にディスプレイされるように映像信号生成部１６０及びディスプレイ１２０を制御することができる。

このように、補正された背景映像がディスプレイされている状態で、通信部１７０を介して電子装置２００から上述のような補正データが受信されると、プロセッサ１３０は、受信された補正データに基づいて補正された背景映像を再補正し、再補正された背景映像が画面上にディスプレイされるように映像信号生成部１６０及びディスプレイ１２０を制御することができる。

以下では、電子装置２００の各構成について説明する。

図１７は、本発明の一実施形態に係る電子装置を示すブロック図であり、図１８は、本発明の一実施形態に係る電子装置を示す細部ブロック図である。

図１７を参照すると、電子装置２００は、ディスプレイ２１０と、通信部２２０及びプロセッサ２３０を含む。

ディスプレイ２１０は、背景映像１０から特定領域を選択できる画面をディスプレイする構成である。ディスプレイ２１０の具体的な構成は、ディスプレイ装置１００のそれと同一か類似するため、具体的な説明は省略する。

通信部２２０は、ディスプレイ装置１００と通信を行う構成である。具体的に、通信部２２０は、プロセッサ２３０の制御によって、背景映像１０及び背景映像１０から選択された特定領域に対する位置データをディスプレイ装置１００に伝送することができる。通信部２２０の具体的な構成は、ディスプレイ装置１００のそれと対応するため、具体的な説明は省略する。

プロセッサ２３０は、背景映像１０からユーザによって選択された特定領域に対する位置データを算出し、背景映像１０及び算出された位置データを電子装置２００に伝送するように、通信部２２０を制御することができる。

一方、本発明の別の実施形態によると、背景映像１０からディフェクト領域を取り除く過程は、電子装置２００で行われてよい。

具体的に、プロセッサ２３０は、ディスプレイ２１０にディスプレイ装置１００の後方の背景映像１０をディスプレイし、ユーザによって背景映像１０内の特定領域に対する選択入力を受けることができる。特定領域が選択されると、プロセッサ２３０は、選択された特定領域に近接した周辺領域のイメージパターンとマッチするイメージパターンを有する領域を抽出し、抽出された領域を基準に背景映像１０で特定領域の対応領域を決定することができる。対応領域が決定されると、プロセッサ２３０は、特定領域が、決定された対応領域に置き換えられた背景映像１０を生成し、生成された背景映像１０をディスプレイ装置１００に伝送するように通信部２２０を制御することができる。このとき、ディスプレイ装置１００は、受信された背景映像１０をディスプレイする。

特に、電子装置２００は、後述の撮影部２４０を介してディスプレイ装置１００の後方の背景映像１０を撮影することができる。このとき、撮影部２４０は、ディスプレイ装置１００のない状態で、ディスプレイ装置１００によって塞がれる背景映像１０を撮影することができる。

その他に、プロセッサ２３０は、特定領域を内部に含む一領域において、特定領域を除く残りの領域を周辺領域に設定することができ、周辺領域のイメージパターンに対する特徴情報を用いて、背景映像内に周辺領域のイメージパターンと最も類似するイメージパターンを有する領域を抽出することができる。その他にも、プロセッサ２３０は、ディスプレイ装置１００のプロセッサ１３０が背景映像１０に対して行う全てのイメージ処理を同様に行うことができる。

以下では、電子装置２００で背景映像に対する補正データを生成する動作について、詳細に説明する。

図１８に示すように、撮影部２４０は、イメージセンサ（図示せず）を含み、電子装置２００の背面（即ち、ディスプレイ２１０の配置された面の反対に位置する面）に配置されて映像を撮影する。特に、撮影部２４０は、ディスプレイ装置１００を介してディスプレイする背景映像に対する領域を撮影することができる。

このように、撮影部２４０を介して撮影された背景映像は、後述のメモリ２６０に保存することができる。

一方、プロセッサ２３０は、ユーザ命令に応じて、壁面の背景と連続する背景映像をディスプレイするディスプレイ装置１００を含む領域を撮影するように撮影部２４０を制御する。このような制御命令に応じて、撮影部２４０は、壁面の背景と連続する背景映像をディスプレイするディスプレイ装置１００を含む領域を撮影する。

背景映像をディスプレイするディスプレイ装置１００を含む領域に対する映像が撮影されると、プロセッサ２３０は、撮影された映像から背景映像がディスプレイされる領域（以下、背景領域という）と残りの周辺領域とを区分する。

一実施形態によって、プロセッサ２３０は、撮影された映像のうち、予め設定された第１領域を背景映像がディスプレイされる背景映像に区分し、残りの第２領域を周辺領域に区分することができる。

更に別の実施形態によって、ディスプレイ装置１００は画面上にディスプレイされる背景映像とともにディスプレイ装置１００を識別するためのインディケータを表示することができる。よって、プロセッサ２３０は、撮影された映像に表示されたインディケータを用いて背景映像がディスプレイされる背景領域と残りの周辺領域とを区分することができる。

このような実施形態により、背景映像がディスプレイされる背景領域と残りの周辺領域とが区分されると、プロセッサ２３０は、撮影された映像から区分された背景領域と残りの周辺領域とを比較し、背景映像に対する補正データを生成し、生成された補正データをディスプレイ装置１００に伝送するように通信部２２０を制御する。

それにより、通信部２２０は、背景映像に対する補正データをディスプレイ装置１００に伝送し、ディスプレイ装置１００は電子装置２００から受信された補正データに基づいて補正された背景映像を画面上にディスプレイすることができる。

以下では、プロセッサ２３０は、背景映像に対する補正データを生成する動作について詳細に説明する。

一実施形態によって、プロセッサ２３０は、撮影された映像から背景映像と残りの周辺領域とが区分されると、区分された背景領域と周辺領域との画素値に基づいて、予め保存された背景映像を補正し、補正された背景映像を含む補正データを生成することができる。

即ち、プロセッサ２３０は、背景領域と周辺領域との画素値を比較し、背景領域の画素値を周辺領域の画素値にマッチさせるための補正値を生成する。

具体的に、プロセッサ２３０は、背景映像をディスプレイする背景領域のうち、予め設定された第１領域内に含まれた少なくとも一つのピクセルの画素値と、周辺領域のうち、予め設定された第２領域内に含まれた少なくとも一つのピクセルの画素値とを比較する。比較の結果、両画素値が異なると、プロセッサ２３０は、第１領域内に含まれた少なくとも一つのピクセルの画素値を第２領域内に含まれた少なくとも一つのピクセルの画素値にマッチさせるための補正値を生成する。

その後、プロセッサ２３０は、生成された補正値に基づいて、予め保存された背景映像を補正し、補正された背景映像を含む補正データを生成し、生成された補正データを通信部２２０を介してディスプレイ装置１００に伝送する。それにより、ディスプレイ装置１００は、電子装置２００から受信された補正データに基づいて補正された背景映像を画面上にディスプレイすることができる。

更に別の実施形態により、プロセッサ２３０は、上述のように、背景領域の画素値を周辺領域の画素値にマッチさせるために、生成された補正値を含む補正データを生成し、生成された補正データを通信部２２０を介してディスプレイ装置１００に伝送することができる。

この場合、ディスプレイ装置１００は、電子装置２００から受信された補正データに含まれた補正値に基づいて予め保存された背景映像を補正し、補正された背景映像を画面上にディスプレイすることができる。

更に別の実施形態によって、プロセッサ２３０は、撮影された映像から区分された背景領域と残りの領域に対する領域情報及び撮影された映像に対するデータを含む補正データを生成し、生成された補正データを通信部２２０を介してディスプレイ装置１００に伝送することができる。

この場合、ディスプレイ装置１００は、電子装置２００から受信された補正データに含まれた領域情報に基づいて背景映像に対する背景領域と残りの周辺領域とを区分し、区分された背景領域と周辺領域との画素値を比較し、背景領域の画素値を周辺領域の画素値にマッチさせるための補正値を生成する。

実施形態によって、ディスプレイ装置１００は、背景映像をディスプレイする背景領域のうち、予め設定された第１領域内に含まれた少なくとも一つのピクセルの画素値と、周辺領域のうち、予め設定された第２領域内に含まれた少なくとも一つのピクセルの画素値とを比較する。比較の結果、両画素値が異なると、プロセッサ２３０は、第１領域内に含まれた少なくとも一つのピクセルの画素値を第２領域内に含まれた少なくとも一つのピクセルの画素値にマッチさせるための補正値を生成することができる。

補正値が生成されると、ディスプレイ装置１００は予め保存された背景映像を予め生成された補正値に基づいて補正し、補正された背景映像を画面上にディスプレイすることができる。

このような上述の多様な実施形態によって補正された背景映像が生成されると、ディスプレイ装置１００は補正された背景映像を画面上にディスプレイする。それにより、ディスプレイ装置１００の状態（例えば、ディスプレイ装置１００に適用された色温度）或いは周辺の環境状態（照度変化）の変化によって、ディスプレイ装置１００の画面上にディスプレイされる背景映像がディスプレイ装置１００の設置された壁面の背景と異なるように映るという問題を改善することができる。

一方、プロセッサ２３０は、ユーザの命令に応じ、補正された背景映像をディスプレイするディスプレイ装置１００を含む領域を撮影するように撮影部２４０を制御することができる。このような制御命令に応じて、撮影部２４０は、補正された背景映像をディスプレイするディスプレイ装置１００を含む領域を撮影する。その後、プロセッサ２３０は、上述の実施形態を通じて撮影された映像から補正された背景映像がディスプレイされる背景領域と残りの周辺領域とを区分し、区分された背景領域と周辺領域との間の画素差に基づいて以前に補正された背景映像を再補正することができる。

一方、電子装置２００は、上述の構成の他に、図１８に示すように、スピーカ２５０、メモリ２６０及び検知部２７０を更に含んでよい。

図１８に示す電子装置２００の細部構成は一例に過ぎず、電子装置２００の種類または目的に像いて、図１８に示す電子装置２００の構成の一部が省略或いは変更か追加されてよい。

図１８の更なる構成に対する説明の前に、上述の映像を撮影する撮影部２４０は複数のカメラモジュールを有するデュアルカメラか、一つのカメラモジュールを備えることができ、ディスプレイ２１０は上述の背景映像だけでなく、外部から受信されたコンテンツ及び多様なＵＩをディスプレイすることができる。

スピーカ２５０は、オーディオ処理部（図示せず）によってデコーディングや、増幅、ノイズフィルタリングのような多様な処置作業が行われた各種オーディオデータだけでなく、各種報知音や音声メッセージを出力することができる。このようなスピーカ２５０は、ディスプレイ装置１００を介して透明ディスプレイを提供するためのアプリケーションが実行された場合、当該アプリケーションに関連するガイドメッセージをオーディオで提供することができる。

メモリ２６０は、電子装置２００を駆動するための多様なモジュールを保存する。

例えば、メモリ２６０は、電子装置２００の動作を制御するための運営プログラムを更に保存することができる。ここで、運営プログラムは、電子装置２００がターンオンされる場合、メモリ２６０に読み込まれ、コンパイルされてユーザ端末装置１００の各構成を動作させるプログラムになってよい。

更に、メモリ２６０は、ベースモジュール、センシングモジュール、通信モジュール、プレゼンテーションモジュール、ウェブブラウザモジュール、サービスモジュールを含むソフトウェアを保存することができる。このとき、ベースモジュールは、電子装置２００に含まれた各ハードウェアから伝達される信号を処理して上位レイヤモジュールに伝達する基礎モジュールである。センシングモジュールは、各種センサから情報を収集し、収集された情報を分析及び管理するモジュールとして、顔認識モジュール、音声認識モジュール、モーション認識モジュール、ＮＦＣ認識モジュールなどを含んでよい。プレゼンテーションモジュールは、ディスプレイ画面を構成するためのモジュールとして、マルチメディアコンテンツを再生して出力するためのマルチメディアモジュール、ＵＩ及びグラフィック処理を行うＵＩレンダリングモジュールを含んでよい。通信モジュールは、外部と通信を行うためのモジュールである。ウェブブラウザモジュールは、ウェブブラウジングを行ってウェブサーバにアクセスするモジュールを意味する。サービスモジュールは、多様なサービスを提供するための各種アプリケーションを含むモジュールである。

上述のように、メモリ２６０は、多様なプログラムモジュールを含んでよいが、各種プログラムモジュールは電子装置２００の種類及び特性に応じて、一部が省略されたり、変形または追加することはできる。更に、メモリ２６０は、ディスプレイ装置１００を介して透明ディスプレイを提供するためのアプリケーションに対する実行プログラム関連情報を保存することができる。

検知部２７０は、ユーザ命令を検知するための多様な検知センサで実現できる。例えば、検知部２７０は、タッチ検知部を含んでよい。なお、検知部２７０は、多様なセンサを用いて多様な情報を検知する。例えば、検知部２７０は、動作センサ（例えば、加速度センサ、ジャイロセンサ、地磁気センサなど）を用いて、動作情報を検知することができる。

以下では、本発明に係る電子装置２００でディスプレイ装置１００を介してディスプレイされる背景映像を補正するための動作について、詳細に説明する。

図１９は、本発明の一実施形態に係る電子装置で背景映像がディスプレイされる背景領域を区分するための第１例示図である。

上述のように、ディスプレイ装置１００を介して透明ディスプレイを提供するためのアプリケーションが実行された状態で、電子装置２００はユーザ命令に対応する背景を撮影し、撮影された背景映像に対するデータをディスプレイ装置１００に伝送する。それにより、ディスプレイ装置１００は、図１９に示すように、電子装置２００から受信された背景映像に対するデータに基づいて、ディスプレイ装置１００の設置された壁面の背景と連続した背景に対する背景映像８１０をディスプレイする。

一方、電子装置２００は、ユーザ命令に応じて、背景映像１０をディスプレイするディスプレイ装置１００を含む領域を撮影して当該領域に対する映像を獲得する。具体的に、電子装置２００は、ディスプレイ装置１００の設置された領域が画面の第１領域に含まれるようにガイドするためのガイドＵＩ１９１０を提供する。

その後、電子装置２００はユーザ命令に応じて、電子装置２００の画面上に表示されたガイドＵＩ１９１０にディスプレイ装置１００に対するイメージ１０’が含まれた状態で映像を撮影する。このような映像が撮影されると、電子装置２００は撮影された映像を分析してガイドＵＩ１９１０に含まれた第１領域を背景映像１０’に対する背景映像と判断し、残りの第２領域を周辺領域と判断することができる。

図２０は、本発明の別の実施形態に係る電子装置で背景映像がディスプレイされる背景領域を区分するための第２例示図である。

上述のように、ディスプレイ装置１００を介して透明ディスプレイを提供するためのアプリケーションが実行された状態で、電子装置２００はユーザ命令に対応する背景を撮影し、撮影された背景映像に対するデータをディスプレイ装置１００に伝送する。それにより、ディスプレイ装置１００は、図２０に示すように、電子装置２００から受信された背景映像に対するデータに基づいて、ディスプレイ装置１００の設置された壁面の背景と連続した背景に対する背景映像１０をディスプレイする。

このとき、ディスプレイ装置１００は、背景映像１０をディスプレイするディスプレイ領域と残りの領域とを区分するための複数にインディケータ２０１０を背景映像１０のディスプレイされる画面上に表示する。

一方、電子装置２００は、ユーザ命令に応じて、インディケータ２０１０を含む背景映像１０をディスプレイするディスプレイ装置１００を含む領域を撮影する。その後、電子装置２００は、撮影された映像に表示されたインディケータ２０１０’を介して撮影された映像内でディスプレイ装置１００の外郭部分を抽出し、背景領域がディスプレイされる背景領域を判断し、残りの領域を周辺領域と判断することができる。

図２１は、本発明の一実施形態に係る電子装置で背景映像を補正するための第１例示図であり、図２２は、本発明の別の実施形態に係る電子装置で背景映像を補正するための第２例示図である。

上述のように、ディスプレイ装置１００を介して透明ディスプレイを提供するためのアプリケーションが実行されている状態で、電子装置２００はユーザ命令に対応する背景を撮影し、撮影された背景映像に対するデータをディスプレイ装置１００に伝送する。それにより、ディスプレイ装置１００は、図２１に示すように、電子装置２００から受信されたデータに基づいて画面上に背景映像をディスプレイする。

一方、電子装置２００を介して背景映像が撮影された後、ディスプレイ装置１００が設置された周辺に位置する電灯２１１０が点灯することがある。この場合、ディスプレイ装置２００が設置された壁面の周辺の輝度が電灯２１１０の光によって明るくなれる。このように、ディスプレイ装置１００の設置された壁面の周辺が明るくなる場合、ディスプレイ装置１００を介してディスプレイされる背景映像はディスプレイ装置１００の設置された壁面の背景に比べて相対的に暗くディスプレイされてよい。

このようなイベントが発生する場合、電子装置２００は次のような実施形態を通じ、ディスプレイ装置１００を介してディスプレイされる背景映像を補正することができる。

具体的に、電子装置２００はユーザの命令に応じ、背景映像をディスプレイするディスプレイ装置１００を含む領域を撮影する。背景映像をディスプレイするディスプレイ装置１００を含む領域に対する映像が撮影されると、電子装置２００は、上述の実施形態を通じて撮影された映像から背景映像がディスプレイされる背景領域と残りの周辺領域とを区分する。

その後、電子装置２００は、撮影された映像から区分された背景領域１０のうち、予め設定された第１領域２１２０内に含まれた少なくとも一つのピクセルの画素値と、残りの周辺領域のうち、予め設定された第２領域２１２０’内に含まれた少なくとも一つのピクセルの画素値とを比較する。

例えば、電子装置２００は、背景領域内に含まれた複数のピクセルのうち、任意の１０×１０に該当する領域内に含まれたピクセルの画素値から平均値（以下、第１平均値という）を算出する。そして、電子装置２００は、周辺領域内に含まれた複数のピクセルのうち、任意の１０×１０に該当する領域内に含まれたピクセルの画素値から平均値（以下、第２平均値という）を算出する。その後、電子装置２００は、背景領域内から算出した第１平均値と周辺領域内から算出した第２平均値とを比較する。比較の結果、両平均値が異なると、電子装置２００は第１平均値を第２平均値にマッチさせることができる補正値を生成する。

一方、電子装置２００は、図２２に示すように、撮影された映像から区分された背景領域１０を複数の領域（以下、第１ないし第４領域という）２２１０〜２２４０に区分する。その後、電子装置２００は、周辺領域のうち、第１ないし第４領域２２１０〜２２４０のそれぞれに隣接する領域（以下、第１’ないし第４’領域という）２２１０’〜２２４０’を決定する。

その後、電子装置２００は、第１ないし第４領域２２１０〜２２４０のそれぞれの画素値と、第１ないし第４領域２２１０〜２２４０のそれぞれに隣接する第１’ないし第４’領域２２１０’〜２２４０’のそれぞれの画素値を比較する。

例えば、電子装置２００は、第１ないし第４領域２２１０〜２２４０のそれぞれに含まれた複数のピクセルのうち、任意の３×３に該当する領域内に含まれたピクセルの画素値から第１ないし第４領域２２１０〜２２４０のそれぞれに対する平均値を獲得する。そして、電子装置２００は、周辺領域のうち、第１ないし第４領域２２１０〜２２４０のそれぞれに隣接する任意の３×３に該当する第１’ないし第４’領域２２１０’〜２２４０’のそれぞれに含まれたピクセルの画素値から第１’ないし第４’領域２２１０’〜２２４０’のそれぞれに対する平均値を獲得する。その後、電子装置２００は、第１及び第１’領域の平均値、第２及び第２’領域の平均値、第３及び第３’領域の平均値及び第４及び第４’領域の平均値を比較する。比較の結果、第１ないし第４領域２２１０〜２２４０のうちの第１領域２２１０の平均値が隣接する第１’領域の平均値と異なると、電子装置２００は、第１領域２２１０の平均値が第１’領域の平均値にマッチさせることができる補正値を生成する。

このような実施形態を通じて補正値が生成されると、電子装置２００は生成された補正値に基づいて予め保存された背景映像を補正し、補正された背景映像をディスプレイ装置１００に伝送する。それにより、ディスプレイ装置１００は、電灯２１１０の光によって明るくなった壁面の背景と近似する輝度を有する背景映像をディスプレイすることができる。このような補正された背景映像をディスプレイすることにより、ディスプレイ装置１００の設置された壁面の背景が周辺背景と連続して見える透明ディスプレイを提供する視覚的効果をユーザに提供することができる。

図２３は、本発明の一実施形態に係るディスプレイ装置で補正された背景映像をディスプレイする例示図である。

図２３の（ａ）に示すように、電子装置２００を介して背景映像が撮影された後、ディスプレイ装置１００の設置された周辺に位置する電灯２３１０が点灯することがある。この場合、ディスプレイ装置１００の設置された壁面の背景２３２０に対する輝度が電灯２３１０の光によって明るくなることがある。このように、ディスプレイ装置１００が設置された壁面の周辺が明るくなる場合、ディスプレイ装置１００を介してディスプレイされる背景映像２３３０は、ディスプレイ装置１００の設置された壁面の背景２３２０に比べて比較的に暗くディスプレイされてよい。

しかし、上述のように、電子装置２００を介して背景映像を補正する場合、図２３の（ｂ）に示すように、ディスプレイ装置１００を介してディスプレイされる背景映像２３３０’は、電灯２３１０の光によって明るくなった壁面の背景２３２０’と近似する輝度を有してよい。このような補正された背景映像がディスプレイされることで、ディスプレイ装置１００の設置された壁面の背景が周辺背景と連続して見える透明ディスプレイを提供する視覚的効果をユーザに提供することができる。

これまで、本発明に係るディスプレイ装置及び電子装置２００の各構成について詳細に説明した。以下では、本発明に係るディスプレイ装置１００及び電子装置２００の制御方法について詳細に説明する。

図２４及び図２５は、本発明の一実施形態に係るディスプレイ装置の制御方法を示すフローチャートである。

ディスプレイ装置１００でコンテンツ画面を含む背景映像をディスプレイする場合、図２４に示すように、ディスプレイ装置１００は、ディスプレイ１２０の後方の背景映像に対するデータを保存する（Ｓ２４１０）。このとき、後方の背景映像に対するデータは、外部の携帯端末によって獲得されたり、ディスプレイ装置１００と接続されたカメラによって獲得されてよい。

そして、ディスプレイ装置１００は、ディスプレイ１２０の周辺に配置された外部光源からディスプレイ１２０に投射される外光の方向及び光度のうち少なくとも一方に対する検知データを獲得する（Ｓ２４２０）。

そして、ディスプレイ装置１００は、背景映像に対するデータと検知データとに基づいて、コンテンツ画面を生成して表示する（Ｓ２４３０）。このとき、コンテンツ画面には、背景映像上にグラフィックオブジェクト及びグラフィックオブジェクトの陰を含んでよい。そして、グラフィックオブジェクトの陰は、検知データによって獲得された外光の方向及び光度に応じて変更されてよい。

上述のような本発明の多様な実施形態によって、ユーザは高額の透明ディスプレイを利用しなくても、周辺環境に応じて適応的に背景映像を含むコンテンツ画面を提供することができる。

一方、ディスプレイ装置１００からディフェクト領域が取り除かれた背景映像をディスプレイする場合、図２５に示すように、ディスプレイ装置１００は、電子装置２００からディスプレイ装置１００の後方の背景映像及び背景映像内の特定領域に対する位置データを受信する（Ｓ２５１０）。このとき、背景映像は、少なくとも２回以上繰り返されるパターンイメージを含み、特定領域は、電子装置２００のユーザによって選択された少なくとも一つの領域であってよい。

その後、ディスプレイ装置１００は、特定領域に対する位置データに基づいて、受信された背景映像内で特定領域に近接した周辺領域のイメージパターンとマッチするイメージパターンを有する領域を抽出する（Ｓ２５２０）。このとき、ディスプレイ装置１００は、特定領域を内部に含む一領域において、特定領域を除く残りの領域を周辺領域に設定することができる。その後、ディスプレイ装置１００は、周辺領域のイメージパターンに対する特徴情報を用いて、受信された背景映像内で周辺領域のイメージパターンと類似するイメージパターンを有する領域を抽出することができる。

その後、ディスプレイ装置１００は、抽出された領域を基準に、背景映像から特定領域の対応領域を決定する（Ｓ２５３０）。

その後、ディスプレイ装置１００は、特定領域が決定された対応領域に置き換えられた背景映像を表示する（Ｓ２５４０）。

その後、ディスプレイ装置１００は、周辺領域の輝度データを算出し、算出された輝度データに基づいて、置き換えられた対応領域の輝度を補正することができる。

なお、ディスプレイ装置１００は、置き換えられた対応領域の補正された輝度データ及び周辺領域の輝度データに基づいて、ブレンディング効果を施すことができる。

図２６ないし図２８は、本発明の一実施形態に係る電子装置の制御方法を示すフローチャートである。

ディスプレイ装置１００からディフェクト領域の取り除かれた背景映像をディスプレイするために、電子装置２００は、図２６に示すように、ディスプレイ装置１００の後方の背景映像をディスプレイする（Ｓ２６１０）。

その後、ユーザによって背景映像内の特定領域が選択されると、電子装置２００は選択された特定領域に近接した周辺領域のイメージパターンとマッチするイメージパターンを有する領域を抽出する（Ｓ２６２０）。

その後、電子装置２００は、抽出された領域を基準に背景映像で特定領域の対応領域を決定する（Ｓ２６３０）。

その後、電子装置２００は、特定領域が決定された対応領域に置き換えられた背景映像を生成する（Ｓ１３４０）。その後、電子装置２００は、生成された背景映像をディスプレイ装置１００に伝送する（Ｓ２６５０）。

以上のような本発明の多様な実施形態によれば、釘の跡、コンセント、シミなど、美観を損なう領域が取り除かれた壁紙のイメージをディスプレイすることができるため、より見た目の優れたインテリア効果を演出することができる。

一方、ディスプレイ装置１００で補正された背景映像をディスプレイするために、電子装置２００は、図２７に示すように、ディスプレイ装置１００を介して透明ディスプレイを提供するためのアプリケーションを実行する。このようなアプリケーションが実行された状態で、電子装置２００は、ディスプレイ装置１００にディスプレイされる背景映像を撮影する（Ｓ２７１０）。その後、電子装置２００は、撮影された背景映像に対するデータをディスプレイ装置１００に伝送する（Ｓ２７２０）。このとき、電子装置２００は、撮影された背景映像をメモリに保存する。

電子装置２００から背景映像に対するデータを受信したディスプレイ装置１００は、受信したデータに基づいて画面上に背景映像をディスプレイする。一方、電子装置２００は、ユーザ命令に応じて、背景映像をディスプレイするディスプレイ装置１００を含む領域を撮影する（Ｓ２７３０）。

その後、電子装置２００は、撮影された映像から背景映像がディスプレイされる領域（以下、背景領域という）と、残りの周辺領域とを比較し、背景映像に対する補正データを生成する（Ｓ２７４０）。その後、電子装置２００は、背景映像に対する補正データをディスプレイ装置１００に伝送する（Ｓ２７５０）。それにより、ディスプレイ装置１００は、電子装置２００から受信された補正データに基づいて補正された背景映像を画面上にディスプレイすることができる。

一方、電子装置２００は、ユーザ命令に応じて、補正された背景映像をディスプレイするディスプレイ装置１００を含む領域に対する再撮影を行う。その後、電子装置２００は、上述の一連の動作を繰り返し行い、背景映像を再補正し、再補正された背景映像に対する補正データをディスプレイ装置１００に伝送することができる。

一方、電子装置２００は、次のような処理動作を通じ、背景映像に対する補正データを生成することができる。

図２８に示すように、電子装置２００は、背景映像をディスプレイするディスプレイ装置１００を含む領域に対する映像が撮影されると、撮影された映像から背景映像がディスプレイされる背景領域と残りの周辺領域とを区分する（Ｓ２８１０）。

一実施形態によって、ディスプレイ装置１００は、背景映像上にディスプレイ装置１００を識別するためのインディケータを併せて表示することができえる。よって、電子装置２００は、背景映像をディスプレイするディスプレイ装置１００を含む領域に対する映像が撮影されると、撮影された映像に表示されたインディケータを用いて背景映像がディスプレイされる背景領域と残りの周辺領域とを区分することができる。

更に別の実施形態によって、電子装置２００は背景映像をディスプレイするディスプレイ装置１００を含む領域に対する映像が撮影されると、撮影された映像のうち、予め設定された第１領域を背景映像がディスプレイされる背景映像に区分し、残りの第２領域を周辺領域に区分することができる。

このように、撮影された映像から区分された背景領域と周辺領域とが区分されると、電子装置２００は背景領域と周辺領域との画素値を比較する（Ｓ２８２０）。具体的に、電子装置２００は、背景領域のうち、予め設定された第１領域内に含まれた少なくとも一つのピクセルの画素値と、周辺領域のうち、予め設定された第２領域内に含まれた少なくとも一つのピクセルの画素値とを比較することができる。

比較の結果、両領域間の画素値が異なると、電子装置２００は背景領域の画素値を周辺領域の画素値にマッチさせるための補正値を生成する（Ｓ２８３０）。

その後、電子装置２００は、生成された補正値に予め保存された背景映像を補正し、補正された背景映像に対するデータを含む補正データをディスプレイ装置１００に伝送する。それにより、ディスプレイ装置１００は、電子装置２００から受信された補正データに基づいて補正された背景映像をディスプレイすることができる。

一方、電子装置２００は、上述のステップＳ１４３０で補正値が生成されると、生成された補正値を含む補正データをディスプレイ装置１００に伝送することができる。このような補正データが受信されると、ディスプレイ装置１００は受信された補正データに含まれた補正値に基づいて予め保存された背景映像を補正し、補正された背景映像を画面上にディスプレイすることができる。

一方、上述の多様な実施形態に係るディスプレイ方法は、プログラムで実現されてディスプレイ装置に提供されてよい。特に、ディスプレイ方法を含むプログラムは、非一時的な読み取り可能な媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に保存されて提供されてよい。

非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のような短い間データを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り（Ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、ＣＤやＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (15)

1. ディスプレイ装置において、
   映像を表示するためのディスプレイと、
   前記ディスプレイの周辺に配置された外部光源から前記ディスプレイに投射される外光の方向及び光度のうち少なくとも一方に対する検知データを生成する少なくとも一つのセンサと、
   前記ディスプレイの後方の背景映像に対するデータを保存するメモリと、
   前記背景映像に対するデータと前記検知データとに基づいてコンテンツ画面を生成し、前記ディスプレイに表示されるようにするプロセッサと
   を含み、
   前記コンテンツ画面は、
   前記背景映像上に少なくとも一つのグラフィックオブジェクトと前記少なくとも一つのグラフィックオブジェクトに対応する陰を含み、
   前記陰の位置及び陰影のうち少なくとも一方は、前記検知データの変化に対応して変更されることを特徴とするディスプレイ装置。
2. 前記ディスプレイ装置は、
   前記ディスプレイの周縁に配置されるベゼルと前記ベゼルを覆う外郭フレームを更に含み、
   前記プロセッサは、
   前記コンテンツ画面の周縁に前記外郭フレームに対応する領域に外郭フレーム陰を更に表示するように前記ディスプレイを制御することを特徴とする請求項１に記載のディスプレイ装置。
3. 前記コンテンツ画面は、
   前記少なくとも一つのグラフィックオブジェクトを含むオブジェクトレイヤ、前記陰を含む陰レイヤ及び前記背景映像を含む背景映像レイヤを含むことを特徴とする請求項１に記載のディスプレイ装置。
4. 前記プロセッサは、
   前記オブジェクトレイヤ、前記陰レイヤ、前記背景映像レイヤの順に、前から配置されて表示されるように前記ディスプレイを制御することを特徴とする請求項３に記載のディスプレイ装置。
5. 前記プロセッサは、
   前記センサによって検知された外光の方向及び光度のうち少なくとも一方に応じて、前記コンテンツ画面に含まれた前記少なくとも一つのグラフィックオブジェクトに対する映像補正を行うことを特徴とする請求項１に記載のディスプレイ装置。
6. 前記プロセッサは、
   前記コンテンツ画面に複数のグラフィックオブジェクトが含まれた場合、前記複数のグラフィックオブジェクトのそれぞれの類型に応じて、前記複数のグラフィックオブジェクトに対して異なる映像補正を行うことを特徴とする請求項５に記載のディスプレイ装置。
7. 前記プロセッサは、
   前記背景映像のパターン有無に基づいて、前記陰を生成することを特徴とする請求項１に記載のディスプレイ装置。
8. 前記プロセッサは、
   背景モード及びノーマルモードのうちいずれかで動作し、
   前記背景モードで動作する間、前記背景映像を含むコンテンツ画面を表示するように前記ディスプレイを制御することを特徴とする請求項１に記載のディスプレイ装置。
9. 前記メモリは、
   前記背景映像内の特定領域に対する位置データを更に保存し、
   前記プロセッサは、
   前記と特定領域に対する位置データに基づいて、前記背景映像内から前記特定領域に近接した周辺領域のパターンとマッチするイメージパターンを有する領域を抽出し、前記抽出された領域を基準に前記背景映像で前記特定領域の対応領域を決定し、前記特定領域を前記対応領域に置き換えられた背景領域を前記ディスプレイに表示するように制御することを特徴とする請求項１に記載のディスプレイ装置。
10. 前記背景映像は、
    少なくとも２回以上繰り返されるパターンイメージを含み、
    前記特定領域は、
    ユーザによって選択された少なくとも一つの領域であることを特徴とする請求項９に記載のディスプレイ装置。
11. 前記プロセッサは、
    前記特定領域を内部に含む一領域において、前記特定領域を除く残りの領域を前記周辺領域に設定することを特徴とする請求項９に記載のディスプレイ装置。
12. 前記プロセッサは、
    前記周辺領域のイメージパターンに対する特徴情報を用いて、前記背景映像内で前記周辺領域のイメージパターンと最も類似するイメージパターンを有する領域を抽出することを特徴とする請求項９に記載のディスプレイ装置。
13. 前記プロセッサは、
    前記周辺領域の輝度データを算出し、前記算出された輝度データに基づいて、前記置き換えられた対応領域の輝度を補正することを特徴とする請求項９に記載のディスプレイ装置。
14. 前記プロセッサは、
    前記置き換えられた対応領域の補正された輝度データ及び前記周辺領域の輝度データに基づいてブレンディング効果を適用することを特徴とする請求項１３に記載のディスプレイ装置。
15. 電子装置とデータ通信を行う通信部を更に含み、
    前記プロセッサは、
    前記電子装置から前記背景映像に対する補正データが受信されると、前記受信された補正データに基づいて前記背景映像を補正することを特徴とする請求項１に記載のディスプレイ装置。

Images