JP2013240052A - ディスプレイ装置、サーバおよびその制御方法 - Google Patents

Abstract

【課題】基準映像および撮像映像を連動して、フィードバックサービスを提供すること。
【解決手段】ディスプレイ装置の制御方法が開示される。本発明の一実施形態に係るディスプレイ装置の制御方法は、基準映像および前記基準映像と同期化できる第１ユーザ映像を受信するステップと、前記受信された基準映像および前記第１ユーザ映像を分割された画面上にそれぞれディスプレイするステップとを含み、前記第１ユーザ映像は、前記基準映像に含まれたオブジェクトを追従する被写体を撮像した映像であってよい。
【選択図】図２Ａ

Description

本発明は、ディスプレイ装置、サーバおよびその制御方法に関し、より詳細には、撮像機能を備えるディスプレイ装置、サーバおよびその制御方法に関する。

従来の撮像機能をサポートするディスプレイ装置で提供する撮像関連のサービスの多くは、撮像したコンテンツを片方向に伝送するサービスに限定される。
具体的に、ディスプレイ装置に備えられた撮像機能は、ＭｏＩＰ（ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｖｅｒ ｉｎｔｅｒｎｅｔ）、例えば、モバイルテレビ電話のように、ユーザ撮像映像を別の機器に伝送するサービスに使用されてきた。

それにより、例えば、リアルタイム放送またはＶＯＤのように、多様な入力ソースを通じてテレビ画面に表示されるコンテンツ映像とユーザ撮像映像とを連携して提供するフィードバックサービスが不在であるという問題があった。

韓国特開第２００３−００８２２０４号公報

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、基準映像および撮像映像を連動して、フィードバックサービスを提供することができるディスプレイ装置、サーバおよびその制御方法を提供することにある。

上述の目的を達成するための本発明の一実施形態に係るディスプレイ装置の制御方法は、基準映像および前記基準映像と同期化できる第１ユーザ映像を受信するステップと、前記受信された基準映像および前記第１ユーザ映像を分割された画面上にそれぞれディスプレイするステップとを含み、前記第１ユーザ映像は、前記基準映像に含まれたオブジェクトを追従する被写体を撮像した映像であってよい。

なお、前記基準映像に含まれたオブジェクトを追従する他被写体を撮像した第２ユーザ映像を生成するステップと、前記生成された第２ユーザ映像を前記基準映像および前記第１ユーザ映像がディスプレイされる画面の一領域にディスプレイするステップとを更に含んでよい。

なお、前記第２ユーザ映像を外部サーバに伝送するステップを更に含み、前記第２ユーザ映像を生成するステップは、前記基準映像と同期化するためのメタデータを前記第２ユーザ映像に付加して前記第２ユーザ映像を生成してよい。

なお、前記他被写体の音声を認識し、前記認識された音声をテキストに変換するステップと、前記変換されたテキストを前記第２ユーザ映像に同期化させて保存するステップとを更に含んでよい。

ここで、前記第２ユーザ映像に対するメタデータは、前記第２ユーザ映像および基準映像に対する識別情報、映像ランニングタイム（ｒｕｎｎｉｎｇ ｔｉｍｅ）、基準映像の開始時点および終了時点、ユーザスクリプトのうち、少なくとも一つを含んでよい。

この場合、前記基準映像は、外部サーバから提供されたコンテンツまたはリアルタイム放送コンテンツであってよい。

なお、前記基準映像が前記リアルタイム放送コンテンツである場合、前記第１ユーザ映像は、前記ディスプレイ時間帯と異なる時間帯を有する地域で撮像された映像であってよい。

なお、本発明の一実施形態に係るサーバの制御方法は、第１ディスプレイ装置から基準映像と同期化した第１ユーザ映像を受信して保存するステップと、第２ディスプレイ装置からの要求に応じて、前記基準映像および前記第１ユーザ映像を前記第２ディスプレイ装置に伝送するステップとを含み、前記第１ユーザ映像は、前記基準映像に含まれたオブジェクトを追従する第１被写体を撮像した映像であってよい。

なお、前記第２ディスプレイ装置から前記基準映像と同期化した第２ユーザ映像を受信するステップを更に含み、前記第２ユーザ映像は、前記基準映像に含まれたオブジェクトを追従する他被写体を撮像した映像であってよい。

ここで、前記第１ユーザ映像は、前記基準映像と同期化するためのメタデータを含み、前記メタデータは、ユーザ映像および基準映像に対する識別情報、映像ランニングタイム（ｒｕｎｎｉｎｇ ｔｉｍｅ）、基準映像の開始時点および終了時点、ユーザスクリプトのうち、少なくとも一つを含んでよい。

一方、本発明の一実施形態に係るディスプレイ装置は、基準映像および前記基準映像と同期化できる第１ユーザ映像を受信する通信部と、ディスプレイ部と、前記受信された基準映像および前記第１ユーザ映像を分割された画面上にそれぞれディスプレイするように前記ディスプレイ部を制御する制御部とを含み、前記第１ユーザ映像は、前記基準映像に含まれたオブジェクトを追従する被写体を撮像した映像であってよい。

なお、前記基準映像に含まれたオブジェクトを追従する他被写体を撮像する撮像部を更に含み、前記制御部は、前記他被写体を撮像した第２ユーザ映像が生成されると、前記生成された第２ユーザ映像を前記基準映像および前記第１ユーザ映像がディスプレイされる画面の一領域にディスプレイするように前記ディスプレイ部を制御してよい。

なお、前記制御部は、前記基準映像と同期化するためのメタデータを前記第２ユーザ映像に付加して前記第２ユーザ映像を生成し、前記生成された第２ユーザ映像を前記外部サーバに伝送するように前記通信部を制御してよい。

なお、前記被写体の音声を認識する音声認識部を更に含み、前記制御部は、前記認識された音声をテキストに変換し、前記変換されたテキストを前記第２ユーザ映像に同期化させて保存してよい。

なお、本発明の一実施形態に係るサーバは、第１および第２ディスプレイ装置と通信する通信部と、前記通信部を介して前記第１ディスプレイ装置から基準映像と同期化した第１ユーザ映像が受信されると、受信された前記第１ユーザ映像を保存する保存部と、前記第２ディスプレイ装置からの要求に応じて、前記基準映像および前記第１ユーザ映像を前記第２ディスプレイ装置に伝送するように前記通信部を制御する制御部とを含み、前記第１ユーザ映像は、前記基準映像に含まれたオブジェクトを追従する第１被写体を撮像した映像であってよい。

以上説明したように、本発明によれば、ユーザの便宜性が向上を向上することができる。

本発明の多様な実施形態に係るシステム構成を説明するための図である。 本発明の多様な実施形態に係るシステム構成を説明するための図である。 本発明の多様な実施形態に係るシステム構成を説明するための図である。 本発明の一実施形態に係るディスプレイ装置の構成を説明するためのブロック図である。 本発明の一実施形態に係るディスプレイ装置の構成を説明するためのブロック図である。 本発明の一実施形態に係るサーバの構成を示すブロック図である。 本発明の多様な実施形態に係るデータ形態を説明するための図である。 本発明の多様な実施形態に係るデータ形態を説明するための図である。 本発明の多様な実施形態に係るデータ形態を説明するための図である。 本発明の多様な実施形態に係るデータ形態を説明するための図である。 本発明の一実施形態に係るユーザ映像メタデータの細部構成を説明するための図である。 本発明の一実施形態に係るユーザ映像メタデータの細部構成を説明するための図である。 本発明の一実施形態に係るユーザ映像メタデータの細部構成を説明するための図である。 本発明の一実施形態に係るディスプレイ形態を説明するための図である。 本発明の一実施形態に係るディスプレイ形態を説明するための図である。 本発明の別の実施形態に係るディスプレイ形態を説明するための図である。 本発明の別の実施形態に係るディスプレイ形態を説明するための図である。 本発明の一実施形態によって提供されるＵＩ形態を説明するための図である。 本発明の一実施形態によって提供されるＵＩ形態を説明するための図である。 本発明の一実施形態によって提供されるＵＩ形態を説明するための図である。 本発明の一実施形態に係るディスプレイ装置の制御方法を説明するためのフローチャートである。 本発明の別の実施形態に係るディスプレイ装置の制御方法を説明するためのフローチャートである。 本発明の一実施形態に係るサーバの制御方法を説明するためのフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１Ａないし図１Ｃは、本発明の多様な実施形態に係るシステム構成を説明するための図である。

図１Ａは、本発明の一実施形態に係るディスプレイシステムの構成を説明するための図である。

図１Ａによると、ディスプレイシステムは、ディスプレイ装置１００および撮像機器１０を含む形態であってよい。

ディスプレイ装置１００は、デジタルテレビで実現されてよく、場合によっては、パソコンや、移動通信端末機、パーソナルデジタル端末機（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、デジタルマルチメディア放送（ＤＭＢ：Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）フォン、ＭＰ３プレーヤ、携帯用テレビ、デジタルカメラ等のように、ディスプレイが可能な全ての装置で実現可能である。

撮像機器１０は、対象イメージの撮像が可能な一般のカメラで実現されてよく、被写体の動作を撮像することができる。

場合によっては、撮像機器１０は、ディスプレイ装置１００を制御するためのユーザモーションを撮像できるデプス（Ｄｅｐｔｈ）カメラおよびカラー（Ｃｏｌｏｒ）カメラのうち、少なくとも一方を含む形態で実現可能である。ここで、デプスカメラは、センサを用いて３Ｄ位置情報、すなわち、デプス情報を検出することができ、カラーカメラ（例えば、一般の２Ｄカメラ）は、２Ｄ位置情報と模様等を認識することができる。一方、デプスカメラは、カメラからの距離に応じて、撮像画面を補正するように実現でき、補正の形態は画面の拡大／縮小、解像度調整等の形態であってよい。

一方、図示の実施形態では、撮像機器１０がディスプレイ装置１００と別途の構成（外付けカメラ）であるとして説明したが、それは一実施形態に過ぎず、撮像機器１０はディスプレイ装置１００の内部に備えられる形態（内蔵型カメラ）で実現可能である。

しかし、以下では、説明の便宜のため、撮像機器１０がディスプレイ装置１０と別途に備えられる場合に想定して説明する。

図１Ｂおよび図１Ｃは、本発明の多様な実施形態に係るコンテンツ提供システムの動作を概略的に説明するための模式図である。

図１Ｂおよび図１Ｃによると、コンテンツ提供システムは、第１および第２ディスプレイ装置１００−１、１００−２およびサーバ２００を含む。

＜基準映像としてサーバからコンテンツを受信する例＞

図１Ｂによると、第１ディスプレイ装置１００−１は、サーバ２００から基準映像コンテンツを受信し、受信された基準映像を分割された画面のうちの一つの画面にディスプレイすることができる。例えば、第１ディスプレイ装置１００−１は、サーバ２００からＶＯＤコンテンツのような予め製作されたコンテンツを受信することができる。

なお、第１ディスプレイ装置１００−１は、基準映像のディスプレイの途中に撮像されたユーザＡの映像を分割された画面のうち、別の画面にディスプレイすることができる。例えば、基準映像のディスプレイの途中に、基準映像に含まれたオブジェクトの動作を追従する被写体Ａを撮像した映像を分割された画面のうち、別の画面にディスプレイすることができる。

なお、第１ディスプレイ装置１００−１は、撮像された映像をサーバ２００に伝送し、サーバ２００は受信された映像を保存することができる。例えば、サーバ２００は、第１ディスプレイ装置１００−１から受信されたユーザ映像を予め保存された基準映像に同期化させて保存することができる。

なお、サーバ２００は、第２ディスプレイ装置２００−２の要求がある場合、基準映像または基準映像と同期化して保存されたユーザＡの撮像映像を第２ディスプレイ装置２００−２に伝送することができる。

この場合、第２ディスプレイ装置２００−２では、基準映像および当該ユーザＢの撮像映像だけでなく、基準映像に関連する別のユーザＡの映像とともにディスプレイすることができるようになる。

＜基準映像として放送局から放送コンテンツを受信する例＞

図１Ｃによると、第１ディスプレイ装置１００−１は、基準映像としてリアルタイム放送コンテンツを受信し、受信された基準映像を分割された画面のうちの一つの画面にディスプレイすることができる。

なお、第１ディスプレイ装置１００−１は、基準映像のディスプレイの途中に撮像されたユーザＡの映像を分割された画面のうち、別の画面にディスプレイすることができる。

なお、第１ディスプレイ装置１００−１は、撮像された映像をサーバ２００に伝送し、サーバ２００は受信された映像を保存することができる。

なお、サーバ２００は、第２ディスプレイ装置２００−２の要求がある場合、ユーザＡの撮像映像を第２ディスプレイ装置２００−２に伝送することができる。

この場合、第２ディスプレイ装置２００−２では、リアルタイムで放送される基準映像および当該ユーザＢの撮像映像だけでなく、基準映像に関連する別のユーザＡの映像とともにディスプレイすることができるようになる。

図２Ａおよび図２Ｂは、本発明の一実施形態に係るディスプレイ装置の構成を説明するためのブロック図である。

図２Ａによると、ディスプレイ装置１００は、通信部１１０と、ディスプレイ部１２０および制御部１３０を含む。

通信部１１０は、サーバ２００と通信を行う。

具体的に、通信部１１０は、サーバ２００から基準映像を受信し、受信された基準映像に関連して生成されたユーザ映像をサーバ２００に伝送することができる。ここで、基準映像は予め製作されたコンテンツであってよく、ユーザ映像は基準映像ディスプレイの途中に、被写体を撮像した映像であってよい。例えば、ユーザ映像は基準映像に含まれたオブジェクトの動作を追従する被写体の動作を撮像した撮像イメージであってよい。より詳細には、ユーザがディスプレイ装置１００を介して提供されるヨガ映像を視聴する途中に、当該映像に登場する講師のヨガ動作を追従するジェスチャーをとる場合、このようなユーザのジェスチャーを撮像した映像がユーザ映像であってよい。

以下では、このような映像を詳細な説明を行わずに、“ユーザ映像”と称する。

一方、基準映像は、リアルタイム放送コンテンツであってよく、この場合、基準映像はチューナ等を通じて受信可能である。例えば、テレビで生放送でヨガ動作を真似する放送を送出する場合、当該放送映像が基準映像になってよい。

ディスプレイ部１２０は、画面上に基準映像およびユーザ映像のうち、少なくとも一方をディスプレイする。

ここで、ディスプレイ部１２０は、液晶表示装置（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、プラズマディスプレイパネル（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、ＶＦＤ（Ｖａｃｕｕｍ Ｆｌｕｏｒｅｓｃｅｎｔ Ｄｉｓｐｌａｙ）、ＦＥＤ（Ｆｉｅｌｄ Ｅｍｉｓｓｉｏｎ Ｄｉｓｐｌａｙ）、ＥＬＤ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｓｐｌａｙ）等で実現されてよい。

具体的に、ディスプレイ部１２０は、画面上に受信された基準映像をディスプレイすることができる。ここで、基準映像は、上述のように、サーバから提供された映像か、放送局から提供された映像であってよい。

なお、ディスプレイ装置１２０は、基準映像のディスプレイの途中、被写体のイメージを撮像されたユーザ映像を基準映像とともにディスプレイすることができる。例えば、ディスプレイ部１２０は、分割された画面に基準映像およびユーザ映像をディスプレイすることができる。この場合、ユーザ映像は、被写体と背景とを含むイメージ、被写体の背景を削除した背景削除イメージ、被写体のシルエットのみを表示するシルエットイメージのうち、少なくとも一つであってよい。または、被写体撮像イメージは、背景削除イメージおよびシルエットイメージが組み合わせられた形態のイメージであってよい。

この場合、画面分割は、遠隔制御装置（図示せず）からのユーザ命令または方向性を有するユーザモーションによって行われてよい。例えば、方向性を有するユーザモーションが認識されると、ユーザモーションの方向に応じて、画面を複数個に分割することができる。すなわち、ユーザモーションが上下移動モーションである場合、画面を左側画面および右側画面に分割し、ユーザモーションが左右移動モーションである場合、画面を上側画面および下側画面に分割することができる。ここで、ユーザのモーションは掌を開いたり、拳を作った状態で腕を上下左右に移動させる動作等であってよい。ただ、それに限定されるものではなく、ユーザの頭を上下左右に移動させたり、ユーザの足を上下左右に移動させる動作等、方向性を有するユーザモーションは限定されずに、適用されてよい。

または、ディスプレイ部１２０は、表示位置が予め設定されたＰＩＰ画面にユーザ映像をディスプレイすることもできる。

制御部１３０は、ディスプレイ装置１００の動作全般を制御する機能を担う。

制御部１３０は、上述の通信部１１０およびディスプレイ部１２０の動作を制御する機能を担う。

なお、制御部１３０は、撮像動作を通じてユーザ映像が生成されると、基準映像とユーザ映像とが同期化するように、ユーザ映像に対するメタデータを生成してユーザ映像に付加して保存することができる。

例えば、ユーザ映像に対するメタデータは、ユーザ映像および基準映像に対する識別情報、映像ランニングタイム（ｒｕｎｎｉｎｇ ｔｉｍｅ）、基準映像の開始時点および終了時点、ユーザスクリプトのうち、少なくとも一つを含んでよい。

一方、基準映像に対するメタデータは、基準映像の種類に応じて異なる値を有してよい。例えば、基準映像が予め製作されたコンテンツの場合、基準映像に対するメタデータは、基準映像ＩＤ、映像ランニングタイム（ｒｕｎｎｉｎｇ ｔｉｍｅ）、基準映像の開始時点および終了時点のうち、少なくとも一つに対する情報を含んでよい。または、基準映像がリアルタイム放送コンテンツである場合、基準映像に対するメタデータは、基準映像ＩＤ、リアルタイム放送コンテンツの放送時間帯、放送コンテンツの開始時間および終了時間のうち、少なくとも一つに対する情報を含んでよい。

一方、制御部１３０は、基準映像に対応するユーザ映像が生成されると、基準映像のメタデータを修正することができる。例えば、基準映像のメタデータに生成されたユーザ映像ＩＤを追加することができる。

この場合、制御部１３０は、場合によっては、基準映像のメタデータを修正することもできる。例えば、基準映像のメタデータにユーザ映像の識別情報が付加されるように基準映像のメタデータを修正することができる。

一方、図には示していないが、ディスプレイ装置１００は音声認識部（図示せず）を更に含んでよい。

この場合、制御部１３０は、音声認識部（図示せず）を介して認識されは被写体の音声をテキストに変換し、変換されたテキストをユーザ映像に同期化させて保存することができる。具体的に、制御部１３０は、音声認識モジュールおよび音声データベースを用いて音声を認識する。音声認識（Ｖｏｉｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ）は入力される音声の形態によって、それぞれの単語を区分して発話した音声を認識する孤立単語認識（Ｉｓｏｌａｔｅｄ Ｗｏｒｄ Ｒｅｃｏｇｎｉｔｉｏｎ）連続単語、連続文章及び会話体音声を認識する連続音声認識（Ｃｏｎｔｉｎｕｏｕｓ ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）及び孤立単語認識と連続音声認識との中間形態で、予め定められたキーワードを検出して認識するキーワード検出（Ｋｅｙｗｏｒｄ Ｓｐｏｔｔｉｎｇ）で区分されてよい。ユーザ音声が入力される場合、制御部１３０は入力された音声信号内でユーザが発話した音声の開始と終了を検出して音声区間を判断する。制御部１３０は、入力された音声信号のエネルギーを計算し、計算されたエネルギーに応じて、音声信号のエネルギーレベルを分類し、動的プログラミングを通じて音声区間を検出することができる。制御部１３０は、検出された音声区間内の音声信号に音響モデル（Ａｃｏｕｓｔｉｃ Ｍｏｄｅｌ）に基づいて、音声の最小単位である音素を検出して音素データを生成する。制御部１３０は、生成された音素データにＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）確率モデルを適用してテキスト情報を生成する。しかし、上述のように、ユーザの音声を認識する方法は一実施形態に過ぎず、他の方法を用いてユーザ音声を認識することができる。

なお、制御部１３０は、基準映像および基準映像と同期化したユーザ映像を受信することができる。制御部１３０は、受信された基準映像およびユーザ映像を分割された画面上にそれぞれディスプレイするようにディスプレイ部１２０を制御することができる。

この場合、制御部１３０は、方向性を有するユーザモーションが認識されると、ユーザモーションの方向に応じて画面を分割することができる。ここで、ユーザモーションを認識する一方法で、制御部１３０は、モーション認識モジュールを用いて周囲の背景と動きがある領域とに分離し、連続する動きを認識することができる。ユーザモーションが入力される場合、受信された映像をフレーム単位で保存し、保存されたフレームを用いてユーザモーションの対象であるオブジェクト（例えば、ユーザの手等）を検知する。制御部１３０は、フレームに含まれたオブジェクトの形、色、動きのうち、少なくとも一つを検知してオブジェクトを検出する。制御部１４０は、複数のフレームに含まれたそれぞれのオブジェクトの位置を用いて検出されたオブジェクトの動きを追跡することができる。

なお、制御部１３０は、受信された基準映像およびユーザ映像だけでなく、ディスプレイ装置１００から生成されたユーザ映像を併せてディスプレイするように制御することができる。

一方、基準映像がリアルタイム放送コンテンツである場合、基準映像とともに受信されるユーザ映像はディスプレイ装置１００のディスプレイ時間帯と異なる時間帯を有する地域で撮像された映像であってよい。例えば、基準映像とともに受信されるユーザ映像は、ディスプレイ装置１００が位置した地域の時間帯より早い時間帯の地域で撮像された映像であってよい。例えば、韓国より時間帯が早い米国の場合、同じ日付、時間に放送される放送コンテンツは韓国でより遅く放送されるため、米国に居住するユーザを撮像したユーザ映像は、韓国で当該基準映像の放送時点に同じ基準映像とともに提供されてよい。

一方、本発明が適用されるためのシナリオは、例えば、ユーザが特定コンテンツ視聴中、コンテンツ上のオブジェクトの動作を真似するための「動作を学ぶモード」に移行しようとするシナリオであってよい。

一方、制御部１３０は、画面が３つ以上に分割された場合、複数個に分割された画面の一つである第１画面に基準映像をディスプレイし、複数個に分割された画面の残りの画面に互いに異なる被写体を撮像したユーザ映像をそれぞれディスプレイすることができる。それにより、上述のシナリオによると、複数のユーザが同時に「動作を学ぶモード」を活用することができるようになる。

または、制御部１２０は、画面が３つ以上に分割された場合、複数個に分割された画面の一つである第１画面に基準映像をディスプレイし、複数個に分割された画面の残りの画面で、互いに異なる時間帯に互いに異なるユーザを撮像したユーザ映像をそれぞれディスプレイすることができる。

それにより、上述のシナリオによると、複数のユーザが同時に「動作を学ぶモード」を活用することができるようになる。

図２Ｂは、図２Ａに示すディスプレイ装置の細部構成を示すブロック図である。

図２Ｂによると、ディスプレイ装置１００’は、通信部１１０と、ディスプレイ部１２０と、制御部１３０と、映像処理部１４０と、ユーザインターフェース部１５０および保存部１６０を含む。図２Ｂに示す構成要素のうち、図２Ａに示す構成要素と重複する部分については、詳細な説明を省略する。

映像処理部１４０は、通信部１１０と、チューナ等を介して受信された映像を映像処理する機能を担う。

具体的に、映像処理部１４０は、受信された映像に対してビデオデコード、フォーマット分析、ビデオスケーリング等の信号処理およびＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）付加等の作業を行う。

ユーザインターフェース部１５０は、ユーザ命令を入力される機能を担う。

具体的に、ユーザインターフェース部１５０は、遠隔制御装置（図示せず）を介して受信されるユーザ命令または外部カメラ（図示せず）から入力されるユーザモーションによるユーザ命令を受信することができる。ここで、ユーザモーションは、例えば、左から右、上から下等のように方向性を有するモーションであってよい。

または、ユーザインターフェース部１５０は、ディスプレイ装置１００の内部に具備される内部カメラ（図示せず）で実現されることも可能である。ここで、外部カメラ（図示せず）または内部カメラ（図示せず）は、デプスカメラおよびカラーカメラのうち、少なくとも一方で実現されてよい。すなわち、外部カメラ（図示せず）または内部カメラ（図示せず）は、デプスカメラまたはカラーカメラで実現可能であり、デプスカメラおよびカラーカメラを組み合わせた形態で実現されてよい。

保存部１６０は、受信された基準映像に対して生成されたユーザ映像を保存する機能を担う。なお、保存部１６０は、上述のユーザ音声が変換されたテキストファイルを保存することもでき、このようなテキストファイルは、ユーザ映像に同期化して保存されてよい。または、テキストファイルは、別途のファイルではないユーザ映像に合成された形態で保存されることも可能である。

なお、保存部１６０は、予め設定されたモーションに対応するユーザ命令を保存することもできる。ここで、予め設定された保存容量を備えて、内部または外部カメラ（図示せず）を介して撮像された映像を記録媒体に保存することができる。この場合、記録媒体として、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）のような磁気記録媒体、メモリカードとフラッシュメモリのような半導体記録媒体が適用可能であり、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）のような光記録媒体も適用できることは勿論である。

なお、保存部１６０は、記録媒体に保存された撮像映像を再生することができる。この場合、保存部１６０は、タイムシフト（ｔｉｍｅ ｓｈｉｆｔ）機能を提供するサーキュラーバッファ（Ｃｉｒｃｕｌａｒ Ｂｕｆｆｅｒ）領域を含んでよく、制御部１３０は、各機能部を制御してタイムシフト機能を提供することができる。

ここで、タイムシフト機能とは、現在撮像時点より以前の時点に撮像された映像が再生されるようにすることで、ユーザが現在の撮像時点より以前の時点の撮像映像を視聴できるようにする機能である。

このようなタイムシフト機能は、一定分量（時間）の映像を臨時に録画して一定分量（時間）の以前の映像を確保することにより、提供できるようになる。例えば、タイムシフト機能を利用すると、現在撮像される映像が自動でハードディスクにデジタルで保存されると同時に画面に再生されることができる。よって、“停止”ボタンを押してから再び“再生”ボタンを押すと、保存された映像が止まった時点から再生される。なお、現在撮像される映像を再度見たり、スローモーションで再生することができ、特定部分は飛ばすこともできる等、所望の部分を探し当てて確認することができるようになる。

図３は、本発明の一実施形態に係るサーバの構成を示すブロック図である。

図３によると、サーバ２００は、通信部２１０と、保存部２２０および制御部２３０を含む。

通信部２１０は、ディスプレイ装置１００、１００’から基準映像ディスプレイの途中、被写体のイメージを撮像したユーザ映像を受信する機能を担う。なお、通信部２１０は、受信されたユーザ映像を別のディスプレイ装置（図示せず）に伝送することができる。

なお、通信部２１０は、ディスプレイ装置１００、１００’に予め製作された基準映像を提供することができる。

保存部２２０は、予め製作された基準映像およびディスプレイ装置１００、１００’から受信されたユーザ映像のうち、少なくとも一つを保存する機能を担う。ここで、ユーザ映像は、メタデータを通じて基準映像に同期化した映像であってよい。

制御部２３０は、サーバ２００の動作全般を制御する。

特に、制御部２３０は、保存部２２０に保存された基準映像およびユーザ映像のうち、少なくとも一つを外部ディスプレイ装置（図示せず）に提供するように通信部２１０を制御することができる。

具体的に、制御部２３０は、外部ディスプレイ装置（図示せず）の要求に応じて、保存部２２０に保存された基準映像および基準映像と同期化したユーザ映像を併せて提供することができる。

ただ、基準映像がリアルタイム放送コンテンツの場合には、放送コンテンツに対する録画映像を基準映像として提供し、当該基準映像と同期化したユーザ映像を提供することができる。この場合、基準映像は、場合によっては、ＰＶＲや別途のサーバ（図示せず）に保存されていてよい。

図４Ａないし図４Ｄは、本発明の多様な実施形態に係るデータ形態を説明するための図である。

図４Ａは、本発明の一実施形態に係る基準映像のメタデータ形態を説明するための図である。

図４Ａに示すように、基準映像がＶＯＤコンテンツのように予め製作されたコンテンツである場合、基準映像のメタデータは基準映像のＩＤ、Ｒｕｎｎｉｎｇ Ｔｉｍｅ、ユーザ映像のＩＤおよびその他の情報を含んでよい。ここで、その他の情報は、基準映像タイトル、タイプ等であってよい。ただ、ユーザ映像のＩＤは、場合によって、含まれなくてよい。

図４Ｂは、本発明の別の実施形態に係る基準映像のメタデータ形態を説明するための図である。

図４Ｂに示すように、基準映像がリアルタイム放送コンテンツである場合、基準映像のメタデータは、基準映像のＩＤ、放送コンテンツの開始時間および終了時間、放送時間帯、ユーザ映像のＩＤ、その他の情報を含んでよい。ここで、放送時間帯は、標準時間帯を意味するものとして、ＥＳＴ、ＰＳＴ等であってよい。基準映像の開始時間および終了時間は、当該放送が送出される地域の時間帯で放送の開始時間および終了時間であってよい。ただ、ユーザ映像のＩＤは、場合によって、含まれなくてよい。

図４Ｃは、本発明の一実施形態に係るユーザ映像のメタデータ形態を説明するための図である。

図４Ｃに示すように、ユーザ映像のメタデータは、ユーザ映像ＩＤ、Ｒｕｎｎｉｎｇ Ｔｉｍｅ、基準映像ＩＤ、基準映像の開始時間および終了時間、ユーザスクリプト、その他の情報を含む形態であってよい。ここで、その他の情報は、ユーザ映像タイトル、タイプ等であってよい。ここで、基準映像の開始時間および終了時間は、ユーザ録画映像が基準映像のどの時点に位置するかに対する値を有してよい。

図４Ｄは、本発明の一実施形態に係るユーザスクリプト部分のデータ形態を説明するための図である。

図４Ｄに示すように、ユーザスクリプトは、ユーザ映像の再生位置およびそれに対応するスクリプト情報を含んでよい。

図５Ａないじ図５Ｃは、本発明の一実施形態に係るユーザ映像メタデータの細部構成を説明するための図である。

図５Ａないじ図５Ｃに示すように、ユーザ映像の開始ポイントおよび終了ポイントは、基準映像のうち、ユーザ映像の録画が開始された時点と終了する時点であってよい。

図６Ａおよび図６Ｂは、本発明の一実施形態に係るディスプレイ形態を説明するための図である。

図６Ａは、本発明の一実施形態に係る基準映像（Ａ）およびテレビの前のユーザを撮像したユーザ映像（Ｂ）が分割された画面に表示された例を示している。

図６Ｂは、本発明の別の実施形態に係る基準映像（Ａ）、テレビの前のユーザを撮像したユーザ映像（Ｂ）および当該基準映像（Ａ）を追従する別のユーザを撮像した映像（Ｃ）が分割された画面に表示された例を示している。ここで、他ユーザ映像（Ｃ）は、サーバ２００から伝送された映像であってよい。

図６Ａおよび図６Ｂに示すように、基準映像およびユーザ映像は多様な形態で分割された画面上に表示されてよく、例えば、ＰＩＰまたはＰＩＧ形態で表示されてよい。この場合、遠隔制御装置またはユーザモーション等を通じて映像の位置や大きさを調整することができる。

図７Ａおよび図７Ｂは、本発明の別の実施形態に係るディスプレイ形態を説明するための図である。

図７Ａおよび図７Ｂは、本発明によってユーザの発話内容を音声認識技術を使ってテキストに変換して併せて提供する実施形態を示す。

図７Ａに示すように、他ユーザのユーザ映像が発話内容とともにスクリプト形態７１０に提供されてよく、それは音声認識技術を使ってテキストの発話内容をユーザ映像とともに保存することにより提供可能である。この場合、図示のように、他ユーザのユーザ映像のうち、スクリプトが提供される部分は、映像の再生バー（Ｂａｒ）に特定識別表示を行う形態で示されてよい。

なお、図７Ｂに示すように、現在ユーザの発話内容７２０も音声認識技術を使用して対応する時点にスクリプト形態で提供されてよい。

図８Ａないし図８Ｃは、本発明の一実施形態によって提供されるＵＩ形態を説明するための図である。

図８Ａに示すように、基準映像とともに提供可能なユーザ映像がある場合、基準映像およびユーザ映像のサムネールイメージおよび関連情報をリスト化してスクリーンに表示することができる。

この場合、図８Ｂに示すように、提供されたリスト上でユーザが望む基準映像および他ユーザ映像を選択できるオプション８２０を提供することができる。

なお、図８Ｃに示すように、基準映像がリアルタイム放送コンテンツである場合には、当該コンテンツが別のユーザ映像がマッピングされている場合、当該情報をユーザに報知する報知メッセージ８３０をスクリーンに表示することができる。それは、別のユーザの居住地域時間帯が現在ユーザの居住地域時間帯より早い場合であってよい。

図９は、本発明の一実施形態に係るディスプレイ装置の制御方法を説明するためのフローチャートである。

図９に示すディスプレイ装置の制御方法によると、まず、画面上に受信された基準映像をディスプレイする（Ｓ９１０）。ここで、基準映像は、予め製作されたコンテンツまたはリアルタイム放送コンテンツであってよい。

続いて、ディスプレイされる基準映像に含まれたオブジェクトを追従する被写体を撮像したユーザ映像を生成して保存する（Ｓ９２０）。

続いて、保存されたユーザ映像が基準映像と同期化するように、ユーザ映像に対するメタデータを生成してユーザ映像に付加する（Ｓ９３０）。ここで、ユーザ映像に対するメタデータは、ユーザ映像および基準映像に対する識別情報、映像ランニングタイム、基準映像の開始時点および終了時点、ユーザスクリプトのうち、少なくとも一つを含んでよい。

その後、生成されたメタデータが付加されたユーザ映像を外部サーバに伝送する（Ｓ９４０）。

なお、生成されたユーザ映像を基準映像とともにディスプレイすることができる。

なお、被写体の音声を認識し、認識された音声をテキストに変換することができ、変換されたテキストをユーザ映像に同期化させて保存することができる。

図１０は、本発明の別の実施形態に係るディスプレイ装置の制御方法を説明するためのフローチャートである。

図１０に示すディスプレイ装置の制御方法によると、基準映像および基準映像と同期化した基準映像に含まれたオブジェクトを追従する被写体を撮像したユーザ映像を受信する（Ｓ１０１０）。ここで、基準映像は、予め製作されたコンテンツまたはリアルタイム放送コンテンツであってよい。

続いて、受信された基準映像およびユーザ映像を分割された画面上にそれぞれディスプレイする（Ｓ１０２０）。

一方、基準映像がリアルタイム放送コンテンツである場合、ユーザ映像はディスプレイ時間帯と異なる時間帯を有する地域で撮像された映像であってよい。

図１１は、本発明の一実施形態に係るサーバの制御方法を説明するためのフローチャートである。

図１１に示すサーバの制御方法によると、第１ディスプレイ装置から基準映像ディスプレイの途中、基準映像に含まれたオブジェクトを追従する被写体を撮像したユーザ映像を受信する（Ｓ１１１０）。

続いて、第２ディスプレイ装置からの要求に応じて、ユーザ映像を第２ディスプレイ装置に伝送する（Ｓ１１２０）。

なお、サーバは、基準映像が予め製作されて保存されたコンテンツである場合、基準映像を第１ディスプレイ装置に伝送することができ、第２ディスプレイ装置にも同様に、ユーザ映像だけでなく、基準映像を同時に提供することができる。

ここで、ユーザ映像は、基準映像と同期化するためのメタデータを含んでよい。この場合、ユーザ映像に対するメタデータは、ユーザ映像および基準映像に対する識別情報、映像ランニングタイム（ｒｕｎｎｉｎｇ ｔｉｍｅ）、基準映像の開始時点および終了時点、ユーザスクリプトのうち、少なくとも一つを含んでよい。

以上のように、ユーザはユーザ映像を基準映像と同期化させて保存することにより、今後基準映像とユーザ映像を容易に比較してみることができ、このようなユーザ映像を別のユーザ（例えば、知人）と共有することができるようになる。それにより、他ユーザと一緒に運動したり、一緒にテレビを視聴するような経験を提供することができるようにある。特に、時間帯が異なる地域に住むユーザ同士は、リアルタイム放送コンテンツを同時に視聴するように経験を提供することができるようになる。

それにより、ユーザが高価なコンテンツや別途の装備を用意することなく、テレビに取り付けられたカメラだけで、視聴中に自分が望む如何なるコンテンツに対しても、姿勢ヘルパー／動作を学ぶモードに移動することができるようになる。

本発明の実施形態に係る多様な制御方法を実行するプログラムが保存された非一時的な読み取り可能な媒体が提供されてよい。

その他に、上述の多様な実施形態に係る制御方法を実行するためのプログラムが保存された非一時的な読み取り可能な媒体が提供されてよい。

非一時的に読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のように短い間、データを保存する媒体ではなく、半永久的にデータを保存し、機器による読み取り（ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的に、上述の多様なアプリケーションまたはプログラムは、ＣＤやＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等のような非一時的に読み取り可能な媒体に保存して提供されてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０ 撮像機器
１０ ディスプレイ装置
１００、１００’ ディスプレイ装置
１００−１ 第１ディスプレイ装置
１００−２ 第２ディスプレイ装置
１１０ 通信部
１２０ ディスプレイ部
１２０ ディスプレイ装置
１２０ 制御部
１３０ 制御部
１４０ 制御部
１４０ 映像処理部
１５０ ユーザインターフェース部
１６０ 保存部
２００ サーバ
２００−２ 第２ディスプレイ装置
２１０ 通信部
２２０ 保存部
２３０ 制御部
７１０ スクリプト形態
７２０ 発話内容
８２０ オプション
８３０ 報知メッセージ

Claims (15)

1. ディスプレイ装置の制御方法において、
   基準映像および前記基準映像と同期化できる第１ユーザ映像を受信するステップと、
   前記受信された基準映像および前記第１ユーザ映像を分割された画面上にそれぞれディスプレイするステップと
   を含み、
   前記第１ユーザ映像は、前記基準映像に含まれたオブジェクトを追従する被写体を撮像した映像であることを特徴とする制御方法。
2. 前記基準映像に含まれたオブジェクトを追従する他被写体を撮像した第２ユーザ映像を生成するステップと、
   前記生成された第２ユーザ映像を前記基準映像および前記第１ユーザ映像がディスプレイされる画面の一領域にディスプレイするステップと
   を更に含むことを特徴とする請求項１に記載の制御方法。
3. 前記第２ユーザ映像を外部サーバに伝送するステップを更に含み、
   前記第２ユーザ映像を生成するステップは、
   前記基準映像と同期化するためのメタデータを前記第２ユーザ映像に付加して前記第２ユーザ映像を生成することを特徴とする請求項２に記載の制御方法。
4. 前記他被写体の音声を認識し、前記認識された音声をテキストに変換するステップと、
   前記変換されたテキストを前記第２ユーザ映像に同期化させて保存するステップと
   を更に含むことを特徴とする請求項２に記載の制御方法。
5. 前記第２ユーザ映像に対するメタデータは、
   前記第２ユーザ映像および基準映像に対する識別情報、映像ランニングタイム（ｒｕｎｎｉｎｇ ｔｉｍｅ）、基準映像の開始時点および終了時点、ユーザスクリプトのうち、少なくとも一つを含むことを特徴とする請求項２に記載の制御方法。
6. 前記基準映像は、外部サーバから提供されたコンテンツまたはリアルタイム放送コンテンツであることを特徴とする請求項１に記載の制御方法。
7. 前記基準映像が前記リアルタイム放送コンテンツである場合、前記第１ユーザ映像は、ディスプレイ時間帯と異なる時間帯を有する地域で撮像された映像であることを特徴とする請求項６に記載の制御方法。
8. サーバの制御方法において、
   第１ディスプレイ装置から基準映像と同期化した第１ユーザ映像を受信して保存するステップと、
   第２ディスプレイ装置からの要求に応じて、前記基準映像および前記第１ユーザ映像を前記第２ディスプレイ装置に伝送するステップと
   を含み、
   前記第１ユーザ映像は、前記基準映像に含まれたオブジェクトを追従する第１被写体を撮像した映像であることを特徴とする制御方法。
9. 前記第２ディスプレイ装置から前記基準映像と同期化した第２ユーザ映像を受信するステップを更に含み、
   前記第２ユーザ映像は、前記基準映像に含まれたオブジェクトを追従する他被写体を撮像した映像であることを特徴とする請求項８に記載の制御方法。
10. 前記第１ユーザ映像は、前記基準映像と同期化するためのメタデータを含み、
    前記メタデータは、
    ユーザ映像および基準映像に対する識別情報、映像ランニングタイム（ｒｕｎｎｉｎｇ ｔｉｍｅ）、基準映像の開始時点および終了時点、ユーザスクリプトのうち、少なくとも一つを含むことを特徴とする請求項８に記載の制御方法。
11. 基準映像および前記基準映像と同期化できる第１ユーザ映像を受信する通信部と、
    ディスプレイ部と、
    前記受信された基準映像および前記第１ユーザ映像を分割された画面上にそれぞれディスプレイするように前記ディスプレイ部を制御する制御部と
    を含み、
    前記第１ユーザ映像は、前記基準映像に含まれたオブジェクトを追従する被写体を撮像した映像であることを特徴とするディスプレイ装置。
12. 前記基準映像に含まれたオブジェクトを追従する他被写体を撮像する撮像部を更に含み、
    前記制御部は、
    前記他被写体を撮像した第２ユーザ映像が生成されると、前記生成された第２ユーザ映像を前記基準映像および前記第１ユーザ映像がディスプレイされる画面の一領域にディスプレイするように前記ディスプレイ部を制御することを特徴とする請求項１１に記載のディスプレイ装置。
13. 前記制御部は、
    前記基準映像と同期化するためのメタデータを前記第１ユーザ映像に付加して前記第２ユーザ映像を生成し、前記生成された第２ユーザ映像を外部サーバに伝送するように前記通信部を制御することを特徴とする請求項１１に記載のディスプレイ装置。
14. 前記被写体の音声を認識する音声認識部を更に含み、
    前記制御部は、
    前記認識された音声をテキストに変換し、前記変換されたテキストを前記第２ユーザ映像に同期化させて保存することを特徴とする請求項１２に記載のディスプレイ装置。
15. 第１および第２ディスプレイ装置と通信する通信部と、
    前記通信部を介して前記第１ディスプレイ装置から基準映像と同期化した第１ユーザ映像が受信されると、受信された前記第１ユーザ映像を保存する保存部と、
    前記第２ディスプレイ装置からの要求に応じて、前記基準映像および前記第１ユーザ映像を前記第２ディスプレイ装置に伝送するように前記通信部を制御する制御部と
    を含み、
    前記第１ユーザ映像は、前記基準映像に含まれたオブジェクトを追従する第１被写体を撮像した映像であることを特徴とするサーバ。

Images