JP2015228201A - ウェアラブルメガネを用いたディスプレイ装置及びその作動方法 - Google Patents

Abstract

【課題】広告、ビデオ通話等の特定目的の映像をより効果的に着用者に伝達する、ウェアラブルメガネを用いたディスプレイ装置及びその作動方法を提供する。
【解決手段】ウェアラブルメガネを用いたディスプレイ装置１０２において、ウェアラブルメガネに搭載されて着用者視点の第１映像を取得するカメラ１０４、第１映像を分析してウェアラブルメガネの仮想表示領域を決定する演算部、ウェアラブルメガネと連動可能なスマートデバイス１０８から第２映像を受信するデータ連動部１０６及び第２映像を仮想表示領域にディスプレイするディスプレイ部１１０を含む。
【選択図】図１

Description

本発明は、ディスプレイ装置及び作動方法に関するものであり、より詳しくは、ウェアラブルメガネを用いたディスプレイ装置及びその作動方法に関する。

近年、「着るコンピューター」という概念のウェアラブルデバイスが開発されている。ウェアラブルデバイスとは、日常的に身に着けることができる形態に設計された機器であり、身体に付けてコンピューティングの行為を行うことができる全てのものを指し、これには一部のコンピューティングの機能を実行することができるアプリケーションも含まれる。例えば、時計、ブレスレット、ヘッドセット等の製品の形態にコンピューター機能が内蔵されていてもよい。特に、メガネに適用されたウェアラブルデバイスとして「グーグルグラス（Ｇｏｏｇｌｅ Ｇｌａｓｓ）」が公知となっている。

本発明は、着用者視点の第１映像を分析して取得した仮想表示領域にスマートデバイスと連動可能な第２映像をディスプレイすることにより、広告、ビデオ通話等の特定目的の映像をより効果的に着用者に伝達できるウェアラブルメガネを用いたディスプレイ装置、及びその作動方法を提供することを目的とする。

本発明の目的は、前記の目的に制限されるのではなく、記載していない本発明の別の目的及び長所は、下記の説明によって理解でき、本発明の実施例によってよりはっきり理解できると考える。また、本発明の目的及び長所は、特許請求の範囲に示した手段及びその組合せによって実現できることが容易に分かると考える。

このような目的を達成するための本発明は、ウェアラブルメガネを用いたディスプレイ装置において、前記ウェアラブルメガネに搭載されて着用者視点の第１映像を取得するカメラ、前記第１映像を分析して前記ウェアラブルメガネの仮想表示領域を決定する演算部、前記ウェアラブルメガネと連動可能なスマートデバイスから第２映像を受信するデータ連動部及び前記第２映像を前記仮想表示領域にディスプレイするディスプレイ部を含むことを特徴とする。

また、本発明のウェアラブルメガネを用いたディスプレイ装置の作動方法は、前記ウェアラブルメガネに搭載されたカメラが着用者視点の第１映像を取得するステップ、演算部が前記第１映像を分析して前記ウェアラブルメガネの仮想表示領域を決定するステップ、データ連動部が前記ウェアラブルメガネと連動可能なスマートデバイスから第２映像を受信するステップ、ディスプレイ部が第２映像を仮想表示領域にディスプレイするステップを含むことを特徴とする。

前述のような本発明によると、着用者視点の第１映像を分析して取得した仮想表示領域にスマートデバイスと連動可能な第２映像をディスプレイすることにより、広告、ビデオ通話等の特定目的の映像をより効果的に着用者に伝達できるという長所がある。

本発明の実施例にかかるウェアラブルメガネを用いたディスプレイ装置の構成図である。 本発明の一実施例にかかるウェアラブルメガネのディスプレイ画面を図示した図面である。 本発明の実施例にかかるウェアラブルメガネを用いたディスプレイ装置の作動方法を説明するためのフローチャートである。

前述の目的、特徴及び長所は、添付の図面を参照して詳しく後述し、これによって本発明が属する技術分野で通常の知識を有する者が本発明の技術的思想を容易に実施できると考える。本発明を説明するにおいて、本発明と関連する公知の技術に対する具体的な説明が本発明の要旨を不要に濁し得ると判断した場合は、詳細な説明を省略する。以下、添付の図面を参照して本発明にかかる好ましい実施例を詳しく説明する。図面において同一参照符号は同一又は類似する構成要素を指すものとして使用する。

図１は、本発明の実施例にかかるウェアラブルメガネを用いたディスプレイ装置の構成図である。図１を参照すると、ウェアラブルメガネを用いたディスプレイ装置１０２は、着用者視点の映像を取得するカメラ１０４、着用者視点の映像を分析して仮想表示領域を決定する演算部（未図示）、ウェアラブルメガネと連動可能なスマートデバイス１０８から映像又はデータを受信するデータ連動部１０６、データ連動部１０６から受信した映像又はデータをウェアラブルメガネの仮想表示領域にディスプレイするディスプレイ部１１０を含む。

カメラ１０４は、着用者視点の第１映像を取得する機能を行う。カメラ１０４は、ウェアラブルメガネに搭載され、ウェアラブルメガネの着用者が見る方向の映像を撮影して取得できる。つまり、カメラ１０４が撮影して取得した第１映像には、ウェアラブルメガネを着用した着用者が見る方向に存在する物体が含まれてもよい。

演算部（未図示）は、第１映像を分析してウェアラブルメガネの仮想表示領域を決定する機能を行う。上述のように、第１映像には着用者が見る方向に存在する多数の物体が含まれてもよい。演算部は、多数の物体のうち特定物体の境界線を認識して特定物体の境界線を仮想表示領域として決定できる。例えば、第１映像には着用者が見る方向に存在する建物、又は建物に設置された電光板、広告板のようなディスプレイ装置が含まれてもよい。演算部は、電光板の境界線を認識して認識された境界線を仮想表示領域に決定できる。

本発明の別の実施例において、仮想表示領域は着用者（使用者）の設定に従って予め決めることもできる。例えば、着用者が仮想表示領域として指定される位置、仮想表示領域の大きさを予め指定するようにすることにより、着用者が所望する位置に仮想表示領域が配置されるように構成することができる。

仮想表示領域１１６とは、データ、映像等がディスプレイされる領域であり、図１の第１映像１１２に含まれる特定の領域１１４に対応できる。つまり、ウェアラブルメガネに表示される仮想表示領域１１６が着用者の前方方向に向かって拡張すると実際の背景における特定の領域１１４に対応し得る。

本発明の一実施例において、演算部は第１映像を分析して特定物体を認識し、着用者が移動することにより認識された特定物体の位置が変わると、特定物体の変わった位置をトラッキングしてウェアラブルメガネの仮想表示領域を更新するように構成することができる。つまり、第１映像で特定物体の境界線を仮想表示領域に決定すると、着用者が移動することによって特定物体の境界線が変わることを感知し、境界線の変化をトラッキングしてウェアラブルメガネ上の仮想表示領域の位置を更新することができる。それにより、着用者が移動することによって着用者に対する特定物体の相対的な位置が異なっても、仮想表示領域は認識された特定物体に対して固定され得る。

データ連動部１０６は、ウェアラブルメガネと連動可能なスマートデバイス１０８から第２映像又はデータを受信する機能を行う。ここで、スマートデバイス１０８とは、スマートフォン、タブレット等、データの送受信が可能な電子機器を意味する。データ連動部１０６は、ブルートゥース、Ｗｉ‐Ｆｉ信号を利用してスマートデバイス１０８と連動でき、スマートデバイス１０８を通じてインターネットに接続して、音声通話、映像、メッセージ等の各種データを送受信できる。特に、データには特定目的の映像又は映像と関連する座標情報が含まれてもよい。

ディスプレイ部１１０は、第２映像を仮想表示領域にディスプレイする機能を行う。第２映像は、データ連動部１０６を通じてウェアラブルメガネと連動可能なスマートデバイス１０８から受信でき、第２映像は映像情報だけでなく、映像に関連する音声情報、広告のような特定目的の映像に関連する座標情報をさらに含んでもよい。ウェアラブルメガネの仮想表示領域は、演算部（未図示）によって決定してもよい。

ディスプレイ部１１０が、ウェアラブルメガネの仮想表示領域１１６に第２映像をディスプレイする方法には、第２映像をウェアラブルメガネに投射する方法、ディスプレイ部１１０がウェアラブルメガネのモニターで構成されて直接ディスプレイする方法を用いてもよい。

本発明の一実施例において、ディスプレイ部１１０が第２映像をウェアラブルメガネに投射する方法の場合、第２映像の投射方向を調節してウェアラブルメガネの仮想表示領域１１６に投射するように構成してもよい。

本発明の別の実施例において、ディスプレイ部１１０がウェアラブルメガネのモニターとして構成されて第２映像をディスプレイする方法の場合、ディスプレイ部１１０は、第１映像の仮想表示領域１１６に第２映像を合成して合成された映像をディスプレイしてもよい。

図１には表されていないが、本発明のウェアラブルメガネを用いたディスプレイ装置は、着用者の操作のための操作部（未図示）をさらに含んでもよい。操作部は、ウェアラブルメガネと連動可能なウェアラブル機器、音声認識又は動作認識機能を利用して着用者の命令が入力され得る。

例えば、ウェアラブルメガネと連動可能なブレスレット形態のウェアラブル機器を用いてブレスレットの動きによってメッセージの送受信等のような動作を制御したり、音声認識を通じて動作を制御することができる。また、着用者のジェスチャーを認識して腕又は指の動きによって動作を制御することができる。

上述のような本発明によると、着用者視点の第１映像を分析して取得した仮想表示領域にスマートデバイスと連動可能な第２映像をディスプレイすることにより、広告、ビデオ通話等の特定目的の映像をより効果的に着用者に伝達できるという長所がある。

本発明の実施例において、広告、ビデオ通話のような映像を着用者の視野内に存在する特定物体と結合した位置で再生されることにより、広告の伝達、ビデオ通話のような特定目的の映像又はコンテンツをより効果的に着用者に伝達することができる。

例えば、着用者のスマートデバイスを通じて着用者の位置周辺に存在するファーストフード店が検索できる。着用者のスマートデバイスを通じてファーストフード店の広告メッセージがウェアラブルメガネに受信されると、ディスプレイ部１１０が受信した広告メッセージをディスプレイする。着用者は、ウェアラブルメガネ２０２にディスプレイされる広告メッセージを確認し、操作部を通じて広告メッセージを再生するかを命令する。着用者が広告メッセージを再生することを命令すると、データ連動部１０６は着用者の操作によってスマートデバイスから広告映像を受信する。

一方、着用者はウェアラブルメガネのカメラを通じて撮影された図２の画面を見ることができる。図２は、本発明の一実施例にかかるウェアラブルメガネのディスプレイ画面を示した図面である。演算部は、カメラが取得した第１映像を分析して仮想表示領域に決定する。より詳しくは、演算部は広告メッセージが出力される広告板の境界線２０４を認識して、認識された広告板の境界線２０４を仮想表示領域に決定することができる。

また、図２を参照すると、着用者が広告映像を提供するファーストフード店に到達するための案内データがスマートデバイスを通じて受信され得る。このために、スマートデバイスから広告メッセージの座標情報が受信されたら、データ連動部は着用者の現在位置の情報及び広告メッセージの座標情報を利用して着用者が現在位置から座標情報に対応する位置まで到達するように案内するための案内データを受信することができる。ディスプレイ部は、図２の案内画面２０６のように案内データをウェアラブルメガネ２０２にディスプレイすることができる。

好ましくは、上の例示において、時間、位置によって選別された特定目的の広告メッセージが受信できる。例えば、昼食時間には飲食店関連の広告メッセージが受信されるように設定することができる。

また別の例として、着用者のスマートデバイスを通じて着用者にビデオ通話がかかってきた状況を仮定する。データ連動部を通じてスマートデバイスからビデオ通話の要請が受信されると、着用者は操作部を通じてビデオ通話を受信するかを命令する。着用者がビデオ通話を受信すると、データ連動部は着用者の操作によってスマートデバイスからビデオ通話のデータを受信し、ディスプレイ部は着用者が予め指定した仮想表示領域にビデオ通話のデータをディスプレイする。

図３は、本発明の実施例にかかるウェアラブルメガネを用いたディスプレイ装置の作動方法を説明するためのフローチャートである。図３を参照すると、先ず、カメラがウェアラブルメガネ着用者視点の第１映像を取得する（３０２）。上述の通り、カメラはウェアラブルメガネを着用した着用者が見る方向に設置し、カメラによって撮影された着用者視点の第１映像を取得できる。

次に、演算部が第１映像を分析して仮想表示領域を決定する（３０４）。具体的には、ステップ（３０４）は、演算部第１映像を分析して特定物体を認識するステップ、着用者が移動することによって認識された特定物体の位置が変わると、演算部が特定物体の変わった位置をトラッキングしてウェアラブルメガネの仮想表示領域を更新するステップを含むことができる。

その次に、データ連動部が連動スマートデバイスから第２映像を受信する（３０６）。上述のように、スマートデバイスは無線連結を通じてデータ連動部と連動し、映像、音声等のデータを送受信できる。

最後に、ディスプレイ部が第２映像を仮想表示領域にディスプレイする（３０８）。ステップ（３０８）のディスプレイ方法は、ディスプレイ部がウェアラブルメガネの上段に搭載されて第２映像をウェアラブルメガネに投射する方法、ディスプレイ部がウェアラブルメガネのモニターとして構成されて直接ディスプレイする方法のいずれかの方法になり得る。

本発明の一実施例において、第２映像は特定の目的を有する映像又はデータになり得る。例えば、スマートデバイスから広告メッセージが受信されたら、着用者は広告メッセージを受信するかを命令することができる。この例示において、着用者が広告メッセージを受諾すると、ステップ（３０４）は演算部が第１映像を分析して広告メッセージが出力される広告板を仮想表示領域に決定するステップを含むことができる。また、ステップ（３０６）はデータ連動部が広告映像を受信するステップを、ステップ（３０８）はディスプレイ部が仮想表示領域に広告映像をディスプレイするステップをそれぞれ含むことができる。また、ステップ（３０６）において、データ連動部は広告メッセージの座標情報を受信するステップをさらに含んでもよく、広告メッセージの座標情報が受信されたら、着用者の現在位置情報及び広告メッセージの座標情報を利用して、着用者が現在位置から座標情報に対応する位置まで到達できるように案内するための案内データを受信するステップが含まれてもよい。この場合、ステップ（３０８）は、ディスプレイ部が案内データをウェアラブルメガネにディスプレイするステップを含んでもよい。

また別の例において、着用者のスマートデバイスを通じてビデオ通話が受信される場合もある。この場合、ステップ（３０４）ないしステップ（３０８）は、演算部が第１映像を分析して映像メッセージが出力される仮想表示領域を決定するステップ、データ連動部が着用者の操作によってスマートデバイスからビデオ通話データを受信するステップ、ディスプレイ部が仮想表示領域にビデオ通話データをディスプレイするステップをそれぞれ含んでもよい。

本発明によると、ウェアラブルメガネにＰＩＰ（Ｐｉｃｔｕｒｅ Ｉｎ Ｐｉｃｔｕｒｅ）、ＶＩＶ（Ｖｉｄｅｏ Ｉｎ Ｖｉｄｅｏ）を適用することにより、より効果的な広告伝達、ターゲッティング広告効果を達成することができ、従来のようにスマートフォンを持っていなくても、ウェアラブルメガネを着用して歩いている途中でビデオ通話の受信を受諾し着用者が望む位置にビデオ通話画面を移動及び固定させてビデオ通話をすることができる。

前述の本発明は、本発明が属する技術分野で通常の知識を有する者において、本発明の技術的思想から外れない範囲内で様々な置換、変形及び変更が可能なため、前述の実施例及び添付の図面によって限定されるものではない。

Claims (11)

1. ウェアラブルメガネを用いたディスプレイ装置において、
   前記ウェアラブルメガネに搭載されて着用者視点の第１映像を取得するカメラ；
   前記第１映像を分析して前記ウェアラブルメガネの仮想表示領域を決定する演算部；
   前記ウェアラブルメガネと連動可能なスマートデバイスから第２映像を受信するデータ連動部；及び
   前記第２映像を前記仮想表示領域にディスプレイするディスプレイ部
   を含むウェアラブルメガネを用いたディスプレイ装置。
2. 前記演算部は、
   前記第１映像を分析して特定物体を認識し、着用者が移動することにより前記の認識された特定物体の位置が変わると、前記特定物体の変わった位置をトラッキングしてウェアラブルメガネの仮想表示領域を更新する請求項１に記載の、
   ウェアラブルメガネを用いたディスプレイ装置。
3. 前記スマートデバイスから広告メッセージが受信されたら、
   前記演算部は、第１映像を分析して前記広告メッセージが出力される広告板を仮想表示領域に決定し、
   前記データ連動部は、着用者の操作によって前記スマートデバイスから広告映像を受信し、
   前記ディスプレイ部は前記仮想表示領域に前記広告映像をディスプレイする請求項１に記載の、
   ウェアラブルメガネを用いたディスプレイ装置。
4. 前記広告メッセージの座標情報が受信されたら、
   前記データ連動部は、着用者の現在位置情報及び前記広告メッセージの座標情報を利用して、前記着用者が現在位置から前記座標情報に対応する位置まで到達するように案内するための案内データを受信し、
   前記ディスプレイ部は前記案内データを前記ウェアラブルメガネにディスプレイする請求項３に記載の、
   ウェアラブルメガネを用いたディスプレイ装置。
5. 前記スマートデバイスからビデオ通話要請が受信されたら、
   前記演算部は、第１映像を分析して映像メッセージが出力される仮想表示領域を決定し、
   前記データ連動部は、着用者の操作によって前記スマートデバイスからビデオ通話データを受信し、
   前記ディスプレイ部は、前記仮想表示領域に前記ビデオ通話データをディスプレイする請求項１に記載の、
   ウェアラブルメガネを用いたディスプレイ装置。
6. 前記ウェアラブルメガネと連動可能なウェアラブル機器、音声認識、動作認識のうちの少なくとも一つを利用して着用者の命令が入力される操作部
   をさらに含む請求項１に記載のウェアラブルメガネを用いたディスプレイ装置。
7. ウェアラブルメガネを用いたディスプレイ装置の作動方法として、
   前記ウェアラブルメガネに搭載されたカメラが着用者視点の第１映像を取得するステップ；
   演算部が前記第１映像を分析して前記ウェアラブルメガネの仮想表示領域を決定するステップ；
   データ連動部が前記ウェアラブルメガネと連動可能なスマートデバイスから第２映像を受信するステップ；
   ディスプレイ部が第２映像を仮想表示領域にディスプレイするステップ
   を含むウェアラブルメガネを用いたディスプレイ装置の作動方法。
8. 前記演算部が前記第１映像を分析して前記ウェアラブルメガネの仮想表示領域を決定するステップは、
   前記第１映像を分析して特定物体を認識し、着用者が移動することにより前記の認識された特定物体の位置が変わると、前記特定物体の変わった位置をトラッキングしてウェアラブルメガネの仮想表示領域を更新するステップ
   を含む請求項７に記載のウェアラブルメガネを用いたディスプレイ装置の作動方法。
9. 前記スマートデバイスから広告メッセージが受信されたら、
   前記演算部が第１映像を分析して前記広告メッセージが出力される広告板を仮想表示領域に決定するステップ；
   前記データ連動部が着用者の操作によって前記スマートデバイスから広告映像を受信するステップ；及び
   前記ディスプレイ部が前記仮想表示領域に前記広告映像をディスプレイするステップ
   を含む請求項７に記載のウェアラブルメガネを用いたディスプレイ装置の作動方法。
10. 広告メッセージと関連する座標情報が受信されたら、
    前記データ連動部が着用者の現在位置情報及び前記広告メッセージの座標情報を利用して、前記着用者が現在位置から前記座標情報に対応する位置まで到達するように案内するための案内データを受信するステップ；及び
    前記ディスプレイ部が前記案内データを前記ウェアラブルメガネにディスプレイするステップ
    を含む請求項７に記載のウェアラブルメガネを用いたディスプレイ装置の作動方法。
11. 前記スマートデバイスからビデオ通話要請が受信されたら、
    前記演算部が第１映像を分析して映像メッセージが出力される仮想表示領域を決定するステップ；
    前記データ連動部が着用者の操作によって前記スマートデバイスからビデオ通話データを受信するステップ；及び
    前記ディスプレイ部が前記仮想表示領域に前記ビデオ通話データをディスプレイするステップ
    を含む請求項７に記載のウェアラブルメガネを用いたディスプレイ装置の作動方法。

Images