JP2017520781A

JP2017520781A - 拡張情報表示

Info

Publication number: JP2017520781A
Application number: JP2016555684A
Authority: JP
Inventors: シュウグワーンウー; ジュインシヤオ
Original assignee: 3M Innovative Properties Co
Current assignee: 3M Innovative Properties Co
Priority date: 2014-03-06
Filing date: 2015-03-03
Publication date: 2017-07-27
Also published as: KR20160130239A; US9355599B2; CN106063261B; EP3114834A4; EP3114834A1; CN106063261A; US20150255021A1; WO2015134420A1; KR102283420B1

Abstract

表示コンテンツを、視覚情報若しくは音声情報、又は埋め込み情報へのネットワークリンクなどの埋め込み不可視情報で拡張するためのシステム。このシステムは、ディスプレイモジュール、第１のバックライトモジュール及び第２のバックライトモジュール、並びにコントローラを含む。第１のバックライトモジュール及び第２のバックライトモジュールは、可視光、及び赤外線光などの不可視光を、ディスプレイモジュールに選択的に提供する。コントローラは、ディスプレイモジュールに、時系列方式で交互する、第１のコンテンツのフレーム及び第２のコンテンツのフレームを提供し、第１のコンテンツのフレームは、第１のバックライトモジュールによってバックライト照明され、第２のコンテンツのフレームは、第２のバックライトモジュールのみによってバックライト照明される。第２のコンテンツのフレームは、第１のコンテンツのフレームと共に埋め込まれた不可視情報を提供するものであり、赤外線カメラで検出されることができ、拡張情報を表示又は提供するために使用されることができる。

Description

可視光通信は、近年、固体照明デバイスの用途の増大により注目を受けており、このことにより、可視光通信は、ユビキタス通信手段の候補となっている。その一方で、テレビ及びデジタル看板などの、ユビキタス視覚表示デバイスは、視覚イメージを伝えることによる、従来の意味での通信のみが可能である。ますます、これらの表示には、スクロールする情報バーなどの、従来の重ね合わせ情報に加えて、クイックレスポンス（ＱＲ）コードなどの、主要ビデオコンテンツ上に重ね合わされる他のデータ又は情報が追加されている。この追加的データの全ては、ビデオコンテンツと組み合わされる場合、押し付けがましく、場所を取る恐れがある。

したがって、表示されるビデオ又は他のコンテンツに加えて、電子ディスプレイを介して情報を伝えるための方法が必要とされている。

本発明に合致する、表示コンテンツを拡張するためのシステムは、ディスプレイモジュール、第１のバックライトモジュール及び第２のバックライトモジュール、並びにコントローラを含む。第１のバックライトモジュールは、ディスプレイモジュールに可視光を提供し、第２のバックライトモジュールは、ディスプレイモジュールに不可視光のみを提供する。コントローラは、時系列方式で、ディスプレイモジュールに、第１のコンテンツのフレーム及び第２のコンテンツのフレームを提供し、この第１のコンテンツのフレームは、第１のバックライトモジュールによってバックライト照明され、第２のコンテンツのフレームは、第２のバックライトモジュールのみによってバックライト照明される。

本発明に合致する、表示コンテンツを拡張するための方法は、第１のバックライトモジュールによってバックライト照明される、第１のコンテンツのフレームを、ディスプレイモジュールに提供することと、第２のバックライトモジュールのみによってバックライト照明される、第２のコンテンツのフレームを、ディスプレイモジュールに提供することと、ディスプレイモジュールに提供される、第１のコンテンツのフレーム及び第２のコンテンツのフレームを、時系列方式で交互させることとを含む。第１のバックライトモジュールは、ディスプレイモジュールに可視光を提供し、第２のバックライトモジュールは、ディスプレイモジュールに不可視光のみを提供する。

本発明に合致する、拡張表示コンテンツを受信するための第１の方法は、ディスプレイモジュールから、第１の可視コンテンツのフレームを受信することと、ディスプレイモジュールから、第２の不可視コンテンツのみのフレームを受信して、時系列方式で第１のフレームと交互させることと、第１の可視コンテンツのフレームを表示することとを含む。第２の不可視コンテンツのフレームに基づいて、情報が取得され、取得された情報は、第１の可視コンテンツのフレームと共に提供される。

本発明に合致する、拡張表示コンテンツを受信するための第２の方法は、ディスプレイモジュールから、第１の可視コンテンツのフレームを受信することと、ディスプレイモジュールから、第２の不可視コンテンツのみのフレームを受信して、時系列方式で第１の可視コンテンツのフレームと交互させることとを含む。この方法はまた、第１のコンテンツのフレーム及び第２のコンテンツのフレームに関連する選択を受信することと、その選択に基づいて、第１の可視コンテンツのフレーム又は第２の不可視コンテンツのフレームのいずれかを、可視コンテンツとして表示することとを含む。

添付の図面は、本明細書に組み込まれ、本明細書の一部を構成するものであり、説明文と併せて、本発明の利点及び原理を説明するものである。これらの図面中、
拡張情報表示システムのブロック図である。拡張情報表示システムに関するバックライトドライバのタイミング図である。液晶ディスプレイ（ＬＣＤ）モジュール内部の赤色サブピクセルを通じた、不可視情報又は不可視コンテンツの送信を示す。拡張情報表示システムに関するコンテンツを例示する、ユーザインタフェースを示す。拡張情報表示ガイドシステムのブロック図である。拡張情報表示ガイドシステムに関するコンテンツを例示する、ユーザインタフェースを示す。拡張情報表示位置特定及びナビゲーションシステムのブロック図である。拡張情報表示位置特定及びナビゲーションシステムのユーザの３次元（３Ｄ）位置特定を示す図である。拡張情報表示コミュニケーション支援システムのブロック図である。拡張情報表示コミュニケーション支援システムを介して情報を提供するための、受信デバイスのブロック図である。拡張情報表示コミュニケーション支援システムを介して情報を提供するための、ユーザインタフェースを示す。

本発明の実施形態は、フィールド順次式バックライトを使用して、ＬＣＤモジュール又は他のタイプのバックライト付きディスプレイを通じた、不可視情報、例えば赤外線、及び可視情報の、時間及びスペクトル多重伝送を実施する。カラービデオ又はカラー画像（ＲＧＢ画像）などの可視情報は、ＬＣＤモジュールによって表示される。不可視情報は、例えば赤外線情報としてコード化され、赤外線バックライトのみによってバックライト照明されることにより、ＬＣＤモジュールによって提供される。可視情報及び不可視情報は、時系列方式で交互する、コンテンツのフレーム内で提供される。不可視情報は、ＬＣＤモジュールの視聴者には可視ではないが、不可視情報は、赤外線カメラ又は他のセンサによって検出されて、可視情報を拡張するために使用されることができる。例えば、不可視情報は、可視情報に重ね合わせて、若しくは可視情報と共に表示されることになる視覚コンテンツを取得するために使用されるリンク、又は、可視情報と共に提供されることになる音声コンテンツを取得するために使用されるリンクを含み得る。この方式で、同じディスプレイを使用して、可視情報と共に、拡張情報を提供することができる。

図１は、拡張情報表示システム１０のブロック図である。システム１０は、ＬＣＤモジュール１４と、バックライトドライバ１８によって駆動される赤／緑／青（ＲＧＢ）又は白色バックライト１２と、バックライトドライバ２２によって駆動される赤外線バックライト１６とを含む。ビデオ処理及びタイミングコントローラ２０は、ＬＣＤモジュール１４にコンテンツを提供し、ドライバ１８及びドライバ２２を介して、バックライト１２及びバックライト１６の切り替えを制御する。データフレーム化ユニット３０は、ソース３２からの可視情報、及びソース３４からの不可視情報を受信して、データフレーム化ユニット３０は、接続２８で、ソース３２からのＲＧＢ可視データとしての奇数フレーム、及びソース３４からの不可視データ（例えば、その表示の赤色成分にマッピングされる赤外線データ）としての偶数フレームを提供する。グラフィック処理ユニット２６は、これらの奇数フレーム及び偶数フレームを受信して、対応する（例えば、１２０Ｈｚ以上の）タイミング信号を有するビデオデータを、接続２４で、ビデオ処理及びタイミングコントローラ２０に提供する。それらの奇数フレーム及び偶数フレームは、処理及びタイミングコントローラ２０によって、ＬＣＤモジュール１４に提供され、この処理及びタイミングコントローラ２０は、それらのフレームがＬＣＤモジュール１４に提供される間、関連するタイミング信号を使用して、バックライト１２及びバックライト１６の切り替えを制御する。

図２は、拡張情報表示システム１０に関するバックライトドライバのタイミング図である。線４０によって示されるビデオ同期信号（ＶＳＹＮＣ）は、時間枠４２の間の奇数フレーム、及び時間枠４４の間の偶数フレームの伝送を制御する。線４６によって示されるＲＧＢバックライト信号は、ドライバ１８を介した、ＲＧＢバックライト１２の切り替え、点灯、及び消灯を制御し、線４８によって示される赤外線バックライト信号は、ドライバ２２を介した、赤外線バックライト１６の切り替え、点灯、及び消灯を制御する。これらのバックライトタイミング信号は、ＶＳＹＮＣ信号と共に、時系列的に繰り返される。バックライト信号４６及びバックライト信号４８のＴ_ＢＬ期間は、フレーム書き込みにＬＣＤモジュール１４のパネル応答時間を加えた後に、実施する必要がある。バックライト信号４６及びバックライト信号４８のＴ_Ｄ期間は、ＬＣＤモジュール１４の最適な輝度及び電力消費に応じて調節することができる。

このタイミング図は、奇数フレーム（可視情報）が、ＲＧＢバックライトによってのみバックライト照明され、偶数フレーム（不可視情報）が、赤外線バックライトによってのみバックライト照明されるような、バックライトの切り替えを示す。あるいは、赤外線バックライトは、可視スペクトルの範囲内ではない光を放射するため、赤外線バックライトは、奇数フレーム（可視情報）がＲＧＢバックライトによってバックライト照明されている間、任意選択的に、点灯させたままにすることができ、偶数フレーム（不可視情報）が赤外線バックライトによってバックライト照明されている間、ＲＧＢバックライトのスイッチはオフにされる。奇数フレーム及び偶数フレームは、十分に速い速度で切り替えられることにより、その切り替えは、表示される視覚コンテンツの視聴者には、視覚的に認知不能である。可視情報及び不可視情報は、参照目的のためにのみ、それぞれ、奇数フレーム及び偶数フレームと称されるものであり、可視情報を偶数フレーム内に、不可視情報を奇数フレーム内に存在させることができ、あるいは、可視情報及び不可視情報は、左フレーム及び右フレームと称されるフレーム内部に存在させることもできる。用語「フレーム」とは、特定の表示に関する、奇数及び偶数の情報若しくはコンテンツのフルフレーム、あるいは、その表示上のデータの任意の部分フレームを意味する。

可視情報又は可視コンテンツとは、光の可視スペクトルの範囲内の情報又はコンテンツを意味し、不可視情報又は不可視コンテンツとは、光の可視スペクトルの範囲内ではない情報又はコンテンツを意味する。これらの可視フレーム及び不可視フレームは、ＬＣＤモジュールに、時間的方式で提供されるものであり、これは、１つ以上の可視フレームが、１つ以上の不可視フレームと、時系列方式で交互することを意味する。例えば、１つの不可視フレームが、１つの可視フレームと交互することにより、単色画像又は単色ビデオとして、拡張情報を提供することができる。あるいは、拡張情報の赤／緑／青の成分に対応する、３つの不可視フレームが、１つの可視フレームと交互することにより、カラー画像又はカラービデオとして、拡張情報を再構築して提供することができる。

これらのバックライトは、例えば、一方の縁部にＲＧＢ光源を有し、反対側の縁部に赤外線光源を有する、エッジ照明バックライトを使用して、あるいは、ＲＧＢ光源及び赤外線光源の双方を一体的に有し、それらのＲＧＢ光源及び赤外線光源が、バックライトドライバによって別個に制御される、ハイブリッドバックライトを使用して実装することができる。あるいは、これらのバックライトは、可視光及び赤外線（又は、他の不可視の）光を別個に提供することが可能な、任意のバックライトとすることができる。ＲＧＢバックライトは、例えば、赤色ＬＥＤ、緑色ＬＥＤ、及び青色ＬＥＤを使用することにより、白色バックライトを提供することができる。赤外線バックライトは、例えば、赤外線光を放射し、可視スペクトルの範囲内の光を放射しない、ＬＥＤを使用することができる。赤外線バックライトを使用して、不可視情報又は不可視コンテンツを提供する場合、その不可視情報又は不可視コンテンツは、図３Ａに示されるように、主として、ＬＣＤモジュール内部の赤色サブピクセル（赤色カラーフィルタ）を通じて送信される。バックライト付きディスプレイモジュールに関する、典型的な表示ピクセル５１は、赤色、緑色、及び青色のサブピクセルに対応する、赤色（Ｒ）、緑色（Ｇ）、及び青色（Ｂ）のカラーフィルタを有することにより、それらの３原色の組み合わせを通じて、所望の色を表現する。可視の主要画像５３は、その視覚画像のコンテンツに応じて、これらのＲＧＢサブピクセルのうちの１つ以上を通じて送信される。不可視（赤外線）埋め込み画像５５は、赤外線バックライトを使用して、赤色サブピクセルを通じて送信される。

より具体的には、典型的なＬＣＤデバイスでは、赤色カラーフィルタは、近赤外線スペクトル領域での高い透過率を有し、結果として、データ変調赤外線光は、赤色フィルタを通過することができる。拡張情報は、それゆえ、緑色成分及び青色成分の双方を一定レベル（例えば、ゼロ）に維持しつつ、赤色成分のみでコード化することができるが、これは、緑色及び青色のサブピクセルによって伝達される、いずれの赤外線光情報も、それらの対応する帯域通過カラーフィルタによって阻止されるためである。

拡張情報をコード化するための１つの因子は、赤外線ＬＥＤの波長であり、この波長により、一対の交差直線偏光子、及び液晶分子の層を含む、ＬＣＤパネル積み重ね体の光変調器部分を通過する、赤外線照明イメージの光学特性を決定することができる。特定の波長に合致する構成要素を考案することも可能であるが、ＬＣＤ構成要素、又は可視光と共に機能するように設計された他のバックライト付きディスプレイと共に機能するように、波長を選択することが好ましい。ＯＣＢ（光学補償ベンド）及びＴＮ（ねじれネマチック）ＬＣＤパネルのスペクトル吸収に基づくと、７２０ｎｍ〜７６０ｎｍの波長範囲は、赤外線コンテンツの良好なコントラスト比と、可視光の良好な排除との、妥当なバランスを提供する。また、７６０ｎｍの太陽放射の、強力な二酸素（Ｏ_２）吸収も存在し、このことは、屋外用途での日光からの干渉を低減するために役立ち得る。

図３Ｂは、拡張情報表示システム１０に関するコンテンツを例示する、ユーザインタフェースを示す。ＬＣＤモジュール１４によって提供される情報又はコンテンツ５０は、ＲＧＢ画像取り込み５２、及び赤外線画像取り込み５４を含む。ＲＧＢ画像取り込み５２は、ＲＧＢバックライト１２によってバックライト照明された可視（奇数）フレームからの、ＬＣＤモジュール１４によって表示される可視コンテンツに対応し、赤外線画像取り込み５４は、赤外線バックライトモジュール１６によってバックライト照明された不可視（偶数）フレームからの、ＬＣＤモジュール１４によって提供される不可視コンテンツに対応する。赤外線画像取り込み５４は、赤外線カメラ又は他の赤外線センサによって、ＬＣＤモジュール１４から検出することができる。例えば、スマートフォンなどの、モバイル電話又はモバイルデバイスは、不可視情報を検出するための赤外線カメラを有し得るものであり、又は、そのデバイスは、赤外線フィルタを使用することなく、ＲＧＢカメラを使用して、可視情報及び不可視情報の双方を検出することができる。

不可視フレーム内の拡張情報は、画像、ビデオ、若しくはテキスト情報などの視覚コンテンツ、及び、メタデータ若しくは情報に対するリンクを含み得る。これらのリンクは、例えば、リモートの情報又はコンテンツ、例えば、インターネット若しくはコンピュータベースのネットワークなどのネットワークを介して、プロセッサベースのデバイスによってアクセスされるサーバ上のコンテンツに、電子的にアクセスするために使用される、統一資源位置指定子（ＵＲＬ）又は他のネットワーク識別子などの、ネットワークアドレスを含み得る。これらのリンクは、例えば、提供される不可視情報を取得するために、赤外線カメラ又は他のセンサによって検出することが可能な、ＱＲコード又は他の証印などの、コードによって表すことができる。

図４は、拡張情報表示ガイドシステム５６のブロック図である。システム５６は、システム１０に対応し、サーバ５８から可視のコンテンツのフレーム６０及び不可視のコンテンツのフレーム６４を受信する、拡張情報表示６２を含む。拡張情報表示６２は、ＲＧＢバックライトによってバックライト照明される、可視のコンテンツのフレーム６０を表示することができ、赤外線バックライトを介して、不可視のコンテンツのフレーム６４を提供することができる。スマートフォンなどのモバイルデバイス６８は、拡張情報表示６２によって表示される可視コンテンツを取り込むための、ＲＧＢ（カラー）カメラ７２、及び、表示６２によって提供される不可視コンテンツを検出するための、赤外線カメラ７０を含む。処理及び受信ユニット７６は、モバイルデバイス６８上のディスプレイ、又は任意選択的なウェアラブルディスプレイなどの、ディスプレイ７８に、可視コンテンツを提供する。検出された不可視コンテンツを使用して、処理及び受信ユニット７６は、モバイルネットワーク６６を介して、サーバ５８から拡張コンテンツを取得し、その拡張情報を、拡張視覚情報に関してはディスプレイ７８に、又は拡張音声情報に関してはヘッドホン若しくはスピーカ７４に提供する。

図５は、拡張情報表示ガイドシステム５６に関するコンテンツを例示する、ユーザインタフェースを示す。拡張情報表示６２上の、元のコンテンツの表示８０は、赤外線情報又は他の不可視情報などの、埋め込み拡張情報８２を含む。モバイルデバイス６８は、視覚情報で拡張された元のコンテンツ８４をディスプレイ７８に表示することができ、又は、ヘッドホン若しくはスピーカ７４を介して、拡張音声情報８６を提供することができる。

拡張情報は、視覚情報と共に不可視情報として埋め込まれた、記述的なメタデータ又はリンクを含み得る。例えば、拡張データは、デジタル標識内に埋め込まれて、ユーザのモバイルデバイス上に表示されることになる、メニュー、又はメニューへのリンクを含み得る。主要コンテンツが、デジタル看板であるか、又は電子画像若しくはビデオを広告目的で表示している場合、拡張埋め込み情報は、表示された情報又は広告された製品若しくはサービスに関連する、情報を含み得る。例えば、デジタル看板内の拡張埋め込み情報は、デジタルクーポン又は他の情報へのリンクを有する、ＱＲコードを含み得る。別の実施例としては、拡張埋め込み情報は、別の言語へと翻訳された、デジタル看板上に表示されるテキストを含み得る。拡張埋め込み情報が、音声情報へのリンクを含む場合、その音声は、例えば博物館、又は他の施設内での、音声ガイドとして使用することができる。

図６は、拡張情報表示位置特定及びナビゲーションシステム９０のブロック図である。システム９０は、システム１０に対応し、サーバ９２から可視のコンテンツのフレーム９４及び不可視のコンテンツのフレーム９８を受信する、拡張情報表示９６を含む。拡張情報表示９６は、ＲＧＢバックライトによってバックライト照明される、可視のコンテンツのフレーム９４を表示することができ、赤外線バックライトを介して、不可視のコンテンツのフレーム９８を提供することができる。スマートフォンなどのモバイルデバイスは、拡張情報表示９６によって表示される可視コンテンツを取り込むための、ＲＧＢカメラ１０４、及び表示９６によって提供される不可視コンテンツを検出するための、赤外線カメラ１０２を含む。デコード及び姿勢追跡ユニット１０８は、検出された不可視コンテンツを受信して、その不可視コンテンツを、ユニット１０６に提供することにより、その検出された不可視コンテンツから、赤外線カメラ１０２を含むモバイルデバイスの位置の３Ｄ座標が算出される。この３Ｄ座標を受信して使用する、モバイルナビゲーションアプリケーション１１０は、地図及びナビゲーションサーバ１００にアクセスすることにより、その３Ｄ座標に基づいて、拡張ナビゲーション情報を取得することができる。モバイルナビゲーションアプリケーション１１０は、その拡張ナビゲーション情報を、レンダリング及び表示エンジン１１２に提供し、このレンダリング及び表示エンジン１１２は、ユーザのモバイルデバイス上の表示デバイス上などに、ナビゲーション情報の表示で拡張された、視覚コンテンツを表示する。

図７は、拡張情報表示並びに位置特定及びナビゲーションシステム９０のユーザの３Ｄ位置特定を示す図である。拡張情報表示１１６は、表示９６に対応し、モバイルデバイス１１８を有するユーザは、拡張ナビゲーション情報をユーザに提供する、拡張情報表示１１６の近傍の範囲内に位置している。拡張情報表示１１６は、既知の座標である、Ｘ_{Ｄｉｓｐｌａｙ}、Ｙ_{Ｄｉｓｐｌａｙ}、Ｚ_{Ｄｉｓｐｌａｙ}の座標を有する位置に配置されている。このシステムはまた、グローバル及びローカルの位置特定系も利用することができ、これらは、グローバル系に関するＸ_{Ｇｌｏｂａｌ}、Ｙ_{Ｇｌｏｂａｌ}、Ｚ_{Ｇｌｏｂａｌ}、及びローカル系に関するＸ_{Ｌｏｃａｌ}、Ｙ_{Ｌｏｃａｌ}、Ｚ_{Ｌｏｃａｌ}の既知の座標を有する。ベクトルＶ_ＬＧ及びＶ_ＤＬは、グローバル系及び拡張情報表示１１６の場所に対する、ローカル座標系の位置を表す。グローバル系は、例えば、全地球測位システム（ＧＰＳ）に対応し得るものであり、ローカル位置特定系は、屋内空間内部の既知の位置に対応し得る。モバイルデバイス１１８に対する拡張情報表示システム１１６の位置は、ベクトルＶ_ＭＤによって表される。

このユーザのモバイルデバイスは、Ｘ_{Ｍｏｂｉｌｅ}、Ｙ_{Ｍｏｂｉｌｅ}、Ｚ_{Ｍｏｂｉｌｅ}の座標を有する。拡張情報表示１１６は、埋め込み不可視位置情報を、例えば、２次元（２Ｄ）コード又はマーカとして提供する。モバイルデバイス１１８は、例えば赤外線カメラを使用して、これらのコードを検出することにより、拡張情報表示１１６の位置を判定することができる。拡張情報表示１１６に対する、モバイルデバイス１１８内のカメラの３Ｄ位置ベクトル（ＰＤ_{Ｃａｍｅｒａ}）が取得されると、ローカル座標系での、例えば建物内部での、カメラの３Ｄ位置（ＰＬ_{Ｃａｍｅｒａ}）を、拡張情報表示１１６の位置（ＰＬ_{Ｄｉｓｐｌａｙ}）及びカメラの位置（ＰＤ_{Ｃａｍｅｒａ}）に基づいて、計算ＰＬ_{Ｃａｍｅｒａ}＝ＰＬ_{Ｄｉｓｐｌａｙ}＋ＰＤ_{Ｃａｍｅｒａ}により算出することができる。

ローカル環境のローカル又はサーバベースの地図が利用可能である場合、位置ＰＬ_{Ｃａｍｅｒａ}を、その地図内でのモバイルユーザの位置を特定するために使用することができ、又は更なるナビゲーションのための較正基準として使用することもできる。任意選択的に、カメラのグローバル位置もまた、例えばＧＰＳを使用して算出し、ナビゲーションで使用することができる。取り込まれた基準マーカに基づいて、カメラの姿勢推定データを判定するための、ソフトウェアアプリケーションの一例は、ＡＲＴｏｏｌｗｏｒｋｓ，Ｉｎｃ．による、拡張現実（ＡＲ）アプリケーションの開発に使用するためのＡＲＴｏｏｌＫｉｔである。拡張情報表示１１６によって提供される不可視位置情報は、そのような基準マーカを含み得る。

拡張情報表示並びに位置特定及びナビゲーションシステム９０は、マーカベースの屋内位置特定及びナビゲーションのための、例えば、ＧＰＳが良好に機能しない場所での、ナビゲーション（又は、位置特定）マーカを埋め込む方法を提供することができる。不可視ナビゲーション情報は、電子的に変化することにより種々の位置を示すことが可能な、動的２Ｄマーカとして使用される。既知の場所を有する拡張情報表示１１６では、不可視埋め込みマーカを使用することにより、そのマーカをデコードするモバイルデバイスの相対位置及び相対角度（向き）を算出することができ、また例えば、ショッピングモールなどの屋内空間をナビゲートするための情報を、ユーザに提供することができる。用語「ナビゲーション情報」とは、拡張情報表示に対する、ユーザの位置、及び任意選択的にユーザの向きに関連する、情報を意味する。ユーザの位置は、拡張情報表示によって提供される不可視ナビゲーション情報を検出する、モバイルデバイス又は他のデバイスの位置と見なされる。

図８は、拡張情報表示コミュニケーション支援システム１２０のブロック図である。システム１２０は、拡張コミュニケーションに関するコンテンツを生成する、一斉配信システム１２２と、それらの主要コンテンツ及び拡張コンテンツを配信する、システム１３６とを含む。システム１２２は、主要音声／ビデオコンテンツ１２４、及び拡張ビデオコンテンツ１３０を含む。主要コンテンツ１２４及び拡張コンテンツ１３０は、それぞれ、エンコーダ１２６及びエンコーダ１３２によって、マルチプレクサ１２８に送信され、このマルチプレクサ１２８が、それらのコンテンツを、例えば、交互する時系列式のコンテンツのフレームとして組み合わせる。変調及び送信モジュール１３４が、この組み合わされた主要コンテンツ及び拡張コンテンツを送信する。

システム１３６は、送信された組み合わせコンテンツを受信するための、受信及び復調モジュール１３８を含む。デマルチプレクサ１４０が、拡張コンテンツから主要コンテンツを分離することにより、エンコーダ１４２を介して主要一斉配信音声／ビデオコンテンツ１４４が提供され、エンコーダ１４６を介して拡張ビデオコンテンツ１４８が提供される。システム１０に対応する、拡張情報表示システム１５０は、主要一斉配信音声／ビデオコンテンツ１４４を、可視フレームとして表示し、拡張ビデオコンテンツ１４８を、不可視フレームとして提供する。ユーザインタフェース１５４又は他のリモート制御デバイスにより、ユーザは、ユーザ制御モジュール１５２を介して、主要一斉配信音声／ビデオコンテンツ、又は拡張ビデオコンテンツを見ることが可能となり得る。

図９は、拡張情報表示コミュニケーション支援システム１２０を介して情報を提供するための、受信デバイス１５６のブロック図である。モバイルデバイス又はスマートフォンなどのデバイス１５６は、拡張情報表示１５０から不可視フレーム内の拡張ビデオコンテンツを検出するための赤外線カメラ１５８と、その拡張コンテンツの表示を、ディスプレイ１６２上の可視情報として制御するためのプロセッサ１６０とを含む。具体的には、この不可視情報は、一旦取得されると、ＲＧＢ又は白色バックライトによってバックライト照明されるＬＣＤモジュール上に、そのコンテンツを表示することによって、可視コンテンツとして表示することができる。

図１０は、拡張情報表示コミュニケーション支援システム１２０を介して情報を提供するための、ユーザインタフェースを示す。拡張情報表示１５０上の、主要音声／ビデオコンテンツの表示１７０は、コミュニケーション支援を提供する、赤外線情報又は他の不可視情報などの、埋め込み拡張コミュニケーション情報１７２を含む。受信デバイス１５６は、図９に関して示されるように、この不可視埋め込みコミュニケーション情報を、主要コンテンツの視覚的な手話言語又は他のコミュニケーション支援１７４として表示することができる。

コミュニケーション支援情報の例としては、手話言語ビデオ、テキスト情報として示されるサブタイトル、及び音声情報が挙げられる。拡張コミュニケーション情報を受信することを所望するユーザは、表示される主要コンテンツ上に、手話言語又はサブタイトルを重ね合わせる代わりに、あるいは重ね合わせることに加えて、主要コンテンツを表示する拡張情報表示とは別個の、そのユーザ自身のディスプレイを有し得る。埋め込み拡張コミュニケーション情報は、表１に表されるような、拡張情報表示上に表示される語句に関する手話言語ビデオへのリンクの、データベースを含み得る。サブタイトルは、表示される主要コンテンツに関連する、様々な言語でのテキスト情報を含み得る。拡張音声情報は、例えば、表示される主要コンテンツの個々の視聴者が、その主要コンテンツに関連付けられた音声コンテンツを受信することができるが、その音声コンテンツが視聴者全体に一斉配信されることはないという設定で、使用することができる。

Claims

表示コンテンツを拡張するためのシステムであって、
ディスプレイモジュールと、
前記ディスプレイモジュールに可視光を提供するための、第１のバックライトモジュールと、
前記ディスプレイモジュールに不可視光のみを提供するための、第２のバックライトモジュールと、
前記ディスプレイモジュール並びに前記第１のバックライトモジュール及び前記第２のバックライトモジュールに結合され、前記ディスプレイモジュールに、第１のコンテンツのフレーム及び第２のコンテンツのフレームを提供するためのコントローラであって、前記第１のコンテンツのフレーム及び前記第２のコンテンツのフレームが、時系列方式で交互する、コントローラと、を備え、
前記第１のコンテンツのフレームが、前記第１のバックライトモジュールによってバックライト照明され、前記第２のコンテンツのフレームが、前記第２のバックライトモジュールのみによってバックライト照明される、システム。
前記第１のバックライトモジュールが、赤色、緑色、及び青色ＬＥＤバックライトモジュールを備える、請求項１に記載のシステム。
前記第２のバックライトモジュールが、赤外線バックライトモジュールを備える、請求項１に記載のシステム。
前記第２のコンテンツのフレームが、視覚ビデオ情報へのリンクを含む、請求項１に記載のシステム。
前記第２のコンテンツのフレームが、音声情報へのリンクを含む、請求項１に記載のシステム。
前記第２のコンテンツのフレームが、ナビゲーション情報へのリンクを含む、請求項１に記載のシステム。
前記第２のコンテンツのフレームが、前記第１のコンテンツのフレームに関連する手話言語情報を含む、請求項１に記載のシステム。
前記第２のコンテンツのフレームが、前記第１のコンテンツのフレームに関連するテキスト言語情報を含む、請求項１に記載のシステム。
表示コンテンツを拡張するための方法であって、
第１のバックライトモジュールによってバックライト照明される、第１のコンテンツのフレームを、ディスプレイモジュールに提供することと、
第２のバックライトモジュールのみによってバックライト照明される、第２のコンテンツのフレームを、前記ディスプレイモジュールに提供することと、
前記ディスプレイモジュールに提供される、前記第１のコンテンツのフレーム及び前記第２のコンテンツのフレームを、時系列方式で交互させることと、
を含み、
前記第１のバックライトモジュールが、前記ディスプレイモジュールに可視光を提供し、前記第２のバックライトモジュールが、前記ディスプレイモジュールに不可視光のみを提供する、方法。
前記提供するステップが、
赤色、緑色、及び青色ＬＥＤバックライトモジュールによってバックライト照明される、前記第１のコンテンツのフレームを提供することと、
赤外線バックライトモジュールによってバックライト照明される、前記第２のコンテンツのフレームを提供することと、
を含む、請求項９に記載の方法。
前記第２のコンテンツのフレームを提供する前記ステップが、視覚情報へのリンクを提供することを含む、請求項９に記載の方法。
前記第２のコンテンツのフレームを提供する前記ステップが、音声情報へのリンクを提供することを含む、請求項９に記載の方法。
前記第２のコンテンツのフレームを提供する前記ステップが、ナビゲーション情報へのリンクを提供することを含む、請求項９に記載の方法。
前記第２のコンテンツのフレームを提供する前記ステップが、前記第１のコンテンツのフレームに関連する手話言語ビデオ情報を提供することを含む、請求項９に記載の方法。
前記第２のコンテンツのフレームを提供する前記ステップが、前記第１のコンテンツのフレームに関連するテキスト言語情報を提供することを含む、請求項１０に記載の方法。
拡張表示コンテンツを受信するための方法であって、
ディスプレイモジュールから、第１の可視コンテンツのフレームを受信することと、
前記ディスプレイモジュールから、第２の不可視コンテンツのみのフレームを受信することであって、前記第２のフレームが、時系列方式で前記第１のフレームと交互することと、
前記第１の可視コンテンツのフレームを表示することと、
前記第２の不可視コンテンツのフレームに基づいて情報を取得することと、
前記取得された情報を、前記第１の可視コンテンツのフレームと共に提供することと、
を含む、方法。
前記第２のフレームを受信する前記ステップが、赤外線カメラを使用して、前記第２の不可視コンテンツのフレームを検出することを含む、請求項１６に記載の方法。
前記提供するステップが、視覚情報を表示することを含む、請求項１６に記載の方法。
前記提供するステップが、音声情報を提供することを含む、請求項１６に記載の方法。
拡張表示コンテンツを受信するための方法であって、
ディスプレイモジュールから、第１の可視コンテンツのフレームを受信することと、
前記ディスプレイモジュールから、第２の不可視コンテンツのみのフレームを受信することであって、前記第２のフレームが、時系列方式で前記第１のフレームと交互することと、
前記第１のコンテンツのフレーム及び前記第２のコンテンツのフレームに関連する選択を受信することと、
前記選択に基づいて、前記第１の可視コンテンツのフレーム又は前記第２の不可視コンテンツのフレームのいずれかを、可視コンテンツとして表示することと、
を含む、方法。
前記第２のフレームを受信する前記ステップが、赤外線カメラを使用して、前記第２の不可視コンテンツのフレームを検出することを含む、請求項２０に記載の方法。
前記表示するステップが、前記第１の可視コンテンツのフレームに関連する手話言語ビデオ情報を、前記第２のフレームとして表示することを含む、請求項２０に記載の方法。