JP2020042359A - ディスプレイ装置、ポインティングデバイスおよび情報処理装置 - Google Patents

Abstract

【課題】光が照射したディスプレイ上の位置を視認できるようにするディスプレイ装置を提供する。【解決手段】ディスプレイ装置１００は、映像データＩ／Ｆ２と、映像データに基づく映像を表示するディスプレイパネル３と、パネル３に照射された光の光量を所定の領域毎に検出する光センサ５と、検出された所定の領域毎の光量に基づいて、外部の光源装置から放射された光によって指し示されたパネル３上の位置を特定する検出情報処理部６と、映像データおよび特定された位置に基づいて、合成映像データを生成する画像処理装置７とを備える。画像処理装置７は、検出情報処理部６によって特定された位置に基づいてポインタ画像を表示するようにポインタ表示データを作成するポインタ表示作成部８と、映像データとポインタ表示データとを合成した合成映像データを生成する映像合成部９とを備える。【選択図】図２

Description

本発明は、ディスプレイ装置、ポインティングデバイスおよび情報処理装置に関する。

特許文献１は、所定の画像情報を拡大表示する画面と、光線ポインタと、光線ポインタにより指示された該画面上の位置を検出する検出手段とを具備するディスプレイシステムを開示する。これにより、ディスプレイ上に拡大表示されたパソコンの画像情報に含まれるアイコンやコマンドメニューに対して、あたかもカーソルやマウスポインタによりパソコンを操作するかのように、光線ポインタで所望の位置を照射、指示することにより、画面操作を行うことが可能となる。

特開平９−２２２９５１号公報

しかしながら、ディスプレイには、外光の反射により映像が見づらくなることを防止するために、通常、表面に外光の反射を防止する手段が施される。例えば、ディスプレイに反射防止シートやフィルム等が貼られる。したがって、市販のレーザポインタ等の投光器によってディスプレイ上を指し示しても、光の反射が妨げられるため、視聴者には指し示された位置を視認することが困難である。

本発明は、上記のような問題点を解決するためになされたものであり、レーザポインタ等から出射された光によって照射したディスプレイ上の位置を見やすく視認できるようにするディスプレイ装置を得ることを目的とする。

本発明の第１の態様は、映像データを入力する映像データ入力部と、映像データに基づく映像を表示するディスプレイパネルと、ディスプレイパネルに照射された光の光量を所定の領域毎に検出する光センサと、検出された所定の領域毎の光量に基づいて、外部の光源装置から放射された光によって指し示されたディスプレイパネル上の位置を特定する検出情報処理部と、映像データおよび特定された位置に基づいて、ディスプレイパネルに表示される映像を示す合成映像データを生成する画像処理装置とを備えるディスプレイ装置を提供する。画像処理装置は、検出情報処理部によって特定された位置に基づいてポインタ画像を表示するようにポインタ表示データを作成するポインタ表示作成部と、映像データとポインタ表示データとを合成した合成映像データを生成する映像合成部とを備える。

本発明の第２の態様は、外部装置から映像データを入力する映像データ入力部と、映像データに基づく映像を表示するディスプレイパネルと、出射した光によってディスプレイパネルを指し示すことに基づいて入力操作を行う入力装置と、ディスプレイパネルに照射された光の光量を所定の領域毎に検出する光センサと、入力装置から出射された光によって指し示されたディスプレイパネル上の位置と軌跡とを含む所定の入力操作と、を特定する検出情報処理部と、特定された位置と入力操作とに基づく信号を外部装置に出力する検出信号出力部とを備え、入力操作による外部装置の操作を可能にするポインティングデバイスを提供する。

本発明の第３の態様は、入力された映像データに基づいて映像を表示するディスプレイパネルと、出射した光によってディスプレイパネルを指し示すことに基づいて入力操作を行う入力装置と、ディスプレイパネルに照射された光の光量を所定の領域毎に検出する光センサと、入力装置から出射された光によって指し示されたディスプレイパネル上の位置と軌跡とを含む所定の入力操作と、を特定する検出情報処理部と、特定された位置と入力操作とに基づいて、映像データを生成してディスプレイパネルに出力するとともに、所定の入力操作に対応する制御を行う制御部とを備えるディスプレイ一体型の情報処理装置を提供する。

本発明により、レーザポインタ等から出射された光によって照射したディスプレイ上の位置を見やすく視認できるようにするディスプレイ装置を得ることができる。

本発明の実施の形態１に係るディスプレイ装置の動作状況を示す図である。 本発明の実施の形態１に係るディスプレイ装置の構成を示すブロック図である。 本発明の実施の形態１に係るディスプレイ装置の検出情報処理部の構成例を示す図である。 本発明の実施の形態１に係るディスプレイ装置の動作を示すフローチャートである。 本発明の実施の形態２に係るディスプレイ装置の動作状況を示す図である。 本発明の実施の形態２に係るディスプレイ装置および外部装置の構成を示すブロック図である。 本発明の実施の形態２に係るディスプレイ装置および外部装置の動作の流れを示す図である。 本発明の実施の形態３に係るディスプレイ装置の構成および外部装置の構成を示すブロック図である。 本発明の実施の形態３に係るディスプレイ装置および外部装置の動作の流れを示す図である。 本発明の実施の形態３に係るディスプレイ装置の変形例の構成を示すブロック図である。

以下、本発明の実施の形態について、図面を参照して説明する。各実施の形態において、同一の構成には同一の符号を付して、説明を省略する。

実施の形態１．
図１は、本発明の実施の形態１に係るディスプレイ装置１００の動作状況を示す図である。ディスプレイ装置１００は、センサ付きディスプレイパネル３を備える。レーザポインタ１を用いて、センサ付きディスプレイパネル３にレーザ光を照射すると、レーザ光が照射された位置にポインタ画像１１が表示される。これにより、視聴者は、レーザポインタ１からのレーザ光によって指し示された位置を見やすく視認することができる。

図２は、ディスプレイ装置１００の構成を示すブロック図である。ディスプレイ装置１００は、センサ付きディスプレイパネル３に加えて、映像データインタフェース（Ｉ／Ｆ）２と、センサ付きディスプレイパネル３による検出情報を受け取る検出情報処理部６と、センサ付きディスプレイパネル３に表示される映像を示す映像データを生成する画像処理装置７とを更に備える。

ディスプレイ装置１００は、例えばゲートドライバまたは走査線駆動回路、ソースドライバまたは映像線駆動回路等の、センサ付きディスプレイパネル３を駆動する駆動回路（図示せず）を更に備えている。

映像データＩ／Ｆ２は、ディスプレイ装置１００と周辺機器との間で映像信号の通信を行う接続回路または接続モジュールである。映像データＩ／Ｆ２としては、ＶＧＡ、ＤＶＩ、ＭＨＬ、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）、ＤＬＮＡ（登録商標）などの映像に関わる種々の規格に従ったインタフェースが用いられる。

センサ付きディスプレイパネル３は、映像信号に基づく映像を表示する表示部４と、光センサ５とを備える。表示部４は、例えば液晶ディスプレイであり、液晶層と、液晶層を表裏から挟み込む裏側ガラス基板と表側ガラス基板と、表側ガラス基板の方向に裏側ガラス基板の裏側から光を入射するバックライトと、を含む公知の構造を有する。裏側ガラス基板には、表示画素電極、データ信号線、配向膜、偏光板などが設けられている。表側ガラス基板には、ＲＧＢカラーフィルタ、遮光膜、対向電極、配向膜、偏光板などが設けられている。表示部４は、有機ＥＬディスプレイ等の他のディスプレイ装置であってもよい。

光センサ５は、例えば、表示部４の表示画素電極の全部または一部の上に取り付けられたフォトダイオードを備えるものであり、公知の構成（例えば、特開２０１１−０４８１９６参照）を有する。表示部４の表示画素の数と、検出位置の単位（以下、「センサ画素」という。）であるフォトダイオードの数とは、必ずしも一致しなくてもよい。光センサ５は、例えばレーザポインタ１から照射されたレーザ光の光量を電圧信号に変換して出力する。

光センサ５の構成はこれに限定されず、フォトダイオードを追加的に設ける代わりに、表示部４を構成する薄膜トランジスタ（ＴＦＴ）をフォトダイオードで置換して、表示用のトランジスタ自身に表示機能と光センサ機能とを併せ持たせる構成であってもよい。表示部４の表示画素電極の駆動と、光センサ５による外光の検出は、共通の配線によって行われるため、時分割で実行される。

検出情報処理部６は、光センサ５から出力された電圧信号に基づいて、所定の光、例えばレーザポインタ１から照射されたレーザ光のセンサ付きディスプレイパネル３への入射の有無を検出し、入射があった場合、入射位置を示す座標データを出力するデバイスである。

図３は、検出情報処理部６の構成例を示す図である。検出情報処理部６は、アンプ６１と、Ａ／Ｄコンバータ６３と、メモリ６４と、制御部６７と、座標出力部６８と、を備える。なお、検出情報処理部６は、電圧信号からノイズを除去するフィルタ６２を更に備えてもよい。

アンプ６１は、光センサ５から出力された電圧信号を増幅する回路である。Ａ／Ｄコンバータ６３は、アナログ信号である電圧信号をディジタル信号へ変換する回路である。

メモリ６４は、種々の情報を記録する記録媒体である。メモリ６４は、一時メモリ６５と、不揮発メモリ６６と、を含む。一時メモリ６５は、例えば種々の情報を一時的に記憶するＳＲＡＭ、ＤＲＡＭなどの揮発性メモリで構成される。一時メモリ６５は、光センサ５の全てのセンサ画素の電圧値を一時的に記憶する。

不揮発メモリ６６は、例えば、フラッシュメモリ、ＳＳＤなどの半導体メモリ装置、ハードディスク等の磁気記憶装置、その他の記憶デバイス単独でまたはそれらを適宜組み合わせて実現される。不揮発メモリ６６は、予め設定された特定の光量または電圧閾値および座標データなどの判定条件を記憶する。

制御部６７は、プログラムを実行することによって所定の機能を実現するＣＰＵまたはＭＰＵのような汎用プロセッサを含み、メモリ６４に格納された制御プログラムを呼び出して実行することによって、各種の制御を実現する。具体的には、制御部６７は、光センサ５の各センサ画素からの出力を順次切り替えて（スキャンして）アンプ６１に入力する。制御部６７は、例えば、Ａ／Ｄコンバータ６３から出力されたディジタル信号を、画像処理装置７が要求する受光情報に変換する。

座標出力部６８は、画像処理装置７に座標データを送信する回路である。制御部６７は、判定条件を満たすセンサ画素の座標データを特定して、座標出力部６８を介して画像処理装置７に出力する。座標出力部６８は、上記のような回路に限定されず、制御部６７に含まれる汎用プロセッサによって実現されてもよい。

画像処理装置７は、ポインタ表示作成部８と、映像合成部９と、メモリ１０と、を備える。メモリ１０は、種々の情報を記録する記録媒体であり、例えば、半導体メモリ装置、磁気記憶装置、その他の記憶デバイス単独でまたはそれらを適宜組み合わせて実現される。

ポインタ表示作成部８は、検出情報処理部６から出力された座標データが示す座標に基づいてポインタ画像１１を表示するように、ポインタ表示データを作成する。ポインタ画像１１は、例えば、矢印、カーソル、丸印および文字を含む種々の画像である。ポインタ画像１１は、主に、レーザポインタ１からのレーザ光によって指し示された位置をユーザ、視聴者等にわかりやすく示すものである。ポインタ画像１１を示す画像データは、例えば、予めメモリ１０に格納される。

映像合成部９は、ポインタ表示作成部８によって作成されたポインタ表示データが示す画像を、映像データＩ／Ｆ２を介して外部から入力された映像データが示す映像上に重畳させるように合成した映像を示す合成映像データを生成する。この合成映像データが画像処理装置７から出力され、合成映像データが示す映像は、センサ付きディスプレイパネル３の表示部４によって表示される。

検出情報処理部６の制御部６７、画像処理装置７のポインタ表示作成部８および映像合成部９のそれぞれは、プログラムを実行することによって所定の機能を実現するＣＰＵまたはＭＰＵのような汎用プロセッサを含む。制御部６７、ポインタ表示作成部８および映像合成部９のそれぞれは、メモリ１０に格納された制御プログラムを呼び出して実行することによって、各種の制御を実現する。制御部６７、ポインタ表示作成部８および映像合成部９のそれぞれは、ハードウェアとソフトウェアの協働によって所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、制御部６７、ポインタ表示作成部８および映像合成部９のそれぞれは、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。

次に、図２〜４を参照して、ディスプレイ装置１００の動作について説明する。図４は、ディスプレイ装置１００の動作を示すフローチャートである。

まず、ユーザが、レーザポインタ１を用いてレーザ光をセンサ付きディスプレイパネル３に照射する（Ｓ１００）。

センサ付きディスプレイパネル３の光センサ５は、各センサ画素に照射された光の光量を電圧信号に変換して検出情報処理部６に出力する（Ｓ１０１）。すなわち、光センサ５は、ディスプレイパネル３に照射された光の光量を所定の領域毎に検出する。

電圧信号の入力を受けた検出情報処理部６は、光量、すなわち電圧についての判定条件を満たすセンサ画素の座標を特定し、その座標データを画像処理装置７に出力する（Ｓ１０２）。

具体的には、光センサ５の各センサ画素から出力されて検出情報処理部６に入力された電圧信号は、アンプ６１、フィルタ６２、Ａ／Ｄコンバータ６３および制御部６７によって適切に処理されて、一時メモリ６５に格納される。制御部６７は、一時メモリ６５に格納された全センサ画素の電圧値について、不揮発メモリ６６に格納されている判定条件を用いて判定を行う。

例えば、制御部６７は、一時メモリ６５に記憶された全てのセンサ画素の電圧値の中から、不揮発メモリ６６に格納された電圧閾値より高い電圧値を検索する。電圧閾値より高い電圧値があった場合、その中から最も高い電圧値を検索する。そして、制御部６７は、最も高い電圧値を検出したセンサ画素の座標データを座標出力部６８を介して画像処理装置７に出力する。

さらに、検出情報処理部６は、メモリ６４の一時メモリ６５に記憶された全てのセンサ画素の電圧値の中に電圧閾値より高い電圧値がなかった場合、電圧閾値より高い電圧値がなかったという情報、または、光センサ５が光を検出しなかったという情報を、座標出力部６８を介して出力してもよい。

次に、画像処理装置７のポインタ表示作成部８は、検出情報処理部６から出力された座標データが示す座標に基づいてポインタ画像１１を表示するように、ポインタ表示データを作成する（Ｓ１０３）。ポインタ画像１１は、例えば予めメモリ１０に格納された画像データが示す画像である。

次に、映像合成部９は、ポインタ表示作成部８によって作成されたポインタ表示データが示す画像を、映像データＩ／Ｆ２を介して外部から入力された映像データが示す映像の上に重畳させた映像を示す合成映像データを生成する（Ｓ１０４）。生成された合成映像データは、画像処理装置７からセンサ付きディスプレイパネル３へ出力される。センサ付きディスプレイパネル３の表示部４は、合成映像データが示す映像を表示する（Ｓ１０５）。

以上のように、ディスプレイ装置１００は、映像データを入力する映像データＩ／Ｆ２と、映像データに基づく映像を表示するセンサ付きディスプレイパネル３の表示部４と、センサ付きディスプレイパネル３に照射された光の光量を所定の領域毎に検出する光センサ５と、検出された所定の領域毎の光量に基づいて、レーザポインタ１から放射された光によって指し示されたセンサ付きディスプレイパネル３上の位置を特定する検出情報処理部６と、映像データおよび検出された位置に基づいて、センサ付きディスプレイパネル３の表示部４に表示される映像を示す合成映像データを生成する画像処理装置７とを備える。

画像処理装置７は、検出情報処理部６によって検出された位置に基づいてポインタ画像１１を表示するようにポインタ表示データを作成するポインタ表示作成部８と、映像データとポインタ表示データとを合成した合成映像データを生成する映像合成部９とを備える。

合成映像データにはポインタ表示データが含まれるため、レーザポインタ１のレーザ光がセンサ付きディスプレイパネル３に照射されると、照射位置に、視聴者の目に見えないレーザ光自体の代わりに、ポインタ画像を表示することが可能となる。

これにより、センサ付きディスプレイパネル３に、外光の反射を防止するシートやフィルムを貼る等、外光の反射により映像が見づらくなることを防止する処理がなされていても、視聴者に見えやすいポインタ画像を表示することができる。

例えば、プレゼンテーションにおいて、発表者は、装置特有の入力装置ではなく、市販のレーザポインタ１を使用して、視聴者に見てもらいたい箇所を、視聴者に見えやすいポインタ画像によって、指し示すことができる。さらに、視聴者も、指摘したい位置を視聴者自身が持つレーザポインタ１で指し示すことができる。発表者と視聴者は、同時に指示を行うことができる。

発表者と視聴者がレーザポインタ１によって同時に指示を行う場合、例えば発表者によって指し示された位置に赤色のポインタを配置し、視聴者によって指し示された位置に青色のポインタを配置することによって、両者の操作を識別することができるようにしてもよい。また、レーザポインタから照射されるレーザ光の色（波長）や投影形状によらず、指し示した箇所を矢印やマーク等の所望の形状で表示することができる。

実施の形態２．
図５は、本発明の実施の形態２に係るディスプレイ装置２００の動作状況を示す図である。図５では、ディスプレイ装置２００のセンサ付きディスプレイパネル３に、外部装置２２０からの入力に基づく操作用画像２１０が示されている。

外部装置２２０は、映像を出力する機器であって、ユーザによる操作入力を受け付けるものである。外部装置２２０は、例えば、ブルーレイディスクプレーヤー、ブルーレイディスクレコーダー、ＨＤＤレコーダー、ＤＶＤプレーヤー、ＤＶＤレコーダー、テレビジョン、カーナビゲーションシステム、ゲームプレーヤー、セットトップボックス等の機器である。ディスプレイ装置２００上に表示された操作用画像２１０に対して、レーザポインタ１から出射されたレーザ光を照射することによって、外部装置２２０を操作することができる。

図６は、ディスプレイ装置２００および外部装置２２０の構成を示すブロック図である。実施の形態１の構成に加えて、ディスプレイ装置２００は、検出情報処理部６から出力された座標データを含む検出信号を外部に出力するための検出信号インタフェース（Ｉ／Ｆ）２１１を更に備える。検出信号Ｉ／Ｆ２１１から出力された検出信号は、外部装置２２０に入力される。

検出信号Ｉ／Ｆ２１１は、無線または有線の通信手段を介して、ディスプレイ装置２００と周辺機器との間でデータ通信を行う接続回路または接続モジュールである。ここで、通信手段とは、各装置間の距離の長短によらず、各装置間の信号またはデータの通信を可能とする通信回線または通信路を指す。検出信号Ｉ／Ｆ２１１は、検出情報処理部６から出力された座標データを含む検出信号を、例えばノートＰＣ、デスクトップＰＣ等の情報処理装置のポインティングデバイスとして用いられるマウスの出力と同形式のデータに変換する。検出信号Ｉ／Ｆ２１１としては、例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等、種々のインタフェースが用いられる。検出信号Ｉ／Ｆ２１１としてＵＳＢを採用する場合、検出信号Ｉ／Ｆ２１１にはＵＳＢ ＨＩＤクラスのプロトコルが実装され、検出情報処理部６から出力された座標データを含む検出信号は、例えばマウスポインタ用の通信データに変換され、ＵＳＢ規格に準拠したコネクタから出力される。

外部装置２２０は、映像データと操作用画像データ（操作情報）とを出力する。外部装置２２０から出力された映像データおよび操作用画像データは、ディスプレイ装置２００の映像データＩ／Ｆ２を介して、画像処理装置７の映像合成部２１２に入力される。なお、外部装置２２０から出力された操作用画像データは、例えば、映像データＩ／Ｆ２を介さずに、操作用画像データの入力のための図示しない操作用画像データインタフェースを介して、画像処理装置７の映像合成部２１２に入力されてもよい。

実施の形態１と異なり、画像処理装置７の映像合成部２１２には、ポインタ表示作成部８によって作成されたポインタ表示データ、および、映像データＩ／Ｆ２を介して外部から入力された映像データのみならず、外部装置２２０から入力された操作用画像データも入力される。映像合成部２１２は、ポインタ表示データが示す画像と、映像データが示す映像と、操作用画像データが示す画像と、を合成した映像を示す合成映像データを生成する。

外部装置２２０は、検出信号入力部２２１と、制御部２２３と、映像データ生成部２２５と、記憶部２２６と、映像データ出力部２２７とを備える。

検出信号入力部２２１は、ディスプレイ装置２００の検出信号Ｉ／Ｆ２１１から出力された検出信号を入力する接続回路または接続モジュールである。検出信号入力部２２１としては、例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等、種々のインタフェースが用いられる。

映像データ生成部２２５は、例えば、ブルーレイディスク、ＤＶＤ等のディスクを再生するディスク装置、または、映像データを記憶したハードディスクなどの記憶装置である。あるいは、映像データ生成部２２５は、例えば、テレビ放送局から送信された電波を受信して映像データに変換するテレビ受像機であってもよい。

外部装置２２０の制御部２２３は、プログラムを実行することによって所定の機能を実現するＣＰＵまたはＭＰＵのような汎用プロセッサを含み、記憶部２２６に格納された制御プログラムを呼び出して実行することによって、各種の制御を実現する。

制御部２２３は、操作用画像２１０を示す操作用画像データを生成する操作用画像生成部２２４を含む。操作用画像生成部２２４は、ユーザが行った入力操作に応じて、例えば予め記憶部２２６に格納された画像データを読み出して出力する。

また、制御部２２３は、検出信号入力部２２１に入力された検出信号を受け取り、検出信号に含まれる座標データに基づいて、ユーザがレーザポインタ１を用いて行った入力指示または操作の内容を各種の制御に反映させる。レーザポインタ１を用いた入力指示または操作の仕方については後述する。

映像データ出力部２２７は、ディスプレイ装置２００に操作用画像データおよび映像データを出力する接続回路または接続モジュールである。映像データ出力部２２７としては、ＶＧＡ、ＤＶＩ、ＭＨＬ、ＵＳＢ、ＨＤＭＩ（登録商標）、ＤＬＮＡ（登録商標）などの映像に関わる種々の規格に従ったインタフェースが用いられる。

次に、図５〜７を参照して、ディスプレイ装置２００の動作について説明する。図７は、ディスプレイ装置２００および外部装置２２０の動作の流れを示す図である。

まず、外部装置２２０は、映像データ出力部２２７を介して、ディスプレイ装置２００に操作用画像データおよび映像データを出力する（Ｓ２０１）。

操作用画像データおよび映像データは、ディスプレイ装置２００の映像データＩ／Ｆ２を介して、画像処理装置７の映像合成部２１２に入力される。映像合成部２１２は、ポインタ表示作成部８から受け取ったポインタ表示データが示す画像と、映像データが示す映像と、操作用画像データが示す画像と、を合成した映像を示す合成映像データを生成する（Ｓ２０２）。

生成された合成映像データは、画像処理装置７から出力され、合成映像データが示す映像は、センサ付きディスプレイパネル３の表示部４によって表示される（Ｓ２０３）。したがって、ユーザは、図５に示すように、センサ付きディスプレイパネル３に表示された、操作用画像２１０およびポインタ画像１１を含む映像を見ることができる。

操作用画像２１０には、例えば外部装置２２０がテレビジョンの場合、図５に示すように、視聴するテレビ放送局を選択するためのチャネル選択ボタンが表示される。ユーザは、操作用画像２１０を見ながら、レーザポインタ１を使用してレーザ光を操作用画像２１０に照射して入力操作を行う（Ｓ２０４）。レーザポインタ１を使用した画面上の入力操作としては、例えば、チャネル選択ボタンの「４」に対応するテレビ放送局（４チャネル）を選択したい場合、ユーザは、レーザポインタ１を使用してレーザ光をチャネル選択ボタン「４」の位置に一定時間照射する。

入力操作の他の例として、ユーザは、センサ付きディスプレイパネル３上に、予め設定された特定の座標にレーザ光を照射することによって、または、予め設定された光の軌跡を描くジェスチャを行うことによって、操作用画像２１０の表示と非表示とを切り替えてもよい。例えば、画面の左下から右上にレーザ光を動かせば操作用画像２１０を表示し、右上から左下に動かせば操作用画像２１０を非表示にする。また、例えば、レーザ光で画面上に「Ｚ」を描けばＤＶＤレコーダーの電源をオフにし、「○」を描けば録画を開始する。

入力操作の更なる他の例として、レーザポインタ１から照射されるレーザ光を所定の周期で点滅させることによって、選択操作を実行することが考えられる。例えば、チャネル選択ボタンの「４」に対応するテレビ放送局（４チャネル）を選択したい場合、ユーザは、レーザポインタ１を使用してレーザ光をチャネル選択ボタン「４」の位置に照射した上で、レーザ光を所定の周期で点滅させる。

このような点滅操作をするために、レーザポインタ１の代わりに、専用のユーザインターフェース（ＵＩ）が用いられてもよい。例えば、専用ＵＩには、レーザ光を照射する投光ボタンの他に、選択操作を実行するための選択ボタンが設けられる。ユーザが選択ボタンを押下すると、レーザ光が所定の周期で点滅する。

あるいは、ユーザが専用ＵＩの選択ボタンを押下した場合、点滅操作の代わりに、投光用のレーザ光とは波長の異なる選択用レーザ光が照射され、センサ付きディスプレイパネル３の光センサ５が選択用レーザ光を検知することにより、選択操作が実行されてもよい。

センサ付きディスプレイパネル３の光センサ５は、各センサ画素に照射された光の光量を電圧信号に変換して検出情報処理部６に出力する（Ｓ２０５）。

電圧信号の入力を受けた検出情報処理部６は、電圧についての判定条件を満たすセンサ画素の座標を特定し、その座標データを出力する（Ｓ２０６）。出力された座標データは、画像処理装置７のポインタ表示作成部８と、検出信号Ｉ／Ｆ２１１と、に送信される。

検出情報処理部６から出力された座標データの入力を受けた画像処理装置７のポインタ表示作成部８は、座標データが示す座標に基づいてポインタ画像１１を表示するように、ポインタ表示データを作成する（Ｓ２０７）。

また、検出情報処理部６から検出信号Ｉ／Ｆ２１１を介して出力された座標データの入力を受けた外部装置２２０において、座標データが示す座標に応じた操作が実行される（Ｓ２０８）。前述の外部装置２２０がテレビジョンである例では、座標データが、操作用画像２１０のチャネル選択ボタン「４」上の座標を示している場合、制御部２２３は、４チャネルに対応するテレビ映像データを映像データ生成部２２５から取り出し、映像データ出力部２２７に出力する。

次に、制御部２２３の操作用画像生成部２２４は、操作が実行された後の状況に応じた操作用画像２１０を示す操作用画像データを生成する（Ｓ２０９）。前述の外部装置２２０がテレビジョンである例では、操作用画像生成部２２４は、例えば、図５に示す操作用画像２１０のチャネル選択ボタン「４」を他のボタンと異なる色に着色した操作用画像データを生成し、ユーザにチャネル選択ボタン「４」が選択されたことを知らせてもよい。

以上のステップＳ２０１〜Ｓ２０９が繰り返される。例えば、外部装置２２０は、ステップＳ２０８で選択されたチャネルに対応するテレビ映像データと、ステップＳ２０９で生成された操作用画像データと、をディスプレイ装置２００に出力し（Ｓ２０１）、ディスプレイ装置２００は、テレビ映像データが示す映像および操作用画像データが示す画像と、ステップＳ２０７で生成されたポインタ表示データが示す画像と、を合成した映像を示す合成映像データを生成する（Ｓ２０２）。

なお、外部装置２２０は、ユーザがレーザポインタ１による入力操作（Ｓ２０４）を行わないため座標の入力（Ｓ２０６）を受けなかった場合、映像データと、現在の操作用画像データとを出力し続ける。外部装置２２０は、ユーザによる入力操作が一定時間行われなかった場合、操作用画像をディスプレイ装置２００のセンサ付きディスプレイパネル３の表示部４に表示しないようにするために、例えば操作用画像データの出力を停止してもよい。

以上のように、実施の形態２では、レーザ光の照射位置にポインタ画像を表示することが可能となることに加えて、センサ付きディスプレイパネル３に表示された操作用画像２１０に対してレーザ光を照射することによって、外部装置２２０を操作することができる。

従来の外部装置は、通常、他の外部装置と異なる操作装置によって遠隔操作される。例えば、ＰＣには１つのマウスが備えられ、テレビやＤＶＤレコーダーには１つのリモコンが備えられ、ゲーム機には１つのコントローラまたはジョイスティックが備えられている。１台のディスプレイ装置に対して複数の外部装置が接続されている場合、外部装置毎に異なる操作装置を使い分ける必要があった。また、従来の外部装置は、操作装置によって遠隔操作可能であるが、通常、１つの外部装置に対して操作装置は１つしかないため、複数の視聴者が自分の場所から個別に外部装置を遠隔操作することはできなかった。本発明の実施の形態２に係るディスプレイ装置２００は、上記のような問題点を解決することができるものである。

すなわち、実施の形態２に係るディスプレイ装置２００により、１台のディスプレイ装置２００に対して複数の外部装置２２０が接続されている場合に、外部装置２２０毎に異なるリモコンを使い分ける必要がなく、複数の外部装置２２０を市販の１つのレーザポインタ１によって操作することができる。

さらに、ディスプレイ装置２００は、複数の視聴者が、市販のレーザポインタ１を持っていさえすれば、それぞれの視聴場所から個別に外部装置２２０を遠隔操作することができる。

上記のように、実施の形態２では、ディスプレイ装置２００のセンサ付きディスプレイパネル３に表示された操作用画像２１０に対してレーザ光を照射することによって、ポインタ表示を移動させるとともに、外部装置２２０を操作することができる。したがって、ディスプレイ装置２００は、外部装置２２０にとってポインティングデバイスであるともいえる。あるいは、ディスプレイ装置２００は、被操作装置である外部装置２２０を遠隔操作するリモコンのような遠隔操作装置であるともいえる。

実施の形態３．
図８は、本発明の実施の形態３に係るディスプレイ装置３００の構成および外部装置３２０の構成を示すブロック図である。外部装置３２０は、例えばパーソナルコンピュータ（ＰＣ）、タブレット端末、スマートフォン等の情報処理装置である。

ディスプレイ装置３００は、映像データＩ／Ｆ２と、センサ付きディスプレイパネル３と、検出情報処理部６と、検出信号Ｉ／Ｆ２１１とを備える。

実施の形態２と比較すると、ディスプレイ装置３００には、画像処理装置が備えられていない。実施の形態３では、画像処理は、外部装置３２０内で行われる。例えば、図６に示す実施の形態２では画像処理装置７のポインタ表示作成部８が行うポインタ表示画像の作成は、実施の形態３では、例えばマウスポインタの画像の作成として、ＰＣ等の外部装置３２０内で行われる。

検出情報処理部６は、所定の時間間隔でレーザ光の入射位置の座標データを検出し、レーザ光の入射位置の移動の方向および移動量（変位）を示すデータを出力する。あるいは、検出情報処理部６は、所定の時間間隔毎のレーザ光の入射位置の座標データのみを出力し、レーザ光の入射位置の移動の方向と移動量とは、外部装置３２０内で算出されてもよい。

外部装置３２０は、検出信号入力部２２１と、制御部３２３と、映像データ生成部２２５と、記憶部３２６と、映像データ出力部２２７と、ネットワークインタフェース（Ｉ／Ｆ）３２８と、を備える。

検出信号入力部２２１は、ディスプレイ装置２００の検出信号Ｉ／Ｆ２１１から出力された検出信号を入力する接続回路または接続モジュールである。映像データ生成部２２５は、例えば、ブルーレイディスク、ＤＶＤ等のディスクを再生するディスク装置、または、映像データを記憶したハードディスクなどの記憶装置である。映像データ出力部２２７は、ディスプレイ装置２００に操作用画像データおよび映像データを出力する接続回路または接続モジュールである。

制御部３２３は、外部装置３２０の動作全体の制御を司るコントローラである。制御部３２３は、プログラムを実行することによって所定の機能を実現する汎用プロセッサを含む。制御部３２３は、記憶部３２６に格納された制御プログラムを呼び出して実行することによって、外部装置３２０における各種の制御を実現する。制御部３２３は、ハードウェアとソフトウェアの協働によって所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、制御部３２３は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。

記憶部３２６は、種々の情報を記録する媒体である。記憶部３２６は、具体的には、フラッシュメモリ、ＳＳＤ等の半導体メモリ装置、ハードディスク等のディスク装置、その他の記憶デバイス単独でまたはそれらを適宜組み合わせて実現される。記憶部３２６には、制御部３２３が実行する制御プログラム、ポインタまたはカーソルを示すデータ等が格納される。

ネットワークＩ／Ｆ３２８は、ネットワークを介してサーバ等の外部機器との有線または無線による通信接続を可能とするためのインタフェース回路または接続モジュールである。ネットワークＩ／Ｆ３２８は、Ｗｉ−Ｆｉ、ＩＥＥＥ８０２．２、ＩＥＥＥ８０２．３、３Ｇ、ＬＴＥ等の規格にしたがい通信を行う。また、ネットワークＩ／Ｆ３２８には、インターネットの他、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網、電話回線網、移動体通信網、衛星通信網等が用いられてもよい。

次に、図８および９を参照して、ディスプレイ装置３００の動作について説明する。図９は、ディスプレイ装置３００および外部装置３２０の動作の流れを示す図である。

まず、外部装置３２０は、映像データ出力部２２７を介して、ディスプレイ装置３００に映像データを出力する（Ｓ３０１）。映像データの入力を受けたディスプレイ装置３００は、映像データが示す映像をセンサ付きディスプレイパネル３の表示部４に表示する（Ｓ３０２）。

ユーザは、センサ付きディスプレイパネル３に表示された映像を見ながら、レーザポインタ１を使用してレーザ光をセンサ付きディスプレイパネル３に照射して入力操作を行う（Ｓ３０３）。入力操作は、レーザ光の移動操作、または、例えば予め設定された光の軌跡を描くジェスチャを行うことによって、マウスのボタンとホイールの機能を実行する操作である。

センサ付きディスプレイパネル３の光センサ５は、各センサ画素に照射された光の光量を電圧信号に変換して検出情報処理部６に出力する（Ｓ３０４）。

電圧信号の入力を受けた検出情報処理部６は、電圧についての判定条件を満たすセンサ画素の座標を特定する（Ｓ３０５）。検出情報処理部６は、特定された座標データが変化したか否かを判定する（Ｓ３０６）。検出情報処理部６は、所定の時間間隔でレーザ光の入射位置の座標データを検出しているため、前回の時刻におけるレーザ光の入射位置の座標データと、その次の時刻におけるレーザ光の入射位置の座標データとの差（変位）があれば、特定された座標データが変化したといえる。

特定された座標データに変化がない場合、ディスプレイ装置３００の動作は、ステップＳ３０２に戻り、外部装置３２０から入力された映像データを表示する。

特定された座標データに変化があった場合、ディスプレイ装置３００の検出情報処理部６は、検出信号Ｉ／Ｆ２１１を介して、座標の変位を示すデータを外部装置３２０に出力する（Ｓ３０７）。

出力された座標の変位を示すデータは、外部装置３２０の検出信号入力部２２１を介して、制御部３２３に入力される。制御部３２３は、入力された座標の変位を示すデータに基づき、ポインタ、カーソル等を移動させる（Ｓ３０８）。

制御部３２３は、ポインタ、カーソル等の移動の軌跡、すなわちレーザ光の軌跡が、対応するコマンドを実行するために予め取り決めされた所定の軌跡（以下、「所定のジェスチャ」という。）に相当するか否かを判断する（Ｓ３０９）。所定のジェスチャが行われた場合、制御部３２３は、当該コマンドによって対応するプログラムを実行する（Ｓ３１０）。例えば、ユーザがレーザポインタ１のレーザ光を画面の左から右に移動させる等のスワイプ動作を行った場合、画面上にメニュー画像が表示され、または、現在表示されているメニュー画像とは異なるメニュー画像が表示される。あるいは、スワイプ動作が行われた場合、プログラムのモードが変更される。

上記のように、実施の形態３では、ディスプレイ装置３００のセンサ付きディスプレイパネル３にレーザ光を照射することによって、ＰＣ等の外部装置３２０内のマウスポインタまたはカーソルを移動させるとともに、クリック動作等を行って外部装置３２０を操作することができる。

したがって、ディスプレイ装置３００は、外部装置３２０に対して情報の入力や指示を行うポインティングデバイスであるともいえる。ポインティングデバイスとして機能するディスプレイ装置３００は、以下のような従来のポインティングデバイスの問題点を解決するものである。

すなわち、従来のポインティングデバイスのうち画面に直接触れて操作を行うもの、例えば、スタイラスペン、指等は、例えばプレゼンテーションの発表者が画面に直接触れて操作を行うことにより、発表者の身体が視聴者の視聴の妨げとなる。また、画面が大きい場合に操作が不便である。

従来のポインティングデバイスのうち画面に直接触れる必要がないもの、例えば、マウスは、平らな台のような平面の上で操作する必要があり、スムーズに操作をすることができない。例えば、プレゼンテーションの発表者は、プレゼンテーションの途中で、マウスの操作のためにＰＣの場所まで移動し、ＰＣに目線を落としたり、身をかがめてマウスを操作したりしなければならない。

本発明の実施の形態３に係るポインティングデバイスとして機能するディスプレイ装置３００は、センサ付きディスプレイパネル３にレーザ光を照射することによって、ＰＣ等の外部装置３２０内のマウスポインタまたはカーソルを移動させるとともに、クリック動作等を行って外部装置３２０を操作することができるものであり、上記のような従来のポインティングデバイスの問題点を解決することができる。

さらに、従来のポインティングデバイスは、通常、ＰＣ等の外部装置３２０内のポインタを移動させる機能のみを有するものではなく、クリック機能、ホイール機能等を行うことができるボタン等の操作部を備える多機能性のデバイスであり、そのため高価なものであった。実施の形態３に係るポインティングデバイスとして機能するディスプレイ装置３００は、従来のポインティングデバイスに比べて安価な市販のレーザポインタ１さえあれば、ＰＣ等の外部装置３２０内のＧＵＩ動作を、ジェスチャを行うことにより実行することができる。

変形例．
図１０は、本発明の実施の形態３に係るディスプレイ装置の変形例の構成を示すブロック図である。図１０に示すディスプレイ装置３５０は、図８に示されたディスプレイ装置３００と外部装置３２０とを一体化したものである。ディスプレイ装置３５０は、例えばパーソナルコンピュータ（ＰＣ）、タブレット端末、スマートフォン、カーナビゲーションシステム、ゲームプレーヤー等の情報処理装置のディスプレイとして本開示に係るセンサ付きディスプレイパネル３を備えた電子機器で構成できる。

ユーザによるディスプレイ装置３５０への入力操作は、入力装置３５１を用いて行われる。入力装置３５１は、光を照射可能な光入力装置である。入力装置３５１は、例えば、先端部にＬＥＤ等の発光部を備えたスタイラスペン、または、先端部に蓄光材料を塗布しまたは取り付けた指サック等である。また、入力装置３５１は、実施の形態１〜３と同様にレーザポインタであってもよい。

１ レーザポインタ、２ 映像データインタフェース（映像データ入力部）、３ センサ付ディスプレイパネル、４ 表示部、５ 光センサ、６ 検出情報処理部、７ 画像処理装置、８ ポインタ表示作成部、９ 映像合成部、１０ メモリ、１１ ポインタ画像、６１ アンプ、６２ フィルタ、６３ Ａ／Ｄコンバータ、６４ メモリ、６５ 一時メモリ、６６ 不揮発メモリ、６７ 制御部、６８ 座標出力部、１００、２００ ディスプレイ装置、２１０ 操作用画像、２１１ 検出信号インタフェース（検出信号出力部）、２１２ 映像合成部、２２０ 外部装置、２２１ 検出信号入力部、２２３ 制御部、２２４ 操作用画像生成部、２２５ 映像データ生成部、２２６ 記憶部、２２７ 映像データ出力部、３００ ディスプレイ装置（ポインティングデバイス）、３２０ 外部装置、３２３ 制御部、３２６ 記憶部、３２８ ネットワークインタフェース、３５０ ディスプレイ装置（情報処理装置）、３５１ 入力装置。

Claims (7)

1. 映像データを入力する映像データ入力部と、
   前記映像データに基づく映像を表示するディスプレイパネルと、
   前記ディスプレイパネルに照射された光の光量を所定の領域毎に検出する光センサと、
   検出された所定の領域毎の光量に基づいて、外部の光源装置から放射された光によって指し示された前記ディスプレイパネル上の位置を特定する検出情報処理部と、
   前記映像データおよび特定された前記位置に基づいて、前記ディスプレイパネルに表示される映像を示す合成映像データを生成する画像処理装置とを備え、
   前記画像処理装置は、
   前記検出情報処理部によって特定された位置に基づいてポインタ画像を表示するようにポインタ表示データを作成するポインタ表示作成部と、
   前記映像データと前記ポインタ表示データとを合成した合成映像データを生成する映像合成部とを備える
   ディスプレイ装置。
2. 前記検出情報処理部は、光によって指し示された前記ディスプレイパネル上の位置の軌跡を含む所定の入力操作を更に検出する、請求項１に記載のディスプレイ装置。
3. 前記光センサは、前記ディスプレイパネルに照射された光の光量を電圧信号に変換し、
   前記検出情報処理部は、前記所定の領域毎に特定された前記電圧信号が示す電圧値の中から、所定の閾値より高い電圧値を検索し、所定の閾値より高い電圧値があった場合、その中で最も高い電圧値を特定し、最も高い電圧値を示した前記所定の領域の位置を、前記外部の光源装置から放射された光によって指し示された前記ディスプレイパネル上の位置と特定する、請求項１または２に記載のディスプレイ装置。
4. 特定された前記位置と前記入力操作とに基づく信号を外部装置に出力する検出信号出力部を更に備え、
   前記映像データ入力部は、前記外部装置から、前記映像データと、前記外部装置を操作するための操作情報とを入力し、
   前記映像合成部は、前記映像データと前記ポインタ表示データと前記操作情報とを合成した合成映像データを生成し、
   前記ディスプレイパネルに表示された前記操作情報を示す操作用画像上で前記入力操作を行うことによって、前記外部装置を操作する、請求項２または３に記載のディスプレイ装置。
5. 前記外部の光源装置は、レーザ光を放射して前記ディスプレイパネルを指し示すためのレーザポインタである、請求項１〜４のいずれかに記載のディスプレイ装置。
6. 外部装置から映像データを入力する映像データ入力部と、
   前記映像データに基づく映像を表示するディスプレイパネルと、
   出射した光によって前記ディスプレイパネルを指し示すことに基づいて入力操作を行う入力装置と、
   前記ディスプレイパネルに照射された光の光量を所定の領域毎に検出する光センサと、
   前記入力装置から出射された光によって指し示された前記ディスプレイパネル上の位置と軌跡とを含む所定の入力操作と、を特定する検出情報処理部と、
   特定された前記位置と前記入力操作とに基づく信号を前記外部装置に出力する検出信号出力部とを備え、
   前記入力操作による前記外部装置の操作を可能にする
   ポインティングデバイス。
7. 入力された映像データに基づいて映像を表示するディスプレイパネルと、
   出射した光によって前記ディスプレイパネルを指し示すことに基づいて入力操作を行う入力装置と、
   前記ディスプレイパネルに照射された光の光量を所定の領域毎に検出する光センサと、
   前記入力装置から出射された光によって指し示された前記ディスプレイパネル上の位置と軌跡とを含む所定の入力操作と、を特定する検出情報処理部と、
   特定された前記位置と前記入力操作とに基づいて、前記映像データを生成して前記ディスプレイパネルに出力するとともに、所定の入力操作に対応する制御を行う制御部とを備える
   ディスプレイ一体型の情報処理装置。

Images