本実施の形態について図1〜図13に基づいて説明すると以下の通りである。
本実施の形態に係る表示装置100は、概略的に言えば、第1表示領域10と、第1表示領域10の少なくとも一部を示す部分画像を表示する第2表示領域20とを表示し、かつ、少なくとも第2表示領域20への入力操作を検出することが可能な第1表示/光センサ部(表示部)300と、部分画像に対する入力操作の位置に対応する第1表示領域10の位置を算出し、算出した位置に対応する処理を特定する入力検出部(処理特定手段)810とを備える装置である。
そこで、まず、表示装置100に含まれるセンサ内蔵液晶パネル301の概要について説明する。但し、表示装置100は、必ずしもセンサ内蔵液晶パネル301を使用する必要はなく、他のタッチパネル(例えば抵抗膜方式)を使用する構成であってもよい。
(センサ内蔵液晶パネルの概要)
センサ内蔵液晶パネル301は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング(タッチ)した位置の検出や、印刷物等の画像の読み取り(スキャン)である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機EL(Electro Luminescence)パネルなどであってもよい。
図2を参照しながら、センサ内蔵液晶パネル301の構造について説明する。図2は、センサ内蔵液晶パネル301の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル301は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
図示のとおり、センサ内蔵液晶パネル301は、背面側に配置されるアクティブマトリクス基板51Aと、表面側に配置される対向基板51Bとを備え、これら基板の間に液晶層52を挟持した構造を有している。アクティブマトリクス基板51Aには、画素電極56、データ信号線57、光センサ回路32(図示せず)、配向膜58、偏光板59などが設けられる。対向基板51Bには、カラーフィルタ53r(赤)、53g(緑)、53b(青)、遮光膜54、対向電極55、配向膜58、偏光板59などが設けられる。また、センサ内蔵液晶パネル301の背面には、バックライト307が設けられている。
なお、光センサ回路32に含まれるフォトダイオード6は、青のカラーフィルタ53bを設けた画素電極56の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ53rを設けた画素電極56の近傍に設けてもよいし、緑のカラーフィルタ53gを設けた画素電極56の近傍に設けてもよい。
次に、図3(a)および図3(b)を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル301上をタッチした位置を検出する2種類の方法について説明する。
図3(a)は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト307から光63が出射されると、フォトダイオード6を含む光センサ回路32は、指などの対象物64により反射された光63を検知する。これにより、対象物64の反射像を検知することができる。このように、センサ内蔵液晶パネル301は、反射像を検知することにより、タッチした位置を検出することができる。
また、図3(b)は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図3(b)に示すように、フォトダイオード6を含む光センサ回路32は、対向基板51Bなどを透過した外光61を検知する。しかしながら、ペンなどの対象物62がある場合は、外光61の入射が妨げられるので、光センサ回路32が検知する光量が減る。これにより、対象物62の影像を検知することができる。このように、センサ内蔵液晶パネル301は、影像を検知することにより、タッチした位置を検出することもできる。
上述のように、フォトダイオード6は、バックライト307より出射された光の反射光(影像)を検知してもよいし、外光による影像を検知してもよい。また、2種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
(表示装置の要部構成)
次に、図4を参照しながら、表示装置100の要部構成について説明する。図4は、表示装置100の要部構成を示すブロック図である。図示のように、表示装置100は、表示/光センサ部300、回路制御部600、データ処理部700、主制御部800、記憶部901、一次記憶部902、操作部903、外部通信部907、音声出力部908、および音声入力部909を備えている。
表示/光センサ部300は、いわゆる光センサ内蔵液晶表示装置である。表示/光センサ部300は、センサ内蔵液晶パネル301、バックライト307、それらを駆動するための周辺回路309を含んで構成される。
センサ内蔵液晶パネル301は、マトリクス状に配置された複数の画素回路31および光センサ回路32を含んで構成される。センサ内蔵液晶パネル301の詳細な構成については後述する。
周辺回路309は、液晶パネル駆動回路304、光センサ駆動回路305、信号変換回路306、バックライト駆動回路308を含む。
液晶パネル駆動回路304は、回路制御部600の表示制御部601からのタイミング制御信号(TC1)およびデータ信号(D)に従って、制御信号(G)およびデータ信号(S)を出力し、画素回路31を駆動する回路である。画素回路31の駆動方法の詳細については後述する。
光センサ駆動回路305は、回路制御部600のセンサ制御部602からのタイミング制御信号(TC2)に従って、信号線(R)に電圧を印加し、光センサ回路32を駆動する回路である。光センサ回路32の駆動方法の詳細については後述する。
信号変換回路306は、光センサ回路32から出力されるセンサ出力信号(SS)をデジタル信号(DS)に変換し、該変換後の信号をセンサ制御部602に送信する回路である。
バックライト307は、複数の白色LED(Light Emitting Diode)を含んでおり、センサ内蔵液晶パネル301の背面に配置される。そして、バックライト駆動回路308から電源電圧が印加されると、バックライト307は点灯し、センサ内蔵液晶パネル301に光を照射する。なお、バックライト307は、白色LEDに限らず、他の色のLEDを含んでいてもよい。また、バックライト307は、LEDに代えて、例えば、冷陰極管(CCFL:Cold Cathode Fluorescent Lamp)を含むものであってもよい。
バックライト駆動回路308は、回路制御部600のバックライト制御部603からの制御信号(BK)がハイレベルであるときは、バックライト307に電源電圧を印加し、逆に、バックライト制御部603からの制御信号がローレベルであるときは、バックライト307に電源電圧を印加しない。
次に、回路制御部600について説明する。回路制御部600は、表示/光センサ部300の周辺回路309を制御するデバイスドライバとしての機能を備えるものである。回路制御部600は、表示制御部601、センサ制御部602、バックライト制御部603、および表示データ記憶部604を備えている。
表示制御部601は、データ処理部700の表示データ処理部701から表示データを受信するとともに、表示データ処理部701からの指示に従って、表示/光センサ部300の液晶パネル駆動回路304に、タイミング制御信号(TC1)およびデータ信号(D)を送信し、前記受信した表示データをセンサ内蔵液晶パネル301に表示させる。
なお、表示制御部601は、表示データ処理部701から受信した表示データを、表示データ記憶部604に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号(D)を生成する。表示データ記憶部604は、例えば、VRAM(video random access memory)などである。
センサ制御部602は、データ処理部700のセンサデータ処理部703からの指示に従って、表示/光センサ部300の光センサ駆動回路305に、タイミング制御信号(TC2)を送信し、センサ内蔵液晶パネル301にてスキャンを実行させる。
また、センサ制御部602は、信号変換回路306からデジタル信号(DS)を受信する。そして、センサ内蔵液晶パネル301に含まれる全ての光センサ回路32から出力されたセンサ出力信号(SS)に対応するデジタル信号(DS)に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル301の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部703に送信する。
バックライト制御部603は、表示データ処理部701およびセンサデータ処理部703からの指示に従って、表示/光センサ部300のバックライト駆動回路308に制御信号(BK)を送信し、バックライト307を駆動させる。
次に、データ処理部700について説明する。データ処理部700は、主制御部800から受信するコマンドに基づいて、回路制御部600に指示を与えるミドルウェアとしての機能を備えるものである。
データ処理部700は、表示データ処理部701およびセンサデータ処理部703を備えている。そして、データ処理部700が、主制御部800からコマンドを受信すると、該受信したコマンドに含まれる各フィールドの値に応じて、表示データ処理部701およびセンサデータ処理部703の少なくとも一方が動作する。
表示データ処理部701は、主制御部800から表示データを受信するとともに、データ処理部700が受信したコマンドに従って、表示制御部601およびバックライト制御部603に指示を与え、前記受信した表示データをセンサ内蔵液晶パネル301に表示させる。
センサデータ処理部703は、データ処理部700が受信したコマンドに従って、センサ制御部602およびバックライト制御部603に指示を与える。
また、センサデータ処理部703は、センサ制御部602から画像データを受信し、当該画像データをそのまま画像データバッファ704に格納する。そして、センサデータ処理部703は、データ処理部700が受信したコマンドに従って、画像データバッファ704に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ(部分画像の座標データを含む)」、および「座標データ」の少なくともいずれか1つを、主制御部800に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。
次に、主制御部800は、アプリケーションプログラムを実行するものである。主制御部800は、記憶部901に格納されているプログラムを、例えばRAM(Random Access Memory)等で構成される一次記憶部902に読み出して実行する。
主制御部800で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル301に表示データを表示させたり、センサ内蔵液晶パネル301にて対象物のスキャンを行わせるために、データ処理部700に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか1つを、データ処理部700から受信する。
なお、回路制御部600、データ処理部700、および主制御部800は、それぞれ、CPU(Central Processing Unit)およびメモリ等で構成することができる。また、データ処理部700は、ASIC(application specific integrate circuit)などの回路で構成されていてもよい。
次に、記憶部901は、図示のように、主制御部800が実行するプログラムおよびデータを格納するものである。なお、主制御部800が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
次に、操作部903は、表示装置100のユーザの入力操作を受けつけるものである。操作部903は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部903は、表示装置100のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部800へ送信する。
なお、前記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ905、予め所定の機能が割り当てられているユーザスイッチ906などのハードウェアスイッチを想定している。
その他、表示装置100は、無線/有線通信によって外部装置と通信を行なうための外部通信部907、音声を出力するためのスピーカ等の音声出力部908、音声信号を入力するためのマイク等の音声入力部909などを適宜備えていてもよい。
(全体画像データ/部分画像データ/座標データ)
次に、図5を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図5(a)に示す画像データは、対象物が第2表示領域20上に置かれていないときに得られる画像データである。また、図5(b)に示す画像データは、ユーザが指で第2表示領域20上をタッチしているときの画像データである。
ユーザが指で第2表示領域20上をタッチしたとき、当該タッチした近傍の光センサ回路32が受光する光量が変化するため、当該光センサ回路32が出力する電圧に変化が生じ、その結果として、センサ制御部602が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
図5(b)に示す画像データでは、図5(a)に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図5(b)に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域(領域PP)が、“部分画像データ”である。
なお、領域APで示される画像データが、“全体画像データ”である。
また、部分画像データ(領域PP)の代表座標Zの、全体画像データ(領域AP)における座標データは(Xa,Ya)であり、部分画像データ(領域PP)における座標データは(Xp,Yp)である。
(センサ内蔵液晶パネルの構成)
次に、図6を参照しながら、センサ内蔵液晶パネル301の構成、および、センサ内蔵液晶パネル301の周辺回路309の構成について説明する。図6は、表示/光センサ部300の要部、特に、センサ内蔵液晶パネル301の構成および周辺回路309の構成を示すブロック図である。
センサ内蔵液晶パネル301は、光透過率(輝度)を設定するための画素回路31、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路32を備えている。なお、画素回路31は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するR画素回路31r、G画素回路31g、B画素回路31bの総称して用いる。
画素回路31は、センサ内蔵液晶パネル301上の列方向(縦方向)にm個、行方向(横方向)にn個配置される。そして、R画素回路31r、G画素回路31g、およびB画素回路31bの組が、行方向(横方向)に連続して配置される。この組が1つの画素を形成する。
画素回路31の光透過率を設定するには、まず、画素回路31に含まれるTFT(Thin Film Transistor)33のゲート端子に接続される走査信号線Giにハイレベル電圧(TFT33をオン状態にする電圧)を印加する。その後、R画素回路31rのTFT33のソース端子に接続されているデータ信号線SRjに、所定の電圧を印加する。同様に、G画素回路31gおよびB画素回路31bについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル301上に画像が表示される。
次に、光センサ回路32は、一画素毎に配置される。なお、R画素回路31r、G画素回路31g、およびB画素回路31bのそれぞれの近傍に1つずつ配置されてもよい。
光センサ回路32にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ35の一方の電極に接続されているセンサ読み出し線RWiと、フォトダイオード6のアノード端子に接続されているセンサリセット線RSiとに所定の電圧を印加する。この状態において、フォトダイオード6に光が入射されると、入射した光量に応じた電流がフォトダイオード6に流れる。そして、当該電流に応じて、コンデンサ35の他方の電極とフォトダイオード6のカソード端子との接続点(以下、接続ノードV)の電圧が低下する。そして、センサプリアンプ37のドレイン端子に接続される電圧印加線SDjに電源電圧VDDを印加すると、接続ノードVの電圧は増幅され、センサプリアンプ37のソース端子からセンシングデータ出力線SPjに出力される。そして、当該出力された電圧に基づいて、光センサ回路32が受光した光量を算出することができる。
次に、センサ内蔵液晶パネル301の周辺回路である、液晶パネル駆動回路304、光センサ駆動回路305、およびセンサ出力アンプ44について説明する。
液晶パネル駆動回路304は、画素回路31を駆動するための回路であり、走査信号線駆動回路3041およびデータ信号線駆動回路3042を含んでいる。
走査信号線駆動回路3041は、表示制御部601から受信したタイミング制御信号TC1に基づいて、1ライン時間毎に、走査信号線G1〜Gmの中から1本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
データ信号線駆動回路3042は、表示制御部601から受信した表示データD(DR、DG、およびDB)に基づいて、1ライン時間毎に、1行分の表示データに対応する所定の電圧を、データ信号線SR1〜SRn、SG1〜SGn、SB1〜SBnに印加する(線順次方式)。なお、データ信号線駆動回路3042は、点順次方式で駆動するものであってもよい。
光センサ駆動回路305は、光センサ回路32を駆動するための回路である。光センサ駆動回路305は、センサ制御部602から受信したタイミング制御信号TC2に基づいて、センサ読み出し信号線RW1〜RWmの中から、1ライン時間毎に1本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号TC2に基づいて、センサリセット信号線RS1〜RSmの中から、1ライン時間毎に1本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
センシングデータ出力信号線SP1〜SPnはp個(pは1以上n以下の整数)のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ47を介して、センサ出力アンプ44に接続される。センサ出力アンプ44は、スイッチ47により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号SS(SS1〜SSp)として、信号変換回路306へ出力する。
(表示装置100の動作説明)
次に、表示装置100の構成等について、図1、図7〜図9を参照して説明する。最初に、表示装置100による動作の具体例を図7により説明する。次に、表示装置100の要部構成を図1により説明する。そして、その動作を実現する処理の流れを図8により説明する。
(表示装置100による動作の具体例1)
図7は、第2表示領域20において実行される動作を説明するための図であり、図7(a)はユーザの入力操作前を、図7(b)はユーザの入力操作後の状態をそれぞれ示す図である。
図7(a)に示すように、第1表示/光センサ部300には第1表示領域10と第2表示領域20とが表示されている。また、第1表示領域10には画像Aが、第2表示領域20には、第1表示領域の少なくとも一部を示す部分画像A1が表示されている。なお、画像A1は、画像Aの右上部分に該当し、画面から画像Aの表示を消すための「×」の印を画像中に含む。
図7(b)においては、第1表示領域10には画像Aが、第2表示領域20には第1表示領域の少なくとも一部を示す部分画像A2が表示されている。なお、画像A2は、画像Aの左上部分に該当し、「開く 印刷」という文字を画像中に含む。
つまり、図7(a)の表示から図7(b)の表示への変化は、第2表示領域20において表示される画像が、画像Aの右上画像から左上画像へ変更された変化に対応する。この変更をもたらすために、ユーザは、第2表示領域20に指やペンをタッチして、そのタッチした指などを右側の方向に移動するという入力操作を行う。このとき、ユーザは、第2表示領域20の任意の位置において入力操作を行ってよい。あるいは、第2表示領域20にける表示画像の変更は、次のように行われてもよく、そのことを図8により説明する。
図8は、第2表示領域20に表示される画像を変更するための方法を説明するための図である。図8に示すように、第2表示領域20の境界を形成する四辺の近傍には領域20aが存在する。この領域20aは、ユーザの入力操作を検出することが可能である。ユーザは、領域20aに入力操作を行うことで第2表示領域20に表示される部分画像を変更する。例えば、領域20aの下辺付近を右側へなぞる入力操作が行われると、もともとは第2表示領域20に表示されていなかった画像Aの左側の画像が第2表示領域20に表示される。一方、領域20aの下辺付近を左側へなぞる入力操作が行われると、第2表示領域20に表示されていなかった画像Aの右側の画像が第2表示領域20に表示される。
同様に、領域20aの右辺を上側へなぞる入力操作が行われると、ユーザの入力操作に応じて、それまで第2表示領域に表示されていなかった画像Aの一部(下側部分)が第2表示領域に表示される。また、領域20aの右辺を下側へなぞる入力操作が行われると、ユーザの入力操作に応じて、それまで第2表示領域に表示されていなかった画像Aの一部(上側部分)が第2表示領域に表示される。
このようにして、第2表示領域20の境界を形成する四辺の近傍の領域20aへの入力操作を介して、第2表示領域20に表示される画像を変更することも可能である。
(表示装置100の要部説明)
次に、図1を参照しながら、表示装置100の詳細な構成を説明する。なお、ここでは、説明を分かりやすくするために、主制御部800と表示/光センサ部300との間に位置するデータ処理部700および回路制御部600の動作については説明を省略する。ただし、正確には、画像の表示および画像の検知を行うにあたり、主制御部800の入力インターフェース制御部805が、データ処理部700にコマンドを送信し、データ処理部700がコマンドに基づいて回路制御部600を制御し、回路制御部600が表示/光センサ部300に対して信号を送信する。また、主制御部800は、データ処理部700に対して送信したコマンドに対する応答として、データ処理部700から、全体画像データ、部分画像データ、および座標データを取得する。
図1は、表示装置100の要部構成を表すブロック図である。図示するように、主制御部800は、入力インターフェース制御部805と、アプリケーション実行部850と、を備える。また、入力インターフェース制御部805は、入力検出部810と、画像表示制御部860と、を備える。
入力検出部810は、第2表示領域20に対する指やペンなどの入力操作が検知されたとき、座標データ、全体画像データ、部分画像データをデータ処理部700から取得する。第2表示領域20にはX軸、Y軸が設定されており(図5等参照)、入力検出部810は、第2表示領域20において検知された指の像の動きをXY座標により特定し、そのXY座標に対応する入力信号を生成する。そして、入力検出部810は、その入力信号をアプリケーション実行部850に出力する。
なお、入力検出部810は、そのXY座標を示す情報をそのまま入力信号としてアプリケーション実行部850に出力してもよい。あるいは、入力検出部810は、後述する指−命令対応情報に基づいて、特定したXY座標に対応付けられた命令を示す入力信号をアプリケーション実行部850に出力してもよい。
ここで、入力検出部810は、座標データ、全体画像データ、部分画像データをすべて取得する必要はなく、上記各データを適宜選択して取得する構成であってもよい。
次に、入力検出部810が記憶部901から読み出す指−命令対応情報について説明する。なお、図1では、記憶部901は表示装置100の外部に設けられている。しかしながら、記憶部901は、表示装置100の内部に設けられる構成であってもよい。
記憶部901には、指−命令対応情報を示すテーブルが格納されており、そのテーブルでは、2つの項目(XY座標、命令)が対応付けられている。具体的に、第2表示領域20にはX軸、Y軸が設定されており、入力検出部810は、第2表示領域20が検知した指の像の動きをXY座標により特定する。そして、入力検出部810は、その特定したXY座標から、指の像の動きを移動ベクトルとして算出する。具体的には、図5を参照して説明したように、部分画像データ(領域PP)の代表座標Zの、全体画像データ(領域AP)における座標データは(Xa,Ya)で表され、部分画像データ(領域PP)における座標データは(Xp,Yp)として表される。従って、入力検出部810は、親指の像の移動前後における上記座標データを取得して、その座標データの差分を計算することにより、親指の像の移動ベクトルを算出することができる。
そして、入力検出部810は、指−命令対応情報において、XY座標に対応する “命令”項目を読み出す。対応する命令が「移動ベクトルに従って第2表示領域の画像を変更する」と規定されていれば、入力検出部810は、XY座標が対応付けられた当該命令を決定し、その命令を示す入力信号をアプリケーション実行部850に送信する。
一例として、図8の動作について説明する。まず、図8に示すように、ユーザが、領域20aの下辺付近に人差し指でタッチしたとする。このとき、入力検出部810は、人差し指の座標データ(Xa,Ya)(図5参照)から、人差し指が領域20aの下辺付近にタッチしたと判断する。この下辺付近の座標データ(Xa,Ya)には、第2表示領域20に表示される画像を左右方向に移動させるという命令が対応付けられている。ここで、第2表示領域20に表示される画像は、第1表示領域10に表示されている画像の少なくとも一部を示す部分画像である。
次に、ユーザは、その指を右方向に一定量移動させる。入力検出部810は、その指の像の動きから当該像の動きに係るXY座標を取得し、その移動ベクトルを算出する。そして、入力検出部810は、その移動ベクトルに従って第2表示領域20に表示される画像を移動させる命令を示す入力信号を生成し、その入力信号をアプリケーション実行部850に送信する。
このようにして、入力検出部810は、指−命令対応情報に基づいて、特定したXY座標が対応付けられた命令を決定し、該命令を示す入力信号をアプリケーション実行部850に送信する。言い換えると、入力検出部810は、第2表示領域20に表示された部分画像に対する入力操作の位置に対応する第1表示領域10の位置を算出し、算出した位置に対応する処理を特定する。「処理」とは、図8の例で言えば画像の変更である。あるいは、図7(b)の第2表示領域20に表示されている「開く 印刷 閉じる」のうち、例えば「印刷」の領域に対して指を押下する入力操作を行うとする。これにより第1表示領域10の表示画面の印刷が行われる。この場合であれば、「処理」は、印刷である。
アプリケーション実行部850は、入力検出部810から入力信号を受信して、その命令によって示される動作を実行する。そして、アプリケーション実行部850は、その動作の結果を示す情報である動作結果情報を画像表示制御部860に送信する。
例えば、第2表示領域20が検知した指の像がA点からB点に移動し、その指の像の動きに対応付けられた命令が、「指の像がA点からB点へ移動した時の移動ベクトルに従って画像を移動させる」である場合、アプリケーション実行部850は、第2表示領域20に表示される画像を移動ベクトルに従って移動させる。そして、アプリケーション実行部850は、その動作の結果を示す動作結果情報を画像表示制御部860に送信する。
なお、図1において、アプリケーション実行部850は主制御部800に含まれる構成で記載されている。しかしながら、主制御部800の外部にアプリケーション実行部850を設けて、外部通信部907を介して、所定の動作を実行する構成としてもよい。また、アプリケーション実行部850は、1または複数のアプリケーションを実行するものであってよい。
画像表示制御部860は、アプリケーション実行部850から動作結果情報を受信すると、データ処理部700に表示データを送信する。その表示データは、アプリケーション実行部850によって実行された動作結果を第2表示領域20に表示するようデータ処理部700に指示するものである。
従って、「第2表示領域に表示された画像を移動させる」という動作がアプリケーション実行部850によって実行された場合、画像表示制御部860は、データ処理部700にその旨を示す表示データを送信する。そして、その結果として動作が、第2表示領域20に表示される。
(フローチャート)
次に、表示装置100での処理の流れを図9により説明する。図9は、表示装置100の処理の流れを表すフローチャートである。
まず、S10では、第1表示領域10に画像Aが表示され、第2表示領域20に画像Aの部分画像が表示される。
S20では、第2表示領域20への入力操作がユーザにより行われる。この入力操作は、例えば図8を用いて説明した、領域20aの下辺付近を右側へ指でなぞる入力操作である。
S30では、S20におけるユーザの入力操作の結果、入力検出部810が、第2表示領域20において指の像が検知されたとき、座標データ、全体画像データ、部分画像データをデータ処理部700から取得する。
S40では、入力検出部810が、第2表示領域20に表示された部分画像に対する入力操作の位置に対応する第1表示領域10の位置を算出し(算出ステップ)、算出した位置に対応する処理を特定する(処理特定ステップ)。ここで、「処理」とは、第2表示領域20に表示される画像の変更、第1表示領域10に表示される画像の印刷などである。
S50では、入力検出部810が、生成した入力信号をアプリケーション実行部850に出力する。具体的に、入力検出部810は、指−命令対応情報に基づいて、特定したXY座標に対応付けられた命令を示す入力信号をアプリケーション実行部850に出力する。
S60では、アプリケーション実行部850は、入力検出部810から入力信号を受信して、その命令によって示される動作を実行する。そして、アプリケーション実行部850は、その動作の結果を示す情報である動作結果情報を画像表示制御部860に送信する。
S70では、画像表示制御部860は、アプリケーション実行部850から動作結果情報を受信すると、データ処理部700に表示データを送信する。その表示データは、アプリケーション実行部850によって実行された動作結果を第2表示領域20に表示するようデータ処理部700に指示するものである。これにより、上記動作結果が第2表示領域20に表示される。
(効果)
次に、表示装置100による効果を説明する。
従来の入力可能な表示装置は、サイズが大きければ、ユーザは自身の体を移動させなければ表示部の上方への入力操作ができず、入力操作に不都合が生じる場合があった。
しかしながら、表示装置100は、第2表示領域20に表示された部分画像に対する入力操作が行われると、入力検出部810により、部分画像に対する入力操作の位置に対応する第1表示領域10の位置が算出され、算出された位置に対応する処理が特定される。つまり、表示装置100では、算出した位置に対応する処理を特定するためには、第1表示領域10に表示された画像に対して入力操作をする必要はなく、第2表示領域20に表示された部分画像に対して入力操作を行えばよい。
従って、表示装置100の表示部である第1表示/光センサ部300が大型であったとしても、表示装置100では、第1表示領域10に表示される画像の少なくとも一部が第2表示領域20に表示され、第2表示領域20への入力操作をすればよい。このとき、第2表示領域20への入力操作は、第1表示領域10に対する入力操作と同様の結果をもたらす。したがって、第1表示/光センサ部300のサイズが大きい場合にも、ユーザは、自身の体を移動させることなく、第2表示領域20への入力操作を行うことにより第1表示領域10に対する入力操作と同様の効果を実現できる。これにより、表示装置100は、ユーザビリティーを高めることができる。
それゆえ、表示装置100は、自装置が壁掛けスタイルで設置される場合、つまり、ユーザによる高い位置への入力操作(タッチ)が困難な場合に好適に用いられる。また、表示装置100は、自装置がテーブル状に設置された場合に、つまり、表示部が水平方向に配置された場合に、ユーザを装置の周囲を回り込ませたり、ユーザを椅子から立ち上がらせることもなくなる。この場合にも、表示装置100は、ユーザビリティーを高めることができる。
(表示装置100による動作の具体例2)
上述したように、表示装置100では、入力検出部810が、第2表示領域20に表示された部分画像に対する入力操作の位置に対応する第1表示領域10の位置を算出し、算出した位置に対応する処理を特定する。さらに、入力検出部(面積変更手段)810は、第2表示領域20の面積を変更することができる。そのことを図10、図11により説明する。
図10は、第2表示領域20において実行される動作を説明するための図である。図10においては、第1表示領域10には画像Aが、第2表示領域20には第1表示領域の少なくとも一部を示す部分画像A3が表示されている。なお、画像A3は、画像Aの左上部分に該当し、「開く 印刷 閉じる」という文字を画像中に含む。
図10の第2表示領域20に表示された画像A3と図7(b)の第2表示領域20に表示された画像A2とを比較すると、次の点で画像A3と画像A2とは異なる。すなわち、図10の画像A3は、画像Aの左上部分に該当し、「開く 印刷 閉じる」という文字を画像中に含む。これに対して、図7(b)の画像A2は、画像Aの左上部分に該当し、「開く 印刷」という文字を画像中に含むものの、画像A3に表示されている「閉じる」という文字は含まれていない。これは、ユーザの入力操作を介して、第2表示領域20の面積が変更されたことによる。この動作を実現するためのユーザ入力操作を図11により説明する。
図11は、第2表示領域20の面積を拡大する動作を説明するための図である。図示するように、ユーザは、第2表示領域20の領域20aに含まれる右上角部に指を当て、そのまま右斜め上方向に指をなぞる。これにより第2表示領域20の面積が拡大され、第2表示領域20に表示される画像が増える。図10の例で言えば、図10と図7(b)の第2表示領域20を比較したときに、図10では図7(b)には表示されていない「閉じる」の文字が画像に含まれることになる。
また、表示装置100では、第2表示領域20の表示面積を縮小することもできる。具体的には、ユーザが第2表示領域20の右上角部に指を当て、そのまま左斜め下方向に指をなぞると、第2表示領域20の面積が縮小し、第2表示領域20に表示される画像が減る。あるいは、ユーザが第2表示領域20の右上角部に指を当て上方向に指をなぞると第2表示領域20が上方向(図面上方向)に延び、ユーザが第2表示領域20の右上角部に指を当て下方向に指をなぞると第2表示領域20が下方向(図面下方向)に縮む。このようにして、表示装置100では、第2表示領域20の表示面積を変更することができる。
以下、第2表示領域20の表示面積を変更する処理の流れを説明する。
記憶部901には、指−命令対応情報を示すテーブルが格納されており、そのテーブルでは、2つの項目(XY座標、命令)が対応付けられている。具体的に、第2表示領域20にはX軸、Y軸が設定されており、入力検出部810は、第2表示領域20が検知した指の像の動きをXY座標により特定する。そして、入力検出部810は、その特定したXY座標から、指の像の動きを移動ベクトルとして算出する。
そして、入力検出部810は、指−命令対応情報において、XY座標に対応する “命令”項目を読み出す。対応する命令が「第2表示領域20の領域20aに含まれる右上角部に入力操作が行われた場合に、第2表示領域20の表示面積が変更される」と規定されていれば、入力検出部810は、XY座標が対応付けられた当該命令を決定し、その命令を示す入力信号をアプリケーション実行部850に送信する。
アプリケーション実行部850は、入力検出部810から入力信号を受信して、その命令によって示される動作を実行する。そして、アプリケーション実行部850は、その動作の結果を示す情報である動作結果情報を画像表示制御部860に送信する。その結果、図7(b)から図10に至る動作が表示される。
なお、右上角部の範囲は、X・Y軸が設定された第2表示領域20においてX・Y座標の数値範囲により予め規定しておけばよい。そのため、右上角部の範囲は、可変の範囲とすることができる。
また、上記の説明では、「第2表示領域20の領域20aに含まれる右上角部に入力操作が行われた場合に、第2表示領域20の表示面積が変更される」との命令が規定されていると説明した。しかしながら、第2表示領域20の面積を変更するための入力操作は、第2表示領域20の左上角部など他の領域において行われる構成で実現されてもよい。
このとき、表示装置100は、以下の効果を奏する。
具体的には、表示装置100において、第1表示領域10に表示された画像を第2表示領域20に表示させるためには、第2表示領域20に表示される部分画像を移動させる必要がある。
このとき、第2表示領域20の表示面積が小さいと、目的とする画像に移動するまでにユーザは何度も入力操作を行う必要がある。この点、第2表示領域20の表示面積が大きいと、ユーザが入力操作を行う回数を少なくすることができる。
一方,第2表示領域20の面積が大きすぎると、第1表示領域10に表示される画像が第2表示領域20によって覆われるため、第1表示領域10に表示される画像の一覧性が低下する。
そこで、表示装置100は、第2表示領域20の表示面積を可変にすることで、第2表示領域20に表示される画像を移動させる際には第2表示領域20の表示面積を大きくしてユーザの入力操作の負担を軽減することができる。また、第1表示領域10に表示される画像の一覧性を向上させたい場合は、第2表示領域20の表示面積を小さくすることによりユーザの入力操作の回数を軽減する。これにより第1表示領域10への入力操作を行う場合に、第1表示領域10への入力操作の操作性を高めることができる。
(表示装置100による動作の具体例3)
上述したように、表示装置100では、入力検出部810が、第2表示領域20に表示された部分画像に対する入力操作の位置に対応する第1表示領域10の位置を算出し、算出した位置に対応する処理を特定する。さらに、入力検出部(位置変更手段)810は、第2表示領域20の位置を変更することができる。そのことを図12、図13により説明する。
図12は、第2表示領域20において実行される動作を説明するための図である。図12においては、第1表示領域10には画像Aが、第2表示領域20には第1表示領域の少なくとも一部を示す部分画像A1が表示されている。なお、画像A1は、図7(a)の第2表示領域20に表示された画像A1と同一である。
図12の第2表示領域20と図7(a)の第2表示領域20とを比較すると、表示される画像は画像A1と同一であるが、次の点で異なる。すなわち、図7(a)では、第2表示領域20は表示/光センサ部300の左下に位置するのに対して、図12では、第2表示領域20は、表示/光センサ部300の中央下部に位置する。これは、ユーザの入力操作を介して、第2表示領域20の表示位置が変更されたことによる。この動作を実現するためのユーザ入力操作を図13により説明する。
図13は、第2表示領域20の表示位置を移動する動作を説明するための図である。図示するように、ユーザは、第2表示領域20の領域20aに含まれる上辺近傍に指を当て、そのまま右方向に指をなぞる。これにより第2表示領域20の表示位置が右側に移動する。すなわち、図7(a)では、表示/光センサ部300の左下に位置していた第2表示領域20は、図13の入力操作を経て、表示/光センサ部300の中央下部に移動している。
また、表示装置100では、第2表示領域20の位置を表示/光センサ部300中の任意の場所に移動させることができる。具体的には、ユーザが第2表示領域20の上辺近傍に指を当てたまま所望の方向に指を移動させると、その方向に第2表示領域20が移動する。
以下、第2表示領域20の表示位置を変更させる処理の流れを説明する。
記憶部901には、指−命令対応情報を示すテーブルが格納されており、そのテーブルでは、2つの項目(XY座標、命令)が対応付けられている。具体的に、第2表示領域20にはX軸、Y軸が設定されており、入力検出部810は、第2表示領域20が検知した指の像の動きをXY座標により特定する。そして、入力検出部810は、その特定したXY座標から、指の像の動きを移動ベクトルとして算出する。
そして、入力検出部810は、指−命令対応情報において、XY座標に対応する “命令”項目を読み出す。対応する命令が「第2表示領域20の領域20aに含まれる上辺近傍に入力操作が行われた場合に、第2表示領域20の表示位置が変更される」と規定されていれば、入力検出部810は、XY座標が対応付けられた当該命令を決定し、その命令を示す入力信号をアプリケーション実行部850に送信する。
アプリケーション実行部850は、入力検出部810から入力信号を受信して、その命令によって示される動作を実行する。そして、アプリケーション実行部850は、その動作の結果を示す情報である動作結果情報を画像表示制御部860に送信する。その結果、図12の位置に移動した第2表示領域20が表示される。
なお、上辺近傍の範囲は、X・Y軸が設定された第2表示領域20においてX・Y座標の数値範囲により予め規定しておけばよい。そのため、右上角部の範囲は、可変の範囲とすることができる。
また、上記の説明では、「第2表示領域20の領域20aに含まれる上辺近傍に入力操作が行われた場合に、第2表示領域20の表示位置が変更される」との命令が規定されていると説明した。しかしながら、第2表示領域20の表示位置を変更するための入力操作は、第2表示領域20の下辺近傍など他の領域に対して行われてもよい。
次に、表示装置100による効果を説明する。
第2表示領域20の表示位置が固定されていると、第1表示領域10に表示された画像であって、第2表示領域20により覆われた画像をユーザは視認することができない。この問題を解決するには、第2表示領域20により覆われた画像を第2表示領域20に表示すればよいが、第2表示領域20が第1表示領域より小さければ画像の視認性は損なわれる。
そこで、表示装置100は、第2表示領域20の表示位置を任意の位置に変更可能としている。これにより、表示装置100では、第1表示領域10に表示された画像であって、第2表示領域20により覆われた画像が存在する場合には、第2表示領域20の表示位置を変更すればよい。これにより、表示装置100は、第1表示領域10に表示された画像のすべてをユーザに視認させることができる。
以上、表示装置100における種々の動作を説明した。ただし、表示装置100は、上記の動作に限らず、さらに他の動作を組み合わせることが可能である。例えば、第2表示領域20に表示された画像を、第2表示領域20において拡大/縮小表示することも可能である。この動作は、第2表示領域20の所定の領域をタッチすることで部分画像の拡大・縮小が行われるように設定すればよい。
また、上述した具体例1〜3、および、他の動作の選択を、キーボードの所定のキー入力等により行う構成とすることもできる。例えば、キー「F1」を押下した場合、ユーザによる入力操作は、具体例1の動作(画像の変更)をもたらすように設定されている。キー「F2」を押下した場合、ユーザによる入力操作は、具体例2の動作(第2表示領域20の表示面積の変更)をもたらすように設定されている。キー「F3」を押下した場合、ユーザによる入力操作は、具体例3の動作(第2表示領域20の表示位置の変更)をもたらすように設定されている。このように、所定のキーと第2表示領域における動作とを対応付けておくことで、ユーザは、所望の動作を容易に選択することができ、これにより表示装置100の操作性をさらに高めることができる。
以上、本実施の形態に係る表示装置の種々の形態を説明した。これらの形態は、本実施の形態の一例を示すものであって、ここで説明した形態を組み合わせることも当然に可能である。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。